L'information sur les résultats : l'établissement des attentes de rendement et la description du rendement

• Introduction
• Rappel historique
• Le tableau des attentes de résultats
• Établir des attentes claires et concrètes
• Description du rendement
• À quoi doivent s'attendre le Parlement et le public?
• Conclusion
• Documents consultés

Introduction

Les « résultats » et le « rendement » sont en voie de devenir les sujets principaux des discussions au sujet de la gestion publique. La gestion axée sur les résultats et l'information sur les résultats communiquée font partie du vocabulaire des gestionnaires du secteur public. On demande à ces gestionnaires de produire des résultats et ce, de façon économique, avec les fonds publics qui leur sont confiés.

Il est relativement facile d'énoncer les éléments fondamentaux de la gestion axée sur les résultats, ou fondée sur les résultats. Dans le contexte des programmes, la gestion axée sur les résultats exige ce qui suit (Vérificateur général du Canada, 1997, p. 11-11) :

1. favoriser un climat organisationnel où la gestion axée sur les résultats est valorisée;
2. convenir des résultats escomptés;
3. mesurer les résultats pour améliorer le rendement;
4. communiquer de façon efficace l'information sur le rendement.

La gestion axée sur les résultats s'est révélée toutefois plutôt difficile à mettre en œuvre. La mesure des résultats dans le secteur public est souvent perçue comme la plus grande difficulté. Il est également énormément difficile de passer à une culture axée sur les résultats et la communication d'une bonne information sur le rendement progresse péniblement (Vérificateur général du Canada, 2000). On juge souvent difficile de s'entendre sur les résultats attendus, mais on y parvient sans trop de peine. L'expérience de la gestion axée sur les résultats toutefois indique que l'établissement d'attentes de rendement est peut-être l'aspect le plus difficile de la gestion axée sur les résultats à obtenir.

Wholey (1997) a signalé que [traduction] « l'étape initiale la plus importante dans la gestion fondée sur le rendement consiste à obtenir un degré raisonnable de consensus sur les principaux résultats à obtenir… » (p. 100).

Il faut absolument établir des énoncés clairs de ce qu'il y a à accomplir. La notion de « rendement » exige une comparaison entre ce qui était attendu et ce qui a été réalisé. Il est impossible pour les gestionnaires ou pour le public d'évaluer le rendement sans connaître au préalable le niveau de rendement qui était attendu¹.

____________________
¹ Il pourrait y avoir une exception dans le cas des programmes qui sont de nature expérimentale, habituellement des projets pilotes, où l'intervention est présumée être bénéfique, mais, comme les expériences sont rares jusqu'à ce jour, il ne conviendrait pas d'établir des attentes concrètes, ou il pourrait en ressortir à mesure que l'apport du programme est de mieux en mieux compris. À la longue, des attentes concrètes pourraient être élaborées.

Le présent document a pour objet :

• de proposer une démarche concrète pour l'établissement des attentes;
• d'examiner la notion de description du rendement;
• d'informer les parlementaires de ce à quoi ils doivent s'attendre dans les rapports sur le rendement portant sur les résultats des programmes.

Terminologie

Avant de commencer, nous devons définir les termes que nous utilisons. Avec ses programmes, le gouvernement entreprend un certain nombre d'activités qui produisent une gamme de résultats. Les programmes produisent deux types de résultats : les extrants, soit les produits et services directs découlant des activités, comme un chèque d'assurance-emploi ou un renseignement communiqué; et les résultats comme tels, soit les conséquences (escomptées ou non) de ces extrants sur les Canadiens et sur notre société. En général, les extrants sont des résultats que les gestionnaires peuvent essentiellement contrôler, tandis que les résultats subissent l'effet de facteurs indépendants des programmes des gestionnaires.

Les résultats finaux (parfois appelés résultats définitifs ou à long terme) sont ceux qui sont recherchés, comme l'amélioration générale du bien-être des Canadiens, de l'économie ou de l'environnement. Entre les extrants et les résultats finaux, il y a une suite de résultats immédiats et intermédiaires qui sont censés conduire à un résultat souhaité, mais qui ne sont pas des fins en soi, comme la modification des comportements des clients d'un programme. Il est plus facile de lier les résultats immédiats aux activités d'un programme qu'aux résultats finaux. La chaîne des résultats (pièce 1) constitue cette séquence logique d'extrants et de résultats qui se produit en raison des activités d'un programme.

Pour bien gérer et communiquer une bonne information axée sur les résultats, il est essentiel de bien décrire ce qu'un programme est censé accomplir. Beaucoup de termes servent à décrire ces énoncés normatifs : objectifs, buts, résultats stratégiques, résultats attendus, résultats prévus, cibles et attentes, par exemple. Parmi ces termes, il y a deux notions importantes à distinguer :

• les énoncés généraux qui établissent l'orientation de l'intention globale du programme;
• les énoncés concrets précisant ce qu'il faut accomplir sur une période donnée.

Les deux types d'énoncés d'intentions sont nécessaires. Le premier type (objectifs)² énonce, à un niveau général, l'orientation générale et l'état final recherché, mais il ne précise pas souvent l'étendue des résultats recherchés ou le délai pour y arriver. Les objectifs sont liés à la mission et à la vision de l'organisation et ils préparent le terrain pour le deuxième ensemble d'énoncés, les attentes de rendement concrètes. Les attentes de rendement définissent les résultats précis attendus, l'étendue (à combien s'attend-on) et la période. Avec de bonnes attentes de rendement, il est possible de connaître et de déterminer si ce qui a été prévu a été réalisé effectivement. Pour communiquer de l'information sur le rendement, il est essentiel qu'il y ait des énoncés clairs qui précisent ce qui est attendu, sans quoi on n'a que de l'information sur les résultats.

____________________
² En juillet 2001, le Secrétariat du Conseil du Trésor a diffusé un lexique des termes à utiliser dans les rapports sur le rendement et il a demandé aux ministères d'utiliser le terme résultats stratégiques pour ce que nous appelons les objectifs dans le présent document.

Rappel historique

Dans le passé, l'établissement d'attentes de rendement comportait généralement l'établissement d'attentes pour les extrants. Les extrants sont bien compris puisqu'ils représentent le résultat direct des activités. Ils sont habituellement plutôt visibles et mesurables et nous pouvons dire sans hésiter qu'il est possible d'en rendre compte parce que nous en sommes maîtres. Les mécanismes de communication de l'information sur le rendement dans un certain nombre d'administrations ont consisté essentiellement à établir des cibles définies d'extrants et à indiquer dans quelle mesure ces extrants ont été obtenus.

Dans le contexte d'un régime de gestion et de communication de l'information axée sur les résultats, la situation est très différente. Le mécanisme de production pour les résultats, qu'ils soient immédiats, intermédiaires ou finaux, n'est habituellement pas aussi bien compris que celui des extrants. Les liens entre les divers niveaux de résultats peuvent ne pas être bien connus et la mesure des résultats comme telle peut poser d'assez grandes difficultés. Par définition, nous ne sommes pas maîtres des résultats, mais nous cherchons plutôt à les provoquer en accomplissant certaines activités et en produisant certains extrants. C'est pourquoi nous sommes beaucoup moins à l'aise lorsqu'il s'agit de rendre compte des résultats, parce que nous n'en sommes pas maîtres. Or, malgré ces conditions différentes, pour établir des attentes pour les r& eacute;sultats, nous avons tout simplement adopté le mécanisme servant à l'établissement des extrants et cherché à fixer des cibles numériques pour chaque résultat mentionné.

Cette solution s'est révélée pas du tout satisfaisante, parce qu'elle ne tient pas compte du fait que les résultats peuvent être difficiles à mesurer, que les liens entre les extrants et les divers niveaux de résultats peuvent être difficiles à établir, et qu'il n'est souvent pas très réaliste ni, ce qui est plus important, utile d'être tenu de rendre compte de certains résultats numériques particuliers. Par exemple, il peut être facile d'établir des cibles pour l'alphabétisation et l'habileté arithmétique, mais les améliorations obtenues peuvent l'avoir été au détriment de compétences qui sont plus difficiles à mesurer, comme la créativité (The Economist 2001). Dans ce document, nous proposons une démarche différente qui tient compte du fait que les résultats ne sont pas semblables aux extrants.

Le tableau des attentes de résultats

Lorsqu'on examine le rendement d'un programme, on élabore souvent un modèle logique ou une chaîne des résultats, souvent sous la forme d'un diagramme (voir la pièce 1) illustrant comment le programme est censé fonctionner. Il décrit comment les activités produisent toute une gamme d'extrants, lesquels à leur tour entraînent une chaîne des résultats ultérieurs qui sont censés se produire.

Nous avons déjà préconisé l'établissement d'attentes claires et concrètes et la communication de l'information sur ces attentes (Vérificateur général du Canada 1997, 2000). Pour bien communiquer l'information sur le rendement, il faut indiquer dans quelle mesure un programme a été une réussite et à quel coût. Le bon gestionnaire doit savoir à quel moment les attentes ont été réalisées et être en mesure de le démontrer. Il peut y parvenir si les attentes sont claires et concrètes, et ainsi savoir si un programme a été une réussite et dans quelle mesure il peut être amélioré.

À notre avis, la chaîne des résultats est au cœur de l'établissement d'attentes de résultats pour un programme. Pour établir des attentes de rendement raisonnables, il faut que la chaîne des résultats soit élaborée et décrite. Il faut s'attendre à ce que non seulement un ou deux extrants et résultats définis se produiront, mais plutôt que toute la chaîne des événements présentés dans la chaîne des résultats se produira. C'est pourquoi l'établissement d'attentes exige l'établissement d'un tableau des attentes de résultats .

Pour élaborer le tableau des attentes de résultats, il faut :

• établir une chaîne des résultats qui définit clairement chacun des principaux éléments de la chaîne;
• présenter la logique de l'apport ou de l'intervention, y compris le contexte, c'est-à-dire expliquer pourquoi et dans quelle mesure il est probable que les activités et les extrants du programme contribueront à l'enchaînement des résultats attendus;
• définir les extrants clairs et concrets devant être produits;
• définir au moins certains des résultats à obtenir en termes clairs et concrets (il n'est pas nécessairement utile de tout mesurer).

La chaîne des résultats est semblable à un modèle logique, lequel peut être élaboré pour montrer, habituellement de façon détaillée, l'enchaînement causal des extrants et des résultats. Mais les chaînes de résultats proposées ici ne sont pas aussi détaillées. Elles sont fondées sur la théorie adoptée pour le programme. C'est ainsi qu'elles n'exigent pas nécessairement une confirmation au sujet de la causalité, laquelle est souvent associée à l'élaboration, pour un programme, d'une théorie sur laquelle un modèle logique est fondé. Les chaînes de résultats sont proposées ici en tant que structure de description des attentes d'un programme (et comme point de départ pour décrire le rendement ultérieur). Bien sûr, mieux la théorie du programme est comprise, plus r&eacut; e;alistes seront les attentes décrites.

Lorsque la chaîne des résultats décrit un programme, elle doit comprendre les dépenses prévues. Lorsque l'efficience est un aspect important du rendement, les coûts unitaires attendus des extrants produits doivent faire partie de la description des extrants de la chaîne des résultats.

Pour avoir une vue complète des attentes de rendement, il faudrait en outre expliquer la légitimité des attentes, c'est-à-dire comment elles ont été établies, leur rapport avec le mandat et la mission, leur caractère raisonnable et leur importance.

La pièce 2 présente un tableau générique des attentes de résultats, tandis que la pièce 3 donne un exemple d'un tableau des attentes de résultats pour un service dans un bureau national de vérification qui cherche à améliorer les pratiques de reddition de comptes en matière de résultats. L'exemple est typique de la plupart des programmes gouvernementaux en ce sens que les résultats recherchés se produisent bien à l'extérieur du programme en question et subissent au mieux l'effet des activités du programme.

La pièce 3 présente à la fois la chaîne des résultats sous-jacents (la théorie embrassée par le programme), de même que le tableau des attentes de résultats. Selon chaque situation, il peut s'agir d'une démarche plus ou moins utile. La chaîne des résultats illustre la logique du programme, tandis que le tableau des attentes de résultats illustre de façon plus précise ce que le programme est censé accomplir, au moyen de la chaîne des résultats en tant que structure de communication de l'information. À signaler également que le tableau des attentes de résultats est un tableau d'intentions, et non de faits. Il faut procéder à des mesures pour déterminer à quel point les attentes énumérées dans le tableau se sont effectivement réalisées.

Un certain nombre d'observations peuvent être faites :

• Il faut une bonne connaissance du programme et de sa raison d'être.
• Il faut plus d'information dans le cadre de cette démarche pour établir les attentes de rendement, car il ne s'agit pas tout simplement de définir quelques cibles.
• Le succès d'un programme — son rendement — n'est pas une notion simple : dans de nombreux cas, il ne se prête pas à des réponses simples.

Pour établir des attentes de rendement selon cette formule, il faut plus d'information, surtout parce qu'il est plus difficile de traiter de résultats que d'extrants. Les programmes publics comportent habituellement des interventions complexes visant à atténuer un problème ou à maintenir une situation. Certains aspects du programme peuvent fonctionner et réussir (certains résultats peuvent avoir été obtenus), tandis que d'autres aspects ne fonctionnent pas (d'autres résultats peuvent ne pas avoir été obtenus). Pour d'autres aspects encore, les résultats peuvent ne pas être clairs (peut-être que les liens entre les aspects du programme et les résultats recherchés ne peuvent être démontrés). Bien sûr, pour de nombreux programmes, certains résultats principaux peuvent être cernés et le succès obtenu peut être facilement dé terminé en ces termes. Même dans ce cas-là toutefois, il faut approfondir le succès en précisant l'étendue probable de l'apport du programme au résultat attendu.

L'élaboration d'un tableau des attentes de résultats compterait bon nombre des avantages souvent associés à l'élaboration d'une chaîne des résultats, comme les suivants :

• amener les gestionnaires du programme (et les parties intéressées) à discuter de la raison d'être, des objectifs et de la structure du programme;
• procurer un outil utile pour la conception, la surveillance et l'évaluation de l'exécution du programme;
• déterminer les mesures et les indicateurs pouvant servir à déterminer dans quelle mesure la chaîne des résultats et le tableau des attentes sont réalisés.

Il faut aussi tenir compte de certaines limites, comme les suivantes :

• Le tableau des attentes de résultats peut devenir périmé s'il n'est pas mis à jour à mesure que de nouveaux renseignements sont recueillis.
• Le tableau des attentes de résultats n'est que théorique jusqu'à ce que des preuves appuyant la théorie ou suggérant des modifications soient recueillies.

Les avantages de l'établissement de bonnes attentes de rendement

Pour établir une chaîne des résultats et un tableau des attentes de résultats, il faut travailler fort, mais cette tâche est essentielle à la gestion axée sur les résultats. Pour gérer en fonction des résultats, il faut avoir à l'esprit la totalité de la chaîne des résultats ou du tableau des attentes. Il arrive trop souvent dans la gestion axée sur les résultats qu'on ne porte attention qu'aux résultats finaux attendus. Dans la plupart des programmes cependant, de nombreuses hypothèses doivent se concrétiser et de nombreux événements doivent se produire pour que le résultat final soit obtenu (ou qu'on puisse y contribuer). Si on ne comprend pas bien la chaîne prévue des événements qu'un programme cherche à provoquer, il n'est probablement pas très utile d'avoir à l'esprit le résultat final seulement.

L'utilisation du tableau des attentes de résultats plutôt qu'un ou deux indicateurs comme c'est le cas généralement, comporte un autre avantage : celui de ne pas avoir à se préoccuper autant de la reddition de comptes à l'égard de résultats. Nous avons parlé ailleurs de la nécessité d'une nouvelle perspective sur la reddition de comptes (Bureau du vérificateur général 2002) et nous avons soutenu que, pour assurer la reddition de comptes à l'égard des résultats, il faut être en mesure de montrer :

• dans quelle mesure les objectifs et les résultats attendus ont été atteints;
• d'une manière raisonnable, dans quelle mesure le programme a eu un effet sur ces réalisations ou y a apporté quelque chose, en particulier dans quelle mesure le programme a produit des résultats positifs;
• les enseignements tirés;
• que les moyens utilisés étaient appropriés.

Dans cette perspective on reconnaît que les résultats dépendent d'autres facteurs et qu'il appartient aux gestionnaires de maximiser la possibilité que les services et les produits dont ils sont maîtres contribuent adéquatement aux résultats finaux recherchés. Lorsqu'on établit des attentes dans un tableau des attentes de résultats, il faut mettre l'accent sur ce qui est raisonnable et ainsi sur ce que devraient être des attentes de reddition de comptes raisonnables, et sur ce qui doit être mesuré. De ce point de vue, pour établir de bonnes attentes de rendement, il faut un tableau clair et concret des attentes de résultats.

Établir des attentes claires et concrètes

Il y a souvent une résistance dans les organisations à l'établissement d'attentes de rendement claires et concrètes. Il s'agit parfois tout simplement d'une réticence à mesurer et à comparer le rendement avec les attentes. Voilà l'obstacle culturel que la plupart des organisations doivent surmonter si elles désirent passer à la gestion axée sur les résultats (Vérificateur général du Canada 1997, paragraphes 11.41-11.66). Dans d'autres cas, la réticence tient à l'ignorance de ce que devrait être le niveau des résultats, en raison peut-être de la difficulté à mesurer les résultats en question, de même qu'à la forte incertitude sur la façon dont les activités du programme ont un effet sur les résultats escomptés. Il est nécessaire d'établir des attentes claires et concrètes pour dé ;terminer et montrer dans quel cas les attentes ont été réalisées.

Deux concepts des attentes. Il y a deux types d'attentes de rendement. De façon traditionnelle, elles sont considérées comme des prédictions (cibles) de ce qui est espéré dans l'avenir étant donné les ressources disponibles, et on s'attend à ce qu'elles soient réalisées la plupart du temps. En revanche, les attentes peuvent être considérées comme des défis à relever. On parle alors de cibles éloignées, établies pour procurer une orientation claire sur ce que le programme cherche à atteindre plus tard. Les cibles éloignées sont fixées à un niveau suffisamment élevé de sorte qu'elles ne peuvent être facilement atteintes avec les ressources actuelles, et ainsi avec la connaissance qu'elles ne seront pas souvent atteintes. Elles visent à établir les résultats à rechercher, plutôt que les résultats à atteindre. L'on souhaite que, du fait que les cibles sont éloignées, l'innovation sera encouragée et des occasions d'apprentissage et d'amélioration seront recherchées.

Les attentes de rendement établies en tant que prédictions (cibles) peuvent jouer un rôle positif, mais elles comportent aussi un certain nombre de lacunes :

• L'information sur le rendement peut porter tout autant sur la justesse d'une prédiction que sur le bon rendement d'un programme.
• Les lecteurs d'un rapport sur le rendement, et de nombreux employés, ne savent pas réellement sur quoi porte le rapport : s'agit-il de cibles éloignées ou de prédictions sûres? Doivent-elles être atteintes facilement?
• L'incertitude au sujet de la réalisation des résultats, étant donné les divers facteurs qui ne relèvent pas du programme, peut entraîner l'établissement de cibles seulement pour les extrants.
• Des cibles prédictives sont établies de telle sorte que l'écart déclaré soit nul. Il ne s'agit donc pas réellement d'une information sur le rendement du programme; on peut encore se demander si le programme pourrait avoir produit de meilleurs résultats. De telles cibles sont également moins susceptibles d'encourager l'innovation et l'apprentissage : un gestionnaire peut se demander, puisque la cible a été atteinte, pourquoi travailler plus fort.

Le modèle d'établissement des attentes selon une variable explicative fonctionne probablement mieux pour la communication d'une information fondée sur les extrants plutôt que sur les résultats, puisqu'une certitude beaucoup plus grande peut être obtenue au sujet du niveau et de la qualité des extrants produits.

Nous soutenons que, pour présenter de l'information sur les résultats dans le cadre de la communication de l'information sur le rendement, il faut absolument considérer les attentes comme des défis à relever, c'est-à-dire des cibles éloignées. Ce type d'attente correspond au modèle d'apprentissage à la base de la notion de la gestion axée sur les résultats. L'un des nombreux avantages de l'utilisation de cibles éloignées en tant qu'attentes tient à la reconnaissance préalable que beaucoup de ces attentes ne seront probablement pas réalisées, mais qu'il y aura eu beaucoup d'apprentissage. Cet apprentissage doit être mentionné en tant que rendement obtenu.

L'établissement d'attentes est évolutif. L'un des éléments essentiels du cadre de la gestion axée sur les résultats tient à la nécessité de faire des révisions et des ajustements à mesure qu'on acquiert plus d'expérience et qu'on comprend mieux. Il n'est pas réaliste de s'attendre à ce que l'on puisse dès le départ définir l'ensemble parfait de mesures et les attentes de rendement correspondantes, puis passer à la mise en œuvre d'un système de mesure du rendement qui durera éternellement. L'expérience partout montre que le processus est évolutif et qu'il progresse avec beaucoup de tâtonnements. En outre, le contexte dans lequel évolue un programme change constamment de sorte qu'il faut continuellement planifier les attentes de rendement et y apporter les révisions nécessaires. Les attentes claires et concr&egra; ve;tes évoluent à la longue en fonction des objectifs.

Par conséquent, le tableau des attentes de résultats doit être considéré comme un processus évolutif. À la longue, le tableau :

• devient plus solide du fait que les liens logiques fondés sur des éléments probants sont plus sûrs et mieux compris;
• acquiert des mesures plus solides et plus significatives des résultats principaux;
• contient des attentes plus concrètes.

Cette évolution doit se produire de manière délibérée, plutôt que par tâtonnements aléatoires. Il doit y avoir un mécanisme intégré très visible de révision et d'ajustement permettant le recensement des mesures et des attentes qui conviennent le mieux, c'est-à-dire celles qui se révèlent utiles à l'organisation pour la gestion et la communication de l'information. Cela renforce encore une fois l'importance de l'apprentissage délibéré fondé sur l'expérience passée, qui est la marque de la gestion axée sur les résultats. Si on communique l'information seulement sur l'écart entre les attentes et le rendement réel, on est porté à se concentrer sur les cibles plutôt que sur l'apprentissage.

Si cette démarche est associée à l'utilisation des attentes associées à des défis, l'information sur le rendement est communiquée naturellement, et l'information porte plutôt sur l'apprentissage qui se produit que sur les écarts par rapport aux prédictions. C'est donc aussi qu'une bonne information sur le rendement doit comporter une description de la façon dont le tableau des attentes de résultats et ses éléments doivent en principe évoluer, de la façon dont les attentes actuelles ont été fixées et de ce qu'on espère réaliser avec ces attentes à mesure qu'on acquiert de l'expérience.

Les extrants sont encore importants. Il s'agit ici surtout d'établir des attentes de résultats et de les utiliser pour la planification, la gestion et la communication de l'information. Mais nous ne voulons aucunement laisser entendre que les extrants ne sont pas importants. Il est essentiel pour la gestion courante d'établir des attentes en matière d'extrants et de mesurer les progrès accomplis à cet égard de même que de faire un suivi des dépenses associées à ces extrants. Bien que les gestionnaires ne puissent pas faire un suivi quotidien des résultats, ils doivent faire un suivi de leurs activités quotidiennes, ainsi que des extrants et des dépenses connexes. Pour faire une gestion axée sur les résultats, les gestionnaires doivent avoir de temps à autre de l'information sur la façon dont leur chaîne des résultats correspond à la réalit& eacute; et ainsi être en mesure de modifier au besoin leurs activités et leurs extrants.

Stratégies pour l'élaboration des attentes. Si l'on s'en tient à l'idée qu'un tableau des attentes de résultats évolue constamment, il existe plusieurs façons de parvenir à établir des attentes claires et concrètes :

• connaître les points de repère d'autres programmes ou d'autres administrations;
• mesurer le rendement pendant une période pour établir un point de référence;
• fonder les attentes sur le rendement passé;
• établir des attentes directionnelles en premier lieu, mesurer les progrès accomplis et s'entendre avec les parties intéressées au sujet du niveau de rendement qui est acceptable;
• utiliser des méthodes qualitatives pour mesurer les réalisations;
• consulter les parties intéressées (clients, bureaux du budget et législateurs) au sujet des attentes raisonnables.

Pour communiquer une bonne information sur le rendement, il faut rendre compte de ces stratégies d'élaboration des attentes et expliquer d'où proviennent les attentes et la façon dont elles ont été définies.

Des attentes claires. Les attentes déclarées doivent au moins être claires (bien définies et sans ambiguïté). Le lecteur doit être en mesure de savoir sur quel aspect du rendement porte l'information communiquée.

Des attentes concrètes. Il faut autant que possible que les attentes soient concrètes, mais cette exigence peut varier selon le type ou l'étendue. L'attente concrète idéale comprend un certain nombre de caractéristiques :

• Le groupe cible qui doit bénéficier des résultats est clairement défini.
• L'étendue des résultats à obtenir est bien déterminée.
• Le calendrier de réalisation des résultats est indiqué.

Si l'attente de rendement est concrète, il est possible de savoir à quel moment l'attente a été réalisée.

Les cibles peuvent être à la fois numériques avec des échéanciers, ou non numériques. Il est possible d'établir diverses cibles qui ne sont pas numériques ou représentées par un seul chiffre, tout en étant concrètes, comme dans les cas suivants :

• établir une gamme de niveaux de rendement attendu;
• maintenir la tendance du rendement passé;
• établir des cibles de type 0-1 lorsqu'un événement ou un jalon doit être accompli à une date cible donnée;
• établir une échelle correspondant à des qualificatifs, comme faible, suffisant ou bon;
• faire un apport important à un résultat, si le terme « important » est bien défini.

Pour un certain nombre de raisons, il peut être impossible ou inutile d'établir une cible concrète dès le départ. Pour parvenir à cet idéal, on peut adopter un certain nombre de démarches, comme les suivantes :

• établir une attente concrète sans échéancier défini;
• établir une orientation claire pour le changement attendu, mais sans préciser l'échéancier final.

Dans les deux cas, l'attente peut éventuellement devenir plus concrète une fois l'expérience acquise. Il faut expliquer pourquoi l'une ou l'autre de ces démarches est utilisée.

Le choix des mesures de rendement. Il est essentiel pour établir des attentes de rendement claires et concrètes de choisir de bonnes mesures de rendement pour représenter ces attentes. Il faut de bonnes mesures pour obtenir des éléments de mesure qui sont exacts, fiables et valables.

Les éléments de mesure sont exacts s'ils représentent correctement la réalité mesurée. On dit qu'ils sont fiables en ce sens que, si d'autres utilisent les mêmes éléments, les résultats obtenus sont les mêmes. Une mesure est valable si elle mesure la caractéristique de rendement visée, plutôt qu'autre chose. Par exemple, un test d'intelligence peut être une mesure exacte et fiable mais, en tant que mesure de l'intelligence, il a peu de valeur. De même, le temps nécessaire pour passer de 0 à 100 kilomètres à l'heure est une mesure valable de l'accélération d'un véhicule, mais non une mesure valable du rendement d'un véhicule.

Il arrive souvent qu'il soit difficile d'établir de bonnes mesures procurant une information utile sur le rendement tant qu'on n'a pas procédé à des mesures pendant un certain temps. Il est bon de réviser et d'examiner l'utilité des mesures.

Être sélectif. Dans le cas de la plupart des programmes, il est facile de définir un assez grand nombre de mesures du rendement à partir d'une chaîne des résultats et, par conséquent, d'établir un grand nombre d'attentes. Il ne s'agit pas d'un démarche utile habituellement. Il faut plutôt un nombre raisonnable d'attentes, peut-être quatre ou cinq pour une étendue donnée de contrôle de gestion. Il est impossible de gérer un trop grand nombre de mesures et d'attentes qui ne servent éventuellement qu'à alimenter les systèmes d'information.

Des solutions de rechange aux attentes concrètes. Comme nous l'avons indiqué, il peut arriver dans certains cas qu'il ne soit ni pratique ni possible d'établir des attentes concrètes. Lorsque les attentes sont claires mais non très concrètes, l'une des solutions consisterait à déterminer dans quelle mesure les attentes ont été atteintes en faisant appel à un groupe d'experts extérieur qui appliquent une échelle qualitative. La National Science Foundation (2000) aux États-Unis a eu recours à cette solution pour produire ses rapports sur le rendement. Chacun de ses programmes est examiné à tous les trois ans par des groupes d'experts extérieurs indépendants qui déterminent dans quelle mesure les cibles ont été atteintes. Ils utilisent une échelle de notation comportant deux points : « réussite & raquo; et « efficacité minimale ». La pièce 4 illustre les résultats pour les buts et les cibles d'un programme donné.

La crédibilité de cette démarche dépend manifestement de la crédibilité des experts auxquels on fait appel. Mais il s'agit d'une façon de solutionner le problème des attentes qui sont difficiles à quantifier. On pourra s'entendre à la longue sur ce qui constitue une réussite dans ces domaines.

Établir des attentes en jouant au plus fin. On peut jouer au plus fin en établissant des attentes réalisables à coup sûr, ce qui n'est pas une façon de gérer en fonction des résultats. Pour ce qui est de l'élaboration d'attentes au fil du temps, il existe une autre façon manifeste de jouer au plus fin, soit de modifier les attentes chaque année de sorte que, au fil du temps, il soit impossible d'évaluer les progrès accomplis. Ce n'est pas ce que nous proposons. Nous proposons plutôt une stratégie délibérée visant à améliorer les attentes, de sorte que beaucoup deviennent relativement stables au fil du temps (sauf si les activités sous-jacentes changent). L'évolution initiale des attentes devrait se faire sur une période de plusieurs années, mais en moins d'une décennie.

Mot de la fin. Nous avons expliqué comment établir des attentes en fonction d'un résultat défini à atteindre, mais il est important de rappeler que toute cette démarche se situe dans le cadre d'ensemble de la chaîne des attentes et des résultats. De ce point de vue, il pourrait convenir que certaines des attentes soient quasi concrètes, peut-être pour l'avenir prévisible, du moment qu'il y en a d'autres qui sont en voie de devenir concrètes. En outre, le nombre d'attentes de résultats concrets nécessaires dépend dans une certaine mesure de la solidité de la chaîne logique pour le programme. Plus il est manifeste que la logique du programme fonctionne, moins il peut être nécessaire d'obtenir des résultats concrets de niveau élevé. Par exemple, un programme de lutte contre le tabagisme a comme résultat final l'amélioration de la santé des Canadiens. De prime abord, il s'agit d'un résultat bien éloigné des activités d'un tel programme. Toutefois, le lien entre la réduction de la consommation du tabac et l'amélioration de la santé a été établi clairement. Le programme peut donc affirmer sans crainte que la réduction de la consommation de tabac en raison de ses activités contribuera à l'amélioration de la santé.

Description du rendement

Pour faire rapport sur le rendement, il faut décrire ce qui a été réalisé par rapport à ce qui était attendu, de même que ce qui a été appris. Pour faire rapport sur les résultats, il faut par conséquent décrire ce qui a été réalisé par rapport au tableau des attentes de résultats établi. Il faut plus que tout simplement faire rapport sur plusieurs mesures ou cibles de rendement bien définies et établies antérieurement. Il faut présenter une description du rendement crédible au sujet du tableau des attentes de résultats, c'est-à-dire présenter des éléments probants pour indiquer dans quelle mesure le tableau des attentes de résultats correspond effectivement à la réalité. Bien sûr, si des résultats imprévus ont également ét&eacut; e; observés, il faut également les mentionner. Il convient en effet de prévoir dans la méthode de mesure des résultats d'un programme une façon de traiter les résultats imprévus associés au programme.

Présentation du rendement. Il y a diverses façons de présenter le rendement. Dans tous les cas, il doit y avoir un ensemble d'éléments probants quantitatifs attestant que certains extrants et certains résultats ont été réalisés, de même qu'une description narrative et d'autres éléments probants des apports qui ont été faits à divers points de la chaîne des résultats, tous décrits dans un certain contexte. La description du rendement doit en arriver à convaincre un lecteur sceptique que les activités entreprises ont effectivement produit des résultats positifs, que la chaîne des attentes s'est réalisée, du moins dans une certaine mesure, de même que des résultats imprévus importants.

La pièce 5 illustre les principaux éléments d'une description du rendement et donne d'autres renseignements sur chacun des éléments. Ces éléments peuvent servir à présenter la description sous forme narrative, accompagnée d'éléments probants sur chacun des résultats faisant l'objet du rapport avec renvoi au tableau des attentes. À titre d'exemple de cette démarche, voir le Rapport sur le rendement du Bureau du vérificateur général (2002).

La communication de l'information sur les apports. L'une des plus grandes difficultés de la communication d'un rapport sur le rendement consiste à présenter de façon crédible l'apport du programme aux résultats attendus. Il s'agit de montrer que le programme a produit des résultats positifs. Il a été question ailleurs (mai 1999) des méthodes pratiques d'analyse de l'apport. Nous proposons ici des façons de présenter l'apport, en particulier quand il n'y a pas d'évaluation solide portant sur l'apport comme tel. Dans ce cas, il ne s'agit sûrement pas de montrer que le programme a produit des résultats positifs, mais d'établir à la longue un argumentaire montrant qu'il existe une association plausible entre les résultats observés et les activités et les extrants du programme, à mesure que de plus en plus d'éléments probants sont recueillis. Il serait plus réaliste de viser à présenter un argumentaire qui soit acceptable.

L'élément principal est le tableau des attentes de résultats, surtout sa logique. Le modèle logique décrit ce qui est censé se produire en raison des activités du programme. Si ce modèle n'est pas convaincant, il est peu probable que la description de l'apport le soit également.

Bien qu'elle soit essentielle, la description de la logique n'explique que ce qui est censé se produire, c'est-à-dire pourquoi il faut croire que le programme est censé faire un apport. Ce qu'il faut se demander, c'est s'il a effectivement réussi à le faire. Toute une gamme de données et de renseignements peuvent et doivent effectivement être recueillis pour établir les éléments probants (Mayne 1999), comme les suivants :

• Bien que d'autres facteurs aient également contribué au résultat, la suite attendue des événements décrits dans la description logique du programme s'est effectivement produite.
• Des modèles logiques encore plus détaillés d'aspects importants de la théorie du programme sont également confirmés par les événements.
• Des experts dans le domaine conviennent que le programme a beaucoup contribué effectivement aux résultats observés.
• D'autres facteurs qui auraient eu un effet sur le résultat observé ne sont pas aussi plausibles que les facteurs décrits dans la théorie du programme.

Dans l'exemple donné à la pièce 4, ce sont des groupes d'experts extérieurs qui ont conclu que le programme de la National Science Foundation a fait un apport. Présente-t-il des éléments probants indiscutables? Probablement non, mais un argumentaire relativement solide et raisonnable est présenté.

Des recoupements. Il est probable qu'il ne suffit pas d'un seul élément probant pour démontrer qu'un résultat a été effectivement atteint ou qu'un programme a fait un apport. Comme il a été expliqué ailleurs, « même s'il n'existe aucun élément probant unique qui soit très convaincant, un ensemble plus vaste d'éléments probants différents et complémentaires peut devenir assez convaincant » (Mayne 1999). C'est la totalité des éléments probants recueillis, certains solides, d'autres plutôt faibles, qui sert à produire une description crédible du rendement. Il est bon de prévoir dans la stratégie de mesure utilisée la nécessité de sources multiples de données, de renseignements et d'analyse.

Une description du rendement narrative. La façon la plus courante de présenter la description du rendement consiste probablement à décrire sous forme narrative le rendement obtenu à la lumière de ce qui était attendu. Si on se fonde sur la chaîne des résultats du programme, la description peut prendre la forme d'une explication de la correspondance entre la chaîne des résultats et la réalité, de sorte que la description soit structurée et logique.

Un tableau des réalisations en matière de rendement. Il existe une autre possibilité pour décrire les principaux éléments d'un rendement obtenu, soit l'élaboration d'un tableau des réalisations en matière de rendement ou d'un tableau descriptif du rendement parallèle au tableau des attentes. On trouvera à la pièce A.1 de l'annexe un tableau du rendement générique. La colonne de gauche présente la chaîne des résultats de base par rapport à laquelle la colonne de droite présente de l'information. Une telle communication est nécessaire pour rappeler au lecteur la théorie et l'hypothèse de base du programme. La colonne de droite, soit la description du rendement comme telle, peut porter sur un certain nombre d'éléments :

• la raison d'être générale du programme;
• le contexte extérieur dans lequel évolue le programme;
• une description historique du rendement;
• les énoncés du dernier exercice (ou les plus récents) des attentes de rendement spécifiques;
• les réalisations récentes;
• une explication des liens entre divers niveaux de la chaîne des résultats.

Il y a même de la place dans le tableau du rendement pour la communication d'éléments probants empiriques. De tels éléments ne sont habituellement pas en soi très crédibles, parce qu'ils sont plutôt sélectifs et qu'ils ne représentent pas le tableau complet. Toutefois, présentés dans un tableau du rendement, de tels éléments sont situés en contexte et servent à montrer que, dans certains cas du moins, des attentes figurant dans le tableau se sont réalisées. L'élément empirique est ancré quelque part.

La pièce A.1 montre également comment l'apprentissage qui s'est produit peut être présenté car on y trouve un résumé des conclusions tirées du rendement passé.

La pièce A.2 dans l'annexe présente un tableau du rendement pour le tableau des attentes de résultats figurant à la pièce 3.

On n'a pas beaucoup d'expérience à ce jour dans l'utilisation de tableaux pour décrire le rendement. La pièce présente quelques techniques qui pourraient servir à présenter des parties de la description du rendement. Il s'agit de trouver des moyens de présenter de façon succincte une description utile.

À quoi doivent s'attendre le Parlement et le public?

Pour présenter une bonne information sur le rendement au Parlement et au public, il est essentiel d'établir des attentes de rendement claires et concrètes et de faire état des progrès accomplis à ce sujet. S'il n'y a pas de bons énoncés des attentes, il est impossible de savoir si les résultats obtenus constituent un bon rendement.

Des attentes claires et concrètes. Il faut remplir plusieurs conditions pour établir des attentes claires, concrètes et crédibles. Pour présenter un bon rapport, il faut :

• décrire clairement le type d'attente : s'agit-il d'une cible éloignée ou d'une prédiction?
• décrire comment les attentes ont été élaborées. Pourquoi sont-elles un niveau de rendement attendu raisonnable?
• décrire comment les attentes sont liées aux objectifs et au mandat du programme. Pourquoi est-il important de les réaliser? De quelle façon l'organisation doit-elle contribuer aux attentes? Le tableau des attentes de résultats peut être l'une des meilleures façons d'exposer succinctement l'apport fait.
• établir les attentes en termes clairs et concrets.

Dans un tableau des attentes de résultats, un bon énoncé des attentes de rendement doit comporter les éléments suivants :

• les résultats clairs et concrets,
• les extrants concrets à produire,
• la logique de l'apport (pourquoi les extrants devraient contribuer au résultat).

Une description du rendement crédible. À l'intention du Parlement et du public, il faut présenter une information crédible sur chacun des éléments d'une description du rendement, comme il est expliqué à la pièce 5, c'est-à-dire :

• le contexte du programme ou de l'organisation, y compris sa chaîne des résultats;
• ce qui doit être accompli;
• ce qui a été accompli;
• les enseignements tirés et ce qui changera en conséquence;
• comment la qualité de l'information est assurée.

Conclusion

Pour gérer en fonction des résultats plutôt que des extrants, et présenter l'information à ce sujet, il faut procéder autrement pour établir les attentes de résultats et décrire le rendement. Nous avons proposé un certain nombre de façons d'arriver à cette fin, dont les suivantes :

• établir des attentes dans le contexte d'un tableau des attentes de résultats, plutôt que selon des mesures individuelles;
• reconnaître que le tableau des attentes de résultats évolue et doit évoluer, et ainsi devenir plus solide à la longue;
• établir un certain nombre de façons, autres que tout simplement des chiffres, pour élaborer des attentes concrètes;
• établir une distinction entre les attentes qui constituent des défis et les attentes prédictives, en mettant l'accent sur les cibles difficiles ou éloignées pour les résultats;
• faire état du rendement dans une description structurée dans le contexte d'un tableau des attentes de résultats, soit dans un texte narratif, soit au moyen de tableaux descriptifs du rendement.

Documents consultés

Vérificateur général du Canada (1997). Vers une gestion axée sur les résultats. Rapport à la Chambre des communes, chapitre 11. Octobre. Ottawa.

Vérificateur général du Canada (2000). L'information sur le rendement communiquée au Parlement : les progrès sont trop lents. Rapport à la Chambre des communes, chapitre 19. Décembre. Ottawa.

Vérificateur général du Canada (2002). La modernisation de la reddition de comptes dans le secteur public. Rapport à la Chambre des communes, chapitre 9. Décembre. Ottawa.

Mayne, J. (1999). Régler la question de l'attribution par l'analyse de la contribution : utiliser judicieusement les mesures du rendement. Bureau du vérificateur général, Ottawa. http://www.oag-bvg.gc.ca/domino/other.nsf/html/99dp1_f.html/$file/99dp1_f.pdf

National Science Foundation (2000). Accountability Report FY 1999. Washington.

Bureau du vérificateur général du Canada (2002). Rapport sur le rendement pour l'exercice se terminant le 31 mars 2002. Ottawa.

The Economist (2001). « The trouble with targets ». 26 avril. http://www.tbs-sct.gc.ca/rma/account/OAGTBS_F.html

Wholey, J. (1997). Clarifying Goals, Reporting Results. In Debra J. Rog (Ed.). Progress and Future Directions in Evaluation: Perspectives on Theory, Practice and Methods . New Directions for Evaluation, No. 76, Winter. Jossey-Bass Publishers.