Un modèle d'évaluation des rapports ministériels sur le rendement

Points saillants

6.1 Les rapports ministériels sur le rendement constituent pour le Parlement un important moyen d'amener les ministres à rendre des comptes sur l'argent que dépensent leurs ministères et les résultats qu'ils obtiennent. Un bon rapport sur le rendement brosse le tableau du rendement d'un ministère ou d'un organisme du gouvernement fédéral. En présentant une information cohérente, il indique au Parlement les changements positifs qu'un ministère ou un organisme gouvernemental a produits pour les Canadiens. De bons rapports sur le rendement devraient montrer aux Canadiens ce qu'ils obtiennent en contrepartie des impôts et des taxes qu'ils paient.

6.2 Comme nous l'avons indiqué en 2000, les ministères et les organismes fédéraux ont, au cours des sept dernières années, amélioré la qualité des rapports sur le rendement qu'ils présentent au Parlement, mais leurs progrès sont trop lents. En 2001, un rapport à la Chambre des communes du Comité permanent des comptes publics a fait valoir l'importance de l'information communiquée sur le rendement. Le Comité nous a demandé de continuer à évaluer les rapports ministériels sur le rendement.

6.3 Le présent chapitre donne suite à la demande du Comité. Il présente une méthode d'évaluation de la qualité des rapports sur le rendement. Nous proposons un modèle d'évaluation des rapports ministériels sur le rendement, l'évaluation étant fondée sur cinq critères de qualité; le modèle précise différents niveaux de communication de l'information sur le rendement.

6.4 Nous espérons que ce modèle sera l'un des outils utilisés par les ministères pour améliorer leurs rapports sur le rendement et ce, plus rapidement qu'ils ne l'ont fait dans le passé. Ce modèle, s'il est utilisé pendant un certain nombre d'années pour évaluer les rapports sur le rendement, peut aussi servir à évaluer les progrès accomplis par les ministères à l'égard de la production de leurs rapports.

6.5 L'évaluation d'un rapport ministériel sur le rendement permet aux parlementaires :

• de comparer le rapport avec les rapports d'autres ministères qui ont aussi été évalués;
• de demander au ministère de prendre des mesures précises qui amélioreront son rapport;
• de déterminer si le ministère a amélioré son rapport sur le rendement dans les cas où un rapport précédent du ministère a déjà fait l'objet d'une évaluation.

6.6 Nous démontrons l'utilité de notre modèle d'évaluation en l'appliquant à trois récents rapports sur le rendement, soit ceux de la Gendarmerie royale du Canada, d'Environnement Canada et de Pêches et Océans Canada.

Contexte et autres observations

6.7 La plupart des ministères et organismes fédéraux soumettent un rapport sur le rendement au Parlement chaque année, à l'automne. Ils y décrivent leurs réalisations de l'année écoulée en fonction des engagements qu'ils ont pris dans leur dernier rapport sur les plans et les priorités.

6.8 Nous avons pour la première fois formulé des commentaires sur ce mécanisme de rapport en 1997. À notre avis, il s'agissait d'un bon départ et le cadre fondamental de rapport sur le rendement était satisfaisant. En 2000, nous avons fait le suivi de cette vérification de portée gouvernementale en évaluant de nouveau les progrès du gouvernement dans ce domaine. Nous avons dressé la liste des forces et des faiblesses du mécanisme de rapport et conclu que les progrès étaient trop lents.

6.9 Depuis 1995, année de lancement du Projet d'amélioration des rapports au Parlement, le Secrétariat du Conseil du Trésor a été le protagoniste de l'amélioration du mécanisme de rapport sur le rendement du gouvernement. Dans ses directives sur la préparation des rapports ministériels sur le rendement de 2000-2001, le Secrétariat du Conseil du Trésor a énoncé les principes d'un bon rapport et a inclus un lexique.

6.10 En nous fondant sur nos travaux précédents, sur les projets pilotes pour mettre à l'essai le modèle d'évaluation, et sur les échanges que nous avons eus avec différents experts, nous avons précisé les cinq critères d'un bon rapport sur le rendement que nous avions retenus en 1997. Ces critères sont conformes aux principes énoncés par le Secrétariat du Conseil du Trésor en 2001. Nous modifierons le modèle au fur et à mesure qu'il sera utilisé et conformément aux suggestions que feront les ministères après l'avoir appliqué à leurs propres rapports.

Réaction du gouvernement. Le gouvernement est généralement réceptif à l'égard du présent chapitre et de notre modèle. Ses commentaires se trouvent à la fin du chapitre.

Introduction

Il est essentiel de communiquer une bonne information sur le rendement

6.11 Il est essentiel de communiquer une bonne information sur le rendement pour rendre compte comme il se doit au Parlement des décisions et des mesures prises par le gouvernement. Lorsqu'une information sur le rendement juste et fiable est communiquée au Parlement par la voie d'un mécanisme de rapport crédible, on crée un climat de confiance envers le gouvernement.

6.12 Un bon rapport sur le rendement informe les contribuables canadiens sur l'utilisation des sommes qu'ils versent en impôts et taxes et sur les changements positifs qui sont produits par un ministère. Plus de 80 rapports sur le rendement sont présentés au Parlement chaque automne, dans le contexte du processus budgétaire. Pour les comités parlementaires, une bonne information sur le rendement peut servir à faire un examen approfondi des principaux programmes et services.

6.13 En informant le Parlement et le public sur ce qui a le mieux fonctionné et ce qui n'a pas fonctionné, un bon rapport sur le rendement peut aussi inciter les ministères à gérer leurs activités en fonction des résultats qu'ils avaient prévus. L'information sur le rendement communiquée à l'externe est du même type que l'information qui est nécessaire à l'interne pour gérer en vue d'obtenir de meilleurs résultats.

6.14 Chaque automne, le Parlement reçoit, en plus des rapports ministériels sur le rendement, un rapport sur le rendement pour l'ensemble du gouvernement préparé par le président du Conseil du Trésor. Au cours des dernières années, ce rapport était centré sur les résultats des activités que mènent des ministères partenaires en vue de réaliser des objectifs communs. Le rapport de 2001 résumait le rendement global du Canada en fonction de 19 indicateurs sociaux. Ce rapport annuel est devenu un important outil de communication des résultats horizontaux et des résultats dans l'ensemble du gouvernement.

6.15 L'intérêt pour l'information sur le rendement ne date pas d'hier. En effet, depuis 1981, le Bureau du vérificateur général du Canada et le gouvernement fédéral ont beaucoup insisté sur l'amélioration de l'information communiquée au Parlement par les ministères (voir la  pièce 6.1).

Le cadre fondamental de rapport est satisfaisant

6.16 En 1997, nous avons examiné l'état de l'information communiquée au Parlement par le gouvernement fédéral (Rapport du vérificateur général du Canada de 1997, chapitre 5, « La communication de l'information sur le rendement dans le Système de gestion des dépenses »). Nous avons alors constaté que le gouvernement avait pris un bon départ et que le cadre fondamental de rapport était satisfaisant. Nous soulignions que plusieurs ministères avaient amélioré certains aspects de leur rapport sur le rendement, mais que le Parlement recevait peu d'information lui permettant d'établir la valeur obtenue par les Canadiens en contrepartie de leurs impôts et taxes. Au lieu de communiquer leurs résultats, les ministères décrivaient surtout leurs activités, produits et services.

6.17 Nous avons expliqué que pour améliorer l'information communiquée, les ministères devaient appliquer les démarches suivantes :

• se concentrer sur les avantages qu'ils avaient obtenus pour les Canadiens;
• parler davantage des résultats que des activités et des extrants;
• comparer leur contribution aux résultats avec la contribution d'autres parties;
• viser un plus grand équilibre en incluant de l'information sur le rendement lorsqu'il ne correspondait pas à leurs attentes;
• fournir plus d'information sur les forces et les limites de l'information communiquée;
• inclure plus d'information sur les questions interministérielles et horizontales.

Rythme décevant des progrès

6.18 En 2000, nous avons publié les résultats d'une vérification à l'échelle gouvernementale des progrès réalisés depuis 1997 au chapitre de l'information sur le rendement (Rapport du vérificateur général du Canada de 2000, chapitre 19, « L'information sur le rendement communiquée au Parlement : les progrès sont trop lents »). Nous avons alors fait observer que pour améliorer leurs rapports sur le rendement, les ministères devaient notamment appliquer les mesures suivantes :

• présenter clairement leurs attentes;
• utiliser des termes uniformes;
• améliorer la communication des réalisations (et ne pas se limiter aux activités et aux extrants);
• comparer le rendement avec celui des années antérieures (et pas seulement celui de la dernière année);
• veiller à obtenir un meilleur équilibre dans la communication des bons résultats et des faiblesses;
• attacher plus d'importance à la fiabilité des données.

Nous avons affirmé que nous étions encore une fois déçus de la lenteur avec laquelle les ministères amélioraient leur rapport sur le rendement.

Intérêt du Parlement pour une information améliorée

6.19 Certains parlementaires manifestent plus d'intérêt à l'égard des rapports ministériels sur le rendement. En 2001, le huitième rapport du Comité permanent des comptes publics soulignait l'importance d'une bonne information sur le rendement. Le Comité a aussi recommandé que « le Bureau du vérificateur général effectue des vérifications au hasard de l'information figurant dans les rapports sur le rendement des ministères et des organismes, dans le but de s'assurer, notamment, que cette information est un fidèle reflet des réalisations comparées aux objectifs établis ».

6.20 En réponse à cette demande, nous avons conçu une méthode d'examen des rapports sur le rendement qui montrera dans quelle mesure les rapports ministériels sont satisfaisants. Elle permettra aussi aux représentants des ministères qui préparent les rapports de mieux comprendre les qualités d'une bonne information sur le rendement et comment elle peut être améliorée. Notre modèle d'évaluation des rapports ministériels sur le rendement comprend cinq critères ou qualités d'une bonne information; il indique, pour chaque critère, la norme correspondant à chaque niveau de qualité d'un rapport. Cette approche devrait contribuer à l'amélioration continue des rapports des ministères.

Obstacles à la communication d'une bonne information sur le rendement

6.21 Dans notre rapport de 2000, nous avons mis en relief trois facteurs qui contribuent à la faiblesse actuelle des rapports :

• les principes fondamentaux d'un bon rapport ne sont pas compris ni appliqués;
• l'information sur le rendement est communiquée dans un contexte politique;
• il existe peu d'incitatifs à la production d'un bon rapport et peu de sanctions à la production d'un mauvais.

6.22 Il est essentiel pour communiquer efficacement l'information sur le rendement que la haute direction appuie la comparaison des résultats du ministère avec les résultats des années précédentes et ceux d'organismes semblables. Il faut également une culture politique qui préconise la transparence par une volonté de reconnaître les lacunes et d'accepter les mesures correctives qui s'imposent pour y remédier.

6.23 À ces conditions s'ajoutent des stratégies qui peuvent encourager l'amélioration, notamment l'évaluation des rapports sur le rendement et la publication des résultats. On peut recenser les éléments qui doivent être améliorés, faire connaître les rapports exemplaires et en vanter les mérites.

6.24 Les rapports ministériels sur le rendement sont à différents stades d'évolution, et ils s'améliorent à des rythmes différents. Dans certains cas, les améliorations peuvent nécessiter beaucoup de ressources du ministère en cause alors que dans d'autres, les ressources actuelles suffisent.

Objet de l'étude

6.25 La présente étude constitue le prolongement de nos travaux des dernières années sur le mécanisme fédéral de rapport sur le rendement. Nos objectifs étaient les suivants :

• élaborer un modèle servant à évaluer les rapports ministériels sur le rendement;
• déterminer la fiabilité du modèle;
• vérifier la possibilité d'utiliser le modèle pour des évaluations continues.

6.26 Après avoir conçu le modèle d'évaluation, nous avons testé sa fiabilité en demandant à différents experts de l'utiliser pour évaluer quatre rapports ministériels sur le rendement. Nos experts ont attribué des cotes semblables. Nous avons aussi demandé aux représentants des quatre ministères de vérifier la vraisemblance de nos cotes. Nous avons ensuite demandé à nos équipes qui vérifient ces ministères d'examiner les cotes. Enfin, lorsque nous avons jugé le modèle satisfaisant, nous y avons eu recours pour évaluer trois rapports, dont l'un faisait partie du groupe témoin précédent. Ce sont les trois rapports-échantillons dont il est question dans le présent chapitre et qui servent à montrer comment utiliser le modèle. Nous n'avons pas vérifié les procédures et les systèmes ministériels qui ont servi à produire l'information contenue dans les rapports. On trouvera d'autres détails sur les objectifs, l'étendue et la méthode de l'étude dans la section intitulée « À propos de l'étude », à la fin du chapitre.

Observations

Un modèle d'évaluation des rapports sur le rendement

Critères

6.27 Misant sur nos travaux de 1997 et de 2000, nous avons précisé nos cinq critères d'une bonne information sur le rendement. Ces critères devraient aider les ministères à présenter un tableau du rendement qui soit éloquent. Un rapport sur le rendement qui selon ces critères obtiendrait la cote maximale aurait les qualités d'un rapport public exceptionnel :

• Le contexte opérationnel et les résultats stratégiques sont clairs.
• Les attentes à l'égard du rendement sont claires et concrètes.
• Les principaux résultats sont communiqués par rapport aux attentes.
• La fiabilité de l'information sur le rendement est étayée d'éléments probants.
• L'utilisation de l'information sur le rendement est démontrée.

Chacun de ces cinq critères comprend aussi des sous-critères détaillés.

6.28 Ensemble, les critères représentent ce qu'on attend d'un tableau du rendement qui soit crédible. Les trois premiers critères ont trait à ce qui a été accompli; les deux autres portent sur la qualité et l'utilisation de l'information sur le rendement. Le quatrième critère nécessite que le ministère fournisse des éléments probants pour permettre au lecteur de juger de l'exactitude et de la crédibilité de l'information sur son rendement. Cependant, notre modèle n'est pas conçu pour donner l'assurance que l'information contenue dans un rapport sur le rendement est exacte.

Les principes du Conseil du Trésor

6.29 En 2001, le Secrétariat du Conseil du Trésor a publié les lignes directrices que les ministères doivent suivre pour préparer la prochaine série de rapports sur le rendement. Ces lignes directrices comprennent six grands principes :

• brosser un tableau cohérent et équilibré du rendement, qui soit bref et direct;
• mettre l'accent sur les résultats et non sur les extrants;
• associer le rendement aux engagements antérieurs et expliquer toute modification apportée;
• présenter le rendement dans son contexte;
• lier les ressources aux résultats;
• expliquer pourquoi le public peut faire confiance à la méthodologie et aux données utilisées pour prouver le bien-fondé du rendement.

6.30 Les principes du Conseil du Trésor s'inspirent des critères que nous avons publiés en 1997 et en 2000 et ils sont conformes à nos cinq critères. Ces critères et nos sous-critères précisent les qualités d'un bon rapport et ont servi à l'élaboration du modèle d'évaluation des rapports sur le rendement. L'annexe du présent chapitre donne plus de détails sur les qualités d'une bonne information.

Niveaux de qualité d'une bonne information sur le rendement

6.31 Notre modèle présente les cinq niveaux de réussite qui caractérisent un bon rapport (voir la pièce 6.2). Le cinquième niveau représente les qualités d'un excellent rapport sur le rendement. En satisfaisant progressivement à chacun des critères du modèle, à un degré de plus en plus élevé en fonction des niveaux définis, les rapports sur le rendement témoigneront d'une maîtrise accrue de ces qualités. Certaines qualités correspondent à des mesures concrètes et successives qu'un ministère doit prendre pour atteindre un niveau plus élevé; d'autres qualités exigent que le ministère applique les mêmes mesures mais de façon plus constante.

6.32 Le niveau le plus bas n'exige qu'une information de base de la part du ministère. Il s'agit notamment d'établir le lien entre, d'une part, le mandat et mission du ministère et, d'autre part, ses attentes en matière de rendement, qui se traduisent surtout par des activités, et d'indiquer clairement ses résultats stratégiques. À un niveau plus élevé, nous nous attendons à ce que les attentes axées sur les résultats soient présentées dans un ordre logique, de sorte que le lecteur puisse déterminer dans quelle mesure les activités et les extrants du ministère ont contribué aux résultats. Un modèle d'évaluation comportant divers niveaux permet au ministère de savoir où se situe son rapport sur le rendement en fonction d'une échelle de référence.

6.33 Les cinq niveaux assortis à chacun des cinq critères du modèle sont les suivants : de base, passable, satisfaisant, très satisfaisant et excellent. Le niveau le plus bas correspond à un strict minimum pour ce qui est de l'information communiquée. Le niveau le plus élevé indique un excellent rapport. Nous croyons que ce niveau peut être atteint par la plupart des ministères s'ils font des progrès constants.

6.34 Ces niveaux sont issus des nombreux travaux de vérification et d'examen de rapports sur le rendement que nous avons menés. Nous avons aussi obtenu l'avis d'experts quant aux mesures que les ministères devraient prendre aux différents niveaux. Néanmoins, nous poursuivons l'élaboration de notre modèle et nous comptons continuer à le parfaire à mesure que nous nous en servirons pour évaluer les rapports sur le rendement.

6.35 Compte tenu des nombreuses modifications qui ont été imposées aux ministères depuis le début du Projet d'amélioration des rapports au Parlement, en 1995, nous avons quelque peu assoupli le modèle. Ainsi, dans ses directives de 2001 sur les rapports ministériels sur le rendement, le Secrétariat du Conseil du Trésor a encouragé les ministères à communiquer l'information sur le rendement en fonction de leurs résultats stratégiques plutôt que de leurs secteurs d'activités. Étant donné que de nombreux ministères sont toujours dans une phase de transition, nous avons conçu le modèle d'évaluation de manière à ce qu'il tienne compte de l'une ou l'autre de ces deux approches. Si un ministère devait communiquer à la fois ses résultats stratégiques et ses résultats par secteur d'activités, nous nous attendrions à ce que son rapport sur le rendement fasse le lien entre les deux.

Besoin d'une terminologie logique et uniforme

6.36 Dans les nombreux rapports sur le rendement que nous avons examinés, nous avons constaté que les termes utilisés par les ministères et le Secrétariat du Conseil du Trésor avaient changé au fil du temps. Certains ministères continuent d'utiliser les mêmes termes au lieu de ceux proposés par le Secrétariat dans son Lexique pour la gestion axée sur les résultats de 2001. Pour que la communication soit efficace et pour faciliter la compréhension, il faut utiliser une terminologie commune de manière plus constante.

6.37 Au lieu de tenter de définir précisément chaque terme, nous avons appliqué le modèle aux relations logiques qui sous-tendent les différents concepts. La pièce 6.3 renferme un cadre des principaux termes utilisés pour planifier le rendement et communiquer l'information sur celui-ci. Ces termes sont conformes aux lignes directrices de 2002 du Secrétariat du Conseil du Trésor pour la préparation des rapports sur les plans et les priorités.

6.38 Le cadre de planification et de communication de l'information suit la même logique qu'un enchaînement de résultats (chaîne de résultats). Outre les activités et leurs extrants, les enchaînements de résultats comportent traditionnellement les résultats immédiats, les résultats intermédiaires et les résultats finaux. Ces trois niveaux de résultats devraient pouvoir refléter tous les principaux résultats des rapports ministériels. Cependant, le niveau de détail que choisit un ministère pour communiquer les résultats dépend de sa volonté de préciser ou non ses attentes à l'égard du rendement. Nous suggérons que le niveau de détail soit le même pour l'étape de la planification des activités et celle de la communication de l'information sur le rendement.

L'enchaînement de résultats

6.39 L'enchaînement de résultats (parfois appelé « chaîne de résultats ») peut s'avérer utile pour communiquer une information efficace et crédible sur le rendement. Aussi connu sous le nom de modèle logique, un enchaînement de résultats établit un lien entre les attentes d'un ministère à l'égard de son rendement et ses principaux résultats. Les enchaînements de résultats constituent un moyen commode de résumer les avantages qu'un ministère procure aux Canadiens.

6.40 En appliquant la logique de l'enchaînement de résultats à l'étape de la planification, le ministère peut montrer comment ses interventions peuvent contribuer à l'atteinte d'un résultat prévu. En faisant de même à l'étape de la communication de l'information sur le rendement, il peut plus facilement présenter les faits qui attestent de sa contribution à ce résultat.

6.41 En utilisant la logique d'un enchaînement de résultats, il est plus facile de résoudre la question de l'attribution des résultats aux intervenants en cause. Il se peut qu'un ministère participe à des activités visant des résultats qui sont communs avec ceux des partenaires — par exemple, d'autres ministères fédéraux, d'autres ordres de gouvernement, le secteur privé, le secteur non gouvernemental et la collectivité locale. Les résultats communs peuvent être associés aux initiatives horizontales; certains programmes horizontaux font appel à la participation de plusieurs ministères fédéraux tandis que d'autres font appel à d'autres ordres de gouvernement. L'enchaînement de résultats peut aider un ministère à préciser sa contribution à un résultat commun auquel ont aussi contribué des partenaires, des parties intéressées et d'autres intervenants.

6.42 Les enchaînements de résultats peuvent mettre en évidence les facteurs qu'un ministère ne maîtrise qu'en partie. Des enchaînements de résultats plus détaillés peuvent montrer tant les conséquences positives que les conséquences négatives fortuites des activités d'un ministère.

Améliorer les rapports sur le rendement

6.43 Notre modèle est conçu de manière à évaluer les rapports sur le rendement d'après un ensemble de critères. Il peut être utilisé pour évaluer les rapports précédents et les comparer avec les rapports actuels et subséquents afin de déterminer les progrès d'un ministère. L'évaluation d'un rapport ministériel sur le rendement permet au Parlement :

• de comparer le rapport avec les rapports d'autres ministères qui ont aussi été évalués;
• de demander au ministère de prendre des mesures concrètes pour améliorer son rapport sur le rendement;
• de déterminer si le ministère a amélioré son rapport sur le rendement dans les cas où un rapport précédent du ministère a déjà fait l'objet d'une évaluation.

6.44 Un ministère peut utiliser le modèle pour évaluer son propre rapport sur le rendement et en déterminer le niveau de réussite. Le fait d'atteindre un niveau donné devrait lui indiquer certaines mesures qu'il peut prendre pour parvenir à un niveau plus élevé.

6.45 Le ministère pourrait prendre d'importantes mesures qui exigent un investissement considérable de ressources, notamment acquérir des technologies de l'information qui donnent de l'information sur les résultats. Il peut aussi prendre d'autres mesures qui mettent à contribution les ressources humaines et financières dont il dispose déjà, par exemple utiliser un enchaînement de résultats.

6.46 Nos critères d'évaluation peuvent inciter les ministères à se servir du modèle pour leur autoévaluation et améliorer leurs prochains rapports. Le modèle a été conçu de manière à ce qu'il soit assez efficace pour permettre de cerner les améliorations par rapport à différents aspects. L'examen d'un rapport ministériel par le Bureau du vérificateur général, l'autoévaluation et la prise de mesures appropriées devraient contribuer à une amélioration plus rapide des rapports des ministères.

Application du modèle

Trois rapports ont été utilisés pour montrer le fonctionnement du modèle d'évaluation

6.47 Nous avons proposé à trois ministères d'évaluer leur rapport sur le rendement de 2000-2001 à l'aide de nos cinq critères en vue de montrer dans le présent chapitre le fonctionnement de notre modèle. Les rapports ont été soumis volontairement et ils ne sont pas le reflet de tendances à l'égard des rapports sur le rendement au sein du gouvernement.

6.48 Les trois rapports contiennent des éléments novateurs et servent de points de référence pour tester le modèle d'évaluation. Le Rapport sur le rendement de 1999-2000 de la Gendarmerie royale du Canada a valu à cet organisme le prix inaugural 2001 de la CCAF-FCVI (Fondation canadienne pour la vérification intégrée) et du Conseil du Trésor du Canada décerné pour la poursuite de l'excellence dans les rapports publics sur le rendement (destiné aux grands ministères dont le budget dépasse 0,5 milliard de dollars). Environnement Canada a constamment produit des rapports comportant de solides composantes. Pêches et Océans Canada ne communique plus les résultats par secteur d'activités mais par résultat stratégique prévu, et établit aussi une excellente correspondance entre les deux types de rapport.

Méthodes d'évaluation des rapports

6.49 Nous n'avons pas donné aux rapports de cote globale, ni de cote détaillée par sous-critère parce que notre but est de mettre en évidence le type d'analyse qui appuiera le modèle. Dans la pièce 6.4, nous nous sommes servis d'une cote moyenne pour évaluer les rapports selon chacun des cinq critères.

6.50 Il y a deux façons principales d'attribuer une cote. Chaque critère comporte un certain nombre de sous-critères (résumés dans l'annexe). Initialement, les rapports sont cotés pour chaque sous-critère en fonction de cinq niveaux de réalisation. Une méthode consiste simplement à établir la moyenne des cotes des sous-critères pour chaque critère. Cela permet d'utiliser toute l'information d'un rapport pour chaque critère et d'avoir une bonne idée de la qualité globale. Mais en même temps, si un rapport est coté très satisfaisant au regard de la plupart des sous-critères, mais très faible au regard d'un sous-critère, la cote moyenne dissimule cette faiblesse.

6.51 On pourrait aussi prendre la cote la plus basse de n'importe quel sous-critère comme cote du critère global. Cette méthode ne permettrait toutefois pas de voir les progrès réalisés par un ministère par rapport aux autres sous-critères. Elle imposerait en outre une norme plus exigeante que celle de la première méthode. Par contre, si un rapport obtenait une cote très élevée à l'égard de la plupart des sous-critères mais une cote très faible à l'égard d'un sous-critère donné, l'application de la première méthode aurait pour conséquence de masquer les points forts ayant trait au critère en cause. Ainsi la cote du critère en question serait abaissée, sinon la cote du rapport tout entier.

Évaluation des rapports

6.52 Dans l'ensemble, les trois rapports ont obtenu un assez bon résultat pour le premier critère mais un moins bon résultat pour plusieurs autres. Ils ont généralement obtenu une cote plus basse pour le cinquième critère.

6.53 Si on se reporte au premier de nos cinq critères, la pièce 6.4 montre que les trois ministères ont obtenu une cote allant de satisfaisant à très satisfaisant pour ce qui est de fournir une information claire sur le contexte opérationnel respectif dans lequel ils évoluent. Ils pourraient encore s'améliorer à certains égards. Par exemple, un rapport contenait une information adéquate sur les activités et les défis du ministère, mais il ne discutait pas des risques associés à l'atteinte des résultats stratégiques prévus. Aucun des rapports ne mentionnait non plus l'ensemble des principaux partenaires du ministère ou leurs rôles. Le lecteur du rapport peut donc penser que ces ministères sont les seuls responsables de leurs résultats, que ce soit leur contribution à l'amélioration de l'état de l'environnement, à la santé des stocks de poisson, à la sécurité publique ou à quelque autre importante responsabilité du gouvernement.

6.54 Nous passons ensuite de notre premier critère, qui porte sur le contexte général des résultats prévus, à notre deuxième critère pour déterminer si le rapport énonce clairement et concrètement les attentes à l'égard du rendement du ministère. Nous avons constaté que les rapports contenaient principalement des engagements généraux. Deux rapports mentionnaient peu d'attentes à l'égard du rendement qui précisaient une tendance (augmenter, maintenir ou réduire quelque chose), une quantité (un chiffre ou un pourcentage) et un calendrier (date à laquelle on ferait un changement). Les trois ministères semblaient avoir de la difficulté à formuler de façon claire et concrète leurs attentes à l'égard du rendement.

6.55 Notre troisième critère a pour but d'établir si les ministères ont amélioré l'information communiquée à propos de leurs réalisations. Deux ministères avaient eu plus de facilité à prendre des engagements qu'à montrer qu'ils y avaient donné suite. Les trois rapports réussissaient tous assez bien à faire correspondre les résultats aux attentes déjà énoncées à l'égard du rendement, et deux indiquaient le coût global des activités du ministère par résultat stratégique prévu. Nous considérons qu'il s'agit là d'une pratique prometteuse (voir la pièce 6.5). Cependant, les trois ministères pourraient mieux montrer ce qu'ils ont accompli avec l'argent des contribuables.

6.56 Les ministères fournissent peu d'éléments qui permettraient au lecteur d'apprécier l'exactitude de l'information contenue dans leur rapport. Comme l'indique notre quatrième critère, un rapport devrait pouvoir convaincre de la fiabilité de l'information communiquée. Cela ajouterait de la crédibilité au tableau qu'il présente sur le rendement.

6.57 Notre cinquième critère vise à déterminer si le rapport sur le rendement montre que le ministère utilise son information sur le rendement. Ici, les cotes étaient faibles. Nous espérions que les ministères montreraient qu'ils avaient utilisé l'information sur le rendement pour prendre des décisions relatives à la gestion de leurs programmes, services ou stratégies, afin de produire de meilleurs résultats pour les Canadiens.

6.58 Dans l'ensemble, nos constatations nous permettent de croire que nous pouvons, à l'aide du modèle, fournir aux parlementaires des évaluations crédibles des rapports sur le rendement qui, au fil des années, leur permettront de juger du rythme des améliorations en matière de rapports sur le rendement. L'utilisation de notre modèle pour évaluer ces trois rapports a aussi fait ressortir que l'information pourrait être améliorée dans d'autres secteurs.

Conclusion

6.59 Mettant à profit nos travaux précédents, nous avons élaboré un modèle d'évaluation des rapports ministériels sur le rendement qui intégrait les critères d'un bon rapport qui existaient déjà. Nous avons testé le modèle et conclu qu'il était suffisamment fiable. Nous avons évalué les rapports sur le rendement de trois ministères à l'aide du modèle et montré comment il peut être appliqué.

6.60 Est-il possible d'évaluer les rapports sur le rendement? Nous croyons qu'en utilisant ce modèle d'évaluation pendant quelques années, nous pourrons faire rapport au Parlement des progrès réalisés à l'égard de l'information communiquée sur le rendement. Nos croyons aussi que les ministères peuvent évaluer leurs propres rapports sur le rendement à l'aide du modèle et trouver ainsi des moyens de les améliorer. Nous améliorerons graduellement le modèle à mesure que nous nous en servirons et nous tiendrons compte des suggestions que feront les ministères après l'avoir appliqué à leurs propres rapports.

Réponse du gouvernement. Le gouvernement est, en général, réceptif à l'égard du présent chapitre, qui présente de façon officielle la première version du modèle du Bureau du vérificateur général du Canada pour l'évaluation des rapports ministériels sur le rendement. Nous croyons que, avec le temps et les améliorations apportées, il peut devenir un outil valable pour accroître la qualité des rapports présentés au Parlement ainsi qu'aux Canadiens et aux Canadiennes.

Le modèle est généralement conforme à l'avis de principe émis par le Secrétariat du Conseil du Trésor, à l'été 2001, en ce qui concerne le rapport ministériel sur le rendement. Le Secrétariat croit que le Modèle d'évaluation des rapports ministériels sur le rendement peut devenir un important outil d'apprentissage et de rétroaction, permettant aux ministères de faire le point sur l'information contenue dans leurs rapports sur le rendement et de prendre les mesures nécessaires pour améliorer leurs rapports publics. Nous encourageons le Bureau du vérificateur général à poursuivre l'examen des rapports ministériels sur le rendement afin d'en permettre l'amélioration continue.

À propos de l'étude

Objectifs

Cette étude avait pour objet :

• d'élaborer un modèle d'évaluation des rapports ministériels sur le rendement;
• de déterminer la fiabilité du modèle;
• de déterminer si le modèle peut être utilisé pour faire des évaluations continues des rapports sur le rendement.

Étendue

Nous avons invité trois ministères à soumettre leur rapport ministériel sur le rendement 2000-2001 pour démontrer l'applicabilité du modèle expérimental. Les rapports ont été utilisés sur une base volontaire et ils ne représentent pas un échantillon des quelque 80 rapports sur le rendement déposés à la Chambre des communes. Nous n'avons donc pas pu tirer de conclusions sur les tendances des rapports sur le rendement au sein du gouvernement.

Méthode

Misant sur nos travaux de 1997 et de 2000, nous avons établi cinq critères d'une bonne information sur le rendement qui, ensemble, devraient présenter un tableau du rendement qui soit éloquent :

• Le contexte opérationnel et les résultats stratégiques sont clairs.
• Les attentes à l'égard du rendement sont claires et concrètes.
• Les principaux résultats sont communiqués par rapport aux attentes.
• La fiabilité de l'information sur le rendement est étayée d'éléments probants.
• L'utilisation de l'information sur le rendement est démontrée.

À l'égard de chacun des cinq critères, notre modèle présentait une progression sur cinq niveaux ou stades d'évolution. Le cinquième niveau de qualité pour chaque critère a ensuite servi à établir le modèle du rapport idéal sur le rendement, lequel correspond ainsi à un excellent rapport public.

Une fois le modèle élaboré, nos experts l'ont utilisé pour évaluer la qualité de quatre rapports ministériels sur le rendement. Ils ont individuellement attribué une cote aux rapports et ont obtenu un résultat semblable. Nous avons aussi demandé aux représentants des quatre ministères d'examiner leurs cotes respectives afin d'en vérifier la vraisemblance. Nous avons ensuite demandé à nos équipes qui vérifient ces quatre ministères d'examiner les cotes. Nous avons conclu que notre modèle était fiable.

Puis, nous avons évalué les rapports sur le rendement soumis volontairement par trois ministères; l'un d'entre eux faisait aussi partie du groupe témoin précédent. Ce sont ces rapports-échantillons qui ont servi à formuler les commentaires du présent chapitre à propos de l'utilisation du modèle, y compris la distinction possible entre les divers niveaux de réussite pour chacun des cinq critères d'un bon rapport. Nous n'avons pas vérifié les procédures et les systèmes ministériels qui ont servi à produire l'information contenue dans les rapports.

Au cours d'une rencontre prévue pour discuter de nos évaluations et des autoévaluations ministérielles, nous sommes parvenus à une entente sur les conclusions qui s'en dégageaient et sur les raisons pour lesquelles des niveaux élevés n'avaient pas été atteints. Nous avons aussi demandé à nos équipes qui vérifient ces ministères de revoir les évaluations. Les cotes finales sont nos cotes, mais elles sont aussi le résultat d'un consensus entre le Bureau du vérificateur général et les trois ministères qui se sont portés volontaires.

Équipe de l'étude

Vérificatrice générale adjointe : Maria Barrados
Directeur principal : Barry Leighton
Directeur : Yves Genest

Denis Jobin
Catherine Livingstone
Albert Melanson

Pour obtenir de l'information, veuillez joindre le service des Communications en composant le (613) 995-3708 ou le 1-888-761-5953 (sans frais).