L'évaluation de certains rapports ministèriels sur le rendement

Points saillants

5.1 Nous avons évalué la qualité des rapports ministériels sur le rendement de trois ministères — Environnement Canada, Pêches et Océans Canada et Ressources naturelles Canada — afin de mesurer les progrès accomplis par rapport à nos critères. L'évaluation des rapports ministériels sur le rendement à l'aide de notre modèle d'évaluation a révélé une légère amélioration, tout au plus, de la qualité pour une période de deux ans, soit de 2002-2003 à 2003-2004. Pour une période de neuf ans, soit de 1995-1996 à 2003-2004, nous avons décelé de modestes améliorations dans le cas de deux ministères et des résultats mitigés dans le cas du troisième. Malgré ces faibles progrès des rapports sur le rendement au cours de la période de neuf ans, les derniers rapports sont encore en deçà du critère déterminant ce qu'est un rapport satisfaisant.

5.2 La plupart des rapports sur le rendement donnent un bon aperçu du contexte opérationnel de chaque ministère et des résultats stratégiques prévus. En revanche, les attentes à l'égard du rendement ne sont pas toujours formulées avec clarté et concision, et l'information n'est pas nécessairement centrée sur les résultats des programmes. Qui plus est, les résultats communiqués ne sont pas toujours équilibrés et n'indiquent pas les sources des données ni les limites de celles-ci. De même, les rapports renferment peu de renseignements démontrant que l'information sur le rendement sert à prendre des décisions qui ont pour objet d'améliorer les résultats des programmes au cours des exercices futurs.

5.3 Les résultats de l'évaluation des trois rapports de chacun des trois exercices ne nous permettent pas de généraliser ni de parler de tendance dans tous les ministères, mais ils suscitent autant d'inquiétudes au sujet de la qualité générale des rapports que lors de nos vérifications et études précédentes. D'après ces constatations, il est raisonnable de croire que si les ministères ne sont pas plus diligents et que si les comités parlementaires ne les surveillent pas de plus près, il faudra peut-être des décennies au lieu de quelques années seulement pour obtenir des améliorations appréciables de la qualité de l'information communiquée sur le rendement. À notre avis, à ce rythme, les parlementaires et les Canadiens ne pourront obtenir une véritable reddition de comptes des ministères et des organismes en matière de rendement.

Contexte et autres observations

5.4 Le Parlement tient le gouvernement responsable des dépenses de l'exercice écoulé, influe sur les plans et les priorités futurs et approuve les dépenses du prochain exercice. Les parlementaires devraient avoir l'assurance que les rapports sur le rendement les informent adéquatement sur le rendement du gouvernement à l'égard des questions de première importance. Ils devraient aussi utiliser ces rapports pour demander aux ministres de rendre compte des dépenses de leur ministère. Les Canadiens, quant à eux, veulent savoir si leurs impôts et leurs taxes ont servi aux fins prévues par les parlementaires. Ils veulent aussi savoir si le gouvernement a fait une utilisation optimale de l'argent des contribuables. Pour les parlementaires et les Canadiens, une reddition de comptes efficace est fonction avant tout d'une information sur le rendement de bonne qualité.

5.5 Pour répondre à ce besoin, le Parlement et le gouvernement ont tenté à plusieurs reprises d'améliorer la qualité des rapports sur le rendement des ministères. À cet égard, mentionnons la création en 1981 de la Partie III du Budget des dépenses et la séparation à titre d'essai des documents portant sur la planification et le rendement en 1995, séparation devenue permanente en 1997.

5.6 Notre Bureau éprouve aussi des inquiétudes au sujet de la qualité des rapports sur le rendement. Nous en parlons dans nos vérifications depuis au moins 1988, année où nous avons cerné des lacunes évidentes, mais aussi noté quelques améliorations. En 2000, nous avons examiné la qualité des rapports ministériels sur le rendement présentés au Parlement et conclu que les progrès des ministères et des organismes fédéraux étaient décevants.

5.7 Afin de faciliter nos travaux ultérieurs, nous avons établi un ensemble de critères auxquels doit répondre un bon rapport et nous les avons présentés en 2002 sous la forme d'un modèle d'évaluation des rapports ministériels sur le rendement. Au cours de l'année suivante, nous avons communiqué les résultats de l'application du modèle aux rapports ministériels sur le rendement de neuf ministères. Nous avons relevé quelques pratiques prometteuses et de nombreux problèmes mais, dans l'ensemble, nous avons constaté que les rapports ne soutenaient pas autant que nous l'aurions voulu la comparaison avec notre modèle.

5.8 C'était la deuxième fois que nous utilisions notre modèle pour évaluer des rapports sur le rendement. Par contre, c'était la première fois que nous comparions les rapports d'un ministère sur une ou plusieurs périodes afin d'évaluer ses progrès au plan de la qualité. Or, il semble que globalement l'amélioration de l'information sur le rendement communiquée au Parlement demeure une tâche difficile pour ces trois ministères, même après presque dix ans de tentatives en ce sens.

Réaction du gouvernement. Le gouvernement a réagi à nos observations et nous a fait savoir qu'il poursuivrait ses efforts visant à améliorer les rapports sur le rendement que doivent produire les ministères fédéraux.

Introduction

L'information sur le rendement n'a pas perdu de son importance

5.9 Un rapport sur le rendement de bonne qualité constitue un excellent moyen pour les Canadiens d'obtenir que leur gouvernement rende des comptes. Les Canadiens désirent savoir où vont leurs impôts et quels sont les effets positifs que les activités des ministères produisent dans leur vie.

5.10 Un bon rapport sur le rendement est aussi le pivot d'une gouvernance efficace et de la reddition de comptes au Parlement. Pour être en mesure de surveiller efficacement les programmes et les services du gouvernement, les parlementaires doivent disposer d'une information récente et exacte sur le coût et le rendement des principaux programmes gouvernementaux. Les rapports doivent aussi être assez concis et faciles à lire.

5.11 Parallèlement, les ministères devraient utiliser le même genre d'information sur le rendement afin d'obtenir de meilleurs résultats. Comme nous l'avons indiqué dans notre rapport de 2000, au chapitre 20 intitulé « La gestion ministérielle axée sur les résultats et la gestion des questions horizontales axée sur les résultats », une bonne information sur le rendement et une saine gestion sur le rendement vont de pair. De bons rapports sur le rendement, qui sont axés sur la reddition de comptes externe, devraient refléter la gestion interne des ministères. À notre avis, ils devraient être l'aboutissement normal d'une saine gestion du rendement dans un ministère.

5.12 Le gouvernement a tenté, à plusieurs reprises, d'améliorer la qualité de l'information fournie aux parlementaires par les ministères. En 1981, il a créé la Partie III du Budget des dépenses afin que l'information communiquée sur les dépenses prévues et sur le rendement ministériel soit plus complète et de meilleure qualité. En 1995, le Parlement a lancé le Projet d'amélioration des rapports au Parlement, qui consistait à diviser l'information de la Partie III en rapports distincts, l'un sur la planification et l'autre sur le rendement, afin de faciliter la consultation de cette information complexe par les parlementaires.

5.13 Quelque 90 ministères et organismes fédéraux soumettent maintenant chaque automne un rapport sur le rendement au Parlement. Chaque rapport devrait décrire les réalisations du ministère au cours de l'exercice écoulé en relation avec les engagements qu'il a pris dans son rapport sur les plans et les priorités de l'exercice précédent.

5.14 Par nos travaux, nous avons soutenu les efforts des parlementaires pour rehausser la qualité des rapports ministériels (pièce 5.1). En 1997, nous avons examiné l'état d'avancement du mécanisme redditionnel du gouvernement. Nous avons constaté que le cadre redditionnel était rudimentaire, mais qu'il était tout de même satisfaisant et prometteur. Néanmoins, lorsque nous avons de nouveau examiné l'information communiquée sur le rendement, en 2000, nous avons été déçus de constater que seulement de minces progrès avaient été réalisés quant à la qualité des rapports ministériels sur le rendement.

5.15 Le Huitième rapport du Comité permanent des comptes publics publié en 2001 soulignait l'importance d'une information sur le rendement de qualité. Le Comité avait alors recommandé que le Bureau « effectue des vérifications au hasard de l'information figurant dans les rapports sur le rendement des ministères et des organismes, dans le but de s'assurer, notamment, que cette information est un fidèle reflet des réalisations comparées aux objectifs établis. »

5.16 En 2002, nous avons répondu à cette demande en concevant un ensemble de critères auxquels doit répondre une bonne information sur le rendement et nous les avons présentés sous la forme d'un modèle d'évaluation des rapports ministériels sur le rendement. Ces critères ont été élaborés à partir de critères établis au cours de nos travaux précédents.

5.17 Parmi les autres projets d'amélioration de l'information sur le rendement, mentionnons les lignes directrices que doivent respecter les ministères pour la préparation des rapports sur le rendement, lignes directrices que publie chaque année le Secrétariat du Conseil du Trésor (pièce 5.2). Les principes de communication de l'information sur le rendement qu'elles renferment concordent en général avec nos critères.

Critères d'évaluation des rapports ministériels sur le rendement

5.18 Notre modèle de rapport ministériel sur le rendement de qualité englobe les cinq critères suivants :

• Le contexte opérationnel et les résultats stratégiques sont clairs.
• Les attentes à l'égard du rendement sont claires et concrètes.
• Les principaux résultats sont communiqués par rapport aux attentes.
• L'information sur le rendement est crédible et équilibrée.
• L'utilisation de l'information sur le rendement est démontrée.

5.19 Un rapport qui répondrait entièrement aux cinq critères serait un excellent rapport. Toutefois, le modèle d'évaluation n'est pas conçu pour fournir l'assurance que l'information contenue dans un rapport sur le rendement est fiable parce qu'il ne prévoit pas de vérification de l'information sur le rendement.

5.20 Les cinq critères, qui comprennent chacun plusieurs sous-critères, représentent globalement les attentes raisonnables qui s'appliquent à un rapport sur le rendement crédible démontrant les effets positifs des programmes et des services d'un ministère pour les Canadiens. Le premier critère demande au ministère d'expliquer son mandat, le deuxième, d'énoncer les engagements qu'il a pris au cours de l'exercice précédent, et le troisième de présenter ses réalisations par rapport à ces engagements. Les deux autres critères servent à évaluer la fiabilité de l'information sur le rendement et à démontrer qu'elle est utilisée pour obtenir de meilleurs résultats au cours des exercices subséquents. On trouvera un résumé du modèle dans la pièce 1.1 du chapitre sur l'évaluation des rapports ministériels sur le rendement de notre rapport de mai 2003.

5.21 Notre modèle de rapport sur le rendement de qualité comporte cinq niveaux de réalisation — de base, passable, satisfaisant, très satisfaisant et excellent. Nous espérons qu'en informant les ministères sur ce qui constitue un rapport excellent et sur le niveau qu'ils ont atteint pour chaque critère, ceux-ci s'efforceront d'atteindre un niveau plus élevé. Pour ainsi dire, notre modèle d'évaluation est un modèle d'apprentissage, un modèle expérimental.

5.22 Mais parce que certains critères intègrent d'autres critères, il peut être difficile d'atteindre un niveau plus élevé pour un critère donné si le niveau obtenu à l'égard du critère précédent est faible. Par exemple, lorsque les attentes de rendement ne sont pas énoncées de façon précise et concrète, il est difficile de communiquer les résultats par rapport à ces attentes.

5.23 Lorsqu'un rapport ministériel sur le rendement se rapproche des niveaux supérieurs pour les cinq critères, le vérificateur peut alors donner par écrit aux parlementaires et aux Canadiens l'assurance que le rapport présente fidèlement les réalisations du ministère par rapport aux résultats prévus. Par contre, étant donné que les vérificateurs fournissent habituellement une assurance quant à la fidélité et à la fiabilité de l'information contenue dans les rapports, ils devraient effectuer d'autres travaux de vérification de la fiabilité de l'information sur le rendement avant de fournir cette assurance.

Objet de la vérification

5.24 Notre vérification avait pour objet d'évaluer la qualité globale des rapports sur le rendement d'un petit groupe de ministères afin de voir jusqu'à quel point ceux-ci avaient amélioré la qualité de leurs rapports. Entre autres, nous avons évalué leurs progrès sur une période de deux ans, soit de 2002-2003 à 2003-2004, et nous les avons comparés aux progrès réalisés sur une période de près de dix ans, soit de 1995-1996 à 2003-2004.

5.25 Nous avons sélectionné les rapports sur le rendement de trois ministères, Environnement Canada, Pêches et Océans Canada et Ressources naturelles Canada. Ces derniers faisaient partie des 16 ministères pilotes ayant participé au Projet d'amélioration des rapports au Parlement, lancé en 1995.

5.26 Nous avons choisi ces ministères parce qu'ils ont des points en commun. Premièrement, bon nombre de leurs programmes sont conçus à la fois pour protéger l'environnement et pour promouvoir l'utilisation des ressources. Deuxièmement, la plupart de leurs travaux comportent des activités à caractère scientifique et d'autres activités qui ne procurent pas de services directement aux Canadiens mais qui contribuent plutôt aux travaux d'autres ministères, organismes ou ordres de gouvernement, qui touchent plus directement les Canadiens.

5.27 Nous avons utilisé le modèle d'évaluation élaboré en 2002 afin d'avoir des normes cohérentes pour toutes nos évaluations; nous avons donc appliqué les attentes actuelles en matière de bonne information sur le rendement aux rapports de trois exercices (1995-1996, 2002-2003 et 2003-2004).

5.28 Nous n'avons pas vérifié le rôle du Secrétariat du Conseil du Trésor parce que le président du Conseil dépose les rapports sur le rendement au Parlement au nom des ministères et organismes. La responsabilité des rapports sur le rendement incombe en premier lieu aux ministères et organismes.

5.29 On trouvera un complément d'information sur l'objectif, l'étendue et la méthode de vérification dans À propos de la vérification à la fin du chapitre.

Observations

Les progrès continuent d'être décevants

5.30 Nous nous attendions à des améliorations progressives de la qualité des rapports sur le rendement d'un exercice à l'autre et à une nette hausse de la qualité des rapports à long terme mais les résultats sont décevants.

5.31 Les rapports sur le rendement de 1995-1996 des trois ministères, qui en étaient à leur première expérience à titre de participants au Projet d'amélioration des rapports au Parlement, ont obtenu, comme nous nous y attendions, des cotes allant d'un peu moins que le niveau de base jusqu'à des niveaux se situant entre passable et satisfaisant. Nos évaluations en fonction des critères individuels pour les rapports de 2002-2003 et de 2003-2004 ont donné des cotes s'établissant à un peu moins que le niveau de base jusqu'à des niveaux se situant entre satisfaisant ou très satisfaisant. Parmi les neuf rapports, un seul a obtenu la cote très satisfaisant pour l'un des critères.

5.32 Les trois ministères ont introduit dans leurs rapports des pratiques prometteuses au cours des neuf derniers exercices. Ainsi, les trois rapports de Pêches et Océans Canada comprennent un tableau de correspondance des secteurs d'activité du Ministère et des résultats stratégiques; le lecteur peut donc voir quels services contribuent à chaque résultat et qui est responsable. Dans ses rapports de 2002-2003 et de 2003-2004, Environnement Canada a introduit un questionnaire qui permet au lecteur de faire des commentaires.

5.33 Les trois ministères ont affirmé avoir fait des efforts assidus pour améliorer leurs pratiques d'un exercice à l'autre. Ils ont ajouté qu'ils s'étaient efforcés de suivre les lignes directrices sur la préparation des rapports ministériels sur le rendement que publie chaque année le Secrétariat du Conseil du Trésor. Ainsi, conformément à ces lignes directrices, le Rapport sur le rendement de 2003-2004 de Ressources naturelles Canada présente un résumé de son rendement, qui comprend les principaux engagements par résultat stratégique de même qu'une autoévaluation de son rendement et un renvoi à la section du rapport où se trouve l'information à l'appui.

5.34 À la suite des recommandations énoncées dans le Sixième rapport du Comité permanent des opérations gouvernementales et des prévisions budgétaires paru en 2003, on a demandé aux ministères d'inclure un bref résumé des rapports des comités concernant leurs travaux de même qu'un lien ou un renvoi à de l'information complémentaire. C'est ce qu'ont fait les trois ministères dans leurs rapports de 2003-2004. Cette démarche peut contribuer à instaurer un dialogue mieux éclairé entre les ministères et les comités de la Chambre.

5.35 Nous avons constaté que même si les parlementaires pouvaient probablement comprendre plus rapidement les principales activités d'un ministère lorsqu'ils lisent les rapports, il leur serait plus difficile d'avoir une idée précise des résultats de ses activités. Par exemple, Pêches et Océans Canada donne de l'information sur l'état des pêches au moyen de liens Internet, mais il ne présente pas cette information dans son rapport sur le rendement. Qui plus est, même si Ressources naturelles Canada informe périodiquement le Parlement sur les niveaux de réserve des métaux les plus importants au Canada, il ne fait mention que d'une situation préoccupante à ce sujet dans son rapport sur le rendement.

5.36 Dans une certaine mesure, nos évaluations des rapports de ces trois ministères montrent la nature complexe de leurs activités. Comme nous l'avons indiqué précédemment, ils peuvent, dans leurs travaux, concilier des exigences parfois conflictuelles en ce qui touche l'utilisation et la protection des ressources. En outre, leurs activités sont en grande partie des activités à vocation scientifique et leurs services peuvent être offerts aux Canadiens par l'intermédiaire d'autres organismes. Leurs activités ne se prêtent pas toujours à la communication d'information sur le rendement, mais les trois ministères nous ont fait part de leurs efforts soutenus pour améliorer la qualité de leurs rapports au cours des neuf derniers exercices.

5.37 Nos évaluations, à l'aide du modèle, des rapports sur le rendement des trois ministères a révélé une légère amélioration, tout au plus, de la qualité au cours de la période de deux ans. Au cours de la période de neuf ans, nous avons constaté que deux ministères avaient fait de modestes progrès alors que l'autre ministère avait obtenu des résultats mitigés. Nous ne pouvons pas généraliser à partir des résultats de l'évaluation des trois rapports pour chacun des trois exercices ni parler de tendance dans tous les ministères, mais à la lumière de nos constatations, nous ressentons autant d'inquiétudes au sujet de la qualité générale des rapports que lors de nos vérifications et études précédentes.

5.38 Même si l'on trouve des exemples de pratiques prometteuses démontrant que les ministères peuvent améliorer certains éléments de leurs rapports au Parlement, le constat décevant qui découle de l'application de notre modèle d'évaluation aux rapports éclipse ces pratiques. En effet, ces ministères se heurtent encore à de nombreuses difficultés dans ce domaine.

5.39 Nos constatations nous portent à croire que si les ministères ne sont pas plus diligents et si les comités parlementaires ne les surveillent pas de plus près, il leur faudra des décennies au lieu de quelques années seulement pour améliorer de façon appréciable la qualité de l'information communiquée sur le rendement. À notre avis, à ce rythme, les parlementaires et les Canadiens ne pourront obtenir une véritable reddition de comptes des ministères et des organismes en matière de rendement.

Contexte opérationnel

5.40 Selon notre premier critère d'un bon rapport sur le rendement, le ministère doit décrire avec précision ses secteurs d'activité et ce qu'ils produisent pour les Canadiens. À cette fin, il doit bien décrire son contexte opérationnel et les résultats stratégiques visés, et s'assurer qu'ils reflètent son mandat et sa mission. Toujours selon ce critère, les rapports doivent aussi expliquer comment les activités du ministère sont structurées, par exemple en secteurs d'activité. Il doit aussi y avoir un lien logique entre les secteurs d'activité et les principaux résultats, lesquels sont formulés comme des résultats stratégiques prévus. Ces résultats devraient tenir compte du contexte opérationnel du ministère. Enfin, le rapport doit aussi mentionner les principaux partenaires externes et fournir une description crédible des risques auxquels le ministère est exposé.

5.41 Nous nous attendions à ce que chaque rapport dresse un tableau du rendement significatif des travaux du ministère dans un contexte général. Nous nous attendions de plus à ce que ces tableaux et les descriptions du contexte opérationnel aient été perfectionnés au cours de la période de neuf ans.

Les rapports donnent habituellement un bon aperçu du contexte opérationnel

5.42 Les rapports ont généralement obtenu des cotes plus élevées pour ce critère que pour les quatre autres critères de notre modèle d'évaluation. Dans l'ensemble, pour tous les rapports que nous avons évalués, la cote attribuée pour ce critère se situait entre un peu moins que le niveau de base et les niveaux satisfaisant ou très satisfaisant; un rapport a obtenu la cote très satisfaisant (pièce 5.3). Au cours de la période de deux ans, la qualité des rapports de deux ministères est demeurée constante, mais elle était meilleure pour le troisième. Au cours de la période de neuf ans, deux ministères ont fait des progrès en ce qui a trait au respect de ce critère, alors que le troisième accusait un recul. Il convient de noter cependant que pour ces deux périodes les rapports d'Environnement Canada se sont améliorés.

Certains ministères ont adopté des pratiques prometteuses

5.43 Les rapports de Pêches et Océans Canada et d'Environnement Canada de 2002-2003 et 2003-2004 fournissaient de bonnes descriptions de leurs contextes opérationnels respectifs. Ils présentaient aussi les mécanismes redditionnels et les principaux partenaires. Grâce aux liens Internet inclus dans les rapports des deux ministères, le lecteur pouvait obtenir plus d'information sur ces partenaires. Cette façon de faire a aussi permis de produire des rapports centrés sur le rendement. Pêches et Océans Canada signalait aussi les risques qui ont un effet sur l'atteinte des résultats stratégiques du Ministère.

Certaines difficultés subsistent

5.44 Le rapport sur le rendement devrait présenter les principaux secteurs d'activité du ministère ainsi que sa mission et son mandat. Une telle information renseigne le lecteur sur le but de l'organisme et sur sa loi habilitante. Les rapports sur le rendement de 2002-2003 et de 2003-2004 de Ressources naturelles Canada ne faisaient pas état de la mission ni du mandat du Ministère, alors que son rapport sur les plans et les priorités de ces mêmes exercices énonçait le mandat. Il serait facile d'améliorer ces rapports à l'aide de notre modèle et de rehausser leur cote par l'ajout de l'énoncé du mandat et de la mission.

5.45 On pourrait enrichir les rapports des trois ministères par une analyse de la manière dont leurs résultats stratégiques contribuent à la réalisation de priorités pertinentes du gouvernement. Les rapports de ces ministères pourraient aussi parler des défis que comporte l'équilibre à maintenir entre l'exécution de leurs propres travaux et ceux qu'ils mènent conjointement avec d'autres ministères.

Attentes à l'égard du rendement

5.46 Notre deuxième critère précise que les attentes à l'égard du rendement doivent être claires et concrètes. Plus particulièrement, cela signifie que les engagements des ministères envers les Canadiens pour l'exercice qui commence sont énoncés clairement. Ces engagements ou les attentes à l'égard du rendement sont tout d'abord communiqués dans le rapport sur les plans et les priorités puis exposés avec clarté selon les priorités du gouvernement fédéral. Les attentes sont ensuite transposées dans le rapport sur le rendement et exprimées sous forme d'extrants ou de réalisations; elles comportent des indications quant à l'orientation des changements prévus, par exemple, s'il y aura augmentation, maintien ou diminution de certains extrants ou réalisations sous l'effet des activités des programmes du ministère. Enfin, il faudrait que soit précisée la période sur laquelle s'étaleront ces changements.

5.47 Nous nous attendions à ce que les ministères formulent des attentes explicites et à ce qu'ils expliquent comment leurs activités et stratégies les aideraient à répondre à ces attentes. De plus, au cours de la période de neuf ans, les énoncés sur les attentes auraient dû être exprimés de plus en plus sous forme d'extrants et de réalisations plutôt que sous forme d'activités seulement.

Les attentes à l'égard du rendement ne sont pas toujours claires ni concrètes

5.48 Dans l'ensemble, tous les rapports que nous avons évalués selon notre modèle ont obtenu une cote se situant entre le niveau de base et le niveau passable (pièce 5.4). Pour la période de deux ans, deux ministères se sont vu attribuer une cote plus élevée en 2003-2004 qu'en 2002-2003. Pour la période de neuf ans, un ministère a fait des progrès, et les deux autres ont fait du surplace.

L'utilisation de la chaîne des résultats améliore l'information communiquée

5.49 Les rapports de 2002–2003 et de 2003–2004 de Pêches et Océans Canada présentaient de bonnes chaînes de résultats ou modèles logiques qui donnaient un aperçu de ses attentes à l'égard du rendement, ses partenariats, ses secteurs d'activité et ses activités. Le Rapport sur le rendement de 2003-2004 d'Environnement Canada comprenait un modèle logique pour chaque secteur d'activité qui décrivait aussi les attentes à l'égard du rendement du Ministère en ce qui concerne les résultats immédiats et intermédiaires.

Des améliorations s'imposent

5.50 Les rapports des trois ministères ont obtenu des cotes se situant entre le niveau de base et les niveaux passable ou satisfaisant selon notre modèle d'évaluation, mais certaines attentes clés à l'égard de leur rendement n'étaient pas conformes aux attentes présentées dans leurs rapports de planification. Les rapports sur le rendement n'expliquaient pas ces changements.

5.51 De grands progrès pourraient être accomplis si les attentes à l'égard du rendement étaient exprimées sous forme d'extrants et de réalisations et si la présentation de chaque engagement était assortie d'explications sur l'orientation des changements nécessaires et de l'échéancier prévu pour sa réalisation. Nous aimerions également trouver une description des stratégies envisagées pour produire de meilleurs résultats au cours des exercices subséquents.

Principaux résultats par rapport aux attentes

5.52 Le troisième critère de notre modèle exige que l'on fasse état des principaux résultats par rapport aux attentes à l'égard du rendement. Cela signifie que les résultats sont formulés sous forme d'extrants ou de réalisations. Selon ce critère, l'on s'attend également à ce que les rapports indiquent si le ministère a respecté ses engagements et à ce qu'ils commentent tout écart en matière de rendement. Cela signifie également que le rapport présente les liens logiques entre les extrants et les réalisations d'une part, et les attentes à l'égard du rendement, aborde les problèmes qui empêchent d'atteindre les réalisations prévues, nomme les partenaires qui ont contribué à ces réalisations, détermine le niveau de ressources requis et interprète les résultats. Nous croyons que c'est le critère central d'une bonne information sur le rendement.

Les extrants et les réalisations ne sont pas largement communiqués

5.53 Tous les rapports que nous avons évalués d'après ce critère ont obtenu globalement une cote se situant entre le niveau de base et passable; un seul d'entre eux se rapprochait du niveau satisfaisant (pièce 5.5). Les résultats étaient surtout axés sur les activités plutôt que sur les extrants produits et les réalisations auxquelles ces extrants contribuent. Selon notre modèle d'évaluation, pour la période de deux ans, deux ministères n'ont que légèrement amélioré leurs rapports; en revanche, pour la période de neuf ans, ces mêmes ministères ont haussé leur cote d'un niveau. Or, vu l'importance accordée par le gouvernement à la gestion axée sur les résultats au cours des dix dernières années, nous nous attendions à une amélioration plus marquée pour ce critère.

On fait part des pratiques prometteuses

5.54 Même s'il y a peu d'améliorations pour ce critère, nous décelons des pratiques prometteuses. Les rapports de 2003-2004 des trois ministères mentionnaient des évaluations et des vérifications internes et pourtant, seul Ressources naturelles Canada intégrait dans son rapport sur le rendement les résultats d'une évaluation. Les trois ministères donnaient aussi une estimation du niveau de ressources utilisées pour atteindre chaque résultat stratégique.

5.55 Le rapport d'Environnement Canada pour l'exercice 2002-2003 fournissait un lien Internet à un tableau des attentes du Ministère et de ses réalisations par rapport à ces attentes. Ce tableau serait cependant plus utile s'il était plus concis et s'il était inclus dans le rapport sur le rendement.

Il y a encore des problèmes

5.56 Il serait possible d'améliorer les rapports sur le rendement en intégrant systématiquement les constatations des évaluations et des vérifications dans les analyses de résultats. On devrait aussi donner des estimations des ressources utilisées pour atteindre des cibles concrètes et fournir des éclaircissements sur l'écart entre les résultats prévus et les résultats réels. De l'information devrait être fournie pour que l'on puisse interpréter les résultats obtenus, notamment les tendances des cinq derniers exercices ou les comparaisons avec d'autres ministères.

Résultats crédibles et équilibrés

5.57 Le quatrième critère exige de fournir une information sur le rendement crédible et équilibrée. Premièrement, cela signifie que le rapport est axé sur la qualité de l'information sur le rendement et la fiabilité des sources d'information pour que l'on puisse mieux juger de la crédibilité des données. Deuxièmement, il sert à évaluer si les bons résultats et les faiblesses sont présentés de manière équilibrée et si le niveau de détail des principaux résultats est approprié. Ce critère est fondamental à un rapport crédible et convaincant.

5.58 Nous espérions trouver des éléments permettant de conclure que l'information était crédible. Nous espérions également que tout comme les succès, les résultats inférieurs aux attentes seraient aussi présentés et, enfin, que la quantité d'information fournie sur les principaux résultats serait proportionnelle à leur importance.

En général, les ministères ne communiquent pas de l'information crédible et équilibrée sur les résultats

5.59 En général, tous les rapports évalués selon ce critère se situaient entre un niveau se rapprochant du niveau de base et le niveau passable (pièce 5.6). Au cours de la période de deux ans, un ministère s'est amélioré, un autre a fait du surplace et le dernier ministère a régressé. Aucun ministère n'a fait de progrès en regard de ce critère pour la période de neuf ans et nous n'avons pas décelé de pratiques prometteuses.

Beaucoup de problèmes posent encore des défis

5.60 Les rapports pourraient être améliorés si l'on communiquait les sources et les limites des données. Ils devraient en outre expliquer comment interpréter l'information sur le rendement, y compris la pertinence ou l'importance du rendement obtenu. Il importe de signaler les faiblesses aussi bien que les succès; on réduit ainsi le risque que les utilisateurs, par exemple les parlementaires, soient tentés d'écarter les résultats positifs, jugeant cette information tendancieuse, incomplète ou non crédible.

Utilisation de l'information sur le rendement

5.61 Bien gérer pour obtenir de meilleurs résultats est une tâche ardue. Les quatre critères précédents reposent sur une approche plus classique de la communication de l'information sur le rendement. Pour ces critères, il importe de décrire le contexte opérationnel, de définir le rendement, de l'évaluer par rapport aux attentes et de communiquer les résultats et, enfin, de présenter une information crédible et équilibrée. Toutefois, même lorsque toutes ces conditions sont réunies, si l'on n'utilise pas les renseignements recueillis au sujet du rendement antérieur pour améliorer les résultats à venir, alors il est possible que le rapport sur le rendement ne serve qu'à s'acquitter de l'exigence externe qu'est l'obligation redditionnelle envers le Parlement.

5.62 L'information sur le rendement n'est pas recueillie à la seule fin d'établir des rapports redditionnels; elle devrait aussi aider les ministères à améliorer les résultats par la prise de décisions de gestion éclairées. Ainsi, lorsque les évaluations de programme mettent en évidence les programmes qui donnent de bons résultats et ceux qui n'en donnent pas, le financement pourrait être réaffecté en conséquence. L'information sur le rendement devrait aussi donner des indications crédibles sur la capacité d'un ministère à produire des résultats durables et un bon rendement à l'avenir. En outre, un rapport de bonne qualité fait ressortir les enseignements retenus et montre comment un rendement faible sera corrigé dans l'avenir.

5.63 Nous nous attendions à ce que les rapports sur le rendement indiquent de quelle façon les gestionnaires utilisent l'information sur le rendement, notamment comment ils s'en servent pour établir les attentes futures et améliorer le rendement à venir.

L'information sur le rendement est rarement utilisée

5.64 En général, tous les rapports évalués selon ce critère ont obtenu une cote se situant entre un peu moins que le niveau de base et les niveaux de base ou passable. La plupart n'ont obtenu que la cote de base (pièce 5.7). Selon notre modèle d'évaluation, au cours de la période de deux ans, un ministère s'est amélioré, un autre a fait du surplace et le dernier ministère a régressé. Au cours de la période de neuf ans, deux ministères ont fait des progrès par rapport à ce critère alors que le troisième n'en a fait aucun.

L'utilisation de l'information sur le rendement dans la prise de décision améliore les rapports

5.65 En 2003–2004, Ressources naturelles Canada a produit un rapport sur l'utilisation des résultats d'une évaluation des revêtements de routes et des économies de combustible. Se fondant sur cette information, le Ministère a décidé de réaffecter les ressources destinées à la recherche sur les routes en béton à la recherche sur d'autres matériaux de revêtement de routes. Il s'agit selon nous d'une pratique prometteuse parce qu'elle montre comment le Ministère a utilisé l'information sur le rendement pour améliorer le rendement futur.

Il faut se pencher sur le rendement futur

5.66 Les rapports pourraient être améliorés par l'ajout d'explications sur les mesures correctives qui ont été prises pour régler les problèmes de rendement et sur ce qui est prévu pour l'améliorer. Ils devraient décrire les risques inhérents aussi bien au maintien des cibles pour le rendement qu'à l'établissement de nouvelles cibles pour accroître celui-ci. Les cotes obtenues pour ce critère nous portent à croire que cela pourrait être l'un des aspects les plus problématiques des rapports sur le rendement. Pour relever ce défi, les ministères devront intégrer une information fiable sur le rendement à leurs processus décisionnels, déterminer s'ils sont dans la bonne voie et utiliser l'information pour régler les problèmes.

Conclusion

5.67 C'était la deuxième fois que nous utilisions notre modèle pour évaluer une sélection de rapports sur le rendement. Mais c'était la première fois que nous comparions les rapports d'un ministère sur une ou plusieurs périodes afin d'évaluer les progrès en ce qui concerne la qualité. Dans l'ensemble, nous avons constaté que l'amélioration des rapports sur le rendement présentés au Parlement pose encore des difficultés aux ministères, et cela même après presque dix ans d'efforts.

5.68 Nous avons constaté que deux des ministères, entre 1995-1996 et 2003-2004, avaient au moins doublé le nombre de pages de leurs rapports sur le rendement. Nous ne sommes pas convaincus que cela s'est traduit par une augmentation proportionnelle de la qualité de ces rapports. Les ministères ont peut-être allongé leur rapports à cause des nouvelles exigences du Secrétariat du Conseil du Trésor ou de la complexité sans cesse croissante de l'information. Il reste cependant qu'ils donnent plus de renseignements que nécessaire et que les rapports sont trop détaillés pour le lecteur visé. Les rapports de 1995-1996, même s'ils faisaient fausse route en s'attachant surtout aux activités plutôt qu'aux extrants et aux réalisations, dressaient un tableau du rendement plus succinct et donc plus intelligible.

5.69 Les constatations de la présente vérification sont du même ordre que les observations de nos travaux antérieurs. En 1988, nous avons conclu que les rapports présentés au Parlement n'étaient pas entièrement satisfaisants aux fins de la reddition de comptes. En 1992, nous avons indiqué une fois de plus que l'information communiquée par les ministères n'était pas suffisamment exhaustive. En 1997, au moment où le gouvernement revoyait son Système de gestion des dépenses, nous avons indiqué que des progrès au sujet des rapports sur le rendement présentés au Parlement avaient été faits. Dans notre rapport de 2000, au chapitre 19, intitulé « L'information sur le rendement communiquée au Parlement : les progrès sont trop lents », nous avons conclu ce qui suit : « au rythme actuel des progrès, il faudra de nombreuses années pour que l'habitude de communiquer de l'information sur le rendement de bonne qualité s'instaure. » En 2003, nous avons évalué neuf rapports et constaté que les progrès au chapitre de l'information communiquée sur le rendement étaient une fois de plus décevants.

5.70 Au cours de nos travaux précédents, nous avons énoncé cinq facteurs qui contribuent à la qualité de l'information sur le rendement. Nous croyons qu'ils sont encore valides.

5.71 Premièrement, il arrive fréquemment que les principes fondamentaux d'un bon rapport ne soient pas bien compris ni appliqués par les ministères. C'est toujours le cas malgré le fait que les lignes directrices annuelles du Secrétariat du Conseil du Trésor soutiennent les principes d'un bon rapport sur le rendement.

5.72 Deuxièmement, l'information sur le rendement est communiquée dans un contexte politique. Ce facteur entre toujours en jeu parce qu'on n'a pas encore accepté d'emblée l'utilité de communiquer les faiblesses. Il semble que la notion de rapport équilibré, c'est-à-dire un rapport qui fait état des faiblesses autant que des succès, ne fasse pas encore partie de la culture du gouvernement.

5.73 Troisièmement, il n'y a pas de mesures incitatives pour la production de bons rapports ni de sanctions pour la production de mauvais rapports. Comme les comités de la Chambre n'exercent aucune influence sur les budgets ministériels, contrairement à leurs homologues oeuvrant au sein d'autres administrations, il est plus difficile pour les parlementaires qui scrutent les rapports d'encourager la production de bons rapports ou de pénaliser les mauvais rapports par l'application de mesures financières. De plus, certaines administrations examinent de près les rapports sur le rendement et nomment les ministères qui ont produit de piètres documents, et cela afin de les inciter à améliorer les rapports à produire.

5.74 Quatrièmement, de nombreux ministères n'accordent pas une grande priorité aux rapports sur le rendement. Les hauts fonctionnaires ne participent pas à la préparation des rapports ou ne leur accordent pas autant d'importance qu'ils le devraient. C'est peut-être parce que les ministères n'utilisent pas l'information contenue dans les rapports sur le rendement pour gérer les résultats ou que le gouvernement ne l'utilise pas pour gérer les initiatives de portée gouvernementale.

5.75 Cinquièmement, même si le Parlement et le gouvernement ont pris des mesures pour améliorer la qualité des rapports sur le rendement au cours des dernières décennies, nous croyons que les comités parlementaires n'ont pas mis à profit l'information contenue dans les rapports au cours de leurs discussions avec les ministères vérifiés. En s'intéressant davantage aux rapports sur le rendement et en les examinant plus attentivement, les comités parlementaires encourageraient les ministères à en améliorer la qualité.

5.76 Il n'est pas facile de corriger ces faiblesses. Cela ne peut se faire que par un changement radical de la philosophie de gestion du gouvernement. Par conséquent, nous ne faisons pas de recommandations officielles aux ministères, mais nous leur demandons une fois de plus de s'efforcer de mieux comprendre les principes de base d'une bonne information sur le rendement et de faire des efforts assidus pour améliorer leurs rapports. Cette responsabilité incombe aux ministères, mais le Secrétariat du Conseil du Trésor devrait aussi continuer de leur venir en aide en examinant les rapports sur le rendement, en traçant la voie à suivre et en leur donnant des occasions de mieux comprendre et de mieux accepter les principes et les pratiques qui sous-tendent une bonne information sur le rendement.

5.77 L'examen par les parlementaires des rapports sur le rendement par l'intermédiaire des divers comités permanents est essentiel pour améliorer la qualité des rapports. Les comités pourraient exiger que les ministères leur fournissent des éclaircissements sur les résultats qu'ils ont obtenus. Ils pourraient alors demander aux ministères et aux organismes de rendre compte des résultats obtenus par rapport à leurs engagements envers les Canadiens. La qualité des rapports ne peut s'améliorer que si les parlementaires ont des échanges continus sur le rendement avec les ministères.

Réponse du gouvernement. Nous apprécions les efforts faits par la vérificatrice générale pour évaluer les rapports ministériels sur le rendement et fournir des avis au sujet des points à améliorer. Le gouvernement du Canada demeure fermement déterminé à continuer d'améliorer les rapports au Parlement, conscient que la présentation de rapports judicieux, transparents et efficaces est essentielle pour aider le Parlement à s'acquitter de son rôle de tenir le gouvernement responsable de la gestion et de l'utilisation des fonds publics.

Les Rapports sur les plans et les priorités et les Rapports ministériels sur le rendement sont les principaux instruments de responsabilisation envers le Parlement, grâce auxquels les ministres et leurs organisations témoignent de leur responsabilité et de leur responsabilisation. Ces rapports expliquent au Parlement leurs plans, leurs priorités et les résultats escomptés et rendent compte du rendement obtenu. En collaboration avec les ministères, le Secrétariat du Conseil du Trésor (SCT) a récemment révisé les lignes directrices à l'intention des ministères et renforcé l'accent mis sur les résultats dans ces rapports. Le SCT continuera de collaborer avec les ministères, les parlementaires et la vérificatrice générale afin d'améliorer les pratiques exposées dans le Rapport de la vérificatrice.

En décembre 2004, le Secrétariat du Trésor a instauré la Structure de gestion, de ressources et de résultats (SGRR). Elle constituera une méthode pangouvernementale uniforme de planification des ressources, des dépenses et des résultats et de la présentation de rapports à ces sujets. Pour améliorer la qualité des rapports sur le rendement, le SCT aidera et guidera les ministères dans l'élaboration et l'adaptation de leurs structures de gestion, de ressources et de résultats. Il s'agit d'un changement important aux pratiques en matière de planification et de rapports sur le rendement et il devra être instauré graduellement. Nous nous attendons à ce que la SGRR serve de fondement cohérent et durable à la présentation des rapports financiers et non financiers au Parlement.

Au cours des prochains mois, le gouvernement, de concert avec les parlementaires, préparera un plan directeur aux fins de l'amélioration des rapports au Parlement qui répondra mieux aux besoins des parlementaires et d'autres intervenants, qui désirent obtenir des renseignements transparents, opportuns et faciles à comprendre. Le gouvernement investira aussi dans des systèmes technologiques à l'appui des données et des rapports sur le rendement. Tous ces efforts devraient entraîner un changement graduel de la culture de gestion et des pratiques en matière de rapports sur le rendement dans les ministères fédéraux.

Nous nous réjouissons des occasions que nous avons de continuer de collaborer avec la vérificatrice générale, les parlementaires, les ministères et d'autres intervenants afin d'assurer le changement nécessaire qui permettra d'améliorer les rapports sur le rendement et les pratiques de gestion.

À propos de la vérification

Objectif

La vérification avait comme objectif d'évaluer les rapports ministériels sur le rendement d'un petit groupe de ministères afin de voir jusqu'à quel point ils en avaient amélioré la qualité au cours d'une période de deux ans, plus particulièrement entre 2002-2003 et 2003-2004, comparativement aux progrès réalisés il y a près de dix ans, entre 1995-1996 et 2003-2004.

Étendue

Nous avons sélectionné les rapports sur le rendement de trois ministères — Environnement Canada, Pêches et Océans Canada et Ressources naturelles Canada. Ces derniers faisaient partie de la deuxième série de ministères pilotes ayant participé au Projet d'amélioration des rapports au Parlement, lequel prévoyait le scindement de la Partie III du Budget des dépenses  en deux documents : un rapport sur la planification et un rapport sur le rendement.

Nous n'avons pas effectué de vérification auprès du Secrétariat du Conseil du Trésor.

Méthode

Nous avons évalué trois rapports sur le rendement de chacun des trois ministères à l'aide de notre modèle d'évaluation. Ces rapports portaient sur les exercices terminés les 31 mars 1996, 31 mars 2003 et 31 mars 2004. Nous avons suivi la méthode décrite dans notre rapport d'avril 2002, au chapitre 6 intitulé « Un modèle d'évaluation des rapports ministériels sur le rendement » et nous l'avons appliquée à neufs rapports ministériels sur le rendement ayant fait l'objet du chapitre 1, « L'évaluation des rapports ministériels sur le rendement » de notre rapport de mai 2003.

Dans le modèle d'évaluation, chacun des cinq critères est représenté par un continuum de cinq niveaux de réalisation ou stades de perfectionnement : de base, passable, satisfaisant, très satisfaisant et excellent. Un rapport sur le rendement exceptionnel obtiendrait la cote excellent pour chaque critère.

Trois évaluateurs, (deux évaluateurs faisant partie d'équipes distinctes du Bureau et un évaluateur externe), ont appliqué le modèle aux rapports sur le rendement. Ils ont discuté de leurs résultats pour en venir à un consensus sur l'évaluation.

Nous avons utilisé le modèle d'évaluation conçu en 2002, mais nous avons appliqué les attentes actuelles à l'égard d'un bon rapport sur le rendement aux rapports des trois exercices (1995-1996, 2002-2003 et 2003-2004).

Nous n'avons pas vérifié les systèmes et les méthodes qui ont servi à produire l'information contenue dans les rapports, ni tiré de conclusions sur sa fiabilité.

Équipe de vérification

Vérificateur général adjoint : Hugh McRoberts
Directeur principal : Barry Leighton

Doreen Deveen
John McGrath
Anupheap Ngoun
Ruth Sullivan

Pour obtenir de l'information, veuillez joindre le Service des Communications en composant le (613) 995-3708 ou 1-888-761-5953 (sans frais).