L'évaluation des rapports ministériels sur le rendement

Points saillants

1.1 Les rapports sur le rendement sont plus importants que jamais pour les parlementaires et les Canadiens. Au fil des événements et des débats sur la santé, l'environnement et la sécurité, les Canadiennes et les Canadiens désirent savoir ce qu'ils obtiennent pour leurs impôts et si leurs représentants élus peuvent tenir les ministres responsables des sommes que dépensent les ministères. Les rapports ministériels sur le rendement sont un outil clé qui assure une reddition de comptes efficace.

1.2 En 2000, une vérification des rapports ministériels sur le rendement a conclu que les ministères et organismes du gouvernement fédéral étaient trop lents à améliorer la qualité de leurs rapports sur le rendement au Parlement. En 2002, nous avons présenté un modèle visant à évaluer les rapports ministériels sur le rendement.

1.3 Pour la présente vérification, nous avons évalué, en fonction de ce modèle, neuf rapports sur le rendement de ministères ou organismes fédéraux qui ont été déposés à l'automne 2002. Cet exercice nous a permis de relever des pratiques prometteuses, mais aussi de nombreux problèmes à résoudre. Dans l'ensemble, nous avons constaté que le rythme des progrès est trop lent pour ce qui est de ces neuf ministères ou organismes.

1.4 Les rapports sur le rendement présentent un bon aperçu du contexte opérationnel et des résultats stratégiques que prévoit chaque ministère ou organisme. Cependant, les attentes à l'égard du rendement ne sont pas toujours claires ni concrètes, l'information ne porte pas nécessairement sur les résultats des programmes, et les résultats indiqués dans le rapport ne sont pas toujours crédibles ni équilibrés. De plus, les rapports présentent très peu d'éléments probants sur l'utilisation de l'information sur le rendement dans la prise de décisions. À l'examen d'un enjeu horizontal, nous avons constaté que les rapports ne soulignaient que de façon partielle l'importance de la communication de l'information sur ces enjeux.

1.5 Nous continuerons d'améliorer et d'utiliser notre modèle d'évaluation en vue de promouvoir l'amélioration de la qualité des rapports sur le rendement des ministères et des organismes fédéraux et de relever les pratiques prometteuses et les principaux problèmes.

Réaction du gouvernement. Le gouvernement accueille favorablement les efforts de la vérificatrice générale pour évaluer les rapports ministériels sur le rendement. Les commentaires du gouvernement se trouvent à la fin du présent chapitre.

Introduction

L'information sur le rendement continue d'être importante

1.6 Le Bureau du vérificateur général estime que la production de rapports de bonne qualité sur le rendement est un élément fondamental pour assurer une bonne gouvernance et la reddition de comptes au Parlement.

1.7 Les rapports sur le rendement sont importants pour les Canadiennes et les Canadiens qui désirent savoir où vont leurs impôts. Ces rapports leur permettent de comprendre en quoi les activités d'un ministère ont des effets positifs réels sur leur vie. Les parlementaires ont aussi besoin d'avoir rapidement accès à de l'information de bonne qualité sur le rendement des activités gouvernementales afin de pouvoir examiner plus efficacement les programmes et les services.

1.8 Chaque automne, plus de 80 ministères et organismes fédéraux présentent respectivement au Parlement un rapport sur le rendement qui fait état de leurs réalisations à la fin du dernier exercice, en fonction de résultats prévus, tels qu'énoncés dans les rapports sur les plans et les priorités, préparés plus tôt par chacun des ministères et organismes.

1.9 En 1997, nous avons examiné l'état du système de rapport utilisé au gouvernement fédéral, à la suite de la mise en oeuvre du projet d'amélioration des rapports au Parlement qui avait été amorcé deux ans auparavant. Nous avons constaté que le gouvernement avait bien enclenché ses efforts en ce sens et que le cadre de base des rapports était solide. Toutefois, lors de notre vérification de suivi en 2000, nous avons constaté que les ministères mettaient trop de temps à apporter les améliorations nécessaires à leurs rapports sur le rendement.

1.10 En 2001, le Huitième rapport du Comité permanent des comptes publics de la Chambre des communes soulignait l'importance de bons rapports sur le rendement. Le Comité recommandait aussi « que le Bureau du vérificateur général effectue des vérifications au hasard de l'information figurant dans les rapports sur le rendement des ministères et des organismes, dans le but de s'assurer, notamment, que cette information est un fidèle reflet des réalisations comparé aux objectifs établis ».

1.11 En réponse à cette demande, nous avons élaboré un modèle d'évaluation des rapports sur le rendement, qui a été diffusé en 2002. Ce modèle énonce les critères nécessaires à la préparation de rapports de bonne qualité. Nous améliorons constamment notre modèle à mesure que nous évaluons des rapports sur le rendement, afin qu'il continue de refléter les pratiques exemplaires courantes utilisées dans les rapports.

1.12 Le Secrétariat du Conseil du Trésor a souligné l'importance de produire des rapports sur le rendement qui soient de qualité, dans le document intitulé Des résultats pour les Canadiens et les Canadiennes — Un cadre de gestion pour le gouvernement du Canada (2000); il affirmait que « renforcer la responsabilisation envers le Parlement et les citoyens fait partie intégrante du programme de changement du conseil de gestion ». En 2002, la présidente du Conseil du Trésor rendait public un rapport intitulé Le rendement du Canada 2002 qui résume le rendement global du Canada à l'égard de 19 indicateurs sociaux. Un rapport du même genre avait paru en 2001.

1.13 Le Secrétariat du Conseil du Trésor et le Bureau du vérificateur général prévoient diffuser en 2003 le document ayant pour titre L'outil d'auto-évaluation de la gestion axée sur les résultats. Cet outil décrira le passage vers une gestion efficace axée sur les résultats. Bon nombre des concepts de ce document sont semblables à ceux des rapports sur le rendement, étant donné que les deux approches doivent reposer sur des renseignements crédibles et équilibrés au sujet des résultats.

1.14 Les lignes directrices du Secrétariat du Conseil du Trésor sur la préparation des rapports ministériels sur le rendement énoncent les principes ayant trait aux rapports sur le rendement et présentent des conseils sur la façon de les interpréter et de les appliquer. Il n'y a aucune relation directe entre les divers éléments du modèle d'évaluation employé par le Bureau du vérificateur général et les lignes directrices du Secrétariat du Conseil du Trésor applicables aux rapports sur le rendement. Cependant, les critères concordent en général avec les principes énoncés dans les lignes directrices, et le Secrétariat a appuyé de façon générale notre modèle d'évaluation. Les principes figurant dans le document de 2002 de CCAF-FCVI Inc. (auparavant la Fondation canadienne pour la vérification intégrée), intitulé Information sur la performance — Principes visant le passage à un nouveau stade, correspondent aussi à nos critères.

Un modèle d'évaluation des rapports ministériels sur le rendement

1.15 Compte tenu de l'importance des rapports sur le rendement, nous continuons d'améliorer notre modèle d'évaluation des rapports ministériels sur le rendement. Ce modèle évalue les rapports selon cinq critères. Un rapport sur le rendement qui répond entièrement à ces cinq critères afficherait les qualités d'un excellent rapport. Voici ces cinq critères, dont chacun comprend plusieurs sous-critères :

• le contexte opérationnel et les résultats stratégiques sont clairs;
• les attentes à l'égard du rendement sont claires et concrètes;
• les principaux résultats sont communiqués par rapport aux attentes;
• l'information sur le rendement est crédible et équilibrée;
• l'utilisation de l'information sur le rendement est démontrée.

1.16 Ensemble, les critères représentent les attentes à l'égard d'un rapport sur le rendement qui soit crédible quant à la démonstration des effets positifs réels découlant des activités d'un ministère, sur la vie des Canadiens (voir la pièce 1.1). Les trois premiers critères portent sur les réalisations, et les deux autres, sur la qualité et l'utilisation de l'information sur le rendement. Plus particulièrement, le quatrième critère demande au ministère d'indiquer de quelle façon il assure la qualité de l'information sur son rendement. Cependant, notre modèle n'est pas conçu de manière à assurer l'exactitude de l'information figurant dans un rapport sur le rendement, car il ne comporte pas de vérification de cette information. De plus, la cote d'évaluation attribuée au rapport ne pourrait pas tenir compte de l'absence, dans le rapport, d'un élément d'information clé sur le rendement.

1.17 Notre modèle comporte cinq niveaux de réalisation. Le cinquième niveau représente les qualités d'excellence d'un rapport sur le rendement. Les rapports sur le rendement qui satisfont à chacun des critères du modèle à des niveaux de plus en plus élevés indiquent que les ministères ou organismes en cause maîtrisent de plus en plus les qualités en question.

Objet de la vérification

1.18 Cette vérification vise à évaluer plusieurs rapports sur le rendement de ministères ou organismes, c'est-à-dire :

• déterminer la qualité d'ensemble de ces rapports ministériels sur le rendement, qui présentent au Parlement et aux Canadiens de l'information sur le rendement de chaque ministère ou organisme en cause;
• déterminer si les enjeux horizontaux (voir le paragraphe 1.57) sont bien indiqués dans ces rapports sur le rendement, en utilisant à titre d'exemple un résultat collectif.

1.19 Nous avons choisi les rapports sur le rendement de la plupart des ministères et organismes dont le mandat est lié à la sécurité des Canadiens. Ce sont :

• Citoyenneté et Immigration Canada
• Service correctionnel Canada
• Ministère de la Justice Canada
• Commission de l'immigration et du statut de réfugié
• Ministère de la Défense nationale
• Commission nationale des libérations conditionnelles
• Gendarmerie royale du Canada
• Solliciteur général du Canada
• Transports Canada.

Ces organismes représentent 19,3 milliards des dépenses, ou 12 p. 100 de l'ensemble des dépenses du gouvernement pour l'exercice 2001-2002.

1.20 On trouvera à la fin du présent chapitre, sous le titre « À propos de la vérification », plus de détails sur les objectifs, l'étendue et la méthode de la vérification.

Observations et recommandations

Il reste beaucoup à faire

1.21 Notre vérification a révélé que les rapports ne sont pas toujours aussi clairs et utiles qu'ils devraient l'être (voir la pièce 1.2). Dans l'ensemble, les rapports ont obtenu des résultats passablement bons à l'égard du premier critère. Ils ont presque atteint ou ont effectivement atteint la cote « passable » à l'égard du deuxième, du troisième et du quatrième critères. Cependant, ils ont à peine dépassé le niveau de base pour ce qui est du cinquième critère. Ces résultats indiquent que les rapports sur le rendement que nous avons évalués ont beaucoup de chemin à parcourir avant d'atteindre les plus hauts niveaux du modèle. Lors de plusieurs vérifications précédentes, nous avions aussi exprimé de vives inquiétudes au sujet de la qualité globale des rapports. Pourtant, en se fondant sur notre notation de ces neuf rapports, la présente vérification révèle que les rapports sur le rendement continuent de receler de nombreux problèmes. Quoi qu'il en soit, dans les neuf rapports que nous avons évalués, nous avons retenu certaines pratiques prometteuses qui illustrent la façon dont les rapports sur le rendement peuvent être améliorés. Ces pratiques indiquent effectivement qu'il est possible d'améliorer les rapports présentés au Parlement.

Contexte opérationnel et résultats stratégiques

1.22 Le premier critère exige que le contexte opérationnel et les résultats stratégiques soient clairs. Il sert à évaluer si le rapport indique clairement les secteurs d'activité du ministère et si ces secteurs se reflètent dans son mandat et dans sa mission. Il détermine aussi s'il y a une séquence et un lien logiques entre les secteurs d'activité et les principaux résultats, qui comprennent les résultats stratégiques prévus. Ces facteurs doivent correspondre à ceux qui influent sur le contexte opérationnel de l'organisme en cause. Ce critère demande aussi de mentionner les principaux partenaires externes et de fournir une description crédible des risques auxquels l'organisme est exposé.

1.23 Le premier critère pose comme hypothèse que les organismes du secteur public n'existent pas en vase clos. Autrement dit, ils sont exposés à de nombreuses éventualités et pressions tant internes qu'externes et ils doivent résoudre des problèmes de plus en plus complexes pour mener à bien leur mandat. Par conséquent, le rapport sur le rendement d'un ministère ou organisme ne prend sa signification que lorsqu'il se situe dans ce contexte général.

Dans leurs rapports, les ministères ou organismes présentent en général un bon aperçu du contexte opérationnel et des résultats stratégiques

1.24 Tous les rapports ont obtenu une cote allant de « passable » à « très satisfaisant » quant au premier critère (voir la pièce 1.3). Cela correspond d'ailleurs à ce que nous avions constaté dans notre rapport d'avril 2002, lorsque nous avions fait la démonstration de notre modèle.

Pratiques prometteuses liées à la communication de l'information sur le contexte opérationnel et les résultats stratégiques

1.25 Les rapports présentent un bon aperçu des résultats stratégiques que prévoient les ministères et organismes en cause. Transports Canada, le ministère de la Défense nationale et Citoyenneté et Immigration Canada intègrent à leurs rapports des hyperliens qui permettent au lecteur d'obtenir de plus amples renseignements sur le contexte. Tout en offrant l'accès à une information plus complète au sujet du ministère et de son contexte opérationnel, au moyen de ces hyperliens, cette approche contribue à la présentation de rapports relativement courts et axés sur le rendement.

1.26 Les rapports présentent aussi une bonne information sur la contribution des secteurs d'activité de l'organisme aux résultats stratégiques prévus et sur la correspondance entre ces secteurs et la mission et le mandat de l'organisme ainsi que les priorités du gouvernement fédéral. Transports Canada et le Solliciteur général du Canada ont bien réussi à cet égard. Le rapport de Transports Canada comprend un graphique qui indique clairement le lien entre ses objectifs stratégiques et ses secteurs d'activité, ses ressources et les grands thèmes du gouvernement. Il indique aussi comment les activités et les extrants contribuent aux objectifs stratégiques du Ministère.

Problèmes liés à la communication de l'information sur le contexte opérationnel et les résultats stratégiques

1.27 Même si les rapports sont relativement réussis par rapport au premier critère, il y a encore place à l'amélioration. Les principaux partenariats grâce auxquels les ministères ou organismes mettent en oeuvre une partie de leurs programmes représentent un aspect important du contexte opérationnel. Dans la plupart des rapports, on se contente d'énumérer les partenaires. Aucun renseignement n'indique quel ministère est le maître d'oeuvre ni comment les activités et les extrants ont contribué à un résultat collectif. Nous reprenons ce point dans la section du présent chapitre portant sur les enjeux horizontaux.

Attentes à l'égard du rendement

1.28 Selon le deuxième critère, les attentes à l'égard du rendement devraient être claires et concrètes. Autrement dit, les ministères et organismes devraient indiquer clairement ce qu'ils feront pour les Canadiens. Ce critère porte sur les attentes à l'égard du rendement et sur leur lien avec les plans opérationnels et stratégiques de l'organisme en cause. Les attentes à l'égard du rendement doivent être indiquées clairement et correspondre aux priorités du gouvernement fédéral. Elles doivent aussi être exprimées sous forme d'extrants ou de résultats qui se rapprochent davantage des niveaux « très satisfaisant » et « excellent » du modèle. Elles doivent indiquer l'orientation ou la tendance des modifications prévues et le calendrier d'exécution de ces modifications. Par exemple, le rapport devrait indiquer si les programmes du ministère auront pour effet d'accroître, de maintenir ou de diminuer certains résultats, et préciser l'ampleur de ces effets.

1.29 Le deuxième critère permet aussi de déterminer la façon dont l'organisme prévoit atteindre ses objectifs de rendement. Même si la plus grande partie de cette information se trouve dans le rapport correspondant sur les plans et les priorités, le rapport sur le rendement doit renfermer suffisamment de données pour que le lecteur comprenne comment les stratégies et les activités du ministère lui permettront d'atteindre les résultats prévus.

Les attentes à l'égard du rendement ne sont pas toujours claires ni concrètes

1.30 Sauf dans le cas de deux organismes, les rapports n'ont pas obtenu de bons résultats à l'égard de ce deuxième critère. Dans l'ensemble, nous avons constaté que les attentes à l'égard du rendement ne sont pas claires ni concrètes et ne correspondent pas aux plans opérationnels et stratégiques de l'organisme (voir la pièce 1.4).

Pratiques prometteuses liées à la communication de l'information sur les attentes à l'égard du rendement

1.31 Le rapport de la Gendarmerie royale du Canada présente un graphique récapitulatif qui évalue son rendement en fonction du problème abordé. Cependant, étant donné que le graphique n'indique pas les attentes précises de cet organisme à l'égard du rendement, il n'est pas aussi utile qu'on le souhaiterait.

1.32 Partout dans son rapport, Citoyenneté et Immigration Canada indique de façon claire et concrète comment les attentes du Ministère à l'égard du rendement sont susceptibles de toucher les Canadiens. Par exemple, il décrit les avantages socio-économiques que le Canada retirera si certains niveaux d'immigration sont atteints. Il explique l'important rôle économique que jouent les immigrants pour ce qui est d'accroître le capital humain et de combler les lacunes sur le marché du travail. Selon le rapport, la société canadienne profite aussi des cultures, des traditions et des connaissances qu'apporte l'immigration, outre les collectivités vibrantes et la forte stabilité sociale qui résultent de la réunification des familles. Le rapport précise que cette attente se réalisera en « atteignant les niveaux prévus de 200 000 à 225 000 immigrants au Canada en 2001 ». Cette attente indique clairement l'orientation et l'ampleur du changement prévu ainsi que la période au cours de laquelle il se produira.

1.33 La Commission de l'immigration et du statut de réfugié aborde, dans son rapport, les stratégies mises en oeuvre pour atteindre les niveaux prévus quant aux activités et aux extrants, et la façon de traiter le volume élevé des demandes d'immigration en attente. Par exemple, le rapport indique que des ressources serviront à élaborer des procédés plus simples afin de mieux gérer le nombre record de demandes de reconnaissance du statut de réfugié en attente.

Problèmes liés à la communication de l'information sur les attentes à l'égard du rendement

1.34 Les rapports sur les plans et les priorités servent à établir les attentes à l'égard du rendement et présentent l'orientation générale qu'un ministre désire imprimer à son ministère pendant l'exercice budgétaire et les deux exercices qui suivent. Étant donné que le rapport sur le rendement a pour but de fournir de l'information sur les résultats accomplis, on le compare au rapport correspondant sur les plans et les priorités. Les rapports sur les plans et les priorités établissent les objectifs précis de rendement tandis que les rapports sur le rendement précisent dans quelle mesure ils ont été atteints, tout en fournissant des explications quant au niveau de rendement obtenu.

1.35 Dans bien des cas, nous avons constaté que le rapport sur le rendement s'écartait du rapport sur les plans et les priorités du ministère ou de l'organisme en cause. De fait, dans sept des neufs rapports que nous avons évalués, les attentes à l'égard du rendement que présentaient les rapports sur les plans et les priorités s'écartaient, à des degrés divers, de celles qui figuraient dans les rapports sur le rendement. Dans certains cas, les rapports ajoutaient, regroupaient, modifiaient ou supprimaient des attentes sans pour autant expliquer ces modifications. Pour cette raison, la reddition de comptes à l'égard des engagements précédents manquait de clarté. Par exemple, le rapport sur le rendement du Solliciteur général du Canada ne concorde pas avec son rapport sur les plans et les priorités.

1.36 Nous avons aussi relevé certains objectifs vagues. Ainsi, en matière de diminution du crime organisé, le rapport de la Gendarmerie royale du Canada mentionne, à titre d'objectif visé, l'amélioration des résultats des enquêtes de longue durée par rapport à ceux de l'année précédente. Une autre pratique consiste à présenter des objectifs précis axés sur les activités plutôt que sur les résultats. Par exemple, le rapport du ministère de la Justice précise que la loi sur les jeunes contrevenants permettra d'obtenir un appareil judiciaire plus équitable et plus efficace à l'endroit des jeunes.

Résultats en matière de rendement

1.37 Le troisième critère exige que l'on fasse état des principaux résultats par rapport aux attentes à l'égard du rendement et que l'on précise la contribution du ministère ou de l'organisme. Il porte sur les extrants ou les résultats, en particulier aux niveaux « très satisfaisant » et « excellent » du modèle, et il indique si l'organisme a réussi ou non à atteindre ses objectifs. Ce critère comporte divers éléments : faire correspondre les extrants et les résultats aux attentes à l'égard du rendement; aborder les problèmes qui empêchent d'atteindre les résultats prévus; cerner les facteurs contribuant aux résultats à l'égard du rendement; déterminer le niveau des ressources nécessaires; expliquer la façon d'interpréter les résultats.

1.38 Ce critère complexe est au coeur d'un bon rapport sur le rendement. Contrairement aux deux premiers critères qui jettent la base du contexte du rapport sur le rendement, ce critère porte sur les principales caractéristiques de l'information qui doit être présentée sur le rendement.

Les résultats ne sont pas communiqués de manière systématique

1.39 Les cotes ayant trait à ce troisième critère se situent dans une fourchette allant du niveau « de base » au niveau « satisfaisant ». Plus particulièrement, la quantité d'information sur les résultats varie énormément d'un organisme à l'autre. Dans l'ensemble, les résultats varient énormément (voir la pièce 1.5). Cinq rapports présentent de l'information sur le niveau des ressources nécessaires à l'atteinte des résultats stratégiques, mais aucun n'en présente sur les ressources pour les principaux extrants. De plus, on n'y précise à peu près pas à qui revient la responsabilité des résultats.

Pratiques prometteuses liées à la communication de l'information sur les résultats

1.40 Le rapport de la Commission de l'immigration et du statut de réfugié présente une foule de renseignements détaillés sur ses extrants opérationnels. Par exemple, le rapport fournit des données sur plusieurs demandes transmises et traitées, plus précisément sur le temps moyen de traitement et le coût de traitement de chaque demande. Pour sa part, même si son rapport est muet au sujet des attentes à l'égard du rendement, Service correctionnel Canada présente des chiffres sur quelques résultats clés, par exemple, les taux de récidive pendant la supervision.

1.41 Bon nombre de rapports présentent des hyperliens aux évaluations et vérifications internes du ministère ou de l'organisme en cause. Par exemple, le rapport de la Gendarmerie royale du Canada comporte une section qui résume bien ses évaluations et ses vérifications internes. Pour sa part, le rapport de Citoyenneté et Immigration Canada, même s'il indique qu'un seul rapport d'évaluation a été produit pendant l'exercice 2001-2002, présente un compte rendu équilibré de ses principales conclusions. Quant au rapport du Solliciteur général du Canada, il se reporte souvent à des rapports d'évaluation qui sont liés à plusieurs résultats stratégiques, mais il ne présente pas de renseignements sur leur contenu.

1.42 Il est difficile de préciser le niveau des ressources attribuées pour atteindre des résultats précis. Toutefois, la plupart des rapports réussissent à le faire à l'égard des grands résultats stratégiques. Le rapport de Service correctionnel Canada présente un exemple prometteur de la façon de communiquer ce genre de renseignements. Cependant, à l'instar des autres ministères, il ne précise pas les ressources attribuées à la réalisation des extrants particuliers et des résultats immédiats. Tous les rapports indiquent les ressources attribuées en fonction des secteurs d'activité. Un seul rapport précise la contribution financière de chaque secteur d'activité applicable à chaque résultat stratégique, et ce, en faisant correspondre les secteurs d'activité aux résultats stratégiques. Pour la plupart, les rapports ne présentent pas de données financières au niveau de détail suivant, notamment à l'échelon des principaux programmes, en ce qui a trait aux résultats stratégiques ou aux secteurs d'activité.

Problèmes liés à la communication de l'information sur les résultats

1.43 Nous avons observé que dans certains cas, les renseignements au sujet des activités entreprises pour produire les extrants ou contribuer aux résultats sont présentés comme si ces activités représentaient en soi une mesure des extrants ou des résultats. Ainsi, le rapport de Citoyenneté et Immigration Canada décrit de récentes modifications législatives comme étant une mesure de son rendement. D'autres rapports présentent aussi certaines activités, telles que des réunions, des activités organisées et des études terminées comme étant des résultats. Même si elle est utile et pertinente, toute information au sujet des activités doit aussi s'accompagner d'explications sur la façon dont elles contribuent aux résultats accomplis au bénéfice des Canadiens.

1.44 Comme nous l'indiquions précédemment, le fait de résumer les principales conclusions d'évaluations et de vérifications pertinentes aide à expliquer le rendement du ministère et les défis auxquels il fait face. Nous avons remarqué que Transports Canada ne présente pas ce genre d'information dans son rapport, en dépit du fait que le Ministère ait effectué de telles évaluations et vérifications. Un certain nombre de ces évaluations et vérifications portent sur des questions qui intéressent grandement les Canadiennes et les Canadiens. Il aurait été utile que le Ministère informe le Parlement des efforts qu'il a déployés à l'égard de ces questions.

1.45 Comme nous l'avons indiqué précédemment, le rapport de la Commission de l'immigration et du statut de réfugié présente une foule de renseignements sur ses extrants. Toutefois, les données sur le nombre et le pourcentage de demandes acceptées, rejetées, retirées ou abandonnées en vertu du processus de protection des réfugiés ne figurent pas dans le rapport, même si ces données intéresseraient les parlementaires. Il aurait aussi été utile de connaître le nombre et le pourcentage d'appels admis et rejetés en vertu du processus d'appel de l'immigration. Nous avons aussi remarqué que la Commission fournit très peu de renseignements sur ses résultats.

Résultats crédibles et équilibrés

1.46 Le quatrième critère énonce que l'information sur le rendement doit être crédible et équilibrée. Premièrement, il sert à évaluer la qualité de l'information sur le rendement et la fiabilité des sources d'information pour mieux juger de la crédibilité des données. Deuxièmement, le critère évalue si les bons résultats et les faiblesses sont présentés de manière équilibrée, et si le niveau de détail des principaux résultats est approprié. Ce critère est fondamental à un bon rapport sur le rendement. Si tous les éléments d'un bon rapport sont en place, mais que l'information fournie n'est ni crédible ni équilibrée, le rapport n'aura aucune utilité aux yeux des parlementaires ou des Canadiens.

Les ministères ou organismes ne communiquent pas en général de l'information équilibrée sur les résultats

1.47 Les résultats obtenus à l'égard de ce critère se situaient entre la cote « de base » et la cote « passable ». Dans l'ensemble, les rapports n'ont pas obtenu la cote « satisfaisant » (voir la pièce 1.6).

Pratiques prometteuses liées à la communication de l'information crédible et équilibrée sur les résultats

1.48 Le rapport de la Commission nationale des libérations conditionnelles explique les limitations des données sur le taux de récidive après expiration du mandat. Il précise que le nombre de récidives liées à cet indicateur est sans doute beaucoup plus élevé dans la réalité à cause de certaines limitations des données. La Commission de l'immigration et du statut de réfugié indique le nombre de plaintes contre les membres de la Commission. Des sections du rapport de la Gendarmerie royale du Canada présentent des notes en fin de texte sur les sources de données extérieures utilisées.

Problèmes liés à la communication de l'information crédible et équilibrée sur les résultats

1.49 Dans l'ensemble, nous avons constaté que les rapports avaient tendance à présenter uniquement les renseignements positifs sur le rendement plutôt que sur l'ensemble des réussites et des lacunes. Cette tendance à mettre uniquement l'accent sur les « bonnes nouvelles » donne lieu à des rapports qui transmettent une vue partiale du rendement du ministère ou de l'organisme en cause. Par conséquent, une communication peu équilibrée signifie que les utilisateurs éventuels, notamment les parlementaires, seront peut-être tentés d'écarter cette information, la jugeant tendancieuse, incomplète ou non crédible.

1.50 Nous avons aussi relevé plusieurs exemples de données de qualité limitée. Les rapports fournissent très peu de renseignements sur la façon dont les ministères ou organismes gèrent la qualité des données, sur les limitations elles-mêmes de ces données et sur les mesures qu'ils entendent prendre pour améliorer les choses.

Utilisation de l'information sur le rendement

1.51 Il est difficile de bien gérer pour obtenir de meilleurs résultats. Comme nous le soulignions dans notre rapport de décembre 2000, au chapitre 20, intitulé « La gestion ministérielle axée sur les résultats et la gestion des questions horizontales axée sur les résultats », il est nécessaire de mesurer plus systématiquement les résultats obtenus par les ministères et organismes et d'utiliser cette information aux fins d'améliorer les programmes. Les quatre critères précédents reposent sur une approche plus classique de la communication de l'information sur le rendement, où il importe de présenter le contexte opérationnel, de définir et de mesurer le rendement par rapport aux attentes, d'en faire état, et de présenter l'information de la plus haute qualité possible. Toutefois, même lorsque toutes ces conditions sont réunies, si l'on n'utilise pas les renseignements recueillis au sujet du rendement antérieur pour améliorer les résultats à venir, cela demeurera uniquement un exercice de communication axé sur la reddition de comptes externe. Le rapport sur le rendement représente aussi un outil précieux pour montrer que les lacunes et les problèmes ont permis au ministère ou à l'organisme en cause de tirer des enseignements, et que les responsables utilisent cette information pour améliorer le rendement à venir. Cela devrait aussi les encourager à préparer des rapports équilibrés.

1.52 Le cinquième critère permet de savoir si les rapports sur le rendement indiquent la façon dont le ministère ou l'organisme utilise l'information sur le rendement, notamment pour établir les attentes à l'égard du rendement futur. Le critère pose comme hypothèse que l'information sur le rendement n'a pas pour simple but de créer des rapports. Elle sert plutôt aux ministères et organismes à prendre des décisions stratégiques, à mettre en évidence les enseignements retenus et à indiquer de quelle façon un rendement faible sera corrigé. L'information sur le rendement devrait aussi offrir des indications crédibles sur la capacité du ministère ou de l'organisme de produire des résultats durables en continuant de donner un bon rendement à l'avenir.

L'utilisation de l'information sur le rendement n'est pas démontrée

1.53 La plupart des rapports que nous avons évalués n'ont obtenu qu'une cote « de base » à l'égard du cinquième critère (voir la pièce 1.7). Lorsque les ministères obtiennent des résultats clés de qualité raisonnable, ils devraient être en mesure de démontrer que cette information sert à prendre des décisions éclairées sur la façon d'améliorer leur rendement à venir.

Pratiques prometteuses liées à la communication de l'information sur l'utilisation des renseignements sur le rendement

1.54 Dans son rapport, la Commission nationale des libérations conditionnelles indique sa difficulté à gérer la charge de demandes de pardon, qui s'est répercutée sur le temps de traitement. Elle dresse la liste des activités qu'elle a entreprises pour améliorer son rendement en vue de remédier à l'arriéré croissant de demandes de pardon.

1.55 Le rapport du ministère de la Justice présente un court aperçu des enseignements retenus et des défis auxquels le Ministère fait face dans chacun de ses secteurs d'activité. Même si les autres ministères pourraient adopter une telle pratique prometteuse, la pertinence des enseignements retenus n'est pas toujours claire.

Problèmes liés à la communication de l'information sur l'utilisation des renseignements sur le rendement

1.56 Aucun des rapports que nous avons évalués ne traite de la capacité des ministères et organismes de continuer de réaliser leurs objectifs de rendement à l'avenir. Les cotes obtenues nous révèlent que cela pourrait être l'un des aspects les plus problématiques des rapports sur le rendement. Pour relever ce défi, il y aura lieu d'incorporer des renseignements de bonne qualité dans le processus décisionnel et de les utiliser pour régler les problèmes et pour évaluer si l'organisme s'achemine ou non dans la bonne direction.

Enjeux horizontaux

Problèmes liés à la communication de l'information sur les enjeux horizontaux

1.57 Les enjeux horizontaux sont les programmes et activités qui ressortissent au mandat de plusieurs ministères ou organismes et qui font l'objet d'une contribution de chacun. Les rapports présentés au Parlement sur de tels enjeux comportent des défis particuliers pour l'ensemble du gouvernement ainsi que pour chacun des ministères ou organismes respectifs. Chacun d'entre eux doit établir à quel moment sa contribution à un résultat collectif doit faire l'objet d'un rapport au Parlement. Le gouvernement s'est récemment servi du document intitulé Le rendement du Canada 2002 pour présenter les résultats de quelques secteurs horizontaux.

1.58 Nous nous attendions à ce que les rapports sur le rendement fournissent suffisamment de renseignements crédibles au Parlement sur le rendement du ministère ou de l'organisme, à l'égard de chacun des grands enjeux horizontaux. Nous nous attendions aussi à ce que les ministères ou organismes participant à une activité liée à un enjeu horizontal :

• décrivent leur rôle par rapport à cet enjeu et leur contribution au résultat collectif;
• précisent le ministère principal, s'il y a lieu;
• dirigent le lecteur vers le rapport du ministère principal.

Les rapports sur la sûreté et la sécurité des Canadiens sont incomplets

1.59 Comme le gouvernement l'a déclaré à maintes occasions, les événements du 11 septembre 2001 font ressortir le besoin pour le gouvernement de déployer des mesures complètes face au terrorisme. Les parlementaires et les Canadiens ont besoin de savoir comment les ministères et organismes collaborent entre eux pour protéger les Canadiens contre le crime organisé et les menaces terroristes. Ils ont aussi besoin de savoir comment le gouvernement dépense leur argent, notamment la somme supplémentaire de 7,7 milliards de dollars attribuée à ce problème au cours des cinq années suivantes, dans le budget fédéral de décembre 2001.

1.60 Pour pouvoir mesurer les résultats de la contribution des ministères et organismes en cause à cet enjeu horizontal particulier, il serait utile de définir clairement ce que les activités sont censées accomplir. En ce moment, la description des activités dans ce domaine à l'échelle du gouvernement est imprécise. Le site Web du gouvernement du Canada indique que de nombreux ministères et organismes fédéraux collaborent entre eux afin d'assurer la sécurité du Canada, mais il ne nomme pas ces organismes. Il manque aussi de l'information sur les responsabilités ministérielles au sujet du crime organisé — un enjeu clé abordé dans le Discours du Trône de 2001.

1.61 On élabore actuellement des rapports à l'échelle du gouvernement sur les résultats de telles activités. Dans le document intitulé Le rendement du Canada 2002, la présidente du Conseil du Trésor a précisé que « la sécurité contre le crime organisé et les menaces terroristes » constituait l'un des secteurs horizontaux de l'activité gouvernementale. Cependant, le rapport dirige simplement le lecteur vers les rapports sur le rendement des ministères ou organismes en question. Le site Web du Secrétariat du Conseil du Trésor énumère les ministères qui contribuent à protéger les Canadiens contre le crime organisé et les menaces terroristes et présente des hyperliens aux rapports sur le rendement de ces organismes.

1.62 Étant donné que les documents à l'échelle de l'administration fédérale fournissent uniquement des indications générales ayant trait aux enjeux horizontaux, nous nous attendions à trouver de plus amples renseignements sur les intervenants et sur les résultats de leurs activités dans ce secteur horizontal dans les rapports ministériels sur le rendement. Notre modèle d'évaluation dégage pour les ministères et organismes les deux avenues suivantes pour leur permettre d'aborder les enjeux horizontaux dans leur rapport sur le rendement : préciser leur rôle à l'égard de l'initiative; préciser leur contribution au résultat collectif.

1.63 Huit des neuf rapports examinés énumèrent une partie des principaux partenaires des ministères et organismes pour leurs activités qui portent sur le crime organisé et les menaces terroristes. Cependant, la quantité de détails varie énormément. Transports Canada indique simplement la liste de ses partenaires, sans préciser l'enjeu horizontal. Trois rapports seulement mentionnent le ministère chargé principalement d'un enjeu horizontal. Le ministère de la Justice présente des renseignements sur les enjeux horizontaux à l'échelle de l'administration fédérale, dans un tableau qui précise l'enjeu, le ministère principal, ses partenaires et les activités du ministère.

1.64 Même si nous n'avons pas évalué le rapport sur le rendement du Bureau du Conseil privé (BCP), nous avons remarqué qu'on y aborde les questions liées à la sécurité des Canadiens. On y précise que, dans le contexte des activités qui ont suivi le 11 septembre 2001, le BCP « a dirigé les interventions ministérielles en créant des mécanismes de coordination et en augmentant les rapports directs entre le personnel de divers ministères et organisations ». Ce rapport ne mentionne pas le nom des ministères qui sont intervenus à l'égard de cet enjeu horizontal ni la nature de leurs responsabilités.

1.65 Aucun des rapports sur le rendement n'indique la contribution des partenaires quant au résultat collectif. Les résultats des activités visant à aider à protéger les Canadiens contre le crime organisé et les menaces terroristes ne sont pas indiqués. Seul le Solliciteur général du Canada mentionne une évaluation de l'initiative intégrée de contrôle des produits de la criminalité, mais le rapport ne présente pas les véritables résultats de sa contribution au résultat collectif de cette initiative. Un petit nombre de ministères font état d'une partie des défis auxquels ils font face lorsqu'ils doivent collaborer avec d'autres ministères à des résultats collectifs.

1.66 Nous avons remarqué que le Secrétariat du Conseil du Trésor, dans son Guide de préparation des rapports ministériels sur le rendement 2002, exige des ministères et organismes qu'ils indiquent la contribution de leurs partenaires à leurs résultats stratégiques. Cependant, cette exigence ne va pas au-delà de la mention des partenaires. Cela signifie que, dans l'ensemble, il y a très peu de rapports collectifs ou systématiques au Parlement sur les diverses initiatives visant à accroître la sécurité et la sûreté des Canadiens ni sur les responsables de ces efforts et sur leurs résultats.

1.67 Dans notre rapport de décembre 2000, au chapitre 20, intitulé « La gestion ministérielle axée sur les résultats et la gestion des questions horizontales axée sur les résultats », nous avons recommandé que le Secrétariat du Conseil du Trésor joue un plus grand rôle de leadership en veillant à ce que les enjeux horizontaux fassent l'objet d'un rapport. Nous continuons de souscrire à cette opinion.

1.68 Recommandation. Le Secrétariat du Conseil du Trésor devrait donner des directives plus poussées et encourager activement les ministères et organismes à adopter les pratiques suivantes dans leurs rapports sur le rendement :

• cerner les principaux secteurs horizontaux;
• mentionner le ministère principal, s'il y a lieu;
• dégager le résultat prévu pour chaque secteur;
• indiquer de quelle façon les activités et les extrants du ministère ou de l'organisme contribuent aux résultats collectifs du secteur horizontal.

Réponse du Secrétariat du Conseil du Trésor. Le Secrétariat du Conseil du Trésor continuera d'encourager les ministères à présenter des rapports sur les initiatives horizontales. Nous fournirons des conseils plus précis sur la préparation des rapports ministériels sur le rendement en ce qui a trait aux programmes et aux initiatives qui transcendent les limites ministérielles.

Conclusion

1.69 C'est la première fois que nous utilisons notre modèle plus à fond pour évaluer les rapports sur le rendement. Même si nous avons relevé des pratiques prometteuses et certains défis auxquels font face les neuf ministères ou organismes, nous avons constaté, dans l'ensemble, que leurs progrès quant à l'amélioration des rapports sur le rendement au Parlement sont trop lents. Nos évaluations révèlent aussi que les ministères ou organismes ne reconnaissent pas bien l'importance des rapports sur les enjeux horizontaux.

1.70 Ces conclusions ne sont pas nouvelles. De fait, elles sont conformes aux observations découlant des vérifications précédentes. En 1988, nous avions conclu que les rapports présentés au Parlement n'étaient pas entièrement satisfaisants aux fins de la reddition de comptes. En 1992, nous avons indiqué de nouveau que ces rapports ne fournissaient pas l'information de manière suffisamment exhaustive. En 1997, au moment où le gouvernement revoyait son Système de gestion des dépenses, nous avons indiqué que les progrès au sujet des rapports sur le rendement présentés au Parlement étaient insuffisants. Dans notre rapport de décembre 2000, au chapitre 19, intitulé « L'information sur le rendement communiquée au Parlement : les progrès sont trop lents », nous avons conclu que « au rythme actuel, il faudra beaucoup trop de temps pour que l'habitude de communiquer de l'information de bonne qualité s'instaure ».

1.71 Dans notre rapport de décembre 2000, nous avons indiqué les facteurs qui expliquent l'état actuel des rapports. Ce sont les suivants :

• il arrive fréquemment que les principes fondamentaux d'un bon rapport ne soient pas compris ni appliqués;
• l'information sur le rendement est communiquée dans un contexte politique;
• il existe peu d'incitatifs à la production d'un bon rapport et peu de sanctions pour la production d'un mauvais.

1.72 Divers intervenants peuvent contribuer à surmonter ces obstacles. Bien entendu, les ministères et organismes devraient continuer à tenter d'améliorer leurs rapports sur le rendement. Le Secrétariat du Conseil du Trésor devrait aussi continuer à les aider en effectuant un examen critique des rapports sur le rendement des ministères et organismes, en assurant un leadership et en fournissant des occasions pour leur faire mieux comprendre et accepter les principes et les pratiques d'une bonne communication de l'information sur le rendement.

1.73 L'étude des rapports sur le rendement par les parlementaires inciterait les ministères et organismes à préparer des rapports de meilleure qualité. Par l'entremise de divers comités permanents, les parlementaires pourraient exiger des clarifications et des explications sur l'information et les attentes à l'égard du rendement. Ils pourraient aussi questionner les ministères et organismes fédéraux.

1.74 Notre bureau continuera d'améliorer et d'utiliser le modèle d'évaluation pour aider à favoriser la présentation de meilleurs rapports sur le rendement au Parlement. En reconnaissant les pratiques prometteuses et en cernant les secteurs susceptibles d'amélioration, nous espérons contribuer à assurer la présentation de rapports de meilleure qualité au Parlement.

Réponse du gouvernement. Le gouvernement reste fermement engagé à continuer d'améliorer les rapports qu'il fournit au Parlement. Dans cette optique, nous soulignons les efforts qu'a déployés la vérificatrice générale pour évaluer systématiquement les rapports ministériels sur le rendement, pour mettre en évidence leurs points forts et leurs faiblesses et pour prodiguer des conseils sur la manière de les améliorer. Les rapports ministériels sur le rendement font état de la responsabilité qui incombe à chaque ministre et à son ministère de rendre compte au Parlement de leur rendement en fonction des résultats escomptés. Nous estimons que les constatations, y compris le recensement des pratiques prometteuses, aideront à orienter les efforts des ministères et des organismes pour améliorer leurs rapports au Parlement.

Comme il a été précisé dans le Budget de 2003, afin de rehausser la reddition de comptes et la transparence des rapports publics, le gouvernement continuera d'améliorer la pertinence et la clarté de l'information ainsi que la rapidité avec laquelle elle est transmise au Parlement. Il s'agit notamment d'avoir davantage recours aux moyens électroniques pour faire état de ses dépenses et des résultats de ses programmes et de ses activités. Le gouvernement continuera de collaborer avec les députés et sénateurs, les comités parlementaires et la vérificatrice générale pour recenser les possibilités d'améliorer les rapports qu'il soumet au Parlement. Nous miserons sur les résultats de ces échanges et sur les constatations que renferme le présent chapitre, ainsi que sur d'autres sources, pour renouveler nos directives à l'intention des ministères en ce qui a trait aux rapports sur le rendement.

Quant à la recommandation voulant que le Secrétariat du Conseil du Trésor encourage activement les ministères à soumettre des rapports plus complets sur les initiatives horizontales d'importance, le Secrétariat continuera de fournir des conseils plus étoffés au cours de la prochaine période afin d'insister encore plus sur l'importance de rendre compte des initiatives horizontales.

À propos de la vérification

Objectif

Cette vérification a pour but d'évaluer les rapports ministériels sur le rendement, c'est-à-dire

• déterminer la qualité générale des rapports ministériels sur le rendement et fournir au Parlement et aux Canadiens de l'information sur le rendement des ministères et des organismes fédéraux;
• déterminer si les rapports sur le rendement cernent de façon appropriée les enjeux horizontaux, en prenant à titre d'exemple un résultat collectif.

Étendue

Nous avons choisi les rapports sur le rendement de ministères et organismes fédéraux dont le mandat contribue à un enjeu horizontal, en l'occurrence, celui de protéger les Canadiens contre le crime organisé et les menaces terroristes. Cet enjeu horizontal est l'un de ceux que la présidente du Conseil du Trésor a précisés dans le rapport intitulé Le rendement du Canada 2002, sous le thème des collectivités.

Nous avons exclu le Service canadien du renseignement de sécurité et le Bureau du commissaire du Centre de la sécurité des télécommunications, parce qu'ils ne sont pas tenus de préparer des rapports sur le rendement. Le programme des douanes de l'Agence des douanes et du revenu du Canada est aussi exclu, car même si l'Agence prépare un rapport sur le rendement, c'est l'un des trois organismes dont le rapport annuel présenté au Parlement fait l'objet d'une évaluation distincte de la part de notre bureau.

Le regroupement d'organismes semblables nous permet de comparer les questions et les problèmes communs. Même si notre modèle a pour principal rôle d'évaluer les rapports sur le rendement à l'échelon du ministère ou de l'organisme, il tient compte aussi de l'information communiquée à propos des enjeux horizontaux.

Méthode

Dans la présente vérification, nous avons évalué neuf rapports sur le rendement à l'aide de notre modèle d'évaluation.

Ces rapports portaient sur la période se terminant le 31 mars 2002. Ils ont été déposés à la Chambre des communes le 7 novembre 2002.

Dans le modèle d'évaluation, chacun des cinq critères est représenté par un continuum comportant les cinq étapes ou niveaux suivants : de base, passable, satisfaisant, très satisfaisant et excellent. Un rapport sur le rendement exceptionnel obtiendrait une cote « excellent » pour chacun des critères.

La méthode présentée dans notre rapport d'avril 2002, au chapitre 6, intitulé « Un modèle d'évaluation des rapports ministériels sur le rendement », demande aux évaluateurs de valider leurs notes respectives. Gardant cela à l'esprit, notre équipe de vérification a utilisé le modèle pour évaluer les rapports, dont les résultats ont été confirmés par des experts et par l'équipe de vérification du Bureau pour chaque ministère et organisme ayant fait l'objet d'un examen. Nous n'avons pas vérifié les procédures et systèmes utilisés par chacun des ministères ou organismes pour produire l'information présentée dans leur rapport.

Équipe de vérification

Vérificatrice générale adjointe : Maria Barrados
Directeur principal : Barry Leighton
Directeur : Yves Genest

Doreen Deveen
Denis Jobin
Catherine Livingstone
Albert Melanson
Paul Pilon

Pour obtenir de l'information, veuillez joindre le service des Communications, en composant le (613) 995-3708 ou le 1 888 761-5953 (sans frais).

Définitions :

Un extrant est un produit ou service fourni directement à un groupe ou à une population cible par suite des activités menées en vertu d'un programme. (Retourner)
(Adapté de la définition du Secrétariat du Conseil du Trésor)

Un résultat est une conséquence externe qu'on peut attribuer à une organisation ou à un programme, etc. et qu'on juge importante par rapport aux engagements. Les conséquences peuvent être immédiates, intermédiaires, finales, directes ou indirectes, prévues ou imprévues. (Retourner)
(Secrétariat du Conseil du Trésor)

Une activité est une opération ou un processus de travail exécuté par une organisation et destiné à produire des extrants précis (p. ex., produits ou services). Les activités constituent le premier chaînon de la progression vers l'atteinte des résultats. (Retourner)
(Adapté de la définition du Secrétariat du Conseil du Trésor)