3.2 Le Gouvernement du Canada attacha de plus en plus d'importance à l'évaluation de programme vers la fin des années 1960 lorsque le Conseil du Trésor incita les ministères et les organismes fédéraux à créer des divisions centrales de planification et d'évaluation en leur fournissant des ressources et des années-personnes. Les ministères répondirent à l'invitation et, comme le fit remarquer une étude du Conseil du Trésor en 1974, ils avaient créé des divisions de planification et d'évaluation ayant environ 3 500 années-personnes. Mais cette étude a aussi révélé qu'on n'y faisait guère d'évaluation de programmes. On s'y occupait surtout d'analyse des politiques et de planification.
3.3 En 1977-1978, à l'occasion d'une étude sur l'évaluation de programmes, nous avons examiné 23 programmes répartis dans 18 ministères et organismes du gouvernement. Nous avons constaté qu'on avait réussi à faire peu d'évaluation de programmes. Au cours de cette vérification, le gouvernement publia une directive (Circulaire du Conseil du Trésor no 1977-47) qui obligeait tous les ministères et organismes à établir des procédures pour évaluer systématiquement l'efficience et l'efficacité de leurs programmes.
3.4 En 1978, on créait le Bureau du contrôleur général avec pour mandat de mettre en oeuvre cette nouvelle politique. Depuis, il a établi un cadre général pour aider à structurer la fonction de l'évaluation de programme des ministères. Ces lignes directrices ont été publiées dans deux documents: Guide sur la fonction de l'évaluation de programme (mai 1981) et Principes pour l'évaluation des programmes (septembre 1981). En formant une équipe d'agents de liaison pour guider et conseiller les ministères, le Bureau du contrôleur général a aussi fortement incité et aidé les ministères à mettre en oeuvre ce cadre général.
3.5 Il n'est pas facile d'établir une nouvelle fonction, comme celle de l'évaluation de programmes, de façon uniforme, dans toute l'administration publique. Dans ce cas, la tâche ne fut pas facile parce que de nombreux gestionnaires supérieurs doutaient de la valeur de programmes l'évaluation de programmes et parce qu'on manquait d'évaluateurs de programmes qualifiés. Pour remédier à cette situation, le Bureau du contrôleur général décida en premier lieu de créer des unités d'évaluation dans les ministères et les organismes de grande taille et de les encourager à effectuer des évaluations de petits programmes ou de programmes de portée limitée pour acquérir de l'expérience et gagner la confiance des gestionnaires.
3.8 Nos constatations sont regroupées en trois sections. Les deux premières décrivent les constatations des vérificateurs sur l'évaluation des programmes dans les 19 ministères et organismes étudiés. La dernière traite de questions touchant l'évaluation des programmes dans l'ensemble du gouvernement.
3.10 Pour que leurs évaluations de programmes se fassent systématiquement et à intervalles réguliers, les ministères doivent élaborer un plan à long terme. Sur les 19 ministères visés, 16 avaient approuvé des plans d'évaluation à long terme, deux avaient élaboré des ébauches de plans et un n'avait pas de plan.
3.11 Dans plusieurs domaines, les procédés de gestion des services d'évaluation auraient pu être améliorés, notamment en ce qui concernait le contrôle des projets, tant sur le plan des ressources que des délais à respecter. En outre, plusieurs unités ne disposaient pas d'une documentation satisfaisante pour les études et certains gestionnaires ne pouvaient pas rendre compte des ressources utilisées pour les évaluations.
3.13 Dans les ministères qui ont relativement plus d'expérience, et chez lesquels on a pu noter une évolution, nous avons observé que la qualité des évaluations entreprises s'était généralement améliorée. Nous avons toutefois noté qu'il y aurait lieu d'apporter des améliorations dans plusieurs domaines. Un nombre important d'études préparatoires ne permettaient pas de donner des conseils judicieux au sous-chef pour la planification de l'étude d'évaluation. Dans bien des cas les insuffisances de l'étude pouvaient être attribuées aux faiblesses de l'étude préparatoire.
3.14 Un grand nombre d'évaluations comportaient des faiblesses importantes au niveau des méthodes utilisées pour effectuer les travaux planifiés, en particulier pour mesurer l'efficacité des programmes. Nous avons trouvé des questionnaires mal conçus, des données peu fiables, incomplètes ou subjectives, des plans d'échantillons mal déterminés, et des échantillons parfois trop petits ou comportant des biais. A cause de ces problèmes, la moitié des études qui tentaient de mesurer l'efficacité des programmes ne permettaient pas d'établir un lien de cause à effet entre les résultats et les activités.
3.15 Il importe de noter que la plupart des rapports d'études comportaient des commentaires nuancés sur les constatations, quoique, dans certains cas, celles-ci ne fussent pas aussi complètes qu'elles auraient dû l'être.
3.16 Même là où l'on a éprouvé des difficultés à planifier et à effectuer des études préparatoires et des évaluations, nous avons souvent constaté que certaines parties de ces travaux avaient souvent produit des renseignements valables que les gestionnaires avaient trouvé utiles.
3.17 Les 43 études que nous avons vérifiées à fond couvraient un large éventail de sujets et la plupart traitaient au moins d'un des quatre aspects fondamentaux de l'évaluation de programmes:
3.19 Nous avons constaté que, dans presque tous les cas, la rédaction des rapports d'évaluation respectait les procédures énoncées dans la politique d'évaluation du ministère. Toutes les politiques ministérielles exigent qu'on fasse rapport au sous-chef et presque toutes demandent qu'on fasse également rapport aux autres responsables de la gestion des programmes. Rares étaient les évaluations qui n'avaient pas fait l'objet d'un rapport et, dans ces cas, on avait pris des mesures pour s'assurer qu'un rapport serait soumis. Toutefois, nous avons également constaté qu'on pouvait améliorer la consignation des études dans les documents de stratégie globale prévus par le nouveau Système de gestion des secteurs de dépenses.
3.21 Selon les lignes directrices actuelles, l'évaluation de programmes porte essentiellement sur les programmes du ministère et est destinée au sous-ministre. Cependant, la mise en oeuvre de nombreux programmes demande la participation de plus d'un ministère. De plus, la structure fondamentale du Système de gestion des secteurs de dépenses fait ressortir la nature interministérielle des prises de décisions en matière de programmes.
3.22 Bien que les politiques et lignes directrices actuelles reconnaissent l'existence de programmes interministériels, elles n'énoncent aucune marche à suivre pour les évaluer. Les programmes interministériels ne sont donc pas systématiquement soumis au même type d'examen et d'évaluation que les programmes administrés entièrement par un seul ministère ou organisme.
3.23 Les organismes qui n'avaient pas établi d'infrastructure pour l'évaluation étaient, pour la plupart, de petite taille. Le Bureau du contrôleur général ne s'est penché que récemment, dans le cadre de sa stratégie de mise en oeuvre, sur les méthodes à utiliser pour évaluer les programmes de ces organismes.
3.24 Le gouvernement a recours aux sociétés de la Couronne pour réaliser des objectifs socio-politiques et les fonds à cette fin sont puisés à même le Budget des dépenses. Nous avons constaté que les objectifs socio-politiques des sociétés de la Couronne n'étaient pas, en règle générale, soumis à l'évaluation de programmes et qu'aucune évaluation n'était prévue. Au 31 mars 1983, cinq sociétés de la Couronne développaient des fonctions d'évaluation de programmes, de concert avec le Bureau du contrôleur général.
3.25 Après avoir examiné le Rapport du vérificateur général de 1978, le Comité des comptes publics a recommandé à la Chambre, en juillet 1980, que toutes les évaluations d'efficacité soient déposées à la Chambre des communes dans les 60 jours suivant leur parachèvement. Voici ce que le gouvernement a répondu, en octobre 1980, par la voix du président du Conseil du Trésor:
Après l'adoption du projet de loi sur l'accès à l'information, dans sa forme actuelle, et l'approbation d'un projet de politique du Conseil du Trésor sur la documentation des études d'évaluation de programmes, de tels renseignements seront accessibles au public. Il faudra établir une procédure quelconque, peut-être le dépôt des rapports d'évaluation par le ministre responsable dans les 60 à 90 jours suivant leur parachèvement, pour que les députés puissent se les procurer facilement.3.26 Notre vérification nous a permis de constater que, depuis 1980, un seul rapport d'évaluation de programme a été déposé à la Chambre.
3.28 Nous avons pu constater qu'on avait fait de gros progrès. La plupart des grands ministères et bon nombre d'organismes possèdent l'infrastructure de base nécessaire à la mise en oeuvre des évaluations de programmes. Nombreux sont ceux qui tentent sérieusement d'effectuer ces évaluations. La qualité des évaluations doit toutefois être améliorée.
3.29 Pour améliorer la qualité des évaluations de programmes et démontrer son engagement, le gouvernement doit demander des évaluations de programmes, doter ses services d'évaluation d'un personnel approprié et diffuser des rapports d'évaluation.
3.30 L'évaluation de programmes exige qu'on pose des questions fondamentales sur l'existence même de ces programmes. Les demandes d'évaluation devraient indiquer clairement ce que le programme essaie de réaliser et en fonction de quoi il devrait être évalué.
3.31 Pour arriver aux résultats obtenus jusqu'ici, un des principaux problèmes rencontrés par le Bureau du contrôleur général et par les ministères a été la pénurie d'évaluateurs compétents. Cette pénurie persiste et si l'on veut maintenir les progrès et le rythme de croisière atteints jusqu'ici, la création d'un corps d'évaluateurs professionnels qualifiés sera l'un des principaux défis à relever.
3.32 Enfin, la qualité des évaluations devrait s'améliorer avec l'expérience. Pour ce faire, les rapports d'évaluation doivent être largement diffusés. Un examen à grande échelle contribuera à rehausser la qualité des produits. Il permettra également de tirer profit des leçons d'une étude pour améliorer l'étude suivante.
Cette vérification, effectuée à mi-chemin de la phase de développement initialement prévue, est un rapport d'étage opportun sur la façon dont le gouvernement a abordé la question, sur les réalisations à ce jour et sur les travaux majeurs qu'il reste à effectuer. Les constatations, prises dans leur ensemble, constituent pour le gouvernement une sanction de son approche et une confirmation des progrès considérables qu'il a réalisés. En règle générale, les recommandations sont utiles et favorables aux efforts du gouvernement et, à quelques exceptions près, tracent un programme de travail qui cadre fort bien avec les plans du gouvernement dans ce domaine.
La plupart des grands ministères et organismes du gouvernement fédéral possèdent l'infrastructure nécessaire, c'est-à-dire les politiques, les plans et les unités d'évaluation. De plus, le Bureau du contrôleur général aide les ministères et organismes de plus petite taille et les sociétés de la Couronne à mettre au point une méthode satisfaisante pour l'évaluation de leurs programmes. Au 30 septembre 1983, 90 ministères et organismes, dont 19 sociétés de la Couronne, sont déjà en relation avec ce bureau.
La vérification a permis de déceler des problèmes de qualité dans plusieurs études d'évaluation produites entre 1980 et mars 1984. Elle remarque également une amélioration sensible de la qualité au cours de cette même période, surtout dans les ministères qui ont eu relativement plus d'expérience en la matière. Ceci confirme l'opinion du gouvernement et, quels que soient les progrès observés, ce domaines peut encore être amélioré. Une des nombreuses recommandations visant à améliorer la qualité préconise que les mesures supplémentaires soient prises pour avoir suffisamment d'évaluateur qualifiés. Ce n'est pas là une simple question d'aptitude technique. Un évaluateur pleinement qualifié doit posséder à la fois des aptitudes techniques et administratives et une connaissance approfondie des programmes et de leur gestion au sein du gouvernement fédéral. Il ne peut acquérir de telles connaissances et aptitudes que par une expérience appropriée. Nous admettons le bien-donné de cette recommandation et nous nous efforçons de lui donner suite, mais cela ne pourra se faire que graduellement. Pour sa part, le Bureau du contrôleur général offre, de manière régulière, des colloques et des ateliers sur l'évaluation, donne des avis sur la plupart des opérations de dotation en personnel supérieur affecté à l'évaluation et a récemment distribué aux ministères et organismes un document de travail sur la gestion des ressources humaines affectées à la fonction de l'évaluation. Le document comprend un certain nombre de propositions concernant le perfectionnement du personnel d'évaluation.
Bien qu'une solide infrastructure et que le souci de la qualité soient indispensables à la production de bonnes évaluations, le gouvernement s'intéresse surtout à l'utilisation des conclusions de ces études dans la gestion quotidienne des activités du gouvernement. Comme le rapport le signale, certaines mesures ont été prises concernant les recommandations de la plupart des études produites jusqu'ici. Cette conclusion est particulièrement bien accueillie et elle reflète certainement la façon dont plusieurs ministères ont abordé leurs premières évaluations. Les approches qui demandent à la haute direction et aux gestionnaires de participer à l'évaluation et qui mettent l'accent sur des questions auxquelles les ministères peuvent donner suite semblent être les plus fructueuses.
Ce rapport de vérification contient un certain nombre de recommandations concernant la présentation au Parlement des conclusions des études d'évaluation. A ce stade-ci, il semble que la façon la plus efficace et la plus appropriée de communiquer ces renseignements au Parlement soit d'inclure, lorsqu'il y a lieu, les principales constatations des études d'évaluation dans la Partie III du budget de chaque ministère. Ainsi les observations pertinentes sur l'efficacité des programmes seraient présentées de manière concise aux députés. Bien sûr, la Loi sur l'accès à l'information permet à n'importe quel citoyen de demander à prendre connaissance des résultats d'une étude d'évaluation particulière. Il semble donc qu'il ne soit pas nécessaire de communiquer ces résultats dans les rapports annuels des ministères ou d'exiger que d'autres rapports soient déposés à la Chambre. Étant donné les circonstances, il faudrait peut-être que le Comité des comptes publics examine la nécessité de déposer devant la Chambre tous les rapports d'évaluation, comme cela avait été recommandé précédemment.
Enfin, le rapport de vérification recommande une amélioration des procédures utilisées pour effectuer les évaluations interministérielles. De telles évaluations ont été réalisées dans le passé et plusieurs ont présentement en cours. Les procédures établis dans le cadre du système des comités du Cabinet permettent de déterminer la nécessité de telles évaluations, mais ceci ne s'est pas souvent présenté, peut-être parce qu'il faut d'abord démontrer qu'on peut effectuer avec succès d'évaluation de questions moins complexes. Le Bureau du contrôleur général prépare actuellement des documents de travail sur l'évaluation de plusieurs programmes interministériels et il examinera d'autres procédures visant à faciliter une telle évaluation chaque fois qu'un organisme prouvera qu'elle est nécessaire et qu'il pourra donner suite aux constatations de l'étude.
La vérification de la fonction de l'évaluation de programmes du gouvernement fédéral a été utile et ses constatations sont une bonne source de renseignements. Le gouvernement pourra ainsi décider des mesures à prendre pour développer et améliorer les services d'évaluation des ministères et organismes. Comme le confirme ce rapport de vérification, le développement, voire l'existence même de cette fonction d'évaluation, exigera une surveillance continue de la part du Bureau du contrôleur général. On va se concentrer sur l'amélioration de la qualité des produits d'évaluation et veiller à ce que les conclusions des évaluations soient utilisées par tous les niveaux de gestion au sein du gouvernement.
3.34 Dans le secteur public, il n'est pas aussi simple de mesurer les résultats obtenus. Les ministères et organismes fournissent un large éventail de biens et de services à une foule de clients différents. La plupart de ces services ont quelque chose en commun: les objectifs visés sont souvent peu précis et il est assez difficile d'évaluer dans quelle mesure ils ont été atteints.
3.35 L'importance accordée à l'optimisation des ressources dans la gestion du secteur public a amené à penser que, pour améliorer l'économie, l'efficience et l'efficacité des programmes gouvernementaux, il fallait adopter des procédures systématiques pour mieux comprendre les activités des programmes et pouvoir en mesurer les effets et les répercussions.
3.36 Les évaluations de programmes se préoccupent avant tout de mesurer les besoins des clients ainsi que la mise en oeuvre et les effets des programmes, pour favoriser une gestion plus efficiente et plus efficace des programmes. L'évaluation de programmes tente par là de fournir au gestionnaire du secteur public le bénéfice net que son vis-à-vis du secteur privé tient pour acquis. Au gouvernement fédéral, l'évaluation de programmes signifie tout particulièrement l'évaluation périodique, indépendante et objective des programmes pour déterminer si les objectifs, la conception et les résultats sont satisfaisants.
3.37 Le gouvernement fédéral a toujours effectué une certaine forme d'évaluation. Les gestionnaires de programmes et ceux qui élaborent les politiques recueillaient différents types de renseignements afin de porter des jugements sur l'efficacité, l'efficience et la valeur des programmes. Les récents efforts du gouvernement fédéral se distinguent surtout par les lignes directrices qui ont été établies en vue de planifier les évaluations de programme, de les effectuer et d'en rendre compte de façon systématique.
L'examen de 23 programmes répartis dans 18 ministères a démontré que les tentatives d'évaluer l'efficacité des programmes ont rarement réussi. Il faudrait augmenter sensiblement la portée et la qualité de l'évaluation de l'efficacité des programmes pour que la gestion, le gouvernement et le Parlement, chacun ayant un intérêt particulier, soient raisonnablement au courant des réalisations des programmes publics.3.39 Notre Rapport de 1978 faisait toutefois preuve d'optimisme quant à l'avenir des activités d'évaluation du gouvernement fédéral:
...on peut affirmer que si le gouvernement canadien amplifiait et maintenait l'importance qu'il a récemment accordée à l'évaluation des programmes, il pourrait se retrouver parmi les chefs de file dans ce domaine.3.40 Cinq années se sont écoulées depuis que nous avons fait ces observations et nous faisons ici rapport des progrès réalisés dans la mise en place des mécanismes d'évaluation de programmes au gouvernement.
La pièce n'est pas disponible
3.42 Premièrement, à la fin des années 1960 et au début des années 1970, on a essayé d'encourager les ministères et organismes à établir des services de planification et d'évaluation en leur fournissant du personnel et des ressources. Sous l'égide du Conseil du Trésor, on a effectué des évaluations pour prouver qu'il était possible d'en faire. Toutefois, en 1974, une étude du Conseil du Trésor a constaté que l'évaluation des programmes n'avait guère progressé.
3.43 Deuxièmement, en 1977, le gouvernement a publié une circulaire (CT 1977-47) demandant aux ministères et organismes d'effectuer systématiquement des évaluations de programmes. A la suite de cette directive, quelques ministères ont créé des unités centrales d'évaluation de programmes et d'autres, qui en avaient déjà établi, ont augmenté leurs activités d'évaluation.
3.44 Troisièmement, en 1980, le Bureau du contrôleur général a entrepris d'instaurer l'évaluation de programmes dans toute l'administration fédérale. Sa direction de l'Évaluation des programmes a pris plusieurs mesures pour que les ministères et organismes fédéraux créent des services d'évaluation chargés de planifier et de réaliser les études d'évaluation de programmes. Cette direction a fourni aux ministères des lignes directrices détaillées sur la planification et la réalisation des évaluations de programmes; elle leur a aussi offert des conseils et des avis sur le travail d'évaluation et des cours de formation pour améliorer les connaissances et les aptitudes du personnel affecté à l'évaluation. De plus, la direction participe à la classification et à la dotation des postes des unités d'évaluation.
3.45 En 1981, le contrôleur général a publié une série de lignes directrices détaillées qui constituent un cadre de travail pour l'évaluation des programmes et qui établissent clairement les travaux d'évaluation que les ministères sont censés effectuer. Le Guide sur la fonction de l'évaluation de programme aborde trois questions fondamentales: Comment organiser un service d'évaluation de programmes dans un ministère? Sur quoi devraient porter les travaux? Comment ces travaux devraient-ils être effectués? Pour répondre à ces questions, les ministères doivent déterminer une politique ministérielle d'évaluation de programmes, une structure de composantes de programme et un plan d'évaluation de programme.
La pièce n'est pas disponible
3.48 Pour la mise en oeuvre du cadre général, le Bureau du contrôleur général a établi les priorités suivantes:
3.50 Après avoir passé en revue les mécanismes d'évaluation de programmes dans les pays industrialisés de l'Ouest, nous pouvons dire qu'aucun autre gouvernement central n'a tenté d'établir un cadre général d'évaluation de programmes dont l'envergure soit comparable à celle du gouvernement fédéral canadien.
3.52 Notre examen des services centraux d'évaluation de programme a porté sur les arrangements organisationnels, les rapports hiérarchiques, les politiques d'évaluation et les plans. Nous avons également examiné les évaluations effectuées par les services d'évaluation jusqu'au 31 mars 1983, ainsi que la planification et la conception des évaluations, la collecte et l'analyse des données, les méthodes de contrôle de la qualité, les comptes rendus et l'utilisation des évaluations.
3.53 Deux groupes de ministères sont visés par la présente vérification. Le premier comprend neuf ministères qui font l'objet d'un rapport de vérification en 1983. Le second groupe comprend 10 ministères dont nous avons vérifié les évaluations de programmes au cours d'années précédentes. Cette année, nous avons procédé à un suivi de ces vérifications antérieures. L'examen de ces deux catégories de ministères dans la présente vérification permet d'avoir une bonne idée des progrès réalisés par le gouvernement en ce qui concerne la mise en place des mécanismes d'évaluation de programmes.
3.54 La pièce 3.3 offre des renseignements sur les 19 ministères visés par la présente vérification. Elle indique l'année du rapport de vérification, précise si le ministère a fait l'objet de notre vérification de l'évaluation de l'efficacité des programmes en 1978 et présente une estimation des ressources pour 1983-1984. On trouvera plus de précisions sur les ministères qui ont fait l'objet d'une vérification intégrée cette année dans les chapitres correspondants du présent rapport.
La pièce n'est pas disponible
3.55 En plus du travail de vérification effectué dans les 19 ministères, nous avons également examiné les activités entreprises par le Bureau du contrôleur général pour mettre en oeuvre les directives générales du gouvernement en matière d'évaluation de programmes. A cette occasion, nous avons vérifié certains des renseignements conservés par le Bureau du contrôleur général sur le niveau des activités d'évaluation de programme dans 56 ministères et organismes gouvernementaux avec lesquels il était en liaison au 31 mars 1983. Notre vérification nous a permis de constater que ces renseignements étaient exacts et nous les présenterons tout au long du présent chapitre avec les renseignements recueillis lors de notre vérification des 19 ministères.
3.56 Notre mandat, comme l'énonce l'article 7(2)e) de la Loi sur le vérificateur général, nous oblige à signaler au Parlement les cas où nous constatons que des procédures satisfaisantes pour mesurer l'efficacité des programmes et en rendre compte n'ont pas été appliquées, lorsqu'il aurait été raisonnable et opportun de le faire. Le rapport entre notre mandat et l'objet de la présente vérification nous oblige à faire deux distinctions.
3.57 Il y a lieu de distinguer d'abord entre l'objet de l'évaluation de programmes dans l'administration fédérale et le mandat que nous avons de vérifier comment est mesurée l'efficacité des programmes. Les évaluations de programmes effectuées au gouvernement peuvent couvrir une plus grande gamme de questions que les évaluations de l'efficacité des programmes ou même n'avoir rien à voir avec l'efficacité des programmes.
3.58 La deuxième distinction entre notre mandat et la portée de la présente vérification concerne les différentes façons de mesurer l'efficacité. Celles-ci comprennent: 1) des études périodiques d'évaluation de l'efficacité, effectuées à l'occasion et au besoin; 2) des systèmes permanents de contrôle de l'efficacité; 3) des évaluations de programmes effectuées de façon systématique et cyclique. Dans chaque cas, l'accent est mis sur la façon de mesurer et de rendre compte de l'efficacité des programmes. Ce qui diffère habituellement est la fréquence relative des contrôles effectués, la fréquence de la communication des résultats, le niveau hiérarchique auquel sont adressés les rapports ainsi que la nature du service responsable de ce travail.
3.59 Le gouvernement a placé l'accent sur la troisième méthode - les études périodiques d'évaluation de programmes effectuées sur une base cyclique par un service central ou ministériel d'évaluation dont le sous-chef est le premier client. Nous avons donc fait porter la vérification sur la fonction centrale d'évaluation de programmes et sur les études effectuées par ces unités. En conséquence, nous ne rendons pas compte dans ce chapitre des activités apparentées à l'évaluation qui ont été effectuées en dehors des unités centrales d'évaluation, ni des procédés de contrôle de l'efficacité des programmes.
3.61 Les critères utilisés sont les suivants:
3.65 Les quatres principes fondamentaux sous-jacents aux lignes directrices du gouvernement exigent que la fonction d'évaluation soit:
3.67 Unités d'évaluation de programmes. Une unité centrale d'évaluation doit être créée dans chaque ministère et doit comprendre une série de postes avec des tâches bien définies pour effectuer les évaluations. Les 19 ministères que nous avons vérifiés avaient tous créé une unité d'évaluation de programmes et nommé un gestionnaire responsable.
3.68 La pièce 3.4 illustre la croissance du nombre d'unités centrales d'évaluation dans les 19 ministères vérifiés. Deux seulement ont une unité centrale d'évaluation de programme en place depuis 1978. Quatorze ministères ont nommé un gestionnaire responsable de l'évaluation de programmes depuis 1980.
La pièce n'est pas disponible
3.69 Les renseignements provenant du Bureau du contrôleur général et présentés dans la pièce 3.4 indiquent que, sur les 56 ministères et organismes avec lesquels il est en liaison, 41 avaient établi l'organisation de base requise pour l'évaluation de programmes.
La pièce n'est pas disponible
3.71 Les unités d'évaluation de programmes ont souvent recours aux services d'experts-conseils de l'extérieur. Les 19 unités visées par la vérification ont dépensé $ 3 274 000 pour ce genre de services en 1982-1983.
3.72 Politique d'évaluation de programmes. Selon la politique du gouvernement en matière d'évaluation de programmes, les ministères doivent émettre un énoncé de politique sur l'évaluation de programmes. Cet énoncé, qui doit être approuvé par le sous-chef, doit préciser les procédures à suivre, les individus ou les comités qui participent au processus et répartir les tâches et les pouvoirs en matière d'évaluation.
3.73 La pièce 3.5 montre combien de politiques d'évaluation de programmes ont été formulées dans les 19 ministères soumis à notre vérification, et quels ont été les progrès réalisés. Dix-sept ministères avaient des politiques d'évaluation de programmes approuvées par le sous-chef au 31 mars 1983. Deux ministères n'avaient pas de politique d'évaluation approuvées par le sous-chef, mais, depuis, le projet de politique de l'un deux a été approuvé. L'autre ministère, à savoir le Secrétariat du solliciter général, n'avait pas encore de politique d'évaluation de programmes à cette date.
La pièce n'est pas disponible
3.74 Comme l'indique la pièce 3.5, la plupart des politiques d'évaluation des ministères ont été établies au cours des trois dernières années. Nos constatations sont semblables à celles du Bureau du contrôleur général pour l'ensemble du gouvernement. Elles figurent également à la pièce 3.5 et montrent que 38 ministères et organismes sur 56 disposent de politiques approuvées par le sous-chef. Ce sont surtout les petits organismes qui n'ont pas encore de politique d'évaluation de programmes.
La pièce n'est pas disponible
3.75 Nous avons vérifié les 17 politiques approuvées en fonction des normes fixées par le gouvernement. Nous avons constaté que, dans l'ensemble, ces politiques peuvent servir de guide aux unités d'évaluation de programmes.
3.76 La participation des gestionnaires de programmes aux évaluations est importante. Nous avons constaté qu'un grand nombre de politiques ministérielles en matière d'évaluation exigeaient qu'on constitue, pour chaque étude, un comité consultatif qui comprendrait le gestionnaire du programme. Nous avons constaté, de plus, que le recours à de tels comités était fréquent dans les ministères qui n'étaient pas soumis à cette exigence.
3.77 Plans d'évaluation de programmes. L'autre élément important de la politique gouvernementale en matière d'évaluation de programmes est que toutes les composantes des programmes d'un ministère doivent être répertoriées aux fins de l'évaluation et qu'un plan d'évaluation à long terme doit être mis au point pour établir l'ordre dans lequel les évaluations seront effectuées. La mise au point de plans d'évaluation offre l'assurance que l'évaluation sera complète, systématique et cyclique.
3.78 Notre vérification a porté sur trois tâches de planification: les structures de composantes de programmes et les profils connexes décrivant chaque composante, les plans d'évaluation à long terme et la mise à jour annuelle de ces plans détaillant les activités d'évaluation prévues pour l'année en cours. La pièce 3.6 indique, pour chacune de ces tâches, le nombre de ministères qui ont satisfait aux exigences.
La pièce n'est pas disponible
3.79 Nous avons constaté que 16 des 19 ministères disposaient de structures de composantes de programme approuvées et que le projet de structures de composantes de deux ministères n'avait pas encore été approuvé par le sous-ministre au 31 mars 1983. Les structures de composantes approuvées ou à l'état de projet s'appliquaient aux activités ministérielles qui convenaient.
3.80 Les plans d'évaluation devraient énoncer les priorités et déterminer, en conséquence, le calendrier d'évaluation des composantes de programmes. Nous avons constaté que 16 des 19 ministères possédaient un plan d'évaluation à long terme approuvé par le sous-chef et que ce plan portait sur tous les programmes du ministère. Deux ministères avaient préparé des projets de plans d'évaluation à long terme.
3.81 L'existence de plans à long terme dans la majorité des 19 ministères visés par notre vérification est un phénomène que l'on retrouve également sans les 56 ministères et organismes sur lesquels le gouvernement recueille des renseignements. Le nombre de plans d'évaluation à long terme établis par ces ministères et organismes a augmenté, passant de 9 en 1980 à 33 en 1983.
3.82 Au cours des trois dernières années, on a réussi à présenter des plans à long terme plus complets et plus détaillés. Les plans d'évaluation à long terme se sont adaptés aux changements. En particulier, ils ont été révisés pour tenir compte:
3.84 Pour acquérir de l'expérience et assurer la crédibilité de la fonction, de nombreux ministères, en rédigeant leurs plans d'évaluation à long terme, ont choisi de faire porter leurs premières études sur de petits programmes ou sur les aspects moins difficiles de programmes plus vastes. Étant donné les compétences disponibles, il s'agissait là d'une façon raisonnable de procéder. Dans certains cas, toutefois, cette (méthode a retardé l'évaluation des grands programmes plus complexes.
3.85 Pratiques de gestion. En plus d'examiner l'organisation de l'évaluation de programmes, nous avons aussi examiné les méthodes de gestion utilisées. En règle générale, nous avons constaté que celles-ci se conformaient aux politiques d'évaluation du ministère. Nous avons toutefois remarqué qu'il y aurait lieu de se pencher sur certains points.
3.86 A mesure que les plans d'évaluation de programmes sont mis en oeuvre, il faut prendre les dispositions nécessaires pour suivre l'évolution des travaux, informer les gestionnaires du ministère des événements importants et utiliser les renseignements obtenus pour modifier les plans ultérieurs.
3.89 Dans plusieurs ministères, l'unité d'évaluation de programmes ne constituait pas un centre de responsabilité financière distinct. Par conséquent certains gestionnaires ne savaient pas quelles ressources avaient été utilisées par la fonction d'évaluation. De plus, dans beaucoup d'unités, on ne contrôlait pas l'affectation des ressources à certains projets d'évaluation et les gestionnaires n'étaient pas en mesure de fournir des données sur le coût des études. Pour que les gestionnaires puissent rendre des comptes sur leurs évaluations, et pour qu'ils puissent contrôler et planifier convenablement leurs ressources, il faut qu'ils tiennent un compte exact des dollars et du temps qu'ils y consacrent.
3.90 Les ministères devraient s'assurer que les gestionnaires responsables de l'évaluation de Programme reçoivent les renseignements nécessaires pour tenir un compte des ressources et du temps consacrés aux activités d'évaluation.
3.91 Dans de nombreux ministères, les procédures utilisées pour tenir à jour les documents de travail et consigner les évaluations étaient insatisfaisantes. Si on ne tient pas bien les dossiers, des renseignements précieux risquent de devenir inutilisables, les leçons de l'expérience risquent d'être oubliées et la vérification peut s'avérer plus coûteuse que nécessaire.
3.92 Les ministères devraient s'assurer que la documentation relative aux études d'évaluation est dûment tenue à jour et conservée.
3.97 Les cadres d'évaluation. Un profil de programme et un cadre d'évaluation doivent être préparés pour tous les programmes nouveaux ou reconduits. Les cadres décrivent comment le programme sera évalué; ils doivent, selon les lignes directrices, être établis lorsqu'un nouveau programme est conçu et mis en oeuvre ou lorsqu'un programme reconduit est fortement modifié. Le but est de s'assurer que les renseignements nécessaires à l'étude d'évaluation seront disponibles et que les objectifs sont clairement définis.
3.98 D'après les renseignements obtenus du Bureau du contrôleur général, 17 cadres d'évaluation ont été terminés dans 56 ministères et organismes du gouvernement. L'augmentation enregistrée a été de 1 en 1980-1981 et de 9 en 1982-1983. Nous avons constaté que 6 cadres avaient été achevés dans les 19 ministères qui ont fait l'objet de notre vérification.
3.99 Les ministères et organismes devraient établir des cadres d'évaluation au stade de la conception et au début de la mise en oeuvre de tous les programmes nouveaux ou considérablement modifiés et, le cas échéant, des programmes reconduits.
3.100 Nous avons choisi de vérifier trois cadres d'évaluation dont deux avaient été effectués à la demande expresse du Cabinet dans le cadre d'un renouvellement de programmes. Le troisième cadre concernait un programme qui existait depuis deux ans. Nous avons constaté que l'un des cadres n'offrait qu'une discussion générale des façons de procéder à l'évaluation sans décrire les façons de recueillir les données. Les deux autres cadres étaient satisfaisants.
3.101 Études préparatoires à l'évaluation. L'étude préparatoire consiste à analyser le programme et son milieu, à déterminer les questions particulières qui doivent être abordées, à établir dans quelle mesure elles peuvent être traitées dans une étude d'évaluation ainsi qu'à préciser les diverses façons de réaliser l'évaluation et à évaluer le coût de chacune d'entre elles.
3.102 D'après les renseignements obtenus du Bureau du contrôleur général sur 56 ministères et organismes, 177 études préparatoires ont été achevées. Quatre-vingt dix-neuf ont été faites en 1982-1983, soit neuf fois plus qu'en 1980-1981, où on n'en avait effectué que onze. Les ministères visés par notre vérification ont effectué 1 19 études préparatoires. Nous en avons vérifié 53 en détail.
3.103 Nous avons relevé de nombreuses faiblesses dans les études préparatoires terminées, mais nous avons aussi noté des progrès dans celles qui avaient été effectuées plus récemment par la plupart des ministères.
3.104 Toutefois, la plupart des études préparatoires à l'évaluation ne décrivaient pas de façon satisfaisante les activités des programmes ni ne déterminaient si ces activités permettraient d'atteindre les objectifs énoncés. Autrement dit, elles n'examinaient pas dans quelle mesure les activités des programmes pouvaient produire les résultats escomptés. Si ce travail n'est pas bien fait, l'étude d'évaluation fera fausse route et les ressources serviront alors à mesurer la réalisation d'objectifs qui ne se rapportent pas réellement aux activités des programmes.
3.105 Les ministères devraient s'assurer que les études préparatoires à l'évaluation décrivent convenablement les activités des programmes et déterminent si elles peuvent raisonnablement produire les résultats escomptés.
3.106 De nombreuses études préparatoires ne présentaient pas au sous-chef un bon éventail de questions sous forme d'options détaillées dont on a déterminé le coût. En conséquence, de nombreuses études avaient une portée limitée et, dans certains cas, ne posaient pas certaines questions importantes en matière d'évaluation de programmes.
3.107 Les ministères devraient s'assurer que les études préparatoires à l'évaluation présentent au sous-chef un bon éventail de sujets, de questions et d'options.
3.108 Études d'évaluation. L'évaluation de programmes, dans l'administration fédérale, porte sur l'ensemble d'un programme, sur ses répercussions, ainsi que sur les rapports entre les répercussions et les résultats obtenus, les ressources utilisées et les activités entreprises. L'évaluation de programmes se doit d'aborder les grandes questions touchant à l'existence même des programmes, en fonction des circonstances et des changements d'objectifs du gouvernement. Elle se distingue ainsi de la vérification interne qui porte sur les procédés de gestion des activités et des ressources des programmes.
3.109 D'après les renseignements obtenus du Bureau du contrôleur général, 174 études d'évaluation avaient été effectuées par les unités centrales d'évaluation de 56 ministères et organismes fédéraux. Une grande partie de cette activité a eu lieu au cours des deux dernières années. Le nombre d'études effectuées par les unités centrales d'évaluation est passé de 31 en 1980-1981 à 87 en 1982-1983. Les unités centrales d'évaluation des ministères soumis à notre vérification ont réalisé 86 études entre le 31 mars 1979 et le 31 mars 1983, ce qui représente environ 50 p. 100 de toutes les études relevées par le Bureau du contrôleur général. (Voir aussi la pièce 3.7)
La pièce n'est pas disponible
3.110 Nous avons examiné en détail 43 des études d'évaluation effectuées par les ministères et organismes que nous avons vérifiés. Ces études portaient sur une vaste gamme de sujets et la plupart abordaient au moins l'un des quatre aspects fondamentaux de l'évaluation de programmes:
3.111 Dans la plupart des ministères où l'on pouvait faire des comparaisons avec les travaux réalisés antérieurement, nous avons remarqué que les études effectuées récemment étaient de bien meilleure qualité.
3.112 Nous avons constaté divers problèmes dans plusieurs des études que nous avons vérifiées. Par exemple, nous avons remarqué:
3.114 Ces problèmes ont eu pour conséquence que près de la moitié des études d'évaluation qui cherchaient à évaluer l'efficacité des programmes n'ont pas été en mesure de déterminer convenablement si les effets relevés étaient attribuables aux programmes.
3.115 Avant d'entreprendre une étude d'évaluation, les ministères devraient clairement préciser la méthode d'évaluation à utiliser selon l'option choisie.
3.116 Pour éliminer la collecte inutile d'information, faciliter la tâche des répondants et s'assurer qu'on satisfait aux normes de planification professionnelles et techniques, la politique gouvernementale sur la gestion de l'information prescrit que toute collecte de renseignements, nouvelle ou considérablement modifiée, doit être approuvée par le Conseil du Trésor et inscrite dans l'Inventaire des banques fédérales de données avant que les travaux ne commencent. Dans le cadre de cette politique, tout projet de collecte de données doit être évalué par Statistique Canada en fonction des normes de collecte de l'information, avant d'être approuvé et inscrit dans l'inventaire.
3.117 Nous avons constaté que 28 des 43 études examinées auraient dû être évaluées, approuvées et inscrites conformément à cette politique gouvernementale. Cependant, moins de la moitié s'étaient conformées aux exigences.
3.118 Les ministères, devraient, comme l'exige la politique, s'assurer que tous les projets de collecte de données qui font partie d'une étude d'évaluation sont évalués par Statistique Canada, approuvés et enregistrés par le Conseil du Trésor, lorsque cette collecte est nouvelle ou considérablement modifiée.
3.119 Outre les problèmes posés par la collecte des données de base pour l'évaluation, nous avons constaté qu'environ 80 p. 100 des évaluations se fiaient beaucoup aux données administratives. Bon nombre d'évaluations ont ainsi connu des difficultés parce que ces données étaient incomplètes, inexactes ou mal classées. A plusieurs reprises, on n'avait pas rassemblé certaines données qui auraient été très utiles à l'évaluation de l'efficacité des programmes et qui auraient pu être obtenues à peu de frais. De telles données constituent souvent la seule façon pratique d'évaluer avec quelque précision les répercussions d'un programme sur la clientèle. Ces banques de données devraient donc être examinées de près, bien avant d'être utilisées pour l'évaluation des programmes. De plus, si ces bases de données sont bien conçues, les renseignements qu'elles renferment seront très utiles aux gestionnaires axiaux chargés d'administrer le programme. Au besoin, les cadres d'évaluation pourraient servir à déterminer les secteurs où de telles banques de données pourraient être créées.
3.120 Pour pouvoir progresser, la fonction d'évaluation aura besoin d'un personnel qui ait les qualifications et l'expérience nécessaires. Ce personnel devrait notamment connaître les procédures gouvernementales et les méthodes d'évaluation des programmes. Les personnes de ce genre sont rares. Nous avons remarqué qu'un certain nombre d'unités d'évaluation n'avaient pas un nombre suffisant de personnes possédant les connaissances et les compétences voulues en matière d'évaluation de programmes.
3.121 Le Bureau du contrôleur général, en collaboration avec les ministères et organismes, devrait élaborer et mettre en oeuvre un plan qui permette d'avoir en permanence un nombre suffisant d'évaluateurs qualifiés.
3.122 Les ministères devraient engager un plus grand nombre d'évaluateurs qualifiés pour combler les postes vacants et permettre aux employés de suivre des cours de formation pour améliorer leurs compétences.
3.124 La plupart des rapports d'évaluation tentaient d'expliquer comment les problèmes et les restrictions de l'étude influaient sur les constatations et les conclusions à en tirer. Bon nombre, cependant, n'indiquaient pas au lecteur qu'il y avait lieu de faire de sérieuses réserves sur les résultats. Dans un petit nombre d'études, les constatations n'étaient pas présentées de façon suffisamment précise et équilibrée.
3.125 Si les rapports d'évaluation ne présentent pas de constatations équilibrées et exactes, s'ils ne discutent pas des restrictions et ne nuancent pas bien les conclusions, les renseignements présentés risquent d'induire les gestionnaires en erreur.
3.126 Les unités d'évaluation des ministères devraient veiller à ce que les rapports d'évaluation présentent les constatations des études de façon équilibrée et à ce qu'ils discutent de l'incidence des méthodes utilisées et de leurs restrictions sur l'interprétation des constatations.
3.128 Nous avons constaté que, dans presque tous les cas, les rapports d'évaluation avaient été présentés conformément aux procédures énoncées dans la politique d'évaluation du ministère. Tous les ministères exigent que les rapports soient présentés au sous-chef et presque tous exigent qu'ils le soient à d'autres gestionnaires responsables des programmes. Peu de ministères ont omis de présenter des rapports d'évaluation et des mesures ont été prises pour que les rapports soient transmis comme il se doit.
3.129 Rapports annuels. Les rapports annuels des ministères servent à faire connaître la nature des activités des ministères au Parlement et, de façon plus générale, au public.
3.130 Lorsqu'il a passé en revue le rapport de vérification de 1978, le Comité des comptes publics a recommandé au gouvernement que "les rapports annuels des ministères comprennent des résumés non techniques des évaluations relatives à l'efficacité afin de faire ressortir l'incidence des programmes gouvernementaux".
3.131 Nous avons constaté que seuls les rapports annuels de deux ministères contenaient des résumés des évaluations de programme qui avaient été effectuées. Toutefois, dans les deux cas, on y décrivait la portée des études d'évaluation et non les constatations. Plusieurs autres rapports annuels signalaient que des études particulières avaient été effectuées ou étaient en cours.
3.132 Autres rapports publics. Le Comité des comptes publics a également recommandé que:
Les rapports techniques sur l'évaluation de l'efficacité puissent faire l'objet d'un examen et de commentaires critiques. Notre comité souhaite que ces rapports fassent l'objet d'une analyse dans des revues spécialisées afin d'obtenir les commentaires des spécialistes du milieu universitaire sur l'état de la recherche dans le domaine de l'évaluation.3.133 Seuls quelques ministères ont déployé des efforts concertés pour rendre leurs évaluations accessibles au public. Un ministère a créé un centre de documentation contenant des études et des documents d'évaluation destinés tant au personnel du ministère qu'au public et a, sur demande, diffusé un grand nombre de ses évaluations. Quatre autres ont publié des renseignements sur certaines de leurs évaluations dans une revue de Statistique Canada traitant des enquêtes du gouvernement.
3.134 La situation variait dans les autres ministères. Certains soutenaient que les évaluations étaient accessibles au public, sur demande. Dans la plupart de ces cas, il y avait eu très peu de demandes et les ministères n'avaient guère fait d'efforts pour faire savoir que ces études étaient disponibles. D'autres ministères ont affirmé que ces documents étaient réservés à l'usage exclusif du ministère.
3.135 Le gouvernement devrait faire en sorte que les rapports annuels des ministères contiennent des résumés non techniques des évaluations de programme.
3.136 Les stratégies globales. Le Système de gestion des secteurs de dépenses souligne l'importance du mécanisme de prise de décisions par les comités du Cabinet et le rôle de ces derniers comme utilisateurs des évaluations. Il faut tenir compte des préoccupations des comités du Cabinet lors de la planification des évaluations. Un résumé des constatations des études d'évaluation et les modifications proposées à la suite de ces études doivent être signalés, au besoin, aux organismes centraux et aux comités du Cabinet dans les stratégies globales préparées chaque année. Ces rapports ont pour but d'indiquer brièvement les aspects des évaluations que le ministère juge importants ainsi que les mesures prises ou envisagées à la lumière de ces données.
3.137 Le document de stratégie globale permet au ministre qui y a apposé sa signature de communiquer directement avec ses collègues des comités du Cabinet. Ce genre de rapport contribue également à créer un lien entre la fonction d'évaluation et celle de la planification stratégique du ministère. Grâce à ce lien, les services de planification stratégique peuvent devenir de grands utilisateurs des études d'évaluation.
3.138 Nous avons constaté que, parmi les ministères vérifiés, très peu avaient indiqué dans les stratégies globales les constatations de certaines évaluations.
3.139 Les ministères devraient indiquer dans leurs stratégies globales, lorsqu'il y a lieu de le faire, les résultats de leurs évaluations et les changements proposés qui en découlent.
3.140 Utilisation des évaluations. Avant de parler de l'utilisation des études d'évaluation, il importe de reconnaître qu'il est difficile de déterminer dans quelle mesure les décisions concernant un programme ont été influencées par les résultats d'une étude d'évaluation. Les constatations ou les recommandations des études d'évaluation de programmes sont rarement le seul facteur à influer sur les décisions.
3.141 Nous avons voulu déterminer si des recommandations étaient faites à la suite des évaluations, si elles étaient soumises à l'approbation du sous-chef et si on préparait des plans de mise en oeuvre pour les recommandations approuvées. Nous avons également interrogé plusieurs sous-ministres pour connaître leur opinion sur l'utilité des renseignements produits par les évaluations.
3.142 Les sous-ministres ont déclaré que la plupart de leurs évaluations avaient été utiles, mais que certaines l'avaient été plus que d'autres. L'évaluation de programmes étant une activité nouvelle dans la plupart de leurs ministères, la majorité d'entre eux estimaient qu'il était trop tôt pour déterminer la rentabilité éventuelle de l'évaluation de programme.
3.143 Tous les rapports d'évaluation examinés, sauf trois, contenaient des recommandations. Dans presque tous les cas, la haute direction avait décidé d'accepter une partie ou la totalité des recommandations formulées dans les rapports d'évaluation. Lorsqu'aucune décision n'avaient été prise, c'était habituellement parce que l'évaluation était trop récente pour qu'on ait eu le temps de prendre une décision.
3.144 Dans près de la moitié des cas où l'on avait accepté une partie ou la totalité des recommandations, les ministères avaient préparé un plan de mise en oeuvre ou un plan d'action.
3.145 Les recommandations issues des 43 évaluations vérifiées se répartissent en quatre grandes catégories qui se chevauchent parfois. Elles portent sur des changements à la taille des programmes, à leur conception et à leurs activités de soutien ainsi que sur la réalisation d'autres études de l'efficacité ou sur la mise au point de systèmes de contrôle de l'efficacité.
3.147 La stratégie de mise en oeuvre adoptée par le Bureau du contrôleur général voulait, dans un premier temps, qu'on mette l'accent sur la création d'unités d'évaluation dans les principaux ministères et organismes et qu'on incite ces derniers à faire des études d'évaluation, ne serait-ce que de portée limitée. A notre avis, il s'agissait là d'une façon raisonnable de procéder.
3.148 Comme nous l'avons mentionné, le Bureau du contrôleur général se préoccupe de plus en plus de la portée et de la qualité des études d'évaluation effectuées par les ministères et les organismes. C'est pourquoi il a publié les Principes pour l'évaluation des programmes par les ministères et organismes fédéraux afin d'indiquer aux ministères ce qu'ils doivent faire pour mener à bien leurs travaux d'évaluation de programmes (établissement d'un cadre, étude préparatoire et évaluation). Il s'agit là de points de repères importants qui permettent d'évaluer la qualité du travail entrepris.
3.149 C'est le Bureau du contrôleur général qui est chargé de surveiller au nom du gouvernement la qualité et l'objectivité des évaluations effectuées par les ministères. Au départ, cependant, on a surtout prêté attention à la mise en place des services d'évaluation et on a encouragé les ministères à entreprendre des évaluations. Plus récemment, le Bureau du contrôleur général a remis davantage en question les renseignements fournis par l'évaluation des programmes. Pour que l'évaluation des programmes puisse continuer à faire des progrès, il faudra qu'il y ait un bon service central d'inspection et de contrôle de la qualité afin, non seulement de venir en aide aux ministères, mais aussi de s'assurer de l'exactitude de l'information fournie dans les évaluations de programmes.
3.150 Le Bureau du contrôleur général devrait développer la fonction centrale d'inspection et de contrôle de la qualité des évaluations de programmes.
3.152 Nous avons relevé au moins 17 programmes interministériels dans les 19 ministères faisant l'objet de notre vérification. Il ressort de notre examen que certains programmes interministériels nécessitent des fonds considérables et que certains s'adressent à un vaste public. Par exemple, le Programme d'aide à l'adaptation de l'industrie et de la main-d'oeuvre, auquel participent la CElC, le ministère du Travail et le MEIR, a reçu des crédits de $450 millions pour la période allant de 1981-1982 à 1984-1985. Le programme des libérations conditionnelles, qui a une grande influence sur la vie des détenus dans les prisons canadiennes, a aussi de sérieuses répercussions sur le bien-être du grand public. Parmi les autres programmes interministériels on peut citer: le PITRC (Programme d'isolation thermique des résidences canadiennes) qui intéresse la Société canadienne d'hypothèques et de logement et le ministère de l'Énergie, des Mines et des Ressources; le programme national de recherche et de sauvetage auquel participent le ministère des Transports, le ministère de la Défense nationale et celui des Pêches et des Océans, ainsi que le programme de recrutement et de sélection des immigrants qui intéresse à la fois Emploi et Immigration et le ministère des Affaires extérieures.
3.153 Bien que la politique et les lignes directrices actuelles reconnaissent l'existence de programmes interministériels, elles n'énoncent pas de marche à suivre pour les évaluer.
3.154 Nous n'avons relevé que peu de cas d'évaluation de programmes interministériels. La plupart des ministères n'ont pas tenu compte des aspects interministériels de leurs programmes dans les profils de composantes ou dans les plans d'évaluation. Interrogés à ce sujet, les chefs des unités d'évaluation de programmes ont dit qu'ils ne savaient pas très bien comment procéder ni quelles étaient leurs responsabilités à l'égard de tels programmes.
3.155 Un des grands problèmes, lors des évaluations interministérielles, consiste à déterminer le poste ou le comité responsable de la gestion ou de la coordination d'ensemble du programme, et à qui devrait normalement s'adresser l'étude d'évaluation. Cette situation est particulièrement bien illustrée par la mise en oeuvre de la Loi sur la libération conditionnelle de détenus.
3.156 Les objectifs du programme des libérations conditionnelles sont énoncés dans la Loi sur la libération conditionnelle de détenus (article 10(l): "(ii) l'octroi de la libération conditionnelle facilitera le redressement et la réhabilitation du détenu et (iii) la mise en liberté du détenu sous libération conditionnelle ne constitue pas un risque indu pour la société". Le programme visant à atteindre ces objectifs est administré principalement par la Commission nationale des libérations conditionnelles et par le Service correctionnel du Canada.
3.157 Dans le cadre de notre vérification de la Commission nationale des libérations conditionnelles, en 1978, nous avions signalé qu'on n'avait pas fait d'évaluation de l'efficacité du système fédéral des libérations conditionnelles. Nous avons suivi les progrès accomplis à ce chapitre. Conformément à leur domaine de responsabilités, la Commission nationale des libérations conditionnelles et le Service correctionnel du Canada ont toujours l'intention de n'évaluer que leurs activités respectives dans le cadre du programme des libérations conditionnelles.
3.158 Les méthodes d'évaluation adoptées par ces deux organismes répondent peut-être à leurs besoins, mais elles ne semblent pas tenir compte des liens entre leurs activités particulières et l'obligation de rendre compte de l'efficacité globale du programme. Le mandat législatif du programme des libérations conditionnelles ne précise pas qui est responsable de la réalisation des objectifs globaux ou de l'évaluation du programme. Nous avons constaté qu'aucune évaluation du programme des libérations conditionnelles n'avait été effectuée au 31 mars 1983, bien qu'une étude en rapport avec le programme ait été réalisée par le Secrétariat du ministère du Solliciter général.
3.159 Le Secrétariat du solliciter général est chargé de coordonner l'élaboration et la mise en oeuvre des politiques avec les deux organismes et d'améliorer les politiques et les programmes du système de justice pénale. Dans le passé, le secrétariat a eu l'occasion d'effectuer des études et des évaluations de "programmes" et de lois qui avaient une incidence sur de nombreuses organisations. Puisque ses responsabilités couvrent plusieurs organismes, le secrétariat est peut-être mieux placé que quiconque pour effectuer ou coordonner l'évaluation de l'efficacité globale du programme des libérations conditionnelles, tout en laissant les deux organismes poursuivre l'évaluation de leur secteur de responsabilité respectif.
3.160 Il ressort de problèmes de ce genre que les programmes interministériels ne sont pas systématiquement soumis au même type d'examen et d'évaluation ordonnée que les programmes administrés entièrement par un seul ministère ou organisme. Comme il s'agit souvent de programmes de grande envergure, on risque donc de ne pas évaluer des activités importantes.
3.161 Le gouvernement devrait s'assurer que les ministères et organismes déterminent les dimensions interministérielles de leurs programmes dans leurs profils de composantes. Les incidences de ces dimensions interministérielles, tant sur le bon fonctionnement que sur l'évaluation du programme, devraient être examinées dans les études préparatoires et les cadres d'évaluation.
3.162 Lorsqu'il crée ou renouvelle un programme inter-ministériel, le gouvernement devrait confier à un organisme la tâche d'évaluer ce programme. Par la même occasion, il devrait désigner le responsable de la gestion globale du programme, c'est-à-dire la personne à qui s'adresse l'évaluation du programme.
3.163 Pour ce qui est des programmes interministériels existants, le gouvernement devrait améliorer les procédures en vigueur de façon à ce que ces programmes soient désignés et périodiquement évalués, lorsqu'il est raisonnable et à propos de le faire.
3.165 Comme nous l'avons déjà mentionné, nous avons constaté que les organismes qui n'avaient pas établi d'infrastructure pour l'évaluation étaient presque tous de petits organismes. Dans le cadre de sa stratégie de mise en oeuvre, le Bureau du contrôleur général s'est penché depuis peu sur la place que devrait occuper l'évaluation de programmes dans ces organismes.
3.166 Le gouvernement devrait déterminer la meilleure façon de doter les petits organismes d'un service d'évaluation de programmes.
3.168 Dans les 19 ministères et organismes que nous avons vérifiés, nous avons observé que certaines sociétés de la Couronne étaient utilisées par le gouvernement pour aider les ministères à réaliser les objectifs de leurs programmes et que les fonds qui leur étaient destinés provenaient des Budgets des dépenses des ministères. Dans de telles circonstances, nous nous serions attendus à ce que les ministères aient prévu d'évaluer la rentabilité de ces dépenses. Nous avons constaté que les ministères n'avaient pas prévu, dans leur plan d'évaluation de programmes, d'évaluer l'efficacité de cet outil d'intervention gouvernementale.
3.169 Les renseignements obtenus du Bureau du contrôleur général indiquent qu'au 31 mars 1983, cinq sociétés de la Couronne étaient en train d'établir un service d'évaluation de programmes, conformément aux directives du gouvernement, afin d'évaluer la réalisation de leurs objectifs socio-politiques. Nous avons appris que, dans quatre des cinq cas, le client de l'évaluation dans ces sociétés serait le directeur en chef de l'exploitation de la société.
3.170 L'année dernière, au paragraphe 2.1 16, nous avons formulé la recommandation suivante:
Les sociétés qui appartiennent à la Couronne devraient faire rapport au gouvernement de leurs plans, de leur rendement et de la réalisation des objectifs. Le gouvernement devrait établir ces exigences en matière de rapport et s'assurer que ceux-ci sont produits conformément à ces exigences. Le Parlement devrait avoir connaissance des exigences de rapport, avoir la possibilité de les évaluer périodiquement et d'en tenir compte lorsqu'il envisage d'apporter des changements au mandat ou aux objectifs de la société considérée, à la législation applicable et aux propositions gouvernementales de dépenses ou autres.3.171 Les directives du gouvernement sur l'évaluation de programmes constituent une façon raisonnable d'aborder l'évaluation du rendement des sociétés de la Couronne. Une des premières choses à faire pour les mettre en oeuvre serait de relever et de préciser les objectifs socio-politiques de ces sociétés.
3.172 Le gouvernement devrait établir des procédures pour faire en sorte que les objectifs socio-politiques des sociétés de la Couronne sont évalués et que les résultats sont communiqués, lorsqu'il y a lieu, au gouvernement et au Parlement.
3.174 Le Bureau du contrôleur général devrait s'assurer que la Partie III du Budget des dépenses signale et contienne les constatations des études d'évaluation qui portent sur le rendement des Programmes et sur la gestion des ressources.
Après l'adoption du projet de loi sur l'accès à l'information, dans sa forme actuelle, et l'approbation d'un projet de politique du Conseil du Trésor sur la documentation des études d'évaluation de programmes, de tels renseignements seront accessibles au public. Il faudra établir une procédure quelconque, peut-être le dépôt des rapports d'évaluation par le ministre responsable dans les 60 à 90 jours suivant leur parachèvement, pour que les députés puissent se les procurer facilement.3.176 Dans le cadre de notre travail de vérification, nous avons constaté qu'un seul rapport d'évaluation de programmes a été déposé à la Chambre.
3.177 La Loi sur l'accès à l'information a été proclamée le 1er juillet 1983.
3.178 Le gouvernement devrait établir des procédures qui garantissent la mise en oeuvre de la recommandation du Comité des comptes publics sur le dépôt des rapports d'évaluation de programmes.