L'évaluation des programmes et la régie d'entreprise à Développement social Canada — Comment nous en avons fait une réussite

Je dois d'abord vous parler de mon ministre Ken Dryden. Pour lui, toute occasion est l'occasion de raconter une histoire. Cette façon de penser déteint un peu sur nous tous.

Ainsi, lorsqu'on m'a demandé de vous faire part de mes opinions sur la fonction d'évaluation, de la perspective d'un ministère, j'ai immédiatement pensé qu'il s'agissait là d'une bonne occasion de vous raconter une histoire.

C'est l'histoire d'un nouveau ministère qui cherche à s'établir, à mettre sur pied la meilleure infrastructure possible pour l'aider à remplir son nouveau mandat excitant. Le développement social devient tout à coup une fin en soi et non seulement un moyen d'obtenir des avantages économiques pour la société. Le développement social a maintenant une voix distincte au Cabinet.

Quand je suis arrivée au nouveau ministère, j'ai d'abord été frappée par l'importance des budgets accompagnant les politiques et les programmes dont nous sommes responsables.

Même si le gros des budgets est destiné aux versements des prestations légales aux Canadiens, la responsabilité de coordonner les mesures liées à la conception et à l'élaboration de politiques et de programmes assortis de dépenses annuelles de 55 milliards de dollars nous ramène vite à la réalité!

Donc, bien entendu, les considérations en matière de responsabilisation relatives à « ce qui fonctionne » et à « ce qui doit être amélioré », n'ont jamais quitté mon esprit.

Ces préoccupations ont imprégné mes discussions avec mon équipe de haute direction dès le départ.

Et, compte tenu des antécédents de l'ancien DRHC, à partir duquel notre ministère a été créé, nous savions que la fonction d'évaluation de programme devait être une priorité du nouveau ministère.

Et c'est là que l'histoire du ministère du Développement social commence.

Notre prémisse de base était que nos évaluations devaient mettre l'accent sur la participation des organismes centraux, de même que des intervenants.

Nous savions également que nous devions mettre en place de solides mesures de contrôle de la qualité et, souvent, ces mesures comprenaient un examen par des pairs de l'extérieur.

Nous nous sommes donc lancés dans la création de ce que nous voulions devenir, le meilleur bureau d'évaluation en ville. Nous comprenions que les ministres, qui sont, en bout de ligne, responsables de l'efficacité des programmes, doivent avoir l'assurance que cela fonctionne. J'espère que vous me permettrez de me vanter un peu ce soir et de parler de certains exemples de réussite en matière d'évaluation tirés de notre première année d'activités.

Jusqu'ici, les résultats des évaluations au sein de notre nouveau ministère mettaient l'accent sur trois principaux aspects :

Tout d'abord, nous avons examiné les régimes de responsabilisation liés aux partenariats fédéraux-provinciaux-territoriaux en matière de programmes sociaux.

Puis, nous avons mis l'accent sur une série d'« évaluations de démonstration » examinant la mesure dans laquelle les programmes de transferts sociaux du ministère permettent de réaliser les objectifs visés.

Enfin, nos évaluations ont mis l'accent sur divers aspects liés à l'exécution des programmes, tel que l'Initiative du secteur bénévole et communautaire.

Des trois exemples que je viens de donner, celui se rapportant aux évaluations fédérales-provinciales-territoriales conjointes mérite une attention particulière — en raison de sa portée en ce qui concerne les montants en jeu, de même que de la nature délicate évidente du travail dans un contexte intergouvernemental.

Comme vous le savez, le gouvernement fédéral participe de plus en plus aux ententes de partenariats en matière de programmes sociaux pour les Canadiens.

Une des caractéristiques principales du régime de responsabilisation en vertu de ces ententes est que les partenaires doivent collaborer pour mesurer les résultats et cerner les points à améliorer.

La Prestation nationale pour enfants illustre bien mes propos — il s'agit d'une mesure fiscale fédérale qui s'imbrique avec les dispositions provinciales de l'aide sociale et les services pour les enfants, assortie de caractéristiques complexes de compensation (totalisant plus de 2,5 milliards de dollars par année).

Dans ce cas, mes évaluateurs ont réussi à mobiliser les provinces et les territoires, de même que le ministère des Finances à l'égard de l'évaluation axée sur les résultats.

Ce consensus était fondé sur des « preuves tangibles » l'évaluation a permis de cerner plusieurs aspects à améliorer.

Quiconque ayant travaillé dans ce merveilleux monde des relations fédérales provinciales territoriales sait à quel point il est difficile de faire le consensus dans des domaines où la perfection est loin d'être atteinte.

L'évaluation a pourtant permis de le faire, et elle a créé un précédent en faveur de l'utilisation de l'évaluation des programmes comme outil de responsabilisation axée sur les résultats dans le cadre de futures ententes fédérales provinciales territoriales. Cela sera très important dans le cadre de nos négociations actuelles sur l'apprentissage et la garde des jeunes enfants.

D'après ma récente expérience, j'ai cru bon essayer de définir les conditions qui, selon moi, ont contribué au succès de la fonction d'évaluation des programmes.

1. Premièrement, il faut prendre la fonction au sérieux.

   À Développement social, c'est moi qui préside notre comité sur la vérification et l'évaluation de programme.

   Ceci envoie un message clair quant à mes attentes vis-à-vis la fonction d'évaluation : C'est une priorité importante, et les sous-ministres adjoints doivent rendre compte des conclusions de toutes les évaluations qui les concernent.

   C'est aussi à travers ce comité que nous avons élaboré des priorités et un plan d'action pour nos travaux futurs.

   Le Bureau du Vérificateur général et le Secrétariat du conseil du trésor font partie du comité, à titre d'observateurs.

   Bien qu'au début j'aie eu quelques réserves, je dois dire qu'en bout de ligne, cela fonctionne bien.

2. Puis, la mise en œuvre de la fonction d'évaluation au sein du nouveau ministère a profité dans une grande mesure de la mise en commun avec la vérification interne — sous une seule et même direction

   Le fait de les grouper nous a permis de bénéficier d'économies d'échelle administratives — en reconnaissant toutefois qu'il existe un fort degré de segmentation des compétences au sein de la direction.

   Nous avons constaté que le fait de jumeler les deux fonctions a aussi produit d'importants effets de synergie dans des domaines comme l'analyse des risques, l'analyse des facteurs de causalité, et l'analyse de rentabilité des programmes. Cette mise en commun a également renforcé l'aspect « assurance » de la fonction d'évaluation des programmes.

3. Troisièmement, la façon dont les évaluations sont menées est, à mon avis, une autre condition de réussite.

   Au sein de notre ministère, les évaluations se font par l'entremise de comités conjoints de direction au niveau des directeurs généraux. En fait, mes responsables des évaluations me disent qu'ils consacrent environ 60 % de leur temps à rechercher la participation des principales parties prenantes au sujet des méthodes d'évaluation, de la portée, des techniques de mesure, des méthodes de contrôle de la qualité, et ainsi de suite.

   Ces comités sont coprésidés par le directeur général de Vérification et évaluation, et le directeur général des programmes. En outre, les organismes centraux y participent fréquemment et, dans certains cas, ont demande également à des intervenants de participer.

4. Quatrièmement, nos évaluations sont, dans la mesure du possible, fondées sur plus qu'une ou deux sources de données.

   Lorsque d'importantes décisions ou des réajustements au niveau des programmes semblent s'avérer nécessaires, je cherche à faire corroborer les résultats par d'autres sources de données.

   Dans le fond, l'évaluation est loin d'être une science exacte. Je ne voudrais jamais que des décisions soient prises uniquement en fonction d'une série de statistiques de résultats de programmes. Je pense qu'il faut rechercher des éléments justificatifs plus tangibles.

   Donc si une évaluation permet de conclure que quelque chose ne fonctionne pas adéquatement, mes évaluateurs savent qu'ils doivent pouvoir m'expliquer, à l'aide de preuves tangibles, pourquoi cet aspect ne fonctionne pas aussi bien qu'il le devrait.

5. Cinquièmement, nos méthodes d'évaluation comportent des mesures de contrôle de la qualité importantes.

   Ces mesures sont essentielles pour nous permettre d'avoir l'assurance que les résultats de l'évaluation sont fiables.

   Nos évaluations comportent donc un volet d'examen par des pairs de l'extérieur, afin d'établir une évaluation indépendante des résultats par des experts en la matière.

   Nous recourons habituellement à trois pairs, à l'étape de la méthodologie comme à celle du rapport final. Les pairs choisis sont normalement des experts mondiaux du domaine ou de la mesure technique.

   La quasi totalité des évaluations au Ministère sont confiées en sous traitance à des consultants de l'extérieur — dans le cadre de marchés dont la valeur oscille entre 150 000 $ et 200 000 $ (quoique certains aient atteint la barre du 500 000 $).

   Nous estimons que l'examen par les pairs ajoute environ de 10 000 $ à 20 000 $ au coût d'une évaluation de programme. Nous considérons qu'il s'agit d'une dépense judicieuse — en raison de l'assurance accrue qu'elle garantit.

6. Sixièmement, l'obligation, de la part de la direction, de réagir aux résultats de chacune des évaluations est autre condition de réussite importante, et je sais que la plupart des ministères font déjà cela.

   Cette exigence est un élément central de la responsabilisation axée sur les résultats qui caractérise notre structure de gestion organisationnelle. Elle fait en sorte que le suivi nécessaire est effectué et que le rapport ne peut pas être jeté aux oubliettes.

7. Enfin, il me semble que l'un des aspects importants de la réussite d'une évaluation, sont les membres de l'équipe, en particulier leur chef.

   La crédibilité du chef fait une grande différente et a une incidence sur l'ensemble de l'Équipe.

   Mon propre directeur général de Vérification et d'Évaluation, Jim Blain (qui a eu le bon sens de prendre des vacances cette semaine), s'est certainement fait un nom au sein de notre ministère.

   Il semble être quelqu'un qui est capable de diriger une équipe de professionnels avec engagement et excellence.

   J'ai été chanceuse de pouvoir faire appel à lui pour obtenir des conseils informels ou faire évaluer une situation qui m'inquiétait. Je sais que je peux toujours compter sur lui et sur les membres de son équipe lorsque j'ai des demandes de nature délicate.

   Je souligne l'importance des qualités personnelles requises chez un évaluateur professionnel parce que ces dernières traduisent les valeurs qui sous tendent la profession.

   Et j'aimerais vous laisser avec l'idée que finalement, la fonction d'évaluation de programmes constitue une autre façon d'exprimer nos valeurs fondamentales, à la fonction publique. J'ai pu constater moi-même comment l'intégrité, le respect, l'excellence sont au cœur des valeurs professionnelles des évaluateurs.

Et je reconnais là les mêmes valeurs fondamentales qui régissent l'ensemble de la fonction publique.

En outre, j'estime qu'il est essentiel de faire preuve de jugement, de fiabilité, de sagesse et d'intégrité pour exercer cette fonction qui, comme vous le savez, n'est pas toujours facile.

Je suis chanceuse que ces caractéristiques soient bien établies au sein de mon équipe de vérification et d'évaluation à Développement social, mais, de façon plus importante, je suis également heureuse que ces qualités vous guident en tant que groupe d'experts de la fonction publique.

Enfin, je pense que des occasions comme ce soir sont importantes pour célébrer ensemble cet engagement collectif, et je considère que c'est un privilège d'avoir eu la chance de prendre la parole devant vous.

Merci.