Politiques d'évaluation des programmes
Secrétariat du Conseil du Trésor du Canada, Politique d’évaluation du gouvernement - 1er avril 2001
Ministère de la Justice
Politique d'évaluation des programmes
1er mai 2003
INTRODUCTION
OBJECTIF DE LA POLITIQUE
ÉNONCÉ DE LA POLITIQUE
ATTRIBUTIONS
ACCÈS PAR LE PUBLIC
AUTRES POINTS À CONSIDÉRER
RÉFÉRENCES
RENSEIGNEMENTS
GLOSSAIRE
La Politique d’évaluation des programmes du ministère
de la Justice est fondée sur les principes de la
Politique fédérale d’évaluation (Secrétariat du Conseil du Trésor,
1er avril 2001). Conformément au nouveau cadre de gestion du
Gouvernement du Canada,
Des résultats
pour les Canadiens et Canadiennes, cette politique reflète le point
de vue selon lequel les gestionnaires de la fonction publique sont
appelés à définir les résultats escomptés, à continuellement mettre
l’accent sur l’atteinte de ces résultats, à mesurer le rendement de
façon régulière et objective ainsi qu’à apprendre et à s’adapter de
manière à améliorer l’efficacité.
Qu’est-ce que l’évaluation des programmes et à quoi
sert-elle?
L’évaluation des programmes[1]
emploie une série d’outils de recherche appliquée qui permettent
l’évaluation systématique et objective des éléments de rendement d’une
politique ou d’un programme[2].
L'évaluation contribue à la prise de décision stratégique et collective,
et aux méthodes d'innovation et de responsabilisation à tous les
niveaux. Elle vise à fournir en temps opportun aux gestionnaires et à
d'autres intéressés une information utile, crédible et objective sur la
pertinence continue des politiques et des programmes fédéraux et
ministériels, sur leurs incidences et sur les possibilités d'employer
des outils d'intervention différents et plus rentables en matière de
politiques et de programmes.
L'évaluation des programmes sert de moyen d’obtenir
une rétroaction au sein du processus d'élaboration de politiques. Elle
sert à vérifier la réussite ultime des politiques en déterminant si ces
dernières ont eu l'effet voulu et, dans la négative, pourquoi?
L'évaluation procure aussi un soutien aux décideurs et aux gestionnaires
hiérarchiques sur des questions comme l'identification des résultats
attendus de politiques et de programmes, l'élaboration de cadres
d'évaluation du rendement, la surveillance de la mise en application des
programmes et des politiques, les mécanismes de compte rendu et
l'établissement de normes de service axées sur le client.
L’évaluation des programmes renseigne par ailleurs à
la mi-mandat des programmes (moment où les activités de ceux-ci prennent
forme ou bien se déroulent), grâce à l’étude de divers processus
notamment la prestation du programme, la qualité de sa mise en œuvre,
l’évaluation du contexte organisationnel et les intrants du programme.
L'évaluation des programmes aide à promouvoir un
apprentissage organisationnel dans l’administration fédérale, par
exemple en communiquant des points de référence applicables à
l'utilisation et à la gestion d'instruments de politiques et de
mécanismes d'exécution de programmes.
Enfin, l'évaluation en tant qu'un élément de la
fonction de contrôleur du Ministère, est dirigée en coopération et
coordination avec d'autres processus d'examen, plus spécifiquement la
vérification et les examens menés par les gestionnaires.
Le Glossaire des termes à la fin du présent document
donne des renseignements plus détaillés sur les composantes et les
concepts associés aux processus d’évaluation.
La politique d'évaluation du ministère de la Justice
a pour objectif de garantir que le Ministère obtient en temps opportun
de l’information crédible, stratégiquement ciblée, objective et fondée
sur des résultats en ce qui concerne le rendement de ses politiques et
de ses programmes.
Le ministère de la Justice veut que ses politiques et
programmes majeurs soient :
- conçus de telle sorte
qu’ils définissent clairement les résultats escomptés et qu’ils
incorporent dès le début des dispositions sur les méthodes saines de
mesure du rendement, d’élaboration de rapports et de
responsabilisation;
- évalués de façon
rigoureuse et objective du point de vue stratégique et de celui de
la rentabilité et que ses gestionnaires utilisent les résultats des
évaluations afin d'améliorer les politiques et les programmes et de
produire des rapports à leur sujet.
Les politiques et les programmes majeurs du Ministère
sont ceux qui nécessitent des dépenses importantes ou présentent un
degré de risque élevé, ceux pour lesquels le gouvernement ou le
ministère ont besoin d'information stratégique ou ceux à l'égard
desquels les organismes centraux, le Parlement ou le grand public ont
exprimé un intérêt particulier.
i) Le Sous-ministre
Le sous-ministre[3]
est responsable de ce qui suit :
- veiller à ce que les
politiques et les programmes du Ministère donnent les résultats
souhaités;
- nommer et seconder un
cadre supérieur chargé d'exécuter les évaluations stratégiques et
rentables des programmes conformément aux normes de l’administration
fédérale;
- approuver annuellement
le plan triennal d'évaluation des programmes;
- approuver la politique
ministérielle d’évaluation des programmes et tout changement à y
apporter;
- veiller à ce que l'on
tienne compte des constatations, des conclusions et des
recommandations issues des évaluations des programmes pour prendre
des décisions stratégiques concernant les politiques et les
programmes et pour rendre des comptes;
- veiller à ce que les
rapports d'évaluation soient mis à la disponibilité du grand public
avec un minimum de formalités;
- participer aux
évaluations menées par les organismes centraux à la demande du
Conseil du Trésor et/ou du Cabinet
ii) Comité de la vérification et de l'évaluation
Les membres du Comité de vérification et d'évaluation
se réunissent périodiquement pour aider le sous-ministre à assumer ses
responsabilités en ce qui concerne la vérification et l'évaluation. Il
est à noter que, périodiquement, le président du Comité, à titre de
membre du Conseil exécutif, informe ce dernier des activités du Comité
de vérification et d’évaluation.
Dans son rôle lié aux activités d’évaluation, le
Comité de la vérification et de l’évaluation (CVÉ) est responsable de ce
qui suit :
- fournir des conseils
visant à aider le sous-ministre à s’acquitter de ses responsabilités
en matière d’évaluation des programmes;
- aider à veiller à ce
que les rôles et les fonctions d’évaluation des programmes et les
responsabilités de tous les membres du personnel chargés de
l’évaluation soient communiqués et compris dans l’ensemble du
Ministère;
- conseiller le
sous-ministre relativement à l’incidence des questions soulevées par
les organismes centraux et d’autres organisations gouvernementales
relativement à l’évaluation des programmes;
- examiner la politique
ministérielle d’évaluation des programmes de façon périodique et
recommander des propositions de modifications;
- examiner et recommander
l’approbation chaque année du plan triennal d’évaluation des
programmes;
- examiner et approuver
les rapports d’évaluation comprenant les recommandations et la
réponse de la direction à ces recommandations et, si opportun,
porter certaines questions à l’attention du sous-ministre ;
- recevoir périodiquement
des rapports préparés par la Division de l’évaluation concernant la
situation des mesures prises par les gestionnaires en réponse aux
rapports d’évaluation et aux problèmes relevés par les gestionnaires
dans le cadre de la mise en œuvre des recommandations;
- assurer auprès des
Chefs de Secteurs le suivi des plans d’action quand des questions
graves l’exigent ;
- informer périodiquement
le Conseil exécutif de ses activités et lui présenter le plan
triennal d’évaluation des programmes pour examen et ratification.
iii) Responsables de secteur et gestionnaires de programme et de
politique
Les responsables de secteur et les gestionnaires de
programme et de politique ont les attributions suivantes :
- veiller à ce que les
résultats attendus des nouvelles politiques et des nouveaux
programmes soient définis en des termes qui se prêtent à une
évaluation subséquente (en consultation avec la Division de
l’évaluation)[4];
- surveiller le rendement
de leurs programmes et de leurs opérations;
- démontrer le rendement
des programmes et donner suite à l'information relative au
rendement;
- veiller à ce que les
évaluateurs (personnel à contrat compris) aient accès à toutes les
données ministérielles qu’elles ou ils considèrent comme
indispensables pour mener à bien l’évaluation et interroger les
fonctionnaires du ministère en vue d’obtenir les données requises,
dans la mesure autorisée par les lois et la politique fédérale ;
- préparer des cadres de
gestion et de responsabilisation axés sur les résultats (CGRR) qui
permettent de mesurer les résultats et d’en rendre compte, pour
répondre à la nécessité de fournir des ressources par l’entremise de
paiements de transfert et, sur demande, pour répondre aux besoins du
Conseil du Trésor (gestionnaires des programmes et des politiques en
consultation avec la Division de l’évaluation);
- approuver des cadres de
gestion et de responsabilisation axés sur les résultats qui
permettent de mesurer les résultats et d’en rendre compte de façon
appropriée, pour répondre à la nécessité de fournir des ressources
par l’entremise de paiements de transfert et, sur demande, pour
répondre aux besoins du Conseil du Trésor (responsables de Secteur);
- présenter la réponse de la direction à la Division de l'évaluation dans
les 45 jours ouvrables suivant la réception du rapport d'évaluation
final et des recommandations. La réponse de la direction doit porter sur
chacune des recommandations contenues dans le rapport d'évaluation;
- comparaître devant le Comité de vérification et d’évaluation pour
présenter et discuter les réponses que les gestionnaires apportent aux
recommandations ;
- préparer, au besoin, un plan de communication en vue de répondre à toute
préoccupation pouvant découler du rapport d’évaluation;
- veiller à la mise en œuvre des recommandations approuvées par le Comité
de la vérification et de l’évaluation.
iv) Directeur[5]et personnel de la Division de l'évaluation
La Division de l’évaluation est responsable de ce qui
suit :
- mener des évaluation objectives
et fournir au sous-ministre et à la haute direction des conseils et des
recommandations sur la pertinence continue des principaux programmes et
des principales politiques du ministère de la Justice (évaluations
sommatives), sur la mesure dans laquelle ils atteignent leurs objectifs,
sur leur rentabilité et sur l’efficacité des systèmes, des processus et
des méthodes de gestion (évaluation de la mise en œuvre);
- recommander des mesures afin d'améliorer les politiques
et les programmes du Ministère et d'accroître la responsabilisation des
gestionnaires face au rendement des programmes;
- communiquer les constatations, conclusions et
recommandations pertinentes et utiles de l'évaluation aux gestionnaires
de programmes, à la haute direction, au Comité de la vérification et de
l'évaluation et au sous-ministre en temps opportun et d'une façon claire
et équilibrée;
- informer régulièrement le Comité de la vérification et
de l’évaluation au sujet de l’élaboration et de l’approbation des cadres
de gestion et de responsabilisation axés sur les résultats;
- travailler en
collaboration avec les gestionnaires en vue de les aider à améliorer
la conception, la mise en œuvre et la mesure du rendement des
politiques et des programmes du Ministère, et ce, en fournissant des
conseils et un appui (et en assurant la
gestion du processus au besoin) relativement à l’élaboration de
cadres de gestion et de responsabilisation axés sur les résultats;
- assurer la cohérence de
l’élaboration de cadres de gestion et de responsabilisation axés sur
les résultats dans l’ensemble des programmes;
- fournir un appui
méthodologique et de la formation en ce qui concerne l’élaboration
d’outils d’intervention et de méthodes de mesure du rendement;
- présenter chaque année
au Comité de vérification et d’évaluation des ébauches de plans
d’évaluation annuels et triennaux;
- faire parvenir des
copies de tous les rapports d'évaluation au Secrétariat du Conseil
du Trésor;
- présenter au Comité de
vérification et d’évaluation des rapports périodiques concernant la
situation des mesures prises par les gestionnaires en réponse aux
rapports d’évaluation et aux problèmes relevés par les gestionnaires
dans le cadre de la mise en œuvre des recommandations;
- informer les
gestionnaires des programmes et des politiques du moment où les
rapports approuvés seront affichés sur Internet, et leur accorder
suffisamment de temps pour préparer un plan de communications;
- afficher les rapports
approuvés sur les sites intranet et internet du ministère.
Une fois qu’ils sont terminés et approuvés, tous les
rapports sont affichés sur les sites internet et intranet du ministère
de la Justice dans les deux langues officielles, et ce, dans les 60
jours ouvrables suivant l’approbation du Comité de vérification et
d’évaluation. Le public peut également avoir accès aux rapports
conformément à la Politique d’examen du Conseil du Trésor, à la Loi sur
l’accès à l’information et à la Loi sur la protection des renseignements
personnels.
Lorsque l’on détermine la méthode d’évaluation et,
plus particulièrement lorsque l’on prépare les questions pour
l’évaluation de tout programme ou toute politique du Ministère, une
attention spéciale est accordée à la pertinence et à l’inclusion des
questions visant à examiner les répercussions différentielles des
programmes et des politiques sur les groupes d’équité en matière
d’emploi, les groupes linguistiques, les groupes touchés par le sexisme
et tout autre groupe visé par la diversité.
Politique du Conseil du Trésor sur la vérification
interne (avril 2001)
Politique d’évaluation du Conseil du Trésor (avril
2001)
Politique du Conseil du Trésor sur les paiements de
transfert (juin 2000)
Loi sur l’accès à l’information
Loi sur la protection des renseignements personnels
Résultats pour les Canadiens et les Canadiennes : un
cadre de gestion pour le gouvernement du Canada (mars 2000)
Loi sur les langues officielles
Loi sur l’équité en matière d’emploi
Les politiques se retrouvent sur le site Internet du
Conseil du Trésor à l’adresse suivante :
http://www.tbs-sct.gc.ca/pubs_pol
Toute demande de renseignements au sujet de la
présente politique doit être acheminé à :
Directeur, Division de l’évaluation
Section de l’intégration et de la coordination de la politique
Secteur des politiques
Activité : Action ou
démarche exécutée à l’interne par une organisation et destinée à
produire des extrants précis (p. ex., des produits ou services). Les
activités font partie du premier chaînon de la progression vers
l'atteinte des résultats.
But : Vaste énoncé de haut
niveau qui précisent en termes généraux les résultats désirés à
atteindre au cours d’une période indéterminée. Un but devrait être le
reflet de la «mission» d’une organisation.
Modèle logique : Illustration de la « théorie » du programme ou des «
mesures » prises dans le cadre de celui-ci. Il s’agit d’un enchaînement
logique de relations prémisse-conclusion; l’énoncé « si x se produit,
alors y se produira » montre les liens entre les activités au moyen de
l'enchaînement des résultats .
Mission : Énoncé des
activités, de l’objet et de la raison d’être d’une organisation –
éléments critiques dans le cadre desquels les buts, les objectifs et les
normes devraient être établis.
Objectif : Énoncé des
résultats précis à atteindre au cours d’une période donnée. Les
objectifs sont généralement de niveau inférieur et à plus court terme
que les buts.
Résultat : Incidence des
extrants d’un programme sur un client ou des groupes visés. En d’autres
termes, les résultats sont les changements qu’un programme ou une
politique compte apporter. Les résultats mettent l’accent sur ce que le
programme ou la politique permet de réaliser plutôt que ce sur ce
qu’il(elle) fait (c’est-à -dire les résultats escomptés de l’initiative,
et non pas le processus pour y arriver). Ils peuvent être définis comme
immédiats, intermédiaires ou finaux, directs ou indirects, escomptés ou
inattendus.
Extrant : Unité de services
ou de produits offerts, de personnes desservies par un programme ou une
politique ou nombre de produits et de services exécutés.
Mesure du rendement : Consiste à
assurer le suivi du rendement d’un programme par rapport aux buts fixés
sur une période donnée, afin de produire une évaluation du rendement du
programme, notamment des mesures de la productivité, de l’efficacité, de
la qualité et du caractère opportun. La mesure du rendement peut
contribuer à fournir des perspectives objectives en vue de défendre ou
d’élargir un programme, plutôt que de permettre qu’il fasse l’objet de
décisions relativement arbitraires ou habituelles.
Des systèmes de suivi continu, qui mettent l’accent sur les indicateurs
et l’analyse associés à l’amélioration, peuvent contribuer à assurer le
suivi des résultats et à les améliorer avec le temps, et peuvent
également s’avérer une précieuse source d’information dans le cadre du
processus officiel d’évaluation.
Évaluation des programmes :
Emploie une série d’outils de recherche appliquée qui permettent
l’évaluation systématique et objective des éléments de rendement d’un
programme. Elle vise à fournir en temps opportun aux gestionnaires et à
d'autres intéressés une information utile, crédible et objective sur la
pertinence continue des politiques et des programmes fédéraux et
ministériels, sur leurs incidences et sur les possibilités d'employer
des outils d'intervention différents et plus rentables en matière de
politiques et de programmes. Selon le moment de l’évaluation, celle-ci
peut prendre l’un des formes suivantes :
une évaluation
formative, évaluation de la mise en œuvre ou évaluation à mi-mandat, qui
permet de recueillir de l’information à mi-parcours de l’application
d’un programme au moyen de l’examen des méthodes d’exécution du
programme, de la qualité de sa mise en œuvre et de l’évaluation du
contexte organisationnel, des procédures relatives au personnel et des
opinions de celui-ci;
- une évaluation
sommative ou évaluation d’incidence qui détermine l’incidence globale
d’un programme en examinant les répercussions ou les résultats des
programmes.
Les évaluations mettent
l’accent sur trois préoccupations principales :
- la question de la pertinence, ou
plus précisément, déterminer si les instruments des programmes ou des
politiques, continuent ou non de répondre à des priorités stratégiques
et à des besoins réels; c’est-à -dire la mesure dans laquelle les
objectifs et le mandat du programme ou de la politique sont encore
pertinents et dans laquelle les activités et les extrants d’un programme
ou d’une politique sont conformes au mandat et sont liés de façon
plausible à la réalisation des objectifs établis et à l’atteinte des
résultats escomptés;
- la question de la réussite,
notamment la mesure dans laquelle les instruments du programme ou de la
politique répondent aux objectifs établis (p. ex., répercussions), et
ce, sans répercussions injustifiées ou indésirables;
- la question de la rentabilité,
c’est-à -dire déterminer si les moyens les plus efficaces sont utilisés
pour atteindre les objectifs relatifs aux mesures de rechange, et
déterminer également si un autre palier d’administration pourrait
assumer la responsabilité de la politique ou du programme.
Processus d’évaluation des programmes : Comporte quatre étapes - planification et conception,
collecte et analyse des données, établissement des rapports et suivi. (Lien vers le graphique du Processus d’évaluation des programmes)
Étape 1 : Planification
L’étape de la planification consiste à élaborer des
plans relatifs à l’approche à adopter vis-à -vis de l’évaluation de
programmes ou de politiques, nouveaux ou sensiblement modifiés. L’étape
de la planification comprend une série de consultations intensives
auprès des gestionnaires de programmes, des clients et de d’autres
intervenants intéressés. Il est important que les consultations soient
tenues au début d’un nouveau projet ou le plus tôt possible dans le
cadre de l’élaboration d’un projet afin de s’assurer que les objectifs
sont énoncés d’une façon qui permet l’identification rapide des
indicateurs de rendement et la collecte systématique de l’information
sur le rendement nécessaire à l’apprentissage organisationnel et à la
prise de décisions par la direction. Dans le cadre de l’étape de la
planification, les responsables de l’évaluation entreprennent une
analyse des données disponibles afin de déterminer la mesure dans
laquelle une série de questions peuvent être abordées à partir des
données existantes et la nécessité de recueillir de nouvelles données.
L’étape de la planification se termine par l’établissement d’un document
sur le cadre de gestion et de responsabilisation axé sur les résultats
(CGRR) (ou encore d’un cadre d’évaluation ou d’un plan d’évaluation).
Étape 2 : Collecte et
analyse des données
L’étape de la collecte et
de l’analyse des données vise le véritable travail sur le terrain
relatif à l’achèvement du projet d’évaluation, ainsi que l’analyse des
conclusions tirées des différentes sources, y compris le suivi des
mesures continues du rendement. Pour les projets plus complexes, l’étape
de la collecte et de l’analyse des données peut s’étirer sur plus d’un
exercice financier.
Étape 3 :
Établissement des rapports
L’étape de
l’établissement des rapports consiste à rendre compte des résultats de
l’évaluation au sous-ministre, aux gestionnaires ministériels, aux
organismes centraux, au Parlement, et finalement, au grand public.
Étape 4 : Suivi
Les activités de suivi
comprennent la formulation de recommandations de modifications où il est
justifié dans les quatre domaines susmentionnés. Le gestionnaire du
domaine de programme évalué doit préparer une réponse de la direction.
La Division de l’évaluation est disponible pour aider les gestionnaires
des programmes à préparer des plans d’action dans le cadre de leur
réponse de la direction en vue d’améliorer toute question non réglée
fondée sur les résultats de l’évaluation. Ce service de suivi de
l’évaluation peut également inclure une aide pour assurer le suivi de la
mise en œuvre du plan d’action.
Cadre de gestion et de responsabilisation axé sur les
résultats (CGRR) : Plan détaillé visant à aider
les gestionnaires à mesurer les résultats durant le cycle de vie d’une
politique ou d’un programme et à en faire rapport. Les CGRR sont une
exigence de la
Politique du Conseil du Trésor sur les paiements de transfert et
sont généralement exigés par le Conseil du Trésor (CT) dans le cadre du
processus d’approbation de programmes qui sont nouveaux ou renouvelés.
La politique du CT sur l’évaluation requière également l’élaboration
d’un CGRR lorsqu’il facilite la mesure du rendement et la reddition de
comptes. Les CGRR comprennent habituellement :
-
un énoncé précis des rôles et des responsabilités des
principaux partenaires qui participent à la mise en œuvre de la
politique ou du programme;
- une description
claire des ressources à appliquer et des objectifs, des activités, des
extrants et des principaux résultats à atteindre, ainsi que des liens
existant entre eux (voir le Glossaire pour obtenir une description de
chacun de ces termes);
- un énoncé de la
stratégie de mesure du rendement, notamment les coûts et l’information
sur le rendement (principaux indicateurs) dont on assurera le suivi;
- le calendrier des
principaux travaux d’évaluation à effectuer;
- un énoncé des
dispositions relatives à l’établissement des rapports à l’intention des
bénéficiaires de financement, et des dispositions pour le Ministère.
Le CGRR est un outil utile pour gérer les politiques
ou les programmes importants, qu’ils soient élaborés conformément à une
exigence fédérale « officielle » ou non. Cependant, lorsqu’un CGRR n’est
pas précisément exigé par le CT et que le gestionnaire souhaite
néanmoins avoir un cadre pour l’aider dans l’évaluation d’un programme
ou d’une politique, cet outil est parfois appelé un cadre d’évaluation
ou un plan d’évaluation. Ces termes sont essentiellement équivalents à
un CGRR, mais les composantes bénéficient d’un peu plus de souplesse
(parce qu’elles ne sont pas exigées par le CT).
[1] Les termes « évaluation de programme »
et « évaluation » sont employés ici indifféremment.
[2] Le terme « programme » renvoie et
comprend ici le terme « initiative ».
[3] Dans la politique d’évaluation du
Conseil du Trésor, ces responsabilités sont confiées au sous-ministre.
Cependant, celui-ci peut déléguer ces responsabilités au Comité de la
vérification et de l’évaluation.
[4] Le personnel de la Section de
l'évaluation participe systématiquement au processus d’élaboration des
politiques et programmes dès les premières étapes pour faire en sorte
que les résultats attendus des politiques soient définis en des termes
qui se prêtent à une évaluation subséquente.
[5] Le directeur de l’éEvaluation des
programmes relève par voie hiérarchique du directeur général de la
Section de l’intégration et de la coordination des politiques, Secteur
des politiques, mais rend également compte de ses activités au
sous-ministre, en vertu d’un lien fonctionnel.
|
