Cadre des évaluation pilotes ou bilatéraltes

INTRODUCTION

Les gouvernements ¹ reconnaissent qu’il est important d’évaluer les programmes et services soutenus par le Cadre multilatéral pour les ententes sur le marché du travail visant les personnes handicapées afin d’aider à déterminer les répercussions et les résultats.² Ce cadre d’évaluation orientera les gouvernements dans la poursuite d’activités de démonstration ou d’évaluation bilatérale, ce qui, en plus des indicateurs des programmes et indicateurs sociaux, aidera à évaluer l’efficacité des programmes et des services de manière à évaluer la situation d’emploi des personnes handicapées. Le cadre pourrait également servir, au besoin, à des évaluations de compétence. Il permet de préciser les fonds fédéraux disponibles, l’ampleur, les méthodes, l’administration des évaluations, la diffusion de l’information, les enjeux liés à l’évaluation et les questions possibles.

FINANCEMENT

Chaque province ou territoire peut soit entreprendre des évaluations bilatérales avec le gouvernement du Canada, soit s’y attaquer seul.

Pour démontrer les avantages des évaluations conjointes et des résultats d’évaluation détaillés de même que pour promouvoir des processus efficaces d’évaluation menés de manière conjointe, le gouvernement du Canada financera en totalité les évaluations pilotes dans certaines administrations en 2003 2004 et en 2004 2005. Outre les évaluations pilotes dans le cadre desquelles les provinces et les territoires ont choisi d’entreprendre des évaluations bilatérales, le gouvernement du Canada fournira 80 % des coûts approuvés, tandis que les provinces et les territoires épongeront les 20 % restants. Les provinces ou les territoires peuvent entreprendre leurs propres évaluations, dont les coûts peuvent être partagés à un niveau maximal de 50 % à partir de l’enveloppe existante réservée au partage des coûts.

AMPLEUR DES ACTIVITÉS D’ÉVALUATION

Les évaluations pilotes et bilatérales viseront à examiner l’efficacité avec laquelle les programmes et services ont été conçus et mis en œuvre pour atteindre leurs objectifs énoncés. Pour ce faire, on dégagera le degré dans lequel tel programme ou tel service était responsable de l’atteinte des résultats souhaités.

Ajoutons que ces évaluations permettront également de mesurer le contexte et la pertinence des programmes et des services.

On a voulu que les évaluations pilotes aient une ampleur vaste et générale. Les comités d’évaluation conjoints qui sont décrits ci-dessous détermineront l’ampleur exacte des évaluations pilotes et bilatérales.

Les enjeux d’évaluation et les questions éventuelles sont énoncés dans l’annexe 1.

MÉTHODES D’ÉVALUATION

Les gouvernements acceptent d’utiliser des concepts et méthodes de recherche communément acceptés pour s’assurer que les activités d’évaluation pilote ou bilatérale sont fiables et crédibles, et qu’on peut les utiliser en toute confiance pour déterminer les résultats des programmes ou des services.

Aux fins des évaluations pilotes, les gouvernements peuvent accepter de partager de l’information pertinente sur les programmes, y compris des renseignements sur les personnes cherchant à obtenir de l’aide au moyen de ces programmes financés dans le cadre de cette entente. Le gouvernement du Canada signera des ententes particulières de partage d’information avec chaque gouvernement provincial et territorial.

L’examen des rapports écrits, des entrevues avec les intervenants des programmes, notamment les organismes promoteurs, les gestionnaires, le personnel et les participants de la prestation des services, la collecte de statistiques de programme reliées aux intrants et extrants ainsi que les observations sur place sont des exemples des méthodes de recherche pouvant être entreprises pour évaluer l’efficacité avec laquelle les programmes ont été conçus et mis en œuvre.

Pour déterminer la mesure dans laquelle les programmes et services atteignent leurs objectifs, on pourrait utiliser des outils de recherche tels que des formulaires d’inscription préliminaire, des formulaires de participation aux programmes, des enquêtes de suivi et des bases de données administratives.

Pour mieux s’assurer d’obtenir des conclusions valides, crédibles et non tendancieuses, les personnes qui effectuent les évaluations doivent travailler indépendamment des gestionnaires des programmes qu’ils évaluent.

ADMINISTRATION

Dans une situation où un gouvernement provincial ou territorial et le gouvernement du Canada acceptent de participer à des évaluations pilotes ou bilatérales comme il est décrit ci-dessus, ils mettront sur pied un comité d’évaluation conjoint composé de représentants fédéraux et provinciaux ou territoriaux, et coprésidé par un représentant fédéral et un représentant provincial ou territorial. Des représentants additionnels devraient agir en accord avec les deux coprésidents.

Le comité d’évaluation conjoint sera chargé de diriger l’élaboration et l’approbation de l’évaluation des programmes et services soutenus par le Cadre multilatéral. Le comité recommandera également l’établissement de contrats d’évaluation avec des tiers en plus de réviser et de recommander des rapports d’évaluation.

Pour assurer la production de rapports d’évaluation en temps voulu, chaque partie prendra toutes les mesures raisonnables pour rationaliser les processus d’évaluation tout en assurant des normes professionnelles.

DIFFUSION DE L’INFORMATION

Les gouvernements acceptent de partager de l’information sur des évaluations efficaces, sur des leçons tirées des évaluations ainsi que sur des pratiques efficaces en matière de prestation de programmes et de services.

Avec l’accord des deux paliers de gouvernement, les rapports d’évaluation pilote et bilatérale seront mis à la disposition du public.

Annexe 1
Enjeux d’évaluation et questions éventuelles

A. Pertinence des programmes

• Dans quelle mesure les objectifs et le mandat de la stratégie/du programme sont-ils pertinents?
• Les activités et produits du programme sont-ils compatibles avec les objectifs énoncés?
• Les activités et produits sont-ils liés de manière plausible aux résultats souhaités?
• Quels facteurs expliquent les éventuels écarts entre la mise en œuvre projetée et réelle du programme?
• Quelle est la réaction des participants à la conception et à l’exécution du programme ou du service?

B. Succès du programme

• À qui le programme est-il venu en aide, et quels sont les profils des participants du programme?
• Quelle était la nature des interventions au chapitre des types, des coûts et de la durée?
• Dans quelle mesure est-ce que les participants des programmes atteignent les résultats souhaités?
• Dans quelle mesure le programme est-il responsable des résultats atteints par ses participants?

C. Quelles sont les répercussions voulues ou non de l’exécution des programmes dans les domaines suivants (des exemples mesurables sont fournis entre parenthèses)?

• Employabilité et intégration (emploi trouvé et gardé, accroissement des gains et de la durée de l’emploi et meilleure préparation à l’emploi)?
• Inclusion et bien-être sur le plan économique (augmentation du revenu et emploi plus durable)?
• Qualité de vie (satisfaction et motivation à l’égard de l’emploi ou des services reçus et perspectives concernant les activités futures sur le marché du travail)?
• Investissement dans le capital humain (formation professionnelle et cours d’alphabétisation offerts, et niveau de compétences acquis)?
• Équité en emploi/obstacles à l’emploi (résultats des accessoires fonctionnels et de l’évolution des mentalités)?
• Autonomie/indépendance à l’égard du soutien du gouvernement (augmentation du revenu gagné par suite des interventions liées au programme)?Adaptation au marché du travail (augmentation globale de l’offre de travailleurs par suite du programme)?
• Répercussions sur le plan communautaire (amélioration des partenariats et de la collaboration avec divers intervenants communautaires)?
• Rapport coût-efficacité (gain des participants, employabilité et recours aux transferts gouvernementaux dans le cadre du programme par rapport aux coûts connexes du programme)?

1. Le gouvernement du Québec, bien qu’il souscrive aux principes généraux du présent document, n’a pas participé à son élaboration. Toutefois, il contribue au partage d’information et de pratiques exemplaires. Le gouvernement du Québec entend continuer à travailler sur cette question de manière bilatérale avec le gouvernement fédéral. Toutes les références aux positions conjointes des gouvernements fédéral, provinciaux et territoriaux dans le présent document n’incluent pas le gouvernement du Québec.

2. Compte tenu de la durée proposée du Cadre multilatéral et en reconnaissance du fait que les résultats des évaluations serviront à étayer des activités et pratiques futures en matière d’évaluation, les gouvernements reconnaissent que les administrations ne seront pas toutes en mesure d’évaluer l’éventail complet de programmes et services financés avant le 31 mars 2006. Toutefois, en vertu du Cadre multilatéral et de toute prolongation ultérieure, les gouvernements s’engagent à évaluer l’éventail de programmes et services financés en respectant un cycle d’évaluation raisonnable (de cinq à sept ans).