Directions
·	Bureau de la Directrice générale
·	Développement des données
·	Évaluations stratégiques
·	Partenariat et évaluation continue
Publications
·	Rapports d'évaluation
·	Sommaires d'évaluation
·	Série des ententes sur le développement du marché du travail
·	Série Études bilan
·	Série: Les outils de l'évaluation
·	Bulletin du forum sur l'évaluation
·	De la théorie à la pratique

• Objet
• Introduction et contexte
• Données et méthode d’évaluation
• Principales constatations

Objet

Depuis l’adoption du nouveau système d’assurance-emploi (a.-e.), Développement des ressources humaines Canada (DRHC) contrôle et évalue les répercussions qu’ont les réformes de l’a.-e. sur les particuliers, les employeurs et les collectivités. Dans le cadre du processus de contrôle et d’évaluation, une évaluation formative des prestations d’emploi et mesures de soutien (PEMS) a été réalisé vers le milieu de 1997. Les grands objectifs de cette évaluation formative était les suivants : comparer les estimations des deux indicateurs primaires des résultats (le nombre de clients qui travaillent et les prestations non versées des prestataires d'a.-e.), à savoir celles faites partir de l’information se trouvant dans les systèmes de DRHC et celles provenant des sondages réalisés dans le cadre de l’évaluation: faire des commentaires aux gestionnaires et aux stratèges au sujet de la conception, de la mise en oeuvre et des expériences des clients; évaluer les premières incidences attribuables à une participation aux PEMS; produire une information fiable sur les « leçons à tirer »; évaluer 1’utilité des systèmes administratifs de DRHC lorsqu’il s’agit de répondre aux besoins de données pour l’évaluation.

Introduction et contexte

La Loi sur l’assurance-emploi (a.-e.), ou projet de loi C-12, qui est entée en vigueur le 1^er juillet 1996, prévoit à la fois un soutien du revenu et des mesures actives visant à aider les Canadiens sans emploi à réintégrer la population active. La partie I de la Loi traite des changements apportés aux prestations de revenu, tandis que la partie II expose les prestations d’emploi et mesures de soutien qui sont offertes aux clients.

L’évaluation formative a permis d’examiner les Subventions salariales ciblées (SSC), l’Aide au travail indépendant (ATI), les Achats de formation et l’Aide financière négociée (remplacés par les Prêts et subventions de perfectionnement) ainsi que les Partenariats pour la création d’emplois (PCE). Parmi les mesures de soutien évaluées, mentionnons les Services d'aide à l’emploi (SAE), les Partenariats locaux du marché du travail (PLMT) et le Fonds transitoire pour la création d’emplois (FTCE).

Données et méthode d’évaluation

• Examen de documents et de données administratives. Des données administratives ont été examinées afin d’évaluer les besoins de données de base, de déterminer la validité des estimations des principales mesures des résultats et de dresser le profil des clients. Des documents ont aussi été examinés afin de définir un contexte pour l’évaluation.

• Entrevues avec des répondants clés. Au total, 75 entrevues ont été réalisées avec des répondants clés de DRHC aux échelons national (y compris des membres du Comité de coordination de la mise en oeuvre de l’emploi), régional et local ainsi qu’avec des tiers responsables de la prestation de services et des partenaires de collectivités.

• Groupes de concertation. Au total, 49 groupes de concertation (y compris des entrevues avec des groupes de deux ou de trois personnes) ont été organisés au sein de douze collectivités du Canada ainsi que dans deux collectivités de langue officielle minoritaire. Ces groupes visaient des clients qui avaient participé à des interventions évalués ainsi que des employeurs qui avaient participé aux SSC.

• Études de cas. Au total, 10 études de cas ont été effectuées, outre les deux études de cas ayant porté précisément sur les langues officielles minoritaires. L’objectif principal de ces études, qui comportaient un examen d’interventions évalués, était de relever les leçons apprises et les meilleures pratiques.

• Sondages menés auprès de participants et de non-participants. Deux sondages téléphoniques ont été effectués, l’un auprès de 3,101 participants à des interventions liées aux PEMS, et l’autre auprès de 4,010 non-participants. Les non-participants étaient définis comme des clients qui n’avaient pas participé ou qui ne participaient pas à une intervention liée aux PEMS.

Principales constatations

Incidence et effets sur les particuliers. Dans l’ensemble, on croit que les PEMS, et tout particulièrement l’ATI, les SSC et la formation, ont amélioré l’employabilité des participants en leur permettant d’acquérir des compétences susceptibles de les aider à trouver ou à conserver un emploi. Selon les participants, l’expérience de travail obtenue a toutefois été plus importante que les compétences acquises grâce aux interventions liées aux PEMS. On croit aussi que le soutien personnalisé a permis de tirer le maximum de ces interventions. De nombreux participants jugent que le soutien personnalisé devrait être à la base de toute intervention et que sans une orientation individuelle, de nombreux clients ne seraient pas en mesure de tirer pleinement profit des autres interventions. Selon des répondants clés de DRHC, il était trop tôt pour évaluer l’incidence des PEMS lorsqu’il s’agit d’aider les clients à trouver de l’emploi, mais la majorité d’entre eux croient que les interventions ont eu un effet positif sur l'attitude des clients en faisant augmenter leur confiance en soi et en leur permettant d’évoluer dans un milieu leur offrant du soutien.

Incidence sur les collectivités. Les interventions liées aux PEMS n’ont pas eu une incidence sur les collectivités uniquement pour l‘emploi, mais aussi dans d’autres domaines, comme le développement social et les activités des organisations sans but lucratif. Des consultations ont été tenues au niveau local au sujet des besoins des collectivités sur le plan économique et du marché du travail et afin de savoir en quoi les PEMS pourraient, dans l’ensemble, répondre à ces besoins. Bien que la majorité des partenaires aient manifesté un degré de satisfaction élevé en ce qui concerne leurs rapports avec les Centres des ressources humaines Canada (CRHC) locaux, 1’établissement de nouveaux partenariats et l’amélioration de ceux qui existent déjà ont été jugés nécessaires pour que les CHRC fonctionnent dans l’esprit des PEMS. Les PLMT sont toutefois généralement le reflet d’une véritable approche axée sur le partenariat.

Langues officielles. Les services primaires (p. ex., l’information) et les SAE ont généralement été offerts aux membres des collectivités de langue officielle minoritaire. L’accès ou le recours aux interventions peut toutefois avoir été restreint en raison de facteurs, comme une faible demande pour les interventions, une information limitée au sujet de l’intervention offerte, le peu d’employeurs utilisant la langue officielle minoritaire au sein de la collectivité ou l‘incapacité des CRHC ou des tiers d’offrir des interventions dans la langue de choix des participants. Il semble que les CRHC aient consulté des organismes communautaires qui s’intéressaient aux besoins des collectivités de langue officielle minoritaire. Dans l’ensemble, les clients se sont dits satisfaits des services reçus dans une langue officielle minoritaire. L'accès restreint pour les collectivités de langue officielle minoritaire à une formation dans la langue officielle de leur choix, notamment pour la formation linguistique, a constitué un facteur limitant la réintégration de clients à la population active. Les clients de langue officielle minoritaire jugent qu'ils doivent obtenir de l'information sur le marché du travail afin de connaître les possibilités qui s'offrent à eux au sein de leur collectivité.

Mise en application et mise en oeuvre au niveau local. On a constaté un certain chevauchement entre les interventions liées aux PEMS et d'autres programmes. On croit toutefois que ces chevauchements seront réduits au minimum à la suite de la mise en application des ententes pour le développement conclues avec les provinces et les territoires. Au niveau local, les mesures préconisant la flexibilité ont été bien mises en application et bien acceptées dans l'ensemble par les gestionnaires et les employés des CRHC. Il semble que les bureaux régionaux aient plus de difficulté à s'y adapter. Sauf pour ce qui est du suivi obligatoire auprès des clients, la gestion de cas n'est pas jugée très différente de l'approche traditionnelle concernant le service aux clients. Bien qu'un plan d'action puisse avoir été prévu dans le SNSE pour des clients, ceux-ci n'en étaient pas nécessairement au courant, car ils ne savaient pas en quoi consistait un plan d'action. Les répondants ayant obtenu leurs services d'orientation de la part d'un tiers étaient toutefois plus susceptibles d'indiquer qu'ils disposaient d'un plan d'action que ceux qui avaient reçu des services d'un CRHC. Selon les indications, la plupart des CRHC ont offert l'Aide financière négociée (AFN), mais son utilisation a été restreinte. On croit que l'AFN a influé sur l'engagement des clients à l'égard de leur formation, mais non sur leur capacité d'avoir accès à de la formation.

Prestation de services par des tiers. Les CRHC ont indiqué qu'il ont de plus en plus recours à des tiers pour la prestation de services, en grande partie pour des raisons de capacité. Il a aussi été de plus en plus demandé à des tiers d'assurer la gestion de cas pour des clients. Le processus contractuel pourrait être déroutant pour les organismes communautaires, et les questions liées aux délais (p. ex., approbation du financement à la dernière minute et marchés de services à court terme) ont été désignées comme des sujets de préoccupations constants. Le degré de suivi des résultats obtenus par les tiers a varié considérablement d'un CRHC à un autre.

Qualité des services. Dans l'ensemble, la qualité des services offerts par les CRHC a été jugée moyenne. Selon la majorité des répondants, bien que l'accès aux services des CRHC ait souvent été difficile, leur personnel faisait tout ce qu'il pouvait dans un contexte marqué par une réduction des effectifs et des compressions. Bien que des participants aux groupes de concertation aient manifesté une certaine insatisfaction à l'égard de la formation offerte par des tiers, les répondants aux sondages se sont dits très satisfaits à la fois des services offerts par les organisations offrant de la formation et par la formation reçue. Les participants à l'Aide au travail indépendant sont les personnes qui ont exprimé le taux de satisfaction le plus élevé à l'égards des services d'emploi offerts.

Communication. La formation du Comité de coordination de la mise en oeuvre de l'emploi semble avoir facilité la mise en application des PEMS. En général, le organismes communautaires qui avaient noué des liens avec les CRHC ont jugé qu'ils étaient bien informés au sujet des interventions. Ceux qui n'avaient pas noué de tels liens se demandaient souvent quelles interventions s'adressaient à un groupe donnée de clients. Quant aux clients, ils ont souvent fait part de leur frustration au sujet du manque d'information sur les interventions offertes en vertu du nouveau système d'a.-e.

Sélection et ciblage de clients et processus d'établissement d'objectifs. Les clients et les partenaires des collectivités qui ont été consultés avaient grandement l'impression que certains groupes de personnes qui auraient pu tirer profit de l'aide de DRHC ne recevaient pas cette aide en raison des nouveaux critères d'admissibilité. Par ailleurs, l'extension de l'admissibilité à l'a.-e. aux anciens prestataires réadmissibles a été jugée très favorablement. Les CRHC ont fait de grands efforts pour intégrer le concept de portefeuille équilibré (c.-à-d. pour équilibrer le nombre de clients pour lesquels des résultats peuvent être obtenus à court terme et le nombre de ceux pour lesquels les résultats sont prévus de moyen à long terme). En général, les représentants de CRHC interrogés n'avaient pas établi de plans bien précis pour le ciblage des clients. Les objectifs liés aux résultats étaient fixés selon une approche descendante, ce qui ne constituait pas un sujet de préoccupation pour la majorité des CRHC, étant donné qu'ils croyaient leur expérience insuffisante pour fixer leurs propres objectifs.

Modification de la culture. Les PEMS, jumelées à d'autres facteurs (p. ex., la réduction des effectifs et les changements apportés au réseau de prestation des services), ont mené à des changements dans les méthodes de travail utilisées par les CRHC. La flexibilité au niveau local a toutefois constitué un changement favorable directement attribuable aux PEMS. Dans l'ensemble, l'obligation de rendre compte des résultats a été bien acceptée. Les nouvelles procédures associées aux PEMS ont toutefois occasionné une pression pas toujours reconnue pour les employés. Des préoccupations ont aussi été manifestées au sujet du suivi des résultats.

Systèmes. Un certain nombre de questions liées aux systèmes devaient toutefois être réglées afin de s'assurer de recueillir les données nécessaires pour l'évaluation sommative. L'exactitude des résultats calculés à l'aide de l'information se trouvant dans les systèmes de DRHC a été mise en question, principalement en raison de doutes au sujet de la minutie avec laquelle ont été introduites les données. Un suivi et un contrôle constants étaient nécessaires afin de s'assurer qu'une information pertinente était recueillie et introduite dans les systèmes d'information de DRHC.

Mesure des premiers résultats. En comparant les deux indicateurs primaires des résultats calculés à partir des systèmes d'information de DRHC à ceux provenant des sondages réalisés dans le cadre de l'évaluation, on a jugé que plusieurs aspects de la méthode utilisée pour produire les calculs de DRHC concernant les résultats liés aux économies pouvaient donner lieu à des surestimations. Voici des facteurs qui ont pu contribuer à ces surestimations: la méthode utilisée par DRHC pour calculer les prestations non versées au cours de la période pendant laquelle s'appliquait la règle de 12 semaines-25 p. 100, qui était susceptible de surestimer le montant des prestations non versées en vertu de la partie I de l'a.-e., l'inclusion par DRHC de prestations non versées, ce qui n'avait ni été constaté ni réalisé pendant la période au cours de laquelle il avait été jugé que des prestations n'avaient pas été versées; la façon pour DRHC de définir l'emploi (conformément à la règle des 12 semaines-25 p.100), qui attribuait audit emploi une réduction des prestations non versées pour des raisons autres que l'emploi.