ÉVALUATION DU PROGRAMME ET RECHERCHE

Cette section du site Web vous informe au sujet de l'évaluation nationale du Programme d'aide préscolaire aux Autochtones, ainsi que sur les initiatives de recherche au sein du PAPA. Vous trouverez, dans la section ayant trait à l'évaluation, toute l'information nécessaire sur ce qu'est l'évaluation nationale, et aussi à quelle étape du processus nous en sommes actuellement.

À ce  jour, aucune étude sur le PAPA n'a été menée, et nous espérons que cette section du site Web pourra prendre forme au fur et à mesure que l'intérêt pour la recherche grandira.

• L'Évaluation du programme d'aide préscolaire aux Autochtones

Évaluer le programme d'aide préscolaire aux Autocthones

L'évaluation permet de décrire les activités du Programme et d'en orienter l'évolution; elle fournit également l'information dont le Programme a besoin pour s'acquitter de son obligation de rendre des comptes à la population. Vous trouverez ici des renseignements sur la nature de l'évaluation du PAPA, sur certains défis rencontrés et les solutions novatrices mises de l'avant pour préserver la rigueur de l'approche tout en l'adaptant à la culture.

• Qu'est-ce que l'évaluation?
• À propos de l'évaluation du PAPA
• Pourquoi uue évaluation nationale?
• Que fait le bureau national de l'information recueillie?
• Où en sommes-nous dans l'évaluation nationale?

Qu'est-ce que l'évaluation?

L'évaluation est une discipline scientifique dont l'objet est de décrire ou de mesurer jusqu'à quel point un programme atteint ses objectifs. Le processus d'évaluation comprend un examen de la conception et de la mise en oeuvre d'un programme, ainsi que des changements induits par la participation au programme. Habituellement, la collecte des données est guidée par des indicateurs prédéterminés de rendement du programme; d'autres indicateurs, créés au cours de l'évaluation, sont également mesurés. L'information recueillie dans le cadre de l'évaluation aide à prendre des décisions éclairées concernant l'orientation du programme, à en établir la valeur et l'efficacité et à identifier ses points forts. L'évaluation de programme est un processus complexe et continu comprenant d'une part, la collecte et l'analyse de données concernant la situation d'un programme, et d'autre part, la diffusion de résultats au sein de la population.

À propos de l'évaluation du PAPA

L'évaluation du PAPA nous permet de réunir des preuves établissant que le programme atteint vraiment les objectifs pour lesquels il a été créé, et de présenter ces preuves aux collectivités participantes, au gouvernement du Canada et à l'ensemble des Canadiens. L'évaluation du PAPA est réalisée à l'échelle nationale, régionale et locale.

L'évaluation nationale du PAPA comprend deux volets principaux : l'évaluation du processus et l'évaluation des effets.

L'Évaluation nationale de l'administration et du processus repose sur la collecte, auprè s de chaque centre PAPA, de données démographiques et descriptives sur les participants, les activités, les besoins et les finances. L'enquête sur laquelle repose cette évaluation est menée annuellement. On recueille à cette occasion des données sur les activités courantes touchant à chacun des six volets du programme. Toute cette information se révèle fort utile pour expliquer et promouvoir le programme à l'intérieur et à l'extérieur de la sphère gouvernementale. On analyse les données afin de dresser un portrait des centres qui reflète leur diversité en matière de taille, de situation géographique, de culture et de prestation de programme. Les points saillants du rapport annuel de l'évaluation du processus sont accessibles au site Web du PAPA et sous la forme d'un document largement diffusé.

L'Évaluation des effets vise à décrire les changements survenus chez les enfants, les parents et les collectivités à la suite de leur participation au programme. À cette fin, on se penche sur les effets des six volets du programme. Un échantillon de centres PAPA a pris part à cette étude qui a mis en lumière les effets du programme, à partir de l'information recueillie par des « évaluateurs » de la collectivité, lesquels évalueront et observeront les enfants, et effectueront des entrevues structurées auprès de membres de la collectivité. L'évaluation des effets a démarré à l'automne 2002 et le rapport de recherche sera déposé en 2005.

Dès le départ, la conception de l'Évaluation nationale a été guidée par des principes d'adaptation à la culture, de participation communautaire et de développement des compétences. Des universitaires, des conseillers en évaluation et des membres de la collectivité interviennent à titre de partenaires dans l'élaboration de la méthodologie et des instruments, ainsi que dans le processus d'évaluation lui-même. Une approche d'évaluation globale embrasse à la fois les enfants, les familles et les programmes dans le contexte de leur collectivité et de l'ensemble de la société.

Les évaluations régionales mettent l'accent sur la collecte de données concernant le fonctionnement des programmes et l'utilisation des ressources; elles visent à soutenir les démarches de planification et d'amélioration du programme au niveau régional. Les évaluations régionales comprennent quelquefois des composantes relevant de l'évaluation des effets.

Les évaluations locales fournissent aux centres de l'information sur les activités du programme et sa gestion; elles aident les centres à évaluer la qualité et l'efficacité de leur programme dans les domaines où ils pourraient améliorer la prestation des services, et mettent en valeur leurs points forts. Les témoignages et commentaires des familles participantes et d'autres membres de la collectivité constituent de précieux apports pour les évaluations locales.

Pourquoi une évaluation nationale?

En vertu d'un engagement pris devant le Conseil du Trésor, qui lui fournit l'ensemble de son budget permanent, le PAPA est tenu d'effectuer une évaluation du programme. Santé Canada, à titre de ministè re fédéral responsable de l'administration du PAPA, coordonne et met en oeuvre l'évaluation nationale du PAPA. La collecte de données à l'échelle nationale et leur compilation permettent d'établir des statistiques et de dégager des preuves qui étayeront les rapports et prétentions selon lesquels le programme fonctionne à plein rendement, qu'il pourrait utiliser à bon escient davantage de ressources et qu'il produit des effets positifs chez les participants. Cela nous aide également à promouvoir le programme en présentant des résultats concrets et à augmenter la sensibilisation autour des défis que les Autochtones des milieux urbains et des collectivités nordiques doivent relever et des forces dont ils disposent pour y parvenir.

Tous les centres PAPA sont tenus de participer aux activités d'évaluation nationales, régionales et locales. En signant un accord de contribution avec Santé Canada pour démarrer un projet PAPA, les parrains des centres reconnaissent qu'ils doivent rendre des comptes à leur collectivité et au gouvernement du Canada, afin de prouver qu'ils dépensent utilement et de manière responsable. Cela entretient la confiance de la collectivité et du gouvernement quant à leur capacité de dispenser le programme.

Que fait le bureau national de l'information recueillie?

L'information recueillie dans le cadre de l'évaluation nationale sert de nombreuses façons. Elle est utilisée notamment :

• par Santé Canada, pour démontrer au Conseil du Trésor du Canada, aux participants, aux collectivités et aux autres intervenants que le PAPA répond de sa gestion des fonds octroyés annuellement au programme; 
• pour publier des documents d'évaluation du PAPA, ce qui permet de favoriser l'échange d'information et de renseignements avec les principaux partenaires, et de promouvoir la réussite du programme;
• par le programme lui-même, pour étayer ses demandes de renforcement et d'expansion;
• pour orienter l'élaboration du programme et des politiques (par ex., les données indiquant un manque de services pour les enfants ayant des besoins spéciaux ont orienté la planification du renforcement et de l'expansion du programme, afin que des efforts soient consacrés à cette problématique);
• pour identifier les forces du programme, des participants et des collectivités, ainsi que les défis qui mèneront à des améliorations du PAPA.

Où en sommes-nous dans l'évaluation nationale?

L'évaluation nationale du PAPA est une démarche continue. Dès 1997, un Cadre de l'évaluation était élaboré, qui proposait le plan et les lignes directrices de l'évaluation du programme. Ce document présente un aperçu historique de la conception de l'évaluation. Un sous-comité pour l'évaluation, mis sur pied par le Conseil national du Programme d'aide préscolaire aux Autochtones, guide et oriente l'évaluation du PAPA, en collaboration avec Santé Canada.

L'Enquête nationale sur l'administration et le processus est menée chaque printemps et les données recueillies sont analysées au cours de l'été et de l'automne. On collecte des données portant sur les caractéristiques du programme et des participants, l'administration et la coordination du centre, les composantes du programme et les diverses activités qui y sont associées, ainsi que les besoins et les finances du programme. La premiè re Évaluation nationale de l'administration et du processus a eu lieu en 1999. Les résultats de l'enquête orientent la conception de l'Évaluation nationale des effets et la planification du PAPA à l'échelle nationale. Allez à la page intitulée Publications de notre site Web pour consulter en ligne ou commander les rapports d'évaluation déjà déposés.

L'Évaluation nationale des effets du PAPA est maintenant en marche. Elle pose de nombreux défis, notamment ceux qu'on rencontre habituellement en évaluant les progrè s des enfants, les programmes pour Autochtones en général, ainsi que des défis particuliers au PAPA :

• on doit faire en sorte que l'approche et les instruments d'évaluation soient adaptés à la culture;
• il faut choisir des indicateurs des effets du programme sur les enfants, les parents et la collectivité;
• il faut établir un lien entre les prétendus effets et la participation au PAPA;
• on doit se pencher sur les six composantes du programme;
• on doit procéder à une phase d'essais valables portant sur un échantillon représentatif; et,
• il faut composer avec la diversité intrinsèque du PAPA (c.-à-d., un programme qui s'adresse à des participants inuits, métis et des Premières nations, et qui est dispensé dans le grand nord, au sud, à l'est et à l'ouest du pays).

En octobre 2000, une équipe de spécialistes en élaboration d'instruments s'est réunie pour étudier ces questions, de concert avec Santé Canada. Cette équipe a conçu une trousse de dix instruments devant être mis à l'essai dans cinq centres PAPA durant l'hiver 2001-2002 et le printemps suivant. Huit de ces instruments sont des questionnaires dont des évaluateurs formés, issus de la collectivité, se serviront pour recueillir des données auprè s du personnel des centres, des parents, des aînés et enseignants traditionnels, travailleurs des soins communautaires, enseignantes de maternelle, travailleurs sociaux et autres intervenants de la collectivité. Les questionnaires visent à déceler les indices de changements perçus par les personnes interviewées. En plus des questionnaires, on se servira de deux tests pour évaluer les enfants : le Systè me d'évaluation des performances et le test d'acquisition de vocabulaire pour Autochtones.

Le Système d'évaluation des performances (SÉP) propose une démarche exhaustive et normalisée d'observation et d'enregistrement des indices du progrè s scolaire de l'enfant dans diverses sphè res de développement. Le personnel enseignant du PAPA a reçu une formation au SÉP et il établira les performances des enfants dans quatre domaines : le développement personnel et social, le langage et l'apprentissage de la langue écrite, la pensée mathématique, et enfin, le développement physique, au début et à la fin de chaque année scolaire. Le SÉP a été retenu car il évalue chaque enfant face à lui-même plutôt qu'en le comparant aux autres. De même, il s'agit d'un processus d'observation des enfants et de leurs performances, processus qui permet d'utiliser ces observations en vue de favoriser la croissance et le développement des enfants. Les résultats obtenus à l'aide du SÉP sont en étroite corrélation avec ceux des autres tests de maturité scolaire.

Le test d'acquisition de vocabulaire pour Autochtones est présentement mis au point par l'équipe de spécialistes en élaboration d'instruments, avec la contribution des centres PAPA. Il s'agit d'un instrument d'évaluation administré individuellement à chaque enfant par l'évaluateur. Le test vise à mesurer l'acquisition du vocabulaire en langue autochtone et les connaissances culturelles. Il est conçu pour être utilisable dans les divers contextes où le PAPA est dispensé, quelles que soient la langue, la culture ou la région démographique. Par exemple, on montre à l'enfant une image représentant un objet, un animal ou une partie du corps. On demande simplement à l'enfant d'identifier des choses auxquelles il est familiarisé dans son centre PAPA, en employant la langue autochtone qu'on y enseigne. Le test permet d'évaluer à la fois le langage dans son versant réceptif et dans son expression orale (par ex., la question « peux-tu me dire comment on nomme ceci en langue crie? » posée à l'enfant en lui montrant l'image d'un ours sert à évaluer l'expression orale, alors que la demande "montre-moi l'inukshuk" formulée en présentant à l'enfant quatre images, dont l'une représente un inukshuk, permet d'évaluer le versant réceptif du langage).                                         

Le PAPA procède présentement à la mise à l'essai des instruments de l'Évaluation nationale des effets dans cinq centres PAPA représentatifs de l'ensemble des centres, choisis aux quatre points cardinaux, accueillant des enfants inuits, métis et des Premières nations, dans des contextes anglophone et francophone. Les centres sélectionnés pour cette phase pilote sont situés à Lorretteville, au Québec, à Igloolik, au Nunavut, à Toronto, en Ontario, à Dauphin, au Manitoba et à Prince George, en Colombie Britannique. La période de mise à l'essai servira à établir les ajustements et améliorations à apporter aux instruments et à la méthodologie. Les résultats de la mise à l'essai seront rendus publics à l'automne 2002. Une évaluation nationale d'une durée de deux ans a commencé à l'automne 2003..

Un volet de l'Évaluation nationale du Programme d'aide préscolaire aux Autochtones (régions urbaines et collectivités nordiques) est d'ores et déjà complété; il s'agit de Johnny National, Super héros(html/pdf), une histoire à propos du PAPA qui pourrait être vraie, de Tomson Highway, illustrée par Leo Yerxa. Il s'agit d'un rapport narratif rédigé sous la forme d'une nouvelle et signé Tomson Highway, célèbre dramaturge et nouvelliste cri. Le récit de Highway représente le Programme d'aide préscolaire aux Autochtones (régions urbaines et collectivités nordiques) d'une maniè re qui complè te et dépasse les rapports de nature davantage quantitative qui rendent compte de l'évaluation du processus. L'intrigue et les personnages sont fictifs, mais inspirés de données recueillies par M. Highway à l'occasion de visites dans les centres et de la lecture de rapports d'évaluations locales et de lettres de témoignages du personnel du PAPA et des parents. Dans le droit fil de la tradition orale, où les histoires sont des outils d'enseignement et de communication, l'auteur se fait conteur pour rendre hommage au travail réalisé dans le cadre du programme et souligner les réussites. Un Guide du lecteur a été élaboré pour accompagner l'ouvrage. Il présente de l'information sur cette approche novatrice et fournit des pistes afin d'amorcer la discussion sur l'histoire et les personnages.