Évaluation quasi-expérimentale - Janvier 1998

 

5.0 Exemples de biais de sélection

Il existe un certain nombre de méthodes qui permettent de contourner le problème possible du biais de sélection. Pour les décrire, il est utile de donner certains exemples concrets des formes que le biais de sélection prend fréquemment dans les études d'évaluation sur les programmes d'éducation ou de formation.

Premier exemple: programme d'alternance travail-études et autres types de programmes d'études

Dans un programme d'alternances travail-études, l'étudiant alterne systématiquement entre des périodes d'études et des périodes de travail, tandis que dans les autres types de programmes, il suit tout simplement des cours. De nombreux observateurs estiment que la combinaison des études et des expériences de travail est susceptible d'améliorer l'employabilité et le revenu des diplômés des programmes d'alternance travail-études. Existe-t-il des données empiriques soutenant cette affirmation ? Pour répondre de façon simple à cette question, on pourrait comparer la situation d'emploi et de revenu d'un échantillon de diplômés des programmes d'alternance travail-études et à celle d'autres types de programmes d'études. Obtiendrait-on une preuve manifeste de l'effet des programmes d'alternance travail-études sur l'employabilité et le revenu ? La réponse est généralement est non.

Il peut y avoir des raisons pour lesquelles les personnes qui ont suivi un programme d'alternance travail-études ne se retrouvent pas dans la même situation d'employabilité et de revenu que celles qui suivent d'autres types de programmes, et que ces raisons n'ont rien à voir avec les programmes d'études comme tels. Par exemple, s'il y a un nombre limité de programmes d'alternance travail-études (comme c'est généralement le cas), il se peut que ces programmes admettent des étudiants plus aptes en moyenne que ne le font les autres programmes comparables. Aussi, les étudiants qui demandent de participer à un programme d'alternance travail-études sont peut-être en moyenne plus déterminés à embrasser une carrière que ceux qui s'inscrivent à d'autres types de programmes. Pour ces deux raisons, les diplômés des programmes d'alternance travail-études pourraient présenter un niveau d'employabilité et de revenu plus élevé, même s'ils ne suivaient pas un tel programme d'alternance travail-études. C'est que, si les diplômés d'un tel programme avaient plutôt suivi un autre type de programme, leur employabilité et leur revenu auraient été plus élevés que ceux des diplômés d'autres types de programmes. Dans une certaine mesure, les diplômés des programmes d'alternance travail-études présentent un niveau plus élevé d'employabilité et de revenu parce qu'ils sont de meilleurs étudiants, plus aptes, et parce qu'ils sont davantage déterminés à faire carrière que leurs homologues d'autres programmes.

Bien sûr, il est également possible que les programmes d'alternance travail-études aient un effet favorable sur l'employabilité et sur le revenu des diplômés. Si tel est le cas, la différence totale observée entre les diplômés de ces programmes et les autres se répartit en deux volets: dans un premier temps, parce que les programmes d'alternance travail-études attirent des étudiants plus aptes et plus déterminés à faire carrière (l'effet de sélection), et dans un deuxième temps, en raison de l'effet du programme.

Voilà le problème du biais de sélection possible. Les responsables des programmes d'alternance travail-études choisissent les étudiants les plus aptes et les plus déterminés à faire carrière, dont l'employabilité aurait été plus élevée même s'ils n'avaient pas suivi le programme. Dans ce cas, la simple comparaison des diplômés des programmes 'alternance travail-études et des autres types de programmes donnerait lieu à une surestimation de l'effet véritable du programme. Toutefois, comme nous en parlons ci-après, le biais de sélection peut être soit positif, soit négatif, c'est-à-dire que, si on n'en tient pas compte, l'effet estimatif peut être supérieur ou inférieur à l'effet véritable.

2^e exemple : Écoles privées et écoles publiques

Bon nombre des mêmes questions se posent si l'on veut comparer les résultats (comme les résultats moyens obtenus dans les examens normalisés, les taux d'achèvement des études secondaires ou la réussite des études postsecondaires) dans les écoles privées et publiques. Les écoles privées choisissent peut-être des élèves plus aptes en moyenne que leurs contreparties publiques. De même, l'élève moyen qui fréquente l'école privée peut être plus susceptible de présenter d'autres caractéristiques (ses parents attachent plus d'importance à l'éducation) que l'élève moyen qui fréquente l'école publique.

Pour ces raisons, il est peu probable qu'une simple comparaison des résultats des élèves des écoles privées et des écoles publiques puissent aboutir à des estimations non biaisées de l'effet des écoles privées sur ces résultats. Certaines des différences observées existent parce que les écoles privées et les écoles publiques choisissent des élèves qui sont systématiquement différents relativement à des caractéristiques comme les aptitudes, et l'attitude de la famille envers l'éducation.

3^e exemple: Effet des programmes de formation parrainés par l'État

Comme on pourra maintenant s'en rendre compte, des problèmes semblables de sélection se posent lorsqu'il s'agit d'évaluer les effets des programmes de formation. Ceux qui suivent une formation sont susceptibles d'être systématiquement différents de ceux qui ne le font pas. Cela peut être attribuable à des différences entre les personnes qui suivent la formation et celles qui ne le font pas: par exemple, les personnes qui sont plus scolarisées ou qui veulent davantage intégrer le marché du travail peuvent être plus susceptibles de demander à suivre une formation. En revanche, ces différences peuvent se manifester en raison de la sélection par les administrateurs du programme, qui peuvent être plus enclins à retenir les personnes qui sont le plus aptes à profiter de la formation.

Le présent exemple illustre aussi maintenant pourquoi le biais de sélection peut être soit positif, soit négatif. Supposons qu'un programme soit conçu pour aider les plus désavantagés dans une population donnée. Dans ce cas, il est probable qu'une simple comparaison de ceux qui suivent le programme et de ceux qui ne le font pas sous-estimerait l'effet véritable du programme.

Ces trois exemples montrent que, à toutes fins utiles, toute évaluation de programme est susceptible de se heurter à un biais de sélection. C'est que, dans presque tous les programmes ou interventions, les participants et les non-participants ont des choix à faire, tout comme les personnes qui administrent le programme. En raison de ces choix, les groupes de participants et de non-participants sont susceptibles de différer sous des aspects systématiques (ou non aléatoires). Si ces différences entre les participants et les non-participants sont également associées aux résultats du programme, la simple comparaison entre les participants et les non-participants aboutit à des estimations biaisées sur l'effet du programme. Pour corriger ce problème très courant, il existe un certain nombre de méthodes statistiques.