Rapport de vérification des contrôles de gestion des examens

N.B. Veuillez prendre note qu'en vertu de la Loi sur l'accès à l'information, certaines parties du texte comprises dans ces documents peuvent ne pas être publiées et seront identifiées comme suit : [ * ]. Pour fins de lisibilité, les contenus peuvent être condensés.

Table des matières

1. Résumé
2. Introduction
3. Contexte
4. Objectif et étendue de la vérification
5. Approche et méthode
6. Remerciements
7. Observations détaillées
   • 7.1 Organisation et processus
     • 7.1.1 Politiques et procédures d'administration des examens
     • 7.1.2 Responsabilités en matière de contrôle des examens
     • 7.1.3 Gestion de l'information relative à l'élaboration des examens
     • 7.1.4 Retrait des examens compromis de la circulation
     • 7.1.5 Système de gestion de l'inventaire
   • 7.2 Contrôle des processus
     • 7.2.1 Entreposage physique des examens
     • 7.2.2 Suivi de l'exploration de sécurité
     • 7.2.3 Accès au service central des dossiers
     • 7.2.4 Impression des examens par les fournisseurs
     • 7.2.5 Expédition et réception du matériel d'examen
     • 7.2.6 Mécanismes de contrôle régissant les examinateurs et les examinatrices ainsi que les administrateurs et administratrices des ministères et organismes investis de pouvoirs délégués
     • 7.2.7 Ministères et organismes non investis de pouvoirs délégués en matière d'administration des examens
     • 7.2.8 Mise en œuvre d'un environnement d'examen sécurisé
     • 7.2.9 Processus de repérage des tendances relatives au taux de réussite aux examens (analyse des tendances)
     • 7.2.10 Administration des examens en ligne
   • 7.3 Information et conseils
     • 7.3.1 Appui des autres directions générales de la CFP
     • 7.3.2 Mise en œuvre de la gestion des risques
   • 7.4 Responsabilisation
     • 7.4.1 Capacité et surveillance du rendement
   • 7.5 Gestion
     • 7.5.1 Durée d'utilisation prévue des examens
8. Conclusion
9. Annexe A – Critères de vérification

1. Résumé

Entre octobre 2004 et février 2005, la Direction de la vérification interne et de l'évaluation de la Direction générale de la gestion ministérielle à la Commission de la fonction publique du Canada (CFP) a réalisé une vérification des mesures de contrôle des examens de la CFP, après que l'on ait constaté que la sécurité de certains examens avait été compromise. Le Comité de vérification et d'évaluation a demandé à la Direction d'examiner le caractère adéquat de l'environnement de contrôle afin de prévenir l'accès non autorisé aux examens et l'utilisation de ceux-ci sans permission. La Direction devait aussi formuler des recommandations portant sur les améliorations nécessaires.

L'administration des examens est, par définition, une activité risquée, en particulier lorsqu'il existe un important volume et une vaste gamme d'instruments d'examen et de lieux d'administration des examens. La CFP reconnaît qu'il se peut que les examens soient compromis malgré les mesures de contrôle. Un cadre de contrôle exhaustif est nécessaire afin de relever toute compromission et de mettre en œuvre des mesures correctives de manière efficace et efficiente.

Objectif

L'objectif de la vérification était de déterminer si les mécanismes de contrôle mis en place pour assurer la sécurité des instruments d'examen de la CFP sont adéquats. L'équipe d'évaluation s'est penchée sur les politiques, les procédures, les systèmes et la nature du contrôle, principalement au Centre de psychologie du personnel (CPP), qui élabore et gère les examens et offre des services d'évaluation.

Conclusion

Nous avons constaté que le CPP dispose de nombreux éléments inhérents à un bon cadre de contrôle. Parmi ceux-ci, mentionnons des politiques, des procédures et des lignes directrices à l'intention des ministères et organismes qui gèrent des examens au nom de la CFP. Les responsabilités ont été clairement établies et elles ont été communiquées aux divisions du CPP. En général, les membres du personnel sont compétents et ont reçu la formation nécessaire quant aux aspects de sécurité que comportent leurs fonctions.

Cependant, il manque au CPP certains éléments importants pour assurer un bon système de contrôle. La plupart des procédures internes ne sont pas documentées. La bonne volonté et les efforts du personnel ne sont pas suffisants pour réaliser la coordination essentielle à un environnement sécurisé de gestion des examens. [*]

Le Système de contrôle de l'inventaire des examens (SCIE) est un mécanisme de contrôle important. La mise en œuvre actuelle d'un système de codes-barres facilitera l'identification claire et le comptage des examens, et augmentera la fiabilité de la base de données.

L'administration des examens est une responsabilité partagée avec les ministères et les organismes (organisations externes). Certaines de ces organisations sont des délégataires officielles et sont investies du pouvoir d'administrer les examens au nom de la CFP. D'autres ont refusé la délégation mais administrent tout de même des examens professionnels ou des examens de l'Évaluation de langue seconde (ELS). Environ 285 centres d'examen et plus de 850 examinateurs, examinatrices, coordonnateurs et coordonnatrices sont accrédités. Ce nombre continue d'augmenter à mesure que la CFP réduit sa participation à l'administration des examens. [*]

Un nombre croissant d'organisations sont censées adopter les examens en ligne plutôt que de recourir à la méthode du test papier-crayon. Les mesures de contrôle liées à cette méthode d'administration des examens doivent être renforcées, en particulier pour ce qui est du partage d'information et de la surveillance des obligations relatives à la sécurité des entreprises choisies pour administrer les examens en ligne.

S'il est vrai que le CPP dispose de mécanismes pour faire face aux risques associés à ses examens, il n'a pas encore mis en place une stratégie de gestion des risques en vue d'évaluer les risques inhérents à la gestion des examens.

En résumé, le CPP a établi un cadre de gestion des examens où figurent la plupart des éléments nécessaires. Toutefois, des améliorations doivent être apportées afin de garantir que la fréquence des examens compromis demeure peu élevée et que des mesures correctives peuvent être adoptées lorsqu'un examen est compromis.

Plan d'action

Le CPP accueille les recommandations. Pour chacune d'elles, à l'exception de la recommandation 14, le CPP mettra en œuvre des mesures correctives pendant l'exercice 2005-2006, dans les limites de son budget actuel. Avant d'entreprendre l'application de la recommandation 14, le CPP déterminera le coût des mesures correctives requises et préparera une étude de rentabilisation qui sera présentée dans le cadre du processus budgétaire de la CFP pour 2005-2006. Exception faite de la recommandation 14, le CPP prévoit que la plupart des mesures correctives seront en place d'ici mars 2006.

Haut de la page

2. Introduction

La Commission de la fonction publique (CFP) s'efforce de bâtir une fonction publique vouée à l'excellence et protège la compétence, l'impartialité, la représentativité et l'usage des deux langues officielles. La Direction de la vérification interne et de l'évaluation de la Direction générale de la gestion ministérielle à la CFP a réalisé une vérification des mécanismes de contrôle des examens au sein de l'organisation après que l'on ait constaté que la sécurité de certains examens avait été compromise. Le Comité de vérification et d'évaluation a demandé à la Direction d'examiner l'efficacité de l'environnement de contrôle afin de prévenir l'accès non autorisé aux examens et l'utilisation de ceux-ci sans permission. Cette vérification ne faisait pas partie du Plan de vérification interne de 2004-2005.

Haut de la page

3. Contexte

La CFP élabore des examens standardisés et fournit des services d'examen aux ministères et organismes fédéraux. La plupart des examens sont élaborés et mis à jour par le Centre de psychologie du personnel (CPP). Il existe plus d'une centaine d'instruments d'examen portant sur les langues, les connaissances et les capacités. De ce nombre, une quinzaine sont utilisés comme outils de sélection dans le cadre des processus de dotation et doivent faire l'objet d'un contrôle rigoureux pour ce qui est de leur utilisation et de la possibilité d'y avoir accès. Ils sont administrés environ 160 000 fois par an. Les examens les plus fréquemment utilisés sont les évaluations de langue seconde (ELS), sur le plan de la compréhension de l'écrit et de l'expression écrite, dans les deux langues.

Les examens utilisés lors des processus de dotation, que ce soit de façon directe ou indirecte, sont la propriété intellectuelle de la CFP. Leur élaboration exige beaucoup de temps et de ressources, car ils doivent être éprouvés et rigoureusement scientifiques. Le CPP a acquis une solide réputation au regard de cette expertise. La CFP veille à ce que les examens demeurent viables. Pour ce faire, leur contenu ne doit pas être révélé aux candidats et candidates avant l'administration des examens. Étant donné que des carrières peuvent dépendre des résultats, il se peut que des candidats et candidates ainsi que d'autres personnes intéressées puissent vouloir connaître à l'avance les questions d'examen. Ainsi, un processus d'examen crédible est nécessaire à un bon régime de dotation.

La Division de la recherche et du développement du CPP élabore les examens. Leur impression, leur manutention, leur distribution et la gestion de l'inventaire relèvent du Service des examens du Centre. [*] Les Services d'évaluation du CPP offrent une gamme de services d'évaluation destinés à tous les niveaux de gestion, allant des centres d'évaluation à d'autres services ne faisant pas partie des points abordés dans ce rapport, y compris les instruments et services de rétroaction 360̊, les vérifications approfondies de références et les dossiers de candidature.

Les examens peuvent être administrés par le CPP ou les bureaux régionaux de la CFP, mais plusieurs d'entre eux sont administrés par les ministères et organismes clients dans leurs propres bureaux. Il existe environ 285 centres servant à l'administration des examens de l'ELS; ces centres comptent plus de 850 examinateurs et examinatrices ainsi que coordonnateurs et coordonnatrices des examens. Les examens de l'ELS sont administrés par des examinateurs ou examinatrices ou encore des coordonnateurs ou coordonnatrices accrédités, à qui le CPP fournit le document intitulé Évaluation de langue seconde : Manuel de procédures administratives. Les autres tests, dont les examens professionnels, sont administrés par des administrateurs et administratrices d'examens, qui ne sont pas accrédités; on leur fournit toutefois le Manuel d'administration du CPP dans le cas des examens de la fonction publique.

Le CPP offre également à ses clients des services d'examen en ligne. La CFP, par le truchement de Travaux publics et Services gouvernementaux Canada (TPSGC), a conclu une entente avec une entreprise privée établie aux États-Unis pour fournir des examens en ligne de même que d'autres services. Cette entente a pris fin en juillet 2005. Seuls certains examens sont offerts grâce à ce service, parmi lesquels on trouve toutefois les examens administrés souvent et très en demande, notamment les examens de compréhension de l'écrit et d'expression écrite de l'ELS.

Des questions ont été soulevées en ce qui concerne la compromission potentielle de certains examens, en particuler l'Examen de connaissances en dotation (ECD), qui est géré par la Direction générale des politiques, ainsi que certains examens de l'ELS, qui sont gérés par le CPP. Des mesures correctives ont été mises en œuvre.

Le budget du CPP pour l'exercice 2004-2005 est de 3 747 707 $ (700 000 $ pour l'exploitation et l'entretien et 3 047 707 $ attribués aux salaires). Le Centre recouvre également des frais auprès de certains clients. Pour l'exercice financier en cours, on s'attend à ce que les frais recouvrés s'élèvent à 5 356 424 $.

La Direction générale de la vérification de la CFP est responsable des vérifications relatives aux processus de dotation dans les ministères et organismes investis de pouvoirs de dotation délégués. Ces vérifications pourraient notamment comprendre l'administration des examens liés aux processus de dotation lorsque ce pouvoir a été délégué.

Haut de la page

4. Objectif et étendue de la vérification

L'objectif de la vérification était de déterminer si les mécanismes de contrôle actuels visant à garantir la sécurité de tous les instruments d'examen de la CFP, en format papier ou électronique, étaient adéquats et s'ils permettaient de prévenir l'accès à ces examens sans autorisation ou d'en proscrire l'utilisation non autorisée.

Pour évaluer les mécanismes de contrôle des examens, l'équipe de vérification a examiné le cadre de gestion relatif aux instruments d'examen. Elle s'est également penchée sur les mesures de contrôle liées à la prévention, à la détection et à la correction actuellement en vigueur pour toutes les catégories d'instruments d'examen élaborés et tenus par la CFP qui servent au cours du processus de sélection. La vérification visait à évaluer si ces mécanismes de contrôle avaient été conçus de façon adéquate et s'ils donnent les résultats escomptés.

Dans le cadre de la vérification, on n'a pas tenu compte des instruments élaborés par la CFP pour les clients de l'extérieur qui en asssument la propriété et la responsabilité. On n'a pas pris en considération le Test d'interaction orale de l'ELS, étant donné que la sécurité relative à cet examen ne constitue pas un problème. La sécurité des résultats des examens a également été exclue de la vérification.

La vérification portait sur l'Examen de connaissances en dotation (ECD), même s'il n'existe à l'heure actuelle aucune exigence prescrite par les lois ou les politiques obligeant la CFP à se doter d'un programme d'accréditation en dotation; ce programme ne fait pas partie du processus de sélection. La CFP a remplacé l'examen dont la sécurité était compromise [*] .

Haut de la page

5. Approche et méthode

L'approche et la méthode suivantes ont servi à réaliser la vérification :

• Examen de tous les documents pertinents portant sur la gestion de l'administration des examens au CPP afin de bien comprendre les politiques, les procédures et les mécanismes d'établissement de rapports de la CFP et du CPP.
• Rencontre avec les principaux acteurs pour examiner les processus et les mécanismes de contrôle actuels et, ainsi, acquérir une compréhension solide et approfondie des processus actuels de gestion des examens. Réalisation d'entrevues avec le personnel de toutes les divisions du CPP, de la Région de la capitale nationale et de l'est de l'Ontario et des organismes qui fournissent du soutien au CPP (p. ex. le service central des dossiers et les Services de technologie de l'information). Les vérificateurs et les vérificatrices ont également rencontré des personnes de la Direction de la délégation ainsi que de la Direction générale de la politique et de la responsabilisation en matière de mérite afin de comprendre l'administration de l'ECD.
• Établissement des critères d'évaluation, afin d'être en mesure d'évaluer si le cadre de gestion est adéquat et s'il donne les résultats prévus (voir l'annexe A).
• Entrevues avec les membres du personnel du CPP et observation de leur travail en vue d'acquérir une bonne connaissance de la façon dont les mécanismes de contrôle fonctionnent. Les vérificateurs et les vérificatrices ont également examiné les caractéristiques relatives à la sécurité, telles que le plan d'action, la communication avec le personnel, les résultats de l'exploration de sécurité, ainsi que les mesures de correction adoptées.
• Examen des mécanismes de contrôle spécifiques des examens afin de mieux comprendre certaines activités de contrôle et, notamment, les mesures relatives à la prévention, à la détection et à la correction.

La plupart des examens réalisés lors de la vérification ont été faits par l'entreprise Pauline Blais et associés. La Direction générale de la vérification a également participé à l'examen de certains processus. Les examens ont eu lieu entre octobre 2004 et février 2005.

Haut de la page

6. Remerciements

Les vérificateurs et les vérificatrices tiennent à remercier les gens et les organisations qui ont participé à la vérification de leur collaboration et de leur aide.

Haut de la page

7. Observations détaillées

7.1 Organisation et processus

7.1.1 Politiques et procédures d'administration des examens

Il existe certaines politiques, procédures et lignes directrices relatives à l'administration des examens; celles-ci s'adressent surtout aux ministères et organismes qui administrent des examens. Toutefois, il n'existe aucune procédure interne sur les activités de gestion des examens [*]

Les vérificateurs et les vérificatrices ont évalué s'il existait des politiques, des procédures et des lignes directrices relatives à la gestion des examens et si celles-ci étaient communiquées, comprises et respectées. Ils ont découvert un Manuel de procédures administratives destiné principalement aux personnes qui participent à l'administration des séances d'examen de l'ELS (compréhension de l'écrit, expression écrite et interaction orale), tant au sein de la CFP que dans les ministères et organismes. Ces procédures ont été publiées en 1993 et doivent être révisées prochainement. D'autres manuels portent sur les examens papier-crayon et l'épreuve du courrier.

Les vérificateurs et les vérificatrices n'ont relevé aucune procédure interne écrite à l'intention des membres du personnel du Service des examens sur la façon de réaliser les différentes activités dont ils ont la responsabilité. La direction reconnaît que les membres du personnel peuvent ne pas être au courant de certaines procédures relativement anciennes. Bien que le Service ait subi une réduction de personnel, les fonctionnaires en poste ont à leur actif plusieurs années d'expérience à la CFP et dans le domaine de l'administration des examens. Cette situation contribue à réduire les risques associés à un manque de procédures internes. Toutefois, il est impossible de s'assurer que les services sont complets et uniformes si les procédures internes ne sont pas documentées. [*]

Ces dernières années, le Service des examens a élaboré un processus servant à communiquer avec les ministères non investis de pouvoirs délégués qui ne retournent pas les examens. Cependant, le processus n'a pas encore été documenté ni communiqué aux ministères et organismes. [*]

Recommandation :

(1) Le CPP, à titre de direction, devrait documenter ses processus de gestion des examens. Il devrait élaborer des procédures et des politiques plus précises afin de s'assurer que les mesures de contrôle liées à la gestion des examens sont clairement identifiées et qu'elles sont communiquées et suivies.

Réponse de la direction :

(1) Le CPP prendra les mesures suivantes avant le 31 mars 2006 :

• revue des processus existants;
• révision et amélioration des procédures, au besoin;
• préparation d'un document portant sur les procédures de gestion des examens [*] ;
• communication des procédures, à l'interne et aux clients.

Haut de la page

7.1.2 Responsabilités en matière de contrôle des examens

Dans l'ensemble, les responsabilités liées à la gestion des examens au CPP ont été identifiées et communiquées et elles sont comprises. [*]

La vérification a permis de déterminer si les responsabilités en matière de contrôle des examens sont clairement établies, communiquées et comprises. Les membres du personnel du CPP ont décrit les mesures concrètes qu'ils mettent en œuvre pour s'acquitter de leurs responsabilités en la matière. Par exemple :

• [* liste des mesures]

[*exemple d'une situation mal gerée.]_ Les vérificateurs et les vérificatrices croient que la situation aurait dû faire l'objet d'une enquête en vertu de la Politique sur la sécurité de la CFP, étant donné que ces incidents compromettaient des biens et représentaient donc un « incident de sécurité ».

[*]
Il n'existe pas de lignes directrices précises relatives à ce qui constitue un « incident » dans le contexte d'un examen ni à la façon dont les enquêtes doivent être menées, déclarées et résolues.

Recommandation :

(2) Le CPP devrait préciser, en collaboration avec les Services de sécurité, ce qui constitue un « incident » relatif aux examens ainsi que le processus d'établissement de rapports à cet égard. Par la suite, le processus d'établissement de rapports relatifs aux incidents devrait être communiqué au personnel du CPP.

Réponse de la direction :

(2) Le CPP précisera, en collaboration avec les Services de sécurité, ce qui constitue un « incident » et des processus seront mis en place afin de communiquer ces renseignements au personnel avant le 30 septembre 2005.

Haut de la page

7.1.3 Gestion de l'information relative à l'élaboration des examens

S'il est vrai que des progrès ont été réalisés en ce qui a trait à l'introduction de la gestion de l'information au sein de la Division de la recherche et du développement, la mise en œuvre de la stratégie n'est pas satisfaisante.

Les vérificateurs et les vérificatrices ont examiné les questions de sécurité liées à la gestion de l'information relative à l'élaboration des examens au sein de la CFP pour s'assurer qu'elles étaient adéquates, comprises et surveillées.

On a découvert que la Division de la recherche et du développement avait élaboré un processus et des lignes directrices [*description d'un projet informatique]. Cette tâche informatique est importante et requiert de la planification. Aucun critère relatif à la désignation des documents devant être déplacés en priorité ni aucun plan visant à réaliser l'exercice n'avaient été établis. La direction croyait que le travail serait effectué plus rapidement avec des ressources plus considérables.

L'Examen de connaissances en dotation (ECD) a cessé d'être utilisé au cours de l'été 2004 après qu'on ait soulevé des allégations, selon lesquelles l'examen circulait au sein de la collectivité des ressources humaines. Jusque-là, la Direction de la délégation n'avait pas fourni un environnement suffisamment sûr. Le CPP est maintenant responsable de la distribution de l'ECD aux ministères autorisés.

Recommandation :

(3) La Division de la recherche et du développement devrait accorder la priorité à l'inititative entreprise l'an dernier afin que celle-ci puisse être complétée dans un délai raisonnable. Le groupe de la TI peut faciliter le processus, s'il y participe.

Réponse de la direction :

(3) Le travail est en cours. La Division de la recherche et du développement accorde la priorité à cette initiative depuis 2003. Celle-ci sera mise en œuvre pour tous les nouveaux projets de 2005. En ce qui concerne les données antérieures, le travail sera entrepris d'ici mars 2006.

Haut de la page

7.1.4 Retrait des examens compromis de la circulation

[* description des interventions faites lors d'examen compromis]

Les vérificateurs et les vérificatrices ont examiné la façon dont les ministères ont été mis au courant de ces incidents. Les communications relatives au processus de rappel ont été expédiées par courrier électronique, au moyen de listes d'envoi, à des individus plutôt qu'aux chefs du personnel, comme cela se fait habituellement pour les communications avec les ministères et organismes. Bien qu'elle soit potentiellement plus rapide, l'utilisation de la méthode actuelle comporte le risque que des administratrices et administrateurs suppléants ne reçoivent pas les communications et libère les ministères de la responsabilité d'aviser la CFP au sujet de tels remplacements.

Les vérificateurs et les vérificatrices ont également appris que des versions de remplacement des examens ne pouvaient pas être obtenues facilement si un examen s'avérait compromis, [*]

Haut de la page

7.1.5 Système de gestion de l'inventaire

Le Système de contrôle de l'inventaire des examens (SCIE) constitue une mesure de contrôle importante pour le maintien de l'intégrité des examens de la CFP. Il doit donc toujours fournir des renseignements fiables. Au fil des années, différents problèmes concernant la saisie de données ont compromis la qualité de l'information fournie par le Système.

Les vérificateurs et les vérificatrices ont cherché à savoir s'il existait au Service des examens du CPP un système adéquat de gestion de l'inventaire facilitant le contrôle des examens et la gestion de leur restitution par les ministères et organismes ainsi que par d'autres membres du personnel de la CFP.

Le SCIE est en vigueur depuis plusieurs années. Lors de la conversion de l'ancien système au nouveau, aucune mesure d'assurance de la qualité n'a été mise en œuvre pour garantir que l'inventaire de l'information transférée était exact. S'il est vrai que cette fonctionnalité est adéquate, l'information produite par le système n'est pas encore considérée comme fiable en raison de la saisie incorrecte de données [*]

Jusqu'à l'introduction récente de codes-barres, les examens expédiés par l'imprimerie n'étaient pas comptés à leur arrivée. C'est plutôt le nombre fourni par le fournisseur qui était entré dans le SCIE. Il est possible que ce processus ait donné lieu à des irrégularités en ce qui a trait aux chiffres de l'inventaire. Étant donné que les fournisseurs de services d'impression inscrivent maintenant les codes à barres sur les examens et que ceux-ci sont balayés avant que les examens ne soient inclus dans l'inventaire, la situation devrait être régularisée.

Des membres du personnel travaillant dans la Région de la capitale nationale de l'est de l'Ontario ont indiqué avoir reçu des examens du CPP accompagnés d'une liste comportant des erreurs. Par exemple, un même numéro de série figurait sur deux examens, une partie du numéro était inversée ou les examens n'étaient pas classés dans l'ordre numérique à l'intérieur des boîtes. Le bureau régional a mis en doute la fiabilité du SCIE en raison du nombre d'erreurs commises.

Les examens sont tous codés au moyen du nouveau système de codes-barres. Le Service des examens entend réaliser un nouvel inventaire des stocks et il modifiera les renseignements contenus dans le SCIE en conséquence.

Recommandation :

(5) Un inventaire des stocks devrait être réalisé parallèlement à la mise en œuvre du système de codes-barres. Toutes les irrégularités devraient ensuite être corrigées afin de garantir que le système fournit des renseignements de qualité.

Réponse de la direction :

(5) L'implantation du système de codes-barres est déjà bien amorcée et des efforts seront déployés afin de terminer le codage de l'inventaire en 2005-2006. Celui-ci sera mis à jour continuellement afin de fournir de l'information de qualité.

Haut de la page

7.2 Contrôle des processus

Lors de l'évaluation des mesures de contrôle, les vérificateurs et les vérificatrices ont examiné les mesures internes du CPP pour garantir l'existence d'un environnement de contrôle adéquat en matière de gestion des examens. Les mesures de contrôle tiendraient compte de l'importance relative, de la sensibilité du public et des risques, conformément à la Politique de gestion des risques du Secrétariat du Conseil du Trésor.

Dans le contexte de la gestion des examens, des mécanismes de contrôle internes devraient exister pour ce qui est d'un grand nombre d'activités. Ces mécanismes garantissent que des mesures appropriées de prévention, de détection et de correction sont en place.

Haut de la page

7.2.1 Entreposage physique des examens

La plupart des examens administrés par le CPP sont conservés dans des pièces sécurisées [*]. Des mesures de sécurité bloquent l'accès non autorisé. [*]

Recommandation :

[*]

Réponse de la direction :

[*]

Haut de la page

7.2.2 Suivi de l'exploration de sécurité

Selon les résultats de l'exploration de sécurité réalisée en septembre, le personnel de la CFP n'accorde pas toute l'importance voulue à la sauvegarde des renseignements liés à la sécurité. Les examens non protégés de la CFP figurent au nombre des problèmes soulevés en matière de sécurité. À la suite de l'exploration de sécurité, le CPP s'est employé à résoudre plusieurs problèmes de sécurité.

L'exploration de sécurité a permis de relever plusieurs problèmes liés à la protection des examens. [*]

Haut de la page

7.2.3 Accès au service central des dossiers

Selon une entente, le service central des dossiers ne doit pas [*description d'un processus non acceptable].
[*]

7.2.4 Impression des examens par les fournisseurs

Pour l'impression des examens, le CPP a retenu trois fournisseurs qui respectent les obligations en matière de sécurité pour ce qui est de l'impression de renseignements de nature délicate. Or, la sécurité pourrait être améliorée davantage en ce qui concerne les rapports avec ces fournisseurs.

Le Service des examens a retenu trois fournisseurs ayant une attestation de VOD (protection des documents et sécurité des installations). Aucun contrat officiel n'a été conclu entre la CFP et ces compagnies. La comparaison de cette situation contractuelle et de celle de l'entreprise qui fournit des services d'examen en ligne au CPP permet de constater que rien ne prouve que les membres du personnel des fournisseurs de services d'impression ont fait l'objet d'une vérification approfondie de la fiabilité.

Selon la direction, les documents à imprimer sont livrés à l'imprimeur par porteur, et non expédiés par télécopieur ou par courrier. [*]

Recommandation :

(7) Le CPP devrait accroître la sécurité des entreprises d'impression en inscrivant sur les documents de commande des obligations relatives à la sécurité. Nous recommandons également d'exiger que les fournisseurs de services d'impression obtiennent une cote de sécurité accordée à la suite d'une vérification approfondie de la fiabilité pour tous les membres de leur personnel travaillant aux examens de la CFP.

Réponse de la direction :

(7) Le CPP a obtenu la confirmation du niveau de sécurité des imprimeries. [*]

Haut de la page

7.2.5 Expédition et réception du matériel d'examen

L'expédition et la réception des examens sont effectuées par du personnel d'expérience. Bien qu'ils ne disposent pas de procédures écrites, ils s'acquittent de leurs responsabilités en gardant toujours à l'esprit l'asepct sécuritaire des examens.

Le Service des examens a créé une série de processus visant à garantir que les examens ne sont expédiés qu'au personnel autorisé. [*]

Lorsque les ministères et les organismes retournent des examens portant déjà un code à barres, les codes sont balayés par un lecteur optique et remis en stock.

Le CPP devrait inclure les procédures d'expédition et de réception dans le document recommandé précédemment, portant sur les procédures internes.

Haut de la page

7.2.6 Mécanismes de contrôle régissant les examinateurs et les examinatrices¹ ainsi que les administrateurs et administratrices des ministères et organismes investis de pouvoirs délégués

Le CPP s'attend à ce que les examinateurs et les examinatrices ainsi que les administratrices et administrateurs d'examens l'informent lorsqu'ils ne participent plus à l'administration des examens. [*]

Le CPP délègue aux ministères et aux organismes qui le désirent la responsabilité d'administrer les examens.

[*] Les procédures d'administration des examens sont transmises en bonne et due forme aux examinateurs et examinatrices ainsi qu'aux administrateurs et administratrices au moyen d'un manuel disponible sur Internet.

[*]
Depuis le milieu des années 1990, le personnel du Service des examens a été réduit. Il lui a donc fallu augmenter le nombre de ministères et d'organismes qui administrent les examens en son nom. Par ailleurs, s'il est vrai que les activités des ministères et des organismes augmentent, ces derniers connaissent une instabilité grandissante au sein de leur personnel. [*] On compte environ 285 centres d'examen ainsi que 850 examinateurs, examinatrices, coordonnateurs et coordonnatrices accrédités.
[*]

Recommandations :

(8a) Le Service des examens devrait poursuivre son examen proactif de l'exactitude de la base de données et ajouter cette fonction à ses responsabilités courantes.
[*]

Réponse de la direction :

(8a) Cette fonction d'examen proactif a été ajoutée aux responsabilités du Service et sera exercée de façon continue.
[*]

Haut de la page

7.2.7 Ministères et organismes non investis de pouvoirs délégués en matière d'administration des examens

La participation des ministères et organismes aux processus relatifs aux examens professionnels et à l'ELS devait au départ être gérée au moyen d'un processus de délégation. Toutefois, le CPP envoie actuellement des examens (tests professionnels et l'ELS) qui doivent être administrés par des ministères et organismes non délégataires.[*]

Les ministères et les organismes qui ne souhaitent pas se prévaloir d'une délégation officielle des pouvoirs d'administration des examens professionnels ou d'ELS peuvent tout de même administrer ces examens sans délégation.[*]

Les rapports avec les ministères et organismes qui ne sont pas investis de pouvoirs délégués augmentent la charge de travail du Service des examens, étant donné que ces organisations ne peuvent pas tenir un stock d'examens, et elles doivent les retourner dans les 30 jours suivant leur administration. Le Service des examens ne compile pas de statistiques sur le nombre de commandes expédiées aux ministères et organismes non investis de pouvoirs délégués, mais ces commandes représentent une importante partie des activités du Service. Le CPP expédie environ 10 commandes par jour à des ministères et organismes (qu'ils soient délégataires ou non).

Recommandation :

(9) Le CPP devrait améliorer les mécanismes de contrôle relatifs aux ministères non investis des pouvoirs de délégation, [*]

Réponse de la direction :

(9) Le CPP accueille la recommandation et entreprendra un examen des ministères qui devraient être délégataires. Dans le cadre de l'examen des pouvoirs de la CFP lié au recouvrement des coûts, cet aspect sera abordé pour les clients régis par la LEFP et ceux qui ne le sont pas. Depuis le 1er juin 2005, ces derniers n'ont pas accès à de tels documents. L'examen des clients régis par la LEFP sera terminé avant la fin de mars 2006.
Le CPP examinera [*une certaine question] et il prendra des mesures en fonction des résultats de cet examen. L'évaluation des risques devrait être terminée avant le 31 octobre 2005.

Haut de la page

7.2.8 Mise en œuvre d'un environnement d'examen sécurisé

Les ministères et les organismes qui acceptent les pouvoirs délégués en matière d'administration des examens professionnels et de l'ELS acceptent du même coup de fournir un environnement d'examen sécurisé où le matériel d'examen pourra être protégé de façon adéquate. Cette observation est également valable dans le cas des ministères et organismes non investis de pouvoirs délégués; ceux-ci doivent tout de même fournir un environnement sécurisé.[*]

Le CPP s'attend à ce que les ministères et organismes, délégataires ou non, administrent les examens professionnels et de l'ELS dans un environnement d'examen sécurisé, conformément à leurs obligations, qui sont énoncées dans l'entente signée avec le CPP.
[*]

Recommandation :

[*]

Réponse de la direction :

[*]

Haut de la page

7.2.9 Processus de repérage des tendances relatives au taux de réussite aux examens (analyse des tendances)

Le CPP conserve la capacité, en matière de psychométrie, de recherche et d'analyse, d'évaluer les propriétés des examens et de suivre les résultats des examens. [*]

À la suite de l'incident relatif [* à une certain situation], le CPP a réalisé une analyse et constaté qu'il est difficile d'associer les tendances à un établissement particulier ou à un groupe de personnes passant un examen qui ont toutes été formées dans un établissement précis. Les tendances générales ont été analysées et le CPP croit que les effets d'un examen compromis sur des personnes susceptibles de passer un tel examen sont minimes, étant donné que ces personnes n'auraient accès qu'aux questions de l'examen et non aux réponses. Les évaluations réalisées jusqu'à maintenant n'ont fait ressortir aucune tendance anormale en ce qui concerne la compromission. Selon le CPP, aucun candidat ou candidate n'a tiré parti des examens compromis.

[*] Il se peut que des niveaux de compromission peu élevés existent, mais ils ne sont pas détectés parce qu'ils peuvent être masqués par les écarts statistiques normaux ou qu'ils peuvent déjà figurer dans les données de référence des examens qui existent depuis longtemps.

Recommandation :

(11) Le CPP devrait déterminer si un système de détection plus fiable doit être élaboré afin de repérer la compromission potentielle des examens.

Réponse de la direction :

(11) Une fois que les fonds nécessaires seront disponibles, il se peut que ce problème n'existe plus. Le CPP réalisera cette étude au cours du présent exercice financier.

Haut de la page

7.2.10 Administration des examens en ligne

Les examens en ligne sont administrés avec la participation d'une entreprise du secteur privé sans que des mesures de sécurité adéquates n'aient été prises.

Avec l'aide de Travaux publics et Services gouvernementaux Canada (TPSGC), la CFP a conclu un contrat avec une entreprise américaine. Les modalités du contrat exigent une attestation de vérification d'organisation désignée (VOD) en vigueur, une Attestation de sécurité d'installation ainsi qu'une cote de protection des documents de niveau Protégé B de la part d'un fournisseur canadien. [*] TPSGC n'a pu fournir au CPP l'attestation de sécurité requise qu'une fois la vérification terminée.

Le contrat stipule que les membres du personnel de l'entrepreneur doivent avoir fait l'objet d'une vérification approfondie de la fiabilité pour avoir accès aux renseignements protégés expédiés par le CPP. Ce dernier présumait que les membres du personnel de l'entrepreneur avaient obtenu la cote de sécurité requise [*].

[*] Bien que l'entreprise ait immédiatement pris des mesures pour résoudre le problème, la situation démontre qu'une surveillance constante est nécessaire pour s'assurer que l'entrepreneur respecte ses obligations en matière de sécurité.
[*]

Recommandation :

(12) Toutes les obligations en matière de sécurité liées aux examens en ligne devraient être relevées et documentées par le CPP et faire l'objet d'une surveillance continue. Toutes les personnes qui participent à la mise en œuvre de la sécurité, y compris les Services de TI, devraient se réunir régulièrement pour évaluer l'ensemble de l'environnement de sécurité associé aux examens en ligne.

Réponse de la direction :

(12) TPSGC a confirmé que l'entreprise avait maintenant obtenu l'attestation requise, qu'elle se conforme aux exigences et qu'elle connaît ses obligations en matière de sécurité.
Le CPP a entrepris de surveiller la sécurité de façon continuelle, en collaboration avec la DSTI et les Services de sécurité de la Direction générale de la gestion ministérielle. Il est important de noter que les données relatives aux candidats et candidates ne sont pas stockées aux États-Unis et n'y passent pas. [*]

Haut de la page

7.3 Information et conseils

7.3.1 Appui des autres directions générales de la CFP

Étant donné que l'attention se tourne de plus en plus vers la sécurité, le CPP demande maintenant l'expertise des autres directions générales afin de l'aider à faire les bons choix relativement à la gestion des examens.

Les vérificateurs et les vérificatrices ont passé en revue le niveau de conseils et d'analyse visant à appuyer les responsabilités en matière de gestion des examens. Ils s'attendaient à constater que des rapports de gestion appuyant la prise de décisions, la responsabilisation et le contrôle étaient en place.

Au cours des années, le CPP a réduit certaines de ses activités liées à la protection des examens. [*] En raison de l'importance accrue accordée à la sécurité, des activités supplémentaires sont réalisées afin de fournir un environnement plus sécuritaire pour protéger les examens, étant donné que ceux-ci sont une ressource importante de la CFP.

Le Service des examens consacre de plus en plus de temps et de ressources à la protection des examens. La mise en œuvre du système de codes à barres [* créé des à fins spécifiques] ainsi que les obligations additionnelles en matière de sécurité imposées aux entrepreneurs qui administrent les centres d'évaluation (déjà en place) sont des exemples d'initiatives menant à une gestion plus efficace des examens.

On demande de l'aide aux autres directions générales au besoin. Les récents échanges avec les Services de sécurité sont un bon exemple de l'appui offert au sein de la CFP.

Haut de la page

7.3.2 Mise en œuvre de la gestion des risques

Le CPP n'a mis en œuvre aucune approche de gestion des risques en ce qui concerne la gestion des examens dont il a la responsabilité. Aucun processus officiel d'établissement de rapports de gestion n'a été établi. Il n'existe pas de processus régulier d'établissement de rapports relatifs à certains mécanismes de contrôle clés qui pourraient attirer l'attention de la Commission sur les faiblesses rapportées relativement à la gestion des examens.

Selon la Politique de gestion des risques du SCT, les ministères doivent déterminer, analyser et évaluer les risques auxquels ils font face en ce qui concerne leurs biens. Ils doivent mettre en œuvre des mesures efficientes de contrôle des risques afin de prévenir, de réduire et d'éviter ceux-ci et enquêter sur les incidents. Ils doivent prévoir des mesures en vue de remplacer les biens endommagés (examens) le plus rapidement possible. Les systèmes d'établissement de rapports de gestion devraient donc fournir l'information requise pour appuyer ces processus.

Les vérificateurs et les vérificatrices ont constaté qu'il n'existait aucun mécanisme officiel d'établissement de rapports au sein des divisions du CPP, mais que celles-ci rendaient compte de manière non officielle. [*]

Recommandations :

(13a) Le CPP devrait mettre en place une approche de gestion des risques, évaluer les risques de façon régulière (une fois l'an) et déterminer les mesures d'atténuation à prendre.

(13b) Le CPP devrait mettre en place une approche en vue de l'établissement de rapports de gestion qui résumeraient les résultats des mécanismes de contrôle clés et fourniraient rapidement à la direction et à la haute direction des avertissements quant aux problèmes possibles.

Réponse de la direction :

(13a) Le CPP évalue régulièrement les risques par l'entremise du Comité de mise à jour des examens, du Comité de gestion de la recherche et du développement, puis du Comité de gestion. Il accepte d'élaborer une approche plus systématique en vue d'évaluer les risques annuellement et de déterminer les mesures d'intervention, sous réserve que des ressources additionnelles lui soient fournies en vue de la mise en œuvre de telles procédures.

(13b) Un mécanisme d'établissement de rapports de direction visant à fournir rapidement à la direction et à la haute direction des avertissements sur les problèmes potentiels sera élaboré parallèlement à l'approche susmentionnée, avant le 31 mars 2006.

Haut de la page

7.4 Responsabilisation

7.4.1 Capacité et surveillance du rendement

Les personnes chargées du contrôle des examens sont compétentes et ont été formées en conséquence. Elles doivent toutefois veiller à ce que tous les mécanismes de contrôle nécessaires soient en place et qu'ils fonctionnent comme prévu. Le soutien nécessaire pour atteindre le niveau de contrôle requis n'est pas toujours disponible.

Les vérificateurs et les vérificatrices ont évalué si le CPP et les gens responsables du contrôle des examens étaient compétents, s'ils avaient reçu la formation nécessaire et s'ils disposaient des ressources requises pour s'acquitter de leurs responsabilités en matière de gestion des examens. [*]

Les vérificateurs et les vérificatrices ont appris que le service à la clientèle constituait la clé de toutes les activités du CPP. Le Service des examens a une norme de service de 24 à 48 heures pour la livraison des examens après la réception d'une commande. De même, les bureaux régionaux s'efforcent de fournir les examens de l'ELS à leurs clients dans les 10 jours suivant une demande.

Les entrevues ont permis de constater que, depuis quelques années, la CFP offre moins de services directs, tels que l'administration des examens. Elle compte maintenant sur les ministères et les organismes pour administrer les examens professionnels et ceux de l'ELS.

L'augmentation du volume d'examens administrés par les ministères et les organismes n'a pas été suivie d'un accroissement des activités de surveillance ni d'une intensification de la rigueur des procédures internes documentées. La direction du CPP a indiqué que des analyses de rentabilisation datant de mai 2003 ont été refusées, lorsque des demandes d'augmentation des ressources affectées à l'évaluation et à la surveillance ont été présentées.

Haut de la page

7.5 Gestion

Haut de la page

7.5.1 Durée d'utilisation prévue des examens

L'environnement dans lequel les examens sont administrés lorsque plusieurs ministères et organismes (délégataires ou non) sont impliqués ainsi que la petite collectivité où les enseignants et enseignantes travaillent (écoles de langues, ministères, CFP) augmentent tous deux la vulnérabilité des examens et limitent leur durée d'utilisation. Or, certains examens existent depuis longtemps, ce qui fait qu'ils sont plus susceptibles d'être compromis. [*]

Aucune évaluation de risques portant sur le processus proprement dit de la gestion des examens n'a été réalisée récemment. Le CPP ne se conforme donc pas à la Politique de gestion des risques du SCT.

Les membres du personnel du CPP interrogés ont indiqué que la probabilité qu'un examen soit compromis augmente avec le temps et ce, en dépit des mesures de contrôle. La direction du CPP compte sur le comité chargé de la mise à jour des examens pour la conseiller quant aux priorités de remplacement. [*]

Des études réalisées par la direction du CPP indiquent que les examens de remplacement coûtent cher. Par exemple, un examen de l'ELS pourrait valoir autant que deux ou trois équivalents temps plein professionnels, en plus des autres frais tels que l'impression. Néanmoins, des examens de remplacement valides doivent pouvoir être utilisés rapidement, dans le cas où un examen serait largement compromis. Étant donné que les examens sont essentiels dans le cadre de certains processus de dotation, ils devraient être considérés comme des éléments nécessaires dans la stratégie de reprise des activités de la CFP.

Le CPP n'a pas évalué la durée d'utilisation optimale des examens, compte tenu des variations de l'environnement dans lequel ils sont administrés; il n'a pas prévu non plus de demandes de financement dans son plan financier ni dans son budget.

Recommandation :

(14) Le CPP devrait établir et mettre en œuvre une stratégie en vue de se doter d'examens de remplacement et reconnaître à la fois la durée utile prévue d'un examen type et la possibilité que des besoins urgents surgissent.

Réponse de la direction :

(14) Avant décembre 2005, le CPP élaborera une stratégie en vue d'élaborer et de financer des versions de remplacement [*détails des objectifs de cette stratégie.]

Haut de la page

8. Conclusion

Nous avons constaté que le CPP dispose de nombreux éléments inhérents à un bon cadre de contrôle. Parmi ceux-ci, mentionnons des politiques, des procédures et des lignes directrices à l'intention des ministères et organismes qui gèrent des examens au nom de la CFP. Les responsabilités ont été clairement établies et elles ont été communiquées aux divisions du CPP. En général, les membres du personnel sont compétents et ont reçu la formation nécessaire quant aux aspects de sécurité liés à leurs fonctions.

Cependant, il manque au CPP certains éléments importants pour assurer un bon système de contrôle. La plupart des procédures internes ne sont pas documentées. La bonne volonté et les efforts du personnel ne sont pas suffisants pour réaliser la coordination essentielle à un environnement sécurisé de gestion des examens. [*]

Le Système de contrôle de l'inventaire des examens (SCIE) est un mécanisme de contrôle important. La mise en œuvre actuelle d'un système de codes-barres facilitera l'identification claire et le comptage des examens, et augmentera la fiabilité de la base de données.

L'administration des examens est une responsabilité partagée avec les ministères et les organismes (organisations externes). Certaines de ces organisations sont des délégataires officielles et sont investies du pouvoir d'administrer les examens au nom de la CFP. D'autres ont refusé la délégation mais administrent tout de même des examens professionnels ou des examens de l'ELS. Environ 285 centres d'examen et plus de 850 examinateurs, examinatrices, coordonnateurs et coordonnatrices sont accrédités pour administrer les examens. Ce nombre continue d'augmenter à mesure que la CFP réduit sa participation à l'administration des examens. [*]

Un nombre croissant d'organisations sont censées adopter les examens en ligne plutôt que de recourir à la méthode du test papier-crayon. Les mesures de contrôle liées à cette méthode d'administration des examens doivent être renforcées, en particulier pour ce qui est du partage d'information et de la surveillance des obligations relatives à la sécurité des entreprises choisies pour administrer les examens en ligne.

S'il est vrai que le CPP dispose de mécanismes pour faire face aux risques associés à ses examens, il n'a pas encore mis en place une stratégie de gestion des risques en vue d'évaluer les risques inhérents à la gestion des examens.

En résumé, le CPP a établi un cadre de gestion des examens où figurent la plupart des éléments nécessaires. Toutefois, des améliorations doivent être apportées afin de garantir que la fréquence des examens compromis demeure peu élevée et que des mesures correctives peuvent être adoptées lorsqu'un examen est compromis.

Le CPP accepte les recommandations. Pour chacune d'elles, à l'exception de la recommandation 14, le CPP mettra en œuvre des mesures correctives pendant l'exercice 2005-2006, dans les limites de son budget actuel. Avant d'entreprendre l'application de la recommandation 14, le CPP déterminera le coût des mesures correctives requises et préparera une étude de rentabilisation qui sera présentée dans le cadre du processus budgétaire de la CFP pour 2005-2006. Exception faite de la recommandation 14, le CPP prévoit que la plupart des mesures correctives seront en place d'ici mars 2006.

Haut de la page

Annexe A Critères de vérification

La vérification a servi à évaluer si ces mesures de contrôle sont conçues adéquatement et, lorsqu'elles sont en place, si elles fonctionnent comme prévu.

• L'entreposage des examens permet de prévenir l'accès non autorisé aux renseignements de nature délicate.
• L'accès aux renseignements relatifs aux examens provenant du système de la CFP et du service central des dossiers ainsi que l'utilisation de ces renseignements sont limités au personnel autorisé.
• L'impression des examens par les fournisseurs est coordonnée correctement afin de prévenir la fuite de renseignements de nature délicate.
• L'expédition et la réception du matériel d'examen se font de manière à prévenir la perte d'examens.
• Des mécanismes sont en place en vue de l'accréditation des examinateurs et examinatrices ainsi que des administrateurs et administratrices, de leur inscription au système de la CFP et de leur retrait de la base de données lorsqu'ils cessent d'administrer les examens.
• Des procédures d'administration des examens existent et sont communiquées aux examinateurs et aux examinatrices.
• La sélection et la gestion des spécialistes des examens (pour les épreuves du courrier) sont effectuées dans un contexte de sécurité adéquat.
• Les ministères et les organismes ont mis en place un environnement d'examen sécurisé afin de tenir l'inventaire des examens et d'administrer les examens professionnels ainsi que les tests de compréhension de l'écrit et de l'expression écrite de l'ELS.
• La surveillance des activités, réalisée par les ministères et les organismes, se fait de façon régulière.
• Les allégations relatives aux examens compromis font l'objet d'enquêtes officielles, et des examens de remplacement sont utilisés au besoin.
• Des processus sont utilisés pour repérer les tendances relatives au taux de réussite aux examens.
• L'administration des examens en ligne se fait en tenant compte de la protection des renseignements relatifs aux tests dans un environnement électronique.
• Les risques liés aux examens sont gérés adéquatement, conformément à la Politique de gestion des risques du Secrétariat du Conseil du Trésor, en vertu de laquelle la CFP doit évaluer, réduire ou éliminer les risques pour ses biens (examens), minimiser et restreindre les coûts et les conséquences des incidents qui causent des dommages ainsi que prévoir des mesures en vue d'un recouvrement et d'une récupération rapides

Note

¹ L'expression « examinateur » est utilisée pour parler des personnes qui administrent les examens de l'ELS; il s'agit de l'expression figurant dans le document du CPP intitulé Évaluation de langue seconde : Manuel de procédures administratives. L'expression « administrateur d'examens » fait référence aux personnes qui administrent les autres examens, tels que les examens professionnels; il s'agit de l'expression figurant dans le document Examens de la CFP – Manuel d'administration.