Vérification des activités de la Direction nationale du contrôle de la performance des subventions et contributions

 

 

Vérification des activités de la Direction nationale du contrôle de la performance des subventions et contributions

 

 

 

Créée à l’automne 1999, la Direction nationale du contrôle de la performance des subventions et contributions » (DNCPSC), fait fonction d’organisme de contrôle de la qualité, ce en mesurant la qualité de l’administration des ententes de subventions et contributions (S et C) au sein de DRHC.

 

Cette nouvelle direction effectue des examens continus de l’administration des programmes de S et C tout au long du cycle de vie d’un projet type de S et C.

 

Son travail consiste à réviser les dossiers et à réaliser des examens financiers des documents des promoteurs. À partir d’un échantillonnage aléatoire, la Direction collecte et analyse des données et fait rapport sur les diverses étapes de l’administration des S et C. Les examens de la DNCPSC offrent au Ministère de l’information continue et détaillée sur son niveau de conformité aux normes administratives requises et prévues pour les S et C.

 

Le comité consultatif de la DNCPSC a proposé que soit effectuée la vérification dont il est question dans le présent rapport. Le Comité de vérification et d’évaluation en approuvait le mandat le 8 février 2001. La vérification en question vise à offrir à la haute direction une opinion sur la pertinence des systèmes de contrôle interne mis en place par la direction de la DNCPSC et sur l’efficacité avec laquelle se déroulent l’application de l’échantillonnage approuvé, l’examen et les méthodes d’assurance de la qualité afin de fournir de l’information précise sur l’administration des S et C du Ministère.

 

La vérification a pour objectif global d’évaluer :

 

 

 

 

Conclusion globale

 

Suite à nos travaux de vérification et à la mise en œuvre réussie du plan d’action de la Direction pour aborder les enjeux mis en lumière dans le présent rapport, nos conclusions sont les suivantes : 1)    La sélection et la méthode d’examen des dossiers sont efficaces. 2)    La méthode d’examen est appliquée telle que prescrite et de façon consistante. 3)    Le cadre de contrôle de gestion est efficace. 4)    Selon les réserves définies par la DNCPSC dans ses rapports, on peut accorder un niveau de confiance élevé à l’information qu’elle produit. 5)    Selon nous, la DNCPSC a, dans une large mesure, rempli ses obligations par rapport à cette partie de son mandat; toutefois, nous ne sommes pas en position d’émettre pour l’instant une opinion sur la pertinence de la coordination des activités de la DNCPSC avec d’autres organismes au sein de DRHC. La vérification visait à fournir des conclusions avec un degré d’assurance élevé sur l’efficacité de l’application de la méthode d’examen (objectif 2) et sur la confiance à accorder aux renseignements fournis par la DNCPSC (objectif 4), ainsi qu’un degré d’assurance modéré pour les autres éléments de la vérification (objectifs 1, 3 et 5). La mesure continue des performances de la gestion des ententes de S et C est un outil essentiel pour le contrôle et l’évaluation du cadre de contrôle de gestion relatif aux S et C. Il faudrait continuer à présenter des rapports réguliers à la haute direction et aux comités connexes chargés de rendre des comptes et de produire des rapports. DRHC devrait continuer à surveiller étroitement la gestion des S et C et à faire rapport sur la question. Nous sommes d’avis que si les quatre recommandations incluses dans la section 4 du présent rapport sont mises en œuvre conformément aux discussions tenues avec la direction, le cadre global de processus et de contrôle déjà en place s’en trouvera raffermi et amélioré.

 

 

2.0     INTRODUCTION

 

Le présent rapport décrit les résultats de la vérification de la Direction nationale de dépistage des performances – subventions et contributions (DNCPSC) de Développement des ressources humaines Canada (DRHC). La période de vérification visée s’étend de février 2000 à mars 2001.

 

La Direction nationale du contrôle de la performance des subventions et contributions  (DNCPSC) a vu le jour au cours de l’automne 1999. Composée d’un personnel de 23 membres et dotée d’un budget de 2,7 millions de dollars, la Direction fait fonction d’organisme de contrôle de la qualité, ce en mesurant la qualité de l’administration des ententes de subventions et contributions (S et C) au sein de DRHC.

 

Le mandat de la DNCPSC est le suivant :

 

• Offrir l’assurance que les fonds de S et C sont gérés et dépensés conformément aux modalités du programme;
• Mettre en lumière les principaux secteurs de risques et offrir une orientation sur les approches à prendre pour atténuer ces risques;
• Contribuer au transfert de connaissances dans tout le Ministère;
• Coordonner les activités avec d’autres fonctions de contrôle et de post-dépistage menées au sein de DRHC ainsi que par des organismes externes pour veiller à ce que l’étendue de ces activités soit pertinente et qu’il n’y ait pas répétition des efforts.

 

Cette nouvelle direction mène des examens continus de l’administration des programmes de S et C tout au long du cycle de vie des projets de S et C.

 

La Direction utilise le processus suivant dans la poursuite de son mandat  : (disponible dans la version PDF seulement)

 

 

 

PTD Process = Processus de la DNCPSC

 

1. Sélection d’un échantillon

2. Examens des dossiers et visites sur place

3. Processus de certification de CQ

4. Examen de la gestion de la DNCPSC

5. Sommaires préliminaires

6. Réponses de la gestion

7. Sommaires finals

8. Consolidation et analyse des données

9. Mise au point du rapport de la DNCPSC

10. Communication des résultats.

 

La DNCPSC collecte ses renseignements en révisant les dossiers des secteurs de programme et en procédant à des examens financiers de la documentation des promoteurs. Elle analyse les données et fait ensuite rapport sur les diverses sous-activités de l’administration des S et C. Afin de s’acquitter de ce mandat, la Direction applique une rigoureuse méthode d’échantillonnage des dossiers à examiner. Cette méthode a été élaborée de concert avec les Services de vérification interne et de gestion des risques (SVIGR) de DRHC et soumise ensuite à un examen du Bureau du vérificateur général (BVG). Il y a également eu élaboration de méthodes d’examen des dossiers, d’examen financier de la documentation des promoteurs et d’assurance de la qualité au terme d’une vaste consultation avec la direction des programmes; ces méthodes ont ensuite été révisées par les SVIGR et le BVG. La Direction soumet également des rapports d’étape à intervalles réguliers.

 

Les examens de la DNCPSC offrent au Ministère de l’information continue et détaillée sur son niveau de conformité aux normes administratives prévues pour les ententes de S et C. La Direction a publié trois rapports d’étape trimestriels durant la période visée par notre vérification. Le dernier rapport portait sur 7 600 dossiers actifs au 31 mars 2000, ayant une date de début se situant entre le 1^er février 2000 et le 30 juin 2000. La DNCPSC a ainsi révisé un total de 419 dossiers au cours de sa première année de fonctionnement.

 

 

Univers de vérification de la DNCPSC en ce qui a trait aux S et C

 

L’univers de vérification du troisième rapport d’étape de progrès de la Direction nationale du contrôle de la performance portait, à quelques exceptions près, sur tous les dossiers de S et C ayant une date de début se situant entre le 1^er février 2000 et le 30 juin 2000. Trois secteurs spécifiques des S et C sont exclus de l’examen de la DNCPSC. Sont également exclus les dossiers autochtones pluriannuels, car ils ceux-ci ne répondaient pas aux critères relatifs à la date de début de l’examen de la DNCPSC. Les critères d’exclusion sont les suivants :

• Les affectations et sous-activités se rapportant uniquement au soutien individuel du revenu sont des dépenses exclues parce qu’elles impliquaient le versement direct de sommes d’argent à des personnes par suite d’une intervention de counselling et en raison du faible risque et du seuil d’importance relative de ces paiements. Les agents de programme locaux révisent ces ententes dans le cadre du processus d’examen des demandes. La DNCPSC n’a pas encore élaboré de plans pour réviser ces exclusions.
• Les paiements de transfert aux provinces, car ces dépenses seront vérifiées par les vérificateurs généraux provinciaux.
• Le programme Placement carrière-été, dont les exigences administratives diffèrent de celles des autres programmes de S et C. De plus, ce programme comporte un nombre très élevé de dossiers dont la valeur monétaire individuelle est faible. Les données recueillies pour ce programme à partir des méthodes de sélection aléatoire auraient, sur les résultats nationaux, une incidence non proportionnelle à la valeur même du programme, qui est de courte durée et financé une fois par année. Ces ententes feront l’objet d’un examen spécial de la DNCPSC, qui en est encore aux étapes de planification.
• Tel qu’énoncé dans le second rapport d’étape de la DNCPSC, on a sélectionné et ensuite exclu de l’échantillon les dossiers du Bureau des relations avec les Autochtones (BRA). Il s’agissait d’une décision fondée sur le fait que la plupart des ententes existantes du BRA étaient des contrats quinquennaux sur le développement des ressources humaines autochtones qui avaient débuté avant la date de début fixée pour le contrôle des performances. On effectue actuellement un examen des ententes du BRA, pour lequel un rapport sera produit sous peu. Les SVIGR réviseront ce rapport.

 

La liste de tous les dossiers inclus dans l’univers de vérification de la DNCPSC est produite par le système financier émanant de tous les engagements financiers réalisés par DRHC dans le cadre des S et C.

 

Les tableaux suivants (Disponibles dans la version PDF seulement) offrent un survol de la répartition des dossiers de S et C et des dépenses ainsi que des exclusions pour l’an 2000.

 

 

 

Conclusions générales de la DNCPSC dans son rapport de mars 2001

 

• La DNCPSC a fait état que la gestion et l’administration globales des programmes de S et C continuait à faire l’objet d’améliorations importantes et mesurables.
• Il faudrait noter que DRHC amis en oeuvre, depuis le 30 juin 2000, plusieurs mesures et initiatives précises pour améliorer l’administration globale de ses S et C. L’incidence globale de ces activités additionnelles ne figure pas dans le rapport de mars 2001, mais on s’attend à ce qu’elle devienne apparente dans les constatations des vérifications futures de la DNCPSC.

 

3.0     OBJECTIFS ET APPROCHE DE LA VÉRIFICATION

La vérification visait deux résultats. Le premier consistait à offrir à la haute direction une opinion sur la pertinence des systèmes de contrôle interne en place au sein de la Direction. Le second était de déterminer l’efficacité avec laquelle fonctionnait la Direction par rapport à son mandat.

 

Les objectifs précis de la vérification de déterminer :

 

1. l’efficacité de l’application des méthodes de sélection des échantillons et d’examen des dossiers élaborée par la DNCPSC;
2. l’efficacité de l’application des méthodes d’examen des dossiers élaborée par la DNCPSC (examen des dossiers et examen financier);
3. la pertinence du cadre de contrôle de gestion mis en place pour la DNCPSC;
4. la mesure dans laquelle on peut se fier à l’information tirée du système de dépistage des performances pour diverses activités de la DNCPSC;
5. l’ampleur et le degré de pertinence de la coordination des activités de la DNCPSC avec celles d’autres organismes de contrôle au sein de DRHC.

 

La vérification s’est déroulée à l’AC du 16 mai au 29 juin 2001 par suite de la production d’un rapport de planification qui détaillait les éléments suivants : la méthode de vérification à appliquer dans le cours du travail sur le terrain; un ensemble de critères à utiliser dans la poursuite des conclusions concernant la pertinence des pratiques de la DNCPSC; une approche générale pour la cueillette de données pertinentes afin de soutenir les conclusions de la vérification et les recommandations connexes. La vérification visait à fournir des conclusions assorties d’un niveau élevé d’assurance sur l’efficacité de l’examen des dossiers et la fiabilité des données recueillies, et d’un niveau modéré de confiance sur d’autres volets du projet de la vérification.

 

Le travail sur place comportait des entrevues, l’analyse de documents de la DNCPSC, des outils de travail élaborés par la DNCPSC ainsi que la vérification d’un échantillon statistiquement valide de dossiers de projet (administratifs et financiers). Le travail sur place portait sur les activités de la DNCPSC relatives aux trois rapports d’étapes présentés au cours de sa première année d’activité.

 

4.0     CONSTATATIONS

 

PREMIER OBJECTIf

 

Déterminer l’efficacité de l’application des méthodes (1) de sélection de l’échantillon et (2) d’examen des dossiers élaborées par la Direction nationale de contrôle de la performance (DNCPSC).

 

Cet objectif se divise en deux sous-objectifs : le premier porte sur les questions reliées à l’efficacité de l’application de la méthode de sélection de l’échantillon, et le second aborde les questions liées à l’efficacité des méthodes d’examen des dossiers élaborées par la DNCPSC.

 

(1) Efficacité de l’application de la méthode de sélection des échantillons

 

L’élaboration de la méthode d’échantillonnage utilisée par la DNCPSC découle d’un travail de consultation entre les Services de vérification interne et de gestion des risques de DRHC et la DNCPSC, avec l’aide d’un consultant externe spécialisé dans l’échantillonnage statistique. Le Bureau du vérificateur général a examiné et approuvé la méthode. Notre vérification portait sur les éléments suivants :

• la pertinence des critères de sélection des échantillons;
• l’utilisation adéquate des critères de sélection des échantillons;
• la précision des données téléchargées du système financier.

 

Nous avons révisé la méthode d’échantillonnage approuvée et effectué le processus d’échantillonnage complet appliqué par la DNCPSC pour la production de chacun de ses trois rapports d’étape nationaux. Dans tous les cas, l’application du processus d’échantillonnage était conforme aux exigences.

 

Tel que mentionné précédemment, l’univers de la vérification de la DNCPSC comporte plusieurs exclusions. Il s’agit d’exclusions ayant un fondement pertinent, et qui se répéteront à nouveau. Cependant, la DNCPSC devrait fournir des rapports distincts sur la conformité et l’efficacité de ces programmes exclus.

 

 

Conclusion

 

Nous concluons que la méthode d’échantillonnage a été appliquée, à tous égards importants, de manière cohérente et conforme aux instructions approuvées.

(2)   Efficacité des méthodes d’examen des dossiers élaborées par la DNCPSC

 

Les méthodes d’examen des dossiers élaborées par la DNCPSC visent les aspects suivants :

 

La DNCPSC a élaboré un questionnaire d’évaluation détaillé de l’examen des dossiers appelé Guide d’utilisation de l’outil, qu’elle a soumis au Bureau du vérificateur général pour qu’il le révise et apporte des améliorations, le cas échéant. Les agents chargés de l’examen des dossiers ont utilisé ce questionnaire pour évaluer sa conformité aux politiques et procédures actuelles concernant les ententes de S et C. Le questionnaire fait l’objet d’une mise à jour continue. Les données saisies sont intégrées dans la base de données de la DNCPSC à des fins d’analyse des données et de production de rapports. Le questionnaire porte sur les volets suivants du cycle de vie d’un projet type de S et C :

 

• Demande
• Évaluation environnementale
• Recommandation et approbation
• Passation de marchés
• Modifications
• Paiements
• Avances
• Contrôle
• Suivi et évaluation
• Conformité aux modalités
• Administration générale

et aux fins de l’examen financier :

• Examen des documents financiers
• Visites sur place au besoin

 

Dans chaque cas de non-conformité, la DNCPSC présente des observations et recommandations qui nécessiteront un suivi avec les responsables du programme.

 

En ce qui a trait au contrôle de la qualité, un groupe indépendant réalise un deuxième examen complet des résultats de la DNCPSC. Le groupe en question est composé de spécialistes fournis en vertu d’un entente avec Conseils et Vérification Canada. Par suite de l’examen du contrôle de la qualité, on fait parvenir des observations relativement au dossier ainsi que des recommandations aux responsables du programme afin qu’ils les valident et préparent une réponse. De plus, tous les examens réalisés nécessitent une attestation de gestion de la part du directeur de la DNCPSC. Au terme du processus complet du contrôle de la qualité, on intègre les réponses de la gestion et les plans d’action de suivi dans le sommaire final des résultats, lequel est expédié aux autorités de programme concernées qui en assureront le suivi et la mise en œuvre.

 

À la page 11-38 du chapitre 11 de son rapport d’octobre 2000 (point 11.146), le Bureau du vérificateur général s’exprimait en ces termes : « Le système de suivi du rendement que le Ministère a mis au point pour suivre les progrès réalisés représente une approche novatrice à la mesure continue du rendement. S'il est appliqué systématiquement, il devrait donner à la direction une bonne mesure des progrès réalisés. »

 

Nous souhaitons féliciter la DNCPSC pour la priorité qu’elle accorde à la mise à jour et à l’amélioration de l’efficacité du questionnaire du Guide d’utilisation de l’outil. Ce document est régulièrement révisé et mis à jour afin de s’assurer que les agents chargés de l’examen des dossiers et du contrôle de la qualité jouissent du meilleur outil possible pour faire une évaluation cohérente des dossiers révisés et que le tout est conforme à n’importe laquelle des politiques financières révisées, tel que la politique révisée sur les paiements de transfert.

 

Selon la politique actuelle de la DNCPSC, il faut effectuer une copie intégrale des dossiers sélectionnés à des fins d’examen et les acheminer à la Direction dans les dix jours ouvrables suivants. Le délai de renvoi du dossier permet de réaliser les activités suivantes :

• Un courriel est expédié au coordonnateur régional de la vérification lui demandant les dossiers à copier.
• Le coordonnateur régional de la vérification trie les dossiers par emplacement et communique avec l’agent de programme du CRHC local pour lui demander les documents de dossier à copier.
• Le dossier copié est acheminé au coordonnateur régional de la vérification.
• Les dossiers copiés sont rassemblés et ensuite expédiés à la DNCPSC, AC.

 

Comme certains des dossiers contiennent beaucoup de renseignements, il faut du temps et des efforts pour en copier le contenu. Le délai prévu de dix jours ouvrables semble approprié dans le cas des dossiers demandés d’un bureau local d’un CRHC. Toutefois, un tel délai peut paraître excessif en ce qui a trait aux dossiers conservés aux bureaux régionaux et aux programmes de l’AC.

 

Afin d’améliorer le contrôle exercé sur la réception des dossiers, la DNCPSC a récemment instauré un journal de contrôle, où est consignée la date de demande et de réception des dossiers avec le nombre de jours ouvrables écoulés. Le journal de contrôle utilisé pour le rapport d’étape de juillet 2001 démontrait que 69 % des dossiers n’étaient pas soumis à la DNCPSC à l’intérieur du délai accordé de 10 jours ouvrables. Dans certains cas, un certain nombre de dossiers ont été soumis au-delà de 30 jours ouvrables.

 

Conclusion

 

Nous concluons que la DNCPSC a élaboré des méthodes d’examen approprié des dossiers qui, lorsque appliquées de façon cohérente, permettent de mesurer adéquatement la performance de DRHC dans l’administration des S et C.

 

 

Recommandation n^o 1

 

Nous recommandons que la DNCPSC réexamine le temps attribué aux agents de programme des CRHC locaux, de l’administration régionale et de l’AC pour acheminer les dossiers sélectionnés à des fins d’examen de la DNCPSC.

 

Recommandation n^o 2

 

Nous recommandons que la DNCPSC révise tous les programmes exclus afin de trouver des méthodes efficaces et rentables pour mesurer la performance de DRHC.

 

 

DEUXIÈME OBJECTIF

 

Déterminer l’efficacité de l’application des méthodes d’examen des dossiers élaborée par la DCCPSC (examen des dossiers et examen financier des documents des promoteurs)

 

Afin de répondre à cet objectif de vérification, nous avons utilisé la méthode suivante :

 

Volet d’examen des dossiers

 

La DNCPSC a révisé un total de 419 dossiers à inclure dans les trois rapports d’étape nationaux produits durant notre période de vérification. De ces 419 dossiers révisés, nous avons choisi au hasard un échantillon statistiquement valide de 42 dossiers offrant un niveau élevé de confiance sur les résultats de l’examen. Nous avons également sélectionné 22 des questions les plus importantes (sur les risques clés) dans le questionnaire du Guide d’utilisation de l’outil de la DNCPSC. Nous avons par la suite procédé à un examen complet des dossiers sélectionnés de la DNCPSC afin de s’assurer de la pertinence des conclusions émises, de l’inclusion au dossier de toute la documentation requise et du report adéquat des données  à l’intérieur de la base de données de la DNCPSC (SRSSCRI).

Pour chacune des questions préalablement identifiées d’importance particulière, nous avons appliqué le même processus d’examen que la DNCPSC utilise, tel que décrit dans le Guide d’utilisation de l’outil de la DNCPSC. Notre objectif spécifique était de nous assurer de l’application cohérente et conforme du processus et des instructions de la DNCPSC. Nous avons également posé deux questions générales concernant les modalités et les formulaires contractuels normalisés.

 

Dans moins de 1 % des réponses vérifiées, notre évaluation du résultat divergeait de celle de la DNCPSC. Le rôle prédominant joué par la fonction de contrôle de la qualité de la DNCPSC s’avert très efficace. Outre cette fonction de contrôle, l’examen de la gestion réalisé par le directeur de la DNCPSC raffermit le processus de qualité et la fiabilité de l’examen effectué par la DNCPSC. À cela s’ajoutent des observations et recommandations pertinentes qui témoignent également du point de vue des responsables de programme. À celà s’ajoute des observations appropriées et recommandations qui reflètent le point de vue des gestionnaires de programmes et conclue avec un plan d’action  démontrant les mesures correctives à mettre en œuvre (ou déjà mises en œuvre) avec la date de réalisation ciblée.

 

 

Conclusion

 

Nous concluons que la méthode d’évaluation de l’examen des dossiers de la DNCPSC a été appliquée, à tous égards importants, de manière adéquate et cohérente.

 

 

Volet de l’examen financier

 

La Direction nationale de dépistage des performances effectue également des examens financiers complets et indépendants de bon nombre des dossiers sélectionnés à des fins d’examen. L’objectif du processus de vérification financière de la DNCPSC est de s’assurer que les demandes de remboursement des dépenses des promoteurs sont permises en vertu de l’entente conclue avec ces derniers. Les dépenses admissibles comprennent les dépenses réelles et engagées soutenues par une documentation adéquate.

 

La DNCPSC utilise deux méthodes d’examen. Dans les cas où les demandes de remboursement font état de faibles dépenses, la Direction procède à un examen financier à partir des pièces justificatives fournies par télécopieur. Dans les autres cas, une visite  aux promoteurs est effectuée pour réaliser la vérification financière. Le même processus de contrôle de la qualité ainsi que le processus d’examen effectué par la gestion sont utilisés autant pour les examens de dossiers que pour les examens financiers.

 

Dans le cadre de notre vérification, nous avons sélectionné dix dossiers pour lesquels la DNCPSC a effectué un examen financier. Nous avons soumis ces dossiers à notre

propre examen financier afin de s’assurer que l’examen mené par la DNCPSC répondait à l’objectif visé, que la documentation financière pertinente était versée au dossier et que des conclusions pertinentes étaient rapportées adéquatement dans la base de données de la DNCPSC, y compris le suivi approprié qui s’imposait.

 

Nous nous sommes rendu compte que l’un des dix dossiers sélectionnés n’avait pas fait l’objet de l’examen financier suffisamment approfondi auquel nous nous attendions. Toutefois, ce dossier avait été pris en charge au début de l’étape de l’élaboration de la méthode d’examen de la DNCPSC et du guide de l’utilisateur, de sorte que la situation n’est représentative de la qualité globale du travail réalisé par la DNCPSC. Les dossiers sélectionnés dans les lots subséquents démontraient tous, de la part des agents chargés de l’examen, un degré de diligence élevé.

 

Dans le cadre de notre vérification, nous avons identifié un domaine possible d’amélioration concernant le suivi des plans d’action de gestion. En ce qui a trait aux dossiers dont les mesures correctives peuvent être prises immédiatement, la DNCPSC jouit d’amples moyens de contrôle pour s’assurer que sont mises en œuvre des mesures correctives pertinentes. Les mesures correctives à long terme (p. ex. dans les dossiers futurs du genre) ou d’aspect plus général (c.-à-d. un changement de procédure pour le traitement de tous les dossiers) nécessitent une réponse de la gestion par l’entremise d’un plan d’action ayant comme objectif de corriger le problème. Toutefois, la DNCPSC ne dispose d’aucun processus officiel de suivi sur ces réponses incluses dans le plan d’action, et elle pourrait ne pas être l’organisme approprié au sein de DRHC pour réaliser un tel suivi.

 

Nous désirons souligner le travail effectué par les agents chargés de l’examen de la DNCPSC et du personnel d’assurance de la qualité pour l’excellente organisation des dossiers examinés. Les renseignements requis ont été répertoriés et faciles à trouver. La documentation requise incluse aux dossiers étayaient les conclusions et recommandations faites par la DNCPSC.

 

Conclusion

 

Nous concluons que le processus et les conclusions de l’examen financier de la DNCPSC sont, à tous égards importants, pertinents et précis.

 

Recommandation n^o3

 

Nous recommandons que la DNCPSC amorce des discussions visant l’élaboration et la mise en œuvre d’un système de suivi officiel des recommandations  en ce qui a trait aux situations qui ne peuvent être corrigées dans l’immédiat.

 

 

TROISIÈME OBJECTIF

 

Déterminer la pertinence du cadre de contrôle de gestion mis en place par la DNCPSC.

 

Au cours de la vérification, nous avons examiné les divers contrôles exercés par la DNCPSC sur les processus d’échantillonnage et d’examen des dossiers afin de s’assurer qu’ils étaient adéquats, efficaces et conçus pour tenir compte de tout facteur important pouvant avoir une incidence sur la poursuite des objectifs de la DNCPSC. Cette dernière a élaboré un guide opérationnel qui énonce les processus qu’elle applique et le cadre de contrôle de la qualité. Voici le résumé de ces processus :

 

Processus d’examen de la qualité :

• Le Guide d’utilisation de l’outil fait l’objet d’une mise à jour continue.
• L’examen de tous les dossiers s’effectue conformément au Guide.
• On trouve en place une fonction adéquate d’assurance de la qualité pour veiller à ce que les conclusions de l’examen de la DNCPSC soient précises et étayées à partir d’un nombre suffisant de preuves.
• Les résultats des examens de dossiers sont transmis aux agents de programme et à la gestion locale.
• Les résultats d’examen final reflète dûment les réponses de la gestion.
• Dans les cas de non-conformité, un examen de la gestion est effectué préalablement aux réponses obtenues.

 

Processus de production de rapports :

• On a créé une base de données dans laquelle sont intégrées les réponses aux questions posées dans le Guide.
• On produit des rapports réguliers conformément au calendrier énoncé dans le plan d’action en six points et le plan annuel de la DNCPSC.
• Des rapports préliminaires sont présentés à divers hauts fonctionnaires du Ministère pour qu’ils les examinent et présentent des observations.

 

À la lumière de notre travail de vérification, nous sommes d’avis que les différents processus de contrôle de la DNCPSC sont, dans un certain degré, excessifs. Nous estimons qu’il y aurait avantage à procéder à un nouvel examen du cadre de contrôle pour ce qui concerne le nombre d’employés mis à contribution dans le processus d’examen des dossiers. De façon générale, deux agents réalisent l’examen initial. Leurs constatations sont corroborées par un examen du superviseur, à quoi fait suite un examen de l’assurance de la qualité souvent réalisé par deux agents avant de solliciter une réponse de la direction pour toute observation notée nécessitant des mesures correctives. Le contrôle de la qualité porte sur le processus de réponse de la direction pour s’assurer que les observations soulevées ont été abordées. Le dossier est ensuite acheminé à la direction pour qu’elle l’approuve et le signe.

 

Nous avons remarqué que la DNCPSC a amorcé des discussions relié à la fréquence de la production de rapports d’étape trimestriels ayant comme objectif de diminuer le nombre de ceux-ci compte tenu de l’augmentation du nombre de requêtes spéciales et des analyses des tendances d’après les résultats. Leurs recommandations seront révisées par le comité consultatif de la DNCPSC et présentées à la haute direction à des fins de discussion et de décision.

 

Conclusion

 

Nous concluons que le cadre de contrôle de gestion de la DNCPSC qui est en place est efficace, mais qu’il y a place à amélioration.

 

Recommandation n^o 4

 

La DNCPSC devrait poursuivre son examen de son cadre de contrôle de la qualité afin d `identifier des domaines où l’efficacité pourrait augmenter.

 

 

Quatrième OBJECTIF

 

Déterminer la mesure dans laquelle on peut se fier à l’information tirée du système de dépistage des performances pour diverses activités de la DNCPSC.

 

Dans le cadre de l’engagement de DRHC concernant son Plan d’action en six points pour renforcer la gestion des programmes de subventions et contributions et le Plan annuel de la DNCPSC pour 2000-2001, la DNCPSC a su respecter en temps opportun l’engagement de DRHC de produire des rapports de progrès  trimestriels. Au 31 mars 2001, elle avait présenté au ministre trois rapports de progrès trimestriels, lesquels ont également été rendus publics. Ces rapports de progrès présentent de l’information sur le degré de conformité de DRHC au Conseil du Trésor et à d’autres politiques et directives pertinentes.

 

Outre les rapports d’étape de progrès trimestriels, la DNCPSC a présenté des rapports internes pertinents qui servent à transmettre :

• les résultats d’examens de dossier particuliers et des visites sur place;
• les secteurs pouvant faire l’objet d’améliorations (à l’échelon régional, ministériel ou de programme) afin de raffermir l’administration des subventions et contributions.

 

Le rapport d’étape de mars 2001 de la DNCPSC contenait des résultats statistiques valides pour l’analyse nationale cumulative par processus administratif. Aux fins de l’analyse cumulative par région et de l’analyse nationale trimestrielle par processus administratif, il y a eu production de résultats statistiques valides et partiels, qui étaient assortis d’une note précisant que certaines données n’étaient fournies qu’à titre informatif compte tenu du faible nombre de certaines réponses applicables à ce moment-là. La DNCPSC a clairement indiqué toutes ces limites dans ses rapports.

 

Nous avons vérifié si les résultats déclarés dans le rapport d’étape de la DNCPSC s’appariaient à ceux consignés dans sa base de données. Nous n’avons relevé aucun écart entre la base de données et l’information contenue dans les rapports trimestriels.

 

Selon sa propre évaluation, la DNCPSC a également clairement identifier dans ses rapports trimestriels de progrès des domaines précis nécessitant améliorations. À titre d` exemple de recommandations pour amélioration que nous pouvons retrouver à l` intérieur des rapports trimestriels de progrès:  fermeture des ententes; disposition des actifs; remboursement de la TPS; résultats régionaux pour les cinq plus petite régions; et les résultats par programmes pour certains programmes ayant peu d’ententes.

 

La DNCPSC a également indiqué qu’elle n’avait pas encore examiné suffisamment de dossiers pour fournir des résultats statistiquement valides sur l’étape de fermeture. Afin de résoudre la situation, elle effectuera une sélection spéciale de dossiers afin de produire des rapports sur la question de fermeture des dossiers.

 

La DNCPSC a tenue des discussions préliminaires sur les risques, où elle a établi des critères d’examen des dossiers selon trois niveaux de risques: élevé, moyen et faible. Cela aidera le lecteur à se concentrer sur les enjeux les plus importants et améliorera la qualité des renseignements fournis. 

 

Dans le domaine de contrôle financier, nous avons observé que la DNCPSC produit tel que prévu des rapports sur le contrôle de la performance. Durant notre période de vérification, les normes de documentation d’un contrôle financier étaient moins rigoureuses qu’elles le sont présentement. Cet état de choses limitait la capacité de la DNCPSC à évaluer avec précision la pertinence et la fiabilité du suivi financier réalisé par les agents de programme. Selon nous, le suivi financier réalisé sur place par les agents de programme est l’une des plus importantes activités dans l’administration des dossiers. Suite à la période de vérification, les secteurs de programme tout comme la DNCPSC avaient amélioré leurs processus et outils pour réaliser et évaluer l’aspect financier des ententes de S et C.

 

Conclusion

 

À l’intérieur des limites détaillées par la DNCPSC dans ses rapports, on peut accorder une confiance élevée à l’information qu’elle produit et fournit.

 

 

CINQUIÈME OBJECTIF

 

Déterminer la pertinence de l’ampleur de la coordination des activités de la DNCPSC avec d’autres organismes de contrôle au sein de DRHC

 

Cet objectif nous a amené à examiner deux aspects du mandat de la DNCPSC. Le premier aspect était l’ampleur de la coordination de l’examen des dossiers avec d’autres fonctions de vérification et d’examen au sein de DRHC afin de s’assurer que l’étendue de ces activités était pertinente et qu’il n’y avait pas dédoublement des efforts. Ces examens de dossiers peuvent inclure ceux effectués par les consultants lors des opérations de programmes, des vérifications a posteriori et des examens de la conformité des programmes, des examens des dossiers de la DNCPSC et des vérifications des Services de vérification interne et de gestion des risques. Le second aspect est la mesure dans laquelle la DNCPSC contribue au transfert de connaissances sur l’administration des S et C au sein de DRHC.

 

Il va de soi que la coordination des activités de la DNCPSC avec d’autres fonctions de contrôle et de vérification a posteriori au sein de DRHC est l’un des principaux aspects de son mandat. La DNCPSC a effectué un travail pertinent en ce qui a trait à la communication de ses plans, méthodes et résultats aux autres organismes de contrôle de DRHC.

 

Par suite de notre vérification, DRHC a élaboré et maintenu un cadre d’assurance de la qualité dans le but de raffermir la gestion des S et C. Ce cadre repose sur des principes de la fonction de contrôleur moderne et vise à atteindre un équilibre entre le service à la clientèle pour l’atteinte des résultats et la saine administration des fonds publics. Le cadre précise les rôles, le mandat et les relations entre les divers groupes engagés dans le cadre d’AQ pour les S et C. 

 

• Les éléments clés de ce cadre sont les suivants :
• le contrôle de projet;
• le contrôle de la qualité;
• les vérifications a posteriori
• les fonctions de conformité des programmes;
• la Direction nationale de contrôle de la performance.

 

Le cadre aborde également la question du dédoublement des efforts et du chevauchement dans l’établissement du mandat et l’objet de chacun des éléments du cadre. Au moment où sont menées à terme les fonctions de vérification a posteriori et de conformité des programmes et où leurs activités débutent, nous nous attendons à ce que le niveau de coordination parmi les trois fonctions/rôles témoigne de la qualité du travail de la DNCPSC sur le plan des opérations devant mener à un transfert amélioré de connaissances sur les S et C au sein de DRHC.

 

Conclusion

 

Notre vérification portait sur les activités de la DNCPSC se terminant en mars 2001. À ce moment, on était à l’élaboration et à la mise en oeuvre du cadre d’assurance de la qualité. À notre avis, bien que la DNCPSC ait rempli ses obligations dans ce volet de mandat, nous ne sommes pas en position de fournir une opinion sur la pertinence de la coordination des activités de la DNCPSC avec d’autres organismes au sein de DRHC.

5.0     CONCLUSION

 

À la lumière de notre travail de vérification et de la mise en œuvre réussie du plan d’action de la gestion (annexe C) pour aborder les enjeux cernés dans le présent rapport, nous  concluons que :

 

1)    La méthode de sélection des dossiers et d’examen des dossiers est efficace.

 

2)    La méthode d’examen est appliquée tel que prescrite et de façon cohérente.

 

3)    Le cadre de contrôle de gestion est efficace.

 

4)    Selon les limites définies par la DNCPSC dans ses rapports, on peut accorder un niveau élevé de confiance à l’information qu’elle produit.

 

5)    Selon nous, la DNCPSC a, dans une large mesure, rempli ses obligations par rapport à cette partie de son mandat; toutefois, nous ne sommes pas en position d’émettre pour l’instant une opinion sur la pertinence de la coordination des activités de la DNCPSC avec d’autres organismes au sein de DRHC.

 

La vérification visait à fournir des conclusions avec un degré d’assurance élevé sur les méthodes d’examen (objectif 2) et la confiance dans les renseignements fournis par la DNCPSC (objectif 4), et avec un degré d’assurance modéré sur les autres éléments de la mission de vérification (objectifs 1, 3 et 5). 

 

La haute direction de DRHC devrait continuer à surveiller étroitement la gestion des S et C afin de s’assurer qu’elle est adéquate. Nous sommes d’avis que si les quatre recommandations incluses dans la section 4 du présent rapport sont mises en œuvre conformément aux discussions tenues avec la direction, le cadre global de processus et de contrôle déjà en place s’en trouvera raffermi et amélioré.

 

 

 

 

ANNEXE C

 

Direction du contrôle de la performance des subventions et contributions nationales

 

Réponse de la direction

Vérification des activités de la Direction nationale du contrôle de la performance des subventions et contributions s

Services de vérification interne et de gestion des risques

 

 

La direction nationale du contrôle de la performance (DNCPSC) des subventions et contributions nationales approuve les recommandations qu’ont formulées les Services de vérification interne et de gestion des risques. Voici les mesures correctives envisagées par la DNCPSC :

 

 

Recommandation n^o  1 :

 

Nous recommandons à la Direction nationale du contrôle de la performance  des subventions et contributions de réexaminer le temps alloué aux agents de programmes locaux du Centre de ressources humaines du Canada (CRHC), du Bureau régional (BR) et de l’Administration centrale (AC) pour l’envoi des dossiers sélectionnés pour l’examen de la DNCPSC.

 

Acceptée. Les échéanciers actuels au CRHC, au BR et à l’AC seront réexaminés afin de déterminer s’ils devraient varier selon l’endroit. Cette mesure sera réalisée d’ici le 31 octobre 2001.

 

  Recommandation n^o  2 :

 

Nous recommandons à la Direction nationale du contrôle de la performance des subvention et contributions de procéder à l’examen de tous les programmes exclus afin de trouver des méthodes efficaces pour mesurer la performance de DRHC.

 

Acceptée. La méthode d’échantillonnage choisie rend obligatoire l’exclusion de certains programmes en raison du volume important et de la faible valeur du dollar, en vue d’accentuer le champ d’application des programmes de contributions. Tel que mentionné dans des rapports antérieurs de la Direction nationale du contrôle de la performance des subventions et contributions, des examens particuliers seront menés afin d’évaluer la conformité et produire un rapport sur les programmes exclus. L’établissement du plan opérationnel 2001-2002 et des échéanciers de la Direction nationale du contrôle de la performance des subventions et contributions permettra d’ajuster le calendrier des activités afin de s’occuper de ce champ d’application supplémentaire. Le plan opérationnel sera terminé d’ici le 1^er novembre 2001.

 

Recommandation n^o  3 :

 

Nous recommandons à la Direction nationale du contrôle de la performance des subventions et contributions d’amorcer les discussions au sujet de l’élaboration et de la mise en œuvre d’un système de suivi et de contrôle officiel pour les situations qui ne peuvent être corrigées immédiatement.

 

Acceptée. La Direction nationale du contrôle de la performance des subventions et contributions rencontrera les groupes de programmes afin de discuter de la responsabilité d’établir un processus de surveillance approprié pour s’assurer que les mesures correctives sont complètes. Les mécanismes de contrôle/suivi seront mis en œuvre d’ici le 1^er janvier 2002.

 

Recommandation n^o  4 :

 

La Direction nationale du contrôle de la performance des subventions et contributions devrait continuer d’examiner ses cadres de contrôle de la qualité afin de déterminer là où des gains de rendement sont réalisés.

 

Acceptée. Un cadre de contrôle de la qualité haut de gamme est déjà en place à la Direction nationale du contrôle de la performance des subventions et contributions pour son processus de validation, et celle-ci continue d’examiner ses cadres et processus de production de rapports sur une base continue afin de déterminer là où il y a place à amélioration. Il s’agit d’un processus continu.

 

Recommandations	Mesures correctives	Calendrier
1.   La Direction nationale du contrôle de la performance des subventions et contributions devrait réexaminer le temps alloué aux agents de programmes locaux du Centre de ressources humaines du Canada (CRHC), du Bureau régional (BR) et de l’Administration centrale (AC) pour l’envoi des dossiers sélectionnés pour l’examen de la DNCPSC.	La Direction procédera à un suivi approfondi des prochains dossiers à sélectionner et examinera les délais alloués dans les bureaux mentionnés.	Le 31 octobre 2001
2.   La Direction nationale du contrôle de la performance des subventions et contributions devrait procéder à l’examen de tous les programmes exclus afin de trouver des méthodes rentables pour mesurer la performance de DRHC.	Selon le plan opérationnel proposé pour 2001-2002, la Direction alternerait entre la production de rapports nationaux et de rapports de programmes particuliers qui s’appuient sur les exigences de la haute direction en ce qui a trait au caractère significatif et à l’évaluation des risques.	L’horaire du plan opérationnel sera établi d’ici le 1er novembre 2001.
3.   La Direction nationale du contrôle de la performance des subventions et contributions devrait amorcer les discussions au sujet de l’élaboration et de la mise en œuvre d’un système de suivi et de contrôle officiel pour les situations qui ne peuvent être corrigées immédiatement.	La Direction amorcera des discussions avec les zones de programmes afin de mettre en place un système de suivi approprié.	Le 1er janvier 2002
4.   La Direction nationale du contrôle de la performance des subventions et contributions devrait continuer d’examiner ses cadres de contrôle de la qualité afin de déterminer là où des gains de rendement sont réalisées.	Il s’agit d’un processus continu.	Continu