Agence canadienne de développement international

Les programmes géographiques

line

Introduction

21.7 L'ACDI administre environ 78 p. 100 de l'Enveloppe de l'aide internationale (EAI). Le reste est assuré, entre autres, par le ministère des Finances Canada, le ministère des Affaires étrangères et du Commerce international et le Centre de recherches pour le développement international.

21.8 L'ACDI achemine l'aide internationale par le biais de divers mécanismes. Les programmes géographiques, également connus sous le nom de programmes bilatéraux ou de pays à pays, représentent près de la moitié de ses dépenses. Le reste de l'aide est fourni sous forme de crédits à des institutions multilatérales comme les programmes des Nations Unies, à des institutions financières internationales comme les banques régionales de développement et à une multitude d'organisations non gouvernementales, dont des universités, des entreprises et des organismes sans but lucratif.

21.9 Par suite de l'Examen des programmes, le budget de l'aide internationale du Canada a été réduit, passant de 2,6 milliards de dollars en 1994-1995 à 2,1 milliards de dollars en 1997-1998; à l'intérieur de cette enveloppe, les dépenses de l'ACDI au titre de l'aide publique au développement (APD) sont passées de 2,2 milliards de dollars en 1994-1995 à 1,7 milliard de dollars en 1995-1996, et sont demeurées relativement stables depuis ( voir la pièce 21.1 ). En avril 1995, le gouvernement a transféré à l'ACDI la gestion du programme pour l'Europe centrale et de l'Est et les nouveaux États indépendants, qu'administrait jusque-là le ministère des Affaires étrangères et du Commerce international. Bien que ce programme ne relève pas de l'APD canadienne, il doit respecter les six priorités de l'aide publique au développement définies dans la politique étrangère.

21.10 L'EAI s'établit à environ deux milliards de dollars pour 1998-1999, dont 1,6 milliard seront consacrés aux programmes de l'ACDI. Les programmes bilatéraux (programmes géographiques et aide alimentaire bilatérale) représentent quelque 790 millions de dollars ou environ 50 p. 100 des dépenses totales de l'Agence ( voir la pièce 21.2 ).

Objet de la vérification
21.11 Cette vérification est la troisième et dernière phase d'un suivi planifié. La première phase comportait deux volets : tout d'abord, l'évaluation par l'Agence même des mesures prises dans le contexte de son effort de renouveau pour donner suite aux principales préoccupations exprimées dans notre rapport de 1993; et en second lieu, l'élaboration par l'Agence d'un modèle de mesure du rendement (maintenant système d'examen du rendement des projets bilatéraux). La deuxième phase portait sur les progrès réalisés par l'ACDI dans la mise en oeuvre de ce modèle visant à lui permettre de mesurer le rendement de ses programmes et projets bilatéraux et de communiquer de l'information à cet égard. La présente vérification constitue la troisième phase du suivi de notre rapport de 1993. Des détails sur la méthode utilisée pour effectuer nos travaux sont présentés à la fin du chapitre, à la section À propos de la vérification .

21.12 Étant donné que l'APD est fournie par le biais de projets, nous avons axé nos travaux de vérification sur cet élément. Nous avons analysé le cadre de programmation de l'Agence pour les pays visés par la vérification, ainsi que les liens entre celui-ci et les projets mis en oeuvre dans ces pays. Nous avons examiné 28 projets dans cinq pays, en portant une attention particulière à la planification, à la gestion axée sur les résultats, à la mesure des résultats ainsi qu'à l'information communiquée sur ceux-ci. Au cours de nos travaux de vérification, les pays partenaires de l'ACDI nous ont soulignés à maintes reprises le dévouement du personnel de l'Agence et sa coopération. Les constatations visant des pays particuliers sont présentées dans les études de cas .

Observations et recommandations

Régler les conflits entre les objectifs

Le lien entre l'aide et les objectifs de la politique étrangère est davantage resserré
21.13 En 1993, nous craignions qu'il ne soit difficile pour l'ACDI de se concentrer sur son objectif prioritaire de réduction de la pauvreté et de promotion de l'autonomie, tout en poursuivant des objectifs commerciaux et politiques qui ne permettaient pas toujours de s'attaquer directement à la pauvreté et favorisaient la dépendance extérieure.

21.14 Nous estimions que l'Agence ne devrait poursuivre des objectifs incompatibles ou contradictoires qu'en pleine connaissance de leur incidence sur les objectifs primordiaux. C'était la capacité de l'ACDI à s'acquitter efficacement de son mandat qui était en jeu.

21.15 En 1995, le gouvernement a publié son énoncé de politique étrangère, Le Canada dans le monde , où il expose le nouveau mandat de l'aide publique au développement (APD) et définit l'aide internationale comme un outil qui fait partie intégrante de la politique étrangère :

L'objectif de l'APD canadienne est de soutenir le développement durable dans les pays en développement afin de réduire la pauvreté et de rendre le monde plus sûr, plus juste et plus prospère.
21.16 Dans Le Canada dans le monde, le gouvernement indique que l'APD canadienne doit concentrer les ressources disponibles sur les priorités de programme suivantes : les besoins humains fondamentaux; les femmes et le développement; les services d'infrastructure; les droits de la personne, la démocratie et le bon gouvernement; le développement du secteur privé; l'environnement.

21.17 Le Canada dans le monde a aidé l'ACDI à s'attaquer aux problèmes d'objectifs contradictoires. Le tout a débouché sur l'élaboration d'un cadre stratégique qui permet d'établir un lien plus rationnel entre les efforts de développement de l'ACDI et la politique étrangère canadienne que ne le permettait la stratégie antérieure. En outre, cela a aidé l'Agence à expliquer son travail à ses partenaires et aux intervenants.

21.18 L'ACDI budgétise son APD bilatérale par pays. La nécessité de concentrer les efforts sur un nombre limité de pays est une question de longue date. Dans Le Canada dans le monde, le gouvernement s'engage à agir dans ce sens tout en maintenant des programmes dans d'autres pays grâce à des mécanismes peu dispendieux et faciles à administrer. Plus de 120 pays ont reçu du Canada une aide publique au développement en 1996-1997; les 20 bénéficiaires les plus importants représentaient près de 63 p. 100 du montant total. Cela constitue une hausse par rapport à 1993-1994, alors que les 20 bénéficiaires les plus importants se partageaient 58 p. 100 du montant total de l'APD. Comme le montre la pièce 21.3 , l'aide consentie aux pays considérés comme les « moins avancés » par l'Organisation de coopération et de développement économiques (OCDE) et à d'autres pays « à faible revenu » est demeurée stable, soit environ 458 millions de dollars ou 55 p. 100 des dépenses de l'ACDI au titre de l'APD.

21.19 Le Canada dans le monde prévoit que 25 p. 100 de l'APD doit être consacrée aux besoins humains fondamentaux, ce qui inclut l'aide humanitaire d'urgence. En 1996-1997, 38,4 p. 100 des dépenses de l'ACDI au titre de l'APD ont été engagées à ce titre, y compris l'aide alimentaire et l'aide humanitaire (33,9 p. 100, si l'aide humanitaire d'urgence est exclue).

Mettre en oeuvre la gestion axée sur les résultats

Il y a des progrès évidents au chapitre de la gestion axée sur les résultats
21.20 À la suite de son examen de la gestion stratégique de 1992 et de notre rapport de 1993 sur ses programmes bilatéraux, l'ACDI a lancé une grande initiative de renouveau en 1994. Elle s'était engagée envers le Parlement à devenir une organisation plus responsable et davantage axée sur les résultats. Elle a adopté un énoncé de principe sur la gestion axée sur les résultats, une initiative à l'échelle de l'organisation, pour lui permettre de donner suite méthodiquement à ses engagements ( voir la pièce 21.4 ).

21.21 Pour opérationnaliser son énoncé de principe et intégrer le concept de gestion axée sur les résultats à l'exécution des projets, l'Agence a pris plusieurs mesures :

Ces mesures, entre autres, ont permis à l'Agence de faire d'énormes progrès dans la mise en place du système de soutien à la mise en oeuvre de la gestion axée sur les résultats.

Un cadre de responsabilisation a été élaboré
21.22 En 1993, nous avons souligné qu'il fallait clarifier dans quelle mesure l'ACDI doit rendre compte au Parlement de la gestion axée sur les résultats et dans quelle mesure le personnel de l'Agence et ses partenaires sont respectivement responsables de l'obtention des résultats. En juillet 1998, le Comité de direction de l'Agence a approuvé un cadre de responsabilisation. On y définit les responsabilités de l'Agence en général, celles de la présidente ainsi que celles des chefs et des principaux gestionnaires des directions générales.

21.23 Selon la définition générale de la responsabilisation, telle qu'énoncée dans le cadre, l'ACDI doit déterminer ses objectifs et montrer que les ressources qui lui sont affectées au titre du développement international sont gérées de manière à obtenir les résultats escomptés à cet égard. Elle doit également rendre compte au Parlement et au public canadien des résultats obtenus par ses programmes de développement. Le cadre de responsabilisation indique que l'ACDI doit partager avec les pays en développement et ses partenaires canadiens et étrangers la responsabilité des résultats au regard du développement. Sa propre responsabilité à cet égard doit donc être vue dans cette optique. Par ailleurs, l'ACDI accepte la responsabilité de surveiller les actions des partenaires bénéficiaires de même que d'autres événements qui peuvent influer sur les buts du développement, de prendre des mesures pour assurer la poursuite des buts fixés, et d'en rendre compte.

21.24 En raison de la responsabilité conjointe de l'exécution du programme d'APD, il est particulièrement important que l'ACDI assure le suivi de ses programmes et projets, pour être en mesure de rendre compte du rendement de l'APD canadienne par rapport aux résultats attendus. Il serait utile que l'ACDI fournisse ce type d'information dans son rapport sur le rendement au Parlement.

21.25 L'ACDI assume l'entière responsabilité de l'obtention des résultats opérationnels. Cela signifie qu'elle est entièrement responsable de l'établissement des objectifs, de l'élaboration des politiques, de la sélection des initiatives de développement, de l'affectation des ressources, du suivi du rendement et de l'information communiquée sur celui-ci. Cela suppose également qu'elle détermine les extrants et les effets escomptés, évalue les risques connexes, assure un suivi à cet égard, et prenne les mesures correctives appropriées.

Les travaux relatifs au régime de passation des marchés axé sur les résultats ont connu un ralentissement considérable
21.26 Les efforts de l'Agence pour mettre en place un régime de passation de marchés axé sur les résultats n'ont pas porté fruit. L'ACDI fournit presque la totalité de l'APD bilatérale par le biais de marchés avec des agents d'exécution canadiens (AEC). En 1995, elle a reconnu qu'elle devait élaborer une méthode de passation de marchés qui définirait les responsabilités et les risques respectifs des agents d'exécution et de l'ACDI. En 1996, l'ACDI a consulté la communauté des AEC. Un groupe de travail mixte, formé de représentants de l'Agence et des AEC, a défini le régime de passation des marchés axé sur les résultats comme étant une méthode fondée sur une approche itérative et participative de définition des résultats qui vise à encourager l'obtention de résultats sur le plan du développement par le biais de clauses contractuelles appropriées comme l'énoncé de travail, les modalités de paiement (dont les incitatifs) et des indicateurs de rendement fixés par entente mutuelle.

21.27 Dans son rapport publié en juin 1996, le groupe de travail a exprimé certaines réserves à l'égard de cette méthode et a donc formulé un certain nombre de principes directeurs. Il a demandé à l'Agence et aux fournisseurs de donner suite aux idées et suggestions contenues dans son rapport et d'élaborer en outre les politiques, programmes et pratiques opérationnelles nécessaires pour mettre en oeuvre un régime de passation des marchés axé sur les résultats. Toutefois, l'ACDI a jugé que cela n'était pas praticable. Depuis, les progrès ont été très lents. Les représentants de l'ACDI nous ont dit que l'élaboration d'une méthode de passation des marchés axée sur les résultats était beaucoup plus complexe que prévu. En juillet 1998, un comité ayant à sa tête la présidente a été mis sur pied pour revoir et simplifier le régime de passation des marchés de l'Agence. Sa mission consistera, entre autres, à recommander les changements requis pour mettre en oeuvre une méthode de passation des marchés axée sur les résultats.

21.28 L'ACDI devrait déployer tous les efforts possibles afin de déterminer les mesures pratiques qu'elle peut prendre pour intégrer les principes de la gestion axée sur les résultats à ses marchés, et en faire l'essai dans le cadre de projets choisis.

Réponse de l'ACDI : L'ACDI continuera de mettre en oeuvre les mesures établies par le Comité pour améliorer la passation de marchés. Selon les résultats des projets pilotes, elle adoptera une méthode pratique et itérative de passation des marchés axée sur les résultats et, lorsque cela est possible, appliquera les leçons apprises à ce processus, tout en reconnaissant qu'il s'agit là d'une initiative à long terme.

La gestion et la surveillance des risques doivent être intégrées plus systématiquement aux projets
21.29 Lors de la vérification des programmes bilatéraux de l'ACDI en 1993, nous avions constaté que des améliorations devaient être apportées à la façon de gérer les risques opérationnels. L'ACDI a alors pris des mesures pour améliorer sa gestion des risques. Les gestionnaires de projets devaient surveiller les risques prévus et utiliser l'information recueillie pour modifier les activités de projet au besoin. L'énoncé de principe sur la gestion axée sur les résultats et le cadre des résultats et des facteurs clés de réussite indiquent que la gestion des risques fait partie intégrante de la gestion axée sur les résultats, tant au niveau du pays qu'au niveau des projets. Nous avons constaté que l'ACDI avait amélioré les directives et la formation relatives à la détermination et à l'évaluation des risques. Les gestionnaires apprennent à inclure dans les documents d'approbation les hypothèses principales concernant les risques, et ce, aux niveaux des extrants, des effets et des impacts des projets. Toutefois, peu de directives pratiques leur sont fournies relativement à la collecte et à l'utilisation de données sur les risques des projets, sauf à l'égard des risques financiers, lesquels changent avec le temps. L'ACDI gagnerait à élaborer des directives et des outils plus précis dans ce domaine.

21.30 Dans notre rapport de 1993, nous soulignions la nécessité de pouvoir détecter rapidement les difficultés que pose un projet. Nous avons constaté que, dans la plupart des projets examinés, la surveillance continue des risques cernés à l'étape de la planification était limitée et qu'aucune stratégie particulière n'était mise en oeuvre pour gérer ces risques. Dans les rapports sur les projets qu'ils présentent à l'administration centrale de l'ACDI, les agents d'exécution canadiens traitent habituellement des activités menées, non des risques. Dans un certain nombre de projets, l'analyse des risques effectuée à l'étape de la planification avait permis de prévoir, dans une certaine mesure, les problèmes qui se sont posés ultérieurement.

21.31 Les directives et la formation fournies par l'ACDI portent pour l'instant sur les risques externes, ceux qui échappent au contrôle direct des gestionnaires de projets et qui, souvent, sont liés au degré d'engagement du pays bénéficiaire. Les directives passent sous silence la gestion des risques internes, par exemple ceux liés aux tâches indispensables, au personnel clé ou à la complexité du projet, qui est tout aussi importante.

21.32 L'ACDI devrait élargir la portée de ses directives sur l'évaluation et la gestion des risques pour inclure les risques internes tout autant qu'externes d'un projet.

Réponse de l'ACDI : L'ACDI renforcera son processus d'identification, d'évaluation et de gestion des risques internes des projets, en améliorant les lignes directrices énoncées dans la Carte routière des programmes bilatéraux, et en intégrant davantage la gestion des risques aux séances de formation portant sur la gestion axée sur les résultats.

Il est essentiel de déterminer si les avantages d'un projet sont durables
21.33 Pour qu'il y ait développement, les avantages d'un projet doivent persister au-delà de la période de financement. Il faut prendre en considération la durabilité des avantages tout au long de la réalisation du projet et assurer un suivi à cet égard, une fois le projet achevé, pour déterminer si les avantages escomptés ont été durables. La pièce 21.5 présente quatre indicateurs clés de durabilité des projets. Nous avons constaté que, lorsque des événements mettaient en péril les conditions favorables à la durabilité, les gestionnaires de projets réagissaient différemment. Certains prenaient des mesures pour faire face au risque. D'autres avaient tendance à poursuivre le projet en y apportant des modifications mineures ou envisageaient d'injecter des ressources additionnelles, plutôt que de prendre du recul et de faire une analyse plus poussée afin de déterminer si le projet devait être sensiblement changé ou abandonné.

21.34 Généralement, pour assurer la durabilité des programmes, il faut maintenir son engagement à l'égard des projets pendant une longue période, peut-être de dix à quinze ans. Cet engagement doit s'accompagner d'une stratégie portant sur le niveau de programmation approprié, la participation d'autres donateurs et la capacité du pays bénéficiaire de prendre en main les activités de projet une fois que l'ACDI met fin au financement. Nous avons constaté que la période de cinq ans planifiée par l'ACDI ne couvre pas la période nécessaire pour que les effets de ces projets à plus long terme puissent se manifester. Par conséquent, certains des projets ne peuvent être durables que si leur phase initiale, habituellement cinq ans, est suivie d'une ou deux autres phases. Mais les documents de planification ne tiennent pas toujours compte de cet élément.

21.35 L'ACDI et d'autres donateurs tendent de plus en plus à privilégier les initiatives à caractère plus « mou », comme les projets de développement institutionnel et de renforcement des capacités que nous avons examinés. Comme la gestion et la mesure des résultats obtenus par ces projets posent de nouveaux défis et que les projets sont indirectement liés à la réduction de la pauvreté, l'ACDI doit assurer un suivi rigoureux de sa propre expérience et de celle d'autres donateurs pour faire en sorte que ce type de projets donne les résultats escomptés.

21.36 Appliquer la gestion axée sur les résultats à des projets à caractère plus « mou » représente une tâche particulièrement ardue. Par exemple, les résultats attendus sur le plan du développement sont difficiles à définir et encore plus difficiles à mesurer lorsque les projets portent sur le développement institutionnel et le renforcement des capacités. Dans la majorité des cas, les effets et les impacts à plus long terme du développement se font sentir longtemps après que l'ACDI ait cessé de participer directement au financement.

21.37 Pour s'attacher aux résultats, cependant, l'ACDI doit assurer un suivi pour déterminer si les effets escomptés à plus court terme d'un projet ont été obtenus et s'ils déboucheront vraisemblablement sur les impacts souhaités à plus long terme sur le plan du développement. Même si un projet est achevé et que l'ACDI a mis fin à son financement, il faut encore assurer un suivi efficace par rapport aux coûts pour déterminer si les résultats attendus ont été obtenus. Nous avons constaté que, une fois les projets terminés, l'ACDI ne continuait pas d'assurer systématiquement un suivi pour déterminer si les résultats escomptés à court et à long termes avaient été atteints. L'absence d'information à cet égard empêche à la fois d'accroître les chances d'obtenir les résultats souhaités à long terme et de tirer des leçons pour les futurs projets. À l'heure actuelle, l'ACDI recueille d'une façon limitée ce type de données, par le biais d'examens périodiques du rendement de ses priorités de développement.

Communiquer de l'information sur le rendement des projets

La qualité de l'information communiquée sur le rendement des projets n'est pas uniforme
21.38 Bien que les éléments de la gestion axée sur les résultats soient en train d'être intégrés à l'exécution des projets, la définition de résultats réalistes, première étape clé, a été difficile à franchir. Dans la plupart des projets examinés, le premier énoncé des résultats escomptés, particulièrement les impacts à long terme, était irréaliste, ce qui nécessitait la modification ultérieure du projet ou de ses buts et posait des problèmes au regard de la communication d'information sur le rendement par rapport aux résultats escomptés.

21.39 Les lignes directrices et politiques sur la gestion axée sur les résultats, qui ont été diffusées en 1996, font souvent référence aux résultats escomptés et à leur comparaison avec les résultats réels. Toutefois, en pratique, l'accent était mis sur les résultats immédiats ou à court terme des projets. Bien que des énoncés des impacts ou des effets à long terme escomptés soient élaborés, ainsi que des indicateurs quantitatifs ou qualitatifs connexes, ils ne sont pas intégrés au système de gestion des projets d'aide au développement. Par exemple, il n'est pas fait mention du suivi à plus long terme pour évaluer ces indicateurs et pour communiquer l'information sur l'atteinte des buts du développement.

21.40 La Politique portant sur l'examen du rendement, l'énoncé de principe sur la gestion axée sur les résultats et le cadre de responsabilisation fournissent la base des systèmes de mesure du rendement et de communication de l'information. Le Rapport annuel de suivi de projet (RASP), mis en place en 1996, est le principal outil permettant de surveiller les projets en cours de plus de 100 000 $.

21.41 Une fois que les gestionnaires de projets ont présenté leurs rapports sur le suivi de projet, les vice-présidents des directions générales les examinent et s'en servent pour surveiller les résultats des projets. Ces rapports sont également utilisés par les directions de programme-pays et les directions générales pour régler les problèmes qui y sont mentionnés. L'information fournie par le RASP incluent : les dépenses au titre du projet, les résultats escomptés et réels (extrants, effets et impacts), les leçons tirées et l'évaluation des progrès réalisés. Les rapports sont compilés pour produire un rapport sur les réalisations des directions générales bilatérales. Ces rapports, ainsi que les rapports de vérification et d'évaluation servent à préparer le Rapport sur le rendement présenté par l'ACDI au Parlement.

21.42 Nous avons examiné les RASP de 1997-1998 relatifs aux projets faisant l'objet de la vérification pour déterminer, à partir de notre compréhension des projets, si l'information fournie était exacte et significative. Nous avons constaté que la plupart des rapports donnait une idée juste de l'avancement des projets. Toutefois, dans certains cas, nous avons noté que l'information donnait un portrait plus positif que ne le justifiait la situation. En outre, les résultats réels ne pouvaient pas toujours être comparés d'emblée avec les résultats escomptés dans l'immédiat et à court terme. Le système de RASP n'a pas encore pris sa forme définitive. À notre avis, la direction devra porter une attention accrue à ces rapports pour s'assurer que l'information communiquée est exacte et significative et qu'elle est prise en compte dans les décisions concernant l'orientation future des projets.

Rapport sur le rendement de l'ACDI au Parlement

L'information communiquée doit être plus significative, plus exacte et mieux équilibrée
21.43 À l'instar des autres ministères fédéraux, l'ACDI a soumis au Parlement, à l'automne 1997 son rapport sur le rendement pour 1996-1997. Afin d'évaluer le fonctionnement de son système de communication de l'information sur le rendement, nous avons examiné la façon dont l'ACDI a préparé la section portant sur les programmes géographiques du Rapport sur le rendement pour l'exercice terminé le 31 mars 1997. Les Rapports annuels de suivi de projet sont la principale source d'information pour ce rapport; celui-ci donne de nombreux exemples de résultats obtenus grâce aux projets de l'ACDI. Nous avons comparé les résultats de 33 projets mentionnés dans la section relative aux programmes géographiques avec les résultats signalés dans les RASP pour les mêmes projets.

21.44 Le Rapport sur le rendement décrit un certain nombre de projets pour illustrer le rendement. L'Agence signale qu'il « n'est pas toujours possible d'attribuer à une année financière précise les résultats probants du développement international ». Par conséquent, la plupart des exemples présentent les résultats d'activités s'échelonnant sur plusieurs années; toutefois, l'Agence fait rarement la distinction entre ces résultats et ceux découlant d'une activité menée pendant une année précise. Alors que les résultats inscrits portent sur plusieurs années, le nombre d'années n'est pas précisé. Aucune information n'est donnée relativement aux ressources utilisées pour obtenir les résultats indiqués pour des projets en particulier. Ces ressources peuvent inclure non seulement les fonds consacrés par l'ACDI, mais aussi les ressources humaines et financières fournies par d'autres donateurs et les gouvernements bénéficiaires. De plus, même si on décrit les réalisations, on ne le fait pas dans le contexte des résultats escomptés. On n'explique pas non plus l'importance des projets précis dans le contexte du programme de développement général du pays. Cette information permettrait d'obtenir un tableau plus clair du rendement des programmes géographiques.

21.45 Nous avons également relevé des cas où les résultats énoncés n'étaient pas conformes à ceux inscrits dans les RASP. Par exemple, on fait état de résultats escomptés plutôt que de résultats réels ou de résultats dépassant ceux indiqués dans les rapports sur le rendement. À notre avis, une plus grande rigueur s'impose dans l'examen et la compilation des données servant à la préparation du Rapport sur le rendement afin que celui-ci soit clair et exact.

21.46 L'ACDI fournit une APD à de nombreux pays dont la situation politique et économique est incertaine et où l'infrastructure et la géographie imposent d'énormes contraintes. Assurer la réussite des projets et évaluer les résultats sur le plan du développement sont donc des entreprises très complexes et délicates. Nous avons constaté que les rapports sur les réalisations des directions générales fournissent le nombre et le pourcentage de projets dont les progrès sont satisfaisants, de projets qui présentent des problèmes qui ne sont pas insolubles et de projets qui présentent de graves problèmes. Toutefois, cette information ne figure pas dans le Rapport sur le rendement de 1997, même si l'Agence a déjà fourni cette information dans le passé. Nous croyons qu'il est important que l'ACDI transmette cette information; la crédibilité de ses rapports serait accrue si elle dosait mieux l'information sur les réussites et sur les secteurs où les résultats escomptés n'ont pu être obtenus. Dans ce dernier cas, l'ACDI pourrait expliquer le genre de mesures qu'elle a prises pour régler les problèmes ou la façon dont elle appliquera les leçons tirées de l'expérience aux futurs projets.

21.47 L'ACDI devrait examiner avec plus de rigueur la qualité de l'information présentée dans son rapport sur le rendement et fournir un portrait plus significatif et plus équilibré de son rendement.

Réponse de l'ACDI : L'ACDI continuera d'accroître la cohérence, l'exactitude et la fiabilité de l'information sur le rendement afin de présenter un bilan plus équilibré et significatif dans ses rapports sur le rendement.

Des indicateurs de base pour mesurer les progrès au regard du développement sont en cours d'élaboration
21.48 L'ACDI reconnaît dans son rapport sur le rendement qu'il est possible d'évaluer les extrants (les résultats immédiats, visibles, concrets et tangibles d'un projet) et les effets (l'atteinte du but recherché pour un projet particulier). Toutefois, elle doute que l'on puisse réunir l'information sur le rendement à l'échelle des projets individuels et de l'institution pour en tirer des observations sur le rendement global de l'Agence ou sur son rendement au niveau d'un pays ou d'un programme.

21.49 L'Agence indique qu'il est difficile de mesurer les impacts (les avantages à long terme plus généraux et à un niveau plus élevé pour une collectivité, un pays ou un groupe). Plusieurs facteurs viennent compliquer cette tâche. Un obstacle important est la difficulté d'attribuer un impact particulier sur le développement à une contribution précise de l'Agence. Un deuxième est le facteur temps : généralement, il peut s'écouler plusieurs années entre la fin d'un projet et la concrétisation des effets et des impacts. Il est difficile d'assurer un suivi à cet égard une fois que les bénéficiaires ont pris en charge un projet. L'ACDI signale que d'autres donateurs font face également à ce genre de difficultés. Elle partage avec ceux-ci ses approches et ses données sur le rendement afin de trouver des façons de donner suite à ces préoccupations.

21.50 Nous convenons qu'il peut être difficile de mesurer les effets et les impacts et de les attribuer à un projet ou à un donateur en particulier, comme l'ACDI. Néanmoins, l'Agence répartit les fonds des programmes bilatéraux selon les pays ou les régions. Le processus de planification stratégique débouche sur un plan pluriannuel par pays ou par région, fondé sur une analyse des différents facteurs et risques liés aux interventions de l'Agence. Nous avons constaté que certains des plus récents cadres stratégiques de programmes-région et de programmes-pays présentaient les résultats escomptés du développement au niveau du pays. L'ACDI pourrait tenter d'évaluer périodiquement si les résultats escomptés ont été obtenus au niveau de la région ou du pays.

21.51 L'information sur le programme d'APD canadienne est souvent présentée en termes de montants décaissés, habituellement en pourcentage du produit national brut (PNB), lesquels sont ensuite comparés à l'objectif international courant pour l'APD, soit 0,7 p. 100 du PNB. En 1996-1997, les dépenses canadiennes au titre de l'APD s'établissaient à environ 0,34 p. 100 du PNB. Cet indicateur est largement utilisé à l'échelle internationale pour comparer les dépenses au titre de l'aide publique au développement des différents pays.

21.52 Bien que cet indicateur puisse renseigner sur l'effort consenti au chapitre de l'aide ou sur l'engagement à cet égard, il s'agit d'un indicateur d'intrant, non d'extrant. Il ne mesure pas les résultats ou l'efficacité de l'aide. L'élaboration d'indicateurs de résultats est la prochaine étape logique à franchir dans le processus de gestion axée sur les résultats de l'ACDI. L'Agence a appuyé les efforts du Comité d'aide au développement de l'OCDE et travaillé en collaboration avec celui-ci à l'élaboration d'une série d'indicateurs de base permettant de mesurer le progrès des efforts de développement. Un exemple de ces indicateurs est donné à la pièce 21.6 . Dégager un consensus international autour de ces indicateurs est une tâche complexe, et on y travaille encore beaucoup. Nous encourageons l'ACDI à poursuivre son travail avec les autres donateurs, les institutions multilatérales et les pays en développement pour perfectionner les indicateurs et dégager un consensus à cet égard.

21.53 Une fois que cela sera fait, l'ACDI pourrait utiliser ces indicateurs dans ses rapports pour décrire les résultats du développement au niveau d'un pays. Comme les donateurs se concertent davantage, les résultats ne seront vraisemblablement pas directement attribuables à un donateur en particulier. Toutefois, l'ACDI pourrait montrer comment ses projets ont contribué aux résultats globaux. L'important est d'obtenir des résultats durables sur le plan du développement, non de pouvoir les lier directement à l'intervention d'un donateur précis. Cette façon de communiquer l'information appuierait le virage amorcé par l'ACDI afin de mettre davantage l'accent sur les résultats en matière de développement, et permettrait de mieux rendre compte de l'utilisation efficace des fonds d'APD.

Fonds de contrepartie

L'ACDI a répondu aux préoccupations soulevées en 1993, mais elle doit mieux contrôler les sommes versées dans les fonds de contrepartie
21.54 En juin 1994, l'ACDI a publié de nouvelles lignes directrices sur les fonds de contrepartie. Celles-ci décrivaient les obligations redditionnelles et les responsabilités respectives de l'ACDI et du pays bénéficiaire quant à la gestion des fonds de contrepartie. Ces fonds sont un outil de développement, qui permet de transposer l'aide financière sous forme de biens et de services canadiens. L'ACDI approuve un montant pour un projet donné, qui constitue en fait une ligne de crédit en faveur du pays bénéficiaire, en vue de l'achat de biens et de services, conformément à la politique sur le contenu canadien. Un fournisseur canadien vend le produit dans le pays bénéficiaire, et l'ACDI paie le fournisseur en devises fortes. Selon la politique, un montant équivalent en devises locales doit normalement être déposé dans le fonds de contrepartie par l'acheteur du pays bénéficiaire, tel que stipulé dans l'entente conclue avec ce dernier. De fait, le fonds de contrepartie appartient au pays bénéficiaire; il est habituellement géré par un comité mixte, et il sert à financer des activités de développement. En 1993, nous craignions que l'ACDI n'ait pas reçu l'assurance nécessaire que tous les montants avaient été dépensés aux fins prévues et qu'ils avaient fait l'objet de comptes rendus complets.

21.55 En 1997, l'ACDI a entrepris une vérification des fonds de contrepartie. Le rapport provisoire publié en mars 1998, qui se fondait sur la vérification de trois de ces fonds, a révélé des faiblesses au niveau des opérations dans chacun de ces fonds, les montants appropriés n'ayant pas été déposés dans le compte. Dans un cas, la vérification interne n'a pas pu fournir l'assurance que le gouvernement bénéficiaire avait déposé le montant total exigé dans le fonds et que tous les montants avaient été dépensés aux fins prévues. La vérification a aussi permis de conclure que l'ACDI devait examiner de nouveau la question de l'appartenance des fonds, ainsi que la communication des résultats obtenus de l'utilisation de ces fonds. Par conséquent, on révise actuellement la Politique sur les fonds de contrepartie afin de tenir compte de ces préoccupations.

21.56 Nous avons examiné les fonds de contrepartie en Bolivie, au Bangladesh et au Sénégal. Comme la structure de chacun de ces fonds est unique à chaque pays, nous ne pouvons exprimer une opinion sur la gestion des fonds de contrepartie en général. En ce qui concerne les fonds visés, nous avons constaté que l'ACDI avait reçu une assurance suffisante que tous les montants avaient été dépensés à des fins de développement et qu'ils avaient fait l'objet de comptes rendus complets. Cependant, pour deux de ces fonds, nous avons relevé des problèmes au niveau du contrôle des opérations, qui ont entraîné le dépôt d'un montant moindre dans le compte. Dans le premier cas, l'ACDI a autorisé le dépôt d'un montant moins élevé que celui qu'elle avait versé au fournisseur canadien ( voir la pièce 21.7 ). Dans le deuxième cas, le protocole d'entente signé avec le pays bénéficiaire permettait à celui-ci de retenir jusqu'à 7,5 p. 100 du montant à déposer pour couvrir les frais imprévus. Nous avons noté qu'aucune étude n'avait été réalisée, comme le prévoit la politique de l'ACDI, afin de déterminer le montant net à verser dans le fonds; le pays bénéficiaire retenait systématiquement 7,5 p. 100 sur le montant. Il n'y avait pas de compte rendu de l'utilisation de ces sommes retenues, comme on aurait pu s'y attendre en l'absence d'une telle étude. Ces trois dernières années, ces frais ont totalisé en moyenne 930 000 $ par année. Pour éviter que de tels problèmes se produisent de nouveau, l'ACDI devra veiller à appliquer, de façon plus uniforme, sa politique sur les paiements au titre des fonds de contrepartie.

21.57 Dans le cas où une opération entraîne le dépôt dans le fonds de contrepartie d'un montant moins élevé que le montant intégral payé par l'ACDI, les gestionnaires de projet de l'Agence devraient documenter le motif de l'opération.

Réponse de l'ACDI : L'ACDI améliorera ses procédures de façon à documenter adéquatement le motif de ce genre d'opérations dans le cadre de la gestion de projets liés à des fonds de contrepartie.

Institutionnaliser les leçons apprises

L'ACDI a fait beaucoup de progrès
21.58 En 1993, nous craignions que l'ACDI ne possède pas de « culture évolutive » organisationnelle. Nous l'avons donc exhortée à institutionnaliser les leçons apprises aux niveaux des projets et des pays. L'ACDI a donc convenu d'adopter un mécanisme simple et compréhensible, qui permettrait d'assimiler les leçons apprises et d'y avoir accès.

21.59 L'ACDI a pris des mesures formelles et informelles afin de raffermir sa culture évolutive. Les leçons apprises font désormais partie intégrante de sa politique portant sur l'examen du rendement et de son énoncé de principe sur la gestion axée sur les résultats, qui constituent l'un des éléments clés des Rapports annuels de suivi de projet (RASP) et des Rapports de fin de projets, et qui sont intégrés dans les rapports sur les réalisations des directions générales. Les leçons apprises font l'objet de rapports de synthèse dans le cadre de chacun des examens qu'effectue la Direction générale de l'examen du rendement. L'Agence a établi différents mécanismes pour recueillir l'information sur les leçons apprises, et la diffuser. Mentionnons, entre autres, le Forum de la présidente sur les meilleures pratiques, des réseaux informels comme le réseau des agents de la gestion axée sur les résultats, et d'autres mécanismes où l'on discute de sujets comme l'intégration des femmes dans le développement, et l'environnement.

21.60 L'ACDI a fait beaucoup de progrès pour ce qui est de l'intégration des leçons apprises à l'approche de la gestion axée sur les résultats. L'assimilation de ces leçons repose surtout sur le RASP. La qualité de l'information à cet égard varie considérablement d'un rapport à l'autre. L'ACDI doit s'efforcer davantage de rassembler, analyser et diffuser cette information de façon à ce qu'elle soit utile au personnel de projet. Autrement, celui-ci risque de ne pas voir l'utilité de l'exercice; la valeur de ce dernier, pour l'organisation et pour la communication de l'information sur le rendement, risque d'être minée.

Vérification et évaluation

Il faut poursuivre les efforts au niveau de l'examen du rendement
21.61 En juillet 1994, l'ACDI a adopté sa politique portant sur l'examen du rendement, qui établissait un cadre pour les fonctions de vérification et d'évaluation. La Politique a eu pour effet de créer un lien plus étroit entre la Direction de l'examen du rendement et les directions générales opérationnelles de l'ACDI. Elle appelait également la création d'un comité d'examen du rendement, dont les membres venaient de l'ACDI et de l'extérieur, afin de renouveler l'examen du rendement et de tirer profit de l'expérience d'autres ministères. Les membres ne se sont réunis qu'à deux reprises en 1995. On nous a informés que le Comité de direction assume désormais cette fonction. En 1997, la Direction de l'examen du rendement est devenue une direction générale; elle a commencé à rendre compte directement à la présidente de l'ACDI, et son directeur général est devenu membre du Comité de direction.

21.62 En 1995, l'ACDI a informé le Parlement qu'elle entendait examiner, au cours des trois années suivantes, le rendement au titre des six priorités de programme de l'APD. Toutefois, des retards importants se sont produits. Jusqu'ici, la Direction générale de l'examen du rendement a effectué trois examens qui couvrent deux priorités. Selon celle-ci, ces examens se sont révélés plus complexes et plus coûteux que prévu. Les examens comportaient également une approche plus globale afin de permettre de déterminer les répercussions pour l'élaboration de politiques sur les priorités de l'APD et de recenser les leçons tirées des projets. En outre, la Direction générale s'est vu attribuer la responsabilité principale pour l'élaboration et l'application d'une méthode de gestion axée sur les résultats dans l'ensemble de l'Agence. Les examens des autres priorités de l'APD ont été rééchelonnés sur les quelques prochaines années.

21.63 Nous avons remarqué que la Politique portant sur l'examen du rendement n'a pas réglé les problèmes que nous avons soulevés en 1993 relativement à l'évaluation des projets (aujourd'hui appelée l'examen opérationnel piloté par la direction). Nous étions d'avis que l'ACDI devait se garder de donner l'impression d'un manque d'objectivité, surtout en raison du fait que les évaluations étaient commandées par le personnel des programmes géographiques. Aucune assurance de la qualité n'était prévue de façon continue à l'ACDI pour assurer le respect de normes d'évaluation minimales.

21.64 Depuis, la Direction générale a pris plusieurs mesures pour assurer une meilleure qualité des examens opérationnels. Elle a préconisé l'utilisation du cadre des résultats et des facteurs clés de réussite pour la conduite des examens, et créé une liste d'offres permanentes à laquelle le personnel des programmes géographiques peut recourir pour retenir les services de spécialistes de l'examen du rendement. De plus, la Direction générale fournit, sur demande, des conseils sur la conduite d'examens opérationnels.

21.65 Ces initiatives sont certes utiles, mais elles ne répondent pas à nos préoccupations. Nous sommes d'avis que l'Agence doit veiller à ce que les normes de qualité établies soient respectées dans l'ensemble des directions générales.

21.66 Dans le cadre de ses vérifications et de ses évaluations périodiques, la Direction générale de l'examen du rendement devrait examiner, de façon sélective, la qualité des examens opérationnels qu'effectuent les directions générales des programmes géographiques.

Réponse de l'ACDI : Dans le cadre de ses vérifications et de ses évaluations, l'ACDI examinera, de façon sélective, la qualité des examens opérationnels que mènent les directions générales des programmes géographiques.

Conclusion

21.67 Le programme de renouveau lancé par l'Agence en 1994 va bon train. Le cadre de gestion axée sur les résultats, ainsi que les politiques et lignes directrices connexes, ont été élaborés et communiqués au personnel de l'ACDI et aux partenaires du développement. Nous avons conclu que l'ACDI a pris les mesures nécessaires pour répondre aux principales préoccupations exprimées dans notre rapport de 1993. Cependant, bien qu'une attention accrue soit indubitablement accordée aux résultats de l'exécution des projets et des programmes-pays, les progrès liés à la mise en oeuvre de la gestion axée sur les résultats ont été inégaux.

21.68 L'Agence doit maintenir l'élan imprimé à la mise en oeuvre de la gestion axée sur les résultats. En mettant l'accent sur les résultats, elle doit déterminer, de façon plus rigoureuse s'il faut poursuivre, restreindre ou remanier des projets ou des programmes-pays lorsque les résultats escomptés sont menacés en raison de la modification des principales hypothèses de départ, de l'absence des conditions essentielles à la durabilité des projets, et d'autres facteurs qui pourraient avoir des impacts néfastes. Une fois les projets achevés, l'Agence doit également assurer un suivi efficace par rapport aux coûts, afin de déterminer si les résultats escomptés ont été obtenus.

21.69 L'Agence a mis au point un système de communication d'information sur le rendement, qui débute avec la mise en oeuvre du projet et prend fin avec la présentation du Rapport sur le rendement au Parlement. Il est possible d'améliorer les rapports internes et externes en y intégrant de l'information sur les résultats attendus, ainsi que les résultats réels obtenus aux niveaux des projets et des pays, et en présentant un tableau plus équilibré des réalisations, des difficultés et des défis qui se sont posés dans la prestation de l'aide au développement.

21.70 Tous les donateurs sont d'avis qu'il est difficile de mesurer les résultats en matière de développement, aux niveaux des pays et des programmes. Le Comité d'aide au développement de l'OCDE conçoit actuellement un ensemble d'indicateurs de base, qui permettront de mesurer les progrès en matière de développement, à un niveau plus élevé que celui du projet. L'ACDI a contribué à l'élaboration de ces indicateurs, qui font toujours l'objet d'améliorations et d'essais. Au fur et à mesure que l'ACDI acquerra de l'expérience en matière de gestion axée sur les résultats, de tels indicateurs, ou tout autre indicateur à venir, lui permettront de communiquer au Parlement les résultats de ses programmes.


À propos de la vérification

En 1994, le Bureau du vérificateur général a convenu, avec l'ACDI, de mener un suivi échelonné de sa vérification de 1993, qui portait sur les programmes bilatéraux de l'Agence au titre de l'aide publique au développement. Le suivi devait porter sur les mesures prises par celle-ci pour répondre aux principales préoccupations exprimées dans notre rapport de 1993. La présente vérification constitue la troisième et dernière phase du « suivi échelonné ».

Objectifs

Nos objectifs étaient les suivants :

Étendue et méthode

Nous nous sommes à nouveau penchés sur l'obligation de l'ACDI de rendre compte au Parlement de sa gestion axée sur les résultats. Nous avons examiné la façon dont l'ACDI planifie et gère ses projets et ses programmes bilatéraux, mesure leurs résultats et rend compte de ces derniers.

Pour mener cette vérification, nous avons utilisé une méthode fondée à la fois sur les projets et sur les pays. L'ACDI a retenu les quatre programmes-pays (Bolivie, Estonie, Sénégal et Vietnam) qui, à son avis, témoignent le mieux des progrès accomplis grâce à la mise en oeuvre de la gestion axée sur les résultats dans le cadre du programme bilatéral d'aide au développement. Nous avons ajouté le programme du Bangladesh, afin d'établir une comparaison avec les résultats de la vérification de 1993. Dans chacun des pays sélectionnés, nous avons choisi un échantillon de projets aux fins de la vérification.

Nous avons mené des travaux sur le terrain au sein de missions canadiennes et sur le site des projets dans les pays visés. Ces travaux consistaient en un examen de la documentation existante et en des consultations auprès d'intervenants comme les agents d'exécution canadiens et locaux, de hauts représentants des pays hôtes, et des représentants d'autres organismes donateurs internationaux.

À l'administration centrale de l'ACDI, nous nous sommes penchés sur le processus de sélection des projets et des programmes-pays, les raisons qui sous-tendent ce processus et la mesure et la communication des résultats. Nous avons également examiné dans quelle mesure les problèmes majeurs soulevés dans notre rapport de 1993 ont été corrigés.

Les travaux ne prévoyaient pas une analyse comparative du rendement de l'ACDI et de celui d'autres organisations d'aide bilatérale.

Critères

Les critères utilisés aux niveaux des projets et des programmes-pays étaient fondés sur les critères proposés dans notre rapport de 1996 :

Au niveau des pays

Obtention des résultats

Gestion des risques

Gestion du rendement

Au niveau des projets

Obtention des résultats

Gestion des risques

Durabilité

Gestion du rendement

Au niveau de l'institution

Organisation évolutive

Équipe de vérification

Vérificateur général adjoint : David Rattray
Directeur principal : John Hitchinson
Directeur : Manfred Kuhnapfel

Johane Garneau
Tina Guthrie
Jacques Marquis
Paul Morse
Barry Neilson
Jaak Vanker

Pour obtenir de l'information, veuillez communiquer avec M. John Hitchinson.