Évaluation formative du Fonds de développement de l'Est de l'Ontario (FDEO)

Direction générale de la vérification et de l'évaluation
Industrie Canada

Novembre 2005

Résumé

Introduction

Le Fonds de développement de l'Est de l'Ontario est une nouvelle initiative, lancée en octobre 2004, pour promouvoir le développement socio-économique dans les régions rurales de l'Est de l'Ontario, par le renforcement de la capacité locale pour le développement et par la création des conditions nécessaires à l'accroissement des possibilités d'affaires et d'emploi. Ce programme représente l'intervention initiale face à l'engagement du gouvernement énoncé dans son budget de 2004 et visant à réviser le rôle joué par les SADC dans les régions dépourvues d'organisme de développement régional, comme celle l'Est de l'Ontario, et à examiner les possibilités d'élargir et d'approfondir leur mandat.

La présente étude est une évaluation formative du FDEO, qui se penche sur la conception, la prestation et la mise en œuvre du programme. Les résultats de l'évaluation fourniront des données déterminantes pour la planification et la conception des programmes de FedNor à la lumière de la date d'achèvement du 31 mars 2006 fixée pour le programme.

Pour obtenir plus de détails, veuillez vous reporter à la section 1.0 du présent rapport.

Méthodologie

L'évaluation a porté sur une série de questions de recherche classées en fonction des catégories suivantes :

• la pertinence;
• la conception et la prestation;
• le succès;
• la surveillance et la reddition de comptes;
• les autres options et le rapport coût-efficacité;
• les leçons tirées.

L'évaluation a fait appel à diverses méthodologies afin de garantir que des sources de données multiples étaient disponibles pour chaque question. Les méthodologies comprenaient :

• un examen des documents et de la base de données;
• des entrevues menées auprès de 27 informateurs clés parmi les gestionnaires et les employés d'Industrie Canada/FedNor, les représentants des SADC dans l'Est de l'Ontario et d'autres intervenants;
• une enquête téléphonique menée auprès de 250 bénéficiaires du financement du FDEO;
• cinq études de cas qui ont fourni une analyse approfondie de la mise en œuvre d'un élément précis du programme dans une SADC ou dans le cadre d'un projet en particulier.

La méthodologie comporte des forces et des limitations. Cependant, dans l'ensemble, les démarches et les tailles des échantillons utilisées pour cette étude ont produit une évaluation formative solide et fiable.

Pour obtenir plus de détails, veuillez vous reporter à la section 2.0 du présent rapport.

Résultats – Pertinence

Une démarche communautaire a été utilisée pour la conception initiale du programme du FDEO. Ainsi, il n'est pas surprenant que les données recueillies lors de cette évaluation révèlent que le programme du FDEO soit adapté aux besoins de la collectivité. Cela s'est avéré évident dans les documents consultés; tous les interviewés ont reconnu que ce type de programme était nécessaire et que la conception du FDEO était adapté à ce besoin.

Le programme repose sur cinq priorités : le développement d'entreprises, l'accès au capital, le perfectionnement des compétences, l'attraction et le maintien des jeunes, et les améliorations technologiques. Vu que le programme a été conçu au départ par les 15 SADC de l'Est de l'Ontario avec la participation de FedNor, il n'est pas surprenant que les gestionnaires et les employés de FedNor, les représentants des SADC et les intervenants qui ont été interviewés ont tous reconnu que les priorités étaient pertinentes. On a observé que le besoin était plus élevé par rapport à quelques-unes des priorités dans certaines collectivités et que le besoin pouvait varier avec le temps. Cependant, les cinq priorités sont pertinentes, dans l'ensemble, et sont suffisamment générales pour qu'on puisse les adapter aux besoins changeants en matière de développement économique des collectivités de l'Est de l'Ontario. On peut le constater dans les données initiales du programme qui montrent qu'au 31 mars 2005, 48 % des demandes reçues portaient sur le développement d'entreprises (les trois volets de financement expliquent la proportion relativement élevée de demandes), 25 %, sur le perfectionnement des compétences, 15 % sur les jeunes stagiaires et 12 %, sur l'accès au capital. Dans le cadre de l'enquête, les bénéficiaires se sont dits également fortement convaincus que le FDEO était capable de répondre à leurs besoins et que, abstraction faite de leurs propres besoins, les cinq priorités du FDEO étaient extrêmement importantes (importance de 9,4 pour le développement d'entreprises où une moyenne de 10 est extrêmement importante; de 9,3 pour l'accès au capital; de 9,2 pour le perfectionnement des compétences; de 8,9 pour l'attraction et le maintien des jeunes; et de 8,8 pour les améliorations technologiques).

Les documents montrent qu'on a pris bien soin de s'assurer qu'il n'y avait aucun chevauchement ni dédoublement entre le FDEO et d'autres programmes gouvernementaux existants. Les interviewés ont tous reconnus que le FDEO complétait les programmes actuels qui, comme on l'a souligné, sont très limités dans l'Est de l'Ontario. En fait, seulement 16 % des bénéficiaires sondés ont indiqué qu'ils connaissaient des programmes ou des services du gouvernement fédéral ou provincial qui étaient comparables ou semblables au FDEO.

Pour obtenir plus de détails, veuillez vous reporter à la section 3.1 du présent rapport.

Résultats – Conception et prestation

Le modèle de prestation de services du FDEO combine la prise de décision des SADC et de FedNor. Les projets qui sont financés par l'entremise de bénéficiaires secondaires (c.-à-d. les jeunes, le perfectionnement des compétences, le développement d'entreprises et l'accès au capital) sont exécutés par les SADC à divers niveaux de financement. Les exceptions sont les projets de renforcement des capacités des collectivités et les projets régionaux, lesquels sont approuvés par Industrie Canada/FedNor, peu importe le niveau de financement. Les SADC voient alors à la négociation et à la surveillance continue de tous les projets locaux, bien que FedNor participe de près à la surveillance des projets locaux d'envergure. Si un projet est jugé régional, la demande est examinée par un comité formé des représentants de chacune des 15 SADC. Chacune d'elle possède un droit de vote sur la question relative au financement d'un projet. Si la majorité des SADC s'entendent sur un projet régional, la demande est alors soumise à l'examen et à l'approbation de FedNor, peu importe la taille du projet. Si la demande est approuvée, une SADC se voit attribuer la responsabilité du projet; ainsi, elle voit à la négociation et à la surveillance continue du projet, et elle veille au partage adéquat des rapports d'étape et des résultats avec les autres SADC.

Bien que des préoccupations aient été soulevées à l'égard de certaines parties du modèle de prestation de services, en général, tous les interviewés croyaient que, lorsqu'on soupesait les avantages et les désavantages, le modèle était solide et adéquat. Les commentaires des interviewés correspondaient à ceux des participants à l'enquête. Dans l'ensemble, les bénéficiaires consultés étaient très satisfaits (moyenne de 8,9 sur 10) du FDEO.

Le FDEO est une initiative relativement nouvelle. Cependant, toutes les sources consultés ou utilisées (documents, entrevues et enquête) soulignent que le programme a fait l'objet d'une large publicité et qu'il est bien connu. Bien qu'il existe des variations considérables entre les 15 SADC quant à l'utilisation de leur site Web comme outil de promotion du programme, 13 d'entre elles offrent de l'information sur le FDEO sur leur site. En plus du site Web, les interviewés ont mentionné les annonces, les communiqués de presse, les publicités dans les journaux et à la radio, les articles de journaux ou les entrevues à la radio, les réunions, les envois postaux, le bouche à oreille et plusieurs autres moyens de promotion du programme. Les interviewés croyaient en général que, même si des personnes ignoraient l'existence du FDEO, la plupart des bénéficiaires potentiels connaissaient bien le programme. Les bénéficiaires sondés étaient également très enclins à indiquer que, selon eux, le FDEO était bien connu (62 % ont répondu qu'il était très bien ou assez bien connu).

En général, les interviewés jugeaient que le processus de sélection des projets locaux était efficace. Malgré le fait que le processus même puisse différer d'une SADC à l'autre, il a été jugé efficace par rapport aux besoins de chaque collectivité. Toutefois, plusieurs interviewés se préoccupaient du processus de sélection des projets régionaux. Leurs préoccupations portaient sur le fait que certains des projets régionaux n'avaient pas vraiment une portée régionale, que certains auraient pu être réalisés à l'aide d'un financement moindre du FDEO ou que les répercussions potentielles de certains des projets régionaux étaient assez discutables.

Les interviewés ont affirmé que dans la plupart des cas, les critères de sélection des projets (c.-à-d. la conformité avec les objectifs, la qualité des plans à l'appui, la faisabilité des projets, l'apport différentiel, la création d'emplois et les autres retombées économiques durables dans les collectivités, l'endettement externe et les dossiers des partenaires) étaient clairs, adéquats et appliqués. Les bénéficiaires étaient très ou assez satisfaits de la clarté des critères d'admissibilité (8,4 sur 10), de l'équité du processus de sélection (8,9 sur 10), de leur compréhension du processus décisionnel (7,7 sur 10), et de la rapidité de la prise de décision (8,4 sur 10).

Selon les interviewés, la conception du programme, les efforts de promotion et le processus de sélection ont produit des projets pertinents.

En général, les interviewés de FedNor étaient convaincus qu'ils avaient offert un soutien adéquat aux projets et que ce soutien s'était avéré important. Les représentants des SADC étaient également très satisfaits du soutien offert par FedNor. Ils ont souligné que le soutien était adéquat et suffisant. Plusieurs ont souligné le travail remarquable de FedNor par rapport à l'initiative, en particulier à la lumière du temps limité alloué à la mise en œuvre et des ressources humaines limitées de FedNor dédiées au FDEO.

Pour obtenir plus de détails, veuillez vous reporter à la section 3.2 du présent rapport.

Résultats – Succès

Le FDEO n'en est qu'à ses tout débuts, et de nombreux projets n'ont pas encore été achevés. Cependant, il existe déjà des données attestant que le programme a atteint les résultats escomptés. Les études de cas réalisées durant l'étude montraient le vaste éventail d'incidences actuelles et potentielles du programme et de ses projets. De plus, le tableau ci-dessous met en évidence les résultats initiaux du projet, d'après l'enquête menée auprès des bénéficiaires.

Ce qui est particulièrement important au sujet de ces résultats, c'est qu'ils sont fortement attribuables au FDEO, en raison de l'apport différentiel du programme. Autrement dit, 34 % des bénéficiaires interrogés ont indiqué qu'ils n'auraient pas pu entreprendre le projet, ce qui aurait eu des incidences négatives importantes; 41 % ont également indiqué que la remise à plus tard du projet aurait eu des incidences négatives importantes, à savoir que le projet aurait pris plus de temps à réaliser, qu'il aurait eu une portée ou une qualité moindre, ou ont invoqué une autre raison.

Pour obtenir plus de détails, veuillez vous reporter à la section 3.3 du présent report.

Résultats – Surveillance et reddition de comptes

Même si le FDEO n'en est qu'à ses tout débuts, beaucoup de progrès ont été réalisés pour mettre en place un système de surveillance du rendement et d'établissement de rapports. Le système actuel consiste en ce qui suit :

• les bénéficiaires de projets doivent rendre compte aux SADC;
• les SADC compilent les résultats des projets individuels et produisent des rapports à l'intention de FedNor pour chaque projet d'envergure ou régional, ainsi que pour chacun de leur accord de contribution (un pour chaque priorité du programme);
• FedNor saisit ces renseignements dans une base de données à des fins d'analyse et d'établissement de rapports.

L'examen des documents et les entrevues menées ont révélé que les bénéficiaires et les SADC ont été relativement diligents à présenter un rapport opportun, complet et exact, au mieux de leur capacité. Cependant, cet examen a aussi fait ressortir des défis qui existent relativement aux exigences en matière d'établissement de rapports, dont les principaux sont :

• les exigences en matière d'établissement de rapports s'appliquent à tous les projets, sans égard à l'importance du financement accordé par le FDEO, aux objectifs des projets, aux répercussions escomptées, etc. donc, le bénéficiaire d'un très petit projet ayant des objectifs limités quoiqu'importants, doit rendre compte en fonction des mêmes exigences que les bénéficiaires de gros projets assortis d'objectifs complexes;
• les exigences en matière d'établissement de rapports, quoique semblables, ne correspondent pas à la structure du programme;
• les SADC regroupent les résultats de plusieurs projets dans un rapport pour chacun des accords de contribution qu'elles ont conclus avec FedNor pour cette initiative; malheureusement, le rapport est structuré pour l'établissement de rapports ayant trait à un seul projet plutôt qu'à plusieurs projets d'un seul accord de contribution;
• il y a de la confusion quant à l'établissement de rapports sur les groupes cibles de FedNor au sujet de l'information qui doit être présenté dans le rapport, et de sa justification (c'est-à-dire qu'il n'est pas nécessairement important pour des collectivités de cibler certains groupes, pourtant celles-ci doivent quand même faire rapport des liens établis avec ces groupes cibles);
• les indicateurs clés indiqués dans le cadre de gestion et de responsabilisation axé sur les résultats (CGRR) pour le FDEO ne sont pas tous couverts par les exigences en matière de rapports ou ne satisfont pas directement aux exigences.

Pour obtenir plus de détails, veuillez vous reporter à la section 3.4 du présent rapport.

Résultats – Solutions de rechange et rapport coût-efficacité

Les interviewés ont présenté trois approches pour la prestation de services. La première favorise le statu quo (combinaison de la prise de décision des CFDC et de la FedNor), la deuxième consiste à donner plus de contrôle (ou un contrôle complet) aux SADC pour la prise de décision au sujet des projets dans leurs collectivités, et la troisième, à donner plus de contrôle à FedNor pour que le programme soit administré comme le Fonds de développement du Nord de l'Ontario, où FedNor ne traite pas uniquement avec les SADC, comme bénéficiaires principaux. En général, les interviewés ont reconnu que la démarche actuelle était la solution qui convenait le mieux, comme l'ont démontré les résultats du programme, jusqu'à présent.

Pour ce qui est du rapport coût-efficacité, les données montrent que le programme est efficace par rapport aux coûts des façons principales suivantes :

• Le volet opérationnel de FedNor de cette initiative représente moins de 4 % du budget total. Le volet opérationnel ou administratif des SADC correspond à près de 6 % ou 7 % du budget. Le volet opérationnel équivaut donc à environ 10 % du budget total.
• Les conseils d'administration formés de bénévoles des SADC accomplissent beaucoup de travail. Dans l'ensemble des 15 SADC, cela pourrait atteindre jusqu'à 180 jours-personnes de travail, en tout, pour chaque date limite fixée pour les demandes.
• Le financement du programme a encouragé les contributions financières des autres partenaires au projet. Au 31 mars 2005, un financement du FDEO de près de 9 millions de dollars avait été approuvé, et le programme a permis de réunir un montant supplémentaire de 28,6 millions de dollars. Le programme a donc financé moins de 25 % des coûts totaux des projets, tout en augmentant considérablement la capacité des organismes d'entreprendre d'autres projets.
• Au 31 mars 2005, 643 projets avaient été approuvés, ce qui correspond à un financement de près de 9 millions de dollars. Cela représente un financement moyen par projet de moins de 14 000 dollars du FDEO. Comme il a été mentionné plus tôt, dans le cas de ces projets, on a déjà fait part des réalisations et des incidences importantes en matière de développement économique (voir le résumé traitant du succès).

Pour obtenir plus de détails, veuillez vous reporter à la section 3.5 du présent rapport.

Résultats – Leçons tirées

Les principales leçons tirées du programme sont basées sur les données présentées tout au long du rapport ainsi que sur les suggestions formulées par les interviewés et les bénéficiaires. Elles sont résumées dans le tableau des conclusions et des recommandations présenté à la prochaine section.

Pour obtenir plus de détails, veuillez vous reporter à la section 3.6 du présent report.

Conclusions et recommandations

Rapport final (PDF - 431 Ko - 84 pages)
Résponse de la direction (PDF - 21 Ko - 5 pages)

Remarque : Pour lire la version PDF, vous avez besoin de télécharger le logiciel Adobe Acrobat Reader sur votre système. Si vous n'avez pas accès au site de téléchargement d'Adobe, vous pouvez télécharger le logiciel Acrobat Reader à partir d'une page accessible. Si l'accessibilité à un document PDF pose un problème, vous pouvez convertir le fichier en format texte HTML ou ASCII en utilisant l'un des services d'accès offerts par Adobe.