Rapport d'étude d'évaluation
Projet pilote de la Diversification des modes de prestation de services

Direction générale de la vérification et de l'évaluation
Industrie Canada

Le 29 octobre 2003

Sommaire

Contexte

Entreprise autochtone Canada, un programme d'Industrie Canada, travaille avec les entrepreneurs autochtones en vue de promouvoir le développement, la compétitivité et la réussite des entreprises autochtones. EAC vise ainsi à bâtir une économie autochtone compétitive et durable liée activement à l'économie du Canada et du monde. EAC a quatre priorités stratégiques :

• augmenter les débouchés commerciaux et les occasions d'affaires (y compris le tourisme);
• encourager l'innovation;
• aider les jeunes entrepreneurs;
• renforcer les organisations autochtones de développement financier et commercial.

Un de ces programmes, Développement des entreprises autochtones (DEA) offre une aide financière (contributions) aux entreprises autochtones existantes et potentielles en vue de favoriser la viabilité et l'autonomie. Le programme est offert par le personnel d'Entreprise Canada dans neuf régions urbaines, par des ententes de prestation par des tiers avec des Organisations de prestation externes (OPE) dans d'autres régions et récemment, comme projet pilote, par une forme améliorée d'OPE appelée Organismes de prestation alternative de services (OPAS). Comparativement aux OPE, les OPAS exercent leurs fonctions dans des régions plus éloignées, desservent tous les groupes admissibles dans les régions desservies et prennent des décisions reliées aux contributions conformément aux lignes directrices du DEA et à la procédure des fonds d'action qu'elles maintiennent au nom du programme. D'autres fonctions de prestation ne changent pas entre les OPE et les OPAS et la même entente de responsabilisation régit les activités de chaque groupe.

Une étude d'évaluation pilote a été menée sur les OPAS à la troisième année de cette phase pilote. Cette évaluation abordait un nombre de questions particulières sur les enjeux d'évaluation généraux relatifs au but, à la structure du programme, à la prestation du programme et des services, à l'extension des services aux clients et aux répercussions du programme pilote.

Ce chapitre résume les constatations clés de l'évaluation du projet pilote des Organismes de prestation alternative de services (OPAS).

But, clarté de l'intention et pertinence de la structure

Les constatations clés reliées au but, à la clarté de l'intention et la pertinence de la structure sont les suivantes :

• Toutes les sources d'information de l'évaluation s'accordent pour dire que les OPAS ont pour but :



• d'améliorer le service à la clientèle;
• de concevoir la capacité;
• de rationaliser la prestation.

• L'évaluation a permis de constater que le service à la clientèle, autre que la rapidité du service, a été amélioré. Les organisations qui sont devenues des OPAS œuvraient déjà à un niveau élevé de capacité de prestation. Cette capacité a peut être augmenté légèrement en devenant un OPAS. Selon certains, l'ajout des OPAS aux responsabilités multiples existantes de programme des organisations peut s'être traduit par des efficiences de prestation.
• Bien que les objectifs et les résultats voulus aient été clairs, la méthode visant à contrôler la réalisation des objectifs ne l'était pas. De plus, certaines améliorations pourraient être apportées en vue d'amoindrir le fardeau d'établissement de rapports pour les OPAS et de favoriser un suivi plus efficient des détails du projet de l'OPAS dans les systèmes de données du DEA par l'entremise d'une utilisation plus accrue des Formulaires sommaires de projet.
• Selon les OPAS, le nombre de projets et les niveaux de contribution offerts par l'entremise des OPAS nécessitaient la création de projets pilotes. Le nombre de projets de 50 000 $ ou moins a augmenté de 49 % dans les régions desservies par les OPAS (deux ans avant la OPAS comparativement à la deuxième année des projets pilotes des OPAS) tandis qu'il a baissé de 24 % dans les autres régions desservies. Bien que le petit nombre de cas rende l'analyse expérimentale, la croissance du nombre de projets de cette taille dans les régions desservies par les OPAS s'est affichée dans tous les secteurs prioritaires stratégiques. En même temps, la valeur moyenne de tels projets dans les régions desservies par des OPAS est passée de 11 994 $ dans la période préalable à 15 370 $ dans la deuxième année d'exploitation comme OPAS. Pour les régions desservies par des non-OPAS, la valeur moyenne a augmenté légèrement de 11 014 $ à 11 276 $. Par conséquent, les contributions aux projets de 50 000 $ ou moins ont augmenté de 91 % dans les régions desservies par des OPAS et ont baissé de 22 % dans les régions desservies par des non-OPAS. Cela peut être le signe d'une réussite pour les OPAS au fur et à mesure qu'ils offrent plus de fonds d'action et qu'ils approuvent plus de projets des entreprises autochtones dans leur secteur. Toutefois, les limites de données limitent cette conclusion. Une autre explication aussi plausible est que cette augmentation reflète la croissance normale (non touchée par la création des OPAS) dans leurs régions desservies. Les données d'une autre année de l'expérience avec les OPAS aideraient à déterminer quelle interprétation est correcte.

Prestation de programmes et de services

Un nombre d'observations proviennent de l'évaluation reliée à la prestation de programmes et de services parmi les OPAS :

• les responsabilités et les rôles offerts aux OPAS dans le cadre des projets pilotes semblent appropriés;
• les OPAS sont plus susceptibles d'être opportuns en termes de déboursement une fois les projets approuvés. Ils ne sont toutefois pas plus rapides en termes d'approbation de projets. Les mesures du rendement des projets non-OPAS suggèrent que 85 % des évaluations de plan d'activités soient menées dans un délai de 65 jours. À des fins de comparaison, uniquement 60 % des demandes envoyées aux OPAS sont approuvées dans un délai de deux mois. Les clients OPAS comparativement aux clients non-OPAS sont plus insatisfaits de la rapidité du service. La rapidité du service des OPAS pourrait être améliorée si l'approbation des projets de petite taille ou peu complexes pourrait être entamée sans l'approbation complète du Conseil du Trésor;
• en plus des déboursements plus rapides, un OPAS fait appel à un tiers pour effectuer des déboursements rentables;
• les OPAS semblent avoir fait un bon travail pour se faire connaître et promouvoir Entreprise autochtone Canada parmi les communautés qu'elles représentent;
• une trousse de formation et un manuel de procédures particulières aux OPAS seraient appropriés si les OPAS étaient élargis. Des occasions de mentorat pour les nouveaux agents de développement avec les OPAS établis seraient utiles si l'approche des OPAS était élargie;
• les OPAS peuvent être à même de prendre de meilleures décisions en matière de financement en raison de leurs connaissances locales. L'évaluation n'a pas la capacité d'analyser cette affirmation, mais une utilisation uniforme des Études de rendement d'entreprise (sondages de suivi) à tous les clients d'EAC pourrait faciliter une telle évaluation;
• en raison des limites de données et des incertitudes des répondants clés, au moyen de l'évaluation, il n'est pas possible de formuler des énoncés définitifs concernant la rentabilité des OPAS.

Répercussions des OPAS

Les répercussions à court terme suivantes des projets pilotes des OPAS ont été observées au cours de l'évaluation :

• les OPAS appuient des projets dans tous les secteurs prioritaires stratégiques d'Entreprise autochtone Canada. Par conséquent, leurs clients sont à même de tirer profit de la diversité offerte par les critères de programme;
• les clients semblent être satisfaits du service qu'ils reçoivent par l'entremise des OPAS. De façon plus générale, la satisfaction des clients OPAS est similaire au niveau de satisfaction des clients d'Entreprise autochtone Canada. Toutefois, les clients semblent être plus susceptibles d'éprouver des préoccupations quant à la rapidité du service. Les délais d'approbation pour les OPAS ont dépassé ceux des autres clients de DEA;
• les clients sont informés des OPAS par l'entremise de référence d'autres groupes (possiblement les résultats des activités promotionnelles antérieures des OPAS), directement par les OPAS ou par leur initiative;
• quelques clients ont prétendu avoir bénéficié de retombées avantageuses en termes d'accès amélioré à d'autres sources de financement ou de crédibilité accrue de leur organisation grâce à leur participation aux OPAS. La majeure partie de la participation de la clientèle est récente (plusieurs projets sont encore en cours ou ont été achevés récemment) limitant la possibilité de telles retombées avantageuses;
• les OPAS étaient déjà avancées lorsque'elles ont été sélectionnées pour des projets pilotes. Néanmoins, la moitié des répondants clés prétendent que la capacité institutionnelle des OPAS augmente grâce à une meilleure connaissance et expérience relative à la prestation par les OPAS;
• les OPAS assuraient déjà la prestation d'un nombre de programmes fédéraux. La moitié des répondants ont eu le sentiment qu'il y aurait une certaine amélioration/efficacité obtenue lorsque le mécanisme de prestation des OPAS a été ajouté au portefeuille de programmes des OPAS;
• les OPAS suivent la même procédure des autres mécanismes de prestation du DEA. Par conséquent, elles appuient les objectifs de viabilité d'Industrie Canada–ce changement répond aux besoins du présent sans compromettre la capacité des générations futures de répondre à leurs besoins.

Les projets pilotes ont débuté en septembre 2000. Cette évaluation a été menée au début de l'année 2003. On a pu se procurer les données reflétant l'expérience avec les OPAS uniquement pour une année complète (de septembre 2001 à août 2002) en raison de l'instauration progressive des projets pilotes. Par conséquent, l'évaluation n'a pas pu être définitive quant aux répercussions à plus long terme. Les répercussions à plus long terme pourraient être abordées dans la prochaine évaluation sommative du DEA.

Résultats clés

Aucun problème important relié à la prestation par les OPAS n'a été décelé au cours de l'évaluation. Les constatations clés étaient :

• une logique pour les OPAS existe et toutes les parties ont adoptée;
• le service à la clientèle, autre que la rapidité du service, est amélioré grâce aux OPAS. Le délai d'approbation des projets semble être plus long et le délai pour débourser les fonds semble plus court pour les OPAS comparativement aux autres formes de prestation du DEA;
• le nombre et la valeur des projets augmentent dans les secteurs des OPAS comparativement aux secteurs des non-OPAS dans la période des projets pilotes;
• les projets ont été approuvés dans tous les secteurs prioritaires stratégiques d'Entreprise autochtone Canada suggérant que les clients des OPAS soient à même de tirer parti de la diversité offerte par les critères de programme;
• la promotion par les OPAS semble être efficace parmi les clients admissibles ou ceux qui réfèrent des clients admissibles.

Toutefois, les constatations positives de l'évaluation sont amoindries en raison :

• de la possibilité que l'augmentation du nombre et de la valeur des projets est due à la croissance naturelle dans les secteurs des OPAS (n'est pas considérée par la mise en œuvre des OPAS);
• de la préoccupation selon laquelle l'augmentation de la valeur des projets dans les secteurs des OPAS pourrait entraîner une augmentation de la proportion d'aide de fonds d'action afin d'assurer les remboursements de prêt lorsqu'une seule organisation est responsable des décisions en matière de fonds d'action et de prêt;
• d'une expérience limitée dans les projets pilotes (les données d'une seule année avant la mise en œuvre sur le nombre et la valeur des projets pourraient être utilisées) et une absence des données clés qui pourraient renforcer les constatations d'évaluation.

Ces conclusions positives et provisoires entraînent une série de recommandations :

• poursuivre les projets pilotes existants jusqu'au 31 mars 2006. Durant cette période, il faut recueillir les données nécessaires afin d'appuyer une décision reliée à l'avenir des OPAS. Apporter les changements visant à améliorer la conception de la prestation par les OPAS. Avant la fin de la période prolongée, effectuer un examen de la gestion de l'OPAS afin de déterminer s'il devrait être un mécanisme de prestation permanent pour le DEA;
• affecter des fonds d'action selon la réception des Formulaires sommaires de projet (FSP) remplis pour les projets approuvés dans la région desservie des OPAS. Consigner l'information dans le Système d'information sur la gestion des contributions (SIGC). S'assurer que les OPAS ont une « réserve » adéquate (fournir une avance, s'il y a lieu) afin de faciliter la transition du nouveau système de transferts pour les fonds d'action. (Cette recommandation est conditionnelle à une méthode opportune et efficiente (dépôt direct/réclamation électronique) pour transférer les fonds aux OPAS.);
• les OPAS devraient adopter et rendre compte des mesures du rendement comparables comme elles sont et seront utilisées pour le DEA. Les OPAS devraient effectuer des Études de rendement d'entreprise (ERE) sur tous les projets achevés avant la fin de la période prolongée du projet pilote. Le SIGC ou un système équivalent devrait être mis à jour pour refléter les données recueillies par l'entremise des ERE;
• pour les OPAS qui ont fait leur preuve dans la prestation du programme DEA, augmenter leurs limites d'autorisation de projet de 50 000 $ à la limite de contribution d'Entreprise autochtone Canada pour les entreprises individuelles (actuellement 75 000 $, mais on prévoit que cette limite passera à 100 000 $). Pour les projets à base communautaire, adopter la même limite de contribution. Veuillez prendre note que les projets conformes à la priorité stratégique Renforcer les organisations autochtones de développement financier et commercial doivent continuer de demeurer la responsabilité d'Entreprise autochtone Canada;
• encourager chaque OPAS à faire une proposition de délégation à Entreprise autochtone Canada. Une telle proposition doit comprendre : une méthode visant à déterminer les projets qui ne nécessitent pas l'approbation d'un conseil des OPAS ou d'un Comité d'examen des projets (CEP); un mécanisme approprié de remplacement pour l'approbation de tels projets; et une méthode visant à informer le conseil/CEP sur l'approbation/rejet/report de tels projets;
• élaborer un cadre pour assurer la cueillette de données sur les coûts afin de permettre une analyse rentable des OPAS. Les coûts directs d'un tiers et les coûts indirects (le coût net relié aux autres OPE et au personnel du gouvernement) devraient être déterminés. Deux OPAS (un dans l'est et l'autre dans l'ouest) et une ou deux OPE comparables dans l'est et l'ouest devraient être utilisés afin de fournir des données suffisantes et de garder les coûts de l'étude gérables.

Rapport final (PDF - 501 ko - 50 pages)

Réponse de la direction — Janvier 2004 (PDF - 100 ko - 6 pages)

Réponse de la direction — le 20 mai 2005 (PDF - 23 ko - 7 pages)

Remarque : Pour lire la version PDF, vous avez besoin de télécharger le logiciel Adobe Acrobat Reader sur votre système. Si vous n'avez pas accès au site de téléchargement d'Adobe, vous pouvez télécharger le logiciel Acrobat Reader à partir d'une page accessible. Si l'accessibilité à un document PDF pose un problème, vous pouvez convertir le fichier en format texte HTML ou ASCII en utilisant l'un des services d'accès offerts par Adobe.