Évaluation du Programme des réseaux de centres d'excellence

2. Méthodologie et analyse

2.1 Méthodologie

Ce projet a fait appel à un ensemble de méthodes analytiques et de cueillettes de données afin de fonder les conclusions sur plusieurs sources d’information. La présente section décrit les activités principales. Les questionnaires et les grilles d’entretien sont reproduits aux annexes N et O, respectivement.

1. Examen des documents pertinents suivants : rapports annuels des RCE renouvelés; rapports de transition pour 1994 (présentant la réponse des réseaux aux modifications de la Phase II par rapport à la Phase I); propositions des nouveaux RCE; rapports du Comité de sélection pour la Phase II et rapports individuels des évaluateurs pour les propositions de la Phase II; rapports annuels pour le programme dans son ensemble; comptes rendus de la réunion du 2 avril 1996 des directeurs de programme des réseaux; notes rédigées par les membres du Comité d’évaluation lors des rencontres régionales tenues en juin 1996 entre les représentants de la direction des RCE et les vice-recteurs à la recherche et les directeurs des bureaux de liaison entreprise-université (BLEUs) des universités participantes.

2. Analyse des tableaux annexés par chaque réseau à son rapport annuel pour faire état des progrès du RCE. Cette analyse a porté surtout sur l’évolution en fonction du temps : de la participation des universités, des entreprises et des autres partenaires; des contributions en nature et en espèces des partenaires; du niveau de collaboration; du nombre de participants de chaque catégorie d’organisation; du nombre de personnes en formation et du type de formation; des emplois subséquents des personnes formées au sein du réseau; et des mesures de l’innovation et de la diffusion des résultats.

3. Entrevues avec les directeurs scientifiques, administrateurs et présidents des conseils des réseaux renouvelés. Vingt-six des trente personnes occupant de telles fonctions ont été rejointes (une personne était gravement malade, deux autres venaient tout juste de joindre le réseau et un directeur scientifique a choisi de répondre en son nom et en celui de l’administrateur).

Entrevues des directeurs scientifiques et administrateurs des nouveaux réseaux, pour un total de neuf personnes (car un réseau a deux codirecteurs).

Entrevue d’un président du conseil d’un nouveau réseau. Nous avons essayé d’interviewer tous les directeurs scientifiques, administrateurs et présidents des réseaux non renouvelés. Nous avons réussi à rejoindre trois des cinq directeurs scientifiques, un administrateur et trois présidents. Si possible, nous avons rencontré ces personnes; sinon, nous leur avons parlé au téléphone (parfois en deux ou trois sessions, car il y avait beaucoup de sujets de discussion).

4. Entrevues des vice-recteurs à la recherche (ou postes équivalents) ou des directeurs des BLEUs des universités qui accueillent le centre administratif d’un ou plusieurs réseaux. Nous avons ainsi interviewé 14 personnes. (Certaines universités accueillent plus d’un réseau et se trouvaient donc en mesure de les commenter; par contre, le centre administratif de certains réseaux n’est pas à l’université. Dans ces cas, nous avons interviewé des représentants d’universités ayant une forte participation au sein de ces réseaux. Nous avons contacté toutes les universités accueillant un centre administratif ou une forte participation.) En outre, sept directeurs de BLEUs (ou leur délégué) ont été interviewés (les vice-recteurs à la recherche nous ont parfois souligné qu’ils étaient suffisamment au courant des questions de transfert technologique pour parler au nom du BLEU; certains directeurs pouvaient également faire des commentaires sur plus d’un réseau).

5. Entrevues de 15 autres vice-recteurs ou représentants des BLEUs à des universités formant des mailles de réseaux (établissements associés à un ou plusieurs réseaux, mais sans en accueillir le centre administratif ).

6. Entrevues des quatre agents de programme RCE responsables des réseaux nouveaux et renouvelés.

7. Sondages auprès de tous les chercheurs participant aux réseaux renouvelés et non renouvelés. Sondage auprès des directeurs de thèmes des nouveaux réseaux. La direction des RCE a fourni les noms et les adresses. Un questionnaire a été mis à la poste après un projet pilote auquel ont participé 7 chercheurs de RCE renouvelés, 4 de non renouvelés et 3 de nouveaux RCE. Les questionnaires étaient disponibles dans les deux langues officielles. Les administrateurs de réseaux nous ont aidés à assurer le suivi en encourageant ceux qui n’avaient pas encore répondu à le faire (nous avions envoyé à chaque administrateur une liste des personnes qui n’avaient pas répondu). Voici le nombre de questionnaires postés et le nombre de réponses :

Chercheurs des réseaux :	Nombre posté	Nombre de réponses	Taux de réponse (%)
Renouvelés	680	207	30
Nouveaux (directeurs de thèmes)	33	13	39
Non renouvelés	252	59	23
Total	965	279	29

8. Sondages auprès des partenaires externes « importants » (p. ex., entreprises privées, hôpitaux, organismes provinciaux, sociétés d’É tat, mais non les universités). Les noms, adresses et numéros de télécopieur nous ont été fournis directement par les réseaux. Pour les réseaux nouveaux et renouvelés, on demandait aux réseaux de ne fournir que des noms de partenaires ayant une participation appréciable au sein du Conseil ou d’un Comité du réseau ou de partenaires qui pouvaient s’attendre à retirer des avantages importants de leur participation au réseau. (Les réseaux donnent la liste de tous leurs partenaires externes dans les tableaux annexés à leur rapport annuel présenté à la Direction des RCE. Toutefois, ces tableaux nomment des organismes qui n’ont en fait que des contacts très limités avec le réseau; par exemple, des entreprises qui n’ont fourni qu’un peu d’argent ou de temps, ont donné un peu d’appareillage, offert une bourse à un étudiant ou à un chercheur postdoctoral, etc. En ne demandant que les noms des partenaires importants, on excluait délibérément ceux qui n’avaient que peu de contacts.)

Si possible, nous avons envoyé le questionnaire par télécopieur, afin de gagner du temps et d’augmenter le taux de réponse; sinon, nous avons posté le sondage. Les questionnaires étaient disponibles en anglais et en français. Il y a eu deux suivis, un par ARA et l’autre par les administrateurs des réseaux. Voici le nombre de questionnaires et le nombre de réponses (après les deux suivis) :

Partenaires des réseaux :	Nombre posté*	Nombre de réponses	Taux de réponse (%)
Renouvelés	253	72	28
Nouveaux	93	25	27
Non renouvelés	7 (voir ci-dessous)	3	43
Total	353	100	28

* Un partenaire donné peut participer à plus d’un réseau — des sondages séparés ont été postés si différentes personnes étaient nommées comme contact principal.

Nous avions l’intention de contacter tous les partenaires des réseaux non renouvelés, mais nous n’avons pu obtenir des renseignements sur les contacts que du seul réseau qui a continué à fonctionner, de façon limitée, après la fin du financement du RCE.

9. É tudes de cas de projets individuels ayant le potentiel d’avoir des retombées exceptionnelles sur le plan économique et analyse partielle bénéfices/coûts à partir des résultats de ces études de cas. On a d’abord demandé aux réseaux une liste préliminaire de projets susceptibles d’avoir de telles retombées et de fournir des renseignements initiaux sur ces retombées, la probabilité de succès, les utilisateurs des résultats, le calendrier prévu, les besoins ultérieurs de R et D et de tests, etc. Voici le processus de sélection :

La section 4.5 présente les détails de l’analyse bénéfices/coûts.

10. Quatorze études de cas de projets individuels susceptibles d’avoir des retombées exceptionnelles sur le plan des bénéfices sociaux ou de santé. Comme pour les études de cas économiques que l’on vient de décrire, les réseaux ont fourni des renseignements préliminaires sur les projets prometteurs, le genre de bénéfices possibles, les utilisateurs, les essais nécessaires, etc. Les projets les plus susceptibles de produire des retombées économiques quantifiables ont fait l’objet d’une analyse bénéfices/coûts. Les autres ont été analysés dans le cadre des études de cas sur les bénéfices sociaux et de santé – nous avons fait un suivi de tous les projets suggérés par les réseaux.

Si possible, nous avons interviewé le chercheur principal, le partenaire industriel et deux experts de l’extérieur du réseau ou du projet. Nous avons interviewé les 14 chercheurs principaux (un par projet) et 12 représentants industriels (deux projets n’avaient pas de partenaires externes, un partenaire a refusé de participer et, dans un projet, deux partenaires ont été interviewés, l’un d’une compagnie et l’autre d’un fonds d’investissement).

En outre, 22 experts externes (non associés au RCE ou au réseau) ont été interviewés. Les experts ont généralement été choisis de façon à ce que l’un d’entre eux puisse commenter le côté recherche du projet, et l’autre le côté retombées. Le nom des experts a été suggéré par le chercheur principal ou le partenaire industriel. On leur a demandé s’ils étaient suffisamment impartiaux pour commenter le projet; personne ne s’est désisté. À cause du caractère confidentiel des résultats, les chercheurs de deux projets ont refusé de les faire examiner à l’externe; aucun expert n’a donc été contacté dans ces deux cas. Dans neuf cas, il n’a pas été possible de faire la distinction entre la recherche et ses applications, de sorte que les experts ont été invités à commenter les deux sujets. Dans trois cas, un seul expert a été en mesure de faire des commentaires. Les experts avaient reçu les renseignements préliminaires sur le projet fournis par le réseau, de même que des résumés, articles ou descriptions d’impacts fournis par les chercheurs ou leurs partenaires industriels. Il est important de mentionner que, dans la plupart des cas, les experts ont fondé leurs commentaires sur ces seuls résumés ou brèves descriptions.

11. Entrevues de suivi avec certains des partenaires externes ayant répondu au sondage. Ce suivi avait pour but d’obtenir des réponses plus détaillées sur les questions d’évaluation, mais aussi d’identifier les projets qui pourraient donner lieu à des retombées économiques intéressantes (c’est-à-dire des projets ayant des retombées moins exceptionnelles que ceux qui ont fait l’objet de l’étude bénéfices/coûts, mais qui pourraient quand même apporter des contributions importantes à la valeur nette du programme). Nous avons communiqué avec tous les partenaires qui : (1) ont répondu au sondage; (2) ont répondu « oui » à la question 15 : « Pour votre organisation, certains des résultats de recherche du réseau ont-ils le potentiel de contribuer à générer des revenus importants relativement à votre investissement dans cette recherche (ou à diminuer des coûts)? »; (3) ont indiqué sur le questionnaire qu’ils n’avaient pas d’objection à être contactés pour des renseignements additionnels; et (4) n’avaient pas déjà été contactés pendant les études de cas des projets ayant des retombées exceptionnelles.

Quinze répondants ont été interviewés par téléphone par le même consultant. Au cours de la discussion, nous en avons profité pour demander aux répondants de fournir plus de renseignements sur les questions générales d’évaluation et d’expliquer davantage leurs réponses au questionnaire. Ce suivi a permis d’ajouter un projet à l’analyse bénéfices/coûts décrite au point 9 ci-dessus.

12. É tudes de cas portant sur la nature et les résultats de la collaboration dans dix projets de neuf réseaux. Dans cinq des cas, nous avons demandé aux directeurs scientifiques ou aux administrateurs du réseau de suggérer des projets qu’ils jugeaient particulièrement intéressants du point de vue de la collaboration, soit à cause du partenariat avec l’industrie, soit parce que le projet avait réussi à atteindre une masse critique, ou encore parce qu’il faisait appel à plusieurs disciplines ou technologies. Les cinq autres projets ont été choisis au hasard : des directeurs de thème choisis au hasard ont été invités à fournir des renseignements sur « leur projet » ou de recommander un autre projet de leur thème. (Nous n’avons remarqué aucune différence appréciable entre ces derniers projets et ceux recommandés par les réseaux; les résultats sont donc présentés en bloc.)

Pour chaque étude de cas, nous avons interviewé autant de chercheurs que possible. Nous avons interviewé :

• 56 personnes en tout, soit
• 37 chercheurs universitaires ou gouvernementaux,
• 9 représentants industriels; et
• 10 chercheurs postdoctoraux ou étudiants aux cycles supérieurs.

13. Entrevues avec 20 représentants d’organismes qui ne sont pas partenaires des réseaux, mais devraient l’être. Les administrateurs et les présidents des conseils des réseaux nous ont suggéré ces organismes. Un réseau renouvelé et trois nouveaux réseaux ont fait de telles suggestions. Les répondants ont été choisis au hasard parmi ces suggestions, en assurant une répartition aussi égale que possible entre les réseaux.

14. Un atelier de travail a eu lieu le 1er novembre 1996, réunissant les membres du groupe d’études de ARA, le Comité d’évaluation et les représentants des réseaux. La rencontre avait pour but de discuter les résultats préliminaires de l’évaluation. Les commentaires et les suggestions des participants ont été incorporés à l’analyse ou aux résultats.