Section 1 : Introduction
1.1 Production de rapports sur les innovations dans l'examen par les pairs
1.2 Préparer le terrain pour la production de rapports systématiques
Section 2 : La portée et l'ordre de grandeur du système d'examen par les pairs des IRSC
2.1 Assise de la réputation d'excellence des IRSC
2.2 Examen par les pairs - Faits et statistiques
Section 3 : Le point sur les innovations dans l'examen par les pairs aux IRSC
3.1 Améliorer l'efficacité du système d'examen par les pairs des IRSC
3.1.1 Adapter le portefeuille des comités d'examen par les pairs
3.1.2 Participation du public au sein des comités d'examen par les pairs des IRSC
3.1.3 Études d'évaluation du système d'examen par les pairs des IRSC
3.1.4 Étude d'évaluation du Programme de subventions de fonctionnement
3.1.5 Améliorer les processus de sélection des boursiers
3.1.6 Élaboration du processus d'examen de la pertinence des IRSC
3.1.7 Poursuite de la mise en oeuvre de l'initiative RechercheNet
Section 4 : Renforcer le système d'examen par les pairs des IRSC
Les Instituts de recherche en santé du Canada (IRSC) remercient les personnes qui ont contribué à la production de ce rapport, et plus particulièrement les membres du Sous-comité sur la surveillance et l'innovation dans l'examen par les pairs qui ont généreusement fourni leur expertise et leur appui pendant tout le processus de production. Nous signalons aussi les contributions des divers services des IRSC qui ont fourni des documents présentés dans ce rapport : Évaluation et analyse; Services de gestion de la technologie de l'information; Programme de création de connaissances; Développement de la capacité en recherche; Planification et ressources en recherche; Études spéciales.
Ce rapport est censé être un outil de référence et n'est pas conçu pour qu'on le lise d'un bout à l'autre. Certaines sections sont plus utiles à certaines fins que pour d'autres.
Nous ne considérons pas que ce document soit exhaustif. Nous avons essayé d'y intégrer des renseignements pertinents qui aideront tous les groupes à comprendre comment les IRSC cherchent à améliorer leur processus opérationnel le plus important, soit le système d'examen par les pairs. Nous apprécions tout commentaire sur le rapport, car nous voulons en faire un document qui vous sera utile.
Au cours de sa réunion des 16 et 17 mars 2005, le Comité permanent de surveillance des concours de subventions et bourses (CPSCSB) a appuyé le plan de travail de son comité permanent, soit le Sous-comité sur la surveillance et l'innovation dans l'examen par les pairs (SSIEP).
Un élément du plan de travail consiste à concevoir un rapport annuel sur les innovations dans l'examen par les pairs qui fera le point sur les améliorations apportées au système d'examen par les pairs des IRSC et éclairera les plans d'amélioration des années à venir. Le rapport portera sur toutes les innovations d'importance et plus modestes inspirées par le Conseil d'administration, les pairs examinateurs, le personnel des IRSC, la mise en oeuvre d'améliorations de processus comme la stratégie d'affaires électroniques, etc. Le rapport sur les innovations éclairera les discussions du Conseil d'administration, de la direction et du personnel des IRSC au sujet des innovations dans l'examen par les pairs. La production de rapports systématiques contribuera en outre à la création de rapports des IRSC comme le Rapport annuel, le Rapport de rendement de l'organisme et le Rapport sur les plans et les priorités.
SSIEP
Le mandat du SSIEP consiste à conseiller le CPSCSB, à informer le Comité de planification et des priorités de recherche (CPPR) relativement à l'amélioration continue de la qualité dans l'examen par les pairs aux IRSC afin d'assurer que l'excellence, l'égalité des chances et la diligence raisonnable dans l'utilisation des fonds des contribuables constituent les principes dominants qui guident l'attribution par les IRSC de financement aux subventions et bourses concurrentielles.
Les rôles et responsabilités du SSIEP sont les suivants :
Dans leur Plan stratégique de 2007, les IRSC s'engagent clairement à rendre compte de leur rendement à la population canadienne. Les IRSC ont établi un cadre qui facilite l'évaluation et la présentation continues des résultats de l'organisation et de ses programmes selon les principales catégories de résultats stratégiques.
Comme le processus d'examen par les pairs constitue l'assise sur laquelle repose la réputation d'excellence des IRSC, le SSIEP se charge de guider l'élaboration d'une approche systématique et explicite de la surveillance du rendement du système d'examen par les pairs. On s'est engagé à élaborer et à mettre en oeuvre un régime de production systématique de trois types de rapports :
Au cours de l'exercice 2005-2006, les IRSC entameront les phases de la conception et du développement de leur régime de production de rapports d'examen par les pairs. Le travail consistera à :
Le défi que pose la création d'un régime de mesure du rendement consiste à en créer un qui est simple et gérable. À cette fin, il faut résister à la tentation de compliquer excessivement la mesure du rendement. Le fait de disposer d'une foule de données ne signifie pas que l'on a beaucoup de renseignements significatifs sur la mesure du rendement. La réussite dans ce domaine ne correspond pas à l'abondance de renseignements qui ont une valeur minime ou nulle lorsqu'il s'agit d'évaluer la pertinence de changements apportés au processus et de prendre des décisions appropriées.
On a jeté les bases pour commencer à produire un rapport sur le processus opérationnel le plus crucial des IRSC, le système d'examen par les pairs. Ce rapport sur les innovations dans l'examen par les pairs constitue la première étape de la tenue de notre promesse.
Avant de présenter une rétrospective des activités d'amélioration du processus d'examen par les pairs qui se sont déroulées en 2004-2005, il faut d'abord comprendre l'importance du système d'examen par les pairs des IRSC.
Le processus d'examen par les pairs est un système d'évaluation par des experts de recherches ou de travaux scientifiques effectués par des pairs. On le définit souvent comme le processus qui consiste à évaluer et déterminer le mérite de propositions de recherche soumises pour obtenir du financement ou celui de manuscrits scientifiques présentés pour publication. C'est plus qu'un moyen d'affecter des fonds et de juger le mérite d'une demande. C'est un élément essentiel des normes de l'enseignement supérieur. C'est aussi un processus d'évaluation des membres du personnel enseignant qui permet de leur accorder une promotion. C'est un élément essentiel du processus scientifique de création de connaissances que l'on juge ensuite exactes. C'est le mécanisme d'autoréglementation scientifique, méthode utilisée pour assurer que les procédures de recherche sont appropriées et pour évaluer le mérite scientifique de résultats de recherche et leur plausibilité. Les promoteurs de l'examen par les pairs affirment que le processus améliore les progrès de la science et constitue un mécanisme clé qui permet de produire les meilleurs résultats scientifiques.
Les IRSC reçoivent chaque année des milliers de demandes dont chacune est évaluée par un comité d'examen par les pairs constitué d'examinateurs bénévoles qui rédigent des rapports détaillés sur les points forts et les faiblesses de la demande. Après avoir dégagé un consensus, le comité établit une cote numérique fondée sur la moyenne des cotes individuelles attribuées à chaque proposition. Il s'ensuit qu'on accorde du financement seulement à celles qui satisfont à des normes d'excellence reconnues sur la scène internationale.
Les examinateurs pairs doivent rendre compte aux milieux de la recherche en général et, en fin de compte, à la population canadienne. Ils aident à assurer que les IRSC rendent compte au gouvernement du Canada de l'argent qu'ils investissent dans la recherche sur la santé. Les IRSC reconnaissent le dévouement de plus de 2 575 experts qui ont fait don bénévolement de leur temps à un des comités d'examen par les pairs des IRSC au cours de l'année écoulée et les remercie de leur contribution continue à l'amélioration de l'état de santé de la population canadienne. Les IRSC apprécient aussi les efforts de milliers d'examinateurs externes qui ont soumis des rapports écrits aux comités d'examen par les pairs.L'origine de l'examen par les pairs
Le processus d'examen par les pairs remonte à 1665 avec la fondation de la Royal Society of Philosophical Transactions, où les « échanges philosophiques » devaient être autorisés « en vertu de la charte du Conseil de la Société après avoir été examinés d'abord par des membres de celle-ci » (Chubin & Hackett, 1990). Depuis, l'examen par les pairs est reconnu comme un élément indispensable du processus scientifique et du monde universitaire. On l'estime et le critique à la fois. En dépit des critiques, il demeure un des moyens les plus généralement reconnus d'évaluer les demandes de subvention et d'en déterminer le mérite.
Subventions et bourses - 1999-2000 à 2004-2005
|
1999-2000 |
2004-2005 |
Augmentations | ||||||
|
(millions de $) |
# |
(millions de $) |
# |
(millions de $) |
% |
# |
% | |
| Subventions de fonctionnement (inclut les essais contrôlés randomisés) |
170 |
2 341 |
324 |
3 393 |
154 |
91 |
1 052 |
45 |
| Autres subventions (concours ouverts et initiatives stratégiques) |
57 |
612 |
213 |
2 047 |
156 |
274 |
1 435 |
234 |
| Programmes de bourses au personnel de recherche (concours ouverts et initiatives stratégiques) |
23 |
497 |
40 |
736 |
17 |
74 |
239 |
48 |
| Programmes de formation (concours ouverts et initiatives stratégiques) |
26 |
1 372 |
42 |
1 759 |
17 |
64 |
387 |
28 |
| Contributions de partenaires |
52 |
578 |
88 |
1 063 |
36 |
69 |
485 |
84 |
Comités d'examen par les pairs
|
Exercice 2004-2005 | ||
| Programme |
Nombre de comités d'examen par les pairs |
Nombre d'examinateurs |
| Programmes de subventions de fonctionnement (inclut les essais contrôlés randomisés) |
51 |
838 |
| Programmes de bourses au personnel de recherche |
17 |
397 |
| Programmes en partenariat |
2 |
49 |
| Initiatives stratégiques |
49 |
406 |
| Total |
119 |
1,690 |
* Nombre de membres invités : 682
* Nombre total d'examinateurs : 2 372
On a entrepris de nombreuses activités pour améliorer le système d'examen par les pairs au cours de l'exercice 2004-2005. Plusieurs personnes et groupes ont déjà étudié les processus et les systèmes d'examen par les pairs des IRSC. La première initiative d'examen par les pairs des IRSC a été celle du Groupe de travail sur les programmes et les processus d'examen par les pairs qui, au début de l'existence des IRSC, était chargé de définir les enjeux clés reliés aux programmes et aux activités d'examen par les pairs des IRSC. À la suite de la création du Comité permanent de surveillance des concours de subventions et bourses et du Comité des priorités et de planification de la recherche (CPPR), on a jugé que le Groupe de travail sur les programmes et l'examen par les pairs était redondant, et ce dernier a donc été dissout en novembre 2001.
En mai 2002, le groupe de travail chargé de la conception du processus opérationnel relatif à l'examen par les pairs et à l'attribution des subventions et bourses a déposé son rapport qui comportait de nombreuses recommandations représentant une perspective interfonctionnelle pour l'amélioration. Beaucoup de recommandations contenues dans ce premier rapport ont été mises en oeuvre depuis, mais de façon non systématique. Il en reste encore d'autres à valider. Par la suite, pour répondre à des questions soulevées dans le rapport Thorngate, le CPSCSB a créé, en janvier 2003, un comité spécial appelé Comité pour des cotes et un classement équitables (CCCE).
Entre-temps, les IRSC ont créé le poste de Coordonnateur à l'innovation, Examen par les pairs, qui a été doté en janvier 2004. En février 2004, le comité spécial CCCE a revu son mandat à la lumière de la recommandation présentée en mars 2003 par le CPSCSB, à l'effet que le CCCE demeure actif et collabore avec le personnel afin d'élaborer des processus et des plans d'action pour mettre en oeuvre le changement au fil du temps, et d'une recommandation issue d'une séance de réflexion sur l'examen par les pairs en janvier 2004 afin « d'établir un comité qui guiderait le processus d'examen par les pairs » .
À la suite d'une discussion portant sur des activités en cours et prévues, les membres du CCCE ont noté les possibilités d'opinions et de conseils contradictoires émanant des diverses initiatives et ont accepté la suggestion selon laquelle il serait préférable qu'un seul portail réunisse et regroupe les recommandations provenant de multiples sources. À cette fin, le 5 mars 2004, le CPSCSB a décidé que le comité spécial CCCE deviendrait un sous-comité permanent du CPSCSB coprésidé par des membres du CPSCSB et du CPPR afin d'assurer une liaison saine entre les fonctions gouvernance et direction. Ce comité est le Sous-comité sur la surveillance et l'innovation dans l'examen par les pairs (SSIEP).
Tous ces efforts témoignent du désir des IRSC d'améliorer continuellement le système d'examen par les pairs. Avec la création du SSIEP et la dotation du poste de Coordonnateur de l'Examen par les pairs , les IRSC disposent maintenant des structures et des moyens nécessaires pour appuyer la publication de leur premier rapport sur les innovations dans l'Examen par les pairs. Les sections qui suivent présentent un bref tour d'horizon des nombreuses activités d'amélioration entreprises aux IRSC pour appuyer l'excellence dans notre système d'examen par les pairs.
| Résultat stratégique 1 | Recherche exceptionnelle |
| Priorité | Faire progresser les connaissances en matière de santé ou une excellente recherche éthique, dans toutes les disciplines, les secteurs et les lieux géographiques |
| Principaux plans et activités pour atteindre la priorité | Accroître l'efficacité du système d'examen par les pairs des IRSC |
Ce que nous désirons accomplir
Les IRSC visent à avoir un portefeuille de comités d'examen par les pairs qui peut répondre adéquatement à la demande produite par les milieux de la recherche même (pressions exercées par les demandes) et aux besoins reliés à des priorités de recherche en particulier. Au cours de son Atelier d'orientation de l'examen par les pairs - Innovation, le Sous-comité sur la surveillance et l'innovation dans l'examen par les pairs a reconnu que le processus d'examen par les pairs et les comités qui l'appuient évoluent constamment. Les IRSC doivent mieux comprendre la composition des demandes reçues par un comité dans le cas d'un concours ouvert ou d'une initiative stratégique, ou dans les deux cas, et définir clairement les mesures réalistes de la charge de travail qui assurent qu'un examen de qualité est possible dans tous les cas.
| Responsables : Portefeuille de la recherche et SSIEP | |
| Mesures prises | Résultats atteints |
|
Le 23 février, le SSIEP a adopté comme priorité pour 2005 l'établissement d'un processus décisionnel transparent, bien appuyé et stratégique afin de guider l'évolution du portefeuille des comités du programme de subventions de fonctionnement des IRSC. |
|
|
Création de deux nouveaux comités d'examen par les pairs de demandes de subventions de fonctionnement |
|
Depuis la création des IRSC en avril 2000, le nombre de comités d'examen par les pairs de demandes de subventions de fonctionnement est passé de 25 à 45 pour le concours de subventions de fonctionnement de 2004-2005. Il faut un processus clair et transparent pour aborder la transformation et l'évolution des comités. Le processus ponctuel et réactif actuel ne convient pas. Le mécanisme de planification et d'examen annuel qui établit un lien avec les structures appropriées de décision et de gouvernance aux IRSC s'impose.
Ce que nous désirons accomplir
Comme organisme fédéral, les IRSC ont une responsabilité constante de démontrer au Canadiens que leurs impôts sont bien dépensés. Depuis quelques années, les activités du secteur public font l'objet d'un examen accru, d'attentes plus élevées, de vérifications d'optimisation des ressources et d'évaluations. Les consommateurs sont les bénéficiaires ultimes du savoir issu de la recherche. Il est donc non seulement souhaitable, mais essentiel, qu'ils participent à l'élaboration et à la mise en oeuvre de stratégies de recherche aux IRSC. Le Plan stratégique 2007 des IRSC prévoit qu'un élément clé de sa réussite réside dans une approche globale qui rassemble tous les membres de l'entreprise de recherche en santé, y compris ceux qui financent la recherche, ceux qui la réalisent et ceux qui utilisent les résultats.
Les IRSC se sont engagés à améliorer la participation du public et des intervenants à la recherche sur la santé au Canada. À cette fin, les IRSC ont amélioré leur transparence en recrutant des examinateurs qui représentent la population canadienne dans le contexte de ses mécanismes d'examen par les pairs qui servent à évaluer les demandes de financement. L'introduction d'examinateurs de la collectivité répond à trois objectifs :
Les examinateurs de la collectivité des IRSC peuvent jouer les trois rôles, ou le premier et le troisième seulement, selon leur formation et leur expérience, et la nature des comités d'examen dont ils font partie.
| Responsables : Coordonnateur de l'examen par les pairs. Innovation et Programmes de création de connaissances | |
| Mesures prises | Résultats atteints |
|
Élaboration du projet d'examinateurs de la collectivité |
|
|
Mettre en oeuvre un projet pilote d'examinateurs de la collectivité d'envergure moyenne |
|
Le Sous-comité sur la surveillance et l'innovation dans l'examen par les pairs a abordé divers aspects du système d'examen par les pairs. Pour donner suite au rapport de synthèse du Comité pour des cotes et un classement équitables (CCCE), on a commandé deux études. La première a porté sur la méthodologie de répartition du financement des IRSC et la deuxième, sur des aspects de l'échelle de cotation utilisée actuellement pour évaluer le mérite scientifique des demandes présentées dans le cadre de concours ouverts de demandes de subventions de fonctionnement.
Méthodologie de répartition des fonds des IRSC
Dans le cadre de l'engagement pris par les IRSC à assurer un processus équitable de répartition de fonds, et comme précurseur nécessaire à la modification ou au remplacement du système de répartition 80:20 actuel, le Comité pour des cotes et un classement équitables dans son rapport de synthèse de février 2003, recommandait qu'une évaluation comparative soit faite sur les répercussions et les conditions de mise en oeuvre de la méthode 80:20, de la méthode 100:0 et de la méthode du classement centile historique, chaque méthode devant comprendre un plancher de financement convenu, établi en fonction des données des concours précédents.
À cette fin, on a commandé un rapport (Thorngate et Wang, From merit to money: Five methods of funding allocation, 2004) qui décrit clairement chaque méthodologie de répartition de financement évaluée et présente des données sur les résultats de l'application de chaque méthode.
L'enjeu consiste à assurer que la méthodologie d'attribution de financement des IRSC dans le cadre des concours ouverts de demandes de subventions de fonctionnement permet une concurrence équitable pour obtenir des fonds, assure la transparente et s'applique équitablement à tous les types de recherche sur la santé.
| Responsable : Coordonnateur de l'examen par les pairs - Innovation | |
| Mesures prises | Résultats atteints |
|
Étude sur les méthodologies de répartition de financement |
|
|
Recommandation du SSIEP au CPSCSB |
|
|
Recommandation du CPSCSB au conseil d'administration (CA) |
|
Les IRSC reconnaissent sans hésitation qu'un comité de pairs peut évaluer équitablement les demandes de subvention qui lui sont soumises par rapport aux autres (validité intra-comité). Des analyses transversales et longitudinales des résultats d'évaluation ont révélé par ailleurs une hétérogénéité importante, entre comités et thèmes, sur les plans des distributions des évaluations et des taux de réussite. Compte tenu de l'hétérogénéité importante qui existe à l'égard du processus d'évaluation entre les comités, la mise en commun des résultats entre comités n'est pas justifiable. Le « rapport Thorngate » a démontré plus particulièrement que les examinateurs des demandes pour les thèmes de recherche 3 et 4 attachent de la valeur à des aspects différents des demandes comparativement à ceux des thèmes 1 et 2. Compte tenu des données historiques et d'études complémentaires, le Conseil d'administration a approuvé la recommandation d'adopter la méthode 100:0 au cours de sa réunion de mars 2005.
Études sur l'échelle de cotation
En avril 2004, les IRSC ont sollicité des propositions portant sur l'élaboration et la présentation de données et d'options qui permettraient aux membres du Sous-comité sur la surveillance et l'innovation dans l'examen par les pairs (SSIEP) de revoir d'un oeil critique l'échelle de cotation qu'utilisent actuellement les IRSC. Cette étude visait à répondre à des données indiquant que l'échelle actuelle n'est pas appliquée de la même façon par tous les comités d'examen par les pairs et peut-être même par les membres d'un même comité. On craint principalement les répercussions de l'utilisation et de l'application non uniformes de l'échelle de cotation entre les divers domaines de recherche représentés par différents comités d'examens par les pairs dans le cadre du Programme de subventions de fonctionnement.
La première étude commandée a porté sur les échelles de cotation et les procédures utilisées par les organismes de financement dans le monde pour évaluer les demandes de subvention. La deuxième étude commandée avait pour objet d'évaluer l'écart psychologique entre les descripteurs narratifs servant d'appuis aux échelons dans l'échelle de cotation actuelle des IRSC et la fiabilité entre évaluateurs à cet égard. L'étude supplémentaire a consisté à estimer comment les évaluateurs pondéraient cinq caractéristiques des propositions de recherche dans leurs évaluations. Ces études ont été entreprises afin de trouver des solutions de rechange aux échelles et aux procédures qu'utilisent actuellement les IRSC qui pourraient être mises à l'essai dans l'avenir.
Le SSIEP a recommandé de reporter toute étude prévue de l'échelle de cotation jusqu'à ce qu'on mette en oeuvre les changements approuvés de la méthodologie de répartition de financement. On a recommandé de plus d'effectuer une analyse plus poussée qui s'impose afin de mieux comprendre les répercussions des modifications proposées de l'échelle de cotation que l'on pourrait envisager à l'avenir.
| Responsable : Coordonnateur de l'examen par les pairs - Innovation | |
| Mesures prises | Résultats atteints |
|
Enquête sur les échelles et procédures d'évaluation de 21 organismes subventionnaires de recherches dans le monde |
|
|
2e étude - Expérience 1 : Classement des descripteurs des échelles d'évaluation |
|
|
2e étude - Expérience 2 : Caractéristiques de la proposition d'évaluation |
|
Les IRSC ont promis transparence et reddition de comptes aux Canadiens pour leurs investissements de fonds publics dans tous leurs programmes et activités de recherche en santé. Pour donner suite à cet engagement, ils ont entrepris leur première évaluation de leur principal programme de financement de la recherche en santé, le Programme de subventions de fonctionnement (PSF), afin d'en évaluer le fonctionnement, l'impact et l'atteinte des objectifs.
| Responsable : Unité de l'évaluation et de l'analyse | |
| Mesures prises | Résultats atteints |
|
Évaluation du Programme de subventions de fonctionnement (PSF) |
|
|
Réponse de la direction |
|
Le Programme de subventions de fonctionnement a représenté environ 46 % des dépenses totales des IRSC au titre des subventions et bourses en 2003-2004 (environ 265 000 000 $ sur 576 000 000 $). Le programme offre des subventions de recherche à tous les chercheurs en santé admissibles dans le cadre de concours ouverts jugés par des pairs. Bien que le programme existe depuis plus de 20 ans, son évaluation porte avant tout sur ses produits et résultats depuis que les IRSC ont succédé au Conseil de recherches médicales (CRM) en 2000.
L'évaluation a été réalisée afin de fournir au conseil d'administration des IRSC, à la haute direction et au milieu de la recherche en santé des données probantes selon lesquelles le programme atteint ou non les résultats attendus :
L'évaluation a aussi donné suite à une recommandation du vérificateur général portant sur la surveillance et l'évaluation du PSF.
Rationaliser l'examen des demandes de bourse de recherche
Depuis 2002, les IRSC étudient des moyens d'améliorer l'équité, l'efficacité et l'efficience de son mécanisme d'examen des demandes présentées au programme de bourses de recherche. En 2003, les IRSC ont lancé une évaluation plus systématique, préalable à la réunion ou « à domicile » des demandes. On a fourni aux examinateurs des lignes directrices claires et des formulaires à suivre pour coter les demandes avant la réunion du comité de sélection des bourses de recherche1,2. Ces notes préliminaires permettent d'effectuer un premier triage des demandes, ce qui réduit le temps qu'un comité pourrait passer à déterminer les demandes non concurrentielles et à en discuter. Le travail effectué à domicile sur chaque demande aide aussi à assurer que les examinateurs ont préparé une analyse complète à présenter au comité et qu'en établissant leur évaluation, ils ont utilisé les mêmes critères et leur ont accordé la même pondération.
La valeur ajoutée par la discussion à un comité constitue un enjeu clé du processus de sélection des bourses de recherche. La convocation d'une réunion en personne d'examinateurs provenant de toutes les régions du Canada constitue des activités qui consomment le plus de ressources dans le processus actuel sur les plans à la fois du temps des examinateurs et des coûts directs. En janvier 2005, le personnel a signalé qu'une équipe de projet avait évalué l'expérience tirée de l'examen à domicile dans le cadre de deux concours de bourses de recherche et avait peaufiné le processus d'examen externe. En mars, le personnel a produit d'autres données probantes indiquant que le système d'examen à domicile était assez avancé pour que les IRSC envisagent de compter sur lui entièrement pour choisir les bénéficiaires d'une bourse de recherche dans le cadre des concours à venir.
| Responsables : Développement de capacité en recherche et Études spéciales | |
| Mesures prises | Résultats atteints |
|
Élaboration d'un processus d'examen à domicile (à l'extérieur) pour le Programme de bourses de recherche. |
|
|
Analyse des résultats établis par les examinateurs avant la réunion et après la discussion dans le cas des concours de bourses de recherche d'octobre 2003 et de février 2004. |
|
|
Questionnaire envoyé à tous les membres de comités d'examen de demandes de bourse de recherche Réunion de groupes de discussion avec les représentants des cinq comités d'examen de demandes de bourse de recherche |
|
|
Présentation au CPSCSB, en mars 2005, de données probantes tirées de sept pistes de recherche indiquant que l'examen externe serait équitable pour les candidats, efficace sur le plan de l'atteinte des objectifs du programme et efficient sur celui de l'utilisation du temps des examinateurs. |
|
Autres améliorations des processus de sélection des boursiers des IRSC
But visé : Les IRSC veulent établir des liens efficaces avec d'autres processus d'examen comme ceux qui existent déjà dans les universités afin de tendre vers l'efficience globale des ressources nationales d'examen. Nous voulons aussi contribuer à la formation des examinateurs afin de raccourcir la période d'apprentissage à mesure qu'ils acceptent des responsabilités aux comités des IRSC.
| Responsable : Développement de capacité en recherche | |
| Mesures prises | Résultats atteints |
|
Établissement de liens avec d'autres processus d'examen Mise en oeuvre d'un processus de présélection du Programme de bourses d'études supérieures du Canada au niveau de la maîtrise. |
|
|
Formation d'examinateurs Mise en oeuvre des conférences avant les réunions pour discuter des procédures d'examen des demandes de bourses des IRSC. |
|
Ce que nous désirons accomplir
Les IRSC veulent élaborer et mettre en oeuvre un processus transparent, simple et uniforme d'examen de la pertinence. À mesure qu'augmente le nombre de possibilités de financement stratégique des IRSC, le processus d'examen des demandes qui vise à déterminer si elles sont harmonisées avec les priorités de recherche stratégique (ou pertinentes à celles-ci) devient un élément clé de la prise de décision sur le financement aux IRSC. Même si une demande présentée dans le cadre d'un concours est susceptible d'obtenir du financement si elle reçoit une note élevée pendant l'examen par les pairs, une demande présentée dans le cadre d'un concours stratégique ne recevra pas de financement, ou pourrait même ne pas être admise à l'étape de l'examen par les pairs, si l'on constate qu'elle n'est pas pertinente aux intérêts stratégiques, sans égard au potentiel de recherche que représente la demande.
| Responsable : Direction de la planification et des ressources en recherche | |
| Mesures prises | Résultats atteints |
|
Un groupe de travail intersectoriel a étudié les pratiques courantes d'examen de la pertinence, consulté des collègues et rédigé des recommandations. |
|
|
L'atelier tenu le 10 mars 2005 pour régler les problèmes clés a attiré 30 participants dont la majorité proviennent des instituts (DA) et du portefeuille de recherche (DA). Autres représentants des secteurs AC et Partenariats. |
|
|
Présentation du résumé de l'atelier et du plan d'action au CPPR le 15 avril 2005. |
|
|
Date cible d'achèvement : septembre 2005 (document sur les lignes directrices et les procédures, outils d'aide, mise en oeuvre d'une stratégie d'apprentissage) Rapport au CPPR en octobre 2005 et mars 2006. |
|
Les IRSC ont mis sur pied, pour les concours ouverts, un processus de prise de décision sur le financement de recherches qui repose sur le processus d'examen par les pairs. On a mis en place des procédures et des documents requis normalisés, défini clairement les rôles et les responsabilités, créé un processus structuré de sélection des membres des comités et établi un calendrier à l'intérieur du cycle de concours. L'assise sur laquelle reposent les décisions relatives au financement de la recherche dans le cas des concours stratégiques est par ailleurs bien établie. Le processus d'examen de la pertinence des IRSC n'est pas uniforme, les exigences sur le plan de la documentation ne sont pas définies, les rôles et les responsabilités ne sont pas clairs, il n'y a pas de cadre structuré de nomination des décideurs et le processus se déroule à des points différents du cycle de concours. Un processus transparent, simple et uniforme d'examen de la pertinence s'impose pour appuyer la prise de décision sur le financement stratégique aux IRSC. Les IRSC ont pris des mesures pour établir un tel processus.
| Résultat stratégique 2 | Chercheurs exceptionnels dans des milieux innovateurs |
| Priorité | Perfectionner et garder les chercheurs canadiens du domaine de la santé dans des milieux de recherche dynamiques, innovateurs et stables . |
| Principaux plans et activités pour atteindre la priorité | Tirer profit de la technologie afin d'améliorer la prestation des services |
Ce que nous désirons accomplir
Un solide environnement de recherche nécessite des infrastructures qui facilitent la tâche des chercheurs canadiens. Les IRSC ont lancé leur stratégie de services électroniques afin d'alléger la charge de travail qu'une demande impose aux chercheurs et d'aider les organisations de recherche à gérer de plus en plus de programmes de financement complexes. La stratégie met en vedette la création de RechercheNet, portail canadien de recherche qui offre des services et des outils électroniques afin d'appuyer la collaboration et le partage de l'information entre les chercheurs, les organisations de recherche, le gouvernement, l'industrie et le public. À compter d'avril 2004, on a lancé la version pilote du RechercheNet et des liens vers le Système d'information sur la recherche au Canada (SIRC) créé auparavant et le CV commun. Au cours de l'exercice 2004-2005, les efforts ont porté avant tout sur un projet pilote d'examen par les pairs qui a permis la présentation et la distribution électronique d'examens internes/externes aux membres de comités et aux candidats.
| Responsables : Programmes SGTI et Création de connaissances | |
| Mesures prises | Résultats atteints |
|
Augmenté le nombre de comités d'examen par les pairs utilisant le système d'examen par les pairs en ligne RechercheNet. |
|
|
Amélioré la fonctionnalité du système d'examen par les pairs RechercheNet. |
|
|
Intégration de projets pilotes sur l'inscription ou la présentation électronique au projet pilote d'examen électronique par les pairs afin d'améliorer et de simplifier les échanges avec les membres des comités. Les membres des comités des sciences comportementales et des neurosciences ont affiché les inscriptions, déclaré leurs conflits, et suggéré des examinateurs possibles en ligne (sans papier). Les données sont chargées automatiquement dans le SIE (base de données générale). Tous les examinateurs de ces comités ont accès en ligne à la demande. |
|
|
Lancé le processus d'inscription en ligne sans papier pour le concours ouvert de subventions de fonctionnement de mars 2005 pour les comités des sciences comportementales et des neurosciences. |
|
|
Lancé le processus de demande en ligne pour le concours de subventions de fonctionnement de mars 2005 pour les comités des sciences comportementales et des neurosciences. Moins de papier - seulement l'original si la demande est présentée (8 copies supprimées) |
|
|
Lancé un projet de collaboration avec le CRSNG afin de produire un projet pilote d'examen par les pairs pour quatre de ces comités en 2005-2006 |
|
|
Analysé et documenté comment les universités et les organismes subventionnaires du Canada, ainsi que certaines institutions non canadiennes, diffusent les possibilités de financement. |
|
Améliorer notre compréhension
Un des obstacles les plus importants que doivent surmonter les IRSC pour assurer que leur rendement opérationnel et leur orientation convergent avec leur vision stratégique et l'appuient consiste à mesurer et à analyser avec efficience et précision le rendement organisationnel aux niveaux tant stratégique que tactique.
La tendance à recueillir des volumes importants de données pendant les activités courantes est prévalente dans la plupart des organisations. Comme il arrive souvent qu'on ne définisse pas des paramètres appropriés de rendement et que les capacités d'analyse et de production de rapports présentent des lacunes, il est difficile de traduire ces données en renseignements utilisables et applicables. Le SSIEP est d'avis qu'il faut obtenir de l'information pertinente sur le rendement afin de mieux comprendre le système d'examen par les pairs et de bien gérer son évolution.
Au cours de l'exercice 2005-2006, on essaiera d'améliorer la capacité des IRSC de surveiller dûment les activités d'examen par les pairs qui ont trait au programme de subvention de fonctionnement. La traduction de données en information agrégée et focalisée permettra aux IRSC d'exploiter la profondeur et l'envergure de l'information disponible.
Accroître l'efficience de l'examen par les pairs
On s'attend à ce que l'initiative RechercheNet progresse considérablement. Les IRSC continueront de mettre en oeuvre avec précaution leur stratégie électronique. La promotion de l'utilisation des technologies de l'information devrait entraîner d'importantes efficiences au niveau des processus et une grande satisfaction chez les utilisateurs. Une fois mise en oeuvre complètement, cette nouvelle plateforme technologique permettra d'instaurer de nombreuses innovations dans le système d'examen par les pairs pour lequel il sera facile d'obtenir des données. Cette nouvelle possibilité constitue une autre raison d'instaurer la planification et la production de rapports systématiques sur l'innovation dans l'examen par les pairs.
Les autres activités d'amélioration comprendront les suivantes :
Conclusion
Nous espérons que ce rapport annuel sur l'innovation dans le système d'examen par les pairs des IRSC et ceux qui le suivront appuieront l'évolution réfléchie et factuelle du principal système opérationnel des IRSC. Les possibilités d'innovation abondent. Nos défis continueront de porter sur l'établissement de priorités, la gestion du changement et l'affectation des ressources à l'appui de notre objectif ultime, qui est d'améliorer la santé des Canadiens.
