Table des matières
Ce rapport est le fruit de l’effort collectif de représentants de petites agences qui
ont formé un Comité directeur inter-agences dans le but d’élaborer des modèles
de développement et de mettre en application des activités d’évaluation et de
mesure du rendement au sein de petits organismes. Nous désirons remercier
les personnes suivantes :
- Louise Guertin (présidente du comité), Commissariat aux langues officielles;
- Ronald Pitt, Conseil de contrôle des renseignements relatifs
aux matières dangereuses;
- Annette Ducharme, Comité des griefs des Forces canadiennes;
- Robert Sauvé, Conseil d’examen du prix des médicaments brevetés;
- Michael Glynn, Tribunal canadien des droits de la personne;
- Guy Savard, Centre canadien de gestion;
- Pierre Couturier, Commission nationale des libérations conditionnelles.
Ces personnes nous ont guidés, ont examiné les ébauches, nous ont
transmis des observations et ont persévéré dans leurs efforts pour aider
l’équipe de consultation à comprendre le contexte dans lequel œuvrent
les petits organismes.
Nous sommes très reconnaissants envers Robert Lahey, Yolande Andrews
et Kim Cronkwright du Centre d’excellence pour l’évaluation du Secrétariat
du Conseil du Trésor, pour leur appui continu ainsi qu’envers les administrateurs
du Fonds d’innovation pour la fonction de contrôleur moderne, lequel a
rendu possible la production de ce rapport.
Les membres du Comité inter-agences ont été appuyés par madame Celine
Pinsent de la firme Goss Gilroy Inc.
Objectifs
Le présent rapport résume un projet qui a servi à créer divers modèles de
fonctions d’évaluation et de mesure du rendement pouvant être adoptés au
sein de petits organismes fédéraux. Le but du projet était d’explorer quels
types de modèles seraient les plus pertinents, compte tenu des différentes
caractéristiques des petits organismes, de leurs besoins et des ressources dont
ils disposent. Le projet ne visait aucunement à produire une trousse d’outils
pratique montrant aux petits organismes comment mettre en œuvre des
fonctions d’évaluation et de mesure du rendement. Au lieu de cela, le but
du projet était de créer des modèles qui guideront désormais toute activité
de mise en œuvre. En réalité, la création d’une trousse d’outils ou de
mesures d’aide à la mise en œuvre pourrait constituer des étapes ultérieures
appropriées, fondées sur les modèles mis au point dans le cadre
du projet décrit ici.
Contexte et justification
Les petits organismes du gouvernement du Canada sont extrêmement
variés à différents points de vue, par exemple leur structure organisationnelle, leur
relation avec les ministères et organismes de taille plus importante, la nature de
leur travail et la taille de l’organisation. De plus, les petits organismes font face
à des défis uniques et ont des caractéristiques distinctes lorsqu’on les compare
aux ministères et organismes fédéraux de taille moyenne ou importante. Ces
dimensions et caractéristiques contribuent au type et à la nature des
renseignements dont ont besoin les petits organismes pour prendre
leurs décisions et assurer le respect de l’obligation de rendre compte.
La plupart des petits organismes sont assujettis à la Politique d’évaluation
du Secrétaire du Conseil du Trésor (SCT), mais un grand nombre d’entre
eux n’ont ni une fonction d’évaluation ni une capacité suffisante pour créer
et mener à bien des activités de mesure du rendement1. Il est prévu qu’une
fonction d’évaluation ou une capacité de mesure du rendement de taille
suffisamment importante contribuera à créer, au sein des petits organismes,
un environnement qui améliorera le respect de l’obligation de rendre compte
par la présentation de meilleurs comptes rendus des résultats obtenus dans
le cadre de différents programmes et de différentes politiques ou initiatives.
En outre, l’obtention d’information de qualité au sujet des résultats obtenus
aidera les gestionnaires au sein des petits organismes à prendre leurs décisions.
Le Bureau de la fonction de contrôleur moderne du SCT a financé le projet,
dont le déroulement a été surveillé par des représentants d’un groupe de
petits organismes qui ont formé le Comité directeur du projet. Le Centre
d’excellence pour l’évaluation, qui fait partie du SCT, a également fourni de
l’aide tout au long du projet.
1 Ce manque de capacité a été signalé dans d’autres rapports et a été confirmé de
façon générale durant le projet décrit ici, qui a été réalisé en 2003-2004.
Approche au chapitre de l’élaboration des modèles
Dans le cadre du projet, on a tenu compte à la fois de la diversité des petits
organismes fédéraux et des différences et défis uniques auxquels ils font face
comparativement aux ministères de taille moyenne et importante.
L’élaboration des modèles s’est faite en deux phases, la phase initiale incluant
une collecte de données (entrevues avec des sources d’information clés, études
de cas, examen d’ouvrages spécialisés et examen des approches adoptées dans
d’autres administrations). La deuxième phase a consisté à valider les ébauches
de modèles auprès de la collectivité des petits organismes, à l’aide d’un exercice
d’autoévaluation et d’analyse des écarts.
Aperçu des constatations durant la phase un – Collecte de données
On a réparti, dans deux grandes catégories, les principales constatations
provenant des entrevues faites avec des sources d’information clés, des études de
cas, d’un examen des ouvrages spécialisés et d’une étude des approches appliquées
dans d’autres administrations :
- les caractéristiques des petits organismes qu’il faut comprendre
et dont il faut tenir compte lorsqu’on discute des modèles
d’évaluation et de mesure du rendement possibles; et
- les approches et les pratiques actuelles d’évaluation et de mesure
du rendement appliquées dans les petits organismes.
Les principales constatations concernant les caractéristiques des petits organismes
incluaient les suivantes :
- Il y a une variation considérable dans la taille des organismes,
ce qui cause des écarts dans la quantité et les types de renseignements
nécessaires pour prendre des décisions et rendre compte des activités.
- La capacité de modifier la culture de l’organisme (pour assurer
la transition à des processus de mesure axés sur les résultats)
varie grandement entre les organismes.
- Souvent, dans le cas des petits organismes, l’administrateur nommé
à la tête de ceux-ci à la suite d’une nomination politique n’a pas
nécessairement d’expérience au sein de la fonction publique. Un
défi particulier que cela peut poser dans certains organismes est
qu’il y a un manque de soutien ou de compréhension de la part
du dirigeant de l’organisme en ce qui concerne
les aspects de l’évaluation et du compte rendu du rendement
tels qu’appliqués dans le contexte de la fonction publique.
- Les restrictions auxquelles font face les petits organismes au
chapitre des ressources sont évidentes. Ils disposent de très peu
de marge de manœuvre dans l’attribution de leurs ressources
en vue de la création de nouveaux processus internes qui ne
font pas directement partie de leur secteur d’activité (défini
dans leur mandat).
- Sur le plan des ressources humaines, il est difficile d’attirer des
personnes talentueuses, même lorsque les postes existent.
Les principales constatations concernant les approches appliquées actuellement
incluent les suivantes :
- Les petits organismes ne sont pas tous aussi avancés dans les
domaines de la mesure du rendement et de l’évaluation et il y a
beaucoup de variation entre eux à cet égard.
- Les organismes qui disposaient de la meilleure capacité en
matière de mesure du rendement et d’évaluation avaient souvent
un « champion » reconnaissable chez eux qui comprenait bien
les avantages de la mesure du rendement et de l’évaluation et qui
faisait des efforts constants pour y sensibiliser les autres membres
de l’organisation.
- La plupart des organismes ont précisé qu’il était nécessaire de
bénéficier d’un soutien au niveau de la haute direction pour
pouvoir apporter les changements culturels requis au sein de
l’organisation, lorsque celle-ci adopte les concepts et les processus
de la mesure du rendement et de l’évaluation dans le cadre de ses
activités quotidiennes.
Élaboration de modèles
Les résultats de la phase un ont contribué à l’élaboration de trois modèles
d’approches différents pour ce qui est de l’évaluation et de la mesure du
rendement dans les petits organismes. La question de savoir quel modèle est
le plus approprié pour un organisme particulier dépend des réponses à deux
questions sous-jacentes qui sont fondamentales dans le cadre de l’évaluation
et de la mesure du rendement :
- Quels types de décisions les gestionnaires prennent-ils dans les organismes?
- Quels types de renseignements doivent-ils avoir pour prendrem ces décisions?
Certains types de décisions nécessitent parfois de l’information très complexe,
tandis que d’autres requièrent de l’information relativement simple. Les trois
modèles dépendent de la complexité de l’information devant être fournie par la
fonction d’évaluation et de mesure du rendement au sein d’une organisation
(simple, de complexité moyenne et complexe). Pour définir les besoins en
matière d’information, on a utilisé quelques caractéristiques communes, comme
le nombre de secteurs d’activité, le niveau de risque associé aux décisions,
le nombre et les types d’intervenants, la prévisibilité de la charge de travail,
la taille de l’organisme, la nature des textes législatifs liés à celui-ci, la proportion
du budget attribuée aux subventions et aux contributions, le nombre de bureaux
et l’importance comparative accordée aux processus et aux impacts au sein
de l’organisme.
Chacun des trois modèles comprend trois grandes composantes :
- justification de la fonction d’évaluation et de mesure du
rendement en fonction des besoins en information;
- conception et prestation de la fonction d’évaluation
et de mesure du rendement dans un organisme particulier,
comprenant par exemple les activités de planification de l’évaluation,
d’élaboration d’indicateurs, de capacité interne par opposition à
l’utilisation de ressources externes pour la mesure du rendement
et d’intégration des activités de la fonction à d’autres activités
de gestion;
- résultats de la fonction d’évaluation et de mesure du rendement
tels que la fréquence des études d’évaluation, la fréquence de la
présentation de rapports internes et leur intégration aux activités
de planification, l’intégration des activités à la présentation de
rapports externes et l’utilisation de l’information pour appuyer
la prise des décisions.
Aperçu des constatations de la phase deux – Validation des modèles
L’objectif de la phase deux consistait à valider les modèles dans la collectivité
des petits organismes. La majorité des petits organismes qui ont participé à
l’exercice de validation ont indiqué qu’ils avaient à la fois des besoins en renseignements
relativement routiniers et un ou deux aspects qui nécessiteraient
éventuellement des renseignements plus spécialisés ou complexes. Comme
on pouvait s’y attendre en examinant les résultats de la phase un, la plupart
des répondants ont indiqué qu’il y avait des écarts entre les activités actuelles
de leur organisation et les activités décrites dans les modèles appropriés.
Les observations faites par les répondants en ce qui concerne les modèles
étaient favorables, la vaste majorité des répondants indiquant que ceux-ci étaient
pertinents, à la fois dans le cas de leur organisme et pour la collectivité des
petits organismes en général. Une observation faite par un certain nombre
d’organismes était que les modèles constituaient un point de départ raisonnable,
mais que l’exercice n’a pas permis de savoir quelles sont les mesures à prendre
pour réduire les écarts ou mettre en œuvre les activités décrites dans les modèles.
Tel que mentionné ci-dessus, cet aspect allait au-delà du mandat du projet décrit
ici, mais il s’agit d’une bonne indication à savoir que la prochaine étape du
processus devrait consister à aider les petits organismes à mettre en œuvre
ces activités.
Le présent rapport comprend le résumé d’un projet dans le cadre duquel
on a élaboré différents modèles précisant comment les divers types de petits
organismes fédéraux pourraient assurer le respect de l’obligation de rendre
compte et accomplir les activités de mesure du rendement. Ce projet a tenu
compte de la diversité que l’on trouve dans la collectivité des petits organismes
fédéraux ainsi que des différences et défis uniques auxquels font face ces petits
organismes comparativement aux ministères et organismes de taille moyenne
et importante.
Le projet avait pour but de répondre à un objectif lié à la modernisation
de la fonction de contrôleur consistant à élaborer, à renforcer et à mettre en
œuvre de meilleurs cadres de responsabilisation dans les petits organismes en
renforçant les fonctions d’évaluation et de mesure du rendement dans ceux-ci.
La plupart des petits organismes sont assujettis à la Politique d’évaluation du
Secrétariat du Conseil du Trésor, mais un grand nombre d’entre eux n’ont ni
fonction d’évaluation ni capacité suffisante pour créer et mener à bien des
activités de mesure du rendement. Il est prévu qu’une fonction d’évaluation
ou une capacité de mesure du rendement de taille suffisamment importante
contribuera à créer un environnement qui améliorera le respect de l’obligation
de rendre compte par la présentation de meilleurs comptes rendus à propos des
résultats obtenus dans le cadre de différents programmes et différentes politiques
ou initiatives. En outre, une information de qualité au sujet des résultats
obtenus aidera les gestionnaires des petits organismes à prendre leurs décisions.
Les petits organismes au gouvernement du Canada sont extrêmement divers
à différents points de vue, tels leur structure organisationnelle, leur relation
avec les ministères et organismes de taille plus importante, la nature de
leur travail et la taille de l’organisation. Ces dimensions et caractéristiques
contribuent au type et à la nature des renseignements dont ont besoin
les petits organismes pour prendre leurs décisions et assurer le respect de
l’obligation de rendre compte.
De plus, les petits organismes font face à des défis uniques et ont des
caractéristiques distinctes lorsqu’on les compare aux ministères et organismes
fédéraux de taille moyenne ou importante. Une différence est que les petits
organismes ont souvent un ou deux secteurs d’activité, alors que les ministères
de taille moyenne et importante ont fréquemment de multiples secteurs
d’activité comprenant de nombreux programmes. Une autre différence
est que comparés aux organismes et ministères plus importants, les petits
organismes ont moins de souplesse au chapitre des ressources financières.
En raison de ces différences, il est possible que les modèles utilisés pour
respecter l’obligation de rendre compte et remplir les exigences en matière
de rendement dans les ministères de taille moyenne et importante ne puissent
s’appliquer aux petits organismes.
Le projet a été amorcé et mené par un groupe de petits organismes dirigés
par le Commissariat aux langues officielles. Le groupe a reçu des fonds du
Bureau de la fonction de contrôleur moderne du Secrétariat du Conseil du
Trésor pour réaliser son projet. Goss Gilroy Inc., une entreprise de consultation
en gestion, a été retenue pour collaborer avec le groupe de petits organismes à
l’élaboration de modèles appropriés.
Le rapport est divisé en cinq grandes sections. La courte introduction au projet
est suivie d’une description de l’approche générale utilisée pour mettre au point
les modèles (section 2.0). La section 3.0 renferme les résultats des différentes
méthodes employées pour réunir des renseignements ayant ensuite servi à
l’élaboration des modèles. Dans la section 4.0, on trouve une description
de l’exercice qui a été mené pour valider les modèles auprès des petits
organismes. Finalement, la section 5.0 renferme des descriptions des
trois modèles et de leurs différentes composantes.
L’équipe chargée du projet a utilisé une approche en deux phases dans le cadre
de celui-ci. La phase initiale a consisté à consulter des sources d’information clés
par le biais d’entrevues, à mener des études de cas et à examiner les approches
appliquées dans d’autres administrations pour respecter l’obligation de rendre
compte et assurer la mesure du rendement. En se servant de l’information
obtenue de ces sources, l’équipe chargée du projet a élaboré des ébauches
de modèles montrant les façons dont les différents types de petits organismes
pourraient respecter l’obligation de rendre compte et satisfaire aux exigences
de mesure du rendement.
La phase deux a consisté à créer et à mener un exercice de validation des
modèles élaborés durant la phase un et à présenter l’information provenant
des deux phases dans le présent rapport.
La figure 1 illustre l’approche globale adoptée dans le cadre du projet.
Figure 1:
Le but des entrevues des sources d’information clés et des études de cas était
de réunir de l’information qui aiderait à élaborer des ébauches de modèles
permettant de respecter l’obligation de rendre compte et de satisfaire aux
exigences de mesure du rendement dans les petits organismes. Le lecteur
est invité à consulter l’annexe A, où il trouvera des précisions concernant
les participants aux entrevues de sources d’information clés et aux études de
cas, les instruments de collecte de données utilisés et de courtes descriptions
des 15 études de cas individuelles.
L’information qui a été réunie dans le cadre de ces activités se classait dans deux
grandes catégories.
- Caractéristiques de la collectivité – Il s’agissait notamment
de cerner des caractéristiques propres à la collectivité des petits
organismes. Il s’agissait de renseignements importants puisque
le but global du projet était d’élaborer des modèles qui seraient
pertinents pour cette collectivité et non pas juste des adaptations
de modèles utilisées par des ministères et des organismes de taille
importante ou moyenne. Parmi les caractéristiques que l’on a
examinées, il y avait les besoins en renseignements, la structure
organisationnelle, les mandats et la taille des organismes,
la marge de manœuvre au chapitre des ressources, les défis
actuels et les exigences législatives.
- Approches actuelles utilisées pour respecter l’obligation
de rendre compte et satisfaire aux exigences de mesure
du rendement – Ce type d’information était particulièrement
utile pour cerner toute pratique exemplaire ou leçon apprise
parmi les organismes qui ont participé aux études de cas, ainsi
que tout écart ou secteur qui présentait des difficultés particulières.
Cette information a été utilisée directement dans le processus
d’élaboration afin que les modèles tiennent compte des approches
qui avaient fourni de bons résultats dans certains organismes et
pour combler les lacunes observées dans certains autres.
Les entrevues avec des sources d’information clés et les études de cas ont fourni
de l’information à propos de différentes caractéristiques de la collectivité des
petits organismes. Voici une brève description de ces caractéristiques.
Taille des organismes
La taille des petits organismes est extrêmement variée. Selon la définition
de « petit », la taille des organisations peut aller de moins de dix équivalents
temps plein (ETP) jusqu’à plus de 1 000. Il semble que la quantité et les
types de renseignements requis pour prendre des décisions et rendre compte
des activités dans un organisme qui compte sept employés sont considérablement
différents de ceux qui sont requis pour gérer un organisme comptant
plus de 800 employés.
Modifications de la culture de l’organisme
Dans certains organismes, le roulement et les mutations d’employés sont
faibles en comparaison à ceux de nombreux ministères et organismes de taille
importante ou moyenne. Pour ces organismes, il peut être assez difficile de
mettre en œuvre des approches qui ne font pas déjà partie de la culture de
l’organisme. Toutefois, de nombreux répondants ont également fait valoir
que l’un des avantages d’être petit est que souvent un changement de culture
peut être appliqué assez rapidement.
Mandat assurant l’autonomie
De nombreux organismes ont été créés par voie législative en tant qu’organismes
indépendants (c.-à-d. quasi judiciaires). Aux termes de leur mandat, il ne peut y
avoir de lien de dépendance entre eux et les ministères ou les autres organismes
dans le cadre de l’exécution de leurs responsabilités. En raison de cela,
le potentiel de partenariats et de mise en commun de ressources est
quelque peu limité pour de nombreux organismes.
Soutien accordé par le dirigeant de l’organisme
Dans le cas des petits organismes, il arrive souvent que l’administrateur
nommé à la tête de l’organisme à la suite d’une nomination politique ne
possède pas nécessairement d’expérience au sein de la fonction publique.
Un défi particulier que cela peut causer dans certains organismes est qu’il
y a un manque de soutien ou de compréhension de la part du dirigeant de
l’organisme en ce qui concerne les aspects de l’évaluation et du compte
rendu du rendement tels qu’appliqués dans le contexte de la fonction
publique. Dans les organisations où le chef connaît et appuie les activités
d’amélioration de la mesure du rendement, il est peu surprenant que l’organisme
soit assez avancé dans sa capacité de respecter l’obligation de rendre compte
et de satisfaire aux exigences de mesure du rendement.
Souplesse limitée au chapitre des ressources
Les restrictions auxquelles font face les petits organismes au chapitre des
ressources sont évidentes. Ils ont très peu de marge de manœuvre dans
l’attribution de leurs ressources pour la création de nouveaux processus
internes qui ne font pas directement partie de leur secteur d’activité (défini
dans leur mandat). Contrairement à la situation dans les ministères de taille
moyenne et importante, où souvent il y a possibilité de mettre en œuvre des
projets pilotes, d’engager à contrat des experts de l’extérieur ou d’apporter
des changements aux systèmes d’information, les petits organismes n’ont
souvent aucune marge de manœuvre dans l’attribution des ressources.
Facteurs liés aux ressources humaines
Durant les études de cas et les entrevues avec des sources d’information clés,
un certain nombre d’observations ont été formulées en ce qui concerne les
questions liées aux ressources humaines dont il faut tenir compte lorsqu’on
élabore des modèles de respect de l’obligation de rendre compte et des
exigences de mesure du rendement. Voici certains de ces commentaires :
- Il est difficile d’attirer des personnes talentueuses, même lorsque
les postes existent. Il y a une pénurie reconnue, dans l’ensemble
du secteur fédéral, d’évaluateurs ayant suivi une formation et
de spécialistes de la mesure du rendement. Les petits organismes
ont encore plus de difficulté à attirer de tels professionnels
lorsqu’ils font concurrence à des ministères de taille moyenne
et importante.
- Il y a de fortes chances que les personnes engagées par de petits
organismes doivent posséder des compétences plus poussées à
de nombreux égards. La raison est que les employés des petits
organismes sont souvent appelés à jouer plusieurs rôles (p. ex.,
évaluation, mesure du rendement, planification stratégique,
vérification, etc.). Le recrutement de professionnels à ce niveau
dans un petit organisme peut être problématique à cause
d’un manque de possibilités d’avancement professionnel, d’un
manque de possibilités de collaborer avec d’autres évaluateurs, etc.
On a réuni de l’information à partir d’études de cas et au moyen d’entrevues
faites avec des personnes qui représentent des sources d’information clés pour
savoir quelles sont les approches appliquées actuellement en vue de respecter
l’obligation de rendre compte et de satisfaire aux exigences de mesure du
rendement et pour savoir quelles sont certaines des lacunes que l’on trouve
dans la collectivité des petits organismes.
Diversité au sein de la collectivité
Les petits organismes ne sont pas tous aussi avancés les uns que les autres
dans les domaines de la mesure du rendement et de l’évaluation. Certains
organismes commencent à peine à examiner les concepts de la mesure du
rendement et à déterminer comment ils s’appliquent à leur organisme.
Au sein de ceux-ci, la mesure du rendement et l’évaluation ne sont pas des
concepts avec lesquels les gestionnaires sont familiers, et il y a une nécessité
reconnue, dans ces organismes, de commencer à comprendre leurs besoins
en renseignements et la façon dont ils peuvent respecter l’obligation de
rendre compte et remplir les exigences de mesure du rendement. À l’autre
bout de ce continuum, on trouve les organismes qui sont fort avancés dans
l’application des concepts de la mesure du rendement et de l’évaluation de
leur organisation. On a créé et mis en œuvre des cadres de responsabilisation;
on assure la surveillance continue en utilisant des indicateurs du rendement
établis et on effectue des évaluations périodiques.
Processus d’examen externe obligatoire
Pour certains organismes, la législation qui régit leurs activités prévoit un
processus d’examen externe. On a reconnu que tout modèle utilisé pour
respecter l’obligation de rendre compte et mesurer le rendement devrait
tenir compte de ce processus. Ainsi, pourrait-il être nécessaire de mettre
des données de qualité sur le rendement à la disposition d’examinateurs
externes ou il pourrait y avoir une réduction du besoin d’évaluations
périodiques internes.
Besoin de nommer un « champion »
Dans le cadre des études de cas, l’équipe chargée du projet a constaté que
les organismes qui possédaient la meilleure capacité de mesure du rendement
et d’évaluation avaient souvent, dans leur effectif, une personne reconnaissable
qui comprenait les avantages de la mesure du rendement et de l’évaluation
et qui faisait des efforts constants pour les expliquer à d’autres membres de
l’organisation. En disposant ainsi d’un « champion » précis, les organismes
semblent non seulement accroître l’acceptation de ces concepts, mais
améliorer également considérablement leur capacité interne par la mise
sur pied de groupes de travail, l’organisation de séances de planification, etc.
Dans certains cas, ce « champion » était un directeur ou un gestionnaire;
dans d’autres cas, il s’agissait du chef de l’organisme.
Soutien venant de la haute direction
Même si le chef de l’organisme ne doit pas nécessairement agir comme
« champion » au sein de celui-ci, la plupart des organismes participant aux
études de cas étaient d’avis qu’il faut bénéficier d’un soutien de la haute
direction afin d’intégrer les activités de mesure du rendement et d’évaluation
à l’ensemble des activités de l’organisme. Le soutien venant de la haute
direction a souvent été mentionné comme nécessaire pour apporter
les changements culturels globaux requis dans une organisation lorsqu’elle
intègre les concepts et les processus de la mesure du rendement et de l’évaluation
à ses activités quotidiennes.
Accent mis sur les processus
Pour plusieurs organismes qui ont participé aux études de cas, il était
très important de comprendre et d’évaluer les divers processus au sein
des organismes et d’en rendre compte. L’équipe chargée du projet pensait
que c’était en raison de la nature du travail qu’accomplissent un grand nombre
de ces organismes, travail qui souvent est de nature judiciaire, quasi judiciaire
ou consiste à mener des enquêtes. Il peut s’agir d’une importante différence par
rapport à un grand nombre de ministères et d’organismes de taille importante
et moyenne où l’accent est mis sur la prestation des programmes ou sur des
interventions. Les types d’activités de mesure du rendement et d’évaluation
qui sont les plus appropriés dans le cadre de ces activités spéciales peuvent
différer considérablement des types de renseignements dont on a besoin
pour gérer des « programmes ».
Difficulté d’évaluer la « raison d’être »
Un grand nombre d’organismes ont de la difficulté face au concept de
l’évaluation de la « raison d’être ». De nombreux organismes ont un secteur
d’activité qui leur est imposé par un texte législatif particulier. Leur raison
d’être est définie par la législation. Cependant, l’évaluation de la raison d’être
d’un programme ou d’une politique spécifique dans un ministère de taille
importante ou moyenne est différente, en ce sens qu’on peut réorienter le
programme, le réduire, l’étendre, etc. Un grand nombre de petits organismes
qui n’ont qu’un secteur d’activité imposé par législation n’ont pas ces options.
Par conséquent, ces organismes ont tendance à mettre davantage l’accent sur
l’évaluation et le compte rendu des processus (voir le point ci-dessus).
Mesure du rendement en tant que première étape
Un grand nombre d’organismes ont indiqué que dans le contexte des efforts
visant à satisfaire aux exigences globales liées à l’obligation de rendre compte,
ils commencent par mettre l’accent sur la création d’une capacité de mesure
du rendement dans leurs organisations respectives. Cela consiste notamment
à dresser un cadre qui établit des liens entre les activités et les résultats
prévus, les indicateurs du rendement et les stratégies de collecte des données.
Ils ont l’intention, une fois qu’un système solide de mesure du rendement aura
été créé, de se tourner vers le besoin d’évaluations périodiques concernant
différents aspects de leur organisation.
Approches concernant l’amélioration des capacités
Les participants aux entrevues et aux études de cas ont proposé différentes
approches pour améliorer les capacités au sein de leurs organismes. Nombre
d’entre eux étaient d’avis que cette amélioration des fonctions de mesure
du rendement et d’évaluation doit se faire dans le contexte du programme
général de modernisation de la gestion. Si on la fait séparément, les gens
auront de la difficulté à comprendre la raison d'être des processus et seront
plus portés à voir les activités de mesure du rendement et d’évaluation
comme celles qui sont « présentement en vogue ». Parmi les approches
efficaces d’amélioration des capacités mentionnées par les participants,
il y avait les suivantes :
- Identification et communication continues des pratiques
exemplaires et des leçons apprises au sein de la collectivité
des petits organismes. De nombreux répondants ont indiqué
qu’il faut éviter de continuellement « réinventer la roue » dans
chaque petit organisme.
- Création de projets témoins qui permettent à divers petits
organismes d’observer et de participer. Cette approche
d’apprentissage favorisant la participation permet à de petits
organismes, dont les capacités varient, d’observer la conception
et la mise en œuvre de différents processus dans le domaine
de la mesure du rendement et de l’évaluation dans d’autres
petits organismes.
- Pour améliorer les capacités des employés, il ne suffit pas
d’offrir des ateliers. Souvent, il faut offrir de l’aide pour leur
permettre de créer les éléments voulus, du moins les premières fois.
- Il faut s’assurer que les employés et les gestionnaires voient
rapidement les résultats des fonctions de mesure du rendement
et de l’évaluation (p. ex., planification plus aisée, rapports, etc.).
S’il n’y a pas d’évidence relativement rapide d’un quelconque
« avantage », l’intérêt et la capacité créés s’estomperont probablement
assez vite.
Accès à l’expertise
Durant les études de cas et les entrevues, de nombreux participants ont fait
savoir que l’un des principaux défis auxquels ils font face lorsqu’ils tentent
d’élaborer des approches au chapitre de la mesure du rendement et de
l’évaluation dans leurs organisations est qu’ils n’ont pas facilement accès à
de l’expertise dans ces secteurs. Ces spécialistes doivent également comprendre
le contexte dans lequel travaillent les petits organismes et s’y adapter.
Un des principaux éléments de la phase deux du projet était la création
et la mise en œuvre d’un exercice de validation des modèles. Une fois que
de l’information avait été obtenue au moyen de recherches ayant pour but
de définir les approches adoptées dans d’autres administrations et au moyen
d’entrevues de personnes représentant des sources d’information clés et
d’études de cas, l’équipe chargée du projet, conjointement avec le Comité
directeur, a élaboré trois ébauches de modèles d’approches de mesure du
rendement et d’évaluation pour la collectivité des petits organismes. Dans le
cadre de la phase deux, il était nécessaire de créer et de mettre en œuvre un
exercice de validation de ces ébauches.
L’exercice de validation comportait quatre grands volets. Le volet initial
consistait à décrire brièvement le projet et les ébauches des modèles.
Le deuxième volet consistait à évaluer brièvement les besoins en renseignements
de l’organisation afin de déterminer lequel des modèles lui convenait le plus.
Une fois qu’un modèle approprié avait été choisi, le participant passait à la
troisième étape, consistant à effectuer une courte analyse des écarts, pour savoir
quels aspects du modèle existaient déjà au sein de l’organisme, lesquels
étaient prévus et lesquels ne s’appliquaient pas. Finalement, le quatrième
volet encourageait le participant à fournir des commentaires à l’équipe
chargée du projet au sujet de la pertinence des modèles, des résultats d’une
évaluation des besoins en renseignements et des lacunes repérées.
Les petits organismes qui n’ont pas participé aux études de cas ont été
informés initialement de l’exercice de validation par la présidente du Comité
directeur au moyen d’une lettre. Environ trois jours plus tard, ils ont reçu
une trousse de validation (voir l’annexe B, qui renferme un exemplaire de
la trousse de validation). Puis, chaque petit organisme ayant reçu une trousse
de validation a fait l’objet d’un appel téléphonique pour confirmer réception
de la trousse. Durant cet appel, on lui offrait également de l’aider à remplir
la trousse. À la fin de juillet 2003, l’équipe chargée du projet recevait de
22 petits organismes des trousses de validation remplies. Cela représentait
un taux de réponse d’environ 50 %.
Dans la présente section, le lecteur trouvera un aperçu des résultats de
l’exercice de validation.
Les organismes qui ont participé à l’exercice de validation présentaient des
caractéristiques variées. La taille de l’organisme allait de moins de 50 ETP à
plus de 150. Leur connaissance de la mesure du rendement et de l’évaluation
des organismes, selon les résultats d’une auto-évaluation, allait de « débutant »
à « avancé ». Les réponses étaient mixtes en ce qui concernait la mesure dans
laquelle l’accent était mis sur les processus par opposition à l’impact
des activités de l’organisation.
La majorité des petits organismes qui ont participé à l’exercice de validation
ont indiqué qu’ils avaient à la fois des besoins en renseignements relativement
routiniers et ont remarqué un ou deux aspects qui nécessiteraient éventuellement
des renseignements plus spécialisés ou complexes (modèle B). La plupart des
répondants ont indiqué qu’il y avait des écarts entre ce que faisait leur organisation
à ce moment précis et les activités décrites dans les modèles appropriés.
Là où il y avait des écarts, dans la plupart des cas, l’organisme a projeté de
mettre en œuvre l’activité spécifique dans les trois prochaines années.
Les observations faites par les répondants au sujet des modèles étaient favorables,
la vaste majorité de ceux-ci indiquant que les modèles étaient pertinents à la fois
dans le cas de leur organisme et pour la collectivité des petits organismes en
général. En ce qui concernait l’utilité de l’évaluation des besoins en renseignements
et l’analyse des écarts, les organismes qui avaient des activités relativement
bien établies en mesure du rendement et en évaluation trouvaient l’exercice
moins utile, mais avaient tendance à affirmer qu’il s’agissait d’une bonne
confirmation de leurs propres analyses. Les organismes qui avaient des
activités de mesure du rendement et d’évaluation moins poussées tendaient
à trouver que l’exercice était utile.
Une observation qui a été faite par un certain nombre d’organismes était que
les modèles constituaient un point de départ raisonnable, mais que l’exercice
n’a pas permis de savoir quelles sont les mesures à prendre pour réduire les écarts
ou mettre en œuvre les activités décrites dans les modèles. Il convient de noter
que le volet de mise en œuvre n’était pas du ressort du projet décrit ici, mais
il est probable qu’il s’agit de la prochaine étape essentielle, alors que les petits
organismes continuent d’améliorer ces activités dans le contexte des modèles
découlant du projet.
Les trois modèles élaborés sont les suivants :
- Modèle A – Besoins en renseignements routiniers
- Modèle B – Besoins en renseignements routiniers et complexes
- Modèle C – Besoins en renseignements complexes
Les trois modèles comprennent chacun trois grandes composantes :
- Justification des activités d’évaluation et de mesure du rendement
- Conception et prestation d’activités d’évaluation et de mesure du rendement
- Résultats des activités d’évaluation et de mesure du rendement
Composante 1 : Justification des activités d’évaluation et de mesure du rendement
Pourquoi un organisme investirait-il dans des activités d’évaluation et de
mesure du rendement? Quelle est leur raison d’être au sein de l’organisme?
En bref, si ces activités sont bien conçues et bien appliquées, elles fournissent
à la direction l’information dont elle a besoin pour prendre des décisions.
Ainsi, les deux questions sous-jacentes qui ont été posées tout au long de l’élaboration
des modèles d’évaluation et de mesure du rendement étaient les suivantes :
- Quels types de décisions les gestionnaires prennent-ils dans les organismes?
- Quels types de renseignements doivent-ils avoir pour prendre ces décisions?
Les activités utiles d’évaluation et de mesure du rendement sont celles
qui répondent aux besoins en renseignements des gestionnaires dans un
environnement axé sur les résultats. Pour savoir quel genre de renseignements
devraient être fournis par ces activités, un organisme doit définir clairement
les types de décisions que prennent les gestionnaires. Certains types de
décisions nécessitent des renseignements très complexes, tandis que
d’autres requièrent des renseignements relativement routiniers.
Les modèles dépendent de la complexité de l’information devant être
fournie par la fonction d’évaluation et de mesure du rendement au sein
d’une organisation.
Durant la phase initiale du projet, l’équipe chargée de celui-ci a défini
les principales caractéristiques des organismes ayant un lien avec le degré
de complexité des renseignements dont ils ont besoin pour prendre des
décisions. Il s’agissait notamment des caractéristiques suivantes :
- nombre de secteurs d’activité ou de programmes gérés par l’organisation;
- nombre et types d’intervenants qui collaborent avec l’organisation,
tels des organismes ou ministères partenaires, des organisations
de prestation, des clients, etc.;
- niveau de risque associé aux différentes décisions ou activités
de l’organisation;
- degré de centralisation de l’organisation, d’après le nombre
de bureaux régionaux et nationaux;
- fluctuations du budget ou des ressources;
- fluctuations de la charge de travail ou de la demande de services
assurés par l’organisation;
- taille de l’organisme (c.-à-d. les ETP);
- proportion du budget qui est attribuée aux subventions et aux contributions;
- accent proportionnel mis sur les processus au sein de l’organisme
par opposition aux répercussions des activités de l’organisme;
- nature de la législation associée à l’organisme (p. ex., examens
externes obligatoires, activités et justifications précisées dans
le mandat, etc.).
En évaluant systématiquement chacune de ces caractéristiques, un organisme
devrait pouvoir déterminer dans quelle mesure ces besoins globaux en renseignements
sont complexes, routiniers ou situés quelque part entre les deux. Il devra
se fonder sur la nature de ses besoins en renseignements pour concevoir et
mettre en œuvre ses activités d’évaluation et de mesure du rendement.
Composante 2 : Conception et prestation des activités d’évaluation
et de mesure du rendement
Une fois qu’une organisation a déterminé le type de renseignements dont elle
a besoin (p. ex., complexes, routiniers), elle peut décider comment concevoir
et mettre en œuvre les activités d’évaluation et de mesure du rendement au
sein de l’organisation. Certains des aspects à examiner incluent les suivants :
- planification de l’évaluation;
- élaboration de modèles logiques;
- élaboration d’indicateurs;
- création d’un système de mesure du rendement;
- capacité interne en ce qui concerne les activités;
- recours à des ressources externes;
- intégration de fonctions d’évaluation et de mesure du rendement
à d’autres activités de gestion.
Il devrait y avoir un lien direct entre chacun de ces aspects et le type
d’information devant être fournie effectivement par ces activités.
Par exemple, la formulation d’indicateurs pourrait aller de la création
d’indicateurs à niveaux multiples comprenant plusieurs niveaux de synthèse
dans le cas des besoins en renseignements complexes à la collecte systématique
de données pour trois ou quatre solides indicateurs, lorsque les besoins en
renseignements sont relativement routiniers.
Composante 3 : Résultats des activités d’évaluation et de mesure du rendement
Le dernier élément de chacun des modèles est celui des résultats fournis par
les activités d’évaluation et de mesure du rendement. Il devrait y avoir un lien
direct entre ces résultats et la justification originale des activités (composante 1)
et l’évaluation des besoins en information de la direction en vue de la
prise des décisions. Les principaux aspects à considérer à l’égard de cette
composante sont les suivants :
- fréquence des études d’évaluation;
- fréquence de la présentation de rapports internes et de l’intégration
à la planification;
- intégration des activités et de la présentation de rapports externes;
- utilisation de l’information découlant de la mesure du rendement
et de l’évaluation pour appuyer les processus décisionnels.
Les diagrammes qui suivent renferment des descriptions détaillées de chacun
des modèles, y compris leurs trois composantes.
Modèle A
Besoins en renseignements routiniers
Premier élément - justification
Facteurs externes
- Sujets à la politique d’évaluation du SCT.
- Besoin de renseignements pour produire les RMR, RPP et rapports annuels.
- Les attentes des intervenants principaux en matière
de rendement sont de modérées à élevées.
- Niveaux peu élevés de visibilité auprès du public.
- Indépendance et autonomie face aux organismes et ministères.
Facteurs internes
- Énoncé de mission ou les valeurs fondamentales
ou organisationnelles contiennent les énoncés de rendement exigés.
- Objectifs de l’organisme incluent des résultats mesurables
à différents niveaux et à diverses périodes de temps.
Facteurs associés aux besoins en renseignements requis
pour le processus décisionnel de la gestion
Nombre de secteurs d’activité : nombre restreint de secteurs d’activité
ou de programmes (deux ou trois).
Nombre et type d’intervenants : les principaux groupes d’intervenants
sont bien définis et en nombre limité (moins de cinq groupes distincts).
Risque associé aux décisions : dans l’ensemble, il existe de faibles niveaux
de risques associés aux décisions.
Centralité : un bureau, un emplacement.
Fluctuations dans les budgets et les ressources : le budget a connu
de petites fluctuations au cours des trois dernières années (+/- 15 à 30%).
Fluctuation de la charge de travail ou de la demande : la charge de travail
ou la demande est assez prévisible; habituellement prévisible pour 12 mois.
Taille : moins de 50 ETP
Part du budget affectée aux subventions et aux contributions : moins de 5%.
Plus grande importance accordée aux processus ou aux impacts : il est très
important, au sein de l’organisme, de savoir que les processus sont efficaces
et conformes à l’approche choisie.
Lois régissant les activités de l’organisme : l’organisme a été mandaté pour
poursuivre certaines activités en vertu de lois, mais il a une certaine souplesse.
L’organisme n’est pas nécessairement mandaté pour se soumettre à un processus
d’examen externe.
Évaluation des besoins en renseignements
Dans l’ensemble, les besoins en renseignements pour le processus décisionnel
de gestion sont assez simples. Les types d’activités d’évaluation et de mesure
du rendement entreprises par ces genres d’organismes devraient refléter ce
besoin et être directes, simples et très claires pour ce qui est des résultats
obtenus dans le cadre de ces activités.
Besoins en renseignements routiniers
Deuxième élément – conception et prestation
Facteurs externes
- L’ensemble des compétences exigées des nouveaux employés
potentiels et la concurrence pour ces derniers augmentent
et les petites agences pourraient avoir de la difficulté à attirer
et à garder les nouveaux employés ayant les compétences
nécessaires pour travailler dans un milieu axé sur les résultats.
- Ces agences devront probablement avoir recours à de l’expertise
et à des ressources externes pour la conception et la mise en
œuvre de ce genre d’activités.
Facteurs internes
- La capacité interne au sein du personnel actuel devra être une
compréhension globale des concepts de MR et d’évaluation ainsi
que de la façon dont ces concepts s’appliquent à leur travail.
- Les cadres supérieurs devront appuyer ces activités afin que
ces dernières soient entreprises de façon systématique et que les
renseignements obtenus soient utilisés dans le processus décisionnel.
- Bien que des ressources extérieures puissent être utilisées aux fins
de la conception et de la mise en œuvre, il est important qu’il y
ait au moins une personne au sein de l’organisation en mesure
de surveiller les activités et de s’assurer que la conception et la
mise en œuvre conviennent à l’organisme, etc. Cela représentera
vraisemblablement une seule partie des fonctions de cette personne.
Exigences en matière de conception et de prestation en ce qui
a trait aux activités de mesure du rendement et d’évaluation
Planification des évaluations : études d’évaluation périodiques effectuées
en fonction des besoins et portant sur des questions de processus.
Élaboration d’un modèle logique : liaison des activités, des extrants, des
résultats selon une perspective d’ensemble de l’organisme (chaîne de résultats).
Élaboration d’indicateurs : un ou deux niveaux d’indicateurs selon
les différents niveaux de besoins en renseignements.
Élaboration d’un système de mesure du rendement :
- Plan de mesure du rendement clair, indiquant le type de
renseignements requis, le demandeur et l’échéance.
- Besoin d’un système d’information relativement simple afin
de surveiller un petit nombre d’indicateurs.
Capacité interne liée aux activités :
- Capacité interne de planifier et de gérer les études d’évaluation
périodiques portant sur les processus.
- Capacité interne de surveiller les activités et de reconnaître
le besoin d’adapter la stratégie de mesure du rendement.
Recours aux ressources externes :
- Ressources externes périodiques requises pour mettre en
œuvre et exécuter les études d’évaluation ciblées.
- Ressources externes périodiques requises pour fournir une
expertise en matière de développement et d’adaptation des
cadres de travail et des stratégies de mesure, d’élaboration
des paramètres des demandes de propositions (DDP).
Intégration des activités à d’autres activités de gestion : compréhension
élémentaire de la façon dont les renseignements de mesure du rendement
et les évaluations périodiques peuvent être intégrés à d’autres activités
de gestion.
Détermination des écarts dans la conception et la prestation
des activités d’évaluation et de mesure du rendement
Les écarts dans la mesure dans laquelle un organisme possède un système
suffisant d’évaluation et de mesure du rendement peuvent être évalués selon
les exigences énoncées ci-dessus. L’importance accordée à chacune de ces
exigences sera variable d’un organisme à l’autre en fonction d’un certain
nombre de facteurs internes et externes.
Besoins en renseignements routiniers
Troisième élément – résultats
Facteurs externes
- Exigences relatives à la préparation de rapports concernant
les horaires, les calendriers et le contenu.
- Exigences relatives à la préparation de rapports destinés
aux groupes d’intervenants.
Facteurs internes
- Préparation de rapports en fonction d’échelons et de besoins
variés (cadres supérieurs et Conseil).
- Besoin d’assurer l’intégration des renseignements découlant
des activités de MR et d’évaluation aux autres renseignements de gestion.
Principaux résultats des activités d’évaluation et de mesure du rendement
Fréquence des études d’évaluation :
- Occasion de déterminer le besoin d’études d’évaluation
périodiques au moment opportun.
- Les rapports tirés des études d’évaluation sont pertinents
et arrivent au moment adéquat lorsqu’il faut répondre aux
besoins de la gestion en matière d’information.
- Rapport sur le rendement selon un calendrier établi
(au moins une fois par année).
Fréquence des rapports internes et intégration aux autres activités de gestion :
- Les renseignements sur les activités de mesure du rendement
entrent en jeu au moins une fois par année dans le cadre
des activités de planification de l’organisme.
- Rapport sur le rendement selon un calendrier établi
(au moins une fois par année).
Intégration des activités de mesure du rendement, d’évaluation et de rapports
externes : preuve que des renseignements dignes de foi de MR et en évaluation
sont utilisés dans la préparation des rapports externes exigés (RMR, RPP,
rapports annuels).
Utilisation des renseignements de mesure du rendement et d’évaluation
pour appuyer le processus décisionnel interne :
- Identification claire, surveillance et compte rendu des résultats
immédiats pour l’organisme.
- Preuve que des renseignements de MR et d’évaluation dignes
de foi sont utilisés pour les processus décisionnels internes.
Détermination des écarts dans les résultats des activités d’évaluation
et de mesure du rendement
Les écarts dans la mesure dans laquelle un organisme possède un système
suffisant d’évaluation et de mesure du rendement peuvent être évalués selon
les exigences énoncées ci-dessus. L’importance accordée à chacune de ces
exigences sera variable d’un organisme à l’autre en fonction d’un certain
nombre de facteurs internes et externes.
Besoins en renseignements routiniers et complexes
Premier élément – justification
Facteurs externes
- Sujets à la politique d’évaluation du SCT.
- Besoin de renseignements pour produire les RMR, RPP et rapports annuels.
- Les attentes des intervenants principaux en matière de rendement sont élevées.
- Niveaux moyens de visibilité auprès du public.
- Nombre limité de partenariats et d’initiatives conjointes
avec d’autres organismes.
Facteurs internes
- Énoncé de mission ou les valeurs fondamentales ou organisationnelles
contiennent les énoncés de rendement exigés.
- Objectifs de l’organisme incluent des résultats mesurables
à différents niveaux et à diverses périodes de temps.
Facteurs associés aux besoins en renseignements requis pour le processus
décisionnel de la gestion
Nombre de secteurs d’activité : nombre restreint de secteurs d’activité
ou de programmes (deux ou trois).
Nombre et type d’intervenants : certains groupes d’intervenants principaux
(de 5 à 10) et un ou deux de ces groupes sont des partenaires dans la prestation
de certaines facettes des services que vous offrez ou de vos programmes.
Risque associé aux décisions : dans l’ensemble, le niveau de risque associé aux
décisions est moyen.
Centralité : un à trois bureaux en plus d’un bureau national.
Fluctuations dans les budgets et les ressources : au cours des trois dernières
années, le budget a quelque peu fluctué (+/- 15 à 30%).
Fluctuations de la charge de travail ou de la demande en services : la charge
de travail ou la demande en services est assez prévisible; habituellement
prévisible pour 6 à 12 mois.
Taille : de 50 à 150 ETP
Part du budget affectée aux subventions et aux contributions : faible proportion
du budget affectée aux subventions et aux contributions (5% à 25%).
Plus grande importance accordée aux processus ou aux impacts : il est tout
aussi important au sein de l’organisme de savoir l’impact des activités sur
les principaux intervenants.
Lois régissant les activités de l’organisme : l’organisme jouit d’une certaine
souplesse dans l’exécution des activités pour lesquelles il est mandaté en vertu
des lois. L’organisme n’est pas nécessairement mandaté pour se soumettre
à un processus d’examen externe.
Évaluation des renseignements exigés
Les renseignements requis pour le processus décisionnel de la gestion
se situent entre les besoins complexes et les besoins routiniers. Les activités
d’évaluation et de mesure du rendement entreprises par ces types d’organismes
devraient correspondre à ces exigences afin de répondre aux types de renseignements
dont les gestionnaires auront besoin dans un milieu qui peut être parfois
routinier et parfois complexe.
Besoins en renseignements routiniers et complexes
Deuxième élément – conception et prestation
Facteurs externes
- L’ensemble des compétences exigées des nouveaux employés
potentiels et la concurrence pour ces derniers augmentent et
les petites agences pourraient avoir de la difficulté à attirer et à
garder les nouveaux employés ayant les compétences nécessaires
pour travailler dans un milieu axé sur les résultats.
- Ces agences devront probablement avoir recours à l’expertise
et à des ressources externes pour la conception et la mise en
oeuvre de ce genre d’activités.
Facteurs internes
- La capacité interne au sein du personnel actuel devra être
une compréhension globale des concepts de MR et d’évaluation
et de la façon dont ces concepts s’appliquent à leur travail.
- Les cadres supérieurs devront appuyer ces activités afin
que ces dernières soient entreprises de façon systématique
et que les renseignements obtenus soient utilisés dans le
processus décisionnel.
- Bien que l’on puisse avoir recours à des ressources externes en ce
qui a trait à la conception et à la mise en œuvre, il est important
que l’organisme jouisse d’une certaine capacité pour assurer la
surveillance des activités, s’assurer que leur conception et leur mise
en œuvre conviennent à l’organisation, etc. Quelques personnes
devraient normalement posséder cette capacité au sein de l’organisme
et participer à ces activités dans le cadre de leurs fonctions et de leur
temps de travail.
Exigences en matière de conception et de prestation en ce qui a trait
aux activités de mesure du rendement et d’évaluation
Planification des évaluations :
- Planification des évaluations qui s’inscrit dans la planification
stratégique de l’organisme (peut se faire de façon cyclique
ou annuellement).
- Études d’évaluation périodiques et planifiées qui portent sur
les impacts et les processus.
- Capacité limitée de répondre à certaines petites demandes
d’évaluation particulières, au besoin.
Élaboration d’un modèle logique :
- Liaison des activités, des extrants et des résultats selon une
perspective d’ensemble de l’organisme.
- Liaison des activités, des extrants et des résultats pour chaque
programme ou secteur d’activité qui peut être résumé dans la
perspective de l’organisme.
Élaboration d’indicateurs : de trois à quatre niveaux d’indicateurs selon
les différents niveaux de renseignements requis (p.ex. gestionnaires de
programme, directeurs, comité de gestion, etc.).
Élaboration d’un système de mesure de rendement :
- Rôles et responsabilités clairement définis pour différents aspects
de la cueillette et de la compilation des renseignements répartis
entre un petit nombre de personnes, d’unités ou de directions
ainsi que d’organismes partenaires.
- Un système d’information solide et planifié qui produit un sommaire
de renseignements sur une base périodique selon différents
niveaux d’indicateurs.
Capacité interne liée aux activités :
- Capacité interne de concevoir, de planifier et de gérer les études
d’évaluation portant soit sur les impacts ou sur les processus.
- Capacité interne de développer et de surveiller les activités liées
à la stratégie de mesure du rendement.
Recours aux ressources externes :
- Ressources externes périodiques requises pour mettre en œuvre
et exécuter les études d’évaluation.
- Ressources externes périodiques requises pour fournir une
expertise en matière de développement et d’adaptation des
cadres de travail et des stratégies de mesure.
Intégration des activités à d’autres activités de gestion : processus défini
et prévu pour l’intégration périodique de la mesure du rendement et des
renseignements d’évaluation à d’autres activités de gestion.
Évaluation des écarts dans la conception et la prestation des activités
d’évaluation et de mesure du rendement
Les écarts dans la mesure dans laquelle un organisme possède un système
suffisant d’évaluation et de mesure du rendement peuvent être évalués selon
les exigences énoncées ci-dessus. L’importance accordée à chacune de ces
exigences sera variable d’un organisme à l’autre en fonction d’un certain
nombre de facteurs internes et externes.
Besoins en renseignements routiniers et complexes
Troisième – résultats
Facteurs externes
- Rapports externes exigés en ce qui a trait aux horaires,
au calendrier, de même qu’au contenu.
- Exigences en matière de préparation de rapports aux groupes d’intervenants.
- Coordination et correspondance des rapports avec les organismes partenaires.
Facteurs internes
- Préparation de rapports selon les différents niveaux
et les différents besoins (cadre supérieur, Conseil).
- Besoin d’intégrer les activités de mesure du rendement
à d’autres activités d’évaluation.
- Besoin d’intégrer les renseignements obtenus par l’intermédiaire
des activités de mesure du rendement et d’évaluation à d’autres
renseignements de gestion.
Principaux résultats des activités d’évaluation et de mesure du rendement
Fréquence des études d’évaluation :
- Cycle ou plan pluriannuel pour les activités d’évaluation.
- Capacité limitée de répondre aux demandes de petites évaluations particulières.
- Rapports d’évaluation à propos et pertinents pour répondre aux
besoins de la gestion en matière de renseignements.
Fréquence de rapports internes et intégration aux autres activités de gestion :
- Plan d’évaluation lié à la planification stratégique pour l’organisme.
- Les renseignements sur les activités de mesure du rendement
servent de support d’information sur une base périodique
(trimestrielle) pour les activités de gestion à divers niveaux.
Intégration des activités de mesure du rendement et d’évaluation et de
rapports externes : preuve que des renseignements dignes de foi en mesure
du rendement et en évaluation sont utilisés dans la préparation des rapports
externes exigés (RMR, RPP, rapports annuels).
Utilisation des renseignements de mesure du rendement et d’évaluation pour
appuyer les processus décisionnels internes :
- Preuve que des renseignements de MR et d’évaluation dignes
de foi sont utilisés pour les processus décisionnels internes.
- Définition claire, surveillance et compte rendu des résultats
immédiats sur une base périodique pour l’organisation.
Évaluation des écarts dans les résultats de l’évaluation et de la mesure
du rendement
Les écarts dans la mesure dans laquelle un organisme possède un système
suffisant d’évaluation et de mesure du rendement peuvent être évalués selon
les exigences énoncées ci-dessus. L’importance accordée à chacune de ces
exigences sera variable d’un organisme à l’autre en fonction d’un certain
nombre de facteurs internes et externes.
Besoins en renseignements complexes
Premier élément – justification
- Facteurs externes
- Sujets à la politique d’évaluation du SCT.
- Besoin de renseignements pour produire les RMR, RPP et rapports annuels.
- Les attentes des intervenants principaux en matière de rendement sont élevées.
- Niveaux élevés de visibilité auprès du public.
- Susceptibles d’avoir plusieurs partenariats ou initiatives
conjointes avec d’autres organismes.
Facteurs internes
- Énoncé de mission ou les valeurs fondamentales ou organisationnelles
contiennent les énoncés de rendement exigés.
- Objectifs de l’organisme incluent des résultats mesurables à
différents niveaux et à diverses périodes de temps.
Facteurs associés aux besoins en renseignements requis pour le processus
décisionnel de la gestion
Nombre de secteurs d’activité : plusieurs secteurs d’activités ou de
programmes (quatre ou plus).
Nombre et type d’intervenants : plusieurs groupes d’intervenants principaux
(plus de 10) et plus de deux de ces groupes sont partenaires dans la prestation
de vos secteurs d’activité ou de vos programmes.
Risque associé aux décisions : dans l’ensemble, il existe des niveaux de risque
relativement élevés associés aux décisions.
Centralité : plus de trois bureaux dans différents environnements.
Fluctuations dans les budgets et les ressources : le budget a connu de grandes
fluctuations au cours des trois dernières années (+/- 30%).
Fluctuations de la charge de travail ou de la demande : la charge de travail
ou la demande en services n’est pas prévisible; difficile à prévoir pour plus
de trois à quatre mois.
Taille : plus de 150 ETP
Part du budget affectée aux subventions et aux contributions : plus de 25%
du budget est affecté aux subventions et aux contributions.
Plus grande importance accordée aux processus ou aux impacts : la question
au sein de l’organisme est avant tout de connaître l’impact des activités de
celui-ci sur les principaux intervenants.
Lois régissant les activités de l’organisme : l’organisme n’est pas nécessairement
mandaté pour poursuivre certaines activités en vertu de lois. L’organisme n’est
pas nécessairement mandaté pour se soumettre à un processus d’examen externe.
Évaluation des besoins en renseignements
Les besoins en renseignements pour le processus décisionnel de gestion sont
relativement complexes. Les types d’activités d’évaluation et de mesure du
rendement entreprises par ces genres d’organisme devraient refléter ce besoin
et être en mesure de répondre aux types de renseignements dont auront
besoin les gestionnaires qui travaillent dans un milieu complexe.
Besoins en renseignements complexes
Deuxième élément – conception et prestation
Facteurs externes
- L’ensemble des compétences exigées des nouveaux employés
potentiels et la concurrence pour ces derniers augmentent et
les petites agences pourraient avoir de la difficulté à attirer et à
garder les nouveaux employés ayant les compétences nécessaires
pour travailler dans un milieu axé sur les résultats.
- Ces agences devront probablement avoir recours à de l’expertise
et à des ressources externes pour la conception et la mise en
œuvre de ce genre d’activités.
Facteurs internes
- La capacité interne au sein du personnel actuel devra être une
compréhension globale des concepts de MR et d’évaluation ainsi
que de la façon dont ces concepts s’appliquent à leur travail.
- Les cadres supérieurs devront appuyer ces activités afin que ces
dernières soient entreprises de façon systématique et que les
renseignements obtenus soient utilisés dans le processus décisionnel.
- Bien que des ressources extérieures puissent être utilisées aux fins
de la conception et de la mise en œuvre, il est important qu’il y
ait au moins une personne au sein de l’organisation qui soit en
mesure de surveiller les activités et de s’assurer que la conception
et la mise en œuvre conviennent à l’organisme, etc.
Exigences en matière de conception et de prestation en ce qui a trait
aux activités de mesure du rendement et d’évaluation
Planification de l’évaluation :
- Planification annuelle de l’évaluation qui s’inscrit dans la
planification stratégique de l’organisme.
- Études d’évaluation prévues portant sur les impacts et les processus.
- Capacité de répondre à des demandes d’évaluation particulières, au besoin.
Élaboration d’un modèle logique :
- Liaison des activités, des extrants, des résultats selon une
perspective d’ensemble de l’organisme.
- Liaison des activités, des extrants, des résultats, pour chaque
programme ou secteur d’activité qui peut être résumé dans la
perspective de l’organisme.
Élaboration d’indicateurs : plusieurs niveaux d’indicateurs selon les différents
niveaux de renseignements requis (gestionnaires de programme, directeurs,
comité de gestion, comité de direction, etc.).
Élaboration d’un système de mesure du rendement :
- Rôles et responsabilités clairement définis pour différents aspects
de la cueillette et de la compilation des renseignements répartis
entre différentes personnes, unités ou directions et quelques
organismes partenaires.
- Un système d’information relativement complexe qui produit
un sommaire de renseignements sur une base continue selon
différents niveaux d’indicateurs.
Capacité interne liée aux activités : capacité interne de concevoir, planifier,
fournir et gérer les études d’évaluation portant soit sur les impacts ou sur
les processus. Capacité interne de développer et de surveiller les activités
et d’adapter la stratégie de mesure du rendement.
Recours aux ressources externes :
- Ressources externes périodiques requises pour mettre en œuvre
et exécuter les études d’évaluation.
- Ressources externes périodiques requises pour fournir une
expertise en matière de développement et d’adaptation des
cadres de travail et des stratégies de mesure.
Intégration des activités à d’autres activités de gestion : détermination de
processus formels pour l’intégration continue des renseignements de mesure
du rendement et d’évaluation à d’autres activités de gestion.
Détermination des écarts dans la conception et la prestation des activités
d’évaluation et de mesure du rendement
Les écarts dans la mesure dans laquelle un organisme possède un système
suffisant d’évaluation et de mesure du rendement peuvent être évalués selon
les exigences énoncées ci-dessus. L’importance accordée à chacune de ces
exigences sera variable d’un organisme à l’autre en fonction d’un certain
nombre de facteurs internes et externes.
Besoins en renseignements complexes
Troisième élément – résultats
Facteurs externes
- Exigences relatives à la préparation de rapports concernant
les horaires, les calendriers et le contenu.
- Exigences relatives à la préparation de rapports destinés aux
groupes d’intervenants.
- Coordination et concordance des rapports avec les organismes partenaires.
Facteurs internes
- Préparation de rapports en fonction d’échelons et de besoins
variés (cadres supérieurs et Conseil).
- Besoin d’assurer l’intégration des activités de mesure du
rendement aux activités d’évaluation.
- Besoin d’assurer l’intégration des renseignements obtenus
des activités de MR et d’évaluation aux autres renseignements
de gestion.
Principaux résultats des activités d’évaluation et de mesure du rendement
Fréquence des études d’évaluation :
- Plan annuel pour les activités d’évaluation.
- Capacité de répondre aux besoins d’études d’évaluation particulières.
- Rapports d’évaluation à propos et pertinents pour répondre
aux besoins en renseignements de la gestion.
Fréquence de rapports internes et intégration aux autres activités de gestion :
- Plan d’évaluation annuel lié à la planification stratégique pour l’organisation.
- Les renseignements de la mesure du rendement servent de
support d’information sur une base continue (au moins
mensuellement) pour les activités de gestion à divers niveaux.
Intégration des activités de mesure du rendement et d’évaluation et de
rapports externes : preuve que des renseignements dignes de foi de MR
et en évaluation sont utilisés dans la préparation des rapports externes exigés
(RMR, RPP, rapports annuels).
Utilisation des renseignements de mesure du rendement et d’évaluation
pour appuyer le processus décisionnel interne :
- Preuves dignes de foi de l’utilisation et de l’intégration des
renseignements de la MR et en évaluation dans les prises de
décisions dans le processus décisionnel interne.
- Identification claire, surveillance et compte rendu des résultats
immédiats pour l’organisme.
- Preuve que des renseignements de MR et en évaluation
sont utilisés dans le processus décisionnel pour l’affectation des ressources.
Détermination des écarts dans les résultats des activités d’évaluation
et de la mesure du rendement
Les écarts dans la mesure dans laquelle un organisme possède un système
suffisant d’évaluation et de mesure du rendement peuvent être évalués selon
les exigences énoncées ci-dessus. L’importance accordée à chacune de ces
exigences sera variable d’un organisme à l’autre en fonction d’un certain
nombre de facteurs internes et externes.
Liste des entrevues avec des sources d’information clés
Organisme :
Commissariat aux langues officielles
Louise Guertin
Directrice générale, Services corporatifs
Organisme :
Comité des griefs des Forces canadiennes
Annette Ducharme
Consultante
Organisme :
Commission canadienne des droits de la personne
Mike Glynn
Registraire
Organisme :
Conseil d’examen des prix des médicaments brevetés
Robert Sauvé
Directeur, Services généraux
Organisme :
Centre canadien de gestion
Guy Savard
Gestionnaire
Organisme :
Secrétariat du Conseil du Trésor
Randy Platt
Gestionnaire de portefeuille
Modernisation de la fonction de contrôleur
Organisme :
Secrétariat du Conseil du Trésor
Robert Lahey
Directeur principal, Centre d’excellence pour l’évaluation
Direction de la gestion axée sur les résultats
Organisme :
Secrétariat du Conseil du Trésor
Yolande Andrews
Analyste principale, Centre d’excellence pour l’évaluation
Direction de la gestion axée sur les résultats
Organisme :
Secrétariat du Conseil du Trésor
Elaine MacKay
Coordonnatrice, Petits organismes fédéraux
SOG – Bureau du secrétaire adjoint
Organisme :
Bureau de la sécurité des transports du Canada
Jean Laporte
Directeur, Services intégrés
Études de cas
Les 15 organismes ci-dessous ont participé aux études de cas.
Tribunal canadien des relations professionnelles artistes-producteurs –
Le Tribunal a pour mandat de définir les secteurs d’activité culturelle relevant
de la compétence fédérale et appropriés aux fins de la négociation collective;
d’accréditer les associations d’artistes pour représenter les entrepreneurs
autonomes de ces secteurs; de statuer sur les plaintes de pratiques déloyales
déposées par des artistes, des associations d’artistes ou des producteurs et
prescrire les redressements qu’il juge indiqués dans les cas d’infraction à
la Loi sur le statut de l’artiste. Le Tribunal compte environ dix ETP.
Comité des griefs des Forces canadiennes – Le Comité des griefs des Forces
canadiennes (CGFC) a été créé le 1er mars 2000 en vertu de mesures législatives
modernisant à fond la Loi sur la Défense nationale (LDN). Ces modifications
législatives visent à renouveler les Forces canadiennes. L’une des réformes
apportées avait pour objet d’instaurer un mécanisme indépendant de révision
des griefs avec la création du Comité des griefs des Forces canadiennes.
Les ordonnances et règlements royaux qui s’appliquent aux Forces canadiennes
et régissent les types de griefs renvoyés au CGFC sont entrés en vigueur le 15
juin 2000. Au moment de l’étude de cas, le CGFC comptait environ 65 ETP.
Secrétariat des conférences intergouvernementales canadiennes –
Le Secrétariat a été créé par les premiers ministres fédéral et provinciaux en
1973. Ces derniers ont alors reconnu la nécessité de se doter d’un mécanisme
pour servir en permanence les conférences fédérales-provinciales des premiers
ministres et le nombre sans cesse croissant de réunions à caractère intergouvernemental.
L’organisation est désignée comme ministère fédéral aux fins de la Loi
sur la gestion des finances publiques. Néanmoins, il s’agit en réalité d’un
organisme des gouvernements fédéral et provinciaux. En effet, non seulement
les deux ordres de gouvernement contribuent-ils à son budget, mais son
personnel est recruté à la fois chez l’un et chez l’autre. Le secrétaire présente
un rapport annuel à tous les gouvernements. Le Secrétariat fonctionne à
l’heure actuelle avec environ 22 ETP.
Office des transports du Canada – La mission de l’Office des transports
du Canada est d’appliquer la législation touchant les transports ainsi que
les politiques du gouvernement en vue de maintenir un réseau de transport
efficace et accessible à l’aide de l’éducation, de consultations et d’une
réglementation essentielle. L’Office a pour mandat d’administrer les dispositions
réglementaires économiques des diverses lois du Parlement touchant tous les
modes de transport de compétence fédérale. Il dispose d’un effectif d’environ
270 ETP.
Tribunal de l’aviation civile du Canada – Le mandat principal du Tribunal
est de tenir des audiences en révision et en appel à la demande des parties
intéressées relativement à certaines décisions administratives prises par le
ministre des Transports. L’objectif du programme est de pourvoir le milieu
de l’aviation d’un processus indépendant permettant la révision des décisions
d’application des règlements ou de délivrance des permis prises par le ministre
des Transports. Le Tribunal compte environ huit ETP.
Tribunal de la concurrence – Le Tribunal de la concurrence a été créé en
1986 lorsque le Parlement a procédé à une réforme en profondeur du droit
de la concurrence canadienne et a remplacé la Loi relative aux enquêtes
sur les coalitions par la Loi sur la concurrence. Le Tribunal est un tribunal
spécialisé alliant les domaines de l’économie et des affaires à celui du droit.
Il entend et tranche toutes les demandes présentées sous le régime des Parties
VII.1 et VIII de la Loi sur la concurrence. Le Tribunal est un organisme
strictement décisionnel, indépendant de tout ministère. Il n’est doté d’aucun
pouvoir d’enquête et ne s’acquitte d’aucune fonction consultative auprès du
gouvernement. Ses fonctions sont limitées à l’audience des demandes et au
prononcé d’ordonnances. Le Tribunal dispose d’un effectif d’environ 14 ETP.
Commission du droit d’auteur du Canada – La Commission est un organisme
de réglementation économique investi du pouvoir de déterminer, soit de
façon obligatoire, soit à la demande d’un intéressé, les redevances à verser
pour l’utilisation d’œuvres protégées par le droit d’auteur, lorsque la gestion
de ce droit est confiée à une société de gestion collective. La Commission
exerce aussi un pouvoir de surveillance des ententes intervenues entre utilisateurs
et sociétés de gestion et délivre elle-même des licences lorsque le titulaire du
droit d’auteur est introuvable. Elle dispose d’environ 11 ETP.
Secrétariat de l’ALENA – Section canadienne – Le Secrétariat de l’ALENA,
qui comprend une section canadienne, une section mexicaine et une section
états-unienne, est un organisme unique créé par la Commission du libreéchange
en vertu de l’article 2002, chapitre 20, de l’Accord de libre-échange
nord-américain (ALENA). Il est chargé de l’administration des dispositions
de l’ALENA concernant le règlement des différends. Le Secrétariat offre aussi
une aide à la Commission du libre-échange ainsi qu’un soutien à divers
comités et groupes de travail dont les activités ne sont pas liées au règlement
des différends. La Section canadienne du Secrétariat compte environ sept
ETP et œuvre dans les domaines de l’élaboration de politiques et de
la réglementation.
Commission nationale des libérations conditionnelles – La Commission
nationale des libérations conditionnelles est un des organismes faisant partie
du portefeuille du Solliciteur général du Canada, lequel comprend également
la Gendarmerie royale du Canada (GRC), le Service canadien du renseignement
de sécurité (SCRS) et le Service correctionnel du Canada (SCC).
La Commission a une fonction quasi judiciaire et compte environ 283 ETP.
Elle s’est dotée d’une fonction d’évaluation et coordonne l’exécution
des programmes avec le SCC et la GRC. La Commission présente des
rapports annuels sur le rendement au Parlement, rapports qu’elle publie
également sur son site Web.
Table ronde nationale sur l’environnement et l’économie – La Table ronde
nationale sur l’environnement et l’économie (TRNEE) est un organisme de
consultation indépendant qui offre aux décideurs, aux guides d’opinion ainsi
qu’aux Canadiennes et aux Canadiens des conseils et des recommandations
sur la promotion d’un développement durable. Créée par proclamation d’une
loi en 1994, la TRNEE explique et assure la promotion du développement
durable. En collaboration avec diverses parties intéressées du Canada, la
TRNEE définit les grands dossiers qui entraînent des conséquences à la fois
sur l’économie et l’environnement, examine leurs répercussions et recommande
des mesures d’équilibre entre la prospérité économique et la sauvegarde de
l’environnement. L’organisme emploie 28 ETP qui travaillent dans le
domaine de l’élaboration de politiques.
Commissariat aux langues officielles – La commissaire aux langues officielles
est la porte-parole du Commissariat aux langues officielles. À titre d’agente
du Parlement, elle joue plusieurs rôles clés dans la promotion et la réalisation
des objectifs de la Loi sur les langues officielles. Elle doit, entre autres choses,
veiller à ce que les institutions fédérales respectent la Loi, protéger les droits
linguistiques des Canadiens et Canadiennes et promouvoir la dualité
linguistique et le bilinguisme. Le Commissariat compte environ 162 ETP.
Bureau de l’enquêteur correctionnel du Canada – L’Enquêteur correctionnel
est chargé, en vertu de la Partie III de la Loi sur le système correctionnel
et la mise en liberté sous conditions, d’agir comme ombudsman pour les
délinquants sous responsabilité fédérale. Sa fonction première consiste à
faire enquête et à s’assurer qu’on donne suite aux plaintes des délinquants.
Il a également l’obligation d’examiner les politiques et les pratiques du SCC
donnant lieu aux plaintes afin de cerner les carences systémiques et d’y porter
une aide; il doit également faire des recommandations en ce sens. Le Bureau
compte environ 27 ETP.
Bureau de la Cour canadienne de l’impôt – La Cour canadienne de l’impôt est
une cour de justice. La Cour a été établie en 1983 en vertu de la Loi sur la
Cour canadienne de l’impôt (article 3) afin d’assurer que justice soit rendue
en matière fiscale. La Cour est indépendante de l’Agence des douanes et du
revenu du Canada et de tout autre ministère du gouvernement du Canada. La
Cour canadienne de l’impôt est une cour supérieure qui donne aux particuliers
et aux entreprises la chance de régler leurs différends avec le gouvernement du
Canada sur des questions découlant des lois en vertu desquelles la Cour a
compétence exclusive. La majorité des appels interjetés devant la Cour sont
liés à l’impôt sur le revenu, à la taxe sur les produits et services ou à l’assurance-emploi.
Le Bureau de la Cour canadienne de l’impôt compte environ 124 ETP.
Conseil d’examen des prix des médicaments brevetés – Le CEPMB est un
organisme quasi judiciaire créé en 1987 en vertu de la Loi sur les brevets afin
de protéger les intérêts des consommateurs suivant l’octroi d’une protection
accrue aux brevets pharmaceutiques. Il a pour mission de contribuer aux
soins de santé de la population canadienne en s’assurant que le prix des
médicaments brevetés n’est pas excessif. Il remplit ce mandat avec un effectif
d’environ 35 ETP.
Conseil de recherches en sciences humaines du Canada – Le Conseil de
recherches en sciences humaines du Canada (CRSH) est un organisme
fédéral autonome qui appuie la recherche et la formation avancée en
milieu universitaire dans les sciences humaines et qui en fait la promotion.
Constitué par une loi du Parlement en 1977, le CRSH est dirigé par un
conseil de 22 membres qui rend compte au Parlement par l’entremise du
ministre de l’Industrie. Le Conseil compte environ 160 ETP.
Modèles et approches utilisés en matière de reddition
de comptes et de rapports sur le rendement dans les petits organismes
Guide d’entrevue pour les premières entrevues menées par le Comité
Cette première série d’entrevues a pour objet de recueillir des renseignements
supplémentaires dans le contexte de l’étude, de préciser les attentes liées à l’étude
et, si possible, de réunir de l’information sur les critères principaux à prendre en
compte dans le choix des études de cas et la définition de pratiques exemplaires.
Contexte de l’étude et attentes connexes
1. À votre avis, quels sont les principaux objectifs de cette étude?
Pourquoi a-t-elle été commandée à ce moment-ci?
2. Comment allez-vous déterminer si, de votre point de vue,
les objectifs de l’étude ont été atteints?
3. Comment les résultats de l’étude seront-ils utilisés
par le Comité ou votre organisme :
- à court terme (p. ex., 12 mois)?
- à moyen terme (p. ex., 12 mois et plus)
Défis propres aux petits organismes
4. Quels sont les défis particuliers qui se posent à l’heure actuelle
pour les petits organismes en ce qui concerne le respect des
exigences en matière de reddition de comptes et de rapports
sur le rendement? En quoi diffèrent-ils de ceux auxquels font
face les ministères de taille moyenne ou importante?
Quelles sont les exigences qui posent la plus grande difficulté
pour votre organisme?
Choix des études de cas
5. Quels devraient être les principaux critères de sélection des
études de cas aux fins de la présente étude?
- Le travail de catégorisation effectué par le Comité jusqu’ici
- Les pratiques exemplaires
- Les exemples de situations particulièrement difficiles
- Les questions de capacité
- L’évaluation des risques
- La structure de gouvernance et de rapport
- D’autres facteurs
6. Quels organismes recommanderiez-vous aux fins des études
de cas? Pour quelles raisons?
Renseignements aux fins de la préparation du document de recherche
7. À votre connaissance, d’autres travaux ont-ils déjà été effectués
sur les modèles de reddition de comptes dans les petits organismes?
Les approches de la mesure du rendement? Les approches de la
présentation des résultats?
Rétroaction sur l’approche proposée
8. Avez-vous des commentaires ou des suggestions à formuler
à l’intention de l’équipe au sujet de l’approche proposée
(voir Figure 1, page 4)?
9. Selon vous, quels seront les aspects les plus difficiles de
l’étude proposée?
Modèles et approches utilisés en matière de reddition
de comptes et de rapports sur le rendement dans les petits organismes
Guide d’entrevue pour les études de cas
Ces entrevues ont pour objet de permettre à l’équipe chargée de l’étude de
recueillir des renseignements sur votre organisme, lesquels pourront servir à
préparer des études de cas individuelles (comptant de quatre à cinq pages).
Les constatations issues de ces études de cas seront ensuite résumées dans
un document global qui servira à élaborer des modèles appropriés de mise
sur pied de fonctions d’évaluation et de mesure du rendement dans divers
types de petits organismes.
Un examen de documents pertinents sera également effectué pour chaque
organisme. Si les documents que votre organisme entend fournir aux fins
de cet examen permettent de répondre facilement à certaines des questions
de l’entrevue, veuillez le souligner et nous supprimerons ces questions de
l’entrevue. Les questions ne s’appliqueront pas nécessairement toutes à tous
les répondants ou organismes.
Profil de l’organisation
1. Dans quelle catégorie classeriez-vous votre organisation?
- Judiciaire
- Quasi judiciaire
- Réglementaire
- Élaboration de politiques
- Enquêtes
- Parlementaire
- Autre
2. Combien votre organisme compte-t-il d’ETP à l’heure actuelle?
3. Veuillez décrire les processus suivants dans votre organisme en indiquant
qui en est chargé, quel genre de renseignements sont disponibles pendant
le processus et quelle est l’approche globale utilisée :
- processus de planification;
- processus décisionnels;
- processus de présentation des résultats.
4. Dans quelle mesure les trois groupes de processus sont-ils reliés?
5. Dans quelle mesure les processus de gestion ont-ils changé au cours
des trois à quatre dernières années en ce qui concerne
les éléments suivants :
- mesure du rendement et présentation des résultats;
- évaluation des programmes, des politiques ou des initiatives;
- obligations redditionnelles des gestionnaires;
- conceptualisation ou caractérisation des risques.
6. Pour quelle raison ces changements sont-ils survenus? Quels ont été
les principaux facteurs qui ont motivé le changement?
7. Selon vous, quels ont été les principaux défis rattachés à ces changements?
8. Quelles ont été les solutions les plus efficaces pour surmonter ces défis?
9. En ce qui a trait au changement des processus de gestion liés à l’évaluation
et à la mesure du rendement, quels sont, à votre avis, les changements les plus
susceptibles d’être apportés au cours des deux à trois prochaines années?
10. Quelles sont les caractéristiques de votre organisation qui posent le plus
de difficulté par rapport au respect des exigences en matière de reddition de
comptes et de rapports sur le rendement? En quoi ces défis diffèrent-ils de
ceux qui se présentent dans les ministères de taille moyenne ou importante?
Quelles sont les exigences qui vous posent le plus de difficultés?
11. Avez-vous des relations de travail ou des partenariats avec d’autres
organismes? D’autres ministères? Quelles sont les limites imposées à l’heure
actuelle à votre organisation en ce qui concerne l’établissement de partenariats
avec d’autres organisations (p. ex., législation)?
Situation actuelle de la mise en œuvre de la fonction
d’évaluation et de la mesure du rendement
12. De quelle façon la direction de votre organisation s’y prend-elle pour savoir
si l’organisation respecte ses objectifs globaux? Ses objectifs opérationnels?
13. À l’heure actuelle, votre organisme affecte-t-il des ressources à la
mesure du rendement? À l’évaluation? Si oui, quel est le niveau des
ressources disponibles?
14. Parmi les énoncés suivants, lequel décrit le mieux la situation de la fonction
d’évaluation dans votre organisation à l’heure actuelle?
- Nous n’avons pas mené de travaux d’évaluation jusqu’ici;
nous n’en avons prévu aucun au cours de l’exercice qui vient.
- Nous n’avons pas mené de travaux d’évaluation jusqu’ici;
nous en avons prévu au cours de l’exercice qui vient.
- Nous menons des travaux d’évaluation pour répondre à
des exigences de l’extérieur.
- Nous menons des travaux d’évaluation de diverses façons;
ils sont parfois intégrés dans une stratégie de mesure.
- L’évaluation est intégrée à la stratégie de mesure et acceptée
en tant qu’outil de gestion.
- Des travaux d’évaluation périodiques font partie intégrante
de la gestion des politiques et des programmes.
- L’évaluation est un élément à part entière des activités liées
aux politiques et aux programmes.
15. Dans quelle mesure votre organisme est-il au fait de la Politique d’évaluation
du CT? Selon vous, où se situe votre organisation sur le plan de la mise en
œuvre de cette politique? Quels sont les écarts, le cas échéant?
16. À l’heure actuelle, votre organisation a-t-elle une stratégie de mesure
du rendement? Recueille-t-elle des renseignements sur les résultats de façon
systématique? De quelle façon les gestionnaires utilisent-ils l’information recueillie?
Quelles sont les lacunes actuelles en matière d’information?
Principaux risques et défis
17. L’organisation a-t-elle mené une analyse des risques récemment? Si oui,
quels secteurs sont considérés comme posant le plus de risques? A-t-on
élaboré un plan pour composer avec ces risques? Le plan a-t-il été exécuté?
18. Quels sont les plus grands défis qui se sont posés par rapport à l’élaboration
et à l’exécution d’un plan visant à composer avec les risques?
Questions liées à la capacité
19. À l’heure actuelle, disposez-vous de la capacité voulue pour respecter
les exigences en matière de reddition de comptes et de rapports sur le
rendement? Dans quels domaines se trouvent les écarts les plus importants?
20. Quelles mesures avez-vous adoptées jusqu’ici pour tenter de remédier
aux problèmes en matière de capacité? Quelle a été l’efficacité de ces mesures?
21. Selon vous, quels seraient les meilleurs moyens que pourrait utiliser
la collectivité des petits organismes pour régler ces problèmes? Les moyens
que pourraient utiliser d’autres organisations?
Trousse de l'exercice de validation
Modèles d’évaluation et de mesure du rendement des petits organismes
Il y a quelque temps, un groupe de petits organismes a demandé au Bureau
de la fonction de contrôleur moderne du Secrétariat du Conseil du Trésor de
financer un projet portant sur la conception de modèles d’élaboration et de mise
en œuvre d’activités d’évaluation et de mesure du rendement au sein des
petits organismes. Ce projet reposait sur l’hypothèse voulant que, si certains
organismes sont en mesure d’adapter facilement les approches utilisées par
les ministères de taille moyenne ou importante, bon nombre d’entre eux ne
peuvent procéder de cette façon en raison de leur contexte de fonctionnement.
Le projet avait pour objet d’élaborer des modèles plus appropriés qui :
- tiendraient compte de certaines des caractéristiques particulières
des petits organismes;
- seraient fondés sur les besoins en information réels des
gestionnaires de différents genres de petits organismes;
- reposeraient sur la participation de petits organismes au processus
d’élaboration des modèles (p. ex., études de cas, entrevues avec
des sources d’information clés et exercice de validation).
Objet de l’exercice de validation
Dans le cadre de cette phase de l’étude portant sur la validation des modèles,
des projets de modèles seront présentés aux membres de la collectivité des
petits organismes afin de recueillir des commentaires sur les points suivants :
- la mesure dans laquelle les modèles tiennent compte des
caractéristiques particulières des petits organismes;
- la pertinence des éléments des modèles; l’utilité des modèles pour
déterminer la façon la plus appropriée d’élaborer des activités d’évaluation
et de mesure du rendement au sein des organismes mêmes.
L’équipe chargée de l’étude et le Comité directeur du projet estimaient que la
manière la plus efficace de valider les projets de modèles serait de demander à
la collectivité de les examiner et d’en faire une évaluation concrète. Cette
application pratique des modèles permet de les faire passer du statut de concept
à celui d’outil. L’équipe chargée de l’étude intégrera les commentaires
recueillis dans le cadre de cet exercice à la version finale des modèles.
Description des composantes des modèles
Tous les projets de modèles comprennent trois grandes composantes :
- Justification des activités d’évaluation et de mesure du rendement
- Conception et prestation d’activités d’évaluation
et de mesure du rendement
- Résultats des activités d’évaluation et de mesure du rendement
Les activités utiles d’évaluation et de mesure du rendement sont celles qui
répondent aux besoins en information des gestionnaires dans un environnement
axé sur les résultats. Pour savoir quel genre d’information devrait être fournie
par ces activités, un organisme doit définir clairement les types de décisions
que prennent les gestionnaires. Certains types de décisions nécessitent de
l’information très complexe, tandis que d’autres requièrent de l’information
relativement simple. Les modèles dépendent de la complexité de l’information
devant être fournie par la fonction d’évaluation et de mesure du rendement
au sein d’une organisation.
Composante 1 : Justification des activités d’évaluation et de mesure du rendement
Pourquoi un organisme investirait-il dans des activités d’évaluation et de
mesure du rendement? Quelle est leur raison d’être au sein de l’organisme?
En bref, si ces activités sont bien conçues et bien appliquées, elles fournissent
à la direction l’information dont elle a besoin pour prendre des décisions.
Ainsi, les deux questions sous-jacentes qui ont été posées tout au long de
l’élaboration des modèles d’évaluation et de mesure du rendement étaient
les suivantes :
- Quels types de décisions les gestionnaires prennent-ils dans les organismes?
- Quels types de renseignements doivent-ils avoir pour prendre ces décisions?
Les activités utiles d’évaluation et de mesure du rendement sont celles qui
répondent aux besoins en information des gestionnaires dans un environnement
axé sur les résultats. Pour savoir quel genre d’information devrait être fournie
par ces activités, un organisme doit définir clairement les types de décisions
que prennent les gestionnaires. Certains types de décisions nécessitent de
l’information très complexe, tandis que d’autres requièrent de l’information
relativement simple. Les modèles dépendent de la complexité de l’information
devant être fournie par la fonction d’évaluation et de mesure du rendement
au sein d’une organisation.
Durant la phase initiale du projet, l’équipe chargée de celui-ci a défini les
dix principales caractéristiques des organismes ayant un lien avec le degré de
complexité de l’information dont ils ont besoin pour prendre des décisions.
Il s’agissait notamment des caractéristiques suivantes :
- nombre de secteurs d’activité ou de programmes gérés par l’organisation;
- nombre et types d’intervenants qui collaborent avec l’organisation,
tels des organismes ou ministères partenaires, des organisations de
prestation, des clients, etc.;
- niveau de risque associé aux différentes décisions ou activités
de l’organisation;
- degré de centralisation de l’organisation, d’après le nombre
de bureaux régionaux et nationaux;
- fluctuations du budget ou des ressources;
- fluctuations de la charge de travail ou de la demande de
services assurés par l’organisation;
- taille de l’organisme (c.-à-d. les ETP);
- proportion du budget qui est attribuée aux subventions et aux contributions;
- accent proportionnel mis sur les processus au sein de l’organisme
par opposition aux répercussions des activités de l’organisme;
- nature de la législation associée à l’organisme (p. ex., examens
externes obligatoires, activités et justifications précisées dans
le mandat, etc.).
En évaluant systématiquement chacune de ces caractéristiques, un organisme
devrait pouvoir déterminer dans quelle mesure ses besoins globaux en information
sont complexes, simples ou situés quelque part entre les deux. Il devra se
fonder sur la nature de ses besoins en information pour concevoir et mettre
en œuvre ses activités d’évaluation et de mesure du rendement.
Composante 2 : Conception et prestation des activités d’évaluation
et de mesure du rendement
Une fois qu’une organisation a déterminé le type de renseignements dont elle
a besoin (p. ex., complexes, routiniers), elle peut décider comment concevoir
et mettre en œuvre les activités d’évaluation et de mesure du rendement au
sein de l’organisation. Certains des aspects à examiner incluent les suivants :
- planification de l’évaluation;
- élaboration de modèles logiques;
- élaboration d’indicateurs;
- création d’un système de mesure du rendement;
- capacité interne en ce qui concerne les activités;
- recours à des ressources externes;
- intégration des fonctions d’évaluation et de mesure du rendement à
d’autres activités de gestion.
Il devrait y avoir un lien direct entre chacun de ces aspects et le type d’information
devant être fournie effectivement par ces activités. Par exemple,
la formulation d’indicateurs pourrait aller de la création d’indicateurs à
niveaux multiples comprenant plusieurs niveaux de synthèse dans le cas
des besoins en information complexes à la collecte systématique de données
pour trois ou quatre solides indicateurs, lorsque les besoins en renseignements
sont relativement routiniers.
Composante 3 : Résultats des activités d’évaluation et de mesure
du rendement
Le dernier élément de chacun des modèles est celui des résultats fournis par
les activités d’évaluation et de mesure du rendement. Il devrait y avoir un lien
direct entre ces résultats et la justification originale des activités (composante 1)
et l’évaluation des besoins en information de la direction en vue de la prise
des décisions. Les principaux aspects à considérer à l’égard de cette composante
sont les suivants :
- fréquence des études d’évaluation;
- fréquence de la présentation de rapports internes et de
l’intégration à la planification;
- intégration des activités et de la présentation de
rapports externes;
- utilisation de l’information découlant de la mesure du rendement
et de l’évaluation pour appuyer les processus décisionnels.
Exercice de validation
L’exercice de validation des trois modèles d’activité de mesure du rendement
et d’évaluation dans les petits organismes est divisé en quatre grandes étapes.
Le tout devrait vous demander environ 30 à 45 minutes. Une fois le document
rempli, veuillez le retourner à l’équipe chargée de l’étude dans l’enveloppe
fournie à cette fin.
Étapes de l’exercice de validation
Les principales étapes de cet exercice sont les suivantes :
- ÉTAPE UN : Veuillez remplir le questionnaire ci-joint pour décrire
et préciser les besoins en renseignements de votre organisation aux
fins de la prise de décisions par les gestionnaires.
- ÉTAPE DEUX : Veuillez choisir le modèle qui vous convient le
mieux d’après votre évaluation de la complexité de vos besoins
en renseignements.
- ÉTAPE TROIS : Veuillez analyser l’écart entre les activités actuelles
de votre organisation en matière d’évaluation et de mesure du
rendement et celles qui sont prévues dans le modèle retenu.
- ÉTAPE QUATRE : Veuillez formuler des commentaires sur
l’utilité de l’exercice, les améliorations possibles et les options
privilégiées en matière d’amélioration de la capacité.
Veuillez fournir les renseignements suivants :
Nom : ___________________________________________________
Poste : _________________________________________________
Organisation : ______________________________________________
Nombre d’années de service auprès de cette organisation : ______________________
Autoévaluation du niveau de connaissance de la mesure du rendement
ou de l’évaluation (encerclez la réponse appropriée)
Aucune connaissance |
Débutant |
Intermédiaire |
Avancé |
ÉTAPE UN : Évaluation de la complexité des besoins en renseignements aux
fins de la prise de décisions par les gestionnaires
Chacune des questions qui suit est fondée sur les dimensions qui, selon
l’équipe chargée de l’étude, sont liées à la complexité des renseignements
dont les gestionnaires ont besoin pour prendre des décisions.
Veuillez cocher la réponse qui s’applique le mieux à votre organisme.
Dans le cas où aucune des réponses ne s’applique, veuillez inscrire votre
réponse à côté des autres catégories prévues.
Nombre de secteurs d’activité ou de programmes
1. Combien de secteurs d’activité ou de programmes votre organisation gère-t-elle?
- 1
- 2 à 3
- 4 et plus
Nombre de principaux intervenants
2. Combien de groupes de principaux intervenants différents votre
organisation compte-t-elle environ?
- Moins de 5
- 5 à 10
- Plus de 10
Types de principaux intervenants
3. Avez-vous des partenariats avec l’un ou l’autre de vos principaux
intervenants, c’est-à-dire avez-vous des ententes avec d’autres organisations
ou groupes pour la prestation ou la gestion d’un aspect quelconque de
votre service ou des activités de votre organisation (p. ex., bases de
données partagées, prestation par un tiers, cogestion de programme, etc.)?
- Aucun partenaire
- 1 à 2 partenaires
- Plus de 2 partenaires
Niveau de risque associé aux décisions ou activités de l’organisation
4. Quel est le niveau de risque associé aux décisions ou activités de votre
organisation (a peut-être déjà fait l’objet d’une évaluation des capacités
menée par le SCT)?
- Niveau de risque global faible
- Niveau de risque global moyen
- Niveau de risque global élevé
Degré de centralisation de l’organisation
5. Combien de bureaux régionaux votre organisation compte-t-elle?
- Aucun bureau régional – 1 bureau national
- 1 à 3 bureaux régionaux en plus du bureau national
- Plus de 3 bureaux régionaux en plus du bureau national
Fluctuations du budget ou des ressources disponibles
6. Dans quelle mesure le budget de l’organisation a-t-il fluctué au cours des
trois dernières années?
- Moins de +/- 15 %
- +/- 15 % à 30 %
- Plus de +/- 30 %
Fluctuations de la charge de travail ou de la demande de services
7. Dans quelle mesure la charge de travail ou la demande de services assurés
par l’organisation est-elle prévisible?
- Très prévisible : facile à prévoir sur une période de 12 mois ou plus.
- Assez prévisible : peut habituellement être prévue sur une période
de 6 à 12 mois.
- Aucunement prévisible : difficile à prévoir.
Taille de l’organisme
8. Quelle est la taille actuelle de votre organisme selon le nombre d’ETP?
- Moins de 50 ETP
- 50 à 150 ETP
- Plus de 150 ETP
Proportion du budget attribuée à des subventions et contributions
9. Quelle proportion de votre budget actuel est attribuée à des subventions
et contributions?
- Moins de 5 %
- 5 % à 25 %
- Plus de 25 %
Accent proportionnel mis sur les processus au sein de l’organisme
par opposition aux répercussions des activités de l’organisme
10. Parmi les énoncés suivants, lequel décrit le mieux l’accent principal
de votre organisation?
- Nous nous préoccupons surtout de savoir que nos
processus internes sont efficaces et respectent un
plan prévu.
- Nous nous préoccupons autant de savoir que nos processus
internes sont efficaces et respectent un plan prévu que de
connaître les répercussions des activités de l’organisation
sur nos principaux intervenants.
- Nous nous préoccupons surtout de connaître les
répercussions des activités de notre organisation
sur nos principaux intervenants.
Nature de la législation
11. Votre organisation est-elle, à l’heure actuelle, tenue par la loi d’accomplir
certaines activités qui constituent vos principaux secteurs d’activité?
- Oui, complètement avec une marge de manœuvre très limitée ou inexistante
- Oui, avec une certaine marge de manœuvre
- Non
12. Votre organisation est-elle à l’heure actuelle tenue par la loi de faire l’objet
d’un processus d’examen externe?
- Oui
- Non
ÉTAPE DEUX : Choix d’un modèle
L’évaluation du degré de complexité des besoins en renseignements aidera
l’organisation à déterminer quel modèle d’activité lui serait probablement le
plus utile. Au moyen du tableau ci-dessous, indiquez le nombre de réponses
A, B ou C. Choisissez le modèle correspondant à la catégorie dans laquelle
le nombre de réponses est le plus élevé. Passez ensuite au modèle indiqué
pour l’étape trois.
Catégorie de réponse |
Nbre |
Description |
Pour l'étape trois, passez au: |
Réponses «A» |
|
Il est probable que les besoins en reseignements de votre organisation,
aux fins de la prise de décisions, soient relativement routiniers. |
Modèle A Besoins en renseignements |
Réponses «B» |
|
Il est probable que certains des bsoins en renseignements de votre
organisation soient relativement routiniers, mais que certaines
particularités de votre organisation exigent une information plus
complexe. |
Modèle B Besoins en renseignements routiniers et
complexes |
Réponses «C» |
|
Il est probable que certaines caractéistiques de votre organisation
entraînent des besoins en renseignements relativement complexes |
Modèle C Besoins en renseignements complexes |
Total |
12 |
|
|
Si le nombre de réponses est à peu près le même dans les trois catégories,
ou réparti de façon égale entre deux catégories, il importera d’examiner
tous les modèles présentés à l’étape trois afin de déterminer lequel est le
plus susceptible de convenir à votre organisme.
ÉTAPE TROIS : Évaluation de l’écart entre les besoins en renseignements et
les activités actuelles
MODÈLE A – Besoins en renseignements routiniers
Veuillez indiquer pour chaque domaine si votre organisation se situe actuellement
au niveau décrit, si le domaine en question est à l’étude ou si on ne prévoit pas
pour le moment inclure ce domaine dans les activités d’évaluation et de mesure
du rendement (MR) de l’organisation.
|
À l'étude - Mise en place complète
pévue d'ici... |
|
Situation actuelle |
12 mois |
24 mois |
36 mois |
N'est pas à l'étude |
Observations |
Conception et mise en œuvre |
Planification de l'évaluation liée à la planification stratégique de
l'organisme (peut être faite selon un cycle ou annuellement) |
|
|
|
|
|
|
Évaluations périodiques prévues et axées tant sur les répercussions
que sur les processus |
|
|
|
|
|
|
Capacité limitée de donner suite à des demandes d'évaluation
ponctuelles de faible envergure au besoin |
|
|
|
|
|
|
Lien entre les activités, les extrants et les résultats pour
l'ensemble de l'organisme (chaîne de résultats, modèle logique) |
|
|
|
|
|
|
Lien entre les activités, les extrants et les résultats de chacun des
programmes et secteurs d'activité permettant l'intégration en une
perspective pour l'ensemble de l'organisme (chaîne de résultats, modèle
logique) |
|
|
|
|
|
|
Rôles et responsabilités clairement définis pour les différents
aspects de la collecte et du regroupement des renseignements au sein d'un
petit groupe de personnes, de quelques unités ou directions et de
quelques organismes partenaires |
|
|
|
|
|
|
Trois à quatre niveaux d'indicateurs selon les différents niveaux de
besoins en renseignements (p. ex., gestionnaires de programme, directeurs,
comité de gestion, etc.) |
|
|
|
|
|
|
Système d'information planifié, efficace et permettant de produire des
renseignements cumulatifs de façon périodique selon divers niveaux
d'indicateurs |
|
|
|
|
|
|
Capacité interne de concevoir, de planifier et de gérer des
évaluations axées soit sur les répercussions, soit sur les processus |
|
|
|
|
|
|
Capacité interne d'élaborer et de surveiller des activités liées à
la stratégie de mesure du rendement |
|
|
|
|
|
|
Recours périodique à des ressources externes pour réaliser des
évaluations |
|
|
|
|
|
|
Recours périodique à des ressources externes pour fournir une
expertise en ce qui concerne l'élaboration et l'adaptation de cadres et
de stratégies de mesure |
|
|
|
|
|
|
Processus défini et prévu d'intégration périodique des
renseignements issus de la mesure du rendement et des évaluations à
d'autres activités de gestion |
|
|
|
|
|
|
Résultats |
Cycle ou plan pluriannuel d'activités d'évaluation |
|
|
|
|
|
|
Capacité limitée de donner suite à des demandes d'évaluation
ponctuelles de faible envergure |
|
|
|
|
|
|
Rapports d'évaluation présentés en temps opportun et répondant aux
besoins en renseignements des gestionnaires |
|
|
|
|
|
|
Plan d'évaluation lié à la planification stratégique de
l'organisation |
|
|
|
|
|
|
Prise en compte périodique (au moins trimestriellement) des
renseignements issus de la mesure du rendement dans les activités de
gestion à divers niveaux |
|
|
|
|
|
|
Utilisation manifeste de renseignements bien étayés découlant de la
mesure du rendement et de l'évaluation pour répondre aux exigences de
rapports externes (RMR, RPP, rapports annuels) |
|
|
|
|
|
|
Utilisation manifeste de renseignements bien étayés découlant de la
mesure du rendement et de l'évaluation dans les processus décisionnels
internes |
|
|
|
|
|
|
Détermination précise, suivi et communication des résultats
immédiats de façon périodique pour l'ensemble de l'organisation |
|
|
|
|
|
|
ÉTAPE TROIS : Évaluation de l’écart entre les besoins en renseignements et les
activités actuelles
MODÈLE B – Besoins en renseignements routiniers et complexes
Veuillez indiquer pour chaque domaine si votre organisation se situe actuellement
au niveau décrit, si le domaine en question est à l’étude ou si on ne prévoit pas
pour le moment inclure ce domaine dans les activités d’évaluation et de mesure du
rendement (MR) de l’organisation.
|
À l'étude - Mise en place complète
pévue d'ici... |
|
Situation actuelle |
12 mois |
24 mois |
36 mois |
N'est pas à l'étude |
Observations |
Conception et mise en œuvre |
Planification de l'évaluation liée à la planification stratégique de
l'organisme (peut être faite selon un cycle ou annuellement) |
|
|
|
|
|
|
Évaluations périodiques prévues et axées tant sur les répercussions
que sur les processus |
|
|
|
|
|
|
Capacité limitée de donner suite à des demandes d'évaluation
ponctuelles de faible envergure au besoin |
|
|
|
|
|
|
Lien entre les activités, les extrants et les résultats pour
l'ensemble de l'organisme (chaîne de résultats, modèle logique) |
|
|
|
|
|
|
Lien entre les activités, les extrants et les résultats de chacun des
programmes et secteurs d'activité permettant l'intégration en une
perspective pour l'ensemble de l'organisme (chaîne de résultats, modèle
logique) |
|
|
|
|
|
|
Rôles et responsabilités clairement définis pour les différents
aspects de la collecte et du regroupement des renseignements au sein d'un
petit groupe de personnes, de quelques unités ou directions et de
quelques organismes partenaires |
|
|
|
|
|
|
Trois à quatre niveaux d'indicateurs selon les différents niveaux de
besoins en renseignements (p. ex., gestionnaires de programme, directeurs,
comité de gestion, etc.) |
|
|
|
|
|
|
Système d'information planifié, efficace et permettant de produire des
renseignements cumulatifs de façon périodique selon divers niveaux
d'indicateurs |
|
|
|
|
|
|
Capacité interne de concevoir, de planifier et de gérer des
évaluations axées soit sur les répercussions, soit sur les processus |
|
|
|
|
|
|
Capacité interne d'élaborer et de surveiller des activités liées à
la stratégie de mesure du rendement |
|
|
|
|
|
|
Recours périodique à des ressources externes pour réaliser des
évaluations |
|
|
|
|
|
|
Recours périodique à des ressources externes pour fournir une
expertise en ce qui concerne l'élaboration et l'adaptation de cadres et
de stratégies de mesure |
|
|
|
|
|
|
Processus défini et prévu d'intégration périodique des
renseignements issus de la mesure du rendement et des évaluations à
d'autres activités de gestion |
|
|
|
|
|
|
Résultats |
Cycle ou plan pluriannuel d'activités d'évaluation |
|
|
|
|
|
|
Capacité limitée de donner suite à des demandes d'évaluation
ponctuelles de faible envergure |
|
|
|
|
|
|
Rapports d'évaluation présentés en temps opportun et répondant aux
besoins en renseignements des gestionnaires |
|
|
|
|
|
|
Plan d'évaluation lié à la planification stratégique de
l'organisation |
|
|
|
|
|
|
Prise en compte périodique (au moins trimestriellement) des
renseignements issus de la mesure du rendement dans les activités de
gestion à divers niveaux |
|
|
|
|
|
|
Utilisation manifeste de renseignements bien étayés découlant de la
mesure du rendement et de l'évaluation pour répondre aux exigences de
rapports externes (RMR, RPP, rapports annuels) |
|
|
|
|
|
|
Utilisation manifeste de renseignements bien étayés découlant de la
mesure du rendement et de l'évaluation dans les processus décisionnels
internes |
|
|
|
|
|
|
Détermination précise, suivi et communication des résultats
immédiats de façon périodique pour l'ensemble de l'organisation |
|
|
|
|
|
|
ÉTAPE TROIS : Évaluation de l’écart entre les besoins en renseignements et les
activités actuelles
MODÈLE C – Besoins en renseignements complexes
Veuillez indiquer pour chaque domaine si votre organisation se situe actuellement
au niveau décrit, si le domaine en question est à l’étude ou si on ne prévoit pas
pour le moment inclure ce domaine dans les activités d’évaluation et de mesure du
rendement (MR) de l’organisation.
|
À l'étude - Mise en place complète
pévue d'ici... |
|
Situation actuelle |
12 mois |
24 mois |
36 mois |
N'est pas à l'étude |
Observations |
Conception et mise en œuvre |
Planification annuelle de l'évaluation liée à la planification
stratégique de l'organisation |
|
|
|
|
|
|
Évaluations périodiques prévues et axées tant sur les répercussions
que sur les processus |
|
|
|
|
|
|
Capacité de donner suite à la plupart des demandes d'évaluation
ponctuelles au besoin |
|
|
|
|
|
|
Lien entre les activités, les extrants et les résultats pour
l'ensemble de l'organisme (chaîne de résultats, modèle logique) |
|
|
|
|
|
|
Lien entre les activités, les extrants et les résultats de chacun des
programmes et secteurs d'activité permettant l'intégration en une
perspective pour l'ensemble de l'organisme (chaîne de résultats, modèle
logique) |
|
|
|
|
|
|
Rôles et responsabilités clairement définis pour les différents
aspects de la collecte et du regroupement des renseignements au sein d'un
groupe important de personnes, de nombreuses unités ou directions et de
divers organismes partenaires |
|
|
|
|
|
|
Multiples niveaux d'indicateurs selon les différents niveaux de besoins
en renseignements (p. ex., gestionnaires de programme, directeurs, comité
de gestion, etc.) |
|
|
|
|
|
|
Système d'information relativement complexe permettant de produire des
renseignements cumulatifs de façon continue selon divers niveaux
d'indicateurs |
|
|
|
|
|
|
Capacité interne de concevoir, de planifier et de gérer des
évaluations axées soit sur les répercussions, soit sur les processus |
|
|
|
|
|
|
Capacité interne d'élaborer et de surveiller des activités liées à
la stratégie de mesure du rendement et d'adapter la stratégie au besoin |
|
|
|
|
|
|
Recours périodique à des ressources externes pour réaliser des
évaluations |
|
|
|
|
|
|
Recours périodique à des ressources externes pour fournir une
expertise en ce qui concerne l'élaboration et l'adaptation de cadres et
de stratégies de mesure |
|
|
|
|
|
|
Processus officiel défini d'intégration continue des renseignements
issus de la mesure du rendement et des évaluations à d'autres activités
de gestion |
|
|
|
|
|
|
Résultats |
Plan annuel d'activités d'évaluation |
|
|
|
|
|
|
Capacité de donner suite sans difficulté à des demandes d'évaluation
ponctuelles de faible envergure |
|
|
|
|
|
|
Rapports d'évaluation présentés en temps opportun et répondant aux
besoins en information des gestionnaires |
|
|
|
|
|
|
Plan d'évaluation annuel lié à la planification stratégique de
l'organisation |
|
|
|
|
|
|
Prise en compte continue (au moins mensuellement) des renseignements
issus de la mesure du rendement dans les activités de gestion de divers
niveaux |
|
|
|
|
|
|
Utilisation manifeste de renseignements bien étayés découlant de la
mesure du rendement et de l'évaluation pour répondre aux exigences de
rapports externes (RMR, RPP, rapports annuels) |
|
|
|
|
|
|
Utilisation et intégration manifestes de renseignements bien étayés
découlant de la mesure du rendement et de l'évaluation dans les
processus décisionnels internes |
|
|
|
|
|
|
Détermination précise, suivi et communication continue des résultats
immédiats pour l'ensemble de l'organisation |
|
|
|
|
|
|
Utilisation manifeste des renseignements issus de la mesure du rendement
et de l'évaluation dans la prise de décisions concernant l'affectation
des ressources |
|
|
|
|
|
|
ÉTAPE QUATRE : Commentaires sur l’exercice et les modèles
Veuillez nous donner vos commentaires sur les points suivants.
1. Dans quelle mesure l’exercice vous a-t-il été utile pour accomplir les tâches
suivantes :
- Déterminer le degré de complexité des besoins en renseignements
de votre organisation.
- Déterminer quelles sont les activités de mesure du rendement
et d’évaluation qui conviennent à votre organisation.
- Repérer les écarts entre les activités actuelles de votre organisation
en matière d’évaluation et de mesures du rendement et ce qu’elles devraient être.
2. Compte tenu de la grande diversité de la collectivité des petits organismes,
les modèles proposés reflètent-ils avec justesse les activités d’évaluation et de
mesure du rendement qui pourraient être menées dans les divers types de
petits organismes?
3. Quels changements proposeriez-vous d’apporter soit à l’exercice, soit aux
modèles comme tels pour les rendre plus utiles aux petits organismes?
4. Quelle serait l’aide la plus utile que le SCT pourrait vous apporter au
cours des 12 à 18 prochains mois pour ce qui est de répondre aux besoins
en évaluation et en mesure du rendement de votre organisation?
Dans la liste suivante, veuillez cocher les trois mesures d’amélioration de la
capacité qui, à votre avis, seraient les plus utiles à votre organisation à l’heure
actuelle.
- Des outils généraux et une trousse d’outils qui pourraient
comprendre des manuels, des modèles de formulaires courants,
de la formation et des ateliers à l’intention du personnel, etc.
- Un projet pilote qui pourrait présenter des avantages pour
l’ensemble de la collectivité et serait adaptable aux besoins des
autres organismes. Les petits organismes pourraient en outre
établir des partenariats pour des projets particuliers afin de
partager les coûts, travailler ensemble pour réaliser des objectifs
communs ou répondre à des besoins communs, etc. Il pourrait y
avoir regroupement d’organismes « semblables ».
- Des projets visant à aider un petit organisme à mieux comprendre
ses besoins et à élaborer et exécuter un plan d’action pour la mise en
œuvre d’une stratégie de mesure du rendement et d’évaluation.
- Une aide du SCT : une personne-ressource au SCT pourrait
offrir des conseils en ce qui concerne par exemple la préparation
de demandes de propositions, les définitions de marchés liées à
l’évaluation et à la mesure du rendement.
- Les ministères de taille moyenne ou importante pourraient aider les
petits organismes à améliorer leurs compétences en évaluation. (Cela
ne suppose pas nécessairement des projets communs.)
- Une solution de services partagés : une ressource commune qui
est utile ou nécessaire à plus d’une partie, mais financièrement
impossible à obtenir pour un seul petit organisme.
- Autre. Veuillez préciser :
Autres observations :
Merci beaucoup de votre participation.
Veuillez mettre le questionnaire rempli dans l’enveloppe fournie à cette fin
et communiquer avec le groupe de consultants au 230-5577. Il se chargera
de le ramasser.
Tableaux de données détaillées tirés de l’exercice de validation
- Autoévaluation de la connaissance de la mesure du renement et de l'evaluation
Niveau |
#( %) |
Aucune connaissance |
0(0 %) |
Débutant |
4(18 %) |
Intermédiaire |
13(59 %) |
Avancé |
5(23 %) |
- Nombre de secteurs d'activité
Nbre de secteurs |
Nbre(%) |
Un |
13(59 %) |
Deux ou trois |
6(27 %) |
Quatre et plus |
3(14 %) |
- Niveau de risque connexe
Niveau de risque |
Nbre(%) |
Faible |
12(55 %) |
Moyenne |
9(40 %) |
Élevé |
1(5 %) |
- Prévisibilité de la charge de travail
Prévisibilité |
#( %) |
Très |
2(9 %) |
Assez |
13(59 %) |
Aucunement |
7(32 %) |
- Taille de l'organisme
Nombre d'ETP |
#( %) |
Moins de 50 |
9(40 %) |
50 à 150 |
7(32 %) |
Plus de 150 |
6(27 %) |
- Pourcentage de subventions et de contributions
Pourcentage |
Nbre( %) |
Moins de 15 % |
19(86 %) |
15 % à 30 % |
1(5 %) |
Plus de 30 % |
2(9 %) |
- Accent proportionnel sur les processus et les répercussions
Accent |
Nbre(%) |
Davantage sur les processus |
2(9 %) |
Réparti également entre les processus et les répercussions |
16(73 %) |
Davantage sur les répercussions |
4(18 %) |
- Classement des réondants selon les modèles
Modèle |
Nbre(%) |
Modèle A : Besoins en renseignements routiniers |
8(36 %) |
Modèle B : Besoins en renseignements routiniers et complexes |
13(59 %) |
Modèle C : Besoins en renseignements complexes |
1(5 %) |
- Analyse de écarts - Tous les organismes
Écarts |
Nbre d'organismes |
Peu on aucun (situation actuelle dans 85 % à 100 % des cas) |
3(14 %) |
Certains Écarts (situation actuelle dans 50 % à 84 % des cas) |
5(23 %) |
Nombreux Écarts (situation actuelle dans moins de 50 % des cas) |
14(64 %) |
- Solutions possibles
Mesures damélioration de la capacité |
Nbre(%) |
Outils généraux et trousse d'outils |
9(41%) |
Projets pilotes |
5(23%) |
Projets individuels |
8(36%) |
Aide du SCT : préparation de demandes de propositions, de marchés, etc. |
10(45%) |
Aide provenant de ministères de taille moyenne et importante |
2(14%) |
Solution de services partagés |
7(32%) |
|