D’ordinaire, la prévention du crime n’est qu’une petite partie de la solution à des problèmes sociaux plus vastes et plus complexes.
L’approche adoptée par de nombreuses collectivités des Premières nations consiste à établir une stratégie et à planifier de
manière holistique, en intégrant des stratégies telles que la mise à contribution de toutes les générations et la responsabilité de la
collectivité en général.
Par suite de l’évolution de la dynamique du maintien de l’ordre et de la sécurité publique et de l’existence de ressources limitées, le
besoin s’est fait sentir de revoir les pratiques en matière de prévention du crime. Le présent manuel a été rédigé afin de faciliter
l’évaluation des programmes de prévention du crime dans les collectivités autochtones.
Compte tenu de la diversité géographique et des divers niveaux de services policiers réguliers, un large éventail de personnes participeront à la
prestation et à l’évaluation de ces programmes. Ce manuel a été rédigé grâce à un accord de contribution de la Direction
générale de la police des Autochtones du portefeuille du Solliciteur général du Canada. Il servira à tous ceux qui, dans les collectivités
autochtones, se verront attribuer la responsabilité de l’évaluation des mesures de prévention du crime, y compris à la police.
Si ce manuel présente une méthode d’évaluation des programmes de prévention du crime point par point, il ne doit cependant être que l’un des
outils utilisés pour établir, conserver et réviser les programmes. Afin que les programmes, et les manuels conçus pour les évaluer, aient le maximum
d’efficacité, il faut que la collectivité et les organismes communautaires coordonnent leur point de vue au sujet de la sécurité dans la
collectivité.
À qui s’adresse ce manuel?
Qu’est ce que l’évaluation?
Que devrait-on évaluer?
À quoi sert l’évaluation?
Quand procéder à l’évaluation?
Qui devrait effectuer l’évaluation?
Plus le maintien de l’ordre et la prévention du crime sont axés sur la collectivité et plus la population s’intéresse à la
sécurité publique, plus il y a de chances que des gens autres que des policiers participent activement à la mise en œuvre des programmes et à leur
évaluation.
Ce manuel est conçu comme un guide pratique à l’intention de ceux qui ont assumé la responsabilité de l’évaluation d’un programme de
prévention du crime. Les évaluateurs seront vraisemblablement des employés affectés aux programmes, des employés des conseils de bande ou des gens du
milieu. L’évaluateur peut également, cela va de soi, être membre d’un service de police. On présume que la personne qui a la responsabilité de
l’évaluation n’est pas nécessairement très au courant des complexités des méthodes d’évaluation mais qu’elle souhaite
évaluer le succès du programme de prévention du crime en vigueur dans son milieu.
Ce manuel est conçu pour des collectivités qui ont un accès limité au matériel, aux logiciels et au personnel hautement perfectionnés dont
disposent souvent les agglomérations urbaines. Par conséquent, il ne traite pas de questions telles que l’utilisation de logiciels spécialisés ou
l’analyse statistique complexe. On présume que l’évaluateur aura besoin d’une compréhension de base de l’examen des programmes et qu’il
pourra acquérir une connaissance plus approfondie par l’intermédiaire d’un spécialiste.
Ce manuel est convivial et il est axé sur l’évaluation appliquée. Il ne s’agit pas d’un traité théorique. Les termes utilisés
sont pratiques et on trouvera un glossaire en annexe.
L’évaluation est un moyen de vérifier si un programme fait ce qu’il est supposé faire. L’évaluation consiste à vérifier si un
programme remplit ses objectifs et, idéalement, dans quelle mesure les buts ont été atteints et pourquoi (ou pourquoi ils ne l’ont pas été).
À quel point le programme a-t-il été couronné de succès?
L’évaluation est simplement une étape du processus qui consiste à se pencher sur le problème de la criminalité dans la collectivité.
L’évaluation d’un programme fait partie intégrante du processus d’élaboration et de maintien des programmes qui vise à ce que la réponse
apportée par la collectivité à un problème de sécurité soit la plus efficace et la plus efficiente possible.
Idéalement, la mise en œuvre et l’évaluation d’un programme font partie intégrante d’un processus planifié. Voici les principales
étapes d’un programme de prévention du crime.
- Prise de conscience – Reconnaissance de l’existence d’un problème de sécurité dans la collectivité et de la nécessité
d’une intervention sous une forme ou une autre.
- Plan d’action – Formulation d’un plan qui exposera une série de mesures destinées à aborder la question et à attribuer la
responsabilité de chacune des mesures pour assurer la réalisation de l’objectif du projet.
- Mise en œuvre – Exécution, l’une après l’autre, de chacune des tâches prévues dans le plan d’action, après avoir
obtenu les fonds nécessaires et s’être assuré des ressources suffisantes pour soutenir le programme pendant la durée du plan.
- Suivi – Collecte de données quantitatives et qualitatives pendant la durée du programme, de manière à permettre l’évaluation
périodique des progrès accomplis.
- Évaluation – Examen de l’information, au moment opportun, au cours du programme, pour vérifier s’il réussit à atteindre les
objectifs fixés. Comme nous le verrons plus loin, l’examen peut consister en une évaluation “ du processus ” ou en une évaluation “ de
l’impact ”. L’évaluation du processus fait référence à l’évaluation de chaque étape du programme pour s’assurer que
le plan d’action est mis à exécution comme il se doit. L’évaluation de l’impact mesure l’ampleur du changement survenu par suite de la
réalisation du programme.
- Commentaires – Permettent l’ajustement du programme ou des retombées subséquentes pour tenir compte des conclusions de l’évaluation. Il ne
sert pas à grand chose d’introduire un programme ou d’en entreprendre l’évaluation si les résultats ne sont pas considérés comme la base
d’une action future dans la collectivité.
Définition – Détermination du problème à partir de statistiques, d’entrevues, d’observations ou d’autres méthodes qui
orientera l’action de la collectivité.
Par conséquent, l’évaluation est une partie prévue et importante d’un programme de prévention du crime. La nature et la forme de
l’évaluation doivent être prévues au stade de la planification; elles ne devraient pas être considérées comme des ajouts au moment où le
programme tire à sa fin. En réalité, cependant, de nombreuses initiatives qui sont mises en oeuvre ne comportent qu’une planification limitée du processus
d’évaluation et, par conséquent, ne laissent guère place à la réflexion sur la nécessité d’évaluer
l’efficacité du programme.
La prévention du crime prend bien des formes. À l’une des extrémités du spectre, on trouve les programmes à long terme conçus en fonction
d’un aspect des problèmes complexes de la collectivité, comme le suicide chez les jeunes, la violence raciale ou la violence faite aux enfants. Ces programmes sont
souvent financés par plus d’un organisme et appuyés par des politiques ou des lois fédérales ou provinciales. À titre de praticien de la
prévention du crime, il se peut que vous soyez responsable de la mise en œuvre d’une partie de ces programmes dans votre milieu.
À l’autre bout du spectre se trouvent les initiatives locales; il peut s’agir d’initiatives individuelles prises par des agents de police pour régler un
problème de voisinage, un problème familial ou même un problème personnel.
Ces initiatives peuvent toutes contribuer à la prévention du crime. Quelqu’un devrait-il évaluer toutes ces initiatives? Tous ces efforts consacrés
à la prévention du crime exigent du temps, et donc de l’argent. Toutes auront un certain impact sur le sujet et sur les ressources de la collectivité. Par
conséquent, elles devraient toutes faire l’objet d’une certaine forme d’“ évaluation ” afin de déterminer s’il vaut la peine
d’y consacrer du temps et des énergies. Les projets d’évaluation demandent du temps eux aussi et ils coûtent de l’argent. Le niveau de
complexité de l’évaluation dépend de l’ampleur de l’investissement consacré à l’initiative.
Il ne vaut évidemment pas la peine de procéder à une évaluation complète et complexe pour déterminer si un agent devrait conseiller une famille
de façon ponctuelle. Toutefois, même les moindres initiatives devraient faire l’objet d’une forme ou une autre d’évaluation, quand bien même il
ne s’agirait que d’une évaluation faite mentalement par l’agent ou le superviseur des motifs pour lesquels la mesure est prise, des avantages qu’on en attend,
de la manière dont l’agent évaluera le succès et de l’opportunité d’essayer l’initiative à une autre occasion. Il s’agit en
quelque sorte d’une évaluation “ intuitive ”. Comme nous le verrons plus loin, ces étapes constituent le fondement de l’évaluation. Les
mêmes principes peuvent être appliqués à n’importe quel programme de prévention du crime.
Alors, qu’est-ce qui devrait être évalué? Comme nous l’avons indiqué, toute initiative de prévention du crime devrait être
évaluée. Il est évident cependant que les initiatives ne devraient pas toutes faire l’objet d’une évaluation globale. La quantité
d’énergie consacrée à l’évaluation devrait, en gros, être directement proportionnelle :
- à la portée du programme (au nombre de personnes “ touchées ” par le programme);
- à la longévité du programme (si un investissement à long terme est prévu, il faut s’assurer que l’effort n’est pas vain);
- à l’impact que le programme peut avoir sur la collectivité (la politique);
- aux obligations contractuelles en matière d’évaluation;
- au coût de l’évaluation (temps, argent, effort).
à l’ampleur des efforts qui y sont consacrés (au nombre de personnes qui s’emploient à le faire fonctionner);
Le présent manuel expose les principes et les étapes à suivre dans l’évaluation de tout programme de prévention du crime. Afin de
déterminer le niveau d’évaluation à adopter, le praticien de la prévention du crime doit évaluer l’impact global, visé ou probable,
qu’aura le programme sur les ressources, le temps ou la collectivité.
Le contenu du manuel doit ensuite être adapté de façon sélective, et l’on doit ajuster les méthodes d’évaluation et l’effort
à y consacrer en fonction du programme de prévention du crime. Suivant les principes exposés, c’est en considérant chaque étape et en
décidant si cela est pertinent pour votre programme que vous vous assurerez que, quelles que soient les dimensions de votre programme, vous l’aurez soumis à un examen
valide.
Les intervenants et les membres des groupes communautaires participant à des initiatives de prévention du crime ont souvent l’impression que le programme mis en place
donne les résultats escomptés. Ils savent intuitivement que le taux de criminalité a diminué ou que les problèmes qui préoccupaient la
collectivité ont été réglés. Toutefois, en ces temps de restrictions budgétaires, les personnes concernées ont le droit de connaître
l’efficacité exacte du programme, l’incidence de ce dernier sur le problème cerné de même que la source réelle de solution, à savoir le
programme ou une mesure sans lien apparent. L’évaluation aide également à la planification.
Chaque évaluation est importante car elle permet d’identifier les forces et les faiblesses d’un programme et aide la collectivité ou l’organisme à
prévoir des stratégies. On doit démontrer si et comment les programmes mis en œuvre ont donné les résultats escomptés pour plusieurs raisons,
notamment les suivantes :
- La plupart des programmes ont nécessité un investissement considérable en ressources humaines et financières. Celles-ci ont-elles été
utilisées judicieusement ou auraient-elles dû être réservées à d’autres stratégies?
- L’information recueillie dans le cadre de l’évaluation devrait être communiquée à d’autres organismes afin d’aider ces derniers
à prendre certaines décisions, à savoir i) si le programme peut être mis en œuvre dans une autre collectivité, ii) s’il est
préférable de ne pas mettre en place le programme dans une autre collectivité, ou iii) si la structure du programme doit être modifée afin de mieux
répondre aux besoins d’une autre collectivité.
- La population doit savoir si les ressources sont utilisées le plus efficacement possible.
- La mise en œuvre d’un nouveau programme peut créer un sentiment de sécurité au sein de la collectivité. Ce sentiment est-il fondé?
- Les personnes impliquées dans les programmes (victimes ou auteurs d’infraction) doivent avoir l’assurance que l’initiative répond adéquatement
à leurs besoins.
- L’évaluation permet de justifier les prochaines mesures à prendre dans le cadre d’un programme permanent.
- De nombreux facteurs ont une incidence sur la réussite ou l’échec d’un programme, notamment une formation insuffisante, la manque de reconnaissance des
comportements souhaités ou les contradictions dans les politiques. Il est essentiel d’identifier ces facteurs afin de pouvoir tirer des conclusions justes et d’assurer
que les mesures requises, comme le renouvellement des fonds, puissent apporter les changements désirés.
- Le fait de souligner les succès est source de motivation pour le personnel.
Bon nombre de programmes sont financés par des organismes de l’extérieur et il arrive souvent que les exigences contractuelles prévoient une évaluation
afin d’assurer une utilisation judicieuse des fonds.
Nous avons déjà mentionné qu’une évaluation fait partie intégrante de tout programme. La planification d’une évaluation devrait se
faire dès l’étape d’élaboration du programme de prévention du crime. L’évaluation peut demander du temps et s’avérer
coûteuse. Par ailleurs, si elle ne porte pas sur les questions pertinentes, elle peut s’avérer tout à fait inutile. En outre, l’évaluation permet
d’assurer la pertinence du temps et des efforts consacrés à la mise en œuvre d’un programme.
Il est particulièrement important de prévoir l’évaluation dès l’étape de l’élaboration du programme, car la collecte de
certains renseignements pourrait se révéler utile tout au long du programme. Par exemple, il sera peut-être nécessaire de recueillir des données (ou des
renseignements) à l’aide d’un formulaire spécial ou, pour effectuer une évaluation efficace, on devra peut-être apporter de petites modifications aux
méthodes opérationnelles ou à la conception du programme. En outre, aux fins de comparaison, différentes approches pourraient être adoptées au sein
de la collectivité ou dans deux collectivités différentes pour faire face au problème de la criminalité, ou encore, le personnel de l’unité
des services aux victimes pourrait être appelé à recueillir des renseignements sur la présence de l’alcool dans les incidents en milieu familial ou lorsque
des enfants sont retirés de leur foyer.
Lorsqu’on entreprend un processus d’évaluation, on doit examiner chaque volet du programme afin d’en assurer la conformité au plan du projet. Par
conséquent, il est souhaitable qu’une évaluation des processus soit en place dès le début du programme.
L’évaluation des processus a pour but de permettre à l’évaluateur (ou au coordonnateur du programme) de modifier le programme au besoin afin de maintenir
celui-ci sur la bonne voie. Par exemple, il sera peut-être nécessaire de donner une formation additionnelle au personnel ou encore d’élargir ou de restreindre les
types d’incidents pour lesquels intervient l’unité des services aux victimes.
L’évaluation de l’incidence permet de déterminer si le programme atteint les objectifs visés. Par conséquent, ce type d’évaluation
doit être effectué peu de temps après la fin officielle du programme. Il faut prévoir suffisamment de temps pour que les incidences puissent être
identifiées. Le moment exact de l’évaluation dépend de la nature du programme.
L’évaluation de l’incidence présente donc quelques difficultés. Afin de choisir la méthode d’évaluation appropriée, on doit
bien comprendre les objectifs du programme et les résultats escomptés. Par ailleurs, l’évaluateur doit analyser les problèmes pouvant découler de la
mise en œuvre et de l’administration du programme.
Ceci dit, l’évaluation de l’incidence est essentielle si on veut déterminer le succès du programme de prévention du crime. Nous parlerons en
détail de ces questions ci-après.
Le présent document se veut un manuel d’auto-évaluation. Il repose sur le fait que l’évaluation est effectuée, ou coordonnée, par un
intervenant de la collectivité.
L’évaluateur peut être :
- un employé du programme,
- un citoyen de la collectivité,
- un citoyen d’une collectivité voisine.
un employé de l’organisme qui ne travaille pas pour le programme,
On peut également faire appel à une personne de l'extérieur de la collectivité pour l’évaluation. Un membre ou un groupe de la
collectivité doit toutefois veiller à la coordination du projet.
Les méthodes d’évaluation sont de nos jours très complexes. On exige souvent des analyses statistiques plus poussées pour la publication
d’articles dans de nombreuses revues hautement spécialisées. Toutefois, peu d’organismes disposent du personnel ou des logiciels ou matériel
nécessaires pour entreprendre une évaluation d’une telle envergure.
Il arrive à l’occasion qu’on fasse appel à du personnel ou à des étudiants des collèges ou universités de la collectivité,
qui entreprennent l’évaluation comme projet de cours. En participant à des programmes communautaires, les établissements d’enseignement peuvent offrir
à leurs étudiants une expérience pratique en milieu de travail.
On peut aussi avoir recours à des conseillers de l’extérieur. Cette solution entraîne des coûts, comme les honoraires des conseillers, et
d’importants frais de déplacement dans les régions éloignées. S’ils embauchent des conseillers de l’extérieur, les gestionnaires de
projet doivent veiller à ce que le personnel travaillant sur place ou des membres de la collectivité acquièrent les compétences requises pour effectuer
eux-mêmes les prochaines évaluations.
Les employés d’organismes communautaires, comme les policiers, peuvent faire partie d’une plus grande organisation en mesure de fournir un soutien pour la recherche.
Ceci est probable si la collectivité a été choisie pour mettre à l’essai un programme pilote destiné à une plus grande échelle.
L’évaluation par des pairs est une façon de permettre aux employés d’organismes similaires ou aux membres d’autres collectivités de
participer à l’évaluation. Vous pouvez conclure une entente de réciprocité de sorte qu’un membre de votre collectivité puisse participer
à une évaluation ultérieure des programmes de ces autres organismes ou collectivités.
Dans la plupart des cas, toutefois, il incombera aux employés de l’organisme ou aux membres de la collectivité de planifier, d’élaborer et
d’évaluer le programme de prévention du crime. Comme la formation à distance devient monnaie courante, de nombreux citoyens et employés d’organismes
possèdent aujourd’hui les compétences requises pour assumer l’élaboration et l’évaluation d’un programme.
Quelle que soit la personne responsable de l’évaluation, elle recevra l’aide de plusieurs autres personnes qui fourniront des idées et des commentaires
relativement aux stratégies d’évaluation, ce qui donnera un produit mieux fini. La présence d’aînés, de femmes, de jeunes ou de membres du
conseil de bande au sein du comité directeur permettra d’adopter une approche plus globale pour le processus d’évaluation et le programme.
La participation d’un groupe de coordination aura également pour effet de répartir les responsabilités pour chaque étape de l’évaluation.
L’ultime responsabilité doit néanmoins revenir à la personne chargée de l’orchestration des activités.
Même si un membre de la collectivité devrait idéalement effectuer l’évaluation, il faut tenir compte de plusieurs critères dans le choix de la
personne qui effectuera la planification et l’évaluation du programme de prévention du crime, notamment :
- L’évaluateur doit faire preuve d’objectivité le plus possible. Il ne doit pas être directement impliqué dans le programme en tant que victime ou
auteur d’une infraction.
- L’évaluateur ne doit pas, dans la mesure du possible, avoir des antécédents risquant de mettre en doute sa capacité de respecter la
confidentialité des données.
- L’évaluateur ne doit pas avoir d’amis ou de parents impliqués dans le programme en tant que victime, auteur d’une infraction ou employé de
l’agence, même si cela est difficile dans les petites collectivités. La confidentialité des données pourrait paraître compromise et certains
participants au programme pourraient hésiter à donner leur point de vue.
- L’opinion de l’évaluateur concernant les principaux avantages et inconvénients du programme doit être reçue comme objective et non
biaisée.
- Dans la mesure du possible, l’évaluateur doit connaître les processus de planification, d’évaluation et de collecte des statistiques du programme. Le
présent manuel contient certains renseignements généraux sur ces activités.
L’évaluateur ne doit pas avoir d’intérêts dévolus dans les résultats du programme. Son emploi, par exemple, ne doit pas dépendre du
succès ou de la prolongation du programme.
Si un pair effectue l’évaluation, il doit :
- être en mesure d’effectuer un examen valable;
- faire preuve d’ouverture d’esprit et d’objectivité concernant les renseignements recueillis et être prêt à faire part des résultats
à la collectivité.
respecter la confidentialité des informations obtenues dans le cadre de l’évaluation;
Toutefois, étant donné certains facteurs comme l’éloignement et les restrictions financières, il peut être difficile de procéder à
une évaluation détaillée de l’efficacité et de l’efficience d’un programme de prévention du crime. Il est tout de même
préférable de mettre un programme en place et de l’évaluer comme on peut, que de ne rien faire en raison des difficultés liées à
l’évaluation.
Lorsqu’un organisme extérieur fournit les fonds, il exige habituellement de prévoir une évaluation du programme. Par conséquent, vous devriez disposer
de fonds suffisants pour procéder à cette évaluation dans la mesure où les responsables de l’élaboration du programme ont prévu un budget
adéquat à cet effet.
Il arrive parfois qu’une évaluation n’ait pas été prévue au départ. Il est donc nécessaire d’obtenir des fonds additionnels.
Il est aussi possible que, après coup, une série de mesures prises dans le cadre du programme aient mené à un résultat nécessitant une
évaluation.
Les organismes des gouvernements fédéral, provinciaux et territoriaux acceptent parfois de subventionner l’élaboration et l’évaluation de
programmes novateurs se prêtant à une mise en œuvre dans d’autres collectivités. Les entreprises privées sont habituellement plus enclines à
injecter des fonds dans des projets d’envergure, comme la construction d’édifices, et, parfois, des grandes initiatives de prévention du crime qu’à
assumer des coûts d’exploitation, comme ceux liés à l’évaluation d’un programme de prévention du crime.
Le présent manuel contient des renseignements sur la façon de préparer une demande de subvention pour un projet d’évaluation. Les coûts à
tenir en compte lors de la préparation du budget sont énumérés dans les annexes.
Il est aussi possible d’effectuer une évaluation avec des ressources restreintes. La plupart du temps, une évaluation de base suffit à déterminer le
degré d’efficacité de divers programmes et les coûts peuvent être limités aux honoraires de l’évaluateur de même qu’aux frais
d’impression des formulaires de collecte de données et, selon le cas, le coût des timbres pour l’envoi des sondages par courrier. Grâce à la
capacité des ordinateurs personnels, il est désormais facile d’effectuer des calculs, des tableaux et des rapports.
En outre, la participation d’une collectivité voisine ayant en place un programme de prévention du crime similaire peut aider à couvrir les coûts de
l’évaluation. C’est pourquoi il importe de connaître les autres programmes de prévention du crime et d’évaluation déjà en
place.
Bien entendu, les fonds dont vous disposez doivent être répartis proportionnellement selon l’importance des différentes étapes de
l’évaluation. Si vous optez pour une méthode de collecte de l’information tel un sondage auprès de la collectivité, vous devez prévoir un
budget plus élevé que si vous effectuez une série d’entrevues avec le personnel de l’organisme, par exemple.
Le présent manuel est un guide pratique qui a pour but de montrer au personnel d’organisme comment évaluer, étape par étape, si un programme de
prévention du crime a atteint les objectifs visés. Il peut également servir de référence dans la préparation d’une demande de subvention aux
fins de l’évaluation.
Le manuel comprend des renseignements détaillés, notamment les avantages et inconvénients de différentes méthodes de collecte de l’information.
Dans la plupart des cas, on suppose que vous disposez de peu de soutien de l’extérieur pour effectuer votre évaluation. Le manuel vous permettra d’acquérir
les connaissances techniques dont vous avez besoin pour tenir compte de tous les détails nécessaires à l’évaluation de votre programme et des
caractéristiques propres à votre collectivité en vue d’élaborer un plan de travail reflétant vos besoins avec les outils les plus
appropriés.
En théorie, le plan d’évaluation devrait être préparé dès l’élaboration du programme. Dans la pratique, toutefois,
l’évaluation vient souvent s’ajouter après coup. Le présent manuel vous aidera à combler de telles lacunes et à préparer une
évaluation même une fois le programme en marche.
Le manuel porte sur les principes et les étapes à prévoir dans l’évaluation d’un programme de prévention du crime. Les renseignements
donnés ne s’appliquent pas à tous les programmes, et tous les programmes ne sont pas aussi complexes que ceux donnés en exemple. Le manuel vous permettra
toutefois de vous attaquer à pratiquement tout projet d’évaluation.
Les intervenants du domaine de la prévention du crime doivent mesurer l’incidence globale prévue ou potentielle du programme sur les ressources, le temps ou la
collectivité afin de déterminer l’envergure que devrait prendre l’évaluation.
Il suffit ensuite d’adapter le contenu du manuel en fonction de la portée et de la complexité du programme. En respectant les principes énoncés, en
suivant chaque étape et en décidant ce qui convient à votre programme, vous serez en mesure d’effectuer une évaluation adéquate, peu importe
l’envergure du programme.
Le présent manuel traite spécifiquement de l’évaluation de programmes et ne touche pas l’élaboration ni la mise en œuvre, qui sont des
sujets distincts en eux-mêmes. À cet égard, des références sont données pour le lecteur qui désire en savoir plus sur ces sujets.
Tout au long du manuel, nous faisons référence à un programme de prévention du crime mis en place à Moon River, une collectivité de 7 500
personnes. Un comité directeur a été formé afin d’étudier un problème auquel fait face la collectivité. Malheureusement, aucune
évaluation des besoins n’a été effectuée et aucune évaluation n’est prévue dans le cadre du programme. On vous demande
d’effectuer une évaluation à la fin de la première année d’activité du programme.
Voici un extrait du procès-verbal du conseil de bande :
“ Les membres de la collectivité ont fait part au conseil de bande de leurs préoccupations concernant le taux élevé de violence familiale au sein de
la collectivité. Un comité directeur a été formé pour élaborer une stratégie visant à résoudre le problème.
Le comité est composé de conseillers, d’aînés, de membres de la collectivité, de policiers et de travailleurs sociaux.
Les dossiers du service de police montrent que, au cours de la dernière année, le service a reçu en moyenne 135 appels par mois pour des incidents en milieu
familial.
Une unité des services aux victimes a été mise en place. Composée de bénévoles de la collectivité, l’unité intervient,
sur appel des policiers, dans les cas de violence familiale. ”
Vous trouverez à différents endroits dans le manuel une série de questions qui ont pour but de vous aider à déterminer où vous en êtes
dans le processus et à prendre des décisions.
Dépassé? Ne vous en faites pas. Tout devrait s’éclaircir dans les pages qui suivent et vous serez en mesure d’appliquer l’information reçue
dans l’évaluation de votre programme.
Le programme faisant l’objet de l’évaluation doit être examiné dans son contexte opérationnel et théorique. Quel est son objectif? Examinez
les documents de référence sur lesquels repose le programme. D'où provient l'idée du programme et quelle en est la raison d'être? Dans la mesure du
possible, effectuez une recherche documentaire ou passez quelques appels pour déterminer si d’autres programmes similaires ont été mis en place et, le cas
échéant, si ceux-ci ont fait l’objet d’une évaluation.
Des personnes-ressources des organismes locaux, notamment les (autres) policiers ou le personnel ministériel, sont une bonne source de renseignements. En plus, grâce
à Internet et aux établissements de formation à distance, vous pouvez avoir accès à une vaste gamme de documents au pays et à
l’étranger. Il suffit souvent d’un appel pour obtenir une version papier ou une version électronique de ces documents de référence.
En outre, si le programme a suscité beaucoup d’intérêt dans votre collectivité, les dossiers des médias peuvent s’avérer une autre
source de renseignements.
Consultez les parties concernées par le programme. Insistez sur ce que le programme représente et ses objectifs plutôt que sur les activités
actuellement en cours. Le tout prendra forme plus tard.
Il importe de considérer l’évaluation (et le programme initial) dans son ensemble de sorte que, en tant qu’évaluateur, vous puissiez être en mesure
ultérieurement de cerner les facteurs à prendre en compte dans l’évaluation, par exemple :
Facteur communautaire— Taille de la région, distribution de la population et de l’âge, tendances générales en matière de
criminalité, taux de suicides, statistiques sur les divorces, antécédents culturels et historiques et facteurs de migration.
Facteur économique — Revenu et sources de revenu de la bande et des particuliers, emploi et chômage, possibilités d’obtenir un revenu à
l’extérieur de la réserve, entreprises produisant un revenu qui profite à la collectivité plutôt qu’entreprises dont les recettes ne sont pas
réinjectées localement.
Facteur socio-politique— Opinions du conseil de bande, opinions des aînés, influence des gouvernements fédéral, provinciaux et territoriaux,
incidence d’autres facteurs comme les médias et les sociétés produisant des revenus considérables, notamment les casinos et les sociétés
pétrolières.
Les données de recensement, les enquêtes gouvernementales, les journaux et les traditions orales s’avèrent également des sources de renseignements
généraux.
Une fois l’information recueillie :
- Préparez une brève description des activités du programme. Expliquez d’où vient l’idée du programme (qui, quoi, quand, où) et
comment il devrait fonctionner au départ.
- Décrivez des programmes similaires en place dans d’autres collectivités. Comment ont-ils été gérés? Ont-ils fait l’objet
d’une évaluation? Comment ont-ils été évalués? Ont-ils donné les résultats escomptés?
Définissez le but du programme. Quels en sont les objectifs? Quelle était la vision initiale lors du lancement? Pour quel problème particulier de criminalité
ou d’ordre public le programme avait-il été mis en place?
N’oubliez pas que, pour l’instant, vous n’avez pas à déterminer si, ni comment, le programme fonctionne. Nous examinons uniquement ses objectifs et le
contexte opérationnel.
Dans l’étude de cas :
Le procès-verbal de la réunion ne contient pas les objectifs de l’unité des services aux victimes. Idéalement, les objectifs auraient dû
être établis dès l’étape d’élaboration du programme. Voici des exemples d’objectifs qui auraient pu être fixés :
“ Améliorer la façon dont la population fait face au problème de la violence familiale ” ou
“ Faire en sorte que les résidants se sentent en sécurité dans leur maison ”
Comme aucun objectif n’a été fixé, demandez aux membres du comité directeur et aux travailleurs bénévoles de fixer les objectifs de
l’unité.
Examinez les données de recensement afin de prendre connaissance des données démographiques qui pourraient avoir une incidence sur la question.
Des unités des services aux victimes étant certainement en place dans d’autres collectivités, recueillez des renseignements sur ces programmes et sur la
façon dont on a procédé à leur évaluation.
Vous pouvez également effectuer une recherche dans les quotidiens locaux, car l’évaluation devrait être un sujet d’intérêt public.
Les objectifs donnent une orientation au travail. Quels sont les objectifs initiaux du programme de prévention du crime? Une bonne compréhension de ces objectifs vous
aidera à fixer les objectifs de l’évaluation.
Demandez-vous ensuite quel est le but de l’évaluation.
Un objectif doit établir clairement le but de l’évaluation. Un objectif (ou une série d’objectifs, car il peu y en avoir plus d’un) est un
énoncé précis des résultats escomptés. Le programme et le plan d’évaluation doivent toutefois être réalistes. Choisissez un
nombre raisonnable d’objectifs, par exemple, de trois à six. En fixant un trop grand nombre d’objectifs vous risquez de vous éparpiller. (Il en sera de même
si vous fixez un trop grand nombre d’objectifs pour le programme initial).
Si aucun énoncé des objectifs précis n’a été déterminé et que vous ne parvenez pas à en élaborer un lors des
rencontres initiales avec les parties concernées, essayez de prévoir intuitivement les incidences potentielles du programme afin d’orienter quelque peu votre
évaluation.
- L ‘énoncé des objectifs doit être clair de sorte que toutes les personnes qui prendront part au programme ou à l’évaluation comprennent
bien la visée du programme.
- Les objectifs doivent être réalisables. Faites preuve de créativité et d’optimisme, mais soyez réaliste.
- Les objectifs doivent être mesurables de sorte que l’évaluateur puisse recueillir des renseignements afin de déterminer si le programme a atteint les objectifs
fixés. Nous décrirons plus loin le type de données sur lesquelles sera fondée l’évaluation.
- Les objectifs doivent être établis à long terme afin de donner une orientation aux activités et de prévoir suffisamment de temps pour que l'incidence
du programme se fasse sentir. La durée ne doit toutefois pas être trop longue afin de ne pas épuiser les ressources qui pourraient servir à d’autres
programmes.
- La durée du programme doit être précisée. Vous devez fixer dès le départ quand sera faite l’évaluation et quand vous
déciderez si le programme doit se poursuivre. Ceci permettra aux participants de se concentrer sur leurs tâches, d’assurer aux groupes concernés qu’une
évaluation sera effectuée à un certain moment et d’éviter que le programme ne vivote sans évaluation.
- Les objectifs doivent être souples. Au fur et à mesure de l'évaluation du programme (voir ci-avant), il peut s’avérer nécessaire de modifier les
activités en raison de circonstances imprévues. Il est inutile de poursuivre avec acharnement les buts initiaux si les circonstances entourant le programme de
prévention du crime ont changé. Il n’y a rien de plus futile que de s'attacher à bien faire ce qui ne doit pas être fait du tout!
- La distribution des tâches fait partie de l’établissement des objectifs. Les participants doivent connaître leur rôle dans le cadre du programme ou
l’objectif du groupe.
Les objectifs doivent être acceptables pour tous les participants. Ils ne doivent pas uniquement viser à résoudre le problème cerné, mais aussi
être perçus comme éthiques par les participants. Par exemple, les services vitaux ne devraient pas être retirés à titre expérimental dans le
cadre d’un programme ou d’une évaluation.
Dans l’étude de cas :
Aucun renseignement n’a été fourni sur les objectifs.
Voici des exemples d’objectifs pertinents :
“ D’ici un an, réduire de 40 p. 100 le nombre d'appels aux endroits où un incident en milieu familial a déjà été signalé
” ou
“ D’ici un an, réduire de 25 p. 100 le temps que passent les policiers sur les lieux des incidents en milieu familial ” ou, encore,
“ D’ici un an, augmenter de 40 p. 100 le degré de satisfaction de la collectivité concernant la façon dont les incidents en milieu familial sont
traités. ”
En tant qu’évaluateur, vous aurez à fixer les objectifs en fonction de ce qui ressortira de vos conversations avec les membres du comité et du personnel. Il
est presque certain que la réduction du nombre d’incidents en milieu familial sera mentionnée. Il faudra préciser les résultats prévus quant au
pourcentage de réduction et le délai pour y parvenir.
Ou encore, l’incidence réelle peut être déterminée à la suite de l’évaluation. Vous pouvez essayer d’estimer l’incidence
afin d’orienter l’évaluation. L’incidence réelle sera déterminée plus tard lorsque vous passerez en revue toutes les données recueillies
au cours du processus d’évaluation.
Indicateurs
Si l’objectif illustre les résultats que vous désirez atteindre avec le programme, il est essentiel de comprendre le type d’information que vous devrez
recueillir pour déterminer si cet objectif a été atteint. L’information sur laquelle repose cette évaluation est appelée indicateur.
Un indicateur est un élément d’information (par exemple, une activité ou des statistiques) permettant d’évaluer l’incidence d’un
programme. L’information “ indique ” si le programme a eu une incidence ou non.
Indicateurs quantitatifs — Il s’agit essentiellement de nombres ou de quantités. Comme il est mentionné ci-après, ces indicateurs reposent sur des
données comme le nombre d’appels ayant nécessité l’intervention des policiers, le nombre d’accusations déposées, le nombre
d’enfants pris en charge ou encore le nombre de rapports de vandalisme.
Dans l’étude de cas :
Variation du nombre d’appels ayant nécessité une intervention dans le cas d’incidents en milieu familial.
Variation du nombre d’appels ayant nécessité une intervention à des adresses où une intervention a déjà été faite.
Variation du nombre d’arrestations.
Variation du temps que les policiers et les membres de l’unité ont passé sur les lieux d’incidents en milieu familial.
Indicateurs qualitatifs — Il s’agit de l’information fondée sur la “ qualité ” des activités du programme, par exemple,
l’opinion des participants ou des employés de l’organisme. Ce type d’indicateur est habituellement descriptif, mais une fois les données recueillies ou
regroupées, il peut servir, par exemple, à donner le pourcentage des répondants considérant qu’un programme donne les résultats
escomptés.
Dans l’étude de cas :
Diminution ou augmentation du degré de satisfaction des victimes quant à la façon dont sont traités les incidents en milieu familial.
Diminution ou augmentation du degré de satisfaction des policiers et du personnel de l’organisme concernant la manière dont sont traités les incidents en
milieu familial.
Mesure dans laquelle la population perçoit les incidents en milieu familial comme un problème de collectivité.
Indicateurs à court terme — Ce type d’indicateur est mesuré sur une courte période de temps. Même s’il est important et donne des
renseignements sur les progrès réalisés, l’indicateur à court terme ne permet pas souvent de tirer des conclusions probantes sur l’efficacité
globale d’un programme.
Indicateurs à long terme — Ce type d’indicateurs est mesuré sur une plus longue période de temps. Il vise principalement l’incidence
à long terme d’un programme, souvent sur la durée de vie de celui-ci.
Posez-vous les questions suivantes :
Comme nous l’avons déjà mentionné, il existe trois méthodes d’évaluation. Nous les décrivons ci-après plus en
détail.
Évaluation des besoins — L’évaluation des besoins s’effectue habituellement au début du processus d’élaboration du programme.
Elle vous permettra d’analyser les divers problèmes de criminalité auxquels votre collectivité fait face et de cerner les problèmes les plus urgents. Ce
type d’évaluation vise essentiellement à déterminer les besoins de votre collectivité.
L’évaluation des besoins ne devrait pas normalement faire partie d’un programme d’évaluation. Elle devrait plutôt aider à
l’élaboration du programme visant à combler les besoins cernés. Nous insistons sur cet aspect. En effet, si une évaluation des besoins a effectivement
été effectuée, elle se révélera une utile source de renseignements pour votre travail.
Évaluation des processus(comment atteindre les objectifs?) — En effectuant une évaluation des processus, l’évaluateur peut surveiller la mise en
œuvre et les activités du programme de prévention du crime afin d’en évaluer l’efficacité.
L’évaluation des processus permet d’examiner chaque volet ou des volets particuliers du programme, comme la sélection des participants, la formation des
conseillers, ou encore, la vitesse à laquelle les policiers répondent aux appels, afin de déterminer si ces volets sont conformes aux objectifs du programme.
Évaluation de l’incidence(les objectifs sont-ils atteints?) — L’évaluation de l’incidence se fait habituellement à la fin du
programme. Comme son nom l’indique, cette évaluation sert à déterminer l’incidence du programme sur la situation originale et si ce dernier a permis
d’atteindre les objectifs visés. Elle permet d’établir si les ressources ont été utilisées judicieusement, si la collectivité a
bénéficié du programme et si celui-ci devrait se poursuivre.
L’évaluation de l’incidence peut être réalisée plus d’une fois. Par exemple, il peut être approprié d’évaluer
l’incidence à long terme d’un programme de prévention du crime à la fin du programme, puis un an plus tard.
(Vous pouvez également évaluer l’incidence d’un volet particulier du programme. Par exemple, vous pouvez préparer un bref questionnaire à
l’intention des participants à une réunion afin d’évaluer l’utilité de la réunion en question.)
Dans l’étude de cas :
Il est trop tard pour effectuer une évaluation des besoins puisque le programme est déjà en cours. Il est possible que vous obteniez tout de même certains
renseignements généraux, à savoir si le problème a été correctement cerné et si l’intervention de l’unité des services
aux victimes était la solution appropriée. Ces renseignements peuvent être tirés des conclusions.
Nous vous recommandons d’effectuer les évaluations de processus et d’incidence. Il importe d’examiner certaines questions, par exemple, le mode de
sélection et de formation du personnel de l’unité, les mesures prises par les policiers sur place avant d’appeler l’unité ou le mécanisme de
soutien en place pour les victimes. Ces facteurs peuvent tous avoir une incidence sur les résultats. Pour ce qui est de l’incidence, il est évident que vous
désirerez savoir si la situation a changé par suite de l’intervention de l’unité.
Posez-vous la question suivante :
Il existe deux types de données sur lesquelles votre évaluation peut reposer.
Données quantitatives — Il s’agit des quantités évaluées, c’est-à-dire la mesure des résultats, numériques, qui
consistent en des statistiques et des chiffres obtenus à l’aide des outils d’évaluation. Ce type de données est parfois appelé “ données
objectives ”. Comme nous l’avons vu précédemment, ce type de données est utilisé avec les indicateurs quantitatifs.
Dans l’étude de cas :
Nombre d’appels d’intervention dans le cas d’incidents en milieu familial.
Nombre de rapports soumis.
Nombre d’arrestations effectuées lors des interventions faites pour des incidents en milieu familial.
Temps passé sur place pour traiter les incidents en milieu familial.
Nombre de blessures subies par les policiers ou les victimes sur le lieu d’incidents en milieu familial.
Nombre de fois où la force a dû être employée lors d’interventions faites pour incidents en milieu familial.
Données qualitatives — Ce type de données est relatif à la qualité du programme de prévention du crime et repose sur les vues et opinions
des participants, des parties concernées et autres personnes liées au programme. Souvent appelé “ données estimées ”, ce type de
données est plus descriptif. Comme nous l’avons vu précédemment, les données qualitatives sont utilisées avec les indicateurs qualitatifs.
Dans l’étude de cas :
Opinion des employés de l’organisme concernant la façon dont sont traités les incidents en milieu familial.
Satisfaction des victimes concernant le service fourni par l’unité.
Perception des incidents en milieu familial comme un problème par les membres de la collectivité.
Ces deux types de données ne s’excluent pas mutuellement. Un évaluateur n’a pas à choisir entre les deux. En fait, certaines des meilleures
évaluations sont réalisées en les combinant. Les conclusions fondées à la fois sur des données quantitatives et qualitatives sont souvent plus
solides que celles reposant sur un seul type de données. Par ailleurs, la plupart des données quantitatives recueillies lors d’entrevues sont exprimées en
fonction de la quantification des résultats.
Dans l’étude de cas :
67 p. 100 des répondants considèrent que le service aux victimes s’est amélioré depuis la mise en place de l’unité.
La collecte des données quantitatives et qualitatives requiert de l’évaluateur diverses compétences de même que des outils variés.
La collecte des données quantitatives est basée sur des chiffres. Elle est plus formelle en ce sens que les pourcentages peuvent être comparés avec ceux
d’autres programmes ou d’autres collectivités ou, encore, peuvent permettre de comparer la situation avant et après la mise en œuvre du programme. (Cette
comparaison est appelée pré et post test.)
Dans l’étude de cas :
Vous constaterez peut-être, dans le cadre de votre travail, qu’avant la mise en place de l’unité (pré), 28 p. 100 des interventions effectuées
à la suite d’appels concernant des incidents en milieu familial ont mené à des arrestations. Un an après la mise en service de l’unité (post),
le nombre d’arrestation a diminué à 15 p. 100. Vous pourriez également constater que cette situation est similaire à celle de la collectivité de la
rivière Montego où le nombre d’arrestations a chuté de 38 à 22 p. 100.
La collecte de données qualitatives est davantage interactive, car l’évaluateur doit, par exemple, demander des opinions, examiner des documents ou recueillir des
commentaires sur les activités du programme. Cette méthode d’évaluation est plus souple. Même si les données qualitatives peuvent en bout de ligne
être quantifiées comme un résultat statistique, elles reposent sur des opinions et des sentiments.
Dans l’étude de cas :
Vous pouvez constater que, “ dans l’ensemble, il ressort des entrevues que les membres de l’unité considèrent avoir besoin d’une formation plus
poussée en médiation alors que les policiers estiment qu’il est plus important d’élaborer une base de données à l’aide de laquelle ils
pourront déterminer si des incidents impliquant l’utilisation d’une arme ont été signalés par le passé pour les adresses où ils sont
appelés à intervenir en raison d’un incident en milieu familial ”.
Trois types de données peuvent être utilisés pour déterminer l’efficacité d’un programme, à savoir :
Données de base — Il s’agit des données connues ou de l’information qui était disponible avant le début du programme. Ce type de
données offre une base de référence aux fins de comparaison, car il donne une description de la situation avant la prise de mesures de prévention du crime.
Toutefois, les données de base ne se limitent pas uniquement à l’information recueillie dans le cours normal des activités d’un organisme ou d’un
programme. Les données de base peuvent être recueillies spécifiquement en vue de l’évaluation afin de permettre une comparaison “ avant ” et
“ après ”.
Dans l’étude de cas :
En moyenne, 135 appels par mois ont été enregistrés au cours de la dernière année.
Un examen des dossiers des services de police peut également permettre de déterminer le temps consacré à chaque appel, le nombre d’arrestations
effectuées et, peut-être, si les personnes impliquées ont subi des blessures.
Ces données permettront d’effectuer une comparaison à la fin du programme.
Données recueillies pendant l’exécution— Il s’agit de l’information obtenue dans le cours normal du programme. Comme les données de
base, les données recueillies pendant l’exécution peuvent consister en de l’information obtenue régulièrement dans le cours normal des
activités. Sinon, vous devrez peut-être mettre au point des outils de collecte de données afin d’obtenir l’information nécessaire à
l’évaluation.
Dans l’étude de cas :
Un examen des dossiers de police, comme un rapport d’incident, peut permettre de déterminer mensuellement ou hebdomadairement le nombre d’appels, d’arrestations
ou des autres mesures prises au cours du programme. Vous devrez vérifier si le personnel de l’unité est tenu de préparer des rapports.
Vous pouvez consulter les recueils de jurisprudence pour obtenir les décisions rendues. N’oubliez pas que les procédures judiciaires prennent du temps.
Données déterminantes — Il s’agit de l’information obtenue à la fin de l’évaluation du programme, notamment les données
finales. Comme pour les données de base, ce type de données peut simplement consister en l’information obtenue dans le cours normal des activités de
l’organisme ou du programme. Les données déterminantes peuvent aussi être recueillies et analysées spécifiquement aux fins de
l’évaluation.
Dans l’étude de cas :
Recueillez le même type d’information que pour les données de base. Au cours de l’évaluation, vous aurez à obtenir d’autres informations
recueillies pendant l’exécution (ou le processus). Vous déciderez peut-être même de recueillir d’autres types de données dans le cadre des
activités du programme.
Comparez la situation antérieure avec la situation actuelle puis analysez les changements.
Les données recueillies pendant l’exécution font le lien entre la situation antérieure et la situation actuelle, entre les données de base et les
données déterminantes.
Il devrait exister un grand nombre de données déterminantes sur le nombre total d’appels, d’arrestations et de citations à comparaître. Celles-ci
auront été obtenues dans le cours normal des activités et, selon le cas, par l’entremise des sondages que vous aurez menés.
Les données requises pour effectuer l’évaluation peuvent provenir de plusieurs sources.
Les statistiques sont des chiffres sur lesquels vous pouvez fonder votre évaluation. Il s’agit des données objectives que nous avons mentionnées
précédemment. La plupart des gouvernements de même que des organisations et agences commerciales et privées compilent divers types de statistiques. Dans le cours
normal des activités, on utilise ces données pour surveiller le rendement de l’organisme et du personnel ou pour déterminer certains facteurs comme le coût
unitaire.
Le gouvernement fédéral exige que les organismes œuvrant dans le domaine de l’administration de la justice pénale, comme les services de police, les
tribunaux et les organismes responsables de la probation, recueillent, compilent et fassent parvenir à Statistique Canada certaines informations concernant leurs activités.
Par exemple, les services de police, qui sont responsables de la majorité des initiatives de prévention du crime au sein de la collectivité, sont tenus, en vertu du
système de déclaration uniforme de la criminalité, de compiler des renseignements détaillés concernant les crimes, les arrestations, les accusations et
autres faits rapportés, puis de les faire parvenir au gouvernement fédéral aux fins d’analyse. On peut se procurer rapidement et facilement ces données
globales auprès des services de police ou du Centre canadien de la statistique juridique de Statistique Canada.
Il existe d’autres sources de données statistiques centralisées qui ne relèvent pas de Statistique Canada. Au nombre de celles-ci, mentionnons Vi-class, qui
contient principalement des données sur les délinquants violents. Cette base de données est très spécialisée et habituellement accessible
uniquement au personnel des organismes chargés du maintien de l’ordre public.
Au fur et à mesure que des initiatives comme le maintien de l’ordre axé sur les problèmes gagneront en popularité, il sera plus facile d’obtenir
des renseignements statistiques de nature générale sur la criminalité et les problèmes d’ordre dans la collectivité.
Vous aurez peut-être à recueillir d’autres données statistiques spécifiquement pour l’évaluation. Ce dont vous aurez besoin sera fonction
des questions sous évaluation et des caractéristiques propres à la collectivité au sein de laquelle vous travaillez.
Dans l’étude de cas :
Vous pouvez déterminer la répartition géographique des appels avec l’aide des statistiques conservées par le service de police ou l’unité.
Vous pouvez également vouloir connaître la ventilation par âge des victimes et des auteurs d’infraction. Vous aurez par ailleurs sans doute besoin de données
sur les arrestations, les accusations, les infractions commises et le sexe des victimes et des auteurs d’infraction (qui ne sont pas toujours nécessairement des hommes).
En raison de la diversité et du grand nombre de données existantes, vous devez déterminer la nature exacte des renseignements dont vous avez besoin pour
l’évaluation. Il vous sera parfois nécessaire d’obtenir d’autres données que celles recueillies par le gouvernement fédéral aux fins
d’analyse, soit de l’information que l’on trouve dans des dossiers particuliers ou dans un système de répartition assistée par ordinateur qui permet
d’obtenir des renseignements sur la répartition des policiers sur les lieux d’incidents et les rapports sur les incidents criminels.
Conformément aux normes en matière de maintien de l’ordre, les services de police de la plupart des provinces doivent tenir à jour une base de données
statistiques ainsi qu’un système officiel de gestion des dossiers judiciaires. Les personnes répondant aux exigences de confidentialité peuvent tirer de ces bases
de données des renseignements généraux utiles pour les évaluations des processus et de l’incidence.
Les rapports annuels préparés par les organismes de justice pénale constituent une source d’information facile d’accès. Les rapports
publiés périodiquement par le gouvernement fédéral peuvent quant à eux servir aux comparaisons avec les autres collectivités.
Les statistiques criminelles doivent toujours être utilisées avec circonspection. Elles portent en effet davantage sur les interventions policières que sur les
activités criminelles au sein de la collectivité. Plusieurs facteurs influent sur l’exactitude de ce type de données.
- Les incidents ne sont pas toujours signalés aux autorités en raison de l'absence de témoins ou de la présence de témoins qui ne prennent pas la peine
d’appeler la police.
- Il arrive souvent que les victimes ne savent pas qu’un crime vient d’être commis, décident tout simplement de ne pas le signaler ou encore sont trop
intimidées pour le signaler.
- Les policiers ne peuvent répondre à tous les appels de demande d’aide. Ils ont souvent d’autres priorités, en particulier dans les régions
éloignées où ils ne sont pas en mesure de s’occuper d’autant d’affaires qu’en milieu urbain.
- Même si des policiers répondent à un appel, ils ne procèdent pas toujours à une arrestation même s’ils disposent de suffisamment de
preuves. Avant d’arrêter une personne, le policier doit tenir compte de nombreux facteurs allant au-delà des simples faits de l’affaire. Il arrive souvent que les
policiers ne rédigent même pas de rapport d’incident.
- Les politiques en matière de maintien de l’ordre ont souvent une incidence sur le taux d’arrestation. Par exemple, lorsqu’une politique provinciale vise
expressément les agressions contre les femmes et exige l’arrestation des présumés coupables, les policiers ont davantage tendance à procéder
à des arrestations qu’à prendre d’autres mesures. Il est également plus probable qu’ils arrêtent un homme présumé coupable
d’une agression qu’une femme ayant agressé son partenaire masculin. Par ailleurs, certains services de police encouragent leurs policiers à donner des conseils
lorsque l’accès aux procédures judiciaires est restreint.
- Les statistiques policières qui sont tendancieuses se reflètent dans tout le système de justice pénale.
- Selon la culture au sein d’une collectivité, les policiers peuvent traiter les incidents de façon à ne pas produire de rapport officiel.
Les crimes “ sans victime ” sont rarement signalés puisque les personnes concernées n’ont pas intérêt à faire savoir qu’une
infraction a été commise.
Dans l’étude de cas :
Le nombre d’appels où les policiers sont intervenus, le nombre d’incidents en milieu familial et autres, ou encore le temps passé sur le lieu d’un
incident en milieu familial peuvent empêcher les policiers de répondre à d’autres types d’appels.
Bien que les statistiques concernant le nombre de victimes ou d’infractions par 100 000 habitants soient fréquemment utilisées, elles ne sont pas précises. Il
est possible que la perception de la population concernant des interventions antérieures des policiers dans les cas d’incidents en milieu familial ait une incidence sur les
statistiques relatives à votre collectivité. La présence d’une unité des services aux victimes peut accroître le nombre d’appels d’aide
car les victimes seront davantage disposées à demander de l’aide.
Si le gouvernement provincial ou le service de police a une politique concernant la manière de traiter les incidents en milieu familial, les policiers ont peu de marge de
manœuvre, voire aucune.
- Consultez les publications produites par le système de déclaration uniforme de la criminalité afin d’obtenir des renseignements sur le type
d’information statistique disponible sur les activités des organismes œuvrant dans le domaine de l’administration de la justice pénale.
- Passez en revue les rapports annuels des services de police et autres organismes qui pourraient avoir une incidence sur les activités du programme. Ces rapports contiennent des
données plus spécifiques à votre collectivité ainsi que des renseignements plus détaillés que ceux des banques de données du gouvernement
fédéral.
- Utilisez avec discernement les statistiques criminelles provenant des services de police et autres organismes. Ces données reflètent davantage les activités de
l’organisme que la situation réelle concernant la criminalité et les problèmes d’ordre au sein de la collectivité.
- En consultant les données globales des dossiers des services de police locaux, vous pourrez obtenir divers renseignements comme la répartition géographique des
incidents rapportés, le nombre d’appels où il y a eu intervention et la répartition de la charge de travail au cours d’une période de 24 heures et au
cours de la semaine. Utilisez ces données pour établir des comparaisons de la situation avant et après la mise en œuvre du programme ainsi que des comparaisons
avec les autres juridictions.
- En examinant les statistiques utilisées pour l’évaluation, prenez en considération les facteurs pouvant avoir une incidence sur l’exactitude des
données. Tenez-en compte dans le choix d’une méthode de collecte d’information et des autres sources d’information que vous pourriez utiliser.
- Recherchez les groupes de statistiques, comme les variations du nombre d’actes de vandalisme commis au cours de l’année, qui vous permettront d’évaluer
les changements tout au long de la durée du programme.
- Certaines collectivités compilent peu de statistiques sur la criminalité et les problèmes d’ordre. Il vous faudra peut-être élaborer une
méthode de collecte de cette information dans le cadre de l’évaluation.
Choisissez le type de statistiques qui est pertinent pour l’évaluation. Vous pouvez obtenir auprès de Statistique Canada des données dans les rapports publics
préparés par le ministère ou vous pouvez commander, moyennant certains frais, d’autres types de données. Le coût varie en fonction de la
complexité du traitement machine requis pour recueillir les données désirées.
L’examen de dossiers et de rapports non publiés pertinents au programme qui fait l’objet de l’évaluation donne des renseignements utiles sur
l’élaboration et la mise en œuvre du programme. En effectuant cet examen dans les étapes préparatoires à l’évaluation, vous serez en
mesure de placer le programme dans le contexte de la question à étudier.
Dans les grands centres urbains, les informations que contiennent les dossiers sont souvent entrées dans un système d’information de gestion. Il est toutefois moins
probable qu’un tel système soit utilisé dans les petits centres où on utilise des méthodes d’extraction de données qui sont beaucoup plus
simples.
Que le système soit manuel ou automatisé, l’évaluateur doit d’abord savoir à quel type d’information il peut avoir accès. Le
gestionnaire de l’organisme (ou le gestionnaire du système d’information dans les grands organismes) devrait être en mesure de le renseigner à cet
égard et de lui indiquer les données qui pourraient être pertinentes à l’évaluation. N’oubliez pas que l’information contenue dans les
dossiers ne constitue pas une évaluation en soi. Les données recueillies donnent uniquement, dans leur ensemble, des éléments d’information pouvant
être utilisés aux fins d’une évaluation.
L’évaluateur ne devrait pas se contenter de tirer des dossiers de l’information sur le client, la victime ou encore l’incident. Des renseignements comme les
descriptions de poste, le calendrier de formation, les plans d’activités et les budgets fournissent des indications générales sur l’efficacité des
éléments de soutien du programme qui permettront de mieux comprendre le processus. Par exemple, même si un programme de prévention du crime est
élaboré et mis en œuvre de façon à maximiser les possibilités de succès, il peut ne pas donner les résultats escomptés si le
personnel n’a pas reçu la formation adéquate à cet égard.
Dans l’étude de cas :
Examinez les documents comme les descriptions de poste au sein de l’organisme et les processus d’évaluation du rendement. Le personnel de l’organisme, de
même que les policiers, doivent peut-être davantage adopter un comportement réactionnel plutôt que proactif dans leur intervention au sein de la
collectivité. Ils auront probablement ainsi plus tendance à procéder à des arrestations qu’à adopter d’autres solutions. Comme moyen de
rechange, on pourrait encourager les policiers à conseiller les victimes et les auteurs d’infraction. Ces deux approches auront une incidence sur le programme en ce sens que
les membres de l’unité auront de moins en moins l’occasion d’appliquer des mesures.
L’évaluateur devrait avoir une idée de l’information qu’il cherche, d’après les indicateurs, avant de communiquer avec le responsable de la
banque d’information ou des dossiers. Les recherches non structurées n’inspireront pas confiance en l’évaluation ni en l’évaluateur.
La plupart des données recueillies dans le cadre de la gestion et des activités courantes d’un organisme servent à des fins locales et ne sont pas
nécessairement soumises au gouvernement fédéral aux fins de compilation. Les renseignements tels que les adresses des auteurs d’infraction ou des victimes,
l’heure des appels nécessitant l’intervention de la police et les dossiers quotidiens de fréquentation scolaire, ne sont souvent disponibles que dans les
régions. Il est possible que ces renseignements soient confidentiels et que vous deviez signer une entente de confidentialité pour y accéder.
Dans l’étude de cas :
Prenez connaissance des rapports de police ou de l’unité concernant les incidents afin de tirer des renseignements comme l’endroit où les incidents ont eu lieu,
si les personnes concernées avaient consommé de l’alcool, s’il y a eu des blessures ou si des mineurs ont été arrêtés.
- La consultation et l’étude de dossiers devraient être l’une des premières étapes de la collecte de renseignements généraux. La
méthode est relativement discrète, peu coûteuse et donne souvent d’excellents résultats.
- Lors de l’examen des dossiers et documents, recueillez l’information qui vous permettra de mieux comprendre le contexte de l’élaboration et des activités
du programme faisant l’objet de l’évaluation.
- Prenez note des questions et du nom des personnes participant au programme (ou de leur poste au sein de l’organisme).
- Dressez une liste, par exemple sur une fiche, des documents que vous avez passés en revue.
En discutant avec les personnes intéressées et le personnel du programme, vous pourrez recueillir des renseignements sur les dossiers et documents pouvant
s’avérer pertinents pour l’évaluation. Les rapports comme les évaluations des besoins préparés au début du programme peuvent permettre
d’établir le profil de la collectivité, la perception de la collectivité relativement aux questions liées au crime devant être abordées et les
raisons ayant motivé les décisions prises.
Compte tenu des objectifs du programme, de quel type de dossiers ai-je besoin?
Les organismes de la collectivité, comme le service de police ou le conseil de bande, conservent-ils des dossiers pouvant être utiles pour l’évaluation?
Si les dossiers disponibles ne conviennent pas tout à fait, est-il possible d’obtenir les dossiers adéquats dans d’autres endroits?
Ai-je besoin d’une autorisation de sécurité pour avoir accès aux dossiers?
Les sondages peuvent être distribués à un grand nombre de personnes, ce qui offre l’avantage de recueillir différentes opinions et de donner la
possibilité à davantage de personnes de faire part de leur opinion.
Les sondages peuvent être effectués avant et après la mise en œuvre du programme afin d’évaluer, par exemple, les changements d’attitudes ou
de perceptions.
Les principales méthodes de sondage sont le téléphone ou la poste (y compris la distribution générale du questionnaire aux employés de
l’organisme).
Sondage par téléphone — Ce type de sondage permet de recueillir les opinions d’un grand nombre de personnes de façon relativement peu intimidante.
Toutefois, les habitants de nombreuses régions éloignées ont un accès restreint au téléphone. Qui plus est, vu l’étendue des
régions, cette méthode peut s’avérer dispendieuse, voire très coûteuse, selon la taille du sondage, si une entreprise privée est
engagée pour mener le sondage. Ce type de sondage présente toutefois l’avantage que le personnel peut, après avoir reçu une formation, effectuer ce
travail, les appels peuvent être retournés à différentes périodes sans causer trop de problème à l’évaluateur et des
dispositions peuvent être prises pour que les réponses soient compilées.
Malheureusement, selon la question faisant l’objet du sondage, le taux de participation peut être relativement faible. Un répondant préférera
peut-être se faire déranger sur l’heure du souper pour répondre à des questions relatives à la criminalité et au maintien de l’ordre que
de discuter de sujets moins “ intéressants ” qui le touchent sans doute moins directement.
Sondage par courrier — Le sondage par courrier présente les mêmes inconvénients que le sondage par téléphone. Par ailleurs, les personnes
répondent moins souvent à un sondage par courrier que par téléphone. Il est habituellement nécessaire d’effectuer un suivi pour encourager les
personnes ayant reçu le questionnaire à y répondre et, là encore, le taux de participation est habituellement faible.
Le taux de participation sera plus élevé si les questionnaires sont distribués, par exemple, aux employés d’un organisme de justice pénale,
puisque les questions les touchent davantage et le suivi est plus facile à effectuer. Cependant, à moins que les questionnaires ne soient confidentiels, il est possible que
les réponses des répondants soient influencées par celles des autres employés de l’organisme.
Lors de la préparation d’un sondage, il est essentiel de porter attention à la forme et au contenu des questions si on veut obtenir des réponses pertinentes
sans influencer la réponse des répondants. Les questions ne doivent pas amener le répondant à donner une réponse en particulier, mais plutôt
à lui faire comprendre clairement le type de renseignements désirés.
Les questions d’un sondage peuvent être ouvertes, à choix multiples ou fermées.
Unequestion ouverte permet au répondant d’expliquer son opinion. Même si ce type de question donne au répondant plus de latitude et lui permet de
répondre exactement ce qu’il désire, les réponses sont difficiles à analyser. L’évaluateur doit lire et analyser chaque réponse pour en
comprendre le fond.
Dans l’étude de cas :
“ En tant que bénévole de l’unité des services aux victimes, décrivez les procédures à suivre quand vous intervenez dans un incident
en milieu familial ”.
“ Selon vous, quels sont les principaux avantages d’une unité des services aux victimes? ”.
Pour ce qui est de la question à choix multiples, l’évaluateur doit prévoir une série de réponses possibles. Celles-ci sont ensuite
transposées sur le questionnaire afin que le répondant puisse faire le choix qui reflète le plus son opinion. Il doit être clairement indiqué que le
répondant a la possibilité pour chaque question de choisir une réponse ou plusieurs ou encore de répondre “ ne sait pas ” ou “ autre ”
(prévoyez suffisamment d’espace pour que le répondant puisse élaborer).
Dans un questionnaire à choix multiples, on peut également demander au répondant d’indiquer, selon une échelle progressive de 1 à 5, le chiffre
correspondant à sa préférence. Les chiffres peuvent également référer à une série de choix non progressifs, comme des opinions sur
les importantes questions liées à la criminalité dans la collectivité.
Avant d’entamer le processus d’évaluation, on peut améliorer les choix de réponses en demandant à quelques personnes de répondre à
une première version des questions.
Dans l’étude de cas :
“ En tant que membre du comité directeur de l’unité des services aux victimes, croyez-vous que, comparativement à l’année
dernière, la qualité des services fournis aux victimes d’incidents en milieu familial soit :
Très supérieure __(1), Assez supérieure _ (2) La même __(3) Assez inférieure (4), Très inférieure (5) Je ne sais pas
__(6).”
Ceci peut être suivi d’une question ouverte, comme :
“ Qu’en pensez-vous?
ou
“ Selon vous, quelles sont les trois compétences essentielles que vous devez posséder pour intervenir dans un incident en milieu familial. Veuillez cocher les
trois compétences les plus importantes :
Médiation ( ), Autodéfense ( ), Premiers soins ( ), Connaissance du Code pénal ( ), Intervention en cas de port d’arme ( ), Rédaction de rapport ( ),
Utilisation de matériel spécial comme la radio ou le téléphone cellulaire ( ), Connaissance d’une langue autochtone ( ), Connaissance du langage corporel
et de la culture ( ), Je ne sais pas ( ). ”
La question fermée offre au répondant un choix restreint de réponse, comme “ oui ”, “ non ”, ou “ je ne sais pas ”.
Dans l’étude de cas :
Considérez-vous que depuis la mise en place de l’unité des services aux victimes, la qualité des services offerts aux victimes de la violence au foyer
s’est améliorée?
Oui ( ), Non ( ), Je ne sais pas ( ).
Pour que votre sondage soit valide, vous devez bien choisir l’échantillon de répondants. Ces derniers doivent représenter adéquatement la population de
la collectivité ou de l’organisme où le sondage est mené. Par conséquent, avant de déterminer avec précision le type et le nombre de
personnes à qui sera envoyé le questionnaire, l’évaluateur doit bien connaître le nombre total de victimes, d’auteurs d’infraction, de citoyens
au sein de la collectivité ou d’employés de l'organisme. Les données de recensement de Statistique Canada fournissent des renseignements démographiques
généraux sur des régions très spécifiques.
Dans l’étude de cas :
“ Les incidents en milieu familial ” étant un sujet très particulier dans un sondage auprès d’une collectivité, il est
préférable de mener le sondage auprès des employés de l’organisme dont le travail touche directement ce genre d’incident. Ou encore, vous pouvez
élargir le sondage de sorte à aborder les problèmes généraux au sein de la collectivité et parler de l’unité. Vous pouvez
également utiliser d’autres méthodes de collecte de données si vous considérez que celles-ci vous permettront d’obtenir des renseignements plus
utiles ou plus rapidement.
Tous les questionnaires devraient être mis à l’essai avant leur distribution générale. Par exemple, une mise à l’essai à l’aide
d’un jeu de rôle avec le personnel de l’organisme permettra de réduire la marge d’erreur. La préparation d’un bon sondage est très
difficile et demande du temps. Il arrive souvent que la recherche d’information permette de trouver des exemples de sondages menés dans d’autres collectivités.
Avantages
L’information est ventilée ou regroupée aux fins d’analyse, de sorte qu’aucune personne n’est identifiée. La nature anonyme du sondage peut
encourager un plus grand nombre de personnes à participer.
En distribuant le sondage à un grand nombre de personnes, on obtient les points de vue d’ensemble sur les questions plutôt que l’opinion de seulement quelques
personnes, ce qui pourrait avoir une incidence sur les résultats.
Les sondages sont faciles à gérer et permettent de faire participer un grand nombre de personnes à l’évaluation.
Les questions fermées facilitent la compilation des réponses.
Inconvénients
Les sondages par téléphone et par courrier sont coûteux et le taux de participation est généralement faible.
Les sondages sont difficiles à préparer car les questions doivent être précises et porter spécifiquement sur les points que vous désirez
examiner.
Dans de nombreuses collectivités, l’accès au téléphone est restreint.
Dans de nombreuses collectivités, les sondages par téléphone ou par courrier ne s’avèrent pas le meilleur moyen de communication.
L’échantillon, ou les personnes sollicitées pour répondre au questionnaire, doit être représentatif de la population. Ceci veut dire que les
personnes qui ont la possibilité de participer au sondage doivent bien représenter l’ensemble de la population, par exemple, les utilisateurs éventuels du
programme, les contribuables ou les agents de police. L’échantillon doit refléter uniquement les tendances naturelles qui se dégagent des groupes cibles, comme le
nombre d'hommes et de femmes, l’âge, le revenu, le poste au sein de l’organisme, le lieu de résidence ou les victimes et les non-victimes. La distribution du
sondage à un échantillon aléatoire, c’est-à-dire à différentes personnes dans l’espoir de couvrir toutes les tendances, s'avère
une façon efficace de recueillir de l’information.
- Décidez de l’information que vous souhaitez connaître et des questions à aborder en tenant compte de l’objectif de l’évaluation.
- Établissez la liste des sujets sur lesquels pourraient porter vos questions.
- Formulez une série de questions portant sur le cœur de chaque sujet. N’oubliez pas qu’un trop grand nombre de questions rebutera les gens tandis qu’un
trop petit nombre ne vous permettra pas de recueillir l’information voulue.
- Choisissez la forme de question appropriée à chaque sujet. Est-il indiqué de poser une question à laquelle on peut répondre par oui ou par non ou une
autre exigeant une réponse plus détaillée qui permet au répondant d’expliquer un sentiment ou une perception?
- Si vous optez pour une question à choix multiples, avez-vous envisagé toutes les réponses possibles, puis retenu un nombre raisonnable d’options? Il est
raisonnable de proposer entre cinq et dix réponses possibles. Prévoyez des réponses comme “ Ne sait pas ” ou “ Ne s’applique pas ”.
- Passez en revue vos questions.
- Sont-elles claires par rapport au type d’information recherché?
- La formulation influera-t-elle sur la nature ou le ton de la réponse?
- Chaque énoncé renferme-t-il bien une question et non plusieurs?
- À titre d’essai, posez les questions à un collègue.
- Les comprend-il?
- Certaines sont-elles répétitives?
- Pour les questions à choix multiples, votre collège suggère-t-il des réponses auxquelles vous n’aviez pas pensé?
- Combien de temps faut-il pour répondre au sondage?
- Classez les questions dans un ordre logique. Si un sujet découle d’une question ou débouche sur une autre question, faites-les suivre. Numérotez les
questions.
- Préparez une introduction où vous expliquez brièvement le but du sondage et pourquoi on assure la confidentialité de l’information.
L’introduction est requise, quelle que soit la méthode d’administration choisie.
- Déterminez la méthode de distribution.
- Par courrier? Avez-vous joint une enveloppe-réponse préaffranchie afin d’augmenter les probabilités de renvoi?
- Par téléphone? Les répondants sont moins patients au téléphone qu’en personne.
- Déposé puis ramassé le questionnaire?
- Les questionnaires resteront-ils anonymes? Avez-vous besoin de vérifier les questionnaires renvoyés? Avez-vous attribué des numéros de code?
- Tenez à jour une liste maîtresse de distribution. Inscrivez toujours le numéro de téléphone d’une personne-ressource sur le formulaire
d’enquête. Les répondants auront peut-être des questions concernant le contenu du sondage ou son processus.
Identifiez le groupe-échantillon auprès duquel sera mené le sondage, ce qui déterminera la nature et la teneur des questions. Vous devrez peut-être
recueillir des données démographiques de base afin de vous assurer que l’échantillon est représentatif. Les questions devraient être formulées
en tenant compte des différences sur le plan des études, de la langue et de la culture.
Posez-vous les questions suivantes :
Les groupes de discussion servent de tribune où discuter ouvertement de certains sujets et de base à l’évaluation.
Dans l’étude de cas :
Vous pourriez envisager d’organiser un groupe de discussion auquel participeraient les membres de l’unité. Vous pourriez y aborder des sujets comme
l’intervention auprès des victimes ou les relations avec la police. La présence d’agents de police peut rendre la séance plus productive ou encore
gêner les volontaires. Vous pourriez envisager un groupe de discussion avec le personnel des maisons de refuge de votre collectivité et des collectivités voisines.
Avantages et inconvénients des groupes de discussion
Avantages
Ce genre de discussion est propice à l’échange dynamique d’idées. Les opinions exprimées par une personne peuvent en inciter d’autres
à intervenir.
S’il est structuré et animé adéquatement, le groupe de discussion peut examiner en profondeur un bon nombre de questions en un laps de temps relativement
court.
Les gros groupes de discussion ne sont certes pas conseillés, mais la participation d’un grand nombre de personnes est possible grâce à un dispositif de
télécommande électronique. Chaque participant se voit remettre une télécommande à numéros sur laquelle il entre le numéro qui
reflète le mieux son opinion sur une question particulière structurée ou sa réponse. La rétroaction est immédiate, le processus est dynamique mais
coûte souvent plusieurs centaines de dollars en location de matériel et, de surcroît, occasionne des coûts de déplacement supplémentaires dans les
collectivités éloignées.
Inconvénients
Les groupes doivent compter un nombre approprié de personnes de sorte qu’un coordinateur puisse animer la discussion. Un nombre de six à dix personnes, voire de 15
personnes, est adéquat, mais pas un groupe de deux cents.
Les participants doivent être des personnes ayant un intérêt pour les questions abordées ou un avis à ce sujet. Si une personne n’est pas du tout
concernée ou touchée par les questions, elle risque peu d’avoir une opinion.
Une personne pleine d’assurance pourrait dominer la discussion.
L’animateur et le rapporteur doivent être experts dans leurs fonctions de sorte que les participants ne s’éloignent pas du sujet et que toute l’information
pertinente soit consignée et analysée.
Les groupes de discussion ne sont pas indiqués si des personnes, en raison de leur culture ou peut-être de leur âge, ne s’attendent pas à exprimer
ouvertement et publiquement leurs idées et leurs sentiments. Les aînés ne souhaiteront peut-être pas faire part à d’autres membres de la bande de
leurs opinions ou voir leurs opinions contestées.
Les groupes de discussion ne sont efficaces que si les membres se sentent à l’aise de discuter du sujet ouvertement et en public.
Les participants doivent pouvoir communiquer dans une langue commune.
Constitution...
- Dressez une liste des sujets adaptée au groupe de discussion. La liste devrait comporter entre trois et sept sujets. Le nombre de sujets abordés dépend des
discussions du groupe compte tenu du délai imparti.
- Recensez les personnes qui seraient des participants sérieux. Comme nous l’avons déjà mentionné, le groupe doit compter un nombre raisonnable de
participants afin que chacun puisse prendre part à la discussion. Les personnes sélectionnées doivent également s’intéresser au sujet. Elles peuvent
être des participants au programme, des victimes, des membres de la collectivité, des aînés, des agents de police ou du personnel du programme. La composition du
groupe devrait être représentative des divers points de vue sur les questions tout en permettant une participation égale.
- Trouvez une salle adéquate où réunir le groupe de discussion. Les participants ne devraient pas avoir peur d’aborder des questions relatives au travail,
à la famille ou à la bande. Assurez-vous de disposer de tableaux à feuilles ou de pouvoir apposer du papier au mur. Fournissez les marqueurs à pointe de
feutre.
- Évaluez la durée de la réunion. Une demi-journée pourrait suffire, une journée entière serait acceptable, mais si la réunion dure plus
d’une journée, les participants hésiteront à s’absenter de leur travail et seront incapables de se concentrer.
- Trouvez une personne qui soit prête à prendre des notes sans participer à la discussion.
- Convoquez tous les participants et envisagez l’envoi de documents d’information avant la rencontre si cette mesure peut stimuler les discussions.
- et animation...
- Ouvrez la séance en présentant les objectifs et les règles de conduite (entre autres, peut-être, le droit de chacun d’être entendu) ainsi que les
exigences de confidentialité. Présentez les sujets à aborder en situant le contexte sans influencer la discussion.
- Dirigez la discussion en veillant à ce que le groupe ne s’éloigne pas du sujet, en encourageant la participation, en étant positif et en stimulant la
discussion au besoin. N’oubliez pas que l’objectif est d’écouter les points de vue des participants et non de faire part de votre opinion aux autres.
- Utilisez les tableaux à feuilles pour résumer les discussions. Ces tableaux pourront être utilisés par la suite lors de la consignation des notes de la
réunion.
- Certains participants ne seront peut-être pas capables de lire dans la langue écrite choisie pour la discussion. Aidez-les, par exemple, en expliquant les notes inscrites
sur le tableau à feuilles.
- À la fin de la séance, demandez aux participants si certains sujets ont été omis. Remerciez les participants de leur contribution.
- Expliquez les prochaines étapes de l’évaluation et l’usage qui sera fait de l’information recueillie pendant la séance du groupe de
discussion.
Faites des recherches sur le sujet avant la séance. Vous devez présenter le sujet aux fins de discussion en plus de devoir souvent stimuler et faire avancer la discussion
à l’aide d’exemples illustrant les points de discussion.
Les entrevues permettent d’interroger en tête à tête un participant au programme, un employé de l’organisme, un membre de la collectivité ou
un représentant d’autres programmes ou organismes susceptibles d’être touchés par le programme sous évaluation ou qui ont un avis à formuler
à son égard.
Il existe deux types d’entrevue : les entrevues structurées et les entrevues non structurées.
L’entrevue structurée nécessite la préparation de plusieurs questions ou sujets précis que doit aborder l’interviewer. L’entrevue est
ciblée, plusieurs séries de sujets sont abordés et on prend note en détail des réponses.
Dans l’étude de cas :
Comment s’est déroulée votre embauche à l’unité des services aux victimes?
Pensez-vous qu’il faudrait prendre en compte d’autres compétences dans le cadre du processus de sélection?
Quelle formation avez-vous reçue?
Quelle a été la durée de cette formation?
Qui a fourni cette formation?
Pensez-vous à une autre formation qui devrait également être offerte?
L’entrevue non structurée offre plus de latitude à l’interviewer et à la personne interrogée. Bien que les sujets généraux
à aborder soient préparés à l’avance, on laisse davantage libre cours à la discussion, dont l’orientation dépend du désir commun
de l’interviewer et de la personne interrogée d’examiner les grands points qui font l’objet de l’évaluation.
Dans l’étude de cas :
Parlez-moi de votre expérience de travail au sein de l’unité des services aux victimes.
Avantages
Elles permettent une description détaillée d’un événement, de sentiments ou d’opinions.
La rencontre en tête à tête permet d’établir un rapport et, éventuellement, une communication plus ouverte.
Le taux de réponse aux questions est bien plus élevé que lorsqu’on a recours aux autres moyens puisque le répondant éventuel pourra
difficilement refuser de participer à une entrevue en tête à tête.
L’interviewer peut utiliser des questions d’approfondissement afin d’examiner plus en détail un point soulevé par un répondant.
Il est possible d’observer le langage corporel du répondant et de rajuster l’entrevue en conséquence.
Inconvénients
Elles prennent beaucoup de temps, parfois entre une et trois heures. Le résumé des notes peut également exiger beaucoup de temps.
Il est difficile de prendre des notes détaillées pendant une entrevue et la plupart des répondants seront peu disposés à se laisser enregistrer.
Il est possible d’observer le langage corporel de l’interviewer et de rajuster la réponse.
- Pensez aux employés du programme sous évaluation ou aux personnes sur lesquelles ce dernier a une certaine influence. Déterminez comment ces personnes pourraient
fournir une information détaillée utile dans le cadre de l’évaluation.
- Posez une question ou plusieurs dans chaque domaine. Élaborez des questions de suivi qui pourront être utilisées comme questions incitatives.
- À titre d’essai, posez les questions à un collègue qui connaît l’importance du respect de la confidentialité. Modifiez la structure afin
de supprimer les questions redondantes et d’assurer la clarté.
- Prenez rendez-vous avec les personnes à interroger, informez-les brièvement du contexte de l’entrevue et précisez-leur la durée approximative de
l’entrevue. Si celle-ci dure plus d’une ou de deux heures, il est probable que le répondant perdra de son intérêt.
- Lors de la rencontre, décrivez le projet et expliquez la nature confidentielle de l’entrevue. Donnez un bref aperçu des sujets qui seront abordés et la
durée totale prévue. Respectez le temps imparti.
- Permettez au répondant de parler librement sur les sujets choisis pour l’entrevue. Utilisez des questions incitatives pour approfondir une question ou clarifier un point
soulevé par la personne interrogée.
- Prenez des notes. N’interrompez pas le déroulement de l’entrevue en consignant trop laborieusement tout ce qui est dit mais prenez des notes suffisamment
détaillées que vous pourrez transcrire par la suite. La plupart des gens sont gênés par l’emploi d’un magnétophone pendant une entrevue.
- Ne discutez pas des sujets avec le répondant. Vous avez seulement pour tâche d’écouter son point de vue.
- Soyez attentif à la réaction du répondant à votre question.
- Comprend-il la question ou le langage que vous employez?
- D’après le langage corporel, le répondant est-il mal à l’aise par rapport au ton de la discussion?
- En clôturant l’entrevue, remerciez le répondant pour sa participation. Donnez-lui le numéro où il pourrait communiquer avec vous, au besoin.
Sans oublier les objectifs de l’évaluation, dressez une liste de domaines dans lesquels le répondant est compétent ou est en mesure de donner un avis
spécial.
L’observation se révèle un volet important d’une évaluation. L’évaluateur a la possibilité de voir le déroulement d’un
programme. L’observation offre un contexte pratique à l’évaluation.
Dans l’étude de cas :
Envisagez d’accompagner le personnel de l’unité des services aux victimes ou la police dans leurs interventions ou encore d’être présent au tribunal
afin d’observer les affaires découlant d’incidents en milieu familial.
Avantage
Le principal avantage est que l’évaluateur a la chance d’observer le déroulement du programme dans la pratique, observation souvent impossible à faire au
moyen d’autres méthodes de collecte de l’information.
Inconvénients
En présence d’un observateur, le sujet, par exemple l’employé de l’organisme ou le participant au programme, risque de se comporter différemment,
en particulier lorsque l’évaluateur devient un observateur qui prend part au programme, même de façon périphérique ou passive. Les résultats
de l’observation constitueront alors une déformation de la réalité.
Le sujet de l’observation posera probablement des questions sur l’évaluation. Il est difficile pour l’évaluateur de répondre sans informer cette
personne des points importants pour l’évaluation. Le comportement du sujet risque de changer en fonction de ces points.
Parfois, le fait d’accompagner certains employés de l’organisme, en particulier la police, dans leur travail quotidien peut soulever des questions de
responsabilité vicariale, ce qui rend difficile le travail d’observation auprès de certains groupes.
Le travail d’observation prend du temps. Il faut établir une certaine confiance entre l’observateur et la personne observée avant que les gestes de celle-ci
redeviennent normaux. Même si un climat de confiance a été établi, les observations portent en général sur les interventions d’une seule
personne ou d’un petit groupe de personnes plutôt que sur le programme tout entier.
- Choisissez avec soin les tâches à observer. Le travail d’observation prend du temps et est importun pour les personnes observées.
- Soyez prêt à signer une renonciation dégageant l’organisme de toute responsabilité en cas de blessure.
- Informez l’employé que vous n’évaluez pas son rendement, mais que vous essayez plutôt de comprendre le fonctionnement du programme ou du processus.
Assurez l’employé qu’aucune observation sur les activités ne lui sera imputable.
- Limitez-vous à l’observation. Évitez de participer puisque ce sont les interventions de l’employé qui vous intéressent. Évitez de formuler
des commentaires laissant entendre ce que devrait faire l’employé ou tout commentaire risquant d’éveiller l’hostilité du délinquant, de
la victime, du témoin ou du citoyen.
- Ne prenez pas continuellement des notes car cela pourrait sembler rébarbatif pour l’employé. Essayez de vous souvenir de ce qui est dit et fait, puis de prendre des
notes plus tard.
- Demandez la permission avant d’examiner des dossiers ou de pénétrer dans des zones restreintes. Vous êtes un visiteur sur le lieu de travail des
employés et vous observez leur travail quotidien.
Prenez rendez-vous avec le supérieur ou le gestionnaire afin de présenter les objectifs de l’évaluation et les raisons de la demande d’observation.
Comme nous l’avons vu, il existe diverses méthodes ou outils de recherche pour vous aider à recueillir de l’information. Il est peu probable, sauf dans le cadre
de vastes projets d’évaluation, que vous ayez recours à tous les types de collecte de données.
Ainsi, avant de décider de l’approche à adopter, tenez compte de ce qui suit.
- Quelles sont les compétences des personnes travaillant à l’évaluation? Certaines personnes peuvent être tout à fait à l’aise devant
un groupe, comme animateur, tandis que d’autres peuvent se sentir plus disposées à tenir une entrevue en tête à tête.
- Quelle information existe déjà sur les activités ordinaires? S’il est nécessaire de recueillir des données, dans quelle mesure les
employés opposeront-ils une résistance ou se sentiront-ils mal à l’aise?
- Quelle est l’importance des fonds dont vous disposez? Certaines démarches sont plus onéreuses que d’autres.
- Quel est le contexte culturel de l’évaluation? La majorité des citoyens possèdent-ils un téléphone? Chaque membre de la collectivité
communique-t-il avec la même aisance et utilise-t-il le même dialecte et chacun peut-il participer à un sondage de manière égalitaire?
Quelles sont les compétences et les préférences des sujets? Certaines personnes seront peut-être peu disposées à donner publiquement leur avis
sur une question, tandis que l’entrevue en tête à tête peut en rendre d’autres nerveux.
Dans la mesure du possible, utilisez plus d’une source d’information pour les données employées dans l’évaluation, ce qui permettra de
démontrer que la conclusion du rapport d’évaluation repose sur de solides fondements.
Nous avons maintenant passé en revue les types d’information que vous trouverez peut-être utiles lorsque vous entreprendrez votre évaluation. Il est peu
probable que vous ayez recours à tous. C’est seulement dans le cadre de l’évaluation la plus détaillée (et largement financée) que vous
emploierez tous ces types d’outils de collecte d’information. Vous devez tenir compte de l’envergure du programme sous évaluation et des problèmes
qu’il doit régler lorsque vous déterminez la ou les démarches à adopter pour obtenir l’information requise.
Il ne faut surtout pas oublier de prendre en compte la culture et les caractéristiques de la collectivité de même que les préférences des personnes qui
seront peut-être invitées à fournir de l’information. Les outils de collecte de l’information doivent être adaptés à ces besoins.
Certaines collectivités n’ont peut-être pas accès à des téléphones et peuvent utiliser principalement des moyens de communication orale.
Certaines personnes peuvent hésiter à faire part de leurs opinions en public.
Vous avez consacré temps et énergie pour comprendre les différentes possibilités qui s’offrent à vous pour mener votre évaluation. Vous
disposez maintenant de suffisamment d’information pour déterminer où vous en êtes dans votre planification de
l’évaluation.
À ce stade de la planification :
- Il a été déterminé que la collectivité avait un problème dont il fallait s’occuper.
- On avait prévu une évaluation dans le cadre de la planification du programme ou encore on a dû examiner le programme et commencer la planification de
l’évaluation une fois le programme mis en place.
- Vous avez passé en revue la proposition originale et le plan d’action du programme.
- Vous avez effectué des recherches dans les sources d’information, comme les bibliothèques, Internet et les personnes-ressources des organismes locaux, afin
d’obtenir de l’information concernant les problèmes dont s’occupe le programme.
- Vous avez passé en revue les documents disponibles concernant le fonctionnement de programmes similaires dans d’autres collectivités.
- Vous avez passé en revue de l’information concernant l’évaluation de programmes similaires.
- Vous avez parlé avec les principaux intéressés afin de comprendre le mode de fonctionnement escompté pour le programme en question.
- Vous avez examiné les méthodes d’évaluation employées et comprenez les solutions, les avantages et les inconvénients des différentes
méthodes.
Un programme a été élaboré et mis en œuvre.
Vous êtes maintenant prêt à élaborer un plan d’évaluation....................
Préparation d’un plan de travail pour l’évaluation et amorce du travail
Après avoir réuni les documents pertinents sur les options, vous ou, si vous ne travaillez pas seul, le groupe de coordination devriez élaborer un plan
d’action ciblé.
L’exemple figurant sur la page suivante vous donnera une idée de la façon de structurer le plan d’évaluation.
C’est également le moment de déterminer le budget dont vous aurez besoin pour entreprendre votre travail. Le plan vous aidera à préparer une proposition
ou à décider des aspects du plan à abandonner compte tenu des restrictions budgétaires. Si le budget alloué est peu élevé, vous devrez
déterminer si le manque de fonds et la réduction correspondante du nombre de sources possibles d’information auront une incidence sur la validité de
l’évaluation au point de remettre son utilité en question.
Plan d’évaluation
Titre du programme :
Brève description du programme en fonction des points suivants :
problèmes que vise à résoudre le programme
objectif du programme
indicateurs
personnes à qui s’adresse le programme, sujets
personnes qui devraient tirer parti du programme
moment où le programme devrait porter fruit
endroit où le programme devrait avoir des incidences
façon dont le programme devrait avoir une incidence
Quelle forme prendra l’évaluation?
(Évaluation des besoins)
Évaluation du processus
Évaluation des incidences
Idéalement, quels types de données devrait-on utiliser?
|
Source
|
Qualitative
|
Quantitative
|
Information détaillée
requise
|
Actuellement disponible - où?
|
|
Statistiques
|
|
|
|
|
|
Examen des dossiers
|
|
|
|
|
|
Sondages
|
|
|
|
|
|
Groupes de discussion
|
|
|
|
|
|
Entrevues personnelles
|
|
|
|
|
|
Observation
|
|
|
|
|
Quelle information supplémentaire est requise?
|
Information possible
|
Information détaillée
requise
|
Source éventuelle d’information
|
|
Statistiques
|
|
|
|
Examen des dossiers
|
|
|
|
Sondages
|
|
|
|
Groupes de discussion
|
|
|
|
Entrevues personnelles
|
|
|
|
Observation
|
|
|
Qui est chargé de terminer l’élaboration des outils de collecte de données?
Quel est le délai imparti pour terminer la collecte de données?
Qui est responsable de chaque type de collecte et d’analyse de données?
Qui est chargé de préparer les versions provisoire et finale des rapports?
Quel est le calendrier prévu pour mener à bien l’évaluation et une feuille de suivi du projet a-t-elle été préparée?
Qui recevra des copies du rapport?
Quelle est la principale personne-ressource à qui adresser les demandes de renseignements concernant l’évaluation?
Le plan devrait servir de guide général à l’évaluation. Il pourrait devenir la page-couverture du dossier des coordinateurs qui renfermera les
nombreuses composantes de l’évaluation.
Chacune des tâches devrait être confiée à un membre du groupe de coordination, à moins que l’évaluateur ne doive assumer seul la
responsabilité.
Si, par exemple, un sondage doit être élaboré ou un outil de collecte de données conçu à des fins statistiques, cette tâche devrait
être attribuée à une personne clé, qui pourrait demander l’aide d’autres personnes.
Dans le cas des évaluations complexes à tâches multiples, la coordination s’en trouverait facilitée si le plan de travail était transposé
sur un échéancier. Il existe plusieurs outils perfectionnés de suivi des projets comme les graphiques de Gannt ou PERT. Même si nombre de ces outils sont
disponibles sous forme de logiciels, la plupart des plans d’évaluation de base peuvent être gérés manuellement.
Il convient d’assurer un suivi des tâches et d’inscrire le nom de la personne responsable (sur le côté gauche du graphique) et une échelle du temps
(au haut du graphique). À côté de chaque tâche, tracez une ligne sous la date adéquate afin d’indiquer le début, la durée et la fin de
la tâche.
La réussite d’une évaluation dépend en partie de la façon dont le personnel qui en est chargé est perçu par les sujets de
l’évaluation et les autres intéressés. Ceux qui entreprennent le travail doivent non seulement disposer d’un plan valide et réalisable, mais aussi
aborder leur travail de sorte à susciter la confiance et à obtenir le soutien des personnes invitées à participer à l’évaluation.
L’adoption d’une méthode de travail éthique est importante. Tous les répondants doivent connaître la nature de l’évaluation à
laquelle ils vont participer. Ils doivent également comprendre à quoi servira l’information.
La confidentialité de l’information est un élément clé, particulièrement important dans les petites collectivités.
Certaines cultures réagissent différemment selon la méthode employée. Certaines approches prévoyant des discussions ouvertes et libres peuvent ne pas
convenir à certains participants. Les gens réagissent différemment aux gestes et au langage corporel selon leurs antécédents culturels. Il existe des
différences fondamentales entre les cultures autochtone et non autochtone et entre les cultures autochtones elles-mêmes. Il faut respecter les antécédents
culturels des gens.
Si vous vous rendez dans un organisme en vue d’y réaliser une évaluation, soyez aussi discret que possible et ne dérangez pas la routine.
Il sera peut-être nécessaire pour le groupe de coordination, voire même pour l’évaluateur qui agit seul, d’établir un mandat où seront
précisées les lignes directrices à suivre dans le cadre du travail.
- Tous les participants sont informés de la nature confidentielle du travail.
- La confidentialité de toute information recueillie est respectée et tout participant a l’assurance que cette confidentialité est respectée.
- La démarche adoptée par l’évaluateur doit être perçue comme objective, les commentaires concernant le programme ne devraient pas renfermer
d’opinions susceptibles d’influer sur les résultats.
- La négociation de l’accès à des données ou d’ententes concernant les entrevues ou l’observation des activités doit être
menée de bonne foi. Les engagements et les promesses doivent être respectés.
- Toute information incluse dans un rapport provisoire ou final est communiquée sous forme résumée, de sorte que la réponse d’un participant n’est
pas reprise textuellement.
Les dossiers, les notes d’entrevue et autres documents sont conservés à un endroit sûr et en sécurité.
L’évaluateur du groupe de coordination doit surveiller de près le processus d’évaluation. Il convient d’envisager des rajustements si l’un
des aspects de l’évaluation ne reflète pas les attentes. La rigidité du plan de travail peut entraver l’atteinte de l’objectif de
l’évaluation.
Le coordinateur ou le groupe de coordination peut jouer un rôle important en s’assurant que le travail se déroule normalement. Il faudrait régulièrement
tenir des réunions afin de :
- discuter de l’état d’avancement de la collecte de données et de tout rajustement éventuel à apporter au calendrier ou aux méthodes;
- discuter des données recueillies afin d’établir des résultats provisoires éventuels.
s’assurer que tous les sujets éventuels ou personnes-ressources pour l’évaluation participent conformément au plan ou vérifier si une facilitation
est requise;
Vous avez maintenant une myriade d’information que vous avez obtenue auprès de différentes sources. Vous avez peut-être en main des notes d’entrevue, des
chiffres tirés de casiers judiciaires, des notes des groupes de discussion et peut-être même les résultats du sondage. Il y a de quoi perdre son latin sous le
poids d’une telle quantité d’information!
Il vous faut maintenant interpréter toutes ces données. Selon l’envergure du projet d’évaluation, vous avez peut-être recueilli de grandes
quantités d’information. Les résumés de certains aspects du programme, les diagrammes sur les processus ou les statistiques faciliteront l’analyse de cette
information.
Sans perdre de vue les objectifs de l’évaluation, réunissez les groupes d’information recueillie et examinez-les. Inscrire les objectifs de
l’évaluation sur une feuille de papier que vous affichez au mur pourrait vous aider à vous concentrer sur les objectifs pendant le dépouillement des
documents.
Il faudra peut-être modifier la forme sous laquelle l’information a été recueillie. Les renseignements obtenus pendant les entrevues peuvent être
combinés aux données tirées des dossiers; on pourrait aussi établir un rapport entre les statistiques et les résultats du sondage ou vos observations.
Pour faciliter le processus d’analyse, il serait peut-être utile d’examiner tout le programme sous l’angle des intrants, du processus et des résultats.
Intrants - Fait référence aux participants au programme, aux personnes ou aux problèmes dont il faut s’occuper, aux compétences, au
matériel et aux structures qui appuient le programme.
Processus - Fait allusion, comme son nom l’indique, aux activités menées pendant l’exécution du programme. Cette information a trait à la
prestation du programme et à certains facteurs comme le nombre de clients, le nombre d’appels, le mode de tenue à jour des dossiers, la façon dont sont
traitées les victimes par les employés de l’organisme et d’autres activités qui font avancer le programme conformément au plan.
Résultats - Font référence à l’incidence du programme. Ils devraient englober des données comme le taux de réduction des incidents,
le degré de satisfaction des participants à l’égard du traitement qu’ils reçoivent, la formation reçue par le personnel et, sur un plan plus
général, s’il y a un sentiment accru de sécurité dans la collectivité.
Dans l’étude de cas :
N’examiner qu’un seul aspect de tout le problème de l’incident en milieu familial, c’est-à-dire ce qui se passe sur les lieux de
l’incident,
L’information recueillie dans le cadre des entrevues et des examens de la politique, afin de déterminer :
les programmes de formation;
le statut officiel accordé aux bénévoles et la perception de ce statut par le public;
la façon dont les délinquants et les victimes réagissent;
la réaction des collectivités face à la violence familiale en tant que problème;
la facilité de se procurer de l’alcool dans la collectivité;
les chiffres concernant l’emploi et, en conséquence, la présence du partenaire à la maison;
la préférence accordée à l’arrestation plutôt qu’à la médiation dans le modus operandi de la police;
et d’autres facteurs,
constitue un ensemble d’éléments qui influent tous sur ce qui se produit sur place. Examinez la polyvalence des sources d’information et les très vastes
possibilités concernant les éléments susceptibles d’influer sur les résultats.
Pour commencer
- Les personnes chargées de coordonner l’évaluation devraient prévoir une réunion. Le large éventail de points de vue des personnes participant
à la collecte de données s’avérera bénéfique à l’évaluation. L’évaluateur travaillant seul pourrait
également tirer avantage d’une discussion de l’information avec une autre personne. Celle-ci ne devrait pas être un sujet de l’évaluation et doit
comprendre les exigences de confidentialité.
- Classez l’information par groupes, par exemple, les intrants, le processus et les résultats, comme on a proposé ci-avant.
- Clarifiez l’information, évaluez sa pertinence par rapport à l’objectif de l’évaluation.
- Examinez l’information disponible et demandez s’il y a assez de données pour permettre de répondre aux questions de l’évaluation.
- Voyez s’il n’existe pas des groupes d’information ou des caractéristiques, des tendances ou des thèmes qui reviennent dans les données.
- Examinez l’information statistique qui pourrait indiquer des changements dans la fréquence des incidents par suite de la mise en œuvre du programme de
prévention du crime.
- Utilisez un tableau à feuilles pour noter les thèmes, puis dressez la liste de l’information pertinente et des sources d’information sous chaque
thème.
- Voyez si vous pouvez tirer des conclusions à partir de l’information. Commencez par des questions de base comme celles-ci :
- Le programme a-t-il porté fruit?
- Pourquoi?
- Quelles données ont permis d’en arriver à cette conclusion?
- Certaines données viennent-elles contredire cette conclusion?
- La conclusion est-elle juste ou pourrait-on tirer d’autres conclusions?
- Dressez la liste des raisons justifiant vos conclusions et repassez en revue vos données ainsi que les intrants, le processus et les résultats afin de comprendre pourquoi
le programme a porté fruit ou a échoué. Trouvez un enchaînement logique de preuves qui expliquera votre point de vue.
- Si une conclusion importante repose sur de l’information, prouvez la fiabilité de cette dernière et étayez-la d’autres données provenant, si
possible, d’une autre source d’information.
- Examinez à nouveau l’information disponible et demandez-vous si elle suffit pour répondre aux questions de l’évaluation.
- Voyez s’il est nécessaire de revenir à l’étape de la collecte de données de l’évaluation et de demander des précisions sur
une question ou une autre. Avez-vous besoin de tenir d’autres entrevues?
- Demandez-vous si des raisons autres ont motivé votre conclusion. Gardez votre esprit ouvert et n’écartez aucune option! Examinez même les possibilités
qui dépassent le cadre de l’évaluation.
- Voyez si l’information est incohérente, si certaines données contredisent vos conclusions et s’il faudrait modifier la conclusion et expliquer cette
contradiction apparente.
- Examinez l’information que vous n’avez pas vraiment utilisée pour tirer vos conclusions. Déterminez si vous pourriez tirer d’autres conclusions de ces
renseignements ou si l’information vient à l’appui d’autres conclusions.
- Élaborez votre conclusion et discutez des façons d’y donner suite. Ceci constituera vos recommandations. Les conclusions sont ce sur quoi repose la prise de
mesures.
- Résumez les résultats en expliquant clairement les conclusions.
Mettez de côté toutes vos idées préconçues sur la réussite ou l’échec du programme sous évaluation.
Dans l’étude de cas :
Si on se penche à nouveau sur ce qui se passe sur les lieux d’un incident en milieu familial, l’analyse statistique montre que la différence entre les
données de base et les données obtenues laisse entendre que, depuis la mise en place de l’unité des services aux victimes, le nombre d’arrestations pour
voies de fait par suite d’incidents en milieu familial a chuté de 14 p. 100. Ceci est intéressant, mais lorsque nous examinons de plus près ce chiffre, nous
constatons que l’arrestation de délinquantes a quant à lui augmenté. Pourquoi?
Un examen des casiers judiciaires du poste de police local a révélé une politique en vertu de laquelle les agents sont tenus d’arrêter le partenaire
masculin du foyer à chaque fois qu’il y a accusation d’agression, peu importe qui est la personne agressée. Selon les entrevues, de nombreux agents de police ont
arrêté l’homme, même en l’absence de preuves concluantes. Certains hommes ont été arrêtés même lorsque la femme avait commis
les voies de fait. Les agents ont indiqué que, selon eux, ils étaient tenus d’agir ainsi en vertu de la politique. Ils pensaient également que
l’éloignement du conjoint masculin résoudrait le problème immédiat.
Un examen de la formation offerte aux membres de l’unité a démontré que ces derniers ne connaissaient pas la politique visant la police. Lorsqu’ils se
présentaient sur les lieux d’un incident en milieu familial, ils n’étaient donc pas tenus de suivre cette politique et conseillaient les parties selon leur propre
jugement. Si la police arrivait après, le membre de l’unité rapportait souvent les faits d’une manière différente. En conséquence, les risques
d’arrestation étaient moindres, car les membres de l’unité ne possédaient pas le pouvoir d’arrêter et mettaient l’accent sur la
résolution du problème. Ensuite, s’il y avait effectivement arrestation, il était moins probable que l’homme soit arrêté, et enfin,
peut-être plus probable que la femme soit en fait appréhendée.
Vous pourriez peut-être recommander que la politique soit clarifiée.
Le rapport informe les diverses parties concernées des résultats de l’évaluation. Ce document est important car c’est sur lui que reposeront les
principales décisions concernant l’efficacité du personnel visé, la mesure dans laquelle le programme atteint les objectifs de départ, les rajustements
requis pour réorienter le programme et même la poursuite du programme.
Il faudrait préparer une version provisoire du rapport aux fins de discussion avec les principaux intervenants. Les avantages sont multiples :
- La version provisoire permet à l’évaluateur de rassembler ses idées et de les organiser de manière logique avant de préparer la version
finale.
- La discussion sur la version provisoire avec les principaux intervenants pourrait amener à inclure dans le rapport une annexe où seraient décrites les principales
mesures correctives prises pour régler les problèmes soulevés lors de l’évaluation.
Elle permet de discuter des résultats avec les principaux intervenants de sorte que ces derniers puissent se prononcer sur les principaux résultats. Les intervenants
peuvent avoir un différent point de vue sur les résultats, ce qui peut faire ressortir une lacune dans la méthode de recherche.
Sommaire - Il donne une brève description du programme, une synopsis de l’objectif de l’évaluation, les principaux résultats et les sources sur
lesquelles reposent les consultations. Le sommaire constitue un résumé simple à comprendre pour ceux qui n’ont pas le temps ou le besoin de lire tout le
rapport.
Introduction - Elle renferme une description des objectifs du programme et du but de l’évaluation, la durée du travail et le nom du personnel
concerné.
Méthodologie - Cette section porte sur le processus employé pour mener l’évaluation. Y sont citées vos sources d’information. Elle ne fera
pas allusion aux personnes ayant fourni l’information mais aux méthodes générales de collecte de l’information employées.
Principaux résultats - Un rapport d’évaluation doit inclure une description et un jugement, c’est-à-dire une description des constatations de
l’évaluation, des conclusions tirées de l’étude et les fondements de ces conclusions.
Recommandations - Il s’agit de propositions de modification du programme afin de rendre ce dernier plus efficace. Il peut également s’agir de propositions de
mesures à prendre pour éliminer des problèmes de criminalité dans la collectivité d’origine. Les recommandations font du rapport un document vivant
qui crée des attentes concernant la prise de mesures par les responsables ou les participants du programme.
Établissez la priorité des recommandations et proposez les mesures à prendre pour régler le problème ainsi que le nom de la personne ou le titre du
poste responsable des mesures. N’oubliez pas que le rapport ne vise pas à jeter le blâme, mais à donner des directives afin de s’assurer de
l’élimination du problème de criminalité dans la collectivité.
Conclusion - Le sommaire clôt le projet d’évaluation en établissant sommairement un lien entre les principaux thèmes de l’évaluation
et le rapport subséquent puis en les reliant avec les conclusions.
Bibliographie - Il faudrait mentionner la référence de documents publiés antérieurement lorsque l’évaluateur y a fait allusion. La
bibliographie démontre également au lecteur l’envergure du travail de documentation entrepris dans le cadre de l’évaluation. Il existe des manuels sur les
règles typographiques expliquant le format à adopter pour énumérer les ouvrages de référence. Toutefois, ce qui compte, c’est que les
documents, y compris les dossiers et les rapports non publiés, soient énumérés.
Si la confidentialité ne pose pas problème, on peut envisager de souligner la contribution des personnes ayant collaboré à l’évaluation en
donnant de l’information ou en faisant part de leurs commentaires.
Par suite de la publication du rapport final, l’évaluateur et les intervenants ou les employés de l’organisme peuvent souhaiter se rencontrer pour discuter des
résultats. La séance de rétroaction permet au personnel qui a pris part à l’évaluation ou qui est certainement au courant de la tenue de
l’évaluation de recevoir de la rétroaction de l’évaluateur.
La séance de rétroaction devrait :
- reposer sur une compréhension claire du contenu du rapport. Envisagez de distribuer une synopsis des résultats avant la réunion
- être dirigée afin d’empêcher que l’évaluateur ne fasse l’objet d’attaques verbales si le rapport critique le programme
- empêcher de rejeter la responsabilité à quiconque aurait pu entraver l’efficacité du programme
- être constructive et positive en expliquant les lacunes mais aussi en offrant des solutions au moyen de recommandations
- permettre au personnel et aux intervenants de réagir aux résultats du rapport en mettant l’accent sur les mesures d’amélioration au lieu de justifier
les comportements antérieurs.
être structurée plutôt qu’ouverte
Selon le degré de confidentialité et la nature délicate du rapport d’évaluation, plusieurs personnes pourraient recevoir une copie des résultats
du rapport.
Le degré d’intérêt à l’échelle locale pour le programme sous évaluation déterminera le nombre de personnes qui recevront copie
du rapport. Cet intérêt peut croître selon la nature des problèmes abordés dans les conclusions. Par exemple, si l’évaluation met en
évidence des problèmes controversés comme le manque d’adaptation du personnel, alors les résultats seront de nature plus délicate et
l’intérêt du public et des médias à l’égard du rapport pourrait augmenter. Soyez prêt à défendre vos conclusions devant une
tribune publique.
L’évaluation d’un programme pilote de prévention du crime risque de susciter un intérêt marqué en dehors de la collectivité, ce qui
peut donner lieu à des demandes d’exemplaires du rapport final.
- Le directeur du programme pour le personnel du programme
- Les responsables de la gestion comme le conseil d’administration ou la Commission des services policiers
- Le conseil de bande, l’organisme fédéral, provincial, territorial ou municipal détenant la responsabilité première des interventions de
l’organisme
- Les médias locaux
- Les bibliothèques locales et les établissements d’enseignement supérieur
- On pourrait aussi envisager ce qui suit : présentation à une conférence de sorte que d’autres collectivités puissent profiter de
l’expérience de votre collectivité
- Publication dans un magazine ou un journal ou discussion des résultats sur les ondes d’une radio locale
L’organisme ayant accordé les fonds
N’oubliez pas que plus le nombre d’exemplaires requis est élevé, plus le coût augmente. Vous pourriez envisager de distribuer un sommaire uniquement
à certaines personnes. Il faudra peut-être obtenir l’autorisation du détenteur du droit d’auteur avant la distribution du rapport final de
l’évaluation.
La préparation et la présentation du rapport final ne marquent pas nécessairement la fin du projet. Il faut faire un suivi à bien des égards.
Suivi des recommandations - Si la responsabilité des recommandations a été attribuée, l’évaluateur pourrait être chargé de
changer de rôle et de s’assurer que les recommandations sont appliquées.
Contacts avec les médias - Les médias peuvent demander à s’entretenir avec l’évaluateur pour discuter des résultats. Ils peuvent
également susciter un intérêt et encourager la prise de mesures par suite de la publication du rapport. Vous devriez envisager la publication d’un article dans le
bulletin de la collectivité ou du conseil de bande.
Remerciements - Selon l’envergure de l’évaluation, de nombreuses personnes ont peut-être participé au processus en fournissant des données,
en autorisant l’évaluateur à les observer pendant leur travail, en participant à des groupes de discussion ou en donnant des avis sur le processus
d’évaluation. Bien qu’il soit impossible de communiquer avec tous ceux qui ont participé au projet d’évaluation, un simple mot de remerciement
où l’on fait état des résultats du projet d’évaluation peut encourager les participants à prendre part à tout projet
d’évaluation ultérieur. Une fête communautaire peut être indiquée si une grande partie de la collectivité a contribué
l’évaluation.
Auto-évaluation - Pour beaucoup, la coordination d’un projet d’évaluation s’avère une nouvelle expérience. L’évaluateur
doit acquérir des compétences différentes en plus de devoir apprendre des termes et pratiques jusqu’alors inconnus. Un projet d’évaluation est
habituellement stressant et fastidieux. Comme la poursuite d’un programme et le maintien des emplois connexes dépendent souvent des résultats d’une
évaluation, il se greffe à cette tâche une importante responsabilité.
Le processus d’élaboration du programme, d’évaluation de son fonctionnement et de rétroaction est vraiment circulaire. Les recommandations seront prises
en compte dans les décisions de l’organisme ou de la collectivité concernant les problèmes de criminalité à régler et le mode
d’élaboration d’un programme.
Bravo! Vous avez terminé l’évaluation. Félicitations. Votre travail a probablement beaucoup aidé la collectivité et aura
peut-être une incidence sur d’autres collectivités.
À la fin du projet, vous devriez prendre du temps pour réfléchir au processus.
Tenez compte des frais suivants :
Salaires : Si le personnel n’est pas bénévole ou des employés permanents de l’organisme, salaires des chercheurs, honoraires, honoraires des
consultants, salaires des commis et des administrateurs
Bureaux : Frais de location des bureaux ou des salles pour les groupes de discussion.
Fournitures : Fournitures de bureau, entre autres du papier, des cartouches d’imprimante, des stylos, des tableaux à feuilles, un meuble de classement et un local
d’entreposage.
Matériel de bureau : Télécopieur, ordinateur, téléphone
Location d’autre matériel : ordinateur, technologie de télécommande électronique pour les groupes de discussion.
Coûts d’exploitation : Frais de téléphone, en particulier frais d’interurbain et de courrier électronique, frais d’accès
à Internet, frais d’affranchissement ou de messagerie pour l’envoi de documents à destination ou en provenance d’autres collectivités, temps
d’utilisation de l’ordinateur pour l’analyse des données.
Déplacements : Visites dans d’autres collectivités, déplacements dans votre collectivité, déplacements d’autres personnes comme les
collègues évaluateurs ou les experts-conseils.
Impression : Sondages, correspondance, versions provisoire et finale du rapport.
À faire
|
Responsable
|
Date limite
|
Fait
4
|
|
Mettre en place le comité de coordination (ou organiser le travail de l’évaluateur qui agit seul)
|
|
|
|
|
Une évaluation était-elle prévue dans le plan de départ du programme? En quoi consistait-elle?
|
|
|
|
|
Définir les objectifs du programme
|
|
|
|
|
Définir les objectifs de l’évaluation (les mêmes?)
|
|
|
|
|
Déterminer le type d’évaluation requise :
Processus? Pour savoir comment fonctionne le programme
Incidence? Pour comprendre les répercussions finales du programme sur le problème de la collectivité
(Ne pas oublier qu’une évaluation des besoins est généralement effectuée avant la mise au point d’un programme afin de déterminer le type
de programme requis)
|
|
|
|
|
Déterminer qui devrait effectuer l’évaluation
Évaluateur uniquement
Directeur du programme
Personnel du programme
Membre de la collectivité
Expert-conseil de l’extérieur
Homologue d’une autre collectivité
|
|
|
|
|
Déterminer si d’autres ressources sont requises
humaines
financières
|
|
|
|
|
Déterminer les sources possibles et faire la demande
|
|
|
|
|
La formule du plan de projet a-t-elle été préparée?
|
|
|
|
|
Déterminer les types de collecte d’information les mieux indiqués compte tenu des problèmes abordés par le programme, de la personnalité des
personnes concernées et de la culture de la collectivité
Statistiques
Examen des dossiers
Sondage
Groupe de discussion
Entrevue personnelle
Observation
|
|
|
|
|
Donner des détails sur les sources d’information, l’organisme et la personne-ressource et vérifier si une autorisation est requise
|
|
|
|
|
Confier la responsabilité de chaque tâche de collecte d’information en tenant compte des compétences des gens qui travaillent à
l’évaluation
|
|
|
|
|
Impartir des délais pour chaque étape de l’évaluation et les inscrire sur le calendrier du projet
|
|
|
|
|
Effectuer les recherches, recueillir toute l’information
|
|
|
|
|
Se réunir pour analyser toute l’information
|
|
|
|
|
Donner les conclusions avec toute l’information pertinente à l’appui
|
|
|
|
|
Préparer la version provisoire du rapport et en discuter avec les principaux intervenants
|
|
|
|
|
Préparer la version finale du rapport en y incluant les recommandations
|
|
|
|
|
Distribuer des exemplaires du rapport final
|
|
|
|
|
Tenir des séances de rétroaction avec le personnel
|
|
|
|
|
Envoyer un mot de remerciement aux participants
|
|
|
|
Analyse - Examen de l’information afin de trouver sa signification.
Approche de l’évaluation - Description des étapes de planification de l’évaluation.
Auto-évaluation - Évaluation menée par des personnes travaillant au programme; un participant au programme; des membres de la collectivité qui ne
travaillent pas nécessairement au programme; un intervenant du programme.
Cadre de référence - Règles de conduite, paramètres de l’évaluation ou carte routière de l’évaluation qui sera
menée et qui décrit les obligations de tous les participants à l’évaluation. Il devrait refléter les objectifs de l’évaluation et les
priorités en plus d’indiquer le genre de questions générales sur lesquelles devrait porter l’évaluation, comme les objectifs de
l’évaluation, le délai imparti pour l’évaluation, les ressources à engager et la liste des documents à produire.
Comparaison avant-après - Mesure de variables comme le taux de criminalité ou les niveaux de crainte à l’égard des actes criminels avant la mise
en œuvre du programme et comparaison de ces chiffres avec ceux recueillis une fois le programme mis en place ou mené à bien à un moment donné.
Données de base - Information déjà connue. Référence à partir de laquelle mesurer, norme. Situation avant le début du
programme.
Données obtenues - Information (statistique ou autres formes de données) recueillie à la fin d’un programme et comparée aux données de
référence. C’est sur ces données que l’on se fonde pour déterminer l’incidence.
Données qualitatives - Attributs ou caractéristiques de base d’un programme généralement exprimés par une opinion concernant la
qualité du programme. Examen de la signification et de la structure d’un programme (données estimées).
Données quantitatives - Mesure d’un programme de façon tangible, à l’aide de chiffres et de statistiques (données objectives).
Données recueillies pendant l’exécution - Information recueillie pendant la durée de vie du programme soit dans le cadre des activités ordinaires
ou au moyen d’un outil de collecte de données en vue de l’évaluation.
Évaluation - Examen et jugement selon le rendement, les résultats ou les incidences. L’évaluation permet de déterminer l’utilité de
quelque chose, mais aussi d’en donner le sens. Elle est habilitante en ce sens qu’elle fournit l’information qui permettra de prendre des décisions judicieuses.
L’évaluation s’avère un outil de première importance dans la gestion de la prestation de services.
Évaluation de l’incidence - Évaluation de l’effet d’un programme, de la mesure dans laquelle le programme a changé les circonstances en
raison desquelles il avait été mis sur pied. L’évaluation de l’incidence peut également porter sur d’autres effets non prévus.
Évaluation des besoins - Étape préliminaire de l’établissement d’un programme afin de comprendre l’envergure ou la structure et la
forme d’un programme essentiel grâce à des outils comme un examen environnemental ou une analyse des problèmes.
Évaluation en cours d’exécution - Auto-examen ou évaluation de la structure organisationnelle, de son mode de fonctionnement, des participants, de la
structure du conseil et des problèmes opérationnels.
Évaluation externe - Évaluation menée par une personne qui n’est pas considérée comme un membre de la collectivité ou un
participant du programme mais généralement considérée comme un évaluateur expert de l’extérieur.
Évaluation réflexe - Méthode utilisée pour améliorer ou modifier un programme en cours. Les questions posées sont les suivantes :
Qu’est-ce qui fonctionne? Que faut-il améliorer? Comment y parvenir?
Évaluation sommative - Évaluation employée pour juger de l’utilité ou de la valeur d’un programme et menée vers la fin du projet.
Elle peut être effectuée à l’échelle de la collectivité lorsqu’un seul projet est évalué ou à l’échelle
régionale ou nationale lorsqu’on compare l’incidence de tous les projets, par exemple l’évaluation de Bon départ pour les Autochtones.
Groupe de discussion - Réunion d’un petit groupe en vue de stimuler la discussion sur des points particuliers de l’évaluation par des personnes
s’intéressant de près aux problèmes qui font l’objet de l’évaluation.
Indicateur - Proposition, comme un événement ou des statistiques, utilisée pour évaluer dans quelle mesure un programme atteint son objectif.
Objectif - But fixé que l’on essaie d’atteindre. Il s’agit d’un énoncé des résultats escomptés du programme.
Questions fermées - Questions auxquelles on répond par oui ou par non ou toute autre question pour laquelle le choix de réponses est limité.
Questions ouvertes - Questions auxquelles on peut répondre en donnant des descriptions et des opinions.
Recherche documentaire - Dépouillement d’articles de journaux, de périodiques, de journaux spécialisés, de rapports provenant d’autres
organismes et de documents Internet portant sur le fonctionnement ou l’évaluation de programmes de prévention du crime afin d’obtenir de l’information de
base en vue de la préparation du plan.
Rendement prévu et rendement réel - Un projet est évalué par rapport à ses objectifs. En conséquence, on compare les objectifs
fixés avec les réalisations.
Rétroaction - Information fournie au groupe de personnes comme les employés de l’organisme sous évaluation. La rétroaction donne de
l’information concernant l’évaluation de ce qui se passe et de ce qui est fait.
Questions guidant le processus d’évaluation
Comment utiliser le présent manuel
Quel est le but de l’évaluation?
Selon l’état d’avancement du programme, est-ce le moment approprié pour entreprendre une évaluation?
Est-ce que je dispose des ressources nécessaires, comme les compétences et les fonds?
Si je suis le seul responsable de l’évaluation, puis-je mettre sur pied un comité consultatif de membres de la collectivité?
Première étape
Recherche documentaire
Ai-je bien décrit le programme et son mode de fonctionnement au sein de la collectivité?
Ai-je bien décrit de façon concise le(s) objectif(s) ou but(s) du programme?
Ai-je décrit les importants facteurs communautaires pouvant avoir une incidence sur les activités du programme?
Est-ce que je sais s’il existe un programme dans d’autres collectivités et, le cas échéant, est-ce que j’en connais le fonctionnement?
Établissement des objectifs d’évaluation
Ai-je décrit les objectifs du programme ou, si les objectifs n’avaient pas été précisés dès le départ, ai-je fixé des
objectifs d’évaluation?
Ai-je déterminé le type d’information requis pour évaluer si le programme a atteint les objectifs visés? Et, si le programme a effectivement
réalisé ses objectifs, comment y est-il arrivé?
Choix d’un programme d’évaluation
Vu la nature du programme ainsi que l’étape à laquelle je prévois effectuer l’évaluation, quelle sera la meilleure approche ou série
d’approches pour examiner l’incidence du programme?
Quel type de données choisir pour effectuer l’évaluation?
Vu la nature du programme de prévention du crime et le type de données disponibles, quelle approche ou combinaison d’approches me permettra de recueillir le plus de
données utiles à l’évaluation?
Quel type de données puis-je recueillir dans la collectivité?
En tenant compte de la population de la collectivité et du personnel du programme, comment puis-je obtenir les données les plus pertinentes possible?
Où trouver les données requises?
Recherche statistique
Compte tenu des objectifs du programme, de quel type de statistiques ai-je besoin?
Les organismes de la collectivité, comme le service de police ou le conseil de bande, compilent-ils des statistiques qui pourraient se révéler utiles pour
l’évaluation?
Si les statistiques disponibles ne conviennent pas tout à fait, est-il possible de mettre au point une méthode de collecte d’information statistique en vue de
l’évaluation?
Examen de dossiers
Compte tenu des objectifs du programme, de quel type de dossiers ai-je besoin?
Les organismes de la collectivité, comme le service de police ou le conseil de bande, conservent-ils des dossiers pouvant être utiles pour l’évaluation?
Si les dossiers disponibles ne conviennent pas tout à fait, est-il possible d’obtenir les dossiers adéquats dans d’autres endroits?
Ai-je besoin d’une autorisation de sécurité pour avoir accès aux dossiers?
sondages
Compte tenu des problèmes abordés par ce programme et des coûts d’un sondage, ce dernier fournira-t-il une information utile aux fins de
l’évaluation?
Compte tenu des caractéristiques de la collectivité, un sondage, quel qu’il soit, est-il approprié?
Le cas échéant, devrait-il être administré par téléphone, par courrier ou d’une autre façon?
Les questions devraient-elles être ouvertes, fermées ou à choix multiples?
Groupes de discussion
Compte tenu de la nature des problèmes abordés par ce programme, un groupe de discussion serait-il indiqué pour sonder l’opinion des gens?
Étant donné les caractéristiques de la collectivité, y compris la culture, un groupe de discussion serait-il propice à l’échange
d’idées?
Le cas échéant, quelle serait la composition idéale du groupe pour encourager un échange ouvert?
Parmi les personnes travaillant à l’évaluation, qui possède les compétences requises pour animer un groupe de discussion?
Entrevues personnelles
Compte tenu de la nature des problèmes abordés par ce programme, une entrevue personnelle constituerait-elle un moyen approprié de sonder l’opinion des
gens?
Étant donné les caractéristiques de la collectivité, entre autres la culture et la personnalité de certains répondants, l’entrevue
personnelle fournirait-elle une information utile pour l’évaluation?
Le cas échéant, qui devrait-on interroger afin de recueillir l’information nécessaire?
Parmi les personnes travaillant à l’évaluation, qui possède les compétences requises pour mener des entrevues?
Travail d’observation
Compte tenu des types de problèmes abordés par ce programme et de la nature particulière de cette méthode de collecte d’information, le travail
d’observation permettra-t-il de recueillir une information utile aux fins de l’évaluation?
Le cas échéant, à quelle étape du processus par lequel les organismes s’occupent de ces problèmes faudrait-il entreprendre le travail
d’observation?
Possédez-vous les compétences pour agir comme observateur?
Pourrez-vous obtenir l’autorisation d’effectuer ce travail?
Quelles sont mes compétences et celles des personnes qui travaillent avec moi et quelle méthode de collecte d’information serait la plus efficace?
Quelle information a-t-on utilisé dans d’autres collectivités où une évaluation similaire a été menée?
Quels types d’information permettront le mieux d’atteindre les objectifs du programme et ceux de l’évaluation?
Compte tenu des indicateurs qui, selon moi, sont parfaits pour évaluer le programme, où puis-je trouver cette information?
L’information existe-t-elle déjà?
Si cette information spécifique n’est pas facilement disponible, est-il possible de mettre au point des méthodes de collecte de cette information, ai-je les
compétences ou les fonds nécessaires pour mener à bien cette tâche?
Est-il raisonnable de s’attendre à ce que les employés de l’organisme recueillent cette information en plus des autres données qu’ils recueillent
déjà dans le cadre de leurs fonctions ordinaires?
Compte tenu de la nature particulière de la collectivité, quels types de collecte d’information donneraient les meilleurs résultats?
S’il n’est pas possible de recueillir l’information, comment pourrais-je changer le plan d’évaluation de sorte que le résultat final de
l’évaluation soit tout aussi valide?
Planification de votre travail et établissement de votre plan
Ai-je préparé un plan de travail et décidé des types d’information dont j’aurai besoin?
Où puis-je obtenir cette information?
Qui est responsable de l’élaboration des outils de collecte de l’information?
Qui effectuera le travail, avec qui et quels sont les délais?
Ai-je informé toutes les personnes concernées des exigences de confidentialité et les ai-je sensibilisées aux différences culturelles?
Ai-je commencé à recueillir l’information qui servira de base à l’évaluation?
Interprétation de l’information recueillie
Ai-je rencontré le groupe de coordination et classé l’information par thème ou problème et dressé la liste de l’information ou des preuves
particulières qui appuient ces résultats?
Ai-je la certitude que mes conclusions sont étayées par les données?
Selon les outils de collecte de l’information utilisés, ai-je étayé chaque conclusion à l’aide de diverses sources comme des entrevues, des
sondages ou des examens de dossiers?
S’il y a incohérence, puis-je en expliquer la raison?
Mes conclusions sont-elles claires, précises et logiques?
Ai-je respecté l’objectif de l’évaluation et mis l’accent sur les indicateurs?
Mes recommandations sont-elles réalisables et les responsabilités ont-elles été attribuées?
Préparation du rapport d’évaluation
Ai-je préparé une version provisoire du rapport qui repose sur les résultats de l’évaluation et sur les discussions concernant l’analyse de
l’information sur les groupes? Cette version est-elle structurée selon la présentation proposée?
Ai-je discuté de la version provisoire avec des intervenants clés et tenu compte de leur rétroaction?
Ai-je décidé de la liste de distribution du rapport final et prévu suffisamment d’exemplaires?
Suivi
Ai-je mené l’évaluation de façon juste et objective?
Ai-je traité tous les participants de façon juste et équitable?
Comment m’améliorer au terme de cette expérience en vue de la prochaine évaluation?
Comment ma collectivité et le programme de prévention du crime pourront-ils profiter de mon travail à ce projet?
............Maintenant, prenez des mesures pour améliorer le programme et votre collectivité!
Gouvernement du Canada, Conseil du Trésor. Guide sur la fonction de l’évaluation du programme, 1981.
Groupe de travail fédéral-provincial-territorial sur la sécurité communautaire et la prévention du crime. Modèles d’intervention en
sécurité communautaire et de prévention du crime, non daté.
Guyette, S. Community Based Research: A Handbook for Native Canadians, University of California, 1983.
Holt, J. Et si on faisait une évaluation : manuel sur l’auto-évaluation des programmes à l’intention des collectivités des Premières
Nations et des collectivités inuit, ministère de la Santé et du Bien-être social, 1993.
Industrie Canada. Priorité aux résultats : Guide sur la mesure du rendement, document de discussion, 1995.
McCaskill, D. et Williams, A.Community Based Evaluation Workbook, Stratégie de ressourcement pour le mieux-être des Autochtones, 1997.
Ministère de la Santé et du Bien-être social. Guide sur l’évaluation des programmes de santé à l’intention des Premières
nations, non daté.
Ministère des Affaires indiennes et du Nord canadien, Services à l’enfance et à la famille indiennes. Self-Evaluation Guide, non daté.
Oppal, Justice W. Inquiry on Policing in British Columbia, ministère du Procureur général, C.-B., 1994 (pour des exemples de sondages).
Prairie Research Associates. Pour un Canada plus sûr : guide de prévention communautaire du crime, ministère de la Justice, Ottawa, 1996.
et pour des statistiques, publications comme :
Howell, David. Fundamental Statistics for Behavioural Sciences, Dewberry Press, Belmont, California, 1995.
