Évaluation des initiatives de vulgarisation et d’information juridiques : 
bibliographie annotée

Lindsay Cader

rr2002-2f

Division de la recherche et de la statistique

Novembre 2002

Les opinions exprimées dans le présent document 
sont uniquement celles de l’auteur et ne représentent pas  nécessairement le point de vue du ministère de la Justice du Canada.

Table des matières

Résumé	iii	
Sommaire	Iv	
1.0	Introduction	1	
	1.1	Définition de la VIJ et objectifs d’une bibliographie annotée sur l’évaluation des initiatives de VIJ	1	
	1.2	Méthodologie	1	
	1.3	Pourquoi il faut soutenir les initiatives de VIJ	2	
	1.4	Évaluation des initiatives de VIJ : démarches et notions	4	
2.0	Articles de publications universitaires	6	
	2.1	Articles sur la VIJ	6	
3.0	Documents gouvernementaux	19	
	3.1	Documents portant sur la VIJ	19	
	3.2	Autres documents d’évaluation	28	
4.0	Rapports d’évaluation	30	
	4.1	Évaluation des initiatives de VIJ	30	
	4.2	Matériel et sources utiles	44	
5.0	Aperçu des conclusions	51	
	5.1	Défis relatifs à l’évaluation des initiatives de VIJ	51	
	5.2	Liens entre les buts et l’évaluation des initiatives de VIJ	52	
	5.3	Exigences du bailleur de fonds au chapitre de l’évaluation	52	
	5.4	Méthodes relatives à l’évaluation	53	
	5.5	Lacunes au chapitre de la recherche et des connaissances	54	

Références		
	Articles de publications universitaires	56	
	Documents gouvernementaux	57	
	Rapports d’évaluation	58	
Annexe A	60	
	L’art et la science de l’évaluation		
Annexe B	63	
	Normes relatives à l’évaluation, à la publication, aux séminaires et aux conférences		

1.1	
Résumé

La présente bibliographie annotée porte sur des publications universitaires, des documents gouvernementaux et des comptes rendus de programmes qui ont trait à l’évaluation d’initiatives de vulgarisation et d’information juridiques (VIJ). Y sont surtout examinés des textes qui décrivent le contexte canadien de la VIJ et qui ont été rédigés au cours des cinq dernières années. Après un aperçu général de chaque document, les annotations sont agencées en fonction de quatre thèmes principaux : i) défis relatifs à l’évaluation des initiatives de VIJ; ii) liens entre les buts et l’évaluation des initiatives de VIJ; iii) exigences du bailleur de fonds au chapitre de l’évaluation; et iv) méthodes relatives à l’évaluation. En outre, nous mettons en évidence diverses notions et démarches qui ont trait à l’évaluation, des éléments qui font obstacle à l’examen de la VIJ ainsi qu’un certain nombre de lacunes au chapitre de la recherche et des connaissances. Pour évaluer la VIJ, il faut relever des défis complexes et c’est pourquoi il existe peu d’évaluations détaillées des programmes et du matériel disponible. Qui plus est, on a accordé peu d’attention à discuter de ces défis et à améliorer la situation. Lorsque cela est approprié, nous indiquons donc quels éléments sont directement utiles à l’évaluation de la VIJ. Ces outils précieux peuvent servir de lignes directrices pour produire un cadre d’examen et, selon la nature et les objectifs de l’évaluation, ils favoriseront l’élaboration de normes et la conception de méthodes. 

1.1	
Sommaire

Dans la présente bibliographie annotée, nous rassemblons des documents qui portent sur l’évaluation des initiatives de vulgarisation et d’information juridiques (VIJ). Ces initiatives prennent diverses formes, dont la distribution de brochures ou de trousses d’information, la prestation de séances de formation en classe, la prestation d’un service de renseignements par téléphone, l’apport de produits audiovisuels et la tenue d’ateliers ou de séminaires qui s’étalent sur plusieurs jours. Dans bien des administrations, on reconnaît de plus en plus que l’acquisition et la « propriété » des connaissances juridiques relèvent d’un domaine exclusif dans la mesure où elles sont limitées aux facultés de droit. De plus, le gouvernement canadien continue de favoriser l’accès à la justice et d’étudier les dimensions qui sont pertinentes à cette question. Par conséquent, on cherche à améliorer les démarches traditionnelles d’accès à la justice; cela signifie notamment qu’on vise davantage à trouver des solutions et à encourager la participation des intéressés. 

Les écrits qui figurent dans le présent rapport sont classés par sections en fonction du type de document étudié. On a demandé à l’auteur d’examiner une gamme d’ouvrages qui portent sur l’évaluation des initiatives de VIJ en accordant une attention spéciale aux textes publiés au Canada au cours des cinq dernières années. Les documents retenus sont de formes diverses : articles de publications universitaires, ouvrages gouvernementaux et rapports d’évaluation. Le cas échéant, nous indiquons quels documents sont utiles et pratiques, et nous en décrivons la teneur. Les annotations sont agencées en fonction de quatre thèmes principaux qui découlent de rapports antérieurs sur l’évaluation d’initiatives de VIJ. Même si nombre de conclusions ne peuvent concrètement être classifiées, nous avons séparé les questions en titres thématiques en raison de l’usage auquel est destinée la bibliographie. Deux grands usages ont été dégagés : soit la conception de l’évaluation ainsi que le repérage et la prévention des difficultés les plus courantes. Les quatre thèmes imbriqués dans la bibliographie sont les suivants : i) défis relatifs à l’évaluation des initiatives de VIJ; ii) liens entre les buts et l’évaluation des initiatives de VIJ; iii) exigences du bailleur de fonds au chapitre de l’évaluation; et iv) méthodes relatives à l’évaluation. À la section intitulée « Aperçu des conclusions », nous passons en revue les lacunes qui existent au chapitre de la recherche et des connaissances. L’information qui porte directement sur les défis peut servir de manière préventive. En expliquant par écrit en quoi consistent ces défis, l’auteur reconnaît qu’il est possible de tirer profit de l’expérience d’autrui, et c’est là une notion qui est reprise dans les articles. En ce qui concerne le lien entre les buts des programmes de VIJ et les objectifs de l’évaluation, nous isolons les notions pertinentes, puisque le fait d’énoncer clairement ce lien prescrit souvent le mode d’évaluation qui devrait être retenu. Nous incluons également les méthodes d’évaluation afin d’illustrer les tendances et de montrer  la créativité qui existe au chapitre des examens externes et internes. Enfin, à la section intitulée « Aperçu des conclusions », nous résumons les lacunes qu’on trouve au chapitre de la recherche et des connaissances afin d’indiquer dans quel sens il faudrait poursuivre le travail.

Il est manifeste, d’après les documents étudiés, que les défis qui concernent l’évaluation des initiatives de VIJ sont fort complexes. Il n’est donc pas étonnant qu’il existe très peu de rapports où l’on évalue directement les programmes, les services ou les écrits qui ont trait à la VIJ, quoiqu’il y ait, au Canada, nombre d’organisations et d’initiatives de VIJ. Au cours des cinq dernières années, on a produit quelques évaluations bien structurées ainsi qu’un certain nombre d’examens qui portent sur des programmes connexes, notamment l’aide juridique (voir Brantingham et Brantingham, 1984). Le document le plus utile et le plus complet dont nous disposions s’intitule Evaluation Resource Book for PLEI Organizations (Manuel de référence portant sur l’évaluation et destiné aux organisations de VIJ), et a été rédigé par le groupe Focus Consultants en 1986. Ce guide détaillé découle d’une recherche antérieure, dans le cadre de laquelle on s’est penché sur des questions et des obstacles importants qui intéressent les fournisseurs de services de VIJ. La plupart de ces questions sont toujours d’actualité et nous en faisons donc mention dans les annotations.

Thèmes fréquemment repris

1.	On trouvera ci-dessous les thèmes susmentionnés ainsi que quelques-unes des conclusions principales. 

2.	Défis relatifs à l’évaluation des initiatives de VIJ

	Manque de compétences spécialisées, de ressources et d’argent
	Définition insuffisante de la VIJ et de l’évaluation pertinente

3.	Liens entre les buts et l’évaluation des initiatives de VIJ 

	Nombre de buts et d’objectifs des projets qui ont trait à la VIJ ne peuvent être mesurés quantitativement

4.	Exigences du bailleur de fonds au chapitre de l’évaluation

	Sans financement stable, les fournisseurs de services de VIJ ne sont pas portés à procéder à une évaluation approfondie
	Les bailleurs de fonds et les fournisseurs de services de VIJ ont des buts différents et n’accordent pas la même importance aux divers aspects des projets, ce qui entraîne des méthodes distinctes d’évaluation et une interprétation erronée des conclusions 

5.	Méthodes relatives à l’évaluation

	Méthodes les plus courantes : questionnaires et enquêtes, entrevues semi-structurées, rappels/suivis, pré-testages/post-testages et entretiens avec des groupes de consultation

6.	Lacunes au chapitre de la recherche et des connaissances

	On n’indique pas comment les responsables du programme ou de l’organisation devraient utiliser le rapport sur la qualité, l’évaluation ou l’examen qui les concerne
	De la même façon, on ne discute pas de la manière dont les autres organismes et organisations de VIJ peuvent utiliser les conclusions ou les recommandations qui découlent de l’évaluation transcrite 

1.0	Introduction

1.1	Définition de la VIJ et objectifs d’une bibliographie annotée sur l’évaluation des initiatives de VIJ 

L’expression « vulgarisation et information juridiques » (VIJ) renvoie à une forme d’éducation qui va au-delà de l’enseignement offert dans les facultés de droit du Canada. Dans ce pays, depuis trente ans, on assiste à l’apparition d’une profusion de documents, services et programmes de VIJ, parallèlement à ce qui se passe dans d’autres administrations de common law et fort probablement dans d’autres systèmes juridiques autour du monde. Partout, dans les provinces et territoires, on trouve dorénavant des organisations qui sont vouées exclusivement à la prestation de services de VIJ. Certains fournisseurs centraux agissent comme groupe d’encadrement pour diverses associations, écoles et organisations communautaires qui offrent des services et des programmes de VIJ. Dans certaines provinces, on se concentre moins sur la coordination des activités de VIJ, en procédant par exemple à l’examen des besoins, et il y a des organisations qui se consacrent à la prestation de services. En outre, en Ontario et en Colombie-Britannique, notamment, nombre d’initiatives de VIJ dépendent des services d’aide juridique provinciaux et sont gérés par le Bureau du procureur général. Indépendamment de la façon dont les activités de VIJ sont administrées et exécutées au Canada, le mandat des fournisseurs semble généralement le même. En offrant à la population canadienne de l’information sur ses droits et ses obligations, on dispose d’un moyen pratique et efficace de garantir qu’elle a davantage accès à la justice. 

Le présent projet a pour but d’examiner les écrits, les publications gouvernementales et non gouvernementales ainsi que d’autres documents qui portent sur l’évaluation des initiatives de VIJ. L’accent est mis sur les textes publiés au Canada au cours des cinq dernières années, mais on remarquera que nombre d’évaluations sont antérieurs à cette période. Cela est attribuable, en grande partie, au fait qu’on a peu mis par écrit les résultats des évaluations et des discussions qui portent sur les initiatives de VIJ. L’objectif, en étudiant ces sources, est de déterminer quel type de démarches on prend pour évaluer les activités de VIJ et quels sont les obstacles que doivent surmonter les évaluateurs. Nombre d’auteurs ont fait valoir, pour ce qui est d’avoir accès à l’évaluation des activités de VIJ et de procéder à un examen de ce type, que la principale difficulté résidait dans le fait que les définitions ne sont pas précises. En effet, les termes « vulgarisation », « information » et « juridiques » sont définis de manière floue et non uniforme, ce qui occasionne des difficultés permanentes pour ceux qui souhaitent procéder à une comparaison ou à un examen. Ainsi, dans le cadre d’une enquête menée en 1986 et intitulée Survey of Canadian PLEI Providers (Enquête auprès des fournisseurs de services de VIJ au Canada), on a découvert que nombre d’organisations de VIJ ne se définissent pas comme telles. Et c’est toujours le cas aujourd’hui. 

1.2	Méthodologie 

Dans le présent rapport, nous avons consulté diverses sources pour recueillir le matériel bibliographique. Nous avons examiné les trois principales bases de données juridiques, soit Quicklaw, Lexis-Nexis et Westlaw, dans le but de trouver des articles de publications universitaires; nous avons également mené une recherche dans de nombreuses bibliothèques pour obtenir des écrits juridiques pertinents. Le chef d’équipe chargé du contrat, à la Division de la recherche et de la statistique, nous a transmis directement les documents de VIJ rédigés par le ministère de la Justice (et pour son compte). Nous avons dépouillé les pages du Réseau d’accès à la justice (ACJNet) et le Legal Resource Centre, qui est relié au Legal Studies Program de l’université de l’Alberta, nous a fait parvenir un certain nombre de documents. Le reste du matériel nous a été remis en réponse à une demande d’information envoyée partout au Canada à plus de 50 organisations de VIJ. Enfin, nous avons mené une recherche sur l’Internet afin de trouver des documents relatifs à l’évaluation. Comme la bibliographie porte surtout sur la situation canadienne en matière de VIJ, la recherche sur Internet a été intentionnellement restreinte pour ce qui est des autres administrations. 

Les défis à relever avaient principalement trait au manque de documents et aux délais. En grande partie, la correspondance par courrier électronique et la collecte de matériel ont eu lieu en décembre, une période de l’année où il est particulièrement difficile de communiquer avec les organisations, gouvernementales ou non. En ayant plus de temps, nous aurions probablement pu trouver quelques rapports d’évaluation additionnels. Malgré cette contrainte, les documents annotés représentent le type d’évaluation qui a été menée par les fournisseurs de services de VIJ et les bailleurs de fonds (et pour leur compte). Dans le cas des documents gouvernementaux et des articles de publications universitaires, la question du manque de temps ne se posait pas. Le manque d’information était le second défi à relever. La plupart des articles avaient trait à des programmes d’aide juridique qui sont offerts aux États-Unis et ne traitaient que de manière latérale de l’éducation publique ou communautaire. De plus, dans les articles sur la vulgarisation juridique, on préconise presque toujours la VIJ ou on discute en détail d’initiatives précises. Rarement trouve-t-on un article où l’on fait mention du besoin de procéder à une évaluation des programmes ou des méthodes applicables. De même, nombre d’organisations qui nous ont fait parvenir du matériel d’évaluation ont inclus un « formulaire de rétroaction » ou un questionnaire d’une page ou deux, qu’elles distribuent après qu’un programme particulier a été délivré ou qu’elles insèrent dans du matériel éducatif. Ce type d’évaluation est sûrement précieux pour déterminer les besoins et réviser la teneur ou le mode de présentation d’un programme, mais il ne fournit aucune information utile aux fins de la présente bibliographie. 

On ne peut soutenir que la présente bibliographie est exhaustive; toutefois, elle est certainement détaillée parce qu’on a eu recours à de nombreux modes de recherche et qu’on a étudié des documents de types variés. 

1.3 	Pourquoi il faut soutenir les initiatives de VIJ

La portée des programmes et du matériel de VIJ est considérable et varie selon les organisations et les régions en fonction de ce qui est perçu comme un besoin public. Au Canada, tous les citoyens ont le droit de connaître leurs droits et leurs responsabilités juridiques (et on s’attend même à ce qu’ils les connaissent). Cependant, étant donné la façon dont sont formulés les lois et les règlements, parmi les obstacles systémiques, il ne suffit pas de mettre ces textes à la disposition du public pour garantir l’accès à la justice. Dans une certaine mesure, les lois fédérales, provinciales et municipales touchent tout le monde. Grâce à la VIJ, on dispose d’une méthode constructive de faire en sorte qu’on comprenne la teneur des lois, leurs répercussions sur nos vies et les processus applicables. Indépendamment des litiges ou des procédures qui concernent le respect d’exigences précises, c’est-à-dire des cas où le particulier fait affaire directement avec l’appareil judiciaire, chacun a intérêt à comprendre le système politique et juridique dans lequel il vit. C’est pourquoi les activités de VIJ sont souvent destinées aux élèves des niveaux primaire et secondaire ainsi qu’aux immigrants arrivés de fraîche date.
La VIJ constitue aussi un moyen de rendre plus autonomes les personnes à faible revenu ou d’autres groupes marginalisés qui ont besoin d’information. Outre le fait qu’elle permet d’informer les gens et de les renseigner sur leurs droits et responsabilités aux yeux de la loi, la VIJ peut être servir à l’autoreprésentation ou pour indiquer à l’intéressé à quel moment il faut retenir les services d’un avocat. On débat toujours de la question de savoir s’il faut favoriser l’autoreprésentation comme une forme d’autonomisation et une solution réaliste aux lacunes et aux compressions qui existent en matière d’aide juridique ou s’il vaut mieux faire en sorte que les groupes qui ne jouissent pas des services suffisants aient davantage accès à l’aide juridique. Selon des études menées récemment aux États-Unis, on peut répondre aux besoins de la moitié de la clientèle dont le revenu est faible ou moyen en utilisant du matériel communautaire de vulgarisation, et le fait qu’on a peu recours aux services d’un avocat découle en grande partie du manque d’information sur le moment où il faut obtenir des conseils juridiques (voir Powers, 1997). Indépendamment des résultats de cette discussion, les services de VIJ permettent aux particuliers d’acquérir les connaissances requises pour prendre des décisions éclairées. La VIJ est également un moyen pour la population de s’informer et de s’instruire au sujet des lois qui touchent ses activités quotidiennes. Elle va plus loin que le mandat gouvernemental qui consiste à assurer l’accès à la justice et participe du « penchant » qu’ont les responsables des orientations politiques pour la tenue de consultations publiques. Lorsqu’on tient un référendum ou qu’on procède à un sondage au sujet d’une loi proposée, on accorde peu d’attention au fait de savoir si le « public » saisit effectivement les répercussions de la mesure en cause (voir Bowal, 1998). La VIJ pourrait jouer un rôle en légitimant cet aspect du processus politique : en effet, elle permettrait de détruire les mythes et de corriger les hypothèses erronées au sujet du système juridique du Canada, lequel est en grande mesure influencé par les médias américains, notamment les arts du spectacle et les actualités.

Même si on a utilisé la télévision, l’équipement vidéo, la radio, les ordinateurs et les lignes téléphoniques pour garantir le succès d’initiatives de VIJ, certains auteurs estiment qu’il peut y avoir des conséquences négatives à recourir davantage à la technologie lorsqu’on fournit des services de VIJ à des gens à faible revenu. Il faut examiner et surveiller l’usage qui est fait de la technologie afin de voir à ce que les clients obtiennent l’information, l’aide et les résultats voulus. Si, de façon générale, on se concentre avant tout sur l’accessibilité, les services devraient être également dispensés aux personnes peu instruites qui ne peuvent pas facilement utiliser un ordinateur. Si on prévoit un projet qui fait appel à ce mode de communication et de diffusion, il faut faire preuve de vigilance et prévenir les conséquences non intentionnelles; on doit garantir également que les personnes à faible revenu reçoivent une formation en informatique et ont accès à des ordinateurs par l’intermédiaire d’organismes de services sociaux et de bibliothèques publiques (voir Houseman, 1998). Une fois ces préoccupations réglées, on estime généralement que l’usage mesuré de l’informatique et du Net peut être grandement profitable aux organisations de VIJ et, en fin de compte, à leurs clients. La coordination, à l’échelle provinciale et interprovinciale, pourrait être améliorée de manière exponentielle en appliquant les mesures proposées. Les activités comprennent ce qui suit :  à l’échelle provinciale, accès par courrier électronique offert à toutes les organisations communautaires et les établissements qui fournissent des services de VIJ, accès à des sites Web pour obtenir de l’information à jour sur la législation, les règlements et des faits nouveaux concernant des politiques qui ont des répercussions sur divers intéressés, accès à des bibliothèques électroniques qui contiennent des documents pertinents que tous les fournisseurs de services de VIJ peuvent consulter, élaboration d’une stratégie coordonnée en matière de recherche, qui intègre l’utilisation d’Internet, des services en direct, des sources privées et d’autres ressources, et enfin, élaboration de systèmes coordonnés de gestion des données qui facilitent l’échange d’information (voir Houseman, 1998, aux pages 422 à 427).

1.4  	Évaluation des initiatives de VIJ : démarches et notions

Les notes ci-après sont tirées de divers rapports et articles qui figurent dans la bibliographie. Elles fournissent quelques lignes directrices générales qu’il est bon de se rappeler lorsqu’on passe les annotations en revue. 

•	L’évaluation doit être adaptée au groupe auquel elle s’adresse; cela signifie, pour ce qui est de la conception et des objectifs, qu’on doit tenir compte de la manière dont les participants utiliseront les connaissances et l’information ainsi que du contexte d’apprentissage pertinent. Plus on examine ces facteurs et plus on les intègre à la conception du programme, plus on sera à même, au moment de l’évaluation, de déterminer si les besoins sont satisfaits et de mesurer les répercussions. 
o	Les auteurs de VIOLET: Learning on the Net (VIOLET : apprendre sur Internet) ont isolé six caractéristiques de la population cible et, dans le processus d’évaluation, ont rendu compte des hypothèses connexes.
•	Dans le document intitulé Tools for Moving Forward (Outils pour aller de l’avant), on signale qu’il existe toujours deux points de vue opposés lorsqu’il s’agit de déterminer quel « palier » administratif est le mieux à même d’élaborer et de mettre en œuvre une évaluation des initiatives de VIJ. Certains fournisseurs estiment qu’un groupe d’encadrement comme l’ACVÉJ ou le ministère de la Justice devrait utiliser ses ressources pour créer des outils d’évaluation, mais d’autres soutiennent que des organismes de base qui dispensent des services de VIJ et des intermédiaires sont mieux placés pour concevoir et mettre en œuvre un mode d’évaluation dans le cadre duquel on mesurerait les résultats et les répercussions du programme auprès des clients.  

Voici quelques idées et observations que l’auteur a rassemblées à partir de divers rapports, mais qui ne sont pas directement exprimées dans les documents.  

•	Lorsqu’on élabore un cadre d’évaluation applicable aux initiatives de VIJ, il faut intégrer les résultats de la recherche la plus récente dans le domaine de la vulgarisation et des services communautaires.
•	Le bailleur de fonds peut et doit avoir recours aux conclusions des études d’évaluation et aux résultats des examens, lorsqu’il arrête et oriente ses priorités. 
•	Il importe d’avoir sous la main une liste complète des organisations communautaires qui dispensent des services de VIJ ainsi qu’un inventaire des documents qui existent dans des domaines d’actualité. Le réseau ACJNet répond en partie à ce besoin; cependant, comme on le signale dans le document intitulé Survey of Canadian PLEI Providers (Enquête auprès des fournisseurs de services de VIJ au Canada), publié en 1986, [TRADUCTION] « la survie des activités de VIJ dépend de la communication active entre les organisations qui offrent des initiatives de VIJ et de la coordination de ces activités » (p. 108). Cette tâche considérable ne peut être accomplie qu’à la manière de ce qu’ont réalisé des auteurs comme Godin, Gill et Alderson, Shariff et autres. Dans ces projets, les auteurs ont recueilli l’ensemble des documents de VIJ qui ont trait à un sujet particulier et en ont résumé la teneur. En offrant ce type d’inventaire dans tous les domaines du droit, on facilitera l’évaluation en déterminant les lacunes qui existent et en permettant aux fournisseurs de comparer leur programme et leur matériel.
•	Étant donné les contraintes budgétaires, on recommande que le fournisseur de services de VIJ et le bailleur de fonds indiquent d’office, dans l’évaluation, si les programmes et les services offerts sont souples et peuvent être adaptés. On garantira ainsi que les programmes répondent le mieux possible aux caractéristiques uniques de la population cible; en outre, cela favorisera une démarche créatrice et permettra de voir comment le matériel peut être appliqué sur une grande échelle à d’autres domaines et organisations de VIJ.
•	Comme les méthodes et les outils utilisés dans le cadre d’une évaluation ont tendance à varier en fonction du mode de prestation et de la population cible, mais qu’ils sont à part cela relativement stables, on devrait examiner des évaluations antérieures qui ne portent pas sur des activités de VIJ lorsqu’on prépare un cadre d’évaluation détaillé.
•	Qu’il s’agisse d’une évaluation interne ou d’un examen externe, on devrait toujours recommander d’évaluer et d’examiner de manière permanente les programmes et les services ou de procéder à un contrôle de la qualité continu. Étant donné qu’une évaluation complète exige énormément d’effort, cet élément est crucial à tout processus d’évaluation mené dans les règles, puisque les organisations peuvent en tirer directement profit et qu’il peut être mis en œuvre immédiatement. Lorsque le personnel n’a pas les compétences voulues ou qu’il manque de temps pour déterminer les meilleures méthodes d’évaluation continue, on peut faire appel à un évaluateur. Pour cette composante de la VIJ, c’est la personne idéale.

2.0	Articles de publications universitaires

2.1	Articles sur la VIJ

Les articles suivants, tirés de revues de droit parues au Canada et aux États-Unis, portent sur une vaste gamme d’initiatives et reflètent un large éventail de commentaires. Ils traduisent une vue globale de la VIJ. 

Barry, M. M.  (1999).  Accessing justice: Are pro se clinics a reasonable response to the lack of pro bono legal services and should law school clinics conduct them? (L’accès à la justice : les cliniques de services juridiques assurés en personne sont-elles une solution raisonnable au manque de services juridiques bénévoles et les facultés de droit devraient-elles offrir ce genre de clinique ?)  Fordham Law Review: Special Issue, 67, pages 1879-1926.

Aperçu général

Cet article va un peu au-delà de la prestation des services de VIJ et de l’évaluation des programmes offerts au Canada par les organisations et les cliniques. Son objet est d’examiner les lacunes auxquelles sont confrontés les particuliers qui agissent pour leur propre compte dans un litige et de voir si les besoins de ce groupe peuvent être satisfaits dans le cadre des cliniques d’aide juridique mises sur pied dans les facultés de droit des États-Unis. Comme c’est le cas dans diverses provinces, de nombreuses cliniques de ce genre offrent des services de représentation par avocat et diffusent de l’information juridique, tandis que certaines d’entre elles se consacrent exclusivement à l’une ou l’autre de ces activités. En partant de l’hypothèse selon laquelle les clients qui se représentent eux-mêmes (et qui proviennent souvent d’un milieu social marginalisé ou défavorisé) doivent avoir accès à des documents qui concernent les règles juridiques de fond et le droit procédural, et peuvent être représentés par un avocat, l’auteur définit ainsi les « cliniques de services juridiques assurés en personne » :  toute organisation dont le mandat est de fournir [TRADUCTION] « de l’information générale sur le droit, la procédure et la pratique à un groupe de plaideurs ou de plaideurs éventuels dont les problèmes juridiques sont analogues. Il s’agit de fournir assez d’information pour que le participant puisse comprendre le type de plaidoirie nécessaire, les règles de base (comme celles qui ont trait à la signification) et les données fondamentales dont le tribunal aura besoin pour rendre une décision, qu’il ait une idée des recours qui s’offrent à lui et qu’il puisse avoir accès à ces outils. L’expression (…) a été utilisée pour décrire des programmes qui offrent toute cette information ou qui en donnent des éléments » (p. 1883). Dans cette perspective, on soutient que l’information juridique communautaire peut [TRADUCTION] « créer un courant montant et généralisé de plaideurs qui comprendront suffisamment le droit pour exiger que leurs besoins soient satisfaits plus efficacement » (p. 1926). L’auteur décrit ensuite divers types de services offerts par ces cliniques aux États-Unis (un certain nombre d’entre eux sont très innovateurs) en vue d’aider les plaideurs éventuels : il peut s’agir notamment de kiosques d’information situés au palais de justice, où l’on offre divers formulaires, de programmes dispensés par les étudiants de droit et de divers services assurés par les techniciens juridiques et les avocats. Il examine plus particulièrement deux types de programmes éducatifs. Toutefois, la discussion relative à l’évaluation est centrée sur ce que l’étudiant en droit peut retirer de l’initiative, et non sur les avantages qui en résultent pour les clients auxquels les services sont destinés. Pour ce qui est des répercussions et des avantages qui touchent les participants, l’analyse est très élémentaire. 

Défis relatifs à l’évaluation des initiatives de VIJ 

•	En matière de VIJ, les obstacles linguistiques sont courants. Il faut tenir compte des clients qui ne parlent pas la langue d’usage, mais aussi de la nature juridique de l’information qui est communiquée et de la manière dont elle l’est. Outre le fait de garantir que l’information juridique est fournie dans la langue maternelle des clients, le personnel et les avocats qui s’adressent à des groupes communautaires doivent être régulièrement encouragés à utiliser des termes généraux. Ce défi concerne aussi l’évaluation des services de VIJ. Si les participants connaissent mal la terminologie employée, et qu’ils ne peuvent assimiler l’information qui est pertinente à leur situation particulière, ils seront incapables d’en évaluer l’utilité. De plus, lorsqu’on ne prévoit aucune rétroaction dans la langue maternelle du participant, on obtient fréquemment des commentaires limités à un mot ou deux, ce qui ne rend pas suffisamment compte de la teneur ou de la présentation du programme. 
•	Lorsque l’information est fournie en fonction d’un « modèle mixte »,  il peut être difficile d’obtenir une évaluation valable de la part des clients. En effet, il n’est pas aisé de distinguer entre « information » et « conseil » juridique, et il est fort probable que la rétroaction sera purement axée sur les résultats. Même s’il s’agit là d’un apport valide de la part du client qui cherche à obtenir un recours juridique précis, ce genre de commentaire ne sera pas d’une grande utilité pour améliorer la teneur du matériel fourni ou le genre de service offert.

Méthodes relatives à l’évaluation  

•	Dans le cadre d’un programme mené en Floride, on a distribué un questionnaire aux personnes qui participaient à des séances de formation et, entre trois et six mois plus tard, on a procédé à des entrevues téléphoniques avec elles. Le but principal était d’obtenir un indice de la satisfaction des clients pour ce qui est de la présentation des séances et de leur caractère opportun, et de mesurer le soutien social qui avait été apporté. On a demandé aux participants d’indiquer si l’information avait été clairement communiquée et d’évaluer leur satisfaction globale, et on les a invités à faire des commentaires sur les lacunes du programme. Ils ont signalé que les procédures judiciaires sont complexes et que, de façon générale, le processus est intimidant.
•	Pour la plupart des autres programmes évalués dans l’article, le succès est mesuré par des indicateurs qui ont trait aux activités, notamment, le nombre de personnes qui participent aux cliniques, le nombre d’appels reçus ou traités chaque année et le nombre de clients qui obtiennent le résultat attendu (un divorce, par exemple).

Bowal, P.  (1998).  A study of lay knowledge of law in Canada (Étude sur les connaissances en droit du non-initié au Canada).  Indiana International and Comparative Law Review, 9, pages 121-141. Non annoté. 

Dans cette analyse statistique, on trouve des références pertinentes pour ce qui est de l’accès à la justice en général, puisque l’article ne se limite pas aux initiatives de VIJ offertes aux personnes à faible revenu. L’auteur démontre que les citoyens canadiens qui sont munis d’un diplôme universitaire connaissent mal la loi; il indique que les médias, et principalement les médias américains, sont la plus importante source de (dés)information. 

Brustin, S.  (1993).  Expanding our vision of legal services representation: The hermanas unidas project (Une vision élargie de la représentation par le truchement des services juridiques : le projet “Sœurs unies »). American University Journal of Gender and the Law, 1, pages 39-59.

Aperçu général

Dans cet article, l’auteur décrit la création et l’expansion subséquente du projet intitulé Hermanas Unidas (Sœurs unies), mis en œuvre à Washington, dans le district fédéral de Columbia. Le projet n’est pas un programme typique d’« éducation juridique communautaire » («  ÉJC ») : il s’agit plutôt d’une initiative d’habilitation introduite par l’auteur et qui s’inspire de projets analogues qui se sont déroulés au Mexique et partout en Amérique latine. On s’adresse principalement à des immigrantes latino-américaines qui retiennent les services d’avocats de la clinique d’aide juridique traditionnelle AYUDA (AIDE) pour régler des questions d’immigration et d’emploi ou des problèmes familiaux. Les femmes qui ont pris part au projet à ses débuts sont devenues les « leaders » ou « directrices » qui orientent l’initiative et aident d’autres latino-américaines de la collectivité à « aller de l’avant » et à surmonter les obstacles systémiques qui occasionnent des actions en justice. Ce type de projet communautaire d’habilitation vise à combler les lacunes du système juridique traditionnel en fournissant des réseaux de soutien grâce auxquels les personnes qui sont privées de leurs droits peuvent partager leur expérience. La méthode privilégiée pour atteindre ce but est l’éducation, dispensée entre les membres et dans le cadre de programmes de liaison, et on cherche à garantir que des problèmes communs ne sont pas envenimés au point où ils doivent être réglés par un litige. En examinant la gamme des préoccupations économiques, émotives et juridiques, les membres reconnaissent que, dans nombre de cas, il s’agit de problèmes collectifs et socio-politiques plutôt que de questions juridiques. Le système juridique, notamment les cliniques d’aide juridique qui visent à répondre aux besoins de groupes défavorisés, néglige généralement l’analyse intersectorielle, alors que, selon ce nouveau modèle d’éducation juridique communautaire, on intègre activement cette analyse lorsqu’on définit les buts et les objectifs. En habilitant les femmes latino-américaines par l’éducation et le partage de l’information, on réussit effectivement à leur donner la confiance nécessaire pour qu’elles puissent chercher des solutions à leurs problèmes sans dépendre totalement des professionnels. La démarche holistique retenue répond simultanément aux besoins économiques et émotionnels de ces immigrantes, lesquels ne sont pas satisfaits dans le cadre du système juridique, et elle permet d’alléger, si ce n’est que très légèrement, la demande constante qui ronge l’aide juridique. Étant donné la nature du projet (ce que l’auteur appelle « éducation juridique populaire »), les avocats qui y participent jouent le rôle d’animateurs plutôt que de conseillers. Les intéressées ne cherchent donc pas à évaluer le progrès accompli ni la teneur ou les avantages des programmes. De plus, si on ne tire plus profit des activités menées aux termes du projet, il est fort probable que les avocats et les participantes préconiseront des orientations et des idées nouvelles. 

Liens entre les buts et l’évaluation des initiatives de VIJ 

•	En raison de la nature même du projet, on considère que l’évaluation et l’examen des besoins font partie intégrante du processus. Toute évaluation externe, même si elle est menée par les animateurs, est contraire idéologiquement à l’objectif central, qui est l’habilitation des participantes, puisque ses buts seraient régis par le point de vue de « quelqu’un du dehors ». Par conséquent, il est essentiel de permettre aux membres de créer leurs propres programmes et de résoudre les conflits, ce qui, inévitablement, fait intervenir une certaine autoévaluation.

Exigences du bailleur de fonds au chapitre de l’évaluation

•	En faisant en sorte que ce projet d’ÉJC se situe à l’extérieur des « services juridiques » généraux, on n’est plus soumis aux exigences du financement gouvernemental qui est affecté à cette fin particulière. On évite donc la démarche qui veut qu’on présente l’avocat comme la personne dont l’opinion fait autorité, celle qui prend les décisions et qui règle les problèmes.

Méthodes relatives à l’évaluation

•	Même s’il était possible d’évaluer le nombre de personnes qui tirent profit du programme et de mesurer les obstacles en matière d’accès, comme s’il s’agissait d’une autre initiative d’ÉJC, on n’arriverait pas à tenir compte des questions non juridiques que les participantes tentent de régler. Encore une fois, ce type d’évaluation va à contre-courant d’une démarche holistique, laquelle présuppose qu’il existe un lien direct entre les préoccupations non juridiques d’une personne et les répercussions qui en découlent sur les décisions de nature juridique.

Eagly, I.V.  (1998).  Community education: Creating a new vision of legal services practice (Éducation communautaire : créer une nouvelle vision de la prestation des services juridiques).  Clinical Law Review, 4(4), pages 433-484.

Aperçu général

Dans la première partie de cet article, l’auteur étudie l’évolution des services juridiques et le rôle de l’éducation juridique communautaire. À partir de l’article bien connu de Stephen Wexler où l’auteur préconise qu’on donne aux pauvres une éducation fondée sur les « droits », I.V. Eagly passe en revue diverses théories et pratiques qui ont été élaborées pour répondre aux besoins juridiques des citoyens à faible revenu. Il en vient ensuite à présenter et à analyser la « recherche sur le nouveau droit en matière de pauvreté », aux termes de laquelle la VIJ (ou l’ÉJC, selon l’appellation retenue aux États-Unis) joue un rôle important. Dans la deuxième partie, il décrit un programme d’éducation juridique communautaire basé à Chicago; ce programme est concentré sur des questions juridiques qui ont trait à l’emploi et qui concernent les immigrantes. Cinq modèles différents sont retenus : i) des campagnes médiatiques pour faire connaître le droit du travail; ii) des documents éducatifs (écrits et sous forme de vidéos); iii) une formation destinée aux fournisseurs de services sociaux; iv) des ateliers offerts aux membres de la communauté; et v) un cours sur les droits reliés au travail. L’auteur évalue ensuite la démarche d’éducation juridique communautaire qui s’applique aux services juridiques en analysant les programmes qui sont dispensés et en en examinant les effets sur les participants. Différents types d’évaluation sont appliqués aux divers modèles éducatifs. Même si cette remarque est quelque peu évidente, l’auteur démontre clairement pourquoi, en raison de la nature et de l’objectif de chaque type de projet d’ÉJC, il faut prévoir des méthodes d’évaluation distinctes.  

Défis relatifs à l’évaluation des initiatives de VIJ

•	À cause des différences (classe, race, niveau d’éducation et contexte social) qui existent entre les fournisseurs de services de VIJ et les participants, il n’est pas facile de déterminer si les programmes destinés à des populations cibles sont efficaces.
•	Une question qui refait toujours surface lorsqu’il s’agit d’évaluer les initiatives de VIJ, c’est celle de la diversité des avantages obtenus, parce que nombre d’entre eux ne peuvent être mesurés au moyen des modes traditionnels de recherche quantitative. Mais il importe de ne pas sous-estimer ces avantages. Ainsi, les animateurs ont remarqué qu’il était très important, pour les participantes, d’entendre parler de l’expérience d’autres femmes qui avaient relevé des défis similaires et subi des violations analogues, surtout dans le cas des travailleuses domestiques qui ont tendance à être isolées. Le défi est donc toujours à relever pour ce qui est d’attester de ces avantages.  

Liens entre les buts et l’évaluation des initiatives de VIJ 

•	La définition de buts précis pour les projets d’éducation juridique a des répercussions directes sur le mode de prestation et l’orientation de l’initiative, notamment la manière dont elle sera évaluée. Ainsi, il est essentiel de savoir exactement à qui on s’adresse pour pouvoir déterminer si on a utilisé une méthode de prestation appropriée au groupe visé. (Par exemple, en l’espèce, si le programme est destiné à des femmes qui ne parlent ni ne lisent l’anglais, on devrait déterminer, dans le cadre de l’évaluation, si on a recours à un mode de communication approprié.)

Méthodes relatives à l’évaluation

•	L’évaluation de l’efficacité d’un programme se résume souvent aux anecdotes fournies par les intéressés et à la manière dont ils reconnaissent avoir adopté une démarche différente ou perçu une transformation dans une situation donnée. Lorsqu’on fait état de cette rétroaction, on indique habituellement comment les participants ont pu aider d’autres personnes, soit grâce à l’éducation par les pairs ou en établissant des contacts pour qu’elles puissent obtenir un soutien ou en chercher un elles-mêmes. Une méthode instructive consiste à voir comment on applique les connaissances et les compétences spécialisées qu’on a acquises : par exemple, les participants forment-ils un groupe distinct et partagent-ils leurs connaissances avec d’autres intéressés, ou prennent-ils des mesures pour transformer une situation problématique ? 
•	On peut aussi évaluer plus facilement les connaissances acquises si on fait en sorte que les intéressés prennent part à un « apprentissage actif » pendant le programme. Cette démarche est particulièrement utile lorsque le programme éducatif est de longue durée. De manière connexe, on a signalé qu’il peut être avantageux de procéder à des mini-évaluations dans le cours d’un programme assez long, parce que les participants ont toujours des intérêts dans le cours et peuvent contribuer à le rendre pertinent à leurs besoins.
•	On peut également évaluer les effets des initiatives en demandant aux participants de prendre part à des activités futures. En voyant quelles expériences sont partagées avec d’autres intéressés, les gestionnaires de projet peuvent mesurer directement les répercussions des programmes et apporter les modifications qui s’imposent.
•	À la fin d’un programme, les participants créent des « plans d’action » où ils soulignent comment ils ont l’intention d’utiliser l’information acquise. Grâce à ce moyen, les coordonnateurs peuvent déterminer quelles sont les connaissances et les compétences spécialisées les plus utiles, aux yeux des participants.

Documents utiles à l’évaluation des initiatives de VIJ 

Une fois qu’on a apporté les modifications appropriées aux méthodes et aux objectifs, les titres suivants de l’étude de Eagly pourraient servir de guide à l’évaluation des activités de VIJ. Dans ce projet, les coordonnateurs ont utilisé l’expérience de chaque particulier pour analyser les principaux effets que les programmes ont eus sur la vie des participants. 

1.	L’initiative touche des groupes qui ne bénéficient pas des services juridiques traditionnels.
a.	Le programme est-il dispensé dans un endroit qui est connu et qui inspire confiance ?
b.	Il faudrait se renseigner directement au sujet : i) de toute expérience antérieure avec le droit et le système juridique; ii) des connaissances acquises dans le cours du programme; iii) de la manière dont on pense utiliser les connaissances à l’avenir/comment votre ligne de conduite sera-t-elle modifiée ?
2.	L’initiative apporte un soutien aux particuliers aux prises avec un litige.  
a.	S’intéresse-t-on clairement plus aux litiges concomitants ou subséquents ?
3.	L’initiative apporte une solution à des problèmes qui ne peuvent être réglés par le système juridique.
4.	L’initiative permet aux particuliers de perfectionner leurs propres compétences pour ce qui est de résoudre les difficultés.
5.	L’initiative permet de perfectionner les compétences au chapitre du leadership.
6.	L’initiative favorise la prise de conscience.

Hunter, R. et Genovese, A.  (2000).  Qualitative aspects of quality: An Australian case study (Aspects qualitatifs des services : étude de cas en Australie).  University of British Columbia Law Review, 33(2), 319-342.

Aperçu général

Cette étude vise la prestation de services en droit de la famille, dans le contexte de l’aide juridique. La qualité des services offerts est examinée du point de vue des avocats de l’aide juridique, en fonction de la manière dont ils définissent la qualité. Dans le cadre de cette évaluation, les auteurs font deux remarques de poids. Tout d’abord, ils reconnaissent que lorsqu’il y a des compressions budgétaires importantes, une évaluation de qualité peut sembler « trop tatillonne » puisqu’on reconnaît généralement qu’un faible taux de représentation vaut mieux que l’absence de toute représentation. Cette attitude prévaut également chez les fournisseurs de services de VIJ. Comme on le signale dans l’introduction, lorsqu’on n’a pas les ressources suffisantes, l’évaluation devient souvent une priorité de moindre importance, surtout par rapport à la prestation de programmes et à la production de matériel de VIJ. En second lieu, les auteurs déclarent que [TRADUCTION] « au chapitre du contrôle de la qualité, il peut être plus efficace et efficient de s’en remettre aux normes culturelles que de se fier à des critères et des procédés bureaucratiques, imposés de l’extérieur » (p. 325). Cette opinion s’applique aussi à la relation qui existe entre le bailleur de fonds et le principal fournisseur de services de VIJ. Même s’il y a des préoccupations communes au chapitre de l’objectivité, les fournisseurs de services de VIJ, dont les avocats, sont les intervenants les mieux placés pour arrêter des normes réalistes; ils peuvent définir et évaluer la qualité tout aussi bien que les divers organismes de financement. 

Défis relatifs à l’évaluation des initiatives de VIJ

•	À de multiples endroits dans l’article, les auteurs signalent qu’il importe de considérer « localement » les critères relatifs à l’évaluation. On souligne ce facteur parce qu’on a remarqué des différences entre une pratique et une autre, pour ce qui est des normes de qualité. La remarque peut être pertinente dans le contexte canadien lorsqu’on rend compte d’initiatives de VIJ qui ont trait au courant pénal ou civil et lorsqu’on s’adresse à des groupes cibles différents.
•	En règle générale, l’obstacle principal dans cette évaluation de l’examen de la qualité est le fait que les avocats n’arrivent pas à s’entendre sur ce qui constitue des services « acceptables » par rapport à des services « très satisfaisants ». On propose donc un certain nombre d’outils pour tenter de régler la question. Bien qu’il soit fort probable que cette divergence de vues, au sujet de l’établissement de normes cohérentes au chapitre de la qualité des services de VIJ, apparaîtra aux paliers national ou provincial, les outils dont il est question dans l’article ne nous seraient pas d’un grand secours parce qu’ils sont fortement marqués par le contexte de l’aide juridique. Ainsi, on considère que le système de reconnaissance professionnelle peut être une source pour contrôler la qualité en fonction d’une norme externe. Cependant, les organisations de VIJ ne sont pas assujetties à un tel système et on peut soutenir qu’elles ne devraient pas l’être. En outre, contrairement aux cas traditionnels de représentation, dans lesquels le tribunal peut fournir une évaluation externe et bien informée, il n’y a, dans le contexte de la VIJ, aucune instance analogue qui pourrait évaluer les mérites d’un programme. Enfin, à la différence des avocats de l’aide juridique qui sont souvent engagés dans le système de débats contradictoires, les fournisseurs de services de VIJ n’ont pas besoin de travailler avec d’autres organisations (même s’ils tirent souvent avantage de procéder ainsi), et il ne semble donc pas nécessaire, contrairement à ce qui se passe chez les avocats de l’aide juridique, de procéder à une révision par les pairs.

Liens entre les buts et l’évaluation des initiatives de VIJ 

•	Lorsqu’on tente de mettre en corrélation les objectifs de l’aide juridique avec l’examen de la qualité, il importe d’ajuster les méthodes relatives à l’évaluation pour qu’elles correspondent au mode de services fournis.
•	Dans l’article, on fait remarquer que l’évaluation doit toujours tenir compte de la substance de ce qui est offert et de la satisfaction du client, mais que l’importance qu’on accorde à ces deux éléments variera en fonction de la personne qui pose les questions, à savoir, le fournisseur de programmes ou un organisme de financement.
•	Dans toute évaluation, il y a avantage à examiner ce qu’on fait ailleurs, dans le même domaine juridique et au sein de divers groupes communautaires du même endroit.

Méthodes relatives à l’évaluation

•	Enquêtes auprès des clients 
•	Entrevues avec des avocats qui dispensent des services d’aide juridique aux familles et des services à d’autres intéressés 
o	Dans les entrevues, les questions portaient sur trois sujets : structure, processus, intrants et extrants
•	Examen ou analyse du dossier 

McDonald, S.  (2000).  Beyond caselaw: Public legal education in Ontario legal clinics (Au-delà de la jurisprudence : vulgarisation juridique assurée par les cliniques d’aide juridique en Ontario). Windsor Yearbook of Access to Justice, 18, pages 3-59.

Aperçu général

Dans la première partie de cet article, l’auteur résume l’évolution historique des initiatives de VIJ en Ontario et présente la situation actuelle; elle explique aussi les besoins de VIJ dans le contexte du modèle juridique libéral. Elle examine ensuite la « recherche sur le nouveau droit en matière de pauvreté », c’est-à-dire un point de vue tout nouveau aux termes duquel on recommande de s’éloigner du modèle traditionnel « avocat/client ». Après avoir expliqué la montée du mouvement préconisant un langage clair et simple et énoncé les buts fondamentaux de l’alphabétisme juridique, elle soutient que la VIJ doit aller au-delà de ces principes et mettre en question le fond et les procédures du système juridique. En Ontario, les projets de VIJ sont inclus dans un cadre de référence qui comprend trois modèles généraux et l’auteur avance que, dans cette province, la VIJ s’inspire toujours du modèle juridique libéral, surtout dans la mesure où elle est liée au financement étatique et concerne l’accessibilité au système juridique traditionnel. À l’heure actuelle, les méthodes de VIJ comprennent la diffusion d’information aux termes d’une démarche didactique. L’information a tendance à être orientée sur le contenu et les processus; il n’y a aucune mise en question ou critique de l’information communiquée et la participation du public est minime, si elle existe. En examinant les lacunes de cette démarche, l’auteur préconise des méthodes éducatives appropriées du point de vue pédagogique, grâce auxquelles on réalisera l’alphabétisation juridique en [TRADUCTION] « créant des aptitudes à utiliser les droits et la loi comme une ressource politique et à obtenir les compétences spécialisées et le pouvoir nécessaires pour opérer un changement positif » (p.  35). L’analyse des activités de VIJ est faite par l’examen de documents (demandes de financement) et au moyen d’entrevues avec les fournisseurs de services de VIJ. La discussion relative à l’évaluation est liée aux buts généraux de la VIJ, et c’est là la principale caractéristique qui permettait de faire une distinction entre les trois classifications ou modèles. D’après le résumé des données colligées, il est clair qu’il importe de coordonner l’évaluation des initiatives de VIJ parce que les ressources sont limitées et que cela nous donne l’occasion de tirer profit de l’expérience (positive ou négative) d’autres prestateurs. L’auteur conclut que la plupart des fournisseurs intègrent une évaluation ou un examen de l’efficacité des activités de VIJ aux buts qui sont énoncés dans le cadre du projet. 

Défis relatifs à l’évaluation des initiatives de VIJ

•	Lorsque le but principal des activités de VIJ est de fournir un accès accru à l’information juridique, il est extrêmement difficile de mesurer le progrès réalisé.
•	Si les buts à court terme, comme la diffusion en temps opportun de l’information qui a trait à un texte législatif, sont peut-être relativement faciles à évaluer, il est souvent impossible de mesurer les buts à plus long terme, notamment l’habilitation des intéressés, l’amélioration du système juridique et la prestation d’un soutien pour qu’on puisse s’orienter face à la complexité du processus juridique.

Liens entre les buts et l’évaluation des initiatives de VIJ 

•	Si on considère que l’éducation est une voie à double sens, une partie de l’évaluation peut porter sur ce que « l’enseignant ou le coordonnateur » apprend au sujet de la collectivité.
•	Dans la mesure où on considère que la VIJ (et particulièrement le matériel d’auto‑assistance) fait partie intégrante de la prestation de services juridiques et qu’on estime qu’elle n’est pas opposée à la représentation ni n’en constitue un « agent de remplissage », l’évaluation devrait être incluse dans une « stratégie » d’examen plus large.

Exigences du bailleur de fonds au chapitre de l’évaluation 

•	Selon les demandes de financement, la perspective du bailleur de fonds était concentrée en grande partie sur des indicateurs de rendement, comme le temps consacré aux activités de VIJ. 
•	La responsabilisation était liée aux buts à atteindre, même s’il revenait au fournisseur de services de VIJ d’indiquer quelles activités importantes avaient été mises sur pied et qu’on n’exigeait aucunement que ces activités comprennent des projets de VIJ.

McDonald, S. en collaboration avec Cross, P.  (2001). Women’s voices being heard: Responsive lawyering (Entendre la voix des femmes : services juridiques adaptés au besoins de la clientèle).  Journal of Law and Social Policy, 16, pages 207-239. 

Aperçu général

À l’intérieur d’un cadre théorique, les auteurs décrivent un projet important de VIJ qui s’adressait à des immigrantes victimes de violence familiale. Divers groupes communautaires et universitaires se sont réunis pour prendre part à un processus de VIJ axé sur la collaboration et centré sur le client. Même si on reconnaissait que ce groupe cible avait des besoins complexes, le fait qu’on mettait l’accent sur l’éducation était adapté à l’objectif, soit une habilitation durable. Le projet est un bon exemple de la démarche proactive et créative proposée dans les documents de base qui figurent au rapport McCamus (voir Charendoff, Leach et Levy dans McCamus, 1997), pour ce qui touche la conception et la prestation d’activités de VIJ. Si on adopte le modèle élaboré et employé dans cette étude, il est moins nécessaire d’évaluer les initiatives de VIJ et le type d’évaluation requise change. Ceci s’explique par le fait que les participants créent et définissent leurs besoins en matière de VIJ. Tant que les « clients » participent à ce niveau, les processus d’évaluation sont intégrés aux programmes et sont modifiés avec le temps pour garantir qu’on atteint les objectifs et les buts des différentes initiatives de VIJ. Il importe de noter que ce résultat potentiel exige le recours à des méthodes comme la recherche féministe en matière de participation et la collaboration de nombreux groupes de « spécialistes », en plus des participants. Les auteurs soulèvent un point saillant au sujet des lacunes : elles soulignent que l’évaluateur doit considérer la manière dont on fournit un programme s’il entend en mesurer toute l’efficacité. Bien qu’on signale quelques exceptions, en règle générale, l’évaluation des besoins est purement concentrée sur le contenu, de sorte qu’on néglige les facteurs essentiels que sont le groupe cible et le contexte. Enfin, les auteurs estiment que l’évaluateur devrait déterminer si l’initiative de VIJ augmente le nombre de « choix » qui s’offrent aux participants. Le mandat de la plupart des projets de VIJ est de fournir aux clients de l’information qui leur est nécessaire ou qui leur serait utile, et il est donc, en soi, centré sur le client. Par conséquent, on peut mesurer le succès de l’initiative en déterminant si l’élève, le client ou le participant connaît plus d’outils et de ressources qu’il n’en connaissait avant la prestation du programme.

Défis relatifs à l’évaluation des initiatives de VIJ

•	Les auteurs reconnaissent qu’il est difficile de quantifier les avantages des programmes éducatifs et signalent que [TRADUCTION] « l’acquisition de connaissances peut aider à surmonter des obstacles systémiques au chapitre de l’égalité et du changement social, et à favoriser la prévention, mais les résultats de cette démarche ne sont jamais immédiats et il est souvent impossible de les évaluer » (p. 236).

Report of the working group on assessment of systems for delivering legal services. (Rapport du groupe de travail sur l’examen des systèmes de prestation des services juridiques) (1999).  Fordham Law Review : Special Issue, 67, pages 1869‑1878.

Aperçu général

Dans cet article, on compile une liste de recommandations sur l’examen et l’évaluation des services juridiques et on présente un aperçu des discussions préliminaires. Les recommandations sont groupées sous huit grands titres et ont pour but de répondre à un certain nombre de questions fondamentales. Dans la plupart des cas, on ne fait aucune distinction claire entre des services d’aide juridique directs, fournis en tête-à-tête, et des démarches plus larges visant un grand nombre d’intéressés, comme des services de soutien téléphonique et des programmes communautaires de vulgarisation juridique. Le point de départ commun à ce groupe diversifié est que l’évaluation et l’examen sont tous deux importants et nécessaires si on veut garantir qu’on dispense des services et de l’information juridiques de qualité. Les recommandations visent à fournir une démarche globale en matière d’examen ainsi que des conseils précis qui seront utiles à une variété d’organisations qui financent la prestation de services juridiques ou qui dispensent de tels services. On trouve dans l’article un précis détaillé des domaines généraux dont il faut tenir compte dans le cadre de l’évaluation d’initiatives de VIJ ainsi qu’un résumé de quelques-uns des défis à relever. Lorsqu’on veut démontrer au bailleur de fonds qu’on assume ses responsabilités ou lorsque l’organisation souhaite garantir que les programmes respectent les buts énoncés, on peut se servir de ces recommandations et les adapter à des programmes particuliers, en tenant compte du type de ressources qui sont consacrées à l’évaluation et à l’examen. 

Documents utiles à l’évaluation des initiatives de VIJ

Le rapport est divisé en huit questions, lesquelles sont reprises ci-dessous. Les recommandations et commentaires du groupe de travail sont paraphrasés et remaniés dans le but de souligner les principaux points dont il est question. 

1.  Quel est l’objet de l’examen ?
a.	L’examen fait intervenir des valeurs qui, comme telles, doivent être exprimées clairement et franchement.
b.	L’évaluation est nécessaire si on veut fournir des services de qualité et garantir que les efforts déployés seront efficaces.
c.	Il faut considérer les besoins de la collectivité pour ce qui est de la représentation et de l’information.
d.	Le but de l’évaluation doit être exprimé clairement pour garantir que le bailleur de fonds ne se sert pas de l’examen comme d’une punition. Par conséquent, l’évaluation doit viser à soutenir et améliorer la prestation de programmes et la diffusion d’information, mais elle peut aussi servir à exprimer la valeur de la VIJ et à la faire connaître du public. 
e.	Bien qu’elle soit nécessaire, l’évaluation ne devrait pas être obligatoire. Par conséquent, dans les recommandations, on ne discute pas de la fréquence de l’évaluation ni de la question de savoir s’il faut procéder à un examen pour obtenir des fonds. Le groupe de travail reconnaît que l’examen est souvent mené de manière continue et informelle. Étant donné qu’on dispose de ressources limitées, on estime qu’il s’agit là d’une démarche raisonnable. 
2.  Quels sont les buts de l’examen ?
a.	L’évaluation devrait porter sur des questions qui ont trait aux domaines généraux suivants (des exemples précis sont fournis dans l’article) : i) la conception de programmes et de systèmes à l’échelle nationale, provinciale et locale, dans le but de servir les collectivités; ii) la qualité des services offerts aux clients; iii) le leadership, la gestion et l’administration. 
b.	Pour chacun des titres ci-dessus, il devrait y avoir un examen afin de déterminer si on atteint les buts globaux et de voir si les ressources sont utilisées efficacement pour répondre au besoin défini.
c.	Dans le cadre d’une évaluation, on devrait examiner ce qui n’est pas accompli en plus de déterminer si les activités menées sont efficaces. 
d.	Selon le contexte, il peut être important de comparer les démarches, par exemple, d’évaluer les modes traditionnels de représentation du client par rapport à des solutions de rechange comme des initiatives de VIJ. Cela a un poids particulier lorsque, au sein de la même association, on dispense des services d’aide juridique et des programmes de VIJ, ce qui signifie qu’on doit rendre compte financièrement aux mêmes organismes. 
3. Quelles données devrait-on recueillir ?
a.	On devrait recueillir les données et les analyser en fonction des buts énumérés sous les titres ci-dessus [voir 2 (a)]. Il serait utile, par exemple, de recueillir : 
•	Des données sur l’administration; des statistiques gouvernementales et organisationnelles; les résultats d’enquêtes menées auprès des clients, du personnel et des collectivités, dans lesquelles on mesure la satisfaction, le degré d’assimilation de l’information ainsi que les résultats; des données sur les groupes de concertation (clients, personnel et membres de la collectivité); de l’information sur les contextes juridique, social, économique et politique (par exemple, des données sur les changements apportés aux droits des clients ou à la législation qui touche ces droits); des écrits (enquêtes sur les besoins en matière juridique, études de rentabilité, etc.).
b.	Au palier gouvernemental, les évaluateurs devraient reconnaître l’utilité de données empiriques de grande portée pour comprendre les besoins et élaborer des activités appropriées. Ils aideraient ainsi à faire valoir les efforts déployés pour répondre à ces besoins.
c.	Le groupe a rejeté l’option voulant que la collecte d’information comprenne des exigences de nature éthique.
d.	On n’en est arrivé à aucune décision finale pour ce qui est des critères précis à utiliser. Toutefois, on propose implicitement, dans la recommandation, une gamme de critères d’évaluation.
4. Qui devrait prendre part à l’examen ?
	a.   Une vaste gamme d’intéressés devraient être inclus :
•	Les clients; le personnel des services juridiques; les gestionnaires et directeurs; les groupes d’intervention; les organisations communautaires; les fournisseurs de services sociaux; les avocats du secteur privé et les barreaux; les tribunaux; les facultés de droit; les spécialistes des sciences humaines; les fonctionnaires.
b.	Sans la participation d’une vaste gamme de clients et d’intéressés, l’évaluation pourrait être trop orientée sur le personnel. Le danger, c’est que l’évaluation des programmes pourrait être définie en fonction de priorités et d’intérêts particuliers. 
5. Méthodologie : comment devrait-on procéder à l’examen ?
a.	Les organisations de tous les niveaux, les chercheurs et les universitaires devraient déterminer des outils et des méthodes de collecte de données.
b.	Les responsables de programmes communautaires devraient collaborer entre eux afin de définir les programmes de recherche et d’entreprendre les travaux.
c.	Les responsables de programmes devraient recueillir des données dans le cadre de leurs activités normales.
d.	Parce qu’il préfère que la décision soit prise localement et fondée sur la collectivité, le groupe a rejeté la notion selon laquelle on devrait retenir une série précise de normes. 
6. Qui devrait fournir les ressources et le financement applicables à la collecte de données et à l’examen ?
a.	On devrait inciter des organismes indépendants (par exemple, des collèges et universités, des fondations et des instituts de recherche sans but lucratif) à mener cette recherche.
b.	Le gouvernement fédéral. 
c.	Les principaux bailleurs de fonds devraient former un consortium afin de financer l’élaboration de méthodes d’évaluation qui servent de modèles. Ils devraient également créer un programme de subvention pour évaluer l’efficacité des divers modes de prestation des services de VIJ.
d.	Le groupe reconnaît qu’on ne devrait pas s’attendre à ce que les responsables de programmes consacrent des ressources importantes à l’autoévaluation; il estime que le gouvernement et d’autres organismes devraient financer l’examen dans le but d’améliorer la prestation des services.
7. Comment partager l’information ?
a.	Mettre sur pied un bureau national qui recueille de l’information sur les méthodes relatives à l’évaluation et les conclusions qui en découlent, notamment sur les outils applicables à l’examen, à l’évaluation, à la méthodologie et à la recherche. Il serait essentiel d’avoir recours à la technologie pour garantir que l’information est reliée et largement accessible.
b.	Mettre sur pied une bibliothèque.
c.	Normaliser les données sur les fournisseurs communautaires, provinciaux et nationaux et faire en sorte que ces données soient accessibles aux chercheurs.
d.	Encourager les responsables de projets à partager les méthodologies et les examens officiels. 
e.	Publier les conclusions de l’évaluation dans des revues spécialisées.
f.	Publier des rapports aux niveaux national, provincial ou local.
g.	Le groupe signale des inconvénients importants liés au fait de partager les évaluations. Cependant, il faut se rappeler les avantages qu’il y a à procéder ainsi, c’est-à-dire être au courant de ce qui fonctionne bien à d’autres endroits et ne pas avoir à répéter ce qui a déjà été accompli.
8. Quels sont les défis reliés à l’examen ? 
a.	Les responsables de programmes et les chercheurs devraient :
•	Garantir la confidentialité de tout renseignement qui touche le client; respecter l’intégrité des décisions prises localement; ne pas sous-évaluer ce qui est difficilement appréciable, par exemple, la qualité de la mesure de justice dispensée; réduire au minimum le fardeau des clients et des responsables de programmes; déterminer les priorités au chapitre de l’examen; ne pas sous-estimer les évaluations informelles.
b.	L’examen devrait tenir compte de facteurs externes, notamment le financement, la culture politique et l’aspect démographique d’une collectivité.
c.	Les buts et les valeurs devraient être clairement énoncés.
d.	L’évaluation ne devrait pas absorber des ressources qui doivent être consacrées à la prestation des programmes.  Par conséquent, pour ne pas jeter un froid sur la créativité des programmes, le temps consacré à l’évaluation doit être calculé avec soin, de manière à ne pas épuiser les effectifs qui, autrement, pourraient être débordés et accablés de travail.
e.	L’examen doit soutenir la mission suivante : fournir aux personnes à faible revenu un accès positif à l’information juridique; il ne doit pas nuire à cette mission.
f.	Le groupe reconnaît qu’il est difficile d’évaluer l’aide juridique sur le plan social. 

3.0 	Documents gouvernementaux

3.1	Documents portant sur la VIJ

Un certain nombre de documents examinés dans la présente section ont été publiés avant la période de cinq ans précisée dans les objectifs de la bibliographie. En effet, nous avons inclus ces textes quand nous estimions qu’ils étaient pertinents aux contextes actuels en matière d’évaluation. D’autres documents, comme l’examen mené en 1986, figurent aux présentes parce qu’ils donnent une perspective historique de la recherche menée par le ministère de la Justice (et pour son compte). Le présent rapport peut être comparé à l’évaluation complète la plus récente, qui date de 1997, et qui est intitulée Tools for moving forward (Outils pour aller de l’avant).

Abdelahad, L., Sansfacon, D. et Beaulne, A.  (1989).  Access to justice: research reports on PLEI, research notes (Accès à la justice : rapports de recherche et notes en matière de VIJ).  Sous-direction de la recherche et du développement, ministère de la Justice du Canada.  

Aperçu général

Dans cette compilation de « notes », on résume douze rapports de recherche reliés à la VIJ et rédigés en 1986-1987, dans le cadre de la série « Accès à la justice » du ministère de la Justice. Même si les précis ne nous éclairent pas pour ce qui est d’évaluer les initiatives de VIJ comme telles, quatre résumés peuvent être utiles pour élaborer un cadre de référence. En 1984, le ministère de la Justice a créé le « Fonds d’accès à l’information juridique » et mis sur pied une stratégie dans le but de financer de nouvelles organisations de VIJ dans six provinces et territoires. Le financement a été accordé pour une période de trois ans et, vers la fin de cette période, on a lancé un appel d’offres en vue d’évaluer ces programmes. Les services de deux sociétés de consultation externes ont été retenus pour évaluer trois des six programmes (offerts au Manitoba, au Yukon et à Terre-Neuve) et le rapport de ces sociétés est annoté dans le présent ouvrage. 

•	R. Hikel, C. Meredith, C. Wihak, A. Woods (ABT Associates of Canada) (1986) : Evaluation of the Community Legal Education Association [Manitoba] (Évaluation de l’Association d’éducation juridique communautaire du Manitoba), ministère de la Justice, Ottawa. 
•	R. Hikel, C. Meredith, C. Wihak, A. Woods (ABT Associates of Canada) (1987) : Evaluation of the Yukon Public Legal Education Association (Évaluation de l’Association de vulgarisation juridique du Yukon), ministère de la Justice, Ottawa. 
•	D.H. Access Research Associates Inc. (1987) : Evaluation of the Public Legal Information Association of Newfoundland (Évaluation de l’Association d’information juridique de Terre-Neuve), ministère de la Justice, Ottawa. 
L’autre résumé de cette collection qui est particulièrement pertinent à l’évaluation des initiatives de VIJ figure au manuel de référence créé par Focus Consultants suite à la proposition annotée ci-dessous. 
•	Currie, Janet et Roberts, Tim (1986) : An Evaluation Resource Book for Public Legal Education and Information Organizations (Manuel de référence portant sur l’évaluation et destiné aux organisations d’information et de vulgarisation juridiques), ministère de la Justice, Ottawa. [Voir section 4.2]

Alderson-Gill and Associates.  (1995).  Public legal education and information program: A new vision for PLEI (Programme d’information et de vulgarisation juridiques : nouvelle vision pour la VIJ). Ministère de la Justice du Canada.  

Aperçu général

Dans ce document, on expose à grands traits le rôle que le ministère de la Justice pourrait jouer au sein du réseau actuel de la VIJ et on signale que le développement devrait être plus poussé dans trois domaines précis : i) la création de partenariats; ii) l’utilisation accrue du Réseau d’accès à la justice (ACJNet); et iii) la concentration des efforts sur l’éducation. Cette nouvelle « vision » a été créée dans le but de tenir compte de ressources limitées tout en maximalisant les avantages des activités de VIJ sur le plan national. Pour chaque domaine signalé dans le rapport, on indique comment le Ministère peut mettre en œuvre les diverses composantes de l’évaluation. De plus, on reconnaît explicitement qu’il est rentable, pour tous les intéressés qui participent à la VIJ, de jouer un rôle de chef de file au chapitre de la recherche spécialisée et de l’évaluation. Aux termes du mandat voulant qu’on crée des partenariats, le Ministère peut aider les fournisseurs de services de VIJ à travailler en réseau. Grâce à un service de coordination centralisé, les fournisseurs peuvent être sûrs qu’ils ne reprennent pas inutilement ce qui a déjà été fait. On encourage ainsi le partage de l’information et la démarche devrait, en fin de compte, entraîner des améliorations supplémentaires pour la VIJ. Pour ce qui est du rôle du Ministère, on donne certains exemples, dont stimuler le recours à un réseau national d’organisations, créer un processus consultatif national applicable à la VIJ, maintenir un réseau de télécommunications à jour et coordonner des stratégies à l’échelle nationale. Le recours à l’ACJNet peut faciliter la plus grande partie de ce travail, et c’est le deuxième domaine principal sur lequel les auteurs recommandent de s’attarder. Dans le rapport, on s’attend clairement à ce qu’il y ait un lien entre l’évaluation et le fait de mettre l’accent sur l’éducation. En concentrant ses efforts sur ce domaine, le Ministère permettra d’accroître les connaissances sur l’efficacité relative de différentes démarches en matière d’éducation juridique parce qu’il apportera une contribution, au chapitre de la recherche et de l’évaluation, que les administrations individuelles n’ont pas les moyens de financer d’une manière systématique. Comme on reconnaît communément qu’il existe un besoin en matière de recherche et d’évaluation, le Ministère a un rôle à jouer : il doit faire preuve de leadership et coordonner les partenariats dans ce domaine.

Exigences du bailleur de fonds au chapitre de l’évaluation 

•	Les auteurs déclarent que, en raison du manque de ressources, le bailleur de fonds veut surtout savoir si les services de VIJ ont des répercussions; ils affirment que [TRADUCTION] « dans le cas des programmes de VIJ ciblés, il est relativement facile de déterminer les répercussions; cela est moins aisé lorsque l’activité consiste à distribuer à la population des brochures ou des livrets de VIJ » (p. 13).
•	Le bailleur de fonds qui se concentre sur les données quantitatives, à savoir, combien de brochures ont été distribuées, ne tient pas compte du caractère actif de la VIJ, c’est-à-dire que la diffusion du matériel [TRADUCTION] « comprend la responsabilité de garantir que les destinataires reçoivent l’information, l’assimilent et prennent les mesures appropriées ».

Méthodes relatives à l’évaluation 

•	Lorsque, par exemple, la VIJ porte sur l’emploi d’un langage clair et simple dans la législation, il est nécessaire de procéder à des essais auprès des consommateurs et des groupes clients pour déterminer s’ils comprennent les termes utilisés et perçoivent les répercussions du changement. 
•	On préconise le recours à l’ACJNet pour faciliter les consultations permanentes, officielles ou non, qui portent sur les programmes et le matériel.

Currie, J. et Roberts, T.  (1984).  An evaluation resource book for PLEI organizations : A proposal (Manuel de référence portant sur l’évaluation et destiné aux organisations de VIJ : proposition). Ministère de la Justice du Canada. 

Aperçu général

Dans cet ouvrage, on propose de produire un manuel de référence portant sur l’évaluation qui serait destiné aux organisations de VIJ. Le Conseil canadien de la documentation juridique (« CCDJ »), c’est-à-dire le bureau central des services de VIJ au Canada au moment où la recherche a été menée, a donné ce projet en sous-traitance au groupe Focus Consultants. Dans l’article, on discute d’un certain nombre de défis fondamentaux et de problèmes précis qui compliquent l’évaluation des initiatives de VIJ. Bien que la plupart des groupes avec lesquels on a communiqué procédaient à un examen d’un genre ou d’un autre, on s’entendait pour dire que les évaluations qui existent à l’heure actuelle sont inefficaces, incomplètes et mal utilisées pour les fins souhaitées. En faisant valoir les avantages d’un manuel de référence canadien, les auteurs font remarquer ce qui suit : [TRADUCTION] « bien qu’on produise beaucoup de matériel d’évaluation pour les services sociaux et les organisations à caractère éducatif, nous en avons trouvé très peu qui a trait précisément à la VIJ. La VIJ intègre certains aspects des services sociaux et des programmes éducatifs, mais elle est unique en ce qu’elle porte sur le droit et fait intervenir des juristes » (p. 23). De plus, les fournisseurs de services de VIJ interrogés ont indiqué qu’ils manquaient, dans leurs organisations, d’un certain nombre de compétences au chapitre de l’évaluation. Tous estimaient que le manuel de référence proposé serait extrêmement utile, surtout parce qu’il garantirait que le gouvernement, d’autres bailleurs de fonds et les organisations de VIJ voient les choses d’un même œil. La plupart des problèmes signalés dans le rapport peuvent être réglés si on confie le matériel pertinent à un organisme central (comme l’ACVEJ ou une direction du ministère de la Justice) et que cet organisme se charge d’élaborer les critères applicables. Nombre d’obstacles sont attribuables au fait que la définition et les objectifs du projet, et de l’évaluation elle-même, ne sont pas clairs. En prévoyant des lignes directrices et en fournissant les compétences ou les méthodes requises pour procéder à l’examen, on pourrait alléger quelque peu le fardeau de l’évaluateur. Les défis et obstacles énumérés dans ce rapport sont toujours pertinents à l’évaluation des initiatives de VIJ. Conjointement avec le manuel de référence rédigé par les mêmes auteurs en 1986, l’ouvrage a toujours une grande portée et on devrait s’en inspirer lorsqu’on élabore du matériel qui a trait à l’évaluation et à l’information.

Défis relatifs à l’évaluation des initiatives de VIJ 

Facteurs contextuels 

•	Les conclusions de cette recherche approfondie ont révélé un certain nombre de facteurs contextuels qui constituent des obstacles importants à l’évaluation des initiatives de VIJ. Citons par exemple :
(i)	Le manque d’expérience et de connaissances spécialisées.
(ii)	Une diversité de structures et de modes de prestation au chapitre des programmes. Souvent, parce que les programmes sont définis différemment ou qu’ils visent des buts distincts, ils n’ont pas la même présentation ou s’adressent à un autre groupe cible. Ainsi, le programme qui encourage l’acquisition de connaissances devrait être évalué différemment de celui qui vise à modifier les attitudes. De la même façon, certains services ont tendance à être orientés sur le nombre de dossiers et on cherche donc à atteindre le plus grand nombre de résultats possible, tandis que d’autres ont des objectifs plus larges et favorisent l’habilitation, l’égalité et la participation démocratique. Encore une fois, il est nécessaire de comprendre ces objectifs avant de procéder à l’évaluation du programme. 
(iii)	Le bailleur de fonds et le fournisseur de services ont des intérêts et des buts distincts, ce qui entraîne des modes d’évaluation différents (une évaluation qualitative par rapport à une évaluation quantitative).
(iv)	Les avocats rechignent à obtenir une rétroaction au sujet de leurs services ou sont incapables de le faire.
(v)	Pour des raisons idéologiques, on s’oppose à renforcer les obstacles entre les participants et les « enseignants » dont l’opinion fait autorité. 
(vi)	Au chapitre des considérations pratiques, citons : la confidentialité de l’information et le manque de fonds.
a.	En règle générale, il y a un manque de fonds dans tout le système (évaluation = réduction du nombre de programmes).
b.	Les organisations manquent de fonds : la priorité principale n’est pas d’affecter des ressources à l’évaluation.
c.	Aucun bailleur de fonds n’accorde le financement nécessaire à soutenir une évaluation détaillée.
•	L’effet cumulatif de ces obstacles contextuels est le suivant : l’évaluation est considérée comme [TRADUCTION] « trop difficile, trop pénible et exige trop de temps ». 

Problèmes relevés

•	Les facteurs contextuels sont souvent difficiles à modifier 
•	Évaluations internes :
(i)	Au sein des organisations, le personnel et les avocats n’ont pas les compétences spécialisées requises pour procéder à l’évaluation. 
(ii)	Manque d’objectivité. 
(iii)	Les organisations de VIJ n’échangent pas suffisamment l’information.
(iv)	On procède à une évaluation purement quantitative pour satisfaire les exigences du bailleur de fonds.
(v)	Les questionnaires et les enquêtes ne sont pas suffisamment critiques ni approfondis pour accroître l’efficacité des programmes.
(vi)	Les buts et les objectifs ne sont pas clairement exprimés.
•	Évaluations externes :
(i)	On n’a pas suffisamment de contrôle sur le type d’évaluation qui est menée ni sur la teneur du processus.
(ii)	On ne s’engage pas assez à mettre les observations en pratique une fois qu’on a recueilli les statistiques. 
(iii)	Le bailleur de fonds et l’évaluateur externe n’acceptent pas d’être responsables du programme.
(iv)	Les buts et les objectifs ne sont pas clairement exprimés (les sujets interrogés ont indiqué que les buts étaient souvent trop élevés ou peu réalistes, et qu’on ne pouvait donc procéder à une évaluation positive).

Méthodes relatives à l’évaluation 

•	Dans le rapport, on discute des évaluations externes et professionnelles; même si elles peuvent être très avantageuses dans certains cas, elles ne peuvent être la principale méthode d’évaluation continue des initiatives de VIJ.
•	Au chapitre des méthodes informelles dont on a discuté, citons la révision par les pairs, la formation de groupes de réflexion composés du personnel et la mise en place de réseaux communautaires qui font intervenir des organismes (de VIJ ou non) dont la clientèle ou les intérêts sont analogues.

Godin, J.  (1994). Au-delà de l’aspect criminel : rapport sur la pénurie de documents de vulgarisation et d’information juridiques à l’intention des immigrantes maltraitées par leur mari. Section de la recherche, ministère de la Justice du Canada. 

Aperçu général

Comme le titre l’indique, l’auteur de l’ouvrage confirme qu’on manquait, en 1994, de matériel de VIJ destiné aux immigrantes victimes de mauvais traitements infligés par leur mari. Au moyen d’entrevues et par un examen des écrits, l’auteur démontre qu’on a besoin de documents de VIJ dans ce domaine et signale quelques défis importants dont il faudra tenir compte lorsque ces documents seront produits, s’ils le sont un jour. On peut considérer que l’ouvrage est une forme d’évaluation des besoins; dans cette perspective, l’auteur rappelle que pour procéder à une évaluation complète et efficace, il faut prévoir, dès le départ, un examen informatif et minutieux des besoins du groupe cible. Il faut d’abord comprendre les obstacles auxquels divers groupes font face lorsqu’ils tentent d’avoir accès à l’information juridique; cette démarche est essentielle si on veut évaluer de manière satisfaisante la prestation de cette information. 

Défis relatifs à l’évaluation des initiatives de VIJ 

•	Même si les organisations et les organismes qui dispensent des services aux immigrantes ou aux femmes victimes de mauvais traitements infligés par leur mari reconnaissent d’emblée qu’on a besoin de matériel fondamental de VIJ, ils soulignent encore plus fortement que ce matériel doit être approprié à la situation particulière de ces groupes cibles.
•	Parce qu’il s’agit d’une question complexe, il est très difficile de déterminer si on dispense des services qui tiennent compte des différences culturelles. 
•	L’auteur déclare que [TRADUCTION] « les activités de VIJ ne sont pas utiles si on n’en retient pas les leçons » (p.13). C’est là une remarque importante que les évaluateurs doivent garder en mémoire puisque, dans l’enquête qui suit couramment la prestation du programme, on ne tient pas compte de ce qui a été assimilé. Ainsi, si l’évaluation est reportée, il se peut qu’on perde de l’information essentielle (qui porte, par exemple, sur le caractère approprié de l’endroit et du moment où le programme est dispensé), mais il sera impossible d’examiner immédiatement d’autres données. Selon l’objet de l’évaluation, il peut donc être pertinent de prévoir une entrevue et de procéder à un suivi après un, six ou douze mois.

Exigences du bailleur de fonds au chapitre de l’évaluation

•	Il faut mettre en balance l’objectivé de l’évaluation menée par le bailleur de fonds et la rétroaction précieuse que peuvent offrir les groupes communautaires au sujet de l’efficacité du matériel de VIJ. Tout comme il est crucial de bien saisir les circonstances en cause à l’étape de l’examen des besoins, il faut aussi que l’évaluation soit adaptée aux caractéristiques culturelles, sociales et politiques du groupe cible.

Méthodes relatives à l’évaluation

•	Dans ce domaine, le matériel de VIJ a été mis à l’essai sur le terrain en collaboration avec les collectivités pertinentes de la province.

Moliner, M.  (1997).  Public legal education and information review: Tools for moving forward (Examen de la vulgarisation et de l’information juridiques : outils pour aller de l’avant).  Direction générale des programmes, ministère de la Justice du Canada.

Aperçu général

Cet examen est la plus récente évaluation de la participation du ministère de la Justice (« MJ ») aux programmes de VIJ. L’auteur fait valoir de multiples raisons pour lesquelles le MJ devrait continuer à prendre part aux initiatives de VIJ; il laisse également entendre que Justice Canada devrait préciser le rôle qu’il entend jouer dans la prestation des services, ce qui pourrait être accompli en ne produisant plus de matériel de VIJ et en faisant la distinction entre les « communications » ministérielles et la VIJ. Après avoir étudié la prestation des services de VIJ dans tout le Canada et consulté nombre de fournisseurs, le comité consultatif propose que le MJ arrête des critères applicables au financement des activités de VIJ et présente une stratégie de financement pluriannuelle ainsi qu’une infrastructure de financement qui viserait un ONG national, comme l’ACVÉJ. L’auteur recommande également de cibler le financement et les initiatives en matière de politiques en vue de combler les lacunes existantes (qu’il s’agisse des groupes auxquels on s’adresse ou des sujets touchés) et soutient que le MJ devrait jouer un rôle de chef de file en veillant à ce que cette « démarche ciblée » soit adoptée par les principaux fournisseurs de services de VIJ. Pour ce qui est de l’évaluation des initiatives de VIJ comme telle, l’auteur rappelle [TRADUCTION] « qu’il est nécessaire d’évaluer la prestation des programmes de VIJ si on veut garantir qu’on atteint les résultats voulus » et que le MJ devrait  [TRADUCTION] « soutenir la création d’un outil d’évaluation pour déterminer si les initiatives de VIJ ont les répercussions souhaitées ».  Il affirme en outre que tout cadre d’évaluation devrait correspondre à la démarche ciblée qui s’applique au financement et aux questions de politiques, à savoir, l’analyse [TRADUCTION] « des besoins, des lacunes et des priorités ». L’évaluation, dans ce cas, est considérée comme une responsabilité partagée entre le bailleur de fonds et les principaux fournisseurs de services de VIJ. Par conséquent, le rôle du MJ et d’autres bailleurs de fonds est de définir les objectifs de l’évaluation tandis qu’il incombe au fournisseur de présenter une évaluation pertinente. La seule recommandation qui ait trait à l’évaluation se trouve à la « Proposition 7 » : [TRADUCTION] Justice Canada devrait exiger qu’on procède à l’évaluation des groupes visés par les initiatives de VIJ qu’il finance et qu’on examine les répercussions qui découlent de ces initiatives.  

Défis relatifs à l’évaluation des initiatives de VIJ 

•	Des difficultés sont soulevées lorsque l’objet de l’évaluation n’est pas clairement défini et, plus précisément, lorsqu’on n’indique pas quels motifs/programmes/tendances sont à la base de l’évaluation.
•	De nombreux fournisseurs estiment qu’il est trop difficile et trop coûteux de mesurer les répercussions des services qu’ils offrent.
•	En grande partie, la valeur du travail effectué au chapitre de la VIJ n’est pas mesurée et, par conséquent, on hésite de plus en plus à financer les programmes.
•	En raison de la complexité du contexte relatif à la VIJ, nombre de questions cruciales restent sans réponse : 
(i)	En fonction de quelle norme (interne ou universelle) évalue-t-on l’initiative de VIJ ? 
(ii)	Dans une évaluation, qu’est-ce qui est mis en cause ? Est-ce la VIJ comme telle, une démarche particulière ou une activité donnée ? 
(iii)	Comment procéder à une comparaison pertinente lorsque les groupes cibles et les activités varient grandement ? 
(iv)	Comment évaluer les répercussions de chaque effort ou activité ? 
(v)	Comment évaluer l’évaluation, c’est-à-dire comment savoir si les résultats ne sont pas prédéterminés selon que l’évaluateur accorde une plus grande « valeur » à la rentabilité ou qu’il souhaite, par exemple, avoir joint un petit groupe de personnes défavorisées à de nombreux points de vue ?

Liens entre les buts et l’évaluation des initiatives de VIJ 

•	Les organisations de VIJ comprennent que l’évaluation doit être liée aux buts et aux objectifs, et elles insistent régulièrement pour qu’il en soit ainsi.
•	Les objectifs qu’on cite pour déterminer si un programme de VIJ atteint les résultats voulus sont tirés d’un rapport de 1979 du Law and the Layman Committee (Comité sur le droit et le profane). Même s’ils sont indubitablement importants, ces critères sont plutôt simplistes et nous orientent peu pour ce qui est de savoir comment on doit mener une évaluation.

Exigences du bailleur de fonds au chapitre de l’évaluation 

•	On s’inquiète de ce que l’évaluation qui est menée en fonction des exigences du bailleur de fonds soit mal interprétée et entraîne de mauvaises décisions au chapitre du financement.
•	Il y a une autre inquiétude permanente, et c’est que [TRADUCTION] « la réputation des programmes de VIJ du ministère de la Justice continue de souffrir si celui-ci n’arrive pas à démontrer que les services qu’il finance sont efficaces et rentables » (p. 39).
•	Dans le cadre d’un examen des programmes entrepris par la Law Foundation of Alberta, on a réduit de 40 % le financement de programmes comme ceux dispensés par les organisations intermédiaires de VIJ. On a donc raison de craindre que l’évaluation entraîne une réduction du financement.
•	Même si on conçoit des méthodes pour évaluer les initiatives de VIJ, il est difficile d’attribuer une valeur monétaire aux divers succès ou insuffisances.

Méthodes relatives à l’évaluation

•	Au chapitre des méthodes d’évaluation approximatives, on a discuté de ce qui suit : la collecte de commentaires anecdotiques, le dénombrement des participants, la présentation de formulaires d’évaluation, le recours à des spécialistes pour obtenir leur avis, la mise à l’essai sur le terrain et la comparaison des différents programmes de VIJ afin de tirer profit de l’expérience des collègues.
•	Un fournisseur de services de VIJ a proposé de recourir à une [TRADUCTION] « conception expérimentale pré-testage qui permettrait de mesurer la modification des attitudes, l’acquisition des connaissances, etc. » (p. 42).
•	On a aussi proposé d’observer les participants (par exemple, à la cour des petites créances) pour déterminer si leur aptitude à l’autonomie est accrue.
•	Voici d’autres méthodes dont on a discuté lors de la conférence électronique : 
(i)	Évaluation qualitative – commentaires anecdotiques, groupes de concertation, mise à l’essai sur le terrain; 
(ii)	Évaluation formative – participation du client dès le début du processus, groupes de concertation formés des groupes cibles, mise à l’essai sur le terrain; 
(iii)	Révision par les pairs – activités précises ou commentaires informels et spontanés 
•	Les organisations nationales et provinciales de VIJ peuvent faciliter l’application des méthodes et on reconnaît généralement que les expériences devraient être partagées davantage.
•	En raison du manque de ressources, il n’est pas pratique de procéder à une étude longitudinale et on connaît mal d’autres types d’interactions ou de démarches. Toutefois, d’après les commentaires reçus, il semble que ces méthodes moins officielles soient avantageuses, mais il faut qu’elles soient mises en rapport d’une manière quelconque afin de noter les changements et d’intégrer les transformations plus efficacement.
•	Le rapport n’indique pas que les fournisseurs de services de VIJ souhaitent que les évaluations officielles soient remplacées par d’autres modes d’évaluation et d’autres analyses des répercussions.

Documents utiles à l’évaluation des initiatives de VIJ

On a proposé d’avoir recours à une méthode qui prévoit les buts suivants :
1.  Déterminer quels besoins sont satisfaits par les principaux fournisseurs de services de VIJ. Plus précisément, il faut répondre aux questions suivantes :
a.  Quel groupe touche-t-on ?
b.  Comment est-on arrivé à le joindre ?
c.  A-t-il compris l’information communiquée ?
d.  A-t-il pu agir efficacement en utilisant l’information juridique qui lui a été donnée ?

2.  Déterminer quelles sont les lacunes au chapitre de la prestation des services de VIJ :
	a.  Qui ne joint-on pas et pourquoi ?
•	On s’attend à ce que ce type d’évaluation aide à définir les priorités parce qu’il permettrait de déterminer les groupes qui ont les besoins les plus pressants et qui ne sont pas servis de manière satisfaisante par les programmes existants. 

Public legal education and information: An evaluation assessment (Vulgarisation et information juridiques : examen de l’évaluation).  (1986).  Section de l’évaluation des programmes, ministère de la Justice du Canada. 

Aperçu général

Dans ce document, on examine l’état actuel des services de VIJ fournis et financés par le Ministère et on détermine si on devait mener une évaluation complète de ces services. L’évaluation porte sur le niveau de soutien assuré par le Ministère aux autres fournisseurs de services de VIJ et son application est donc quelque peu limitée lorsqu’il s’agit d’organisations indépendantes de VIJ qui procèdent à une autoévaluation. Parce qu’il y a un lien direct entre l’utilité de l’évaluation et la précision des définitions, une partie du texte est consacrée à définir les termes « vulgarisation », « information » et « juridique ». On trouvera, dans la section suivante, un profil du programme de VIJ du Ministère, qui concerne la période antérieure et postérieure à 1984, et un exposé des diverses initiatives. On fait remarquer qu’il y a clairement un manque d’orientation politique dans ce domaine. L’auteur divise en deux parties les principaux sujets qui ont trait à l’évaluation et à la méthodologie : i) gestion des programmes (où il souligne les défauts au chapitre de la conception et de la mise en œuvre) et ii) répercussions et efficacité des activités. Une série de questions accompagne chaque « sujet ».

Sous la rubrique « gestion des programmes », les questions sont formulées en vue de perfectionner et de cibler le programme et la manière dont les décisions sont prises au chapitre du financement. Dans la deuxième rubrique, les questions sont plus directement pertinentes aux organisations de VIJ ou aux bailleurs de fonds qui se préoccupent de responsabilisation. Bien que les questions soient générales, elles peuvent servir à orienter l’élaboration de critères et de méthodes qui concernent l’évaluation. Toutefois, l’examen n’est pas applicable à l’évaluation de tous les fournisseurs d’initiatives de VIJ. Ainsi, il est logique de supposer qu’une organisation de VIJ souhaiterait obtenir des réponses qui lui permettraient de mesurer l’efficacité d’un programme destiné à un groupe cible particulier. Pourtant, dans cette étude, on estime qu’il est [TRADUCTION] « impossible d’évaluer dans quelle mesure les intéressés comprennent l’information communiquée ». 

En bref, la distinction qui est faite dans cette étude entre « gestion des programmes » et « répercussions et efficacité des activités » peut toujours être utile au Ministère lorsqu’il considère son rôle au chapitre de la VIJ. À part cela, le document ne répond pas aux besoins pratiques des fournisseurs de services de VIJ parce que l’examen vise à mesurer le risque que court le Ministère lorsqu’il prend une décision au sujet des programmes de VIJ qu’il dispense (c’est-à-dire en fonction des résultats d’une évaluation complète ou sans considérer ces résultats). Ainsi, lorsque les buts et les objectifs d’une évaluation ont trait, globalement, à l’utilisation efficace des ressources pour les fins du Ministère, les questions soulevées sont toujours applicables; cependant, pour ce qui est du contrôle continu et de l’évaluation d’un programme précis, elles ne sont pas essentielles. Enfin, les coûts associés à une évaluation complète comme celle qui est décrite dans le document sont beaucoup plus élevés que ce que pourrait dépenser, de façon réaliste, une organisation de VIJ, même au palier provincial. Par conséquent, le seul partenaire qui puisse tirer avantage de l’information fournie serait le ministère de la Justice, lorsqu’il cherche à évaluer son rôle dans le contexte des services de VIJ offerts au Canada.

Méthodes relatives à l’évaluation 

•	Entrevues avec des représentants du ministère de la Justice
•	Examen de matériel de VIJ par des spécialistes
•	Examen de la documentation
•	Examen du projet
•	Enquêtes (par exemple, auprès des promoteurs de services de VIJ, des porte-parole d’autres programmes de VIJ, etc.) 
•	Utilisation de l’information tirée d’autres évaluations

Documents utiles à l’évaluation des initiatives de VIJ

Dans la section sur les répercussions et l’efficacité des activités, on trouve entre autres les questions suivantes : 
•	Dans le cadre du projet de VIJ financé par le Ministère, a-t-on produit l’effet voulu, à savoir, a-t-on fourni au grand public ou au groupe cible l’information qui répond à ses besoins ?
•	L’accès à des services de VIJ a-t-il permis au grand public ou au groupe cible d’accroître ses connaissances juridiques et de mieux comprendre le droit ? 
•	Le programme de VIJ a-t-il permis de modifier l’attitude du grand public ou du groupe cible pour ce qui est du droit et du système juridique ?
•	Le Ministère a-t-il favorisé l’élaboration de méthodes et de techniques nouvelles applicables à la prestation de services de VIJ ?

3.2	Autres documents d’évaluation

Le ministère de la Justice a mené de nombreuses évaluations des projets de VIJ qu’il a financés. Au cours des dernières années, ces évaluations ont été moins fréquentes, mais le rapport ci-dessous est un bon exemple d’un examen gouvernemental des répercussions. 

Ellis, P.  (1995). Les programmes éducatifs visant à modifier les connaissances, les attitudes et le comportement des jeunes. Direction générale de la recherche, de la statistique et de l’évaluation, ministère de la Justice du Canada.  

On trouve dans l’ouvrage un bon examen des documents pertinents ainsi qu’une discussion valable qui porte sur la modification des attitudes réalisée grâce à diverses initiatives (programmes scolaires ou extrascolaires et programmes d’éducation permanente, par exemple) et sur la modification des attitudes en général. L’auteur examine 8 composantes qui peuvent modifier les comportements et passe en revue 46 documents dans lesquels on étudie la modification des attitudes au moyen de procédés éducatifs.

4.0	Rapports d’évaluation 

4.1	Évaluation des initiatives de VIJ

Les rapports annotés dans la présente section sont de véritables évaluations, à la fois internes et externes, de récentes initiatives de VIJ. On remarquera, dans la liste qui suit, que les organisations de VIJ qui procèdent à des évaluations approfondies adoptent, pour ce faire, une démarche méthodique et cohérente. Ces démarches, ainsi que la documentation et l’analyse qui figurent dans nombre de ces rapports, peuvent être appliquées à divers programmes de VIJ d’autres administrations. 

Burtch, B. et Reid, K.  (1993). Discovering barriers to legal education: First-generation immigrants in greater Vancouver (Les obstacles à la vulgarisation juridique : première génération d’immigrants de la région métropolitaine de Vancouver) Vancouver : The People’s Law School. 

Aperçu général

Ce rapport d’évaluation a été produit pour la People’s Law School (« PLS ») de Vancouver, en Colombie-Britannique. Les objectifs de cet examen étaient à trois volets : i) déterminer qui sont les utilisateurs des programmes de VIJ offerts par l’école; ii) définir les obstacles auxquels fait face la première génération d’immigrants lorsqu’il s’agit d’avoir accès à de l’information juridique, et indiquer comment la PLS peut surmonter ces obstacles; et iii) évaluer le rôle de la VIJ au chapitre de l’adaptation des immigrants. On se penche sur la principale méthode de prestation de services de VIJ offerte par l’école, à savoir, les cours de droit gratuits qui sont donnés dans le cadre du programme des minorités culturelles. On utilise des groupes témoins, c’est-à-dire que les participants sont divisés en deux groupes : ceux qui ont suivi les cours de droit de la PLS et ceux qui ne l’ont pas fait. L’étude vise à améliorer la prestation des services offerts par l’école et à fournir [TRADUCTION] « de l’information directement pertinente aux organismes de la C.-B. qui s’adressent aux immigrants, ainsi qu’aux personnes qui s’intéressent à  l’élaboration des politiques et à l’administration de la justice dans cette province ». La plus grande partie de ce rapport peut être utile à des organisations qui travaillent avec des immigrants de première génération, mais le manuel de l’enquêteur et le questionnaire peuvent être fort précieux pour une vaste gamme d’organisations de VIJ. En particulier, les « règles applicables à l’entrevue » contiennent des conseils simples qui permettent d’éliminer les préjugés lorsqu’on pose les questions et qu’on cherche à obtenir des réponses. Ces directives sont particulièrement pertinentes lorsqu’il y a de nombreux enquêteurs et que la cohérence du processus peut être menacée. De plus, les données de base et les questions sur les besoins juridiques peuvent facilement être adaptées à différents groupes et à d’autres sujets qui ont trait à l’information juridique. 

Éléments communs

•	Évaluation externe
•	Quatre objectifs de l’étude sont clairement exprimés dans le document et sont liés aux conclusions
•	Les recommandations comprennent un certain nombre de suggestions relatives à la poursuite de la recherche ou de l’examen

Défis relatifs à l’évaluation des initiatives de VIJ

•	Les évaluateurs ont eu de la difficulté à produire un échantillon de population. Dans la plupart des cas, les gens se méfiaient de ce qui avait trait à la justice, souvent à cause de la répression politique dont ils avaient été victimes dans leur pays d’origine, ou croyaient que les données seraient utilisées à des fins gouvernementales. De plus, pour de nombreux participants, les questions étaient de nature personnelle et ils hésitaient à discuter, par exemple, de leur revenu et de leur opinion sur les politiques.

Méthodes relatives à l’évaluation 

•	L’étude a été menée à l’aide d’entrevues semi-structurées qui faisaient suite à un long questionnaire. Ce questionnaire était divisé en deux parties : 24 questions sur de l’information de base (caractéristiques personnelles) et 18 questions sur les besoins en matière d’information juridique.
•	Les questionnaires, en cinq langues, ont fait l’objet d’examens préliminaires et ont été modifiés au besoin.
•	Les intervieweurs ont été recrutés dans les cinq communautés ethniques visées par l’enquête. Ils étaient tous bilingues et on a cherché à faire en sorte qu’ils soient du même sexe que la personne interrogée. Ils ont participé à une séance de formation sur le questionnaire; enfin, on leur a remis un manuel qui comprenait des règles générales pour la conduite d’entrevues ainsi que de l’information particulière et des techniques de sondage pour la plupart des questions. 
•	On a eu recours à des scénarios fictifs pour évaluer les connaissances des personnes qui ont suivi des cours de droit gratuits, dans chacun des cinq groupes culturels. 

Curtis, C. K. et Meehan, G.  (2001).  Courtlink auto crime prevention program: Evaluation report (Programme Courtlink de prévention des actes criminels commis à l’égard de véhicules). Vancouver : Law Courts Education Society of British Columbia.

Aperçu général

Ce programme d’une durée de treize heures, dispensé en Colombie-Britannique, a été conçu pour les élèves du second cycle de l’enseignement primaire et ceux des écoles parallèles; il a été élaboré par la Law Courts Education Society of B.C. Les buts de l’évaluation étaient à deux volets : préciser les réactions au programme ou les expériences pertinentes et déterminer dans quelle mesure le programme atteint les deux objectifs signalés, à savoir, accroître les connaissances et promouvoir des attitudes positives. On a utilisé différents outils d’évaluation pour mesurer ces deux objectifs. Le rapport fait état d’une compréhension extrêmement complète des méthodes d’évaluation et comprend une analyse détaillée des conclusions auxquelles on en arrive. À chaque étape, les auteurs expliquent pourquoi ils font certains choix et suggèrent des méthodes efficaces pour évaluer des initiatives de VIJ destinées à différents groupes. À l’instar d’autres évaluations externes officielles, on trouve, aux sections sur la méthodologie, de l’information utile pour mener des évaluations ultérieures. On explique en détail les mesures qu’on a prises pour élaborer la recherche relative à l’enquête et les outils de pré-testage/post-testage; ces mesures peuvent être adaptées à d’autres programmes d’enseignement. On trouve, en annexe, des questions qui ont trait à la recherche et divers outils d’évaluation qui seraient un bon point de départ pour tout programme de VIJ destiné aux écoles.

Éléments communs

•	Évaluation externe 
•	L’évaluation fait partie intégrante du projet; elle est menée avant la prestation du programme, pendant qu’il se déroule et une fois qu’il a pris fin
•	On indique clairement dans le rapport quels sont les buts de l’évaluation et du programme d’enseignement; les méthodes d’évaluation sont appliquées à différents buts. 
•	Dans l’une des recommandations, on suggère de procéder annuellement à un examen et à une mise à jour du matériel utilisé par les enseignants pour garantir qu’il reste actuel. C’est là une manière courante de surveiller l’évolution d’un projet sans avoir à subir les coûts considérables liés à l’embauche d’évaluateurs externes. 

Défis relatifs à l’évaluation des initiatives VIJ

•	Il est souvent souhaitable d’utiliser des questions ouvertes si on veut obtenir une réaction  émotionnelle, psychologique et intuitive; cependant, il est important que les fournisseurs de services de VIJ classent les réponses préférées ou celles qui sont « les plus souhaitables » afin de préciser les résultats voulus.
•	Les limites imposées aux enquêtes de rétroaction peuvent encourager la cohérence des comptes rendus. Quelque part dans le questionnaire, il importe de fournir l’occasion de discuter des « facteurs » qui touchent l’administration du programme. Ainsi, il ne suffit pas de demander si une activité particulière a été utile ou efficace; il faut également savoir combien de temps a été consacré à cette activité ou si elle était appropriée aux élèves en question. 
•	L’un des inconvénients du pré-testage, c’est que les participants savent qu’on mène une étude (ce qui peut fausser les résultats). 

Liens entre les buts et l’évaluation des initiatives de VIJ 

•	Les buts des programmes de VIJ devraient être réalistes et adaptés aux populations cibles et au contexte. Ainsi, lorsque les élèves démontrent qu’ils connaissent déjà un sujet donné, l’animateur ne devrait pas s’attendre à voir un « accroissement considérable du savoir », même si cela est l’un des buts déclarés.

Méthodes relatives à l’évaluation 

•	Les questionnaires ont été élaborés pour trois groupes (les animateurs avaient deux questionnaires différents à remplir) dans le but de mesurer les résultats du programme. 
•	Les élèves ont fait l’objet de pré-testages et de post-testages afin de mesurer ce qu’ils avaient appris et d’évaluer le changement d’attitude.
•	Tous les tests ont fait l’objet d’essais pilotes et des modifications ont été apportées en conséquence.
•	Les tests comprenaient des questions fondées sur un scénario; on demandait aux élèves ce qu’il fallait faire dans le cas donné et quelle mesure serait probablement prise.
•	Les évaluateurs ont également demandé aux élèves et aux enseignants de leur faire part de leurs commentaires oralement et de leur indiquer ce qu’ils pensent du programme.

Ellis, D.  (1997).  Program review (Examen des programmes).  Vancouver: The People’s Law School.  

Aperçu général

Dans cette étude, on résume un examen détaillé des programmes de VIJ de la People’s Law School (« PLS »). L’examen fait intervenir une gamme d’intéressés du domaine de la VIJ dans le but de mettre en perspective les services de la PLS du point de vue local et provincial. On tire trente conclusions, qui sont rassemblées en huit catégories d’enquête, et on formule cinq recommandations adressées précisément au personnel et au conseil d’administration de la PLS. Même si « les conclusions et les leçons » recueillies pour chaque groupe ou méthode d’évaluation intéressent directement le personnel et le conseil d’administration de la PLS, elles seront aussi utiles à d’autres organismes de VIJ. L’évaluation est rédigée clairement et le rapport est structuré de manière à donner facilement accès à l’information pertinente, particulièrement lorsqu’il s’agit de la section à points centrés qui suit chaque question intitulée « Que nous apprennent ces conclusions ? ». Les outils utilisés dans les diverses sections de l’évaluation figurent en annexe et peuvent être utiles aux fournisseurs de services de VIJ lorsqu’ils conçoivent des évaluations. On trouvera par exemple des extraits du guide d’entrevue, un formulaire relatif à la rétroaction des clients, un formulaire de commentaires sur les ressources ou brochures ainsi que des guides sur les groupes de concertation, dans lesquels on trouve divers sujets et questions.   

Éléments communs

•	Évaluation externe
•	L’évaluation est menée après le programme
•	L’examen a des objectifs clairs, mais généraux : [TRADUCTION] « analyser l’efficacité et l’efficience des programmes dispensés actuellement par la People’s Law School, pour ce qui est des besoins courants et à venir en matière de VIJ, et considérer le rôle de la Société par rapport aux autres fournisseurs de services de VIJ de la province » (p. 8).
•	Il n’y a aucun commentaire sur des évaluations ultérieures ou continues 

Défis relatifs à l’évaluation des initiatives de VIJ

•	Il est difficile de déterminer si les programmes se chevauchent, pour un certain nombre de raisons :
o	Les fournisseurs de services de VIJ estiment que les besoins sont tels qu’on n’offrira jamais suffisamment d’activités
o	On ne s’engage pas à partager l’information afin d’éviter la répétition des tâches
o	Il y a un manque de confiance entre les organisations et elles ne coordonnent pas efficacement leurs initiatives
o	On estime qu’il est plus probable qu’un grand nombre d’organisations de petite taille, par opposition à des services fusionnés de taille importante, mettent en œuvre des méthodes innovatrices

Exigences du bailleur de fonds au chapitre de l’évaluation

•	Bien qu’on hésite à discuter du chevauchement, le bailleur de fonds s’inquiète grandement du fait que les divers fournisseurs de services de VIJ offrent les mêmes programmes et déploient les mêmes efforts que leurs collègues; il veut que ce type d’analyse soit inclus dans les évaluations. 
•	C’est principalement le bailleur de fonds qui a proposé que les activités soient mieux coordonnées entre les principaux fournisseurs de services de VIJ, même si les organisations intéressées hésitent à procéder de la sorte.

Méthodes relatives à l’évaluation

•	Démarche qualitative fondée sur la participation 
•	Deux groupes de concertation : i) le personnel de la PLS et ii) le conseil d’administration de la PLS
•	Rétroaction des distributeurs au sujet du matériel et des brochures de VIJ 
•	Entrevues avec les bailleurs de fonds, les groupes dont les besoins en matière de VIJ n’ont pas été satisfaits, les coparrains des programmes de la PLS et des observateurs ou spécialistes du domaine de la VIJ; toutes les entrevues sont menées dans la langue maternelle du sujet interrogé 
•	Enquêtes pour connaître les observations des clients (684 formulaires ont été remis à l’évaluateur)

Law Courts Education Society of British Columbia.  (2000).  Journeys of justice First Nations research project: Final report (Parcours de la justice, projet de recherche sur les Premières nations : rapport final).  Vancouver: Law Courts Education Society of British Columbia.

Aperçu général

Cette évaluation détaillée a été entreprise deux ans après l’introduction du programme scolaire intitulé First Nations Journeys of Justice (Parcours de la justice pour les Premières nations) dans les écoles primaires de la Colombie-Britannique. L’étude a été menée sur quatre ans et l’objectif principal était d’examiner si le programme a [TRADUCTION] « un effet positif sur les connaissances, les attitudes et, en fin de compte, le comportement des élèves pour ce qui est de la justice » (p. 4). En raison de l’ampleur et de la nature de l’étude, il a fallu élaborer des méthodes d’évaluation qualitatives et quantitatives. Dans les conclusions du rapport, on analyse comment ces deux aspects de la recherche sont reliés entre eux (à savoir, comment ils se complètent ou se contredisent). Cette section est particulièrement instructive parce que, dans les rapports d’évaluation examinés, on n’accorde généralement pas beaucoup d’attention (ou pas d’attention du tout) à la manière dont divers outils ont une action réciproque. L’autre section qui pourrait être appliquée de manière générale à l’évaluation des initiatives de VIJ est la partie 6 intitulée « Key Issues of Research Methodology » (Questions fondamentales relatives aux méthodes de recherche) (pages 106 à 117). On souligne ci-dessous certaines caractéristiques de ces défis mais, étant donné qu’on se penche rarement sur ces questions dans d’autres rapports, les fournisseurs de services de VIJ peuvent trouver utile d’examiner cette section pour connaître les défis que leurs collègues ont dû relever dans le cadre de programmes à caractère éducatif. Globalement, il s’agit d’un excellent modèle d’évaluation. Cependant, la plupart des organisations de VIJ ou des bailleurs de fonds ne peuvent se permettre de procéder à une recherche de cette ampleur ni de lui consacrer un financement de cette importance. 

Éléments communs

•	Évaluation externe et axée sur des comités qui a été principalement coordonnée par la Law Courts Education Society of B.C. Certains conseillers des Premières nations ont pris part à l’évaluation et à la conception du programme scolaire
•	L’évaluation a débuté deux ans après que le programme a été mis en place dans les écoles; elle a été menée en même temps que le programme pour les écoliers des 4e, 5e et 6e années
•	Les buts de l’évaluation sont clairs, mais détaillés si on tient compte de la durée de l’étude

Défis relatifs à l’évaluation des initiatives de VIJ

•	En raison du fait que le programme avait une teneur autochtone et que la population cible était partiellement autochtone, il était important que les études qualitatives soient menées par des résidents locaux qui avaient la formation nécessaire et qui connaissaient bien la collectivité. Même si le matériel et les tests avaient fait l’objet de projets pilotes, cette démarche restait importante pour la collecte de données pertinentes.
•	Pour les fins de la recherche à venir, on a souligné trois facteurs fondamentaux applicables à des sujets analogues (études longitudinales menées dans des écoles primaires), dont il faut tenir compte : 
(i)	Modification de la composition des groupes d’écoliers
(ii)	Changements apportés au personnel et nouveaux styles d’enseignement
(iii)	Modifications apportées au testage des variables et du programme scolaire
•	D’autres questions/défis particuliers au projet ont été rassemblés en trois catégories principales : 
(i)	Questions locales, à savoir, obtention de permissions, nouveaux enseignants ou écoliers pendant l’année scolaire, distances à parcourir, interruptions inattendues, modification de la recherche pour régler des problèmes particuliers. 
(ii)	Questions relatives à l’analyse et à la recherche, à savoir, prestation non uniforme des programmes, selon les écoles, lacunes au chapitre des données comparatives, manque de cohérence dans le mode d’enseignement et les procédés relatifs au testage
(iii)	Questions administratives, à savoir, en raison de la complexité du projet, il a fallu consacrer à l’initiative plus de temps et d’efforts que prévu

Méthodes relatives à l’évaluation 

Outils quantitatifs

•	Pré-testages/post-testages pour mesurer les connaissances générales et les connaissances particulières
•	Enquêtes sur les attitudes (les enquêtes préliminaires et les enquêtes postérieures étaient interchangeables)
•	Questionnaires sur le comportement adaptés à trois groupes distincts

Outils qualitatifs

•	Entrevues semi-structurées
•	Groupes de concertation
•	Observation en classe et consignation des notes prises sur le terrain
•	Les anecdotes racontées en classe ou les « expériences vécues » communiquées oralement par les enseignants, les écoliers et les membres de la collectivité portaient surtout sur un changement de comportement et d’attitude. Les auteurs remarquent que [TRADUCTION] « cette démarche fondée sur l’anecdote est conforme à la tradition orale des Premières nations qui fait appel à l’expérience vécue (…) et elle peut être utilisée pour illustrer des thèmes et fournir un fondement ou une structure à l’analyse des données » (p. 56).

Shariff, S.  (2000).  Identifying successful school and community programs for youth: An evaluation rubric and compendium of sources – DRAFT (Programmes scolaires et communautaires destinés aux adolescents : évaluation des programmes couronnés de succès et condensé des sources - ÉBAUCHE). Partenariat d’éducation sur la justice applicable aux adolescents, ministère de la Justice du Canada.  Extrait le 20 décembre  2001 à partir du site suivant : http://www.extension.ualberta.ca/youthjustice/rubric.htm. 

Aperçu général

Les deux principaux objectifs de ce document sont i) de trouver des sources d’information sur les programmes qui visent la modification du comportement, à l’école et dans la collectivité (abrégé des sources) et ii) d’élaborer un cadre d’évaluation qui aide à déterminer les programmes d’intervention cruciaux, à l’école et dans la collectivité (ce cadre est reproduit ci-dessous). On a évalué vingt-deux programmes scolaires à l’aide de ce cadre de référence qui devait être assez souple pour être appliqué à une variété de programmes multidisciplinaires; dans ce cas-ci, les programmes sont classés sous les rubriques suivantes : santé, éducation et justice. Chaque rubrique est à la base d’une norme nationale applicable à l’analyse des programmes et, comme telle, elle n’est pas limitée qu’aux programmes destinés aux adolescents. Même si les conclusions des vingt-deux évaluations sont divisées entre programmes « didactiques » et programmes « holistiques », cette distinction n’a pas vraiment de conséquences pour la valeur de la rubrique. La structure intègre quatre démarches conceptuelles en matière d’évaluation; ces démarches proviennent des travaux de cinq auteurs différents. En combinant des éléments de ces diverses démarches, on a créé une rubrique qui [TRADUCTION] « généralement parlant et sans exception, est applicable aux programmes, aux politiques ou à l’évaluation des programmes et des politiques » (p. 29). Comme nous l’avons signalé dans l’introduction, il est extrêmement utile de produire des listes détaillées du matériel de VIJ qui existe dans un domaine donné, et une telle ressource est précieuse pour les fournisseurs de services de VIJ à l’échelle nationale et internationale. Le condensé des sources compilées dans ce projet de recherche est un excellent exemple de ce type de ressource. On y trouve différentes catégories de sources : revues spécialisées, articles de revues et articles de publications universitaires, vidéocassettes et bases de données, ouvrages qui concernent les écoles, allocutions prononcées dans le cadre de conférences, législation applicable, etc. Ces sources sont elles-mêmes divisées en programmes dispensés dans l’ensemble d’une école, programmes scolaires et communautaires, et programmes communautaires; de plus, on a prévu des listes de sources qui ont trait à des sujets d’actualité, comme la justice réparatrice, la médiation et les programmes destinés aux adolescents. 

Dans le cadre de ce projet, on souligne qu’il faut considérer le sujet à l’étude d’après une gamme de perspectives. Pour ce faire, on peut se familiariser avec les écrits multidisciplinaires pertinents. Ce travail de base sera plus ou moins poussé selon les ressources disponibles et l’évaluateur. Ainsi, l’organisation de VIJ qui évalue les programmes qu’elle dispense ou le matériel qu’elle distribue n’aura probablement pas besoin de mener une recherche approfondie dans le domaine. Cependant, il vaut mieux être au fait de la recherche qui est pertinente et à jour si on veut garantir que les projets répondent à des questions pressantes et qu’ils tiennent compte le plus possible des facteurs contextuels touchant les groupes cibles. Ainsi, dans le cadre de ce projet, on a examiné l’influence des politiques administratives sur les écoles, passé en revue les études sur l’ennui, dans la mesure où ce facteur influe sur le comportement des adolescents et la perpétration d’actes violents, et considéré d’autres éléments de poids, comme la pauvreté et l’emploi. 

Éléments communs

•	Dans ce projet de recherche, il n’est pas pertinent de déterminer si l’évaluation est interne ou externe parce que le mandat vise l’élaboration d’un cadre applicable à l’évaluation. Cependant, dans la plupart des programmes étudiés, l’examen fait intervenir des évaluateurs internes et externes. 
•	Les objectifs du projet sont clairement exprimés 

Défis relatifs à l’évaluation des initiatives de VIJ 

•	La principale contrainte dont il est fait mention dans tout le projet est une contrainte de temps et, comme l’évaluation est un processus continu, on peut toujours recueillir plus d’information. C’est la raison pour laquelle les auteurs font remarquer que nombre de programmes exceptionnels n’ont pu être inclus.
•	En raison de l’ampleur des programmes évalués dans le cadre du projet, il était difficile, du point de vue logistique, d’obtenir des données de tous les coins du pays.
•	Il était difficile de trouver des rapports écrits sur les programmes parce que [TRADUCTION] « ceux qui sont à la tête d’excellents programmes sont trop occupés pour rendre compte de leur travail, car ils passent tout leur temps et consacrent toute leur énergie à s’occuper des jeunes (…) et ils ne trouvent  pas le temps de faire connaître leur démarche, leurs activités ou leurs succès et échecs » (p. 31).
•	Comme pour la plupart des autres sujets, il faut s’efforcer de ne pas s’en tenir aux hypothèses et au vocabulaire utilisés couramment lorsqu’on discute des adolescents qui risquent d’être aux prises avec la justice et de la violence à l’école.

Liens entre les buts et l’évaluation des initiatives de VIJ 

•	Dans la deuxième section de la rubrique, on est tenu d’examiner si les buts énoncés sont atteints, ce qui est particulièrement pertinent pour le bailleur de fonds qui se préoccupe de responsabilisation.

Méthodes relatives à l’évaluation

•	Dans les études d’évaluation, diverses méthodes sont retenues, du compte rendu verbal des réussites à un suivi officiel et approfondi de la carrière, des activités et de la famille des élèves, sur un grand nombre d’années. D’autres méthodes sont aussi couramment employées : pré-testages et post-testages relatifs aux programmes; compte rendu d’incidents portant sur l’intimidation, études de comportements rebelles ou délinquants; observation en salle de classe; rétroaction par voie électronique; études menées dans le cadre de visites à domicile; enquêtes et questionnaires; entrevues avec le personnel ou les enseignants; collecte d’information sur les changements d’attitude (comparaison entre le comportement adopté avant et après le programme).

Documents utiles à l’évaluation des initiatives de VIJ 

La rubrique est reprise ci-après en entier; elle se trouve également au sommaire du présent document. 

Rubrique relative à l’évaluation du Programme d’éducation sur la justice applicable aux adolescents (PÉJA)
Raison d’être et buts : qu’est-ce qu’on essaie d’accomplir dans le cadre du programme ?
(Est-ce une démarche critique, éthique, transformatrice, éducative, dialectique, justifiable sur le plan juridique ?)
o	Qu’est-ce qui est à la base du programme et quels sont ses objectifs ?
Éléments fondamentaux : comment atteindre les buts du programme ?
o	Quels sont les éléments clés (teneur, présentation et mise en application) qui contribuent au succès du programme ou démontrent que le succès est possible ?

Évaluation du programme dont la recherche fait état

o	Indiquer les résultats des études où on évalue le programme ainsi que les méthodes retenues, si l’information est disponible.

Examen du contexte : à qui s’adresse le programme, où sera-t-il mis en œuvre et quel en sera le point de vue ?

o	Indiquer dans quelle mesure les programmes et les modèles permettent d’intervenir dans différents milieux et auprès de divers groupes d’adolescents (en tenant compte des caractéristiques des adolescents visés par le programme, du contexte socio-culturel propre à l’école qu’ils fréquentent, des facteurs qui ont des répercussions sur leur vie, comme l’âge, les antécédents familiaux, l’appartenance à un groupe ethnique, la pauvreté, l’ennui, le sexe, l’orientation sexuelle, l’état de santé mentale et physique, l’invalidité et les politiques administratives existantes.)

Conséquences pour ce qui est du succès du programme ou domaines où il est possible d’apporter des améliorations :
[La démarche est-elle transformatrice, critique, éducative, éthique, dialectique et justifiable du point de vue juridique ?]
o	Analyse et discussion du programme en fonction des critères ci-dessus et de la recherche menée à partir d’écrits qui reflètent des perspectives multidisciplinaires : éducation, sociologie, psychologie et modification du comportement.

Sy, S. S. et Anderson, K.  (1999). Violet: Learning on the net. Final report to the Office of Learning Technologies (Violet : apprendre sur Internet. Rapport final au Bureau des techniques d’apprentissage). Extrait le 24 décembre 2001, à partir du site suivant : http://www.acjnet.org/home.cfm. 

Aperçu general

Il s’agit d’un projet à phases multiples qui comprend la conception et l’évaluation d’un site Web interactif destiné aux femmes victimes de violence et aux fournisseurs de services qui s’adressent à elles, et dans le cadre duquel on offre une formation. Dans un premier temps, on a mis le site Web sur pied et fait en sorte que les maisons de refuge pour femmes aient accès à Internet. Dans un deuxième temps, et c’est ce dont il est question dans ce document, on a passé en revue un certain nombre d’ouvrages, décrit le processus applicable à la conception du site Web et les méthodes de recherche pertinentes et présenté les conclusions de deux évaluations. Afin de mieux comprendre comment un groupe particulier de femmes (c’est-à-dire des femmes qui ont subi de mauvais traitements et les fournisseurs de services qui s’adressent à elles) a acquis des connaissances en droit au moyen d’Internet, on a eu recours à deux stratégies : i) une étude qualitative en petits groupes; ii) une évaluation externe dans le cadre de laquelle on a fait appel à l’analyse de spécialistes et on a procédé à un essai de convivialité. Ce document est une excellente ressource pour d’autres projets d’apprentissage axés sur le Web. On y trouve un examen des écrits et une bibliographie à la fois approfondis et complexes; les résultats de l’évaluation sont résumés thématiquement et peuvent être facilement appliqués à d’autres sujets et domaines. Dans l’extrait tiré de l’évaluation externe, il y a de nombreuses suggestions détaillées concernant des méthodes efficaces qui permettent d’adapter des sites Web à différents contextes et styles d’apprentissage. En outre, à l’annexe B, on brosse les grandes lignes du plan de recherche, ce qui peut être un guide utile pour une organisation qui conçoit une évaluation.  

Éléments communs

•	On a mené deux évaluations distinctes, l’une externe, l’autre interne.
•	L’évaluation est intégrée à la conception du projet. Cette démarche est particulièrement utile lorsque le programme en est encore à l’étape de l’élaboration et que l’outil de communication et d’apprentissage est en constante et rapide évolution.
•	Les buts de la phase II sont énoncés clairement dans le rapport et on s’en est servi pour élaborer le projet.  
•	On fait mention de questions qui pourraient être étudiées au chapitre du suivi et qui seraient utiles aux évaluations ultérieures (internes et externes).
Défis relatifs à l’évaluation des initiatives de VIJ 

•	Lorsque les services sont dispensés sur le Web, on ne peut savoir avec exactitude qui sont les utilisateurs; toutefois, si on sait comment on fait la promotion du site et à qui cette promotion s’adresse, ou encore, si on obtient une rétroaction en direct, on a une idée plus précise de l’identité des utilisateurs.
•	Il est difficile de mesurer le succès de l’initiative et de déterminer si le site est utile aux groupes cibles. On pourrait mettre en place un système de dénombrement, mais cela ne permettrait pas de déterminer l’utilité de la mesure, de découvrir si la situation de l’intéressée a changé grâce au programme ni de voir si l’utilisatrice est davantage habilitée.

Liens entre les buts et l’évaluation des initiatives de VIJ 

•	Les objectifs du projet, dont les résultats à long terme, sont indiqués au début du processus de conception, ce qui aide à orienter l’évaluation. Les conclusions et les constatations sont mises en rapport avec les résultats attendus en vue de déterminer si l’outil d’apprentissage est utile et efficace.

Méthodes relatives à l’évaluation 

Étude qualitative menée par les membres du projet

•	Après les séances de formation avec les responsables des refuges et d’autres organisations, on a tenu des périodes de questions semi-structurées; la démarche s’adressait aux maisons de refuge en milieu rural et urbain, ainsi qu’aux foyers d’urgence et de deuxième étape.
•	Conjointement avec une organisation, on a mené une étude pilote du site Web pendant une séance d’une demi-journée, au cours de laquelle on s’est penché sur la formation, l’utilisation du programme et le débreffage.
•	Aucune mesure n’était prévue, avant ou après l’évaluation, pour mesurer les changements au chapitre des connaissances, de la compréhension et de l’attitude.
•	Après toutes les séances de testage, on a consigné les conclusions et les résultats de l’évaluation dans un agenda électronique.

Évaluation externe

•	On a procédé à un examen minutieux du site (contenu, conception structurelle) et déterminé les facteurs psychologiques et situationnels qui ont des répercussions sur la navigation visuelle. 
•	On s’est entretenu avec les utilisatrices pendant qu’elles naviguaient à l’intérieur du Net et on a observé leurs expressions faciales et leurs mouvements (on a procédé ainsi avec cinq femmes de niveaux d’instruction variés, qui ont été choisies au hasard et qui n’avaient pas nécessairement été victimes de violence familiale).
o	L’utilisation de ce mode d’évaluation est limitée (par exemple, on ne peut l’employer avec de jeunes enfants). 
o	Ce mode d’évaluation exige beaucoup de temps, mais il permet d’obtenir un grand nombre de données.

The People’s Law School.  (1994).  Report of the multicultural and immigrant seniors legal education project, 1992-1994 (Rapport du projet de vulgarisation juridique mené auprès de personnes âgées immigrantes et d’origine multiculturelle, 1992-1994) .  Vancouver : The People’s Law School. 

Aperçu général

Ce projet contient un certain nombre d’éléments de VIJ ainsi qu’une composante importante qui a trait au développement communautaire. La population cible a été déterminée à partir d’une recherche menée auprès d’organismes communautaires et gouvernementaux, et la People’s Law School a créé le Projet de vulgarisation juridique pour répondre aux besoins de cette population. En partie, le rapport d’évaluation a été rédigé pour aider d’autres organisations de VIJ fondées sur la collectivité à mettre en œuvre leurs propres programmes de vulgarisation destinés aux personnes âgées. Dès le début, on énumère cinq stratégies et diverses activités sont élaborées pour atteindre les objectifs et les stratégies visés. Entre autres, plus de 90 cours de vulgarisation juridique ont été donnés, il y a eu des ateliers professionnels et des émissions radiophoniques, et on a produit deux publications qui ont été reprises en cinq langues et distribuées à des milliers de personnes âgées. Ce rapport sera utile aux fournisseurs de services de VIJ et particulièrement à ceux dont le mandat est de servir les personnes âgées, les immigrants ou ces deux groupes de personnes. Il est rédigé en peu de mots et tient compte, pour ce qui est de l’évaluation, d’un certain nombre de questions que d’autres rapports négligent.  

Éléments communs

•	L’évaluation est interne; elle est élaborée et rédigée par ceux qui ont conçu et mis en œuvre les divers programmes. Au départ, on avait l’intention de procéder à une évaluation externe, mais ce projet a dû être abandonné parce que le budget ne le permettait pas. 
•	L’évaluation a eu lieu après que la plupart des activités ont été conclues; cependant, quelques caractéristiques fondamentales du projet comprenaient des objectifs à long terme et permanents, dont la création de réseaux communautaires. 
•	Pour l’avenir, on a proposé des projets de recherche qui feraient intervenir une certaine évaluation.

Défis relatifs à l’évaluation des initiatives de VIJ

•	On a discuté des avantages et des inconvénients d’une évaluation interne. Les auteurs reconnaissent que si l’évaluation est intégrée au projet, on n’est pas aussi objectif que si elle est distincte de la conception et de la mise en œuvre du programme. Cependant, on estime que la participation directe permet de mieux savoir à quel moment on réalise des progrès et comment le projet s’adapte aux circonstances et change avec le temps.
•	Nombre d’objectifs du projet ne peuvent être mesurés de manière quantitative. Ainsi, les avantages qui découlent de la création d’un réseau qui s’adresse à différents groupes d’immigrants, grâce auquel on diffuse de l’information sur des questions juridiques qui intéressent les aînés dans le but de créer des liens et d’échanger les données, ne peuvent être [TRADUCTION] « mesurés en comptant le nombre de participants à un événement ou le nombre de copies distribuées » (p. 14).
•	À l’instar d’autres programmes axés sur la collectivité, ce sont les participants et les membres de la collectivité qui fournissent les lignes directrices et les orientations propres au projet. Par conséquent, il ne semble pas approprié d’évaluer le « succès » d’une activité, étant donné que la gestion du projet (de sa conception à sa réalisation finale) est entre les mains des membres de la collectivité et qu’elle est adaptée à des populations cibles uniques.

Exigences du bailleur de fonds au chapitre de l’évaluation

•	Le rapport comprend une section sur le fait qu’il faut trouver un équilibre entre, d’une part, le développement communautaire qui ne produit aucun avantage concret et, d’autre part, les « réalisations » (comme des événements ou publications) auxquelles s’attendent le bailleur de fonds ou ceux qui participent au projet. Les auteurs font remarquer que [TRADUCTION] « si toutes les réalisations, ou la plupart d’entre elles, portent sur des chiffres, des événements ou des publications, il reste peu de ressources (temps, énergie, argent, bénévoles) qu’on peut consacrer au développement communautaire. En raison de ces pressions, le processus risque de devenir une démarche descendante traditionnelle, aux termes de laquelle les besoins sont définis par ceux qui ont le moins à voir avec la collectivité et avec les personnes les plus touchées par le programme » (p. 21).

Méthodes relatives à l’évaluation 

•	Des formulaires de rétroaction ont été remis à toutes les personnes âgées qui ont participé au projet.
•	Aux fins de l’évaluation, on a tenu une réunion avec tous les membres du comité ou on les a consultés. 
•	Les fournisseurs de services qui ont pris part à des ateliers de perfectionnement professionnel ont fourni verbalement une rétroaction informelle.
•	Pour ce qui est des comités et des événements, on a fait des commentaires généraux.
•	Dans le cadre de certaines activités, l’évaluation était intégrée à la conception (par exemple, il y a eu des séances de remue-méninges et des réunions en petits groupes sur la manière de créer et d’améliorer des liens communautaires, et de nombreuses initiatives ont été mises sur pied à partir du projet et du travail réalisé en comité). 

Whyte, K. J.  (2000).  Native youth at risk courtlink program: Pilot project evaluation report (Programme Courtlink sur les jeunes autochtones en situation de risque : rapport d’évaluation sur le projet pilote).  Vancouver : Law Courts Education Society of British Columbia.  

Aperçu général

Ce bref rapport d’évaluation est très complet et il s’agit d’un excellent modèle pour évaluer les initiatives de VIJ. Le programme qui fait l’objet de l’évaluation est d’une durée de deux jours et s’adresse aux adolescents qui risquent d’être aux prises avec la justice. Une partie du programme est donnée au palais de justice qui est situé dans la collectivité où se trouve l’école. La manière dont on recueille l’information correspond aux buts de l’examen, de sorte qu’on se penche sur toutes les questions fondamentales. Grâce à la gamme de techniques d’évaluation utilisées dans l’examen du programme, on garantit que les commentaires et les observations communiqués  sont facilement reflétés dans les conclusions et les recommandations. On a explicitement invité les participants à faire connaître leur opinion et à indiquer si le programme avait atteint les buts visés; en même temps, on leur a également offert de fournir des suggestions et des commentaires généraux sur les programmes à venir. En évaluant la présentation du matériel, on a retenu une gamme de variables qui ont été subdivisées en catégories (variables relatives aux élèves et au programme). L’évaluateur reconnaît donc que la manière dont on dispense le programme est aussi importante, sinon plus, que le matériel et le programme eux-mêmes. Les auteurs du rapport attirent également l’attention sur le lien crucial qui existe, d’une part, entre la qualité et l’efficacité du programme et, d’autre part, le fait que sa structure peut être adaptée à une vaste gamme d’intérêts et d’aptitudes chez les élèves.  

Éléments communs

•	Évaluation externe 
•	L’évaluation est intégrée à la conception du projet pilote et elle a été menée en même temps que le programme
•	Les buts de l’évaluation sont énoncés clairement dans le rapport 
•	Il y a un troisième but : déterminer s’il est souhaitable de procéder à une évaluation additionnelle qui porterait sur les répercussions et les résultats. Étant donné que l’information et les données recueillies indiquaient toutes que le programme et la manière dont il avait été présenté étaient très satisfaisants et qu’on avait atteint le groupe cible, on a recommandé de ne procéder à aucune autre évaluation du matériel.
Défis relatifs à l’évaluation des initiatives de VIJ

•	L’évaluateur a remarqué que les commentaires offerts dans le cadre de la rétroaction n’étaient pas les mêmes selon qu’on se reportait aux questionnaires ou qu’on étudiait les observations personnelles des participants. C’est la raison pour laquelle on a proposé de prévoir, si possible, des modes d’évaluation multiples, de manière à permettre à chacun de s’exprimer en choisissant la méthode qui lui semble la plus directe et intelligible.
•	L’évaluateur a fait remarquer qu’il est plus nécessaire de procéder à une évaluation lorsque le programme de VIJ touche des sujets délicats. On a donc déclaré que [TRADUCTION] « si le programme Courtlink (…) comprend du matériel sur la violence familiale et la violence sexuelle, il serait important d’entreprendre une évaluation approfondie, dans le cadre de laquelle il y aurait des contacts multiples avec les adolescents qui participent au programme, les enseignants et les familles intéressées » (p. 20).

Méthodes relatives à l’évaluation

•	L’évaluateur a assisté à la prestation de la totalité du programme, à cinq endroits dans la province. Il a consigné les observations et rendu compte du matériel de fond étudié dans le cadre des activités. 
•	Il y a eu des entrevues et des discussions non officielles avec les enseignants et les élèves pendant et après le programme.
•	Chaque jour, après le programme, il y a eu une entrevue avec l’animateur à chaque endroit où le programme a été dispensé (10 entrevues en tout).
•	On a recueilli des données quantitatives à l’aide de questionnaires écrits présentés à quatre groupes : (tous les formulaires figurent au rapport et constituent les annexes A à D)
o	Élèves  
o	Tous les observateurs (enseignants, aides-enseignants, bénévoles, membres de comités, etc.).
o	Personnel du tribunal – le questionnaire porte sur de l’information qui est pertinente à la phase antérieure au programme.
o	Enseignants – évaluation du matériel qui est pertinent à la phase antérieure au programme.

4.2	   	Matériel et sources utiles

Même si on considère souvent que l’aide juridique est différente de la VIJ, les deux services se chevauchent plus ou moins directement dans certaines provinces. Étant donné que les services d’aide juridique ont un lien historique avec le financement gouvernemental, ils ont fait l’objet de nombreux examens et évaluations. C’est pourquoi on devrait se reporter à ce type de rapports (même s’ils vont au-delà de la prestation de services de VIJ) lorsqu’on procède à l’évaluation des initiatives de VIJ. Les deux premiers titres servent d’exemples, parce qu’on en fait couramment mention dans d’autres sources qui concernent l’évaluation. 

Brantingham, P. et Brantingham, P.  (1984).  An evaluation of legal aid in British Columbia  (Évaluation de l’aide juridique en Colombie-Britannique). Bureau de l’évaluation des programmes et de la vérification interne, ministère de la Justice du Canada. Disponible auprès du Legal Resource Centre, Legal Studies Program, University of Alberta.

Dans ce rapport qui date déjà de quelques années, on présente une évaluation détaillée de l’aide  juridique offerte en Colombie-Britannique, ce qui comprend des services « indirects » comme ceux dispensés dans le cadre d’initiatives de VIJ. Cependant, la partie de l’étude qui a trait à l’évaluation des initiatives de VIJ est surtout de nature descriptive et porte principalement sur les organisations et les bureaux qui avaient tendance à accorder la priorité aux services de VIJ au moment où l’enquête a été menée. L’évaluation était en cours lorsque le gouvernement provincial a imposé des compressions budgétaires dans le domaine de l’aide juridique, et les auteurs discutent donc du lien qui existe entre la Legal Services Society (Société de services juridiques), dont le mandat comprend l’offre de services de VIJ, et la prestation d’autres services d’aide juridique. L’évaluation comporte une analyse de l’accessibilité, une étude des répercussions ainsi que des études qualitatives. 

Comité permanent de l’Association du Barreau canadien, Comité national de liaison sur l’aide juridique.  (1987).  Legal aid delivery models: A discussion paper (Modèles de prestation de l’aide juridique : discussion). Disponible auprès du Legal Resource Centre, Legal Studies Program, University of Alberta.

Dans ce rapport, on se penche expressément sur les modèles d’aide juridique et on n’étudie que de manière latérale les répercussions de divers modèles sur l’éducation juridique communautaire. Dans ce cas-ci, on définit l’expression « éducation juridique communautaire » comme la prestation d’information à une clientèle à faible revenu qui est déjà représentée juridiquement. Par conséquent, l’activité ne comprend pas la prestation de services de vulgarisation juridique à un vaste public en tant que tel. Le document offre cependant un bon aperçu général des divers modèles d’aide juridique et, dans la mesure où la VIJ fait partie de l’aide juridique dans certaines provinces (comme l’Ontario et la C.-B.), il contient une analyse utile de la façon dont différents modèles ont une action réciproque sur des services complémentaires, comme ceux visant la défense de l’intérêt public (litiges portant sur un cas type), la réforme du droit et l’éducation juridique communautaire.

Currie, A.  (1999).  Modèles de prestation de l’aide juridique au Canada : expériences passées et orientations futures.  Division de la recherche et de la statistique, ministère de la Justice du Canada. 

Dans ce rapport, on utilise des études empiriques pour évaluer le coût et la qualité de divers modèles de prestation de l’aide juridique. À partir du rapport de l’Association du Barreau canadien publié en 1987, l’auteur présente un aperçu détaillé des conclusions et des analyses de diverses évaluations menées entre 1981 et 1998.  

Currie, A. et McEwon, C.  (1998). L’autoreprésentation assistée dans le cadre des services d’aide juridique en matière pénale: expérience liée à la prestation de services restreints.  Division de la recherche et de la statistique, ministère de la Justice du Canada.

Dans ce rapport, on examine les facteurs qui touchent l’autoreprésentation dans une affaire pénale, une fois qu’on a refusé l’aide juridique à l’accusé. On étudie les cas où les éléments d’explication sont rejetés et ceux où ils sont acceptés, et on considère les difficultés auxquelles les particuliers font face lorsqu’ils souhaitent utiliser ce matériel pour se représenter efficacement. Les auteurs examinent l’utilité du matériel de VIJ tant général que particulier, et isolent des problèmes (comme des obstacles linguistiques et des procédures judiciaires qui sont trop compliquées). En conclusion, ils estiment que l’échantillon retenu est trop limité pour qu’on puisse procéder à une analyse quantitative et soutiennent qu’il aurait été plus utile de mener des entrevues approfondies. Bien qu’ils déclarent que l’autoreprésentation n’est pas une solution de rechange prometteuse ou viable, il reste que le matériel de VIJ produit dans ce domaine pourrait être utile dans d’autres contextes : ainsi, grâce à lui, on pourrait décrire les procédures judiciaires générales et offrir de l’information sur les ressources additionnelles dont peuvent se prévaloir ceux qui ont besoin de services d’aide juridique. 

Currie, J. et Roberts, T.  (1986).  An evaluation resource book for public legal education and information organizations (Manuel de référence portant sur l’évaluation et destiné aux organisations de vulgarisation et d’information juridiques).  Section de la recherche et de la statistique, Direction des politiques, des programmes et de la recherche, ministère de la Justice du Canada.  

Aperçu général 

Ce manuel de référence est un outil d’évaluation pratique et une bonne source d’information et d’inspiration pour ce qui est des démarches applicables à l’évaluation des initiatives de VIJ. Le manuel a été conçu pour [TRADUCTION] « répondre, en matière d’évaluation, aux besoins du personnel d’organisations diverses : des grands organismes de VIJ quasi gouvernementaux aux programmes restreints de nature expérimentale, d’initiatives bien établies offertes depuis longtemps aux projets à court terme qui visent une activité définie » (p. 1). Il comporte six modules qui peuvent être utilisés indépendamment les uns des autres, quoique le module I soit généralement recommandé pour toutes les évaluations relatives à la VIJ. La plupart des modules sont centrés sur la tâche à accomplir, mais on trouve également de l’information de base grâce à laquelle on peut choisir la méthode d’évaluation appropriée. Dans certains modules, les données sont fort techniques et elles ne seront utiles qu’à ceux qui ont beaucoup de temps et de ressources à consacrer à l’évaluation. Néanmoins, les auteurs se penchent sur toutes les questions pertinentes et on peut considérer nombre de sections séparément, en fonction de besoins distincts. Il s’agit d’une excellente ressource pour toute organisation qui dispense des services de VIJ; bien qu’elle ait été publiée il y a quelques années, elle s’applique toujours aux services et programmes dispensés en matière de VIJ. 

Les six modules s’intitulent comme suit : 
I.	PLANIFICATION DE L’ÉVALUATION
II.	RECOURS À UN CONSULTANT EN MATIÈRE D’ÉVALUATION
III.	TYPES D’ÉVALUATION AUXQUELS VOUS POUVEZ PROCÉDER
IV.	COLLECTE DES DONNÉES
V.	ANALYSE DES DONNÉES
VI.	CONSIGNATION ET UTILISATION DES DONNÉES   

Par souci de cohérence, les questions ou sujets principaux dont il est question dans le manuel de référence figurent sous les titres thématiques qui sont utilisés dans la présente bibliographie.  

Défis relatifs à l’évaluation des initiatives de VIJ

•	Qui procédera à l’évaluation : évaluateur interne (à savoir, le personnel) ou externe ? 
•	Conflits entre l’évaluateur et le groupe 
•	Que faire si vous ne pouvez modifier l’évaluation ? 

Liens entre les buts et l’évaluation des initiatives de VIJ

•	Démarche orientée sur les buts 
•	Comment élaborer les buts et les objectifs relatifs à l’évaluation ? 
•	Comment déterminer si le taux d’utilisation du programme est satisfaisant ?
•	Comment le type de programme de VIJ influe-t-il sur la collecte des données ? 
•	Relier la collecte de données à l’objet de l’évaluation 

Exigences du bailleur de fonds au chapitre de l’évaluation

•	Prévoir un budget pour les fins de l’évaluation 
•	Réduire les coûts liés à l’évaluation 
•	Déterminer les coûts et les avantages des programmes de VIJ : difficultés et solutions 

Méthodes relatives à l’évaluation

•	Examen des besoins 
•	Évaluations des programmes; examen de l’organisation; examen de l’utilisation des programmes 
•	Examen du matériel 
•	Analyse des répercussions 
•	Analyse de la rentabilité 
•	Moyens de structurer le questionnaire 
•	Formation des intervieweurs

Hessing, M. et Thompson, L.  (1984).  The telephone legal information service of the legal resource centre of British Columbia: Evaluation report (Le service téléphonique d’information juridique du centre de ressources juridiques de la Colombie-Britannique : rapport d’évaluation). Disponible auprès du Legal Resource Center, Legal Studies Program, University of Alberta.

Aperçu général

Le service d’information juridique est une ligne téléphonique au moyen de laquelle des bibliothécaires spécialement formés offrent des renseignements de nature juridique au grand public ainsi qu’à des intermédiaires (entreprises, gouvernement, écoles, bibliothèques et autres organismes privés, comme des ONG). Les bibliothécaires ont commandé cette étude, dans le cadre de laquelle on a examiné uniquement les services offerts au moyen des lignes téléphoniques mais non pas les autres services et programmes de VIJ dispensés conjointement avec la Legal Services Society of B.C. (Société de services juridiques de la C.-B.). Après de nombreuses années de service, on souhaitait obtenir des données statistiques et qualitatives, recueillies par une tierce partie objective, qui indiqueraient comment améliorer, si possible, la prestation de services juridiques par téléphone dans la province. Outre l’examen de la teneur de l’information diffusée, de l’utilité et des répercussions des services offerts aux clients, l’évaluateur a reconnu qu’il était important de tenir compte d’autres variables comme l’ordonnancement, le cadre ambiant et l’aménagement des bureaux, la formation et le perfectionnement du personnel ainsi que le contrôle de la qualité. 

Éléments communs

•	Évaluation externe 
•	Lorsque l’évaluation a été menée, les services étaient déjà dispensés depuis sept ou huit ans. Bien que les bibliothécaires consignent chaque mois des statistiques sur les appelants, aucune évaluation officielle n’avait encore eu lieu.
•	Selon l’évaluateur, les méthodes employées pour contrôler la qualité, comme le fait « d’écouter » la conversation téléphonique, aident à garantir que l’information offerte est exacte, appropriée et suffisante, et que les réponses sont données d’une manière cohérente. On a conseillé de procéder à un contrôle continu de la qualité et recommandé d’accroître le contrôle interne au moyen de manuels d’information, d’ateliers et de discussions.

Défis relatifs à l’évaluation des initiatives de VIJ

•	Le personnel a lui-même choisi les « clients » qui participeraient à l’étude. Par conséquent, on a écarté toute personne qui réagirait de manière trop émotive et les cas où des obstacles pourraient surgir sur le plan linguistique. Cette démarche pourrait être la cause de certaines inexactitudes puisque l’étude ne tient pas compte des personnes qui ne parlent pas couramment l’anglais ni de celles qui ont des traits de personnalité particuliers.
•	Lorsque le personnel participe à l’évaluation, on risque davantage d’obtenir des données incomplètes parce que la charge de travail normale augmente (l’employé doit recueillir l’information et consigner sa réponse en plus d’exécuter ses tâches habituelles). Ainsi, on a constaté qu’on avait omis d’inclure certains aspects des « réponses » communiquées aux clients.
•	Il est difficile de garantir que les méthodes d’évaluation conviennent à tous les utilisateurs de services et à tous les usages qui en sont faits. Par exemple, même si le service est principalement fourni au moyen du téléphone, il n’est pas rare qu’on reçoive par courrier des demandes visant de l’information juridique. Ces demandes ne sont pas incluses dans l’étude puisque le profil des clients n’est brossé qu’à partir des appels d’arrivée.

Liens entre les buts et l’évaluation des initiatives de VIJ

•	Le personnel a indiqué dix questions sur les services offerts et il souhaitait qu’on y réponde dans le cadre de l’évaluation. De plus, il estimait que l’évaluation externe permettait d’obtenir [TRADUCTION] « non seulement des données quantifiables qui portent sur les « faits », mais aussi un nouveau point de vue objectif sur le travail effectué, pour le compte du personnel lui-même » (p. 2).

Méthodes relatives à l’évaluation

•	Au cours de l’appel initial, le personnel utilise un formulaire d’information sur le client (élément statistique)
o	Le personnel suit une formation pour ce qui est de la manière d’utiliser le formulaire
•	On obtient une évaluation détaillée de la part du client au moyen d’un entretien téléphonique (rappel) 
o	 On a choisi les clients au hasard (1 sur 10) et on les a rappelés deux semaines après l’appel initial
•	Des avocats d’un autre bureau vérifient l’exactitude et la pertinence de l’information juridique communiquée
•	Entrevues approfondies et non officielles avec le personnel
•	Observations  

Prairie Research Associates, The Coopers and Lybrand Consulting Group et Linden, R.  (1991).  Evaluation of the legal aid Manitoba expanded eligibility program (Évaluation du programme d’admissibilité élargie des services d’aide juridique du Manitoba). Sous-direction de la recherche et du développement, ministère de la Justice du Canada.  

Aperçu général

Même si, dans ce rapport, on ne cherche pas à évaluer un aspect quelconque de la VIJ, deux « questions principales », parmi celles qui sont isolées aux fins de l’évaluation, constituent couramment un objectif de l’évaluation des initiatives de VIJ. Il s’agit de la satisfaction du client et de l’examen de l’attitude envers le programme (dans ce cas-ci, il était question du remboursement de droits). Les questions sont divisées en catégories, lesquelles sont elles-mêmes sous-divisées en sujets précis. Il s’agit là d’une démarche utile puisque [TRADUCTION] « de nombreuses sources raffermissent les conclusions et offrent une base solide pour établir les  recommandations » (p. 5). Les conclusions sont également organisées en fonction des méthodes utilisées pour recueillir l’information (à savoir, enquête, entrevue, examen du dossier) et de la population à laquelle une question serait adressée. Même s’il faut beaucoup de temps pour élaborer des questionnaires distincts destinés à chaque groupe de sujet interrogés, il faut souvent procéder ainsi parce que les clients et le personnel ont une façon unique de voir le matériel et les programmes. Qui plus est, il est préférable d’adapter les questions à des clients ou des élèves précis en tenant compte de leurs connaissances, de la mesure dans laquelle ils ont accès à l’information et de l’utilisation qu’ils font de cette information. Dans ce rapport, les évaluateurs d’initiatives de VIJ pourront trouver utile l’information qui se trouve à la section intitulée « Méthodologie ». Comme dans la plupart des cas, il faut en modifier la teneur pour tenir compte de l’évaluation continue du projet, mais on présente dans le document les étapes pertinentes à l’utilisation de chaque type d’outil.

Éléments communs

•	Évaluation externe
•	L’évaluation a été menée un an après le début du programme pilote 
•	On fait mention dans l’évaluation des principales questions à examiner (il s’agit en quelque sorte des buts à atteindre)
•	Les recommandations portent entre autres sur les mécanismes qui aident à assurer une gestion efficiente, et notamment sur des mécanismes de contrôle continu 

Défis relatifs à l’évaluation des initiatives de VIJ

•	Il a été difficile de communiquer avec la population cible : en effet, dans environ 40 % des cas, la personne contactée n’avait pas le téléphone ou le numéro qui figurait au dossier était inexact.

Méthodes relatives à l’évaluation 

•	Les sources de données comprennent ce qui suit : examen des dossiers administratifs, demandes d’admissibilité, information comptable, examen du dossier relatif à la gestion des cas, enquêtes et entrevues
•	L’examen de l’information comptable était très poussé en raison de la nature du projet 
•	On rend compte, dans le rapport, de la manière dont on a utilisé différents outils d’évaluation (c’est-à-dire qu’on indique quelles étapes ont été suivies dans le cas de l’examen du dossier administratif, des enquêtes menées auprès des clients, des entrevues qui ont eu lieu avec les membres du barreau, etc.)

5.0	Aperçu des conclusions

On ne peut prétendre que les résumés qui se trouvent à la présente section soient complets. À partir de tous les documents annotés, nous avons compilé diverses conclusions et observations sous les quatre thèmes qui sont régulièrement repris. Les questions énumérées sous chaque thème renvoient à des conclusions importantes, déterminées en fonction de la fréquence ou de la force de l’argument soutenu. À la fin, nous avons ajouté une cinquième catégorie, dans laquelle nous soulignons les lacunes qui existent dans les documents existants, pour ce qui est de la recherche et des connaissances.  

5.1 	Défis relatifs à l’évaluation des initiatives de VIJ  

Après avoir passé les annotations en revue, il devrait sauter aux yeux qu’il reste de nombreux défis à relever au chapitre de l’évaluation des initiatives de VIJ. Ces défis comprennent notamment ce qui suit :

•	Lorsqu’on cherche à obtenir une rétroaction de la part des intéressés, il faut couramment surmonter des obstacles linguistiques. Il faut compter avec ceux qui ne parlent pas la langue de la majorité mais aussi avec le « jargon des juristes », c’est-à-dire la terminologie complexe qui est employée pour faire comprendre des notions juridiques.
•	Il n’existe aucune définition concise de la VIJ et il est souvent difficile de distinguer entre la prestation d’information et la prestation de conseils juridiques.
•	Lorsque les coûts de l’examen ne posent pas de problème, il reste à savoir s’il est préférable d’avoir recours à un évaluateur interne ou à un évaluateur externe. D’une part, les fournisseurs de services de VIJ souhaitent qu’une évaluation externe soit menée parce que cette démarche serait plus objective. D’autre part, certains soutiennent qu’il faut qu’il y ait un lien avec le programme et la collectivité : cet élément de l’évaluation garantit qu’on tiendra compte du contexte, à partir duquel on peut examiner les avantages du projet.
•	Lorsqu’on entreprend l’évaluation d’un programme, on doit faire face à deux difficultés : les coûts élevés qu’entraîne un examen externe par rapport à la « perte d’heures de travail » pour le personnel. 
•	Il est difficile de mesurer les buts énoncés (par exemple, lorsque le but du projet est de diffuser de l’information juridique, il n’est pas aisé de déterminer pourquoi ou comment le programme a échoué ni d’expliquer les raisons pour lesquelles on N’A PAS ATTEINT le groupe cible). 
•	On ne peut comparer les répercussions qui découlent de modes de prestation distincts (par exemple, comment comparer les effets d’une brochure à ceux d’un atelier de trois jours ?).
•	Dans le cadre de certaines initiatives de VIJ, on tente de répondre aux besoins collectifs et chroniques de personnes à faible revenu, mais il peut être difficile de quantifier les répercussions de la mesure sur la collectivité. Comme tels, les buts qu’on cherche à atteindre constituent un défi lorsqu’il s’agit d’attester des résultats.
•	Des différences de classe, de race ou de niveau social entre les évaluateurs, d’une part, et les clients, les élèves ou les participants, d’autre part, ont une influence sur la façon dont on perçoit les programmes et sur la manière dont on mesure le succès.
•	Il n’existe pas de définition précise de l’évaluation et on n’arrive pas à s’entendre sur le sens de ce terme. Selon un auteur, l’évaluation est « un grand fourre-tout ». Outre les évaluations externes, on peut (et on devrait) considérer de nombreuses activités comme des formes d’évaluation légitimes. Voici quelques exemples : études comparées, pré-testage du matériel, évaluations par courrier-réponse, études des répercussions, études périodiques, formation en cours d’emploi, rapports annuels, analyse de la couverture par les média, examen des listes de distribution, rétroaction des populations cibles, étude des statistiques, compilation des statistiques, suivi mené auprès des clients et comptes rendus destinés au bailleur de fonds (voir Lane, 1984). 
•	Lorsque l’évaluation est faite principalement au moyen de commentaires verbaux (anecdotes et discussions), il peut être difficile de rendre compte par écrit des réactions et de refléter les véritables répercussions du programme.  
•	Le personnel et les avocats n’ont pas les compétences voulues pour procéder à une évaluation.
•	Il n’est pas aisé d’évaluer des outils de VIJ comme les programmes dispensés sur Internet.
•	Les enquêtes menées à la suite des programmes ne permettent pas de déterminer si l’information est assimilée ou appliquée.
•	Il y a de multiples obstacles à franchir lorsqu’on cherche à déterminer si les activités de VIJ se chevauchent.

5.2	Liens entre les buts et l’évaluation des initiatives de VIJ  

Les organisations, les écoles, les organismes et les gouvernements ont recours aux activités de VIJ pour atteindre une vaste gamme d’objectifs. Dans les documents étudiés, on propose de tenir compte de ces buts et objectifs lorsqu’on élabore des outils et des méthodes pour les fins de l’évaluation. Voici quelques conclusions connexes :

•	On ne peut souligner suffisamment qu’il importe de définir l’objet de l’évaluation. Un fournisseur de services de VIJ formule la question en ces termes : « Qu’essayons-nous de mesurer ?  L’acquisition de connaissances au sujet de textes de loi précis ou le fait de prendre conscience d’un texte législatif, les effets de discussions cruciales et éclairées, une politique gouvernementale, l’acquisition de compétences au chapitre de l’auto-assistance, le degré d’habilitation au sein de collectivités locales, enfin, quoi au juste ? » (Moliner, 1997, p. 43).
•	Les buts et les objectifs de l’évaluation doivent tenir compte des caractéristiques des populations cibles et des milieux d’apprentissage.

5.3	Exigences du bailleur de fonds au chapitre de l’évaluation

Il arrive souvent que le bailleur de fonds dirige l’évaluation ou demande qu’on procède à un examen, et ses objectifs, pour ce qui est d’obtenir et d’utiliser les résultats du rapport, ne sont pas nécessairement les mêmes que ceux du fournisseur de services. On peut donc soulever les points suivants au chapitre des objectifs du bailleur de fonds : 

•	Le bailleur de fonds doit « assumer la responsabilité » des projets de VIJ qu’il soutient, ce qui peut être réalisé s’il aide à produire une évaluation positive. 
•	Pour ce qui est de l’examen des répercussions, on ne doit pas se limiter à poser de simples questions (à jauger la satisfaction du client, par exemple) si on veut contribuer à améliorer la prestation des services. Parmi les éléments importants de toute évaluation, il y a la responsabilisation concernant la prestation des programmes proposés et l’approbation générale. Cependant, ces mesures ne nous renseignent pas suffisamment sur l’efficacité et la pertinence des initiatives (du point de vue de leur teneur et de leur présentation).  
•	Le bailleur de fonds peut saper les efforts déployés dans le cadre de la prestation des services de VIJ s’il interprète étroitement les buts et les réalisations en vue de justifier une réduction du financement. 
•	Lorsque les activités de VIJ sont liées aux services offerts par les bureaux d’aide juridique (comme c’est le cas en C.-B. et en Ontario), il est plus probable que l’évaluation serve à éliminer un programme, puisque les restrictions budgétaires et les modifications peuvent être imposées sans préavis approprié.
•	Une interprétation erronée des résultats de l’évaluation entraîne de mauvaises décisions au chapitre des priorités et du financement.
•	Comme on le fait remarquer dans une évaluation de l’aide juridique menée en 1984, des restrictions budgétaires ont modifié le niveau des services offerts et l’orientation principale des politiques.
•	Parce qu’ils n’ont aucune source stable de financement, de nombreux fournisseurs ne peuvent élaborer des moyens innovateurs de fournir des services de VIJ aux populations cibles. Ils ne peuvent également examiner de nouvelles questions et initiatives. Ce sont principalement ceux qui jouissent d’un financement sûr qui se penchent sur des questions comme l’amélioration de l’accès à la justice, l’alphabétisation juridique, l’intelligibilité et la lisibilité des textes de loi et sur des sujets analogues.
•	Lorsque les paramètres de l’évaluation sont définis par le bailleur de fonds, il arrive souvent qu’on ne tienne pas compte des besoins culturels propres au groupe cible, ce qui ne permet pas d’examiner avec justesse l’efficacité des programmes.
•	Parce que le bailleur de fonds et le fournisseur de services de VIJ ont des buts et des intérêts différents, ils privilégient des modes d’évaluation distincts (par exemple, des mesures quantitatives plutôt que des mesures qualitatives et la production d’extrants par rapport à l’obtention de résultats non concrets). 

5.4	Méthodes relatives à l’évaluation

Il existe de très nombreuses méthodes d’évaluation. Dans la liste suivante, qui est loin d’être complète, on trouvera celles qui sont fréquemment citées dans les documents étudiés :
 
•	Toute une gamme d’enquêtes et de questionnaires
•	Discussions dénuées de formalité, entrevues semi-structurées, suivi relatif à un cas et examen du dossier
•	Groupes de concertation et consultations 
•	Pré-testage et post-testage pour mesurer les connaissances et connaître les attitudes
•	Observation 
•	Révision par les pairs et examen, par un spécialiste, de l’exactitude de l’information juridique communiquée
•	On reconnaît de plus en plus qu’il est préférable de faire appel, concurremment, à des méthodes qualitatives et à des méthodes quantitatives. Grâce à cette démarche mixte, on obtient une évaluation plus complète et détaillée, et on encourage l’élaboration de modes inédits de collecte de données et de documentation. 

5.5	Lacunes au chapitre de la recherche et des connaissances

Dans la présente bibliographie, nous passons en revue des écrits universitaires ainsi qu’un échantillonnage complet de rapports d’évaluation et de documents gouvernementaux (selon ce qui existe à l’heure actuelle). Les lacunes signalées ci-dessous se rapportent à l’évaluation des initiatives de VIJ et elles devraient servir de point de départ pour les recherches à venir. 

•	En règle générale, il n’y a pas d’évaluation des initiatives de VIJ, sauf dans une ou deux organisations.
•	Il nous faut plus de publications qui contiennent une liste des documents de VIJ, à l’instar de ce qu’on trouve, par exemple, dans l’ouvrage intitulé Inventory of Public Legal Education and Information Materials and Programs Related to Crime Prevention and Victims (Inventaire des documents et des programmes de vulgarisation et d’information juridiques qui ont trait aux victimes et à la prévention de la criminalité), à la section relative à l’examen des écrits dans le document intitulé Au-delà de l’aspect criminel : rapport sur la pénurie de documents de vulgarisation et d’information juridiques à l’intention des immigrantes maltraitées par leur mari et, enfin, à la rubrique Compendium of Sources (Abrégé des sources), dans le rapport du Partenariat d’éducation sur la justice applicable aux adolescents (PÉJA).
•	On accorde peu d’attention à la possibilité de créer des partenariats entre les barreaux provinciaux et territoriaux, les ministères, les cliniques d’aide juridique et les organisations communautaires.
•	On utilise mal les données recueillies. En raison de contraintes de temps, il arrive souvent qu’on classe dans un dossier l’information colligée, de sorte qu’elle n’est jamais « examinée » ni intégrée à la conception d’un programme subséquent. De plus, en règle générale, les organisations ne partagent pas entre elles les résultats des évaluations, ce qui entraîne un chevauchement des efforts. Enfin, parce qu’on ne consulte pas suffisamment les évaluateurs externes ou qu’il n’y a pas de discussion appropriée au sujet de la teneur du programme et des méthodes retenues, on obtient du matériel qui n’est d’aucune utilité en ce qui concerne la conception des programmes ou dont on ne tient pas compte parce que les sentiments ont été blessés dans le cours du processus. 
•	Dans les rapports d’évaluation étudiés, on signale rarement que les conclusions ou les recommandations ont été appliquées à des projets externes.
•	Il y a des lacunes permanentes au chapitre de l’examen des besoins et de la définition des priorités. 
•	À l’exception d’un ou deux documents, aucun rapport d’évaluation (qui porte ou non sur des activités de VIJ) ne signale le lien qui existe entre l’évaluation des programmes et les contraintes monétaires.
•	Il faut étudier davantage les répercussions de la technologie sur l’accès aux services de VIJ.
•	Sauf dans un cas, comme nous l’avons signalé, on n’examine pas le lien qui existe entre divers outils d’évaluation et la méthodologie (par exemple, entre des données quantitatives et qualitatives). 
•	Dans les rapports d’évaluation, on semble privilégier les données quantifiables, qui sont considérées comme plus « réelles ». Comme nous l’avons signalé ailleurs dans la bibliographie, cette supposition ne reflète pas nécessairement les objectifs et les buts de nombreuses initiatives de VIJ, pour lesquelles il est plus approprié de recourir à diverses méthodes d’évaluation qualitatives. 

Références

Articles de publications universitaires

Accongio, J. L. et Vaughn, B. B.  (1987).  Evaluating law-related educational programs: A case study.  International Journal of Social Education: Law-Related Education Issue, 2(2), 69.

Barry, M. M.  (1999).  Accessing justice: Are pro se clinics a reasonable response to the lack of pro bono legal services and should law school clinics conduct them? Fordham Law Review: Special Issue, 67, 1879-1926.

Bowal, P.  (1998).  A study of lay law knowledge in Canada. Indiana International and Comparative Law Review, 9, 121-141. 

Brustin, S.  (1993).  Expanding our vision of legal services representation: The hermanas unidas project.  American University Journal of Gender and the Law, 1, 39-59.

Eagly, I.V.  (1998).  Community education: Creating a new vision of legal services practice.  Clinical Law Review, 4(4), 433-484.

Hunter, R. et Genovese, A.  (2000).  Qualitative aspects of quality: An Australian case study.  University of British Columbia Law Review, 33(2), 319-342.

Houseman, A.  (1998).  Civil legal assistance for the twenty-first century: Achieving equal justice for all. Yale Law and Policy Review, 17, 369-433.

McDonald, S.  (2000).  Beyond caselaw: Public legal education in Ontario legal clinics. Windsor Yearbook of Access to Justice, 18, 3-59.

McDonald, S. en collaboration avec Cross, P.  (2001).  Women’s voices being heard: Responsive lawyering.  Journal of Law and Social Policy, 16, 207-239. 

Report of the working group on assessment of systems for delivering legal services. (1999).  Fordham Law Review: Special Issue, 67, 1869-1878.

Powers, L.  (1997).  Legal needs studies and public funding for legal services: One state’s partial success. Dickinson Law Review, 101, 587-600.

Tull, J. A.  (1994).  Assessing quality and effectiveness in legal services programs for the poor.  International Journal of the Legal Profession, 11, 211. Il nous a été impossible de retrouver ce titre.

Documents gouvernementaux

Abdelahad, L., Sansfacon, D. et Beaulne, A.  (1989).  Access to justice: research reports on PLEI, research notes. Sous-direction de la recherche et du développement, ministère de la Justice du Canada.  

Alderson-Gill and Associates.  (1995).  Public legal education and information program: A new vision for PLEI.  Ministère de la Justice du Canada.  

Brantingham, P. et Brantingham, P.  (1984).  An evaluation of legal aid in British Columbia.  Bureau de l’évaluation des programmes et de la vérification interne, ministère de la Justice du Canada.

Currie, J. et Roberts, T.  (1984).  An evaluation resource book for PLEI organizations: A proposal.  Ministère de la Justice du Canada. 

D.H. Access Research Associates Inc.  (1986).  A survey of Canadian PLEI providers.  Section de la recherche et de la statistique, ministère de la Justice du Canada. 

Ellis, P.  (1995). Les programmes éducatifs visant à modifier les connaissances, les attitudes et le comportement des jeunes. Direction générale de la recherche, de la statistique et de l’évaluation, ministère de la Justice du Canada.  

Fenton, R.  (1974). PLE and access to the law: A report to the justice development commission.  

Godin, J.  (1994). Au-delà de l’aspect criminel : rapport sur la pénurie de documents de vulgarisation et d’information juridiques à l’intention des immigrantes maltraitées par leur mari. Section de la recherche, ministère de la Justice du Canada. 

Inventory of Public Legal Education and Information Materials and Programmes Related to Crime Prevention and Victims.  Ministère de la Justice du Canada. Extrait le 24 décembre 2001, à partir du site suivant : http://www.acjnet.org/home.cfm. 

McCamus, J.  (1997).  Report on legal aid in Ontario: A blueprint for publicly funded legal services.  Toronto : ministère du Procureur général de l’Ontario. Voir le document de référence : Charendoff, M., Leach, M. et Levy, T. (1997).  Legal aid delivery models. 

Moliner, M.  (1997).  Public legal education and information review: Tools for moving forward.  Direction générale des programmes, ministère de la Justice du Canada.
Public legal education and information: An evaluation assessment.  (1986).  Section de l’évaluation des programmes, ministère de la Justice du Canada. 
Rapports d’évaluation

Brantingham, P. et Brantingham, P.  (1984).  An evaluation of legal aid in British Columbia.  Bureau de l’évaluation des programmes et de la vérification interne, ministère de la Justice du Canada.  Disponible auprès du Legal Resource Centre, Legal Studies Program, University of Alberta.

Burtch, B. et Reid, K.  (1993).  Discovering barriers to legal education: First-generation immigrants in greater Vancouver.  Vancouver: The People’s Law School.

Comité permanent de l’Association du Barreau canadien, Comité national de liaison sur l’aide juridique. (1987).  Legal aid delivery models: A discussion paper.  Disponible auprès du Legal Resource Centre, Legal Studies Program, University of Alberta.

Currie, A.  (1999).  Modèles de prestation de l’aide juridique au Canada : expériences passées et orientations futures. Division de la recherche et de la statistique, ministère de la Justice du Canada. 

Currie, A. et McEwon, C.  (1998). L’autoreprésentation assistée dans le cadre des services d’aide juridique en matière pénale: expérience liée à la prestation de services restreints.  Division de la recherche et de la statistique, ministère de la Justice du Canada.

Currie, J. et Roberts, T.  (1986).  An evaluation resource book for public legal education and information organizations.  Section de la recherche et de la statistique, Direction des politiques, des programmes et de la recherche, ministère de la Justice du Canada.  

Curtis, C. K. et Meehan, G.  (2001).  Courtlink auto crime prevention program: Evaluation report.  Vancouver: Law Courts Education Society of British Columbia.

D.H. Access Research Associates Inc.  (1987).  Evaluation of the Public Legal Information Association of Newfoundland.  Ministère de la Justice du Canada. 

Ellis, D.  (1997).  Program review.  Vancouver: The People’s Law School.  

Hessing, M. et Thompson, L.  (1984).  The telephone legal information service of the legal resource centre of British Columbia: Evaluation report. Disponible auprès du Legal Resource Center, Legal Studies Program, University of Alberta.

Hikel, R., Meredith, C., Wihak, C. et Woods, A. (ABT Associates of Canada).  (1986). Evaluation of the Community Legal Education Association [Manitoba].  Ministère de la Justice du Canada. 

Hikel, R., Meredith, C., Wihak, C. et Woods, A. (ABT Associates of Canada).  (1987). Evaluation of the Yukon Public Legal Education Association. Ministère de la Justice du Canada.  

Lane, M. E.  (1984).  Public legal education and information in Ontario: A preliminary enquiry. Toronto : Canadian Law Information Council.

Law Courts Education Society of British Columbia.  (2000).  Journeys of justice First Nations research project: Final report.  Vancouver: Law Courts Education Society of British Columbia.
1.1	
Prairie Research Associates, The Coopers and Lybrand Consulting Group et Linden, R.  (1991).  Evaluation of the legal aid Manitoba expanded eligibility program. Sous-direction de la recherche et du développement, ministère de la Justice du Canada.  

Shariff, S.  (2000).  Identifying successful school and community programs for youth: An evaluation rubric and compendium of sources – DRAFT.  Partenariat d’éducation sur la justice applicable aux adolescents, ministère de la Justice du Canada. Extrait le 20 décembre 2001, à partir du site suivant : http://www.extension.ualberta.ca/youthjustice/rubric.htm. 

Sy, S. S. et Anderson, K.  (1999).  Violet: Learning on the net. Final report to the Office of Learning Technologies. Extrait le 24 décembre 2001, à partir du site suivant : http://www.acjnet.org/home.cfm. 

The People’s Law School.  (1994).  Report of the multicultural and immigrant seniors legal education project, 1992-1994.  Vancouver: The People’s Law School. 

Whyte, K. J.  (2000).  Native youth at risk courtlink program: Pilot project evaluation report.  Vancouver: Law Courts Education Society of British Columbia.  

Annex A : L’art et la science de l’évaluation*

Allison Mackenzie, Law Society of Alberta
Présentation PowerPoint

L’art et la science de l’évaluation
Qu’est-ce que l’évaluation?

•	Utiliser la science pour répondre à la question « Comment nous en sommes-nous tirés? – Que pouvons-nous améliorer? »
•	L’évaluation systématique des programmes constitue la base pour montrer notre valeur.
•	Nous devons entreprendre une évaluation rigoureuse des programmes pour montrer notre valeur.

Pourquoi évaluer?

•	Recueillir des données pour justifier la mise en œuvre de programmes.
•	Déterminer de nouveaux besoins.
•	Déterminer ce qui fonctionne et surtout ce qui doit être affiné.

Pourquoi évaluer?

•	Mesurer l’incidence ou l’efficacité des programmes en ce qui a trait aux buts et aux objectifs.
•	Vous savez ce que vous présentez / avez l’intention de présenter – savez-vous ce qui est réellement offert?

Établir l’étape de l’évaluation

•	Avez-vous un plan formel pour les activités de toute l’organisation et pour chacune des initiatives?
•	Avez-vous établi des objectifs pour le programme et des résultats afin de fournir une base pour l’évaluation de vrais résultats?

Préparer l’évaluation

•	Est-ce que les buts de votre projet sont liés aux buts de l’organisation? Avez-vous déterminé votre propos, vos messages, les publics cibles et les résultats souhaités?
•	Il est difficile de mesurer la VJ, car il faut mesurer les changements d’attitude, de croyances et de perceptions.

Outils?

•	Il n’existe pas d’outils pour mesurer l’efficacité de la VJ.
•	Utiliser une combinaison d’outils et de techniques de mesure et d’évaluation pour établir des repères pour le programme.
•	Déterminer le succès des mesures prises
Techniques

•	Analyse du contenu des médias
•	Analyse du cyberespace
•	Mesure des salons professionnels et des activités (toujours après, jamais pendant)
•	Servent de base à une prise de décisions judicieuses.

Groupes de consultation

•	Il faut avoir un animateur ayant reçu une formation spéciale.
•	Permettent d’obtenir des résultats qualitatifs au sujet des opinions et des impressions.
•	Lorsqu’il s’agit du suivi d’un sondage – permettent d’obtenir plus de détails sur des questions pour vous aider à comprendre les réponses que les participants ont donné.

Groupes de consultation informels

•	Réunissez un groupe de volontaires – groupe communautaire, amis – demandez-leur d’examiner votre brochure ou vos documents et de vous faire part de leur opinion.
•	Discutez avec eux afin de découvrir ce qui fonctionne et ce qui ne fonctionne pas.
•	Créez un croupe de consultation en ligne.

Groupes de consultation informels

•	Déterminez le sujet et fixez un délai.
•	Demandez à un collègue qui connaît le sujet d’animer la discussion.
•	Invitez les intervenants clés à participer.
•	Assurez une surveillance; demandez des précisions à l’animateur.
•	Les résultats peuvent être utilisés pour l’examen ou l’évaluation des besoins.

Entrevues

•	Discutez avec les gens – qu’en pensent-ils, quelles sont leurs impressions – préparez les questions à l’avance.
•	Demandez aux gens qui s’occupent de la mise en œuvre, aux employés et aux participants comment ils perçoivent une question.
•	Demandez l’avis des gens au sujet des questions.
•	Des entrevues individuelles (longues) peuvent être particulièrement utiles.

Analyse du contenu

•	L’analyse du contenu est une forme d’analyse systématique qui se fonde sur des éléments clairement définis.
•	Pour toute question au sujet de laquelle vous mettez en œuvre un programme – surveillez les journaux locaux.
•	Faites de la recherche sur Internet – quelles sont les fausses perceptions les plus fréquentes – qu’avez-vous l’intention de changer – quelle attention ces questions reçoivent-elles – p. ex. : les perceptions concernant le contrôle des armes à feu.
•	Quels mots ou figures de style  sont utilisés pour décrire le sujet?
Autres outils quantitatifs

•	Appels téléphoniques
•	Courriels
•	Visites sur le site Web.

5 trucs pour l’évaluation

Truc no 1

•	Établissez avec soin les objectifs de votre programme.
•	Rappelez-vous que l’évaluation commence lors de la planification.
•	Évaluer signifie plus qu’évaluer la mesure dans laquelle le programme a été mis en œuvre – est-ce que les participants ont appris quelque chose? Leur opinion a-t-elle changé?
•	Est-ce que le programme a fait ce pour quoi il avait été créé?

Truc no 2

•	Envisagez la possibilité de demander à quelqu’un d’autre de faire l’évaluation.
•	Collègue ou coéquipier.
•	Vous voulez avoir une rétroaction impartiale et indépendante.

Truc no 3

•	L’évaluation n’a pas besoin de coûter cher.
•	Les conférences et les salons professionnels – un simple sondage à la sortie, comme celui que nous utiliserons aujourd’hui.
•	Évaluation des documents imprimés – études d’audiences peu coûteuses.
•	Site Web – demandez aux visiteurs de faire part de leurs commentaires.

Truc no 4

•	Faites l’évaluation lorsque le programme est en cours ou lors du cycle de planification annuelle
•	On peut tenir compte des résultats lors de la planification.

Truc no 5 – Engagez-vous à prendre des mesures à partir des résultats

•	Engagez-vous à prendre des mesures à partir des résultats de l’évaluation.
•	Sans intérêt si des mesures ne sont pas prises.
•	Essentiel si les résultats sont utilisés pour rectifier, apprendre et affiner.

Annex B : Normes relatives à l’évaluation, à la publication, aux séminaires et aux conférences

Community Legal Education Association

Normes d’évaluation

Objectif

1.	Ces normes servent de directives pour l’évaluation des activités de la CLEA.

Méthodes d’évaluation

2.	Les méthodes d’évaluation doivent être utilisées pour mesurer l’efficacité des activités à atteindre leurs objectifs.

3.	Les méthodes d’évaluation peuvent comprendre :

-   l’utilisation de formulaires d’évaluation approuvés;
-   des entrevues téléphoniques;
-   des entrevues individuelles;
-   des appels téléphoniques spontanés;
-   l’évaluation, par les clients, des documents écrits.

4.	L’évaluateur peut être un employé ou un consultant externe.

Questionnaire d’évaluation

Pour aider la Community Legal Education Association dans ses futurs projets, veuillez remplir ce questionnaire d’évaluation.

Date :________________________

1.  Comment avez-vous entendu parler de cette activité? (cochez toutes les réponses qui s’appliquent)

amis ou parents ___			radio___			bibliothèque___

télévision___				journaux___			autre______________

2.  Quelle a été la plus grosse difficulté que vous avez dû surmonter pour pouvoir participer à cette activité?

horaire___				gardienne d’enfant___	transport____

délai de l’annonce___		autre________________

3.  Pourquoi êtes vous venu à cette activité d’information juridique?

information générale___		problème particulier___	autre______________

4.  Veuillez évaluer le caractère pratique de l’activité selon les critères suivants :

			FAIBLE						EXCELLENT
heure			1		2		3		4		5
lieu			1		2		3		4		5

5.  Si la CLEA ou le conférencier vous a fait parvenir des documents écrits avant le cours, veuillez évaluer ces documents selon les critères suivants :

			FAIBLE						EXCELLENT
compréhensibles	1		2		3		4		5
intéressants		1		2		3		4		5

			TROP							PAS ASSEZ
quantité		1		2		3		4		5

6.  Veuillez évaluer le conférencier d’aujourd’hui selon les critères suivants :

			FAIBLE						EXCELLENT
compréhensible	1		2		3		4		5
intéressant		1		2		3		4		5
polyvalent		1		2		3		4		5
dans l’ensemble	1		2		3		4		5

7.  Avant cette activité, connaissiez-vous ce sujet?

beaucoup___		idées principales___		très peu___		pas du tout___

8.  Maintenant, connaissez-vous ce sujet?

beaucoup___		idées principales___		très peu___		pas du tout___

9.  Seriez-vous intéressé à participer à une autre séance d’information parrainée par la CLEA?

oui___					non___				peut-être___

Si vous avez répondu non, pourquoi?

10.  Quels autres domaines du droit vous intéressent?

protection des consommateurs___	séparation et divorce___	impôt sur le revenu___

droits de la personne___		immigration et réfugiés___	carrière en droit___

11.  Avez-vous des commentaires, des questions ou des préoccupations concernant le présent programme ou les programmes à venir?

Questionnaire d’évaluation

Pour aider la Community Legal Education Association à maintenir un service de haute qualité grâce à son Bureau de conférenciers, veuillez remplir le présent questionnaire.

Date :______________________

1.  Comment avez-vous entendu parler du Bureau de conférenciers de la CLEA?

Brochure de la CLEA___	bouche à oreille___	répertoire de services publics___

autres___

2.  Si la CLEA ou le conférencier vous a fait parvenir des documents écrits avant le cours, veuillez évaluer ces documents selon les critères suivants :

			FAIBLE						EXCELLENT
compréhensibles	1		2		3		4		5
intéressants		1		2		3		4		5

			TROP							PAS ASSEZ
quantité		1		2		3		4		5

3.  Veuillez évaluer le conférencier d’aujourd’hui selon les critères suivants :

			FAIBLE						EXCELLENT
compréhensible	1		2		3		4		5
intéressant		1		2		3		4		5
polyvalent		1		2		3		4		5
dans l’ensemble	1		2		3		4		5

4.  Êtes-vous intéressé à faire de nouveau appel au Bureau de conférenciers?

oui___					non___				peut-être___

5.  Quels autres domaines du droit vous intéressent?

protection des consommateurs___	séparation et divorce___	impôt sur le revenu___

droits de la personne___		immigration et réfugiés___	autre___

6.  Avez-vous des commentaires, des questions ou des préoccupations concernant le Bureau de conférenciers?

Questionnaire d’évaluation

Pour aider la Community Legal Education Association à maintenir un service de haute qualité grâce à son Bureau de conférenciers, veuillez remplir le présent questionnaire.

Date :_____________________

1.  Si la CLEA ou le conférencier vous a fait parvenir des documents écrits avant le cours, veuillez évaluer ces documents selon les critères suivants :

			FAIBLE						EXCELLENT
compréhensibles	1		2		3		4		5
intéressants		1		2		3		4		5

			TROP							PAS ASSEZ
quantité		1		2		3		4		5

2.  Veuillez évaluer le conférencier d’aujourd’hui selon les critères suivants :

			FAIBLE						EXCELLENT
compréhensible	1		2		3		4		5
intéressant		1		2		3		4		5
polyvalent		1		2		3		4		5
dans l’ensemble	1		2		3		4		5

3.  Avant cette activité, connaissiez-vous ce sujet?

beaucoup___		idées principales___		très peu___		pas du tout___

4.  Maintenant, connaissez-vous ce sujet?

beaucoup___		idées principales___		très peu___		pas du tout___

5. Seriez-vous intéressé à participer à une autre séance d’information juridique? 

oui___				non___				peut-être___

Si vous avez répondu non, pourquoi?

6.  Quels autres domaines du droit vous intéressent?

protection des consommateurs___	séparation et divorce___	impôt sur le revenu___

droits de la personne___		immigration et réfugiés___	carrière en droit___

7.  Avez-vous des commentaires, des questions ou des préoccupations concernant le présent programme ou les programmes à venir?

Le cas échéant, vous pouvez les écrire au dos du présent questionnaire.

Normes de publication

Objectif

1.	Ces normes visent à :

a)	fournir une base pour évaluer et réviser les documents écrits que l’on propose de publier;
b)	fournir des lignes directrices aux auteurs.

Portée des documents écrits

2.1	Les documents écrits visent à informer les lecteurs du fond et du fonctionnement du droit, et à les orienter vers les ressources mises à leur disposition afin de leur permettre d’atteindre des objectifs personnels en matière juridique.

2.2	Les textes destinés au grand public doivent avoir une portée générale et doivent éviter les questions juridiques approfondies, détaillées ou techniques.

2.3	De manière générale, les textes peuvent contenir un glossaire des termes juridiques liés au sujet dont il est question, et un glossaire des textes législatifs contenant la liste des lois liées au sujet et expliquant leur objectif.

2.4	Chaque texte devrait contenir une table des matières qui décrit les sujets principaux et les pages auxquelles il en est question.

Langue des documents

3.1	Il faut éviter d’utiliser, dans la mesure du possible, des termes juridiques spécialisés dans les documents. Lorsqu’un terme est utilisé, il doit être expliqué dès sa première utilisation et il doit être ajouté au le glossaire. Par « terme juridique spécialisé », on entend un mot ou une expression d’une langue donnée qui n’est pas utilisé dans le langage courant ou qui, s’il est utilisé couramment, a une signification qui n’a pas de lien évident avec son sens « juridique ».

3.2	Les textes doivent être écrits dans un langage non sexiste. 

a)	Il faut éviter d’utiliser les pronoms personnels masculins ou féminins (« il », « elle », « ils », « elles », ou « lui », par exemple). Il est préférable d’employer une tournure générique ou neutre.

	On peut toutefois faire exception à cette règle dans les exemples ou les descriptions de faits réels. Dans de tels cas, il est possible d’employer les pronoms personnels masculins et féminins.

b)	Il faut éviter les exemples stéréotypés. Le cas échéant, il faut éviter tout stéréotype.

3.3	Au moment d’appliquer la règle 3.2, il est préférable d’éviter les mots ou les expressions stéréotypés ainsi que les titres génériques formés avec le mot homme, et privilégier les termes génériques qui peuvent désigner à la fois des hommes ou des femmes, comme personnes ou gens, les collectifs et les termes épicènes pluriels.

3.4	Les textes doivent être écrits sur un ton neutre et non condescendant. En particulier, le discours à la deuxième personne, notamment l’utilisation des pronoms personnels « tu » ou « vous » doit être utilisé avec modération.

3.5	Les publications destinées au grand public doivent être bilingues (par opposition aux publications simultanées).

3.6	Les documents produits à l’appui d’un projet particulier doivent être rédigés dans la langue du public visé.

Mise en page et conception graphique

4.1	De manière générale, l’aspect visuel des publications doit être uniforme.

4.2	De manière générale, il faut utiliser l’un des trois formats suivants :

	a)	un dépliant de 21,6 cm x 8,9 cm (8,5 po x 3,5 po)
	b)	un brochure de 21,6 cm x 13,9 cm (8,5 po x 5,5 po)
	c)	un guide à reliure cerlox de 21,6 cm x 25,9 cm (11 po x 8.5 po)

4.3	Le texte doit être imprimé en police Helvetica, ou Geneva, de 10 ou 12 points.

4.4	De manière général, le texte doit être mis en page à simple interligne si on utilise une police de 12 points et à interligne et demi avec une police de 10 points. 

4.5	De manière générale (dans le cas d’une brochure ou d’un guide), il ne devrait pas y avoir plus de deux pages consécutives sans « blanc ». Par « blanc », on entend :

	a)	une espace non imprimée au début ou à la fin d’un sujet;

b)	une illustration ou une combinaison d’illustrations occupant au total au moins 25 % d’une page;

c)	un encadré marginal, occupant au moins 20 % de la page.

4.6	Le cas échéant, les nouveaux sujets doivent commencer sur une nouvelle page.

4.7	De manière générale, si on choisit le format manuel, le texte devrait occuper les 2/3 de la largeur de la page et laisser une marge occupant le tiers de la page permettant d’insérer des « encadrés », le cas échéant.

4.8	a)	Les titres des sujets doivent être séparés du texte qui précède
	et du texte qui suit par un interligne double et doivent être en majuscules, en caractères gras, deux points plus gros que le texte et non soulignés.

b)	les sous-titres doivent être séparés du texte qui précède et du texte qui suit par un interligne double et doivent être en majuscules, en caractère normal, de la même grosseur que le texte et non soulignés.

c)	Les sous-titres secondaires sont à éviter. Si on les utilise, ils doivent être séparés du texte qui précède et du texte qui suit par un interligne double, la première lettre en majuscule, en caractère normal de la même grosseur que le texte et non soulignés.

4.9	Les titres et les sous-titres doivent être justifiés à gauche, sans alinéa.

Sources et désistements

5.1	De manière générale, la paternité des feuillets n’est pas attribuée.

5.2	La paternité des brochures et des manuels n’est pas mentionnée sur la couverture, mais peut être indiquée sur la page de titre intérieure.

5.3	Le nom et le logo de l’Association doit apparaître sur la couverture extérieure, et le nom de l’Association doit apparaître sur la page de titre intérieure.

5.4	L’information sur l’édition doit apparaître au dos de la page de titre intérieure de chaque publication. L’information sur l’édition doit comprendre au moins :

	a)	le titre;
	b)	la déclaration de désistement;
c)	les données de catalogage avant publication (sauf si cela ne s’applique pas);
d)	l’ISBN;
e)	l’avis de droit d’auteur, la date et le nom juridique complet de l’Association;
f)	le nom et l’adresse de l’Association;
g)	le nom des principaux bailleurs de fonds ainsi que tout financement particulier obtenu pour le texte.

5.5	Une fiche d’information doit figurer à la dernière page de chaque document et contenir :

	a)	des renseignements sur les autres publications;
	b)	une note à propos du Law Phone-In et du Lawyer Referral Program
	c)	la déclaration de désistement
	d)	le nom et l’adresse de l’Association.

5.6	La déclaration de désistement suivante doit apparaître au début et à la fin du document :

	[TRADUCTION] « Produit à titre d’information publique par la Community Legal Education Association, un service communautaire sans but lucratif qui offre de l’information juridique aux Manitobains.
	Cette brochure ne contient que des renseignements juridiques de nature générale qui ne constituent pas des avis juridiques. Chaque cas est unique et comporte des questions juridiques qui lui sont propres. Si vous avez besoin d’un avis juridique, veuillez consulter un avocat. Si vous avez besoin d’aide pour trouver un avocat, vous pouvez communiquer avec notre service de référence aux avocats, le Lawyer Referral Service, au 943-2305 ou au 1-800-262-8800 (SI VOUS APPELEZ DE L’EXTÉRIEUR DE WINNIPEG). »

	Cette déclaration peut être accompagnée de toute autre déclaration pertinente.

Nouvelle publication

6.1	Les résultats de l’évaluation doivent être examinés avant toute nouvelle réimpression d’un document.

Normes pour les séminaires

Objectif

1.	Ces normes visent à garantir que les séances d’information juridique parrainées par la CLEA sont accessibles, uniformes et adaptées aux besoins de l’auditoire.

	Ces normes ne s’appliquent pas aux activités que la CLEA appuie mais qui sont parrainées par d’autres organisations.

Lieux physiques

2.1	L’endroit où se tient l’activité doit être entièrement accessible aux personnes en fauteuil roulant.

2.2	Au moment de choisir le local, il faut tenir compte de la proximité des services d’autobus et de la disponibilité des espaces de stationnement.

2.3	Les employés du programme doivent visiter les locaux proposés pour s’assurer eux-mêmes qu’ils sont adéquats et vérifier leur apparence générale avant d’envoyer une confirmation.

2.4	Les employés du programme doivent arriver sur les lieux en avance.

Publicité

3.1	Un plan de publicité provisoire doit être compris dans le plan d’action du programme présenté au Comité des programmes et être modifié selon ses directives.

3.2	Les documents publicitaires doivent mentionner clairement que la CLEA parraine l’activité et indiquer qui sont les autres principaux bailleurs de fonds importants.

3.3	Pour ce qui est de l’identification des conférenciers, les documents publicitaires doivent être conformes aux normes de la CLEA en ce qui a trait aux conférenciers.

3.4	Les documents publicitaires doivent indiquer :

•	la disponibilité d’un service de garde;
•	l’accessibilité;
•	les parcours d’autobus passant à proximité et les stationnements;
•	un numéro de téléphone pour obtenir de l’information et, le cas échéant, une carte de l’endroit.

Documents

4.1	De manière générale, les documents qui seront distribués doivent être préparés au moins deux semaines avant l’activité.

4.2	Des exemplaires des documents qui seront distribués doivent être envoyés aux présentateurs un semaine avant l’activité.

4.3	Le nom de la CLEA et des autres bailleurs de fonds doivent figurer sur tous les documents préparés ou créés pour une activité.

4.4	Les normes de la CLEA concernant les documents écrits doivent être respectées lors du choix et de la préparation des documents.

4.5	Pour chaque événement, les documents préparés doivent comprendre :
•	un ordre du jour;
•	une description des sujets abordés;
•	un outil d’évaluation conforme aux normes d’évaluation de la CLEA;
•	tout autre document pertinent.

Généralités

5.1	L’ordre du jour doit prévoir des pauses santé et des pauses-repas.

5.2	De manière générale, les activités ne devraient pas durer plus de 90 minutes et en aucun cas plus de 2 heures sans pause.

5.3	De manière générale, les activités qui se tiennent en après-midi ne devraient pas se terminer plus tard que 16h.

5.4	Le cas échéant, les documents d’inscription doivent comprendre des porte-nom et des pochettes de documents personnalisées.

Normes pour les conférenciers

Objectif

1.	Ces normes visent à s’assurer que les bénévoles qui présenteront l’information juridique lors d’activités parrainées ou appuyées par la CLEA :

	a)	sont choisis de manière équitable et appropriée;
	b)	sont parfaitement au courant des détails de l’activité;
	c)	sont évalués par les participants;
	d)	connaissent et comprennent les limites relatives à la publicité
personnelle. 

Choix des conférenciers

2.1	De manière générale, la CLEA fait appel à des bénévoles venant du milieu juridique et, si le sujet ou l’occasion le justifie, d’organismes oeuvrant dans le domaine juridique.

2.2	Les bénévoles sont classés par sujet, par médium et par type d’auditoire, selon ce qu’ils ont indiqué.

2.3	La CLEA ne surveille ni ne vérifie les habiletés ou la compétence des bénévoles pour ce qui est des questions relatives à un domaine juridique.

2.4	Le coordonnateur des activités exercera son pouvoir discrétionnaire dans la sélection des bénévoles pour une affectation, à partir des connaissances de la personne, les préférences indiquées par le bénévole et les rapports d’évaluation des autres affectations.

Documents que doit fournir le conférencier / l’organisateur

3.1	Dans chacun des cas, une lettre de confirmation où sont indiqués la date, l’heure, le lieu et le sujet est envoyée au bénévole le jour où l’engagement verbal est pris. La lettre contient également le nom, l’adresse et le numéro de téléphone de la personne-ressource avec qui communiquer pour obtenir plus d’information, ainsi qu’un paragraphe expliquant la règle 5.2 des présentes lignes directrices.

3.2	Lorsque la CLEA agit à titre de « courtier » pour trouver des conférenciers pour d’autre groupes, une lettre de confirmation contenant des renseignements sur les deux parties sera envoyée aux organisateurs, leur proposant de communiquer avec le bénévole afin de discuter du contenu de l’activité.

3.3	Tous les bénévoles recevront un feuillet contenant des lignes directrices pour préparer leur exposé (une copie est jointe au présent document).

3.4	Les bénévoles qui participent aux événements organisés par la CLEA reçoivent, à titre suggestif, une description des sujets dont il sera question et qu’ils peuvent intégrer à leur exposé.

3.5	Dans le cas des activités pour lesquels la CLEA sert de « courtier », l’association communique aux organisateurs les coordonnées du conférencier afin qu’ils puissent lui faire parvenir une description des sujets dont il sera question.

3.6	Après l’activité, il est recommandé de remercier le bénévole de sa participation en lui faisant parvenir un gage de reconnaissance concret.

Évaluation

4.1	Les données d’évaluation ainsi que toute plainte concernant le style de chaque bénévole sont consignées par le coordonnateur des activités.

4.2	Les cas où le bénévole n’a pas respecté ses engagements sont examinés de manière informelle. Les explications urgentes sont consignées.

	Les explications non urgentes sont consignées. Après deux écarts de conduite, le nom du bénévole est retiré de la liste.

4.3	Les plaintes des organisateurs ou de membres de l’auditoire concernant le fond de l’exposé sont transmises au Comité.

Identification du juriste à l’intention de l’auditoire

5.1	Dans toute publicité distribuée avant l’événement et au moment de présenter le conférencier, il faut mentionner :

	a.	l’affiliation du participant à un cabinet d’avocats;
	b.	l’affiliation du participant à une université;
	c.	l’affiliation du participant à une organisation à but non lucratif;
	d.	son emploi au sein du gouvernement;
	e.	qu’il est membre de la magistrature;
f.	son travail en collaboration avec une commission sur la réforme du droit ou au sein d’une telle commission;
g.	les associations professionnelles dont il fait partie.

5.2	Il n’est pas convenable pour les avocats du secteur privé de donner leur carte d’affaire aux membres de l’auditoire. Si un membre de l’auditoire aborde l’avocat et cherche à obtenir ses services, l’avocat doit lui demander de communiquer avec son cabinet.