Tâches d’évaluation

Étape 1: obtenir des ressources

Mener un processus d’évaluation suppose d’affecter des ressources tirées du budget du projet, d’embaucher le personnel approprié et de budgéter en fonction du temps que les employés devront y consacrer. Si l’évaluation est menée par un évaluateur externe, des ressources seront requises pour cette personne ou cette équipe. De plus, si une équipe externe doit évaluer la fidélité au modèle (p. ex., avec l’aide technique de la Commission de la santé mentale du Canada – CSMC), il faudra le prévoir dès le début du processus d’évaluation.

Il faut également tenir compte des ressources requises pour la gestion des données. De quelle façon les données seront-elles recueillies, conservées et consultées? Il s’agit d’un aspect important du processus d’évaluation. Il n’existe pas de solution universelle, mais des ressources sont à votre disposition. Par exemple, la Stratégie des partenariats de lutte contre l’itinérance (SPLI) a créé un système d’information sur l’itinérance, le Homelessness Information System (HIFIS), à savoir un système d’information de gestion. Ce système est particulièrement pertinent pour les programmes recevant des fonds fédéraux en vertu du modèle Logement d’abord puisqu’il leur permet de rendre compte de certains indicateurs de résultats qui doivent être mesurés. L’organisme The Alex à Calgary, dont le programme Logement d’abord fait l’objet d’une étude de cas, a créé des feuilles de calcul et des systèmes d’information sur mesure pour permettre une gestion de données et des prises de décisions efficientes. Il faut également prévoir les coûts de participation au programme Logement d’abord et réserver des fonds pour verser un salaire aux personnes ayant un savoir expérientiel, qui participent à l’évaluation.

Étape 2: instaurer une culture favorable à l’évaluation

Pour instaurer une culture favorable à l’évaluation, vous devrez aider les membres de votre organisation à en comprendre l’importance et à acquérir graduellement la capacité de mener le processus comme il se doit. Cela comporte un défi de taille : amener le personnel et les dirigeants du programme à s’engager à examiner leurs croyances sur le bon fonctionnement du programme et à se rassembler autour de l’apprentissage. Il est essentiel de présenter l’évaluation comme un moyen de favoriser une culture de l’apprentissage et de l’amélioration continue.

Il y a un autre défi dans l’instauration d’une culture favorable à l’évaluation, et c’est peut-être le plus important : s’assurer que tous les intervenants estiment faire partie du processus. Cela suppose de bien planifier et de mobiliser les partenaires pour que chacun comprenne bien la visée de l’évaluation. Pour instaurer une culture de l’évaluation, il est important de mobiliser les intervenants rapidement. Cela supposera tout d’abord de cerner les intervenants de votre communauté qui participent à la mise en œuvre de votre programme Logement d’abord.

Ils peuvent appartenir à quatre grands groupes:

• les gestionnaires des équipes de mise en œuvre;
• les travailleurs fournissant directement les services;
• les personnes ayant un savoir expérientiel participant à votre programme;
• les acteurs à l’échelle du système (les intervenants des organismes de financement, en général associés à une administration municipale ou à un gouvernement provincial).

Pour instaurer une culture favorable à l’évaluation, vous aurez besoin de conseils d’experts de façon à orienter le groupe dans la bonne direction. Pour que l’évaluation soit efficace, il faut élaborer un plan en la matière et faire appel à des évaluateurs à l’étape de la planification du programme. Miser sur une expertise en matière d’évaluation tôt dans le processus vous aidera à ajuster votre méthode d’évaluation à l’étape de la mise en œuvre.

En résumé, il importe d’instaurer une culture de l’évaluation au sein de votre programme Logement d’abord pour que le processus soit utile à un large éventail d’intervenants favorables au processus.

Il est essentiel de présenter l’évaluation comme un moyen de favoriser une culture de l’apprentissage et de l’amélioration continue.

Étape 3: établir l’objectif de l’évaluation et en déterminer les éléments

Étape 5: utiliser des indicateurs de la fidélité

L’échelle de la fidélité de Pathways porte sur cinq aspects : 1) le choix de logements et leur structure; 2) la séparation des services de logement et des autres services; 3) la philosophie de service; 4) la gamme de services offerts; 5) la structure du programme. Dans le cas du projet Chez Soi, des équipes externes ont effectué des visites sur le terrain pour évaluer la fidélité dans les cinq sites où le projet était mis en œuvre. Pathways to Housing a également conçu un questionnaire d’autoévaluation à l’intention des sites qui souhaitent procéder à une évaluation interne de la fidélité. Cet outil couvre les cinq mêmes aspects que l’échelle de la fidélité destinée à l’équipe externe. Il importe de souligner que les techniques d’évaluation qualitatives sont importantes pour situer les données quantitatives dans leur contexte et les interpréter. C’est un point dont il est important de tenir compte au moment de planifier cette partie de l’évaluation.

L’évaluation de la fidélité permet de quantifier le degré de correspondance entre le programme mis en œuvre et le modèle Logement d’abord. À New York, le programme Pathways to Housing a conçu un outil de mesure de la fidélité qui a été utilisé dans le cadre du projet Chez Soi par une équipe externe du projet Chez Soi par une équipe externe .

Au moment d’établir un processus d’évaluation de la fidélité, il faut d’abord choisir l’une des deux approches ci-dessus. Certains sites pourraient choisir de recourir à des équipes externes pour procéder à l’évaluation de la fidélité (probablement avec l’aide technique de la CSMC), mais de nombreux sites pourraient choisir d’établir un processus interne (ou encore de commencer par une évaluation externe, puis d’acquérir la capacité de le faire à l’interne).

L’outil d’autoévaluation de la fidélité de la SPLI ainsi que le questionnaire d’autoévaluation conçu par Pathways sont d’excellentes ressources pour l’évaluation interne de la fidélité.

Étape 6: déterminer les indicateurs de résultats

La SPLI a énoncé des indicateurs de résultats de façon à déterminer l’efficacité du modèle Logement d’abord pour chaque participant. Les indicateurs de résultats sont répartis en trois catégories:

• indicateurs de placement;
• indicateurs d’autonomie;
• indicateurs de prévention.

L’ensemble de données communes Common Data Set – CDS (en englais) en matière de santé mentale communautaire du ministère de la Santé et des Soins de longue durée de l’Ontario est également utile pour évaluer les résultats. Enfin, le projet Chez Soi est une autre bonne source d’indicateurs de résultats. En effet, ce projet a défini plusieurs indicateurs qui devraient intéresser les groupes qui souhaitent évaluer des programmes Logement d’abord.

Deux composantes sont essentielles pour permettre de bien évaluer le changement observé chez les participants. D’abord, un processus doit être mis en place pour recueillir des données qui constitueront une base de comparaison. Ensuite, un ensemble de données sur les résultats devrait mettre en lumière les effets du programme Logement d’abord sur les participants. L’ensemble de données communes a été conçu pour l’évaluation des résultats des divers programmes de santé mentale en Ontario. Il comprend des éléments obligatoires (p. 10) et des éléments facultatifs (p. 11). Les éléments obligatoires comprennent diverses catégories (données administratives, démographiques et cliniques) qui permettent de recueillir de l’information de base. Les éléments facultatifs comprennent la catégorie « résultats » qui devrait être utile à ceux qui veulent évaluer un programme Logement d’abord Plus précisément, la catégorie visant les résultats comprend des données de base aux fins de comparaison et des données sur les hospitalisations en milieu psychiatrique, le modèle de logement, le type de résidence, l’emploi, la formation et le revenu. Ces mesures sont utiles pour suivre le changement des conditions de vie, dont l’évaluation est importante puisqu’elle fournit des renseignements pertinents sur l’intégration communautaire et le fonctionnement social, contrairement aux mesures plus restreintes comme la sévérité des symptômes.

Le projet Chez Soi a établi plusieurs indicateurs et outils d’évaluation des résultats qui ont fait l’objet de commentaires positifs de la part du personnel du programme. Il s’agissait notamment de l’échelle de l’habileté communautaire de Multnomah (échelle MCAS) visant le fonctionnement social, de l’échelle QoLI-20 visant la qualité de vie, de la pondération des problèmes de toxicomanie (GAIN-SPS), de l’Index de symptômes (CSI), de l’échelle EQ-5D visant l’état de santé de base ainsi que de l’échelle de satisfaction à l’égard des services (SSS-10). Soulignons que les organismes qui utilisent ces échelles (en anglais) peuvent comparer leurs données avec celles du projet Chez Soi, y compris les données des groupes témoins, aux fins de suivi.

Étape 7: créer un plan d’évaluation et recueillir des données

Pour faire le suivi des diverses tâches liées à l’évaluation, il est bon de créer un calendrier ou un protocole d’organisation de la collecte de données et d’indiquer clairement à l’équipe qui est responsable des diverses tâches. Vous trouverez ici une excellente fiche de travail qui vous aidera à orienter la création de ce protocole (en anglais). De plus, document sur la collecte et l’analyse de données sur les résultats créé en Australie se trouve ici (en anglais). Il énonce des stratégies concrètes de planification, de collecte et d’analyse de données.

Étape 8: analyser les données

Une fois la collecte de données terminée, l’heure est à l’analyse. Vous devrez probablement analyser des données qualitatives et quantitatives, ce qui nécessite des aptitudes tout à fait différentes. L’analyse de ces données pourrait être affectée à différents membres de l’équipe. L’analyse quantitative suppose l’utilisation de logiciels statistiques qui permettront de vérifier si l’évolution des résultats est statistiquement significative. Les données qualitatives exigent une certaine forme d’« analyse narrative » pour mettre en lumière dans quelle mesure et en quoi les changements quantitatifs sont significatifs au regard des résultats observés chez le participant . Il peut être utile d’utiliser les conclusions tirées des données quantitatives pour interpréter les données qualitatives, surtout si les résultats sont difficiles à définir ou inattendus. Il est recommandé de consulter un ouvrage de référence pour orienter l’analyse des données qualitatives.

Étape 9: établir un processus de préparation de rapports

Il est important de tenir compte des différents intervenants qui prendront connaissance des données. Les conclusions de l’évaluation peuvent aider à améliorer les pratiques cliniques, et on peut les transmettre lors d’activités d’encadrement ou de formation du personnel. Elles permettent également de tenir les partenaires communautaires au courant de l’évolution du programme Logement d’abord.

Idéalement, il vous faudra mobiliser au moins trois groupes d’intervenants dès le début de l’évaluation:

1. les prestataires de services;
2. les dirigeants du programme;
3. les organismes de financement.

Il est important de transmettre les conclusions de l’évaluation à ces groupes pour veiller à l’amélioration et à l’apprentissage continus.

Enfin, transmettre les résultats d’évaluation aux propriétaires est un excellent moyen de les informer de l’évolution du programme et d’établir un lien avec eux. Vous pouvez par exemple les inviter à déjeuner ou à dîner pour leur exposer ces résultats. Le document résumant les résultats à l’intention de ce groupe doit faire au plus une à trois pages.

Certains exemples concrets tirés du projet Chez Soi illustrent à merveille le processus de production de rapports. Dans le cadre de ce projet, l’évaluation de la mise en œuvre a révélé notamment un défi : le maintien d’une communication efficace entre des équipes de logement et de services cliniques distinctes. Cela a été une découverte importante pour les dirigeants du programme, qui ont dû créer de nouvelles structures facilitant les communications entre ces équipes.