Défis et Stratégies

Défi : choisir parmi les nombreuses options d’évaluation

Il existe de nombreuses méthodes d’évaluation. Afin de choisir une stratégie d’évaluation appropriée, tenez compte des points de vue des partenaires et de l’étape de développement du programme.

Stratégie: prendre en compte les points de vue des partenaires

Peu importe l’approche utilisée, il vous faut prendre en compte les points de vue et les attentes des partenaires qui utiliseront les résultats de l’évaluation, qu’il s’agisse des organismes de financement, des gestionnaires de programme, des travailleurs de première ligne, des participants ou des chercheurs. Selon le public cible, l’objectif principal peut être le développement des connaissances (recherches), l’amélioration continue visant le programme et ses participants ou la démonstration de résultats positifs à l’intention des organismes de financement. Pour restreindre les options possibles, consultez les partenaires principaux et assurez-vous d’intégrer les points de vue des participants au programme.

Stratégie: choisir une approche selon l’étape d’évaluation du programme

L’approche d’évaluation du rendement choisie devrait correspondre à l’étape du programme de votre communauté. Au début, l’évaluation de la mise en œuvre et de la fidélité est généralement le point de mire. Il s’agit de déterminer si les ingrédients essentiels du programme sont bien mis en place et à quel degré, si la stratégie de mise en œuvre dans la communauté fonctionne comme prévu ou si des obstacles à la mise en œuvre doivent être surmontés.

Une fois le programme Logement d’abord bien en place, l’attention peut se tourner vers les résultats. Dans le cadre d’un programme fondé sur des données probantes, comme celui Logement d’abord, des résultats sont attendus. Ainsi, la priorité peut être accordée à l’évaluation des résultats.

Dans un tel programme, une évaluation des résultats vise la stabilité d’occupation, l’utilisation des services, la qualité de vie et l’intégration communautaire en s’appuyant sur des mesures quantitatives reconnues et des données qualitatives.

Il peut également être nécessaire d’examiner les données qualitatives afin de déterminer comment le programme atteint certains résultats et peine à en réaliser d’autres en plus d’établir quels éléments sont essentiels et lesquels doivent être adaptés. Ce volet peut être important lorsque le modèle Logement d’abord est introduit dans un nouveau contexte (par exemple, pour les jeunes) ou lorsque de nouveaux éléments (comme le soutien en milieu de travail) sont mis en œuvre. Cette approche est nommée l’évaluation fondée sur la théorie du changement comme elle vise à comprendre les motifs expliquant pourquoi les processus du programme mènent aux résultats attendus.

Défi: obtenir l’adhésion des prestataires

Le fait que les gestionnaires de cas et les cliniciens voient l’évaluation comme un obstacle à leurs tâches représente un autre défi. Par exemple, ils peuvent considérer que les mesures sont compliquées à administrer et ne contribuent pas à répondre aux besoins des participants.

Stratégie : rendre les mesures utiles aux cliniciens et en faciliter la collecte

Afin d’obtenir l’adhésion des praticiens, assurez-vous des éléments suivants:

• les mesures choisies sont utiles aux cliniciens;
• les membres de l’équipe reçoivent régulièrement une rétroaction à propos des progrès de leurs participants par rapport à des résultats importants (stabilité d’occupation, qualité de vie, intégration communautaire et autres résultats axés sur le rétablissement).

Ainsi, l’équipe est en mesure de connaître les points forts, de soulever les problèmes communs et de déterminer les personnes dont les besoins ne sont pas comblés. Les cliniciens peuvent alors ajuster leur pratique et l’équipe en général peut envisager de nouvelles stratégies pour régler des problèmes systémiques complexes. En ce qui concerne la simplicité du processus, il est possible d’intégrer la collecte des données d’évaluation à la préparation périodique de rapports sur les progrès cliniques. Les praticiens ne doivent donc pas effectuer une tâche supplémentaire.

Défi : avoir une vue d’ensemble

Le plus souvent, une évaluation est considérée à l’échelle d’un programme. L’évaluation de l’efficacité du programme empêche parfois d’avoir une vue d’ensemble, c’est-à-dire de déterminer si le programme répond aux besoins de l’ensemble de la communauté et si ses partenariats avec d’autres organismes dans le système de santé mentale et de services de logement sont solides.

Stratégie: effectuer une évaluation à l’échelle du système

En plus d’examiner le rendement d’un programme, l’évaluation devrait aussi porter sur le système. L’évaluation à l’échelle du système vise des questions comme le degré d’accessibilité du programme, la question de savoir si les programmes ciblent les bons participants et la qualité de la coordination des programmes Logement d’abord avec les organismes effectuant les recommandations et offrant des ressources complémentaires. L’évaluation du système peut également porter sur la pertinence des ressources et les structures de reddition de comptes. Une partie de ces mesures à l’échelle du système sont établies par la Stratégie des partenariats de lutte contre l’itinérance et seront incluses dans une trousse d’outils à l’intention des entités communautaires (CE), qui les aideront à surveiller la qualité à l’échelle du système.

Défi: gérer une surcharge de données

Il arrive souvent que les programmes soient submergés par la quantité impressionnante de données recueillies. Dans le but d’être rigoureux, les programmes peuvent en venir à créer une liste interminable d’échelles et de mesures sans objectif précis. Comme il a été précédemment mentionné, cette situation peut sembler lourde aux praticiens et nuire à l’adhésion. La surcharge de données peut également entraîner des coûts élevés et de nombreuses heures d’administration. Sans oublier qu’il peut devenir difficile de distinguer les données pertinentes.

Stratégie: utiliser le modèle logique du programme pour guider la collecte de données

S’il est important de créer des mesures rigoureuses, il ne faut pas négliger d’établir une liste pratique de mesures qui sont pertinentes. Le modèle logique du programme sert de guide pour diriger l’attention vers l’évaluation de résultats utiles pour les partenaires. Il aide également à choisir des mesures réalisables selon la théorie de l’action du programme et son étape de mise en œuvre. Le modèle logique précise également les ingrédients essentiels du programme, ce qui favorise une évaluation de la mise en œuvre et de la fidélité.

L’évaluation peut être effectuée à l’interne ou à l’externe. Le choix repose en partie sur l’objectif de l’évaluation. Pour prouver aux organismes de financement la réussite d’un programme, il est logique de faire appel à un évaluateur externe ou à une personne non liée à ce programme. La Stratégie des partenariats de lutte contre l’itinérance (SPLI) demande aux communautés de mener une auto-évaluation au début, puis périodiquement au cours du processus. Il est également recommandé de demander à une partie externe (dotée d’une expertise en matière de fidélité au modèle Logement d’abord) d’effectuer une évaluation de la mise en œuvre, et ce, au début et à la fin de cette dernière. Avec le temps, la communauté peut développer graduellement la capacité d’évaluer la fidélité au programme à l’interne. Les programmes de type Logement d’abord qui sont financés par la SPLI devront créer une base de données sur la gestion du rendement, laquelle permet d’effectuer le suivi des résultats à l’échelle du programme et du système.