Fiabilité interévaluateurs et validité concourante de l’EBSM

Faits saillants de la recherche: L’Échelle des besoins en santé mentale (EBSM) a une excellence fiabilité interévaluateurs et une bonne validité concourante pour tous les groupes de délinquants.

Selon la recommandation 6 de l’Évaluation des Services de santé, le Service correctionnel du Canada (SCC) devrait « mener des analyses pour déterminer la validité et la fiabilité de l’Échelle des besoins en santé mentale (EBSM) ». On y requérait également des dispositions pour renforcer le processus de consignation et de tenue à jour des données sur les niveaux de besoins des délinquants. Une recommandation connexe a été formulée dans un rapport récent intitulé La préparation des détenues à la mise en liberté (Vérificateur général du Canada, 2017). Selon la recommandation 5.84, le SCC « devrait s’assurer qu’il identifie de façon appropriée les délinquantes qui ont besoin de services de santé mentale et leur assigne le niveau approprié de soins ».

Notre étude examine la fiabilité interévaluateurs et certains aspects de la validité de l’outil. L’échantillon était constitué de 150 délinquants de toutes les régions du SCC qui ont été sélectionnés par le personnel parce qu’ils avaient besoin d’une évaluation au moyen de l’EBSM. Un peu plus de la moitié des délinquants de l’échantillon étaient des hommes, et près des deux tiers étaient non-autochtones. Selon l’EBSM, près de 60 % avaient des besoins faibles ou aucun besoin, et 40 % avaient des besoins modérés ou élevés. Les évaluateurs à l’administration centrale (AC) ont été formés par un des développeurs de l’Échelle avant la tenue des entrevues. Les évaluateurs en établissement ont reçu une trousse d’information contenant des lignes directrices sur l’évaluation, mais aucune formation officielle. Le personnel à l’AC et en établissement a rempli l’EBSM et l’Échelle d’impression clinique globale (CGI) de façon indépendante et concourante pour chacun des 150 délinquants. L’évaluation du niveau global de besoins et l’évaluation CGI ont été comparées afin d’évaluer la cohérence et la fiabilité entre les différents évaluateurs. Nous avons évalué la validité concourante en comparant les évaluations de l’EBSM avec celles de l’échelle CGI. Le pourcentage d’accord et le coefficient de corrélation interne ont été calculés pour l’échantillon complet de délinquants, ainsi que pour les sous-échantillons d’hommes, de femmes, d’Autochtones et de non-Autochtones.

Les résultats ont mené à trois constatations principales : 1) excellente fiabilité interévaluateurs des évaluations globales de l’EBSM dans l’échantillon complet; excellente fiabilité interévaluateurs des évaluations du niveau des besoins global pour les délinquants autochtones et les délinquantes; 2) forte validité concourante entre l’échelle CGI et l’EBSM tant pour les évaluateurs en établissement qu’à l’AC (échantillon complet et sous-échantillons); 3) en général, bonne cohérence interne de l’outil, en ce sens que la plupart des domaines étaient corrélés de façon significative avec l’évaluation globale. Très peu de délinquants ont reçu des évaluations globales qui ne correspondaient pas à leur évaluation dans les domaines. Il convient toutefois de noter que l’évaluation relative aux troubles concomitants n’était que faiblement liée à l’évaluation globale, ce qui indique une évaluation incohérente de ce domaine.

L’EBSM affiche une excellente fiabilité interévaluateurs et une validité concourante importante pour les délinquants de sexe masculin, les délinquantes et les délinquants autochtones. Cela indique qu’il s’agit d’un outil approprié pour assigner les niveaux de soins aux délinquants. Cependant, il faudrait souligner aux évaluateurs l’importance d’évaluer les troubles mentaux et les problèmes de toxicomanie concomitants dans le cadre de l’EBSM. Une étude récente au SCC révèle que la présence de problèmes de toxicomanie en association avec d’autres troubles mentaux complique énormément le traitement des délinquants et que ceux-ci présentent un risque plus élevé de résultats négatifs. Enfin, compte tenu de la force psychométrique de l’outil, on pourrait envisager de l’utiliser pour réévaluer systématiquement les délinquants après un traitement afin de vérifier l’efficacité de l’intervention.

Stewart, L., K. Wanamaker, G. Wilton et G. Toor. (2018). Fiabilité interévaluateurs et validité concourante de l’Échelle des besoins en santé mentale (Rapport de recherche R-411), Ottawa (Ontario) : Service correctionnel du Canada.

Pour obtenir le rapport complet en version PDF, veuillez en faire la demande à la Direction de la recherche ou par téléphone au 613-995-3975.

Vous pouvez également visiter la page des Publications de recherche pour une liste complète des rapports et sommaires de recherche.