Élaboration d’un outil d’évaluation des menaces à l’aide d’une approche fondée sur le consensus

Résumé

Contexte : Les activités de renseignements sur la santé publique, notamment l’évaluation de nouvelles menaces pour la santé publique, sont des opérations essentielles pour de nombreux organismes de santé publique. L’évaluation des menaces vise à orienter des mesures de santé publique proportionnées au niveau de menace évalué, dans le contexte d’une situation évolutive. Un cadre d’évaluation des menaces fondé sur le risque permet de mieux préciser les répercussions globales des menaces sur la santé des populations et d’orienter les interventions de santé publique appropriées.

Objectif : Ce travail visait à élaborer un outil normalisé d’évaluation des menaces pour la santé publique, fondé sur le risque et pouvant être utilisé à l’échelle de l’Agence de la santé publique du Canada (ASPC), en intégrant les perspectives de diverses parties prenantes de l’ASPC afin de garantir que l’outil soit applicable à l’ensemble du spectre des menaces potentielles pour la santé publique.

Méthodes : Un cadre d’évaluation des menaces a été élaboré afin d’attribuer un niveau de menace global fondé sur l’évaluation de trois attributs distincts : la gravité des effets sur la santé humaine, le degré de probabilité d’incidence de la menace au Canada, et la capacité du Canada à prévenir ou à atténuer cette menace. Une approche fondée sur la méthode Delphi a été utilisée pour élaborer un ensemble de critères qualitatifs permettant aux utilisateurs finaux d’attribuer une cote élevée, modérée ou faible à chacun des attributs de la menace ainsi qu’à l’évaluation globale.

Résultats : Trois enquêtes itératives et deux réunions ont permis d’atteindre un consensus sur les définitions des trois attributs de la menace ainsi que sur l’évaluation globale, ce qui a permis de mettre en place un cadre souple capable de caractériser un large éventail de menaces pour la santé publique.

Conclusion : Des définitions normalisées et largement reconnues pour l’évaluation des menaces permettent de caractériser et de communiquer de façon fiable les événements importants de santé publique et de soutenir les interventions de santé publique.

Introduction

Dans un contexte mondial marqué par un nombre croissant d’événements de santé publique à fort impact ^{Footnote 1}, il est essentiel de disposer de systèmes de santé publique capables de déceler rapidement les menaces potentielles et d’en évaluer la portée afin de soutenir les autorités de santé publique à prendre des décisions. Une menace pour la santé publique peut être définie comme des données vérifiées indiquant un risque aigu potentiel pour la santé humaine, dont l’évaluation montre qu’il pourrait avoir des effets néfastes sur la santé d’une population ^{Footnote 2Footnote 3}. La détection et l’évaluation précoces des menaces potentielles pour la santé publique visent à orienter la planification et les interventions de réponse proportionnées au niveau de menace évaluée, dans le contexte d’une situation évolutive ^{Footnote 4}. Les interventions de santé publique découlant d’une évaluation précoce peuvent contribuer à limiter les retombées d’une menace sur la santé humaine.

Les activités de renseignement en santé publique, notamment l’évaluation précoce des menaces potentielles, constituent des fonctions essentielles de nombreux organismes de santé publique nationaux et internationaux ^{Footnote 5Footnote 6Footnote 7}. L’évaluation des menaces consiste à caractériser une menace pour la santé publique afin de mieux comprendre sa gravité globale et ses répercussions sur la santé des populations. Les renseignements disponibles dans la littérature scientifique et la littérature grise concernant les méthodes d’évaluation des menaces utilisées par les organismes de santé publique sont limités. Toutefois, les rapports accessibles au public donnent une indication des éléments pris en compte dans ces évaluations, notamment les répercussions potentielles sur la santé publique, la gravité des effets sur la santé, la probabilité d’exposition ou de transmission, ainsi que l’existence de mesures de contrôle ^{Footnote 1Footnote 5Footnote 6Footnote 7}.

À l’Agence de la santé publique du Canada (ASPC), un processus formalisé d’évaluation coordonnée des menaces (ECM) a été mis en place en mai 2022 à la suite des recommandations du vérificateur général du Canada visant à renforcer le processus d’évaluation des risques de l’ASPC, à la suite d’un audit lié à la pandémie de COVID-19 ^{Footnote 4}. Le processus d’ECM s’inscrit dans un continuum d’activités d’évaluation des risques, allant des évaluations préliminaires des menaces jusqu’aux évaluations complètes et approfondies des risques ^{Footnote 8}. Dans ce continuum, l’ECM permet de coordonner les experts techniques et d’intégrer des données et des informations provenant de multiples sources afin d’évaluer de façon rapide et systématique les événements émergents de santé publique. Ce processus favorise la coordination des activités au sein de l’ASPC et produit des évaluations normalisées entre les différents programmes, offrant à la haute direction un portrait global des événements susceptibles de constituer une menace pour le Canada et pouvant nécessiter des interventions de santé publique supplémentaires.

La méthode initiale d’évaluation des menaces de l’ASPC avait été conçue comme un algorithme convivial visant à caractériser les menaces en fonction du type et de l’urgence des interventions fédérales requises en santé publique, telles que la surveillance, une enquête plus approfondie ou une intervention dans un délai de 48 heures. Après une année complète d’utilisation, ainsi qu’à la suite des résultats d’une évaluation interne, il a été jugé nécessaire de disposer d’une méthode permettant de mieux rendre compte de l’impact global des menaces sur la santé des populations, afin d’orienter plus efficacement les mesures de santé publique. Cela a conduit, en 2023, à la décision de réviser la méthode d’évaluation des menaces afin d’adopter une approche fondée sur le risque.

L’objectif de ce travail était de développer un outil standardisé pouvant être utilisé à l’échelle des programmes de l’ASPC pour caractériser les menaces pour la santé publique selon un cadre d’évaluation des risques, avec des niveaux de menace élevés, modérés et faibles pour le Canada. Afin de relever le défi de concevoir un outil commun permettant de soutenir l’évaluation des menaces dans diverses populations et pour des types de dangers variés, une approche fondée sur la méthode Delphi a été utilisée pour recueillir les points de vue d’un éventail d’intervenants de l’ASPC, assurant ainsi son applicabilité à l’ensemble du spectre des menaces potentielles pour la santé publique. Le présent article décrit le processus de consensus de la méthode Delphi et présente l’outil d’évaluation des menaces qui en a résulté.

Méthodes

Plusieurs étapes ont été nécessaires pour élaborer et mettre au point l’outil d’évaluation des menaces. La figure 1 illustre les activités et le calendrier associés au processus. Les travaux préliminaires comprenaient des discussions internes au sein de l’équipe d’évaluation des menaces, une analyse contextuelle informelle de l’environnement, ainsi que des échanges avec des collègues internes et internationaux.

Figure 1 - Équivalent textuel

Cette figure décrit le processus par lequel le cadre d’évaluation des menaces a été élaboré et mis au point entre juillet 2023 et mai 2024. Les travaux préliminaires, notamment une analyse contextuelle informelle de l’environnement ainsi que des échanges avec des collègues internes et internationaux de l’Agence de la santé publique du Canada (ASPC), ont mené à l’élaboration d’un cadre d’évaluation des menaces composé de trois attributs de menace et d’une évaluation globale, chacun comportant trois niveaux d’évaluation. Des commentaires informels sur le cadre ont été sollicités auprès des programmes de l’ASPC et les modifications appropriées ont été apportées. Une fois le cadre élaboré, une approche fondée sur la méthode Delphi a été utilisée afin d’obtenir un consensus d’au moins 80 % sur les définitions de chaque attribut de menace, sur l’évaluation globale des menaces, ainsi que sur la catégorisation des niveaux élevé, modéré et faible pour chacun d’entre eux.

Ces activités ont permis de définir un cadre d’évaluation des menaces composé de trois attributs, chacun associé à trois niveaux d’évaluation, ainsi qu’une évaluation globale (figure 2). Les attributs de menace ont été conçus pour évaluer la gravité des effets sur la santé humaine, le degré de probabilité d’impact de la menace au Canada, ainsi que la capacité du Canada à prévenir ou à atténuer cette menace.

Figure 2 - Équivalent textuel

Le cadre a été conçu comme un outil qualitatif permettant d’évaluer trois attributs distincts de la menace (préoccupation pour la santé humaine, potentiel d’impact au Canada et préoccupation liée à l’insuffisance des mesures de contrôle). Il sert à caractériser une menace pour la santé publique susceptible d’avoir un impact au Canada, à divers degrés. Chaque attribut de la menace est associé à des niveaux d’évaluation élevés, modérés et faibles. L’évaluation globale de la menace est déterminée à partir des cotes attribuées à chacun des attributs de la menace.

Une fois le cadre élaboré, une approche fondée sur la méthode Delphi a été utilisée pour définir chacun des attributs, l’évaluation globale des menaces ainsi que les critères permettant de les classer comme élevées, modérées ou faibles. La méthode Delphi est une approche scientifique qui mobilise des experts au moyen d’enquêtes itératives et de rétroactions de groupe afin de parvenir à un consensus sur des sujets complexes ^{Footnote 9}. Des projets de définitions des attributs d’évaluation des menaces ont été élaborés par l’équipe de recherche afin de renseigner le cadre. Le consensus a été défini a priori comme une proportion d’accord à 80 % des participants pour chaque définition, telle que formulée.

Inclusion et recrutement des participants

Tous les membres du Comité scientifique pour l’évaluation coordonnée des menaces (CSECM) de l’ASPC ont été invités à participer aux discussions du comité d’experts. Le CSECM est un groupe d’experts en la matière, composé de représentants des disciplines concernées au sein de l’ASPC, qui se réunit chaque semaine pour évaluer les menaces pour la santé publique. Les participants ont été activement recrutés afin d’assurer une représentation de l’ensemble des groupes de parties prenantes, reflétant les utilisateurs finaux du cadre d’évaluation des menaces dans une perspective nationale.

Enquêtes

L’accord avec les définitions a été évalué au moyen de trois rondes d’enquêtes en ligne menées à l’aide de Microsoft Forms. Les données issues des enquêtes ont été recueillies de façon anonyme, et aucun renseignement identificatoire des participants n’a été colligé. Pour les deux premières enquêtes, l’accord des participants avec chaque définition a été évalué à l’aide d’une échelle de Likert à cinq points comportant les options suivantes : « Oui, tel que formulé actuellement »; « Oui, mais modifier la formulation »; « Incertain »; « Probablement non »; et « Certainement non ». Les répondants étaient également invités à fournir des commentaires détaillés ou à proposer des formulations alternatives, lesquelles ont servi à apporter des ajustements aux définitions.

Les participants disposaient de huit jours ouvrables pour répondre à chaque ronde d’enquête. Deux rappels étaient envoyés pour chaque enquête. Après chaque ronde, l’ensemble des commentaires des participants était pris en compte pour réviser les définitions. Les participants recevaient ensuite un résumé des résultats, les justifications des modifications apportées aux définitions, ainsi que la version révisée des définitions. Les enquêtes subséquentes et la réunion de consensus portaient uniquement sur les éléments n’ayant pas atteint le seuil d’accord à 80 %. À la suite de la réunion initiale de consensus, une troisième enquête a été menée afin d’évaluer formellement le consensus à l’aide d’un format de réponse binaire (oui/non).

Réunions de consensus

Deux réunions de consensus ont été tenues par vidéoconférence à trois semaines d’intervalle et ont été animées par un membre de l’équipe de recherche. Les résultats des deux enquêtes ainsi que les définitions révisées ont été présentés lors de la première réunion de consensus. Les participants ont examiné chaque définition révisée n’ayant pas atteint le consensus à la suite de la deuxième enquête. Les points de divergence ont été analysés, et les définitions ont été modifiées au besoin. Le consensus pour chaque élément abordé lors de la réunion a été évalué au moyen d’une enquête menée après la réunion, le consensus étant défini comme un accord à 80 %. Une deuxième réunion de consensus a été tenue afin de traiter les points de désaccord persistants et de discuter du processus de mise en œuvre opérationnelle de l’outil.

Analyse des données

Pour chaque itération de l’enquête, les données quantitatives ont été analysées à l’aide de statistiques descriptives simples (c.-à-d. la proportion de participants ayant sélectionné chaque niveau d’accord) au moyen de R Studio ^{Footnote 10}. Une analyse thématique qualitative ^{Footnote 11} a été utilisée pour regrouper les données en texte libre en grandes catégories, afin d’éclairer la rétroaction aux participants et les révisions des définitions.

Résultats

Participants

Au total, 26 participants ont pris part au processus de consensus. Sur les dix domaines de programme de l’ASPC qui contribuent régulièrement à l’évaluation des menaces, des représentants de huit d’entre eux ont accepté de participer, de même que des membres supplémentaires du CSECM, ce qui donne une représentation de 12 programmes au total. La représentation comprenait des experts dans les domaines suivants : maladies zoonotiques (n = 1), gestion des éclosions et salubrité des aliments (n = 2), épidémiologie et surveillance des virus respiratoires (y compris la COVID-19) (n = 4), évaluation des risques (n = 8), santé des voyageurs (n = 3), surveillance des vaccins et préparation (n = 2), gestion des urgences (n = 1), biosécurité (n = 1), mesures de santé publique (n = 2), sciences du risque et modélisation (n = 1) et Règlement sanitaire international (n = 1).

Enquêtes

Parmi les 26 participants, 23 ont répondu à l’enquête 1 (88,5 %), 19 à l’enquête 2 (73,1 %) et 10 à l’enquête 3 (38,5 %). Au cours de l’étude, on a observé une progression vers le consensus, avec une augmentation de l’accord à la suite des modifications itératives apportées aux définitions (tableau 1).

Aucune définition n’a atteint le consensus lors de la première enquête, deux y sont parvenues lors du deuxième, et toutes les définitions évaluées après les réunions de consensus ont atteint un niveau d’accord de 90 % à 100 %, dépassant ainsi le seuil cible de 80 %. Les définitions des niveaux globalement élevé, modéré et faible de l’évaluation des menaces n’ont toutefois pas été évaluées dans l’enquête finale; un accord verbal entre les participants a néanmoins été obtenu lors de la deuxième réunion de consensus. L’analyse thématique des commentaires écrits a permis de regrouper les observations selon les grandes catégories suivantes : modifications de la formulation, terminologie du cadre et précisions.

Réunions de consensus

La première et la deuxième réunion de consensus ont vu la participation respectivement de 15 (57,7 %) et de 17 (65,4 %) membres, représentant 11 des 12 programmes participants. Les participants ont discuté et affiné les définitions, soulevé des questions méthodologiques ainsi que des enjeux propres aux programmes quant à l’application des définitions, et formulé des commentaires sur des considérations pratiques liées à l’utilisation de l’outil (p. ex. l’évaluation de menaces internationales qui ne sont pas encore présentes au Canada). Ces échanges ont amené le groupe à explorer des défis opérationnels connexes. Les participants ont indiqué de manière informelle avoir acquis une meilleure compréhension de l’outil et un niveau de confiance accru à son égard à la suite de ces discussions. Les définitions finales de l’évaluation des menaces sont présentées au tableau 2.

Discussion

Le nouveau cadre d’évaluation des menaces a été conçu pour évaluer la gravité des effets sur la santé humaine, le degré selon lequel une menace est susceptible d’avoir un impact sur le Canada, ainsi que la capacité du Canada à prévenir ou à atténuer cette menace. Le présent article décrit le processus de consensus Delphi utilisé pour établir un ensemble de critères qualitatifs permettant aux utilisateurs d’attribuer une cote élevée, modérée ou faible à chacun des trois attributs distincts de la menace. La mobilisation d’un éventail d’experts en la matière a permis d’atteindre un consensus sur 16 définitions réparties en trois catégories distinctes ainsi qu’une catégorie d’évaluation globale, ce qui a permis d’obtenir un cadre souple capable de caractériser un large éventail de menaces pour la santé publique.

Le cadre est harmonisé avec ceux d’autres organismes de santé nationaux et internationaux en ce qui concerne les éléments importants à prendre en compte dans l’évaluation des menaces pour la santé publique ^{Footnote 5Footnote 6Footnote 7} et la flexibilité qualitative ^{Footnote 5}. Le passage d’une approche fondée sur un algorithme à un cadre qualitatif permet une flexibilité dans la pondération des différents attributs de la menace selon leur importance relative dans le contexte d’une menace spécifique. Contrairement à l’approche antérieure fondée sur un algorithme, qui basait les évaluations sur les actions fédérales, la nouvelle caractérisation fondée sur le risque offre une représentation plus claire des principaux renseignements utilisés pour évaluer une menace et permet de mieux orienter les interventions de santé publique appropriées. Une publication distincte décrit en détail le processus d’évaluation des menaces à l’ASPC et présente un exemple d’application de l’évaluation des menaces en pratique ^{Footnote 12}.

Plusieurs avantages ont été associés à l’utilisation d’une approche Delphi pour élaborer les définitions d’un outil d’évaluation des menaces. L’obtention d’un consensus entre des experts provenant de multiples domaines d’expertise permet d’avoir confiance dans le fait que le processus a produit un outil robuste, capable de caractériser adéquatement les menaces pour la santé publique et applicable à plusieurs domaines de la santé publique. L’inclusion de réunions de consensus a permis aux participants de fournir une rétroaction verbale, ce qui a entraîné une meilleure clarification de leurs points de vue que ce qui aurait été possible au moyen d’enquêtes uniquement. Ce processus collaboratif a favorisé la compréhension et l’acceptation des définitions entre les programmes. Enfin, les programmes ont exprimé leur appréciation d’avoir eu l’occasion de participer à ce processus et de contribuer à l’élaboration de l’outil.

Limites

Le processus d’élaboration du nouvel outil d’évaluation des menaces comportait plusieurs limites. Les étapes initiales de développement du cadre ont été réalisées au sein de l’équipe de recherche et, bien qu’elles aient été fondées sur des commentaires de programmes et une analyse de l’environnement international, elles auraient pu être différentes si un processus de rétroaction systématique avait été utilisé. La participation a diminué de 57 % au cours de l’étude Delphi, et le caractère anonyme des enquêtes n’a pas permis d’évaluer la représentativité au sein des différents programmes de l’ASPC. Toutefois, la participation aux réunions de consensus était globalement représentative de l’ensemble des programmes participants, notamment ceux qui contribuent régulièrement au rapport sur les menaces. Enfin, sur le plan méthodologique, la stabilité statistique des réponses n’a pas pu être mesurée, puisque seulement deux cycles d’enquête ont été réalisés ^{Footnote 13}.

Conclusion

Des définitions normalisées et largement reconnues pour l’évaluation des menaces dans un contexte fédéral de santé publique sont essentielles pour caractériser et communiquer de façon fiable les événements importants de santé publique et pour appuyer la prise de mesures de santé publique. Les travaux en cours dans ce domaine permettront d’obtenir des évaluations plus fiables et plus valides d’un éventail de menaces dans divers contextes de santé publique. Les travaux futurs prévoient de valider et d’évaluer l’outil d’évaluation des menaces, ainsi que de continuer à l’appliquer à des menaces allant au-delà des maladies infectieuses.

Déclaration des auteurs

La première auteure nommée est l’auteure principal et auteur-ressource. Tous les autres auteurs sont présentés par ordre alphabétique. Les contributions des co-auteurs sont les suivantes :

G. B. — Conceptualisation, méthodologie, enquête, analyse formelle, administration du projet, rédaction de la version originale, rédaction, révision et édition
C. D. — Enquête, analyse formelle, administration du projet, rédaction−révision et édition
C. E. — Conceptualisation, méthodologie, rédaction–révision et édition, supervision
J. M. — Enquête, analyse formelle, administration du projet, rédaction−révision et édition
A. S. — Enquête, analyse formelle, administration du projet, rédaction−révision et édition
L. W. — Conceptualisation, méthodologie, rédaction–révision et édition, supervision

Intérêts concurrents

Aucun.

Identifiants ORCID

Aucun.

Remerciements

Les auteurs remercient sincèrement les membres du panel Delphi pour leur engagement et leur expertise dans le processus de consensus.

Financement

Ce travail a été soutenu par l’Agence de la santé publique du Canada.