Un outil novateur pour hiérarchiser l’évaluation des traitements expérimentaux contre la COVID-19

Résumé

Contexte : Des centaines de traitements expérimentaux contre la COVID-19 ont émergé pendant que la pandémie de COVID-19 sévissait. Maintenir une bonne connaissance de la situation à l'égard de ce vaste paysage thérapeutique qui évoluait rapidement représentait un défi sans précédent pour l'Agence de la santé publique du Canada, qui s'efforçait de promouvoir et de protéger la santé des Canadiens. Il fallait un outil permettant de trier et de hiérarchiser l'évaluation de ces traitements.

Méthodes : L'objectif était d'élaborer et d'effectuer une validation initiale d'un outil visant à identifier les traitements expérimentaux contre la COVID-19 en vue d'un examen plus approfondi fondé sur une évaluation préliminaire efficace, à l'aide d'un processus systématique et fiable qui serait pratique à valider, à mettre en œuvre et à mettre à jour. La phase 1 de ce projet pilote a consisté en une recherche documentaire pour déterminer les outils existants de hiérarchisation de l'évaluation thérapeutique de la COVID-19, l'élaboration de l'Outil de notation rapide (ONR) et la validation initiale de l'outil.

Résultats : Aucun outil conçu pour classer les traitements expérimentaux contre la COVID-19 afin de hiérarchiser leurs évaluations n'a été identifié. Toutefois, quelques publications ont fourni des critères à considérer et des méthodes de classement thérapeutique, ce qui a contribué à façonner l'élaboration de l'ONR. L'ONR comprend huit critères et plusieurs descripteurs (« caractéristiques »). Une échelle universelle de notation des caractéristiques de −10 à 10 a été élaborée. La somme de toutes les cotes des caractéristiques a produit une cote globale de bénéfice pour chaque traitement. L'ONR a classé de façon appropriée les traitements au moyen d'une approche systématique, fiable et pratique.

Conclusion : La phase 1 a été réalisée avec succès. L'ONR présente plusieurs aspects distincts comparativement à d'autres outils, y compris son échelle de notation et sa méthode, ainsi que la capacité de tenir compte de l'information incomplète ou en attente. On prévoit que le cadre utilisé pour l'ONR se prêtera à d'autres situations dynamiques comportant de nombreuses interventions.

Introduction

Contexte

Au début de la pandémie, la transmission mondiale rapide du SRAS-CoV-2, le virus à l'origine de la COVID-19, a entraîné des recherches approfondies sur un éventail d'options de traitement. Pendant que la pandémie sévissait, des centaines de traitements pharmaceutiques expérimentaux contre la COVID-19 (i.e., avant l'autorisation de mise en marché) ont émergé ^{Note de bas de page 1}. Maintenir une bonne connaissance de la situation à l'égard de ce vaste paysage thérapeutique qui évoluait rapidement représentait un défi sans précédent pour l'Agence de la santé publique du Canada (l'Agence), qui œuvrait à promouvoir et protéger la santé des Canadiens ^{Note de bas de page 2}. Une évaluation rapide et approfondie de tous les traitements expérimentaux n'était pas possible. Par conséquent, un outil pratique permettant de trier de façon systématique, fiable et efficace et d'établir l'ordre de priorité de l'évaluation de ces traitements était requis pour éclairer leur applicabilité éventuelle pour le Canada.

Pour identifier les outils existants de hiérarchisation de l'évaluation des traitements expérimentaux contre la COVID-19, une recherche documentaire a été effectuée dans Ovid MEDLINE^® avec l'aide d'un bibliothécaire de l'Agence, à l'aide des concepts de recherche ciblés des « techniques d'aide à la décision », du « traitement ou de l'évaluation des traitements contre la COVID-19 » et des variations de leurs termes. Au total, 302 articles ont été identifiés; 46 ont été jugés pertinents et ont été examinés. La recherche n'a révélé aucun outil conçu pour classer les traitements expérimentaux contre la COVID-19 afin de hiérarchiser leurs évaluations. Cependant, plusieurs publications ont fourni des critères à prendre en considération au moment d'effectuer des évaluations des technologies de la santé ou de prendre des décisions sur la liste des médicaments  ^{Note de bas de page 3Note de bas de page 4Note de bas de page 5Note de bas de page 6Note de bas de page 7Note de bas de page 8Note de bas de page 9}. De plus, certaines de ces publications et leurs références présentaient différentes méthodes de classement des traitements et différents cadres d'évaluation ^{Note de bas de page 4Note de bas de page 7Note de bas de page 9Note de bas de page 10Note de bas de page 11Note de bas de page 12Note de bas de page 13Note de bas de page 14Note de bas de page 15Note de bas de page 16}. Bien qu'ils avaient des limites importantes (e.g., exiger une liste prédéfinie de traitements ayant des propriétés connues, complexes à mettre en œuvre ou à adapter rapidement), certains éléments, comme leurs critères d'évaluation, l'utilisation de cotes positives et négatives, ont été jugés pertinents pour être intégrés à un outil que l'Agence a élaboré à l'automne 2022. Le présent article fait état de la première phase de ce projet pilote pour élaborer ce qu'on appelle maintenant l'Outil de notation rapide (ONR).

Objectif

Élaborer et effectuer une validation initiale d'un outil pour identifier les traitements expérimentaux contre la COVID-19 en vue d'une évaluation plus approfondie fondée sur un examen préliminaire efficace, à l'aide d'un processus systématique et fiable qui serait pratique à valider, à mettre en œuvre et à mettre à jour.

Intervention

Contexte

Pendant la pandémie, une équipe de quatre membres de l'équipe de traitements contre la COVID-19 de l'Agence a été formée pour élaborer l'ONR. Les membres avaient des antécédents en évaluation critique, en pharmacie clinique et de recherche, en évaluation thérapeutique, en évaluation de programme, en épidémiologie, en immunologie et en santé publique. Les traitements expérimentaux contre la COVID-19 ont été déterminés principalement à partir d'une revue quotidienne des principales sources d'information sur la COVID-19 (e.g., mises à jour et préimprimés des principaux essais sur la COVID-19) et de ClinicalTrials.gov. L'ONR a été élaboré à l'aide de Microsoft Excel^®.

Intervention

Le projet pilote s'est déroulé en deux phases :

• Phase 1 : Élaboration (étapes 1 et 2) et validation initiale (étape 3) de l'ONR
• Phase 2 : Poursuite de la validation et de l'amélioration de l'ONR

Première étape : Concevoir l'ONR. L'équipe de l'ONR a élaboré l'ONR, qui comprenait la définition du problème de décision qu'elle devait régler  ^{Note de bas de page 13Note de bas de page 14Note de bas de page 15}, les grandes catégories ou les « critères » qui seraient utilisés pour évaluer les traitements (e.g., l'innocuité), et des descripteurs ou « caractéristiques » plus précis pour chaque critère. Les critères et les caractéristiques ont été élaborés en fonction des résultats de la recherche documentaire, de la faisabilité de la mise en œuvre et de plus d'une douzaine de discussions internes avec les parties prenantes, tant à l'intérieur qu'à l'extérieur de l'équipe des traitements contre la COVID-19, qui participent à l'évaluation et à la surveillance des traitements (i.e., conseillers médicaux, gestionnaires, épidémiologistes, analystes des politiques et analystes de recherche). Ensuite, une échelle de notation des « caractéristiques » a été établie en fonction du problème de décision. Cette échelle universelle a été utilisée pour attribuer une cote à chaque caractéristique. Pour chaque traitement, on a calculé une cote globale de bénéfice perçu (« bénéfice global ») en additionnant les cotes de toutes les caractéristiques qui s'appliquaient à ce traitement.

Deuxième étape : Essai pilote de l'ONR. Au cours de la deuxième étape, les traitements ont été entrés dans l'ONR et classés par leur cote de « bénéfice global » pour déterminer ceux à évaluer de façon plus approfondie. Deux membres de l'équipe de l'ONR ont choisi indépendamment les caractéristiques appropriées (une pour chaque critère) à partir de la liste des caractéristiques possibles, en utilisant des sources d'information clés. Tous les écarts ont été résolus par une discussion avec un troisième membre jusqu'à ce que les trois membres soient entièrement d'accord. Lorsque des ajustements aux critères, aux caractéristiques ou aux cotes connexes étaient nécessaires, une approche consensuelle itérative au sein de l'équipe de l'ONR a été utilisée, avec la participation des parties prenantes, pour valider et maintenir l'uniformité interne (i.e., l'alignement et la cohérence entre les composants de l'ONR). La validité apparente du classement, l'uniformité interne et la fiabilité de l'ONR étaient jugées avoir été atteintes une fois que 10 traitements consécutifs avaient été entrés sans écart (i.e., la nécessité de faire appel à un tiers de l'équipe) ou la nécessité d'ajuster l'ONR, et le classement a été jugée appropriée par les membres de l'équipe de l'ONR.

Troisième étape : Procéder à une première validation de l'ONR. Cette étape consistait à valider davantage l'ONR à l'aide des commentaires de trois membres de l'équipe de traitements contre la COVID-19 qui n'avaient pas utilisé l'ONR pour évaluer les traitements individuels. Ensemble, ils avaient des compétences critiques en évaluation, des antécédents en médecine, en soins infirmiers et en santé publique. On leur a fourni des renseignements détaillés sur 15 traitements choisis au hasard dans l'ONR (en utilisant la fonction ALEA de Microsoft Excel). On leur a donné le temps de poser des questions et de délibérer, et on leur a demandé d'indiquer leur niveau d'accord ou de désaccord (à l'aide d'une échelle de Likert) avec le classement ordinal l'ONR de ces traitements (i.e., quel traitement avait été classé premier, deuxième, etc.). On leur a aussi demandé de fournir des énoncés décrivant les intervalles entre les classements (e.g., le traitement A présente clairement un plus grand bénéfice global que le traitement B; les traitements C et D offrent un bénéfice global très semblable). Les classements ont été considérés comme validés (« appropriés ») si au moins deux des trois personnes étaient d'accord ou fortement d'accord (accord de consensus) avec le classement ordinal des traitements et sur 75 % ou plus des 12 énoncés de classement. Cette approche consensuelle a été adoptée pour tirer parti des avantages de la prise de décisions collaborative, tout en atténuant les risques associés aux préjugés individuels; le seuil de 75 % a été jugé pratique et significatif pour décrire un consensus substantiel.

Mesures des résultats

Le tableau 1 présente la liste des mesures des résultats et les étapes au cours desquelles elles ont été évaluées.

Résultats obtenus

Conception de l'outil de notation rapide

Le problème de décision portait sur la nécessité de trier efficacement et de hiérarchiser le grand nombre de traitements expérimentaux contre la COVID-19 aux fins d'une évaluation plus approfondie, en fonction d'une évaluation préliminaire de leurs bénéfices perçus dans le contexte canadien. Les critères inclus dans l'ONR au moment de la rédaction et les éléments qui ont été utilisés pour élaborer les caractéristiques de chaque critère sont énumérés dans le tableau 2.

La figure 1 montre l'échelle élaborée et utilisée pour attribuer une cote à chaque caractéristique, avec des cotes allant de −10 à +10. Dans la plupart des cas, les caractéristiques n'avaient qu'un effet modéré sur le bénéfice perçu d'un traitement et, par conséquent, la plupart des cotes se situaient dans la fourchette de −5 à +5.

Figure 1 : Description textuelle

La figure illustre une rangée de cinq cellules. De gauche à droite, les cellules contiennent le texte suivant :

• Cette caractéristique réduirait considérablement le bénéfice perçu d'un traitement dans le contexte canadien, selon une évaluation préliminaire
• Cette caractéristique réduirait modérément le bénéfice perçu d'un traitement dans le contexte canadien, selon une évaluation préliminaire
• Cette caractéristique n'aurait aucun impact (i.e., neutre) sur le bénéfice perçu d'un traitement dans le contexte canadien, selon une évaluation préliminaire
• Cette caractéristique augmenterait modérément le bénéfice perçu d'un traitement dans le contexte canadien, selon une évaluation préliminaire
• Cette caractéristique augmenterait considérablement le bénéfice perçu d'un traitement dans le contexte canadien, selon une évaluation préliminaire

Au-dessus de chaque cellule se trouve une valeur numérique indiquant la cote associée à la description dans cette cellule. Les cotes, de gauche à droite, sont −10, −5, 0, +5 et +10. Il y a une flèche bidirectionnelle au-dessus des scores, avec une épaisseur croissante à mesure qu'elle approche des limites de −10 et +10.

Le tableau 3 donne un exemple d'un critère, de ses caractéristiques connexes et de ses cotes tirées de l'ONR. Par exemple, s'il était démontré qu'un traitement était associé à une toxicité hépatique grave au cours d'un essai de phase 3 menant à une mise en garde et précaution importante, la caractéristique 4, « Mises en garde et précautions importantes (…) » serait la caractéristique sélectionnée pour le critère d'innocuité pour ce traitement. Au cours de l'élaboration de l'outil, il a été décidé que cette caractéristique diminuerait le bénéfice perçu d'un traitement ayant cette caractéristique, dans le contexte canadien et en fonction d'une évaluation préliminaire et se verrait attribuer une cote de −2 (comme indiqué dans la figure 1).

Tableau 3 : Exemple de critère de sécurité, ses caractéristiques et leurs cotes

Caractéristiques des critères d'innocuité	Cote de la caractéristique
Caractéristique 1 : Aucune d'importance potentiellement significative selon un essai de phase 3 ou de données probantes du monde réel (i.e., aucun effet indésirable ou effets indésirables légers à modérés; aucun type ou nombre significatif d'interactions médicamenteuses, avertissements et contre-indications)	2
Caractéristique 2 : Inconnu, mais probablement aucun EI significatif (i.e., aucun EI ou des EI légers à modérés; aucun type ou nombre significatif d'interactions médicamenteuses, d'avertissements et de contre-indications)	1
Caractéristique 3 : Inconnu	0
Caractéristique 4 : Mises en garde et précautions importantes connues ou indications restreintes en raison de préoccupations importantes en matière de sécurité (e.g., traitement autorisé pour la COVID-19 dans un autre territoire de compétence, pour une indication non liée à la COVID-19 au Canada ou pour une indication liée à la COVID-19 si elle est évaluée pour un syndrome post-COVID-19)	−2
Caractéristique 5 : Inconnu, mais probablement quelques-uns d'importance potentiellement significative (e.g., au moins un des éléments suivants : EI, indication médicamenteuse, avertissements ou contre-indications significatifs ou un EI grave particulièrement préoccupant)	−3
Abréviation : EI, événement indésirable

Méthodes

Mise en œuvre de l'outil de notation rapide

La figure 2 présente une version simplifiée du flux de travail utilisé pour l'élaboration de l'ONR au cours de la phase 1. Certains traitements pouvaient être exclus d'une évaluation plus poussée en fonction d'une seule caractéristique. On a attribué une cote de −100 à ces caractéristiques d'exclusion afin de s'assurer que les traitements ayant ces caractéristiques aient de faibles cotes de« bénéfice global » et ne figurent pas parmi les traitements les mieux classés pour une évaluation plus poussée. Les caractéristiques d'exclusion sont présentées dans la boîte 1. Compte tenu de l'évolution rapide du contexte de pandémie, tous les traitements étaient réévalués périodiquement (chaque fois que de nouveaux renseignements ressortaient des analyses quotidiennes des principales ressources sur la COVID-19 ou tous les six mois, selon la première éventualité).

Figure 2 : Description textuelle

La figure illustre une version simplifiée des principales étapes pour élaborer l'outil de notation rapide (ONR). Voici les étapes : définir la question à laquelle il faut répondre ou le problème de décision; déterminer les critères; déterminer toutes les caractéristiques de chaque critère; déterminer et définir la fourchette de cotes des caractéristiques, en fonction de la question ou du problème de décision au début du flux de travail; attribuer une cote à chaque caractéristique; une personne formée en saisie de données sélectionne les caractéristiques appropriées pour chaque traitement; examiner périodiquement le classement des traitements. La question « Le classement a-t-il une validité apparente? » est indiquée en forme de losange. Si la réponse est « oui », une flèche revient à l'étape « Examiner périodiquement le classement des traitements ». Si la réponse est « non », l'étape suivante est « Revoir et ajuster les critères, les caractéristiques et les cotes des caractéristiques, au besoin, tout en assurant l'uniformité interne de l'ONR », qui est illustrée au-dessus d'une flèche qui revient à une fourchette courbe regroupant les étapes de « Déterminer les critères » à « Attribuer une cote à chaque caractéristique. » Une icône représentant trois personnes qui parviennent à un consensus apparaît au-dessus d'une accolade qui regroupe les étapes « Définir la question à laquelle il faut répondre ou le problème de décision » à « Attribuer une cote à chaque caractéristique ». Une icône représentant trois personnes qui parviennent à un consensus apparaît au-dessus des étapes « Examiner périodiquement le classement des traitements » et « Revoir et ajuster les critères, les caractéristiques et les cotes des caractéristiques, au besoin, tout en assurant l'uniformité interne de l'ONR ». Une icône d'une femme utilisant un ordinateur apparaît au-dessus de l'étape « Une personne formée en saisie de données sélectionne les caractéristiques appropriées pour chaque traitement ».

Abréviation : ONR, outil de notation rapide

Résultats

Mesures des résultats de l'outil de notation rapide

Après l'introduction d'une trentaine de traitements dans l'ONR au cours de la deuxième étape, les mesures des résultats, y compris la pertinence du classement et la nature systématique, la fiabilité et l'aspect pratique de l'ONR, ainsi que le temps requis pour effectuer une évaluation préliminaire, ont été atteintes. Une procédure opérationnelle normalisée a été élaborée pour assurer l'uniformité continue de l'utilisation de l'ONR. La pertinence du classement a également été respectée à la troisième étape. Un consensus a été atteint pour le classement ordinal de tous les traitements et pour 10 des 12 énoncés (83 %) décrivant les intervalles entre les classements; les désaccords concernaient deux traitements. Des ajustements ont été apportés à l'ONR, et le classement global de ces traitements par rapport aux autres a été examiné jusqu'à ce qu'un consensus soit atteint. Dix mois après le début de la phase 1, 69 traitements expérimentaux contre la COVID-19 avaient fait l'objet d'une évaluation préliminaire au moyen de l'ONR.

Discussion

Dans un contexte de pandémie dynamique, il était difficile d'identifier en temps opportun les traitements (avec des renseignements incomplets) pour une évaluation plus poussée afin d'améliorer la connaissance de la situation. L'ONR a permis de le faire au moyen d'un processus itératif continu visant à mettre à jour et à valider les critères, les caractéristiques et les cotes des caractéristiques, ainsi que son échelle de notation unique. L'échelle de notation de l'ONR a normalisé toutes les cotes des caractéristiques et a directement intégré le concept d'« importance » que d'autres outils abordent habituellement en attribuant des pondérations aux critères  ^{Note de bas de page 7Note de bas de page 13Note de bas de page 14Note de bas de page 15}. L'appendice a été élaboré pour fournir plus de détails sur ces aspects clés de l'ONR, ainsi que sur certains de leurs avantages comparativement à d'autres outils couramment utilisés, comme les outils fondés sur le Système d'analyse du jugement objectifié ^{Note de bas de page 7Note de bas de page 17Note de bas de page 18Note de bas de page 19} et d'autres outils fondés sur l'analyse décisionnelle multicritères ^{Note de bas de page 11Note de bas de page 16Note de bas de page 20}.

Outre son rôle principal qui consiste à identifier les traitements devant faire l'objet d'une évaluation plus approfondie, l'ONR a servi de répertoire structuré pour les renseignements clés se rapportant aux traitements, ce qui a facilité la mise à jour en temps opportun avec de nouveaux renseignements et le suivi. Cela a permis d'améliorer la connaissance de la situation du paysage thérapeutique expérimental.

Limites

L'ONR a des limites inhérentes au contexte dans lequel il a été élaboré et mis en œuvre. La façon dont ils ont été examinés et atténués est décrite ci-dessous. Pour optimiser l'efficacité de l'évaluation préliminaire, l'ONR s'est appuyé sur un sous-ensemble de critères d'évaluation utilisés dans des examens plus approfondis. Par exemple, les facteurs de mise en œuvre ne faisaient pas partie de l'ONR, car cette information n'était souvent pas disponible ou ne pouvait pas être déterminée rapidement. Un sous-ensemble différent de critères d'évaluation aurait pu influer sur le classement des traitements. Toutefois, la validation initiale au cours de la troisième étape a laissé entendre que le sous-ensemble des critères et des caractéristiques choisis était adéquat pour identifier les traitements à évaluer plus à fond.

La cote attribuée à chaque caractéristique a été convenue par un groupe spécifique de personnes. Un groupe différent aurait pu attribuer des cotes différentes, ce qui aurait pu influer sur le classement des traitements. Cette limite est inhérente à tout processus décisionnel  ^{Note de bas de page 18Note de bas de page 21} et a été atténuée en faisant participer des personnes ayant des antécédents et des rôles différents à la conception et à la validation de l'ONR.

La validation initiale de l'ONR a été dirigée par l'équipe de l'ONR, ce qui aurait pu avoir une incidence sur les résultats. Plusieurs mesures ont été prises pour atténuer cette limite potentielle, comme l'utilisation d'une présentation structurée avec des questions soigneusement formulées par souci de clarté et de neutralité, et des efforts pour éviter les préjugés motivationnels.

Implications et prochaines étapes

L'ONR a permis d'identifier en temps opportun les traitements à évaluer de façon plus approfondie, ainsi que de suivre efficacement le paysage thérapeutique dans un environnement en évolution. Son approche itérative a permis d'intégrer l'information la plus à jour sur les critères, les caractéristiques, les cotes et les traitements. De par la nature de cette conception, les deuxième et troisième étapes de la phase 1 seront répétées périodiquement.

La phase 2 de ce projet pilote consistera à évaluer la validation et la fiabilité de l'ONR avec d'autres agents thérapeutiques et parties prenantes, ainsi que des analyses statistiques et de sensibilité formelles. On s'attend à ce qu'un cadre adapté se prête à d'autres situations dynamiques impliquant de nombreuses interventions.

Conclusion

La phase 1 du projet pilote a été couronnée de succès. L'ONR a permis de hiérarchiser de façon systématique, fiable et efficace les traitements expérimentaux contre la COVID-19 pour une évaluation plus approfondie et une meilleure connaissance de la situation du contexte thérapeutique émergent pendant une pandémie dynamique. L'ONR présente plusieurs aspects distincts comparativement à d'autres outils, y compris son échelle de notation et sa méthode, ainsi que sa capacité de tenir compte de l'information incomplète ou en attente.

Déclaration des auteurs

• L. B. — Conceptualisation, méthodologie, validation, rédaction de la version originale, rédaction–révision et édition
  S. C. — Méthodologie, validation, rédaction–révision et édition
  M. A. — Méthodologie, validation, rédaction–révision et édition
  E. S. — Méthodologie, validation, rédaction–révision et édition
  M. G. R. — Validation, rédaction–révision et édition
  C. M. — Validation, rédaction–révision et édition
  S. G. S. — Validation, rédaction–révision et édition
  J. A. — Rédaction–révision et édition

Intérêts concurrents

Aucun.

Remerciements

Nous remercions Taline Ekmekjian, Services de bibliothèque de l'Agence de la santé publique du Canada, de son aide dans l'élaboration de la stratégie de recherche. Nous remercions également Annecy Houston, Jane Kolbe, Lauren Kreps, Niyi Lawuyi, Dre Nadine Sicard, Claudia Vela, Dr Ping Yan et Dr Shenghai Zhang pour leurs commentaires sur les versions antérieures de l'ONR et leurs suggestions perspicaces.

Financement

Ce travail a été soutenu par l'Agence de la santé publique du Canada.

Appendice