Comité consultatif scientifique sur les technologies numériques de la santé, 9 mai 2019, résumé des délibérations
Sur cette page
Présence
Membres du comité
Membres reconnus: Joseph Cafazzo (président), Aviv Gladman, Kim Hanson, Kendall Ho, Trevor Jamieson, Chris Kamel
Membres ad hoc : Syed Sibte Raza Abidi, Jaron Chong, Colleen Flood, Anna Goldenberg et Frank Rudzicz
Absent : Kumanan Wilson
Intervenants
Représentants des intervenants : Alan Coley, John Weigelt, Dana O'Born, Sachin Aggarwal (par téléconférence), Peter Kendall, Jo Kennelly, Alex Bilbily
Santé Canada : Tyler Dumouchel, Patrick Fandja, Ursula Polack
Observateurs
Santé Canada : Patrick Assouad, David Boudreau, Sarah Chandler, Michelle El-Hage, Ian Glasgow, Reeham Hammouda, Janet Hendry, Shawn Hopewell, Andy Hua, Gregory Jackson, Marc Lamoureux, Matt LeBrun, Justin Peterson, Anu Shukla-Jones, Daniel Yoon
Autres : Jeremy Petch (Hamilton Health Sciences), Francis Thibault (Conseil national de la recherche)
Mot de bienvenue
Marc Lamoureux, gestionnaire à la Division de la santé numérique du Bureau des matériels médicaux, a souhaité la bienvenue aux membres du comité consultatif scientifique. Il a remercié les membres pour leur temps et pour avoir fourni des conseils à Santé Canada.
Introduction du président
Le Dr Joseph Cafazzo, président, a remercié les membres d'avoir participé à la réunion et a confirmé l'acceptation de l'ordre du jour. Les membres du comité, les intervenants et les observateurs se sont présentés et ont déclaré toute mise à jour de leurs affiliations et intérêts (Frank Rudzicz a déclaré des affiliations et des intérêts dans 2 entreprises). Aucune déclaration n'a empêché les membres du CCS-TNS de participer.
Présentations
Il y a eu 4 présentations :
1. Alan Coley, MEDEC, et John Weigelt, Microsoft Canada :
- comment l'intelligence artificielle (IA) peut être utilisée dans les soins de santé pour aider à obtenir de meilleurs résultats en matière de santé
2. Dana O'Born, Sachin Aggarwal, Peter Kendall, Jo Kennelly, Conseil canadien des innovateurs :
- comment leurs entreprises respectives utilisent l'IA
- leur point de vue sur la façon dont Santé Canada devrait réglementer l'IA
3. Alex Bilbily, 16 Bit :
- son expérience dans le développement d'algorithmes d'apprentissage machine pour l'imagerie médicale
- les défis rencontrés et les solutions proposées
4. Tyler Dumouchel, Direction des produits thérapeutiques, Patrick Fandja, Direction des produits de santé commercialisés, et Ursula Polack, Direction générale des opérations réglementaires et de l'application de la loi :
- un aperçu du cadre réglementaire canadien des instruments médicaux, qui comprend :
- la délivrance de licences avant la mise sur le marché
- la surveillance après la mise en marché
- la conformité et l'application de la loi
Discussion
Données d'apprentissage en IA
Question d'ordre scientifique n° 1 :
« Un instrument médical homologué par Santé Canada peut être distribué à tous les Canadiens et doit donc refléter l'ensemble de la population canadienne. Par conséquent, l'algorithme d'IA doit être entraîné, validé et testé à l'aide de données représentatives de la population canadienne pour son utilisation spécifique prévue. De plus, les données sont généralement épurées et conservées avant d'être utilisées à des fins de formation, de validation et d'essai.
- Quels sont les principaux facteurs à prendre en compte pour s'assurer que les données appropriées ont été utilisées pour l'entraînement, la validation et les essais à l'appui de l'utilisation prévue de l'instrument?
- Sur quels paramètres pourrait-on se fier pour s'assurer que les données d'entraînement ont été correctement caractérisées, que les biais potentiels ont été réduits au minimum et que l'ensemble de données est représentatif de la population prévue au Canada?
- Quelles sont les approches acceptables que les fabricants peuvent suivre pour démontrer une curation adéquate des données?
- L'utilisation de données simulées, de données de mauvaise qualité ou d'imputation des données est-elle acceptable dans n'importe quel scénario, ou existe-t-il des raisons fondamentales d'éviter d'utiliser ces types de données? »
Le comité a discuté du fait qu'il peut être difficile de créer des méthodes qui fonctionnent pour l'ensemble de la population canadienne et qu'il peut donc être difficile pour un algorithme de représenter la population.
Toutefois, il est important que les fabricants indiquent clairement quelles données ont été utilisées pour élaborer la méthode et dans quelles populations l'algorithme devrait bien fonctionner, et énoncent les contre-indications ou les exclusions. Il est également important que les fabricants mettent en place des mesures de protection pour empêcher l'algorithme d'agir sur des données sur lesquelles il n'a jamais été entraîné, lorsqu'une prédiction ou une classification fiable ne peut être faite.
Le comité a discuté du fait que les données d'entraînement, les paramètres et les données démographiques varient considérablement selon les différents types de systèmes d'IA. À tout le moins, le comité a suggéré que Santé Canada devrait demander des statistiques sur la répartition des classes avec des tests de régression, la distribution des variables de résultats et des analyses de puissance post-hoc. Ces données aideront Santé Canada à déterminer si la taille de l'ensemble de données est appropriée et à comprendre comment l'algorithme a été élaboré. Le comité a également préconisé des essais qui simulent l'utilisation réelle de l'instrument.
Lorsqu'il s'agit d'une population comprenant différents groupes, le comité a encouragé la représentation proportionnelle de chaque groupe dans les données d'entraînement et dans l'ensemble de données de validation. Le comité a également insisté sur l'importance de s'assurer qu'il n'y a pas de fuite de données. En recherche appliquée, il est communément connu que si un patient existe à la fois dans les volets d'entraînement et d'essai, l'effet ou l'exactitude diagnostique peuvent être surestimés. La meilleure pratique consiste à avoir des personnes distinctes dans les deux volets. Certains comités de rédaction n'accepteront pas non plus la validité du rendement d'un algorithme à moins qu'un ensemble externe ne soit utilisé.
Une surveillance continue après la mise en marché est importante pour repérer les changements locaux imprévus qui contribuent au changement soudain de rendement d'un algorithme. Contrairement aux médicaments qui sont sur le marché depuis des années, les choses peuvent changer au niveau local (par exemple, nouveau protocole, nouveaux appareils ou scanneurs). Cela peut entraîner une modification au fil du temps d'un système qui fonctionnait bien.
Le comité a également discuté de la difficulté d'obtenir des données épurées, surtout dans les cas où l'algorithme s'appuie sur des utilisateurs patients pour saisir les données que le système utilise. Des erreurs sont probables. Plutôt que d'utiliser des paramètres précis auxquels l'IA devrait être programmée, Santé Canada devrait envisager de réglementer le processus que les fabricants utilisent pour obtenir, décrire, entraîner, tester et valider les données avant et après la mise en marché. Il se peut que cela soit déjà en place en raison de l'obligation pour les fabricants de disposer de systèmes de gestion de la qualité et d'effectuer une analyse des risques.
Le comité a discuté des risques et des possibilités associés aux données simulées.
Certains membres du comité ont suggéré que cela n'est pas approprié pour l'IA, car cela réduit la capacité de l'IA à identifier les interactions non linéaires entre les caractéristiques, ce qui va à l'encontre de l'objectif de l'IA. Les données simulées ne tiennent pas compte non plus de l'énorme variabilité qui se produit dans la vie réelle. D'autres membres ont estimé que les données simulées peuvent être utiles en cas de problème de déséquilibre des classes, afin d'éviter que l'instrument ne tombe dans la classification de la classe majoritaire.
À tout le moins, les fabricants devraient indiquer s'ils utilisent des données simulées, indiquer la provenance de toutes les données et indiquer s'ils ont épuré les données.
En résumé, Santé Canada devrait envisager d'exiger que les fabricants documentent ce qui suit :
- la population sur laquelle l'algorithme a été entraîné
- Par exemple, le tableau démographique 1 de la plupart des essais décrit les caractéristiques de la population étudiée. À partir de ce tableau, un clinicien est en mesure de décider si l'algorithme s'applique à son patient.
- la provenance des données (d'où viennent les données)
- la reproductibilité du rendement
- les protocoles précis de validation et de mise à l'essai
Vérification et validation des algorithmes d'IA
Question d'ordre scientifique n° 2 :
« Il est essentiel de vérifier et de valider que les résultats d'un algorithme d'IA sont exacts et appropriés pour garantir que l'algorithme génère de façon fiable et prévisible le résultat escompté pour la population visée.
- Quelles sont les méthodes et approches recommandées pour vérifier et valider qu'un algorithme d'IA produit des résultats corrects et prévisibles qui reflètent l'utilisation prévue ou le résultat attendu de l'algorithme?
- Quelles mesures de rendement pourraient être utilisées pour vérifier l'exactitude des résultats d'un algorithme d'IA entraîné?
- Comment peut-on vérifier que les fabricants ont choisi l'algorithme adéquat ou la bonne approche pour répondre à leurs exigences cliniques?
- Comment garantir que les algorithmes d'IA sont généralisables et transférables? »
Selon le comité, il serait très difficile d'élaborer une liste de méthodes pour vérifier ou valider un algorithme ou une mesure de rendement, car cela dépendrait de l'application et du type d'algorithme. Le comité a convenu qu'il s'agit d'une question beaucoup trop complexe pour être définie seule. Toute exigence prescriptive sur la façon dont un algorithme doit être élaboré deviendrait rapidement désuète et nuirait à la capacité de Santé Canada de se tenir à jour. Tout algorithme devrait être validé dans le cadre prévu, et les fabricants devraient être responsables d'établir des mesures de rendement fondées sur la sécurité et l'efficacité.
Il est important de montrer que le rendement peut être reproduit. À cette fin, le comité a suggéré que Santé Canada vérifie les processus mis en place par les fabricants pour la gestion de la qualité, la validation, les biais et les limites.
L'utilisation de la simulation par ordinateur au lieu de preuves traditionnelles peut être avantageuse dans les petits échantillons ou lorsqu'il existe de nombreuses possibilités. Toutefois, dans l'ensemble, le comité a préféré la preuve traditionnelle, particulièrement dans les premières étapes. Les ressources publiées sur la validation et la vérification ont été citées comme références.
Interopérabilité des logiciels d'IA
Question d'ordre scientifique n° 3 :
« L'interopérabilité des logiciels d'IA avec les instruments actuels, les flux de travail cliniques, les réseaux informatiques et les données sont essentielles à l'intégration de l'IA dans les hôpitaux, les cliniques et les lieux de soins ou les milieux de soins à domicile.
- Quelles sont les principales préoccupations en matière de sécurité et d'efficacité liées à l'interopérabilité des logiciels d'IA?
- Quelles mesures les fabricants devraient-ils prendre pour réduire au minimum les préoccupations potentielles en matière de sécurité et d'efficacité liées à l'interopérabilité?
- Comment les fabricants devraient-ils atténuer la possibilité qu'un algorithme d'IA échoue après qu'un changement soit apporté à un instrument tiers (par exemple, un changement à un instrument d'acquisition d'images médicales qui influe sur l'interprétation de l'image par l'algorithme d'IA)? »
Le comité a discuté du fait que les fabricants devraient définir les situations où des caractéristiques externes essentielles font partie intégrante du bon fonctionnement du logiciel, afin d'atténuer ou de prévenir les problèmes. Par exemple, si un capteur fournit une entrée critique à l'algorithme, cela devrait être noté et un mécanisme devrait être en place pour détecter un capteur défectueux et empêcher des résultats inappropriés.
Le comité a également discuté de la nécessité d'avoir un portrait clair de la population sur laquelle l'algorithme a été entraîné(équivalent au tableau démographique d'une étude clinique). Cela aiderait les cliniciens à déterminer s'il convient à leur patient.
Les algorithmes d'IA pourraient également être en mesure d'effectuer des contrôles d'intégrité des données et de fournir ensuite des avertissements ou des mécanismes de verrouillage à l'utilisateur. Par exemple, un algorithme entraîné sur les adultes devrait disposer d'un mécanisme pour l'empêcher de produire un résultat lorsqu'il est présenté à un patient pédiatrique.
Selon le niveau de risque du produit, les fabricants pourraient devoir assurer un certain niveau de validation au point d'installation pour atténuer les problèmes d'interopérabilité. Cette validation locale contribuerait à assurer la qualité de la mise en œuvre, en particulier pour les instruments à risque élevé.
Réglementer le processus de développement d'algorithmes d'IA
Question d'ordre scientifique n° 4 :
« Les instruments médicaux sont actuellement réglementés au cas par cas en utilisant le modèle de modification importante et en utilisant les règles de classification des risques. La réglementation au cas par cas peut ne pas être idéale pour les algorithmes d'IA, étant donné que les algorithmes peuvent être régulièrement entraîné de nouveau et qu'une formation en ligne (par exemple, l'apprentissage continu) est possible. Santé Canada pourrait continuer de réglementer ces instruments au cas par cas ou viser à réglementer le processus de développement d'algorithmes d'IA. En outre, les règles actuelles de classification des risques peuvent ne pas classer avec exactitude le risque d'un algorithme d'IA.
- Quels sont les avantages et les inconvénients d'une réglementation au cas par cas par rapport à une réglementation au niveau du processus de développement?
- Quelles devraient être les principales exigences pour qu'un fabricant obtienne l'approbation d'un processus de développement?
- Quelles sont les classifications de risque recommandées pour les algorithmes d'IA?
- En quoi la surveillance réglementaire devrait-elle différer pour les divers niveaux de classification des risques? »
Le comité a convenu que la réglementation du processus de développement, semblable au projet pilote de précertification de la Food and Drug Administration des États-Unis, peut avoir des avantages par rapport à la réglementation au cas par cas. Cette approche peut assurer la surveillance et l'examen tout en permettant une certaine liberté pour les mises à jour. Il faudrait encourager les améliorations sans imposer un fardeau excessif.
Selon le comité, Santé Canada pourrait envisager de mettre à l'essai des instruments d'IA à faible risque, comme ceux de classe II.
Le comité a discuté de la possibilité d'avoir un système de classification parallèle unique pour les instruments d'IA. Ce système pourrait être fondé, par exemple, sur le niveau d'autonomie (présence ou non d'un médecin) et le risque, et pourrait permettre à Santé Canada d'ajouter des contrôles supplémentaires. Le comité a également reconnu que l'utilisation par les médecins d'instruments d'aide à la décision à faible risque peut être supervisée par l'ordre provincial de médecins et de chirurgiens, qui réglemente les activités professionnelles.
Préoccupations éthiques
Question d'ordre scientifique n° 5 :
« La Direction générale des produits de santé et des aliments a pour mission de gérer les risques et les avantages des produits de santé et des aliments pour la santé. En ce qui concerne la réglementation des instruments médicaux, l'accent est mis sur la sécurité et l'efficacité des instruments. D'autres préoccupations potentielles, comme la protection de la vie privée des patients, ne sont pas expressément abordées dans le cadre du mandat. Les inquiétudes sont toutefois reconnues.
- Quelles sont les principales préoccupations éthiques en matière de réglementation de l'IA dans les instruments médicaux?
- Comment ces préoccupations éthiques influencent-elles la réglementation efficace des instruments médicaux en matière de sécurité et d'efficacité? »
Le comité a décrit que de nombreuses questions d'équité en santé découleront de la qualité des données utilisées pour entraîner le modèle. Les ensembles de données générés ont tendance à mettre l'accent sur une population homogène aisée qui vit en milieu urbain (autour des hôpitaux d'enseignement ou des laboratoires de recherche). Il pourrait y avoir un risque d'exacerber l'iniquité entre les groupes, car certains ne sont pas représentés dans les données et n'auront donc pas accès à la technologie. Les populations sous-représentées comme les femmes, les enfants, les Autochtones, les personnes âgées, les minorités ethniques, les personnes de diverses identités de genre ou les femmes enceintes et allaitantes peuvent être exclues ou réduites au minimum.
Toutefois, le comité a suggéré que l'IA pourrait aider à résoudre les problèmes d'équité en santé. Par exemple, certains algorithmes pourraient servir d'outils de dépistage dans les populations rurales.
Le comité a également suggéré à Santé Canada de tenir compte des éléments suivants :
- Le consentement
- appliquer la Loi sur la protection des renseignements personnels et les documents électroniques
- les patients ou utilisateurs à qui l'on demande de « donner » leurs données sans compensation
- un produit commercialisé continue de recueillir des données en secret
- les problèmes de position potentielle, si les patients craignent de se voir refuser les meilleurs soins disponibles s'ils ne consentent pas aux conditions d'utilisation des données
- la nature des formulaires de consentement, qui sont souvent si longs, détaillés et techniques que de nombreuses personnes cliquent simplement sur « Accepter » sans avoir véritablement compris et consenti
- Les questions de numératie ou de littératie technique
- les biais qui peuvent exister même en recrutant des patients dans les ensembles de données de formation ou en testant des patients qui maîtrisent la technologie
- La création d'un fossé numérique
- l'écart technologique entre ceux qui ont accès aux technologies et qui dispose d'une bande passante suffisante pour les exploiter
- La propriété et la réciprocité des données
- l'utilisation des données est partiellement justifiée pour soutenir l'innovation, mais il n'y a pas de réciprocité des données, car les hôpitaux qui génèrent des données ne peuvent plus les utiliser après leur acquisition par l'industrie
- la population dont les données ont été utilisées pour créer le logiciel ne bénéficie plus du produit
- un mécanisme de retour des données vers les hôpitaux devrait être mis en place
- un principe éthique devrait régir l'utilisation judicieuse des données au-delà d'une seule application, en envisageant d'obliger les fabricants à divulguer la manière dont les données seront utilisées
- L'érosion de la confiance envers les institutions et le partage des données
- les populations vulnérables qui voudront peut-être cacher leurs données ne pourront pas profiter des avantages de l'IA, car l'IA a besoin de ces données pour apprendre et améliorer les résultats
- Ce qu'il faut approuver en matière de financement
- si le produit est suffisamment sécuritaire pour être commercialisé
- envisager des approbations conditionnelles qui reposent sur l'atteinte de certains résultats
Le comité a discuté de l'avantage possible d'établir des comités d'éthique de l'IA distincts des comités d'éthique de la recherche (CER) existants. Ces comités d'éthique de l'IA mettraient l'accent sur les préoccupations éthiques (comme l'équité, la protection des renseignements personnels, le consentement) propres aux instruments médicaux fondés sur l'IA. Les CER existants pourraient également être mis à profit plutôt que de créer de nouveaux organismes.
Les défis associés à cette idée comprennent le manque potentiel de ressources et de talents, surtout dans les petits établissements.
Surveillance des divergences
Question d'ordre scientifique n° 6 :
« On s'attend à des divergences entre les résultats de l'algorithme et les décisions des cliniciens humains dans les logiciels de diagnostic qui utilisent l'IA.
- À quel moment une divergence entre la prédiction de l'algorithme et le clinicien doit-il être considéré comme une défaillance de l'instrument?
- Le réentraînement visant à améliorer un algorithme doit-il être considéré comme une action visant à corriger l'instrument après qu'il a été jugé défectueux? »
Le comité a discuté du fait que la « défaillance » d'un instrument pourrait présenter une occasion d'amélioration. Le rendement au fil du temps par rapport aux décisions cliniques devrait être pris en compte.
Le comité a souligné que les divergences peuvent être considérées comme un signal positif pour le changement et peuvent être un indicateur précoce qu'un résultat négatif peut survenir si aucun changement n'est apporté à l'algorithme. Les divergences offrent également une excellente occasion de réentraînement de l'algorithme.
Tous les produits d'IA doivent comprendre des renseignements sur la sensibilité et la spécificité de leur fonction de classification afin d'aider les cliniciens à comprendre les répercussions possibles d'une divergence. L'étiquetage approprié devrait indiquer explicitement à l'utilisateur qu'il faut s'attendre à des divergences.
Étant donné que des divergences sont prévues, il devrait incomber au fabricant de préciser le rendement et de définir les marges ou les niveaux inacceptables de divergence au moyen d'une analyse des risques. Santé Canada devrait déterminer à quel moment les divergences systémiques devraient être signalées.
Les fabricants doivent surveiller le rendement, les données qui dépassent les tolérances de rendement et les faux positifs, et être en mesure de recueillir des données tant que l'instrument est utilisé.
Selon le comité, il pourrait être avantageux pour les cliniciens ou les utilisateurs de pouvoir signaler les problèmes liés au logiciel d'IA directement au fabricant par l'entremise du logiciel lui-même. Du point de vue du patient, il devrait y avoir des processus clairs en place lorsqu'un clinicien n'est pas d'accord avec un algorithme et décide de le remplacer.
Le comité a discuté de la nécessité d'avoir des exigences différentes en fonction du contexte dans lequel l'instrument est utilisé, et en fonction de son niveau d'autonomie.
Lorsque l'instrument fondé sur l'IA est utilisé pour accroître la pratique du clinicien, on peut s'attendre à des divergences et le clinicien a l'occasion de ne pas être d'accord avec le résultat. Dans ce cas, les divergences systémiques au fil du temps ont plus d'importance sur le plan de la déclaration et de la correction. La décision de ne pas agir en fonction des résultats d'une IA fait partie des soins aux patients, qui relèvent de la compétence provinciale. La responsabilité incomberait alors aux hôpitaux de s'assurer que les instruments fondés sur l'IA qu'ils utilisent sont sécuritaires.
Dans le cas d'un instrument destiné au patient, il n'y a pas de clinicien dans la boucle et le patient peut avoir un degré plus élevé de dépendance à l'instrument. Les divergences individuelles peuvent avoir un impact plus important dans ce scénario que dans un environnement de pratique clinique.
Mot de la fin
Le Dr Joseph Cafazzo, président, et Santé Canada a remercié les membres de leur participation. La séance a été levée.
Détails de la page
- Date de modification :