Comité consultatif scientifique sur les technologies numériques de la santé, 10 et 12 janvier 2024, résumé des délibérations
Sur cette page
- Présence
- Mot de bienvenue
- Introduction du président
- Résumé et considérations générales
- Présentation
- Discussion
- Mot de la fin
Présence
Membres du comité
Membres reconnus : 10 janvier – Joseph Cafazzo (président), Aviv Gladman, Trevor Jamieson, Kendall Ho, Kim Hanson, Kumanan Wilson, Ross Mitchell
12 janvier – Joseph Cafazzo (président), Aviv Gladman, Trevor Jamieson, Kendall Ho, Kim Hanson, Kumanan Wilson, Ross Mitchell
Membres ad hoc : 10 janvier - Frank Rudzicz, Jaron Chong
12 janvier - Jaron Chong
Absent : 10 janvier - Doug Manuel
12 janvier - Doug Manuel
Intervenants
Medtech : 10 janvier – Mia Spiegelman (Medtech Canada), Rajeswari Devanathan (TPIreg), Martha De Cunha Maluf-Burgman (Edwards), Cassie Scherer (Medtronic), Tarek Haddad (Medtronic), Seema Vyas (Medtronic), Abhineet Johri (Siemens)
Santé Canada : 10 janvier - Bruce Randall, Sally Prawdzik, Marc Lamoureux, Laetitia Guillemette, Janet Hendry, Tyler Dumouchel, Martina Buljan, Tudor Fodor, Jiwon Hwang, Rosslynn Miller-Lee, Patrick Assouad, Ian Glasgow, Gregory Jackson, Justin Peterson, Colin McCurdy, Nicholas Blackburn
12 janvier - Bruce Randall, Marc Lamoureux, Laetitia Guillemette, Janet Hendry, Tyler Dumouchel, Martina Buljan, Tudor Fodor, Jiwon Hwang, Rosslynn Miller-Lee, Ian Glasgow, Gregory Jackson, Justin Peterson, Colin McCurdy, Nicholas Blackburn
Observateurs
10 et 12 janvier - Joanne Kim (Agence canadienne des médicaments et des technologies de la santé, ou ACMTS), Yannick Auclair (Institut national d'excellence en santé et en services sociaux, ou INESSS)
Mot de bienvenue
Bruce Randall, directeur général de la Direction des instruments médicaux (DIM), a souhaité la bienvenue aux membres du comité. Il a ensuite présenté les sujets de la réunion :
- les pratiques actuelles de développement d'instruments médicaux fondés sur l'apprentissage machine
- la surveillance de ces instruments et le maintien de leur rendement au fil du temps
Après avoir accueilli le nouveau membre, le Dr Ross Mitchell, au sein du comité, M. Randall a remercié les membres du comité pour leur temps et pour les conseils qu'ils ont fournis à Santé Canada.
Introduction du président
Le Dr Joseph Cafazzo, président, a remercié les membres d'avoir participé à la réunion. Il a demandé aux membres du comité de faire le point sur les déclarations d'affiliations et d'intérêts de celles initialement déclarées. Aucune déclaration n'a empêché les membres du CCS-TNS de participer. Il a informé les membres qu'on leur demandera de fournir leurs conseils sur les sujets abordés au cours des 2 jours lors de la table ronde qui se tiendra à la fin de la réunion.
Résumé et considérations générales
Marc Lamoureux, gestionnaire de la Division de la santé numérique au sein de la DIM, a donné un aperçu des réunions précédentes du comité et des conseils formulés.
Présentation
Le 10 janvier, il y a eu 1 présentation donnée par MedTech Canada, une association nationale représentant l'industrie de la technologie médicale,.
Medtech Canada a parlé des pratiques industrielles actuelles utilisées pour développer des instruments médicaux fondés sur l'apprentissage machine. La présentation portait sur :
- la surveillance et le maintien du rendement de ces instruments au fil du temps
- l'utilisation de normes et de pratiques exemplaires internationales pour élaborer et mettre à l'essai des instruments médicaux fondés sur l'apprentissage machine
- les mises à jour de l'étiquetage, y compris les considérations relatives à la transparence pour les utilisateurs
- les considérations relatives à la sélection et à la gestion des données, y compris l'utilisation d'ensembles de données de référence normalisés
- les considérations relatives aux plans de contrôle des changements préétablis
Medtech Canada a répondu aux questions des membres du comité, puis a quitté la réunion.
Discussion
Quatre sujets ont été abordés lors de la réunion de 2 jours :
- l'intelligence artificielle (IA) générative et les grands modèles de langage (10 janvier)
- la transparence envers les utilisateurs des modèles d'apprentissage machine (10 janvier)
- la gestion du changement pour les modèles d'apprentissage machine (12 janvier)
- la surveillance les modèles d'apprentissage machine (12 janvier)
IA générative et grands modèles de langage
Question d'ordre scientifique n° 1 :
« Quelles considérations particulières devraient être prises en compte lors de l'évaluation du profil de sécurité ou du ratio avantages-risques des instruments utilisant l'IA générative ou de grands modèles de langage? Quels sont les nouveaux risques associés à l'utilisation de ces types d'instruments en clinique ou à domicile? »
Le comité a discuté des différences entre les algorithmes traditionnels d'apprentissage machine et l'IA générative. Les membres ont souligné que les modèles traditionnels d'apprentissage machine sont ciblés, tandis que les grands modèles linguistiques peuvent avoir des répercussions plus vastes. Un instrument peut également utiliser de grands modèles de langage en arrière-plan pour générer des données ou faire des prédictions, sans que les utilisateurs sachent qu'un tel modèle est utilisé.
Le comité a suggéré que les grands modèles de langage pourraient être considérés comme des systèmes d'exploitation, où leurs vastes capacités pourraient être utilisées pour des applications plus étroites et spécifiques. Cela a diverses implications, surtout lorsqu'ils sont intégrés aux dossiers de santé électroniques.
Les grands modèles de langage peuvent être hébergés par un tiers et, à moins que les mises à jour automatiques ne soient empêchées, pourraient générer des résultats imprévisibles.
Bien qu'un modèle statistique traditionnel puisse être expliqué aux utilisateurs, avec l'IA générative, les utilisateurs peuvent ne pas comprendre comment le résultat est obtenu. Les modèles d'IA générative de tiers peuvent également se dégrader au fil du temps pour un certain nombre de raisons. Par exemple, ils peuvent être entraînés sur des données limitées et ne pas bien généraliser. Ou encore, les données utilisées pour entraîner le modèle ne sont plus représentatives des données du monde réel.
Les produits d'IA générative qui sont actuellement disponibles peuvent ne pas prétendre avoir une fin médicale et ne relèvent donc pas de Santé Canada. Toutefois, ils sont peut-être déjà utilisés à de telles fins. En raison de la facilité d'accès et d'utilisation de ces outils, les individus peuvent se tourner vers cette technologie pour gérer leur propre santé au lieu d'essayer de s'orienter dans le système de soins de santé pour consulter un professionnel.
Le comité s'est dit préoccupé par le manque de transparence de ces modèles, car les données sur l'entraînement ne sont souvent pas partagées par les fabricants. Le manque de transparence rend ces modèles difficiles à valider, surtout s'ils sont ensuite utilisés par d'autres fabricants pour créer un nouvel instrument. Pour ces raisons, le comité a recommandé que toute règlementation concernant ce type de technologie exige la divulgation des sources de données afin d'accroître la transparence.
Cette discussion a permis de parler des défis associés à la cybersécurité et à la réglementation sur la protection des renseignements personnels. Bien que la vie privée des patients doive être protégée, des possibilités sont perdues lorsque certaines des données des patients ne sont pas disponibles pour l'entraînement des modèles en raison de préoccupations liées à la vie privée. Dans le contexte de la cybersécurité, des rapports anecdotiques ont fait état de la récupération de données de patients individuels qui avaient été entraînés localement (appelés « régurgitation »). Ces rapports soulignent la nécessité d'équilibrer la disponibilité des données pour éclairer les modèles et la nécessité de protéger les renseignements sensibles des patients.
Le comité s'est également inquiété des risques qu'un modèle d'IA fabrique de l'information cohérente, plausible et convaincante, mais qui est néanmoins incorrecte sur le plan factuel.
Le comité a souligné les avantages potentiels de l'IA générative dans les soins de santé pour les tâches administratives courantes et l'automatisation. On espérait que ces outils puissent :
- accorder plus de temps aux cliniciens pour voir les patients
- augmenter le nombre de patients qu'ils sont en mesure de voir
- améliorer la qualité de vie d'un patient
- réduire l'épuisement professionnel des médecins
Le fait de ne pas adopter cette technologie comporte des risques. Le comité a mis en garde contre le biais excessif des logiciels, puisque les humains sont également biaisés dans leur prise de décision.
Le comité a souligné que les instruments fondés sur l'IA et l'apprentissage machine avaient un fort potentiel de réduire les erreurs des médecins et d'aider les médecins à respecter les lignes directrices de pratique et les normes de soins. Pour maximiser les avantages de cette technologie, le comité a recommandé un modèle de copilote, dans le cadre duquel le clinicien doit examiner les résultats des instruments à l'aide de l'IA générative. Il a été suggéré que Santé Canada envisage d'autoriser les produits à faible risque dans une phase pilote précoce. Santé Canada pourrait également envisager un programme semblable à celui utilisé par la Food and Drug Administration (FDA) des États-Unis. Dans le cadre du programme de la FDA, certains outils sont mis en marché rapidement s'ils offrent des avantages importants et qu'il n'y a pas de produit équivalent disponible.
Le comité craignait que la réglementation excessive de ces technologies favorise les grands fabricants et désavantage les petites entreprises locales et les entreprises en démarrage. Pour promouvoir l'équité dans l'industrie, toute réglementation devrait être accompagnée de directives claires en langage non verbal.
Transparence envers les utilisateurs de modèle d'apprentissage machine
Question d'ordre scientifique n° 2 :
« Que veulent savoir les utilisateurs au sujet des modèles d'apprentissage machine d'un instrument médical? Où ces informations doivent-elles être placées et comment doivent-elles être affichées? À quel moment les utilisateurs souhaitent-ils connaître ces informations? Comment ces informations devraient-elles être mises à jour lorsque des renseignements essentiels changent? »
Les instruments doivent indiquer quand ils utilisent un modèle d'IA pour que les utilisateurs en soient informés. Les utilisateurs cliniciens doivent également être informés de la source des données et savoir si l'algorithme a été entraîné sur des données locales.
Le comité a recommandé que Santé Canada impose la création de cartes modèles d'IA. Les cartes modèles d'IA constitueraient un répertoire permanent et accessible d'information se rapportant au modèle.
À l'instar des monographies de produits pour les médicaments, les fiches présenteraient des indications, des contre-indications, des limites d'utilisation, des risques potentiels, des défaillances potentielles, de la population cible (par exemple, des critères d'inclusion et d'exclusion des données sur l'entraînement) et des biais connus. Les caractéristiques des patients qui étaient absentes des données d'apprentissage seraient décrites afin que les utilisateurs soient conscients des lacunes de l'algorithme. Les limites connues seraient également clairement décrites (par exemple, quelles circonstances entraînent une défaillance du modèle ou des hallucinations et devraient être évitées).
Ils pourraient être mis à jour régulièrement en fonction de l'expérience des utilisateurs, y compris les problèmes et les incidents signalés par les utilisateurs dans d'autres pays.
Le comité a discuté de l'importance de fournir des données significatives et des mesures des résultats d'une manière compréhensible pour les utilisateurs. La marge cible des niveaux de performance attendus (minimum, maximum, moyenne, médiane) et le niveau d'incertitude devraient être fournis. Idéalement, il devrait y avoir un seuil clair pour déterminer le moment auquel l'utilisation d'un instrument devrait être suspendue et un plan de secours pour le cas où cela se produirait.
Les plans de contrôle des changements préétablis devraient comprendre une composante de remise en question. Autrement dit, le modèle devrait régulièrement être remis en question après son entraînement pour évaluer comment il se dégrade. Les commentaires devraient être fréquents afin de déterminer si les résultats sont logiques. Cette rétroaction aide à établir un lien de confiance et à peaufiner et à améliorer le modèle. Le fait de savoir si ces modèles sont étalonnés rassurerait les utilisateurs quant à la robustesse du modèle dans les cas complexes.
Les utilisateurs ne savent pas à qui s'adresser pour signaler des incidents ou une dégradation du rendement lorsque les fabricants cessent leurs opérations pour un algorithme spécifique ou un instrument médical fondé sur l'apprentissage machine. Un registre centralisé réglementé d'instruments médicaux fondés sur l'apprentissage machine approuvés au Canada ou des mises à jour de la Liste des instruments médicaux homologués en vigueur pourrait atténuer ce problème.
Gestion du changement pour les modèles d'apprentissage machine
Question d'ordre scientifique n° 3 :
« Quels éléments essentiels Santé Canada devrait-il prendre en compte dans l'évaluation de tout changement proposé et du protocole de gestion du changement connexe pour s'assurer que la sécurité et le rendement sont maintenus ou améliorés? »
Le comité a souligné que tout changement nécessiterait de réentraîner le modèle sur les données locales, plutôt que sur l'ensemble de données générique d'origine. Des préoccupations ont été soulevées au sujet de la possibilité d'une expertise limitée en matière d'apprentissage machine dans les petits établissements de soins de santé. Pour résoudre ce problème, le comité a suggéré que l'aide d'un tiers pour surveiller le rendement d'un modèle devrait être nécessaire. Une autre option pourrait consister à apporter des changements dans les grands centres médicaux universitaires qui y adhèrent et qui disposent d'utilisateurs experts en IA parmi le personnel afin de les tester avant de déployer les mises à jour pour tous les utilisateurs.
Les correctifs ou les mises à jour des modèles d'IA générative, possiblement par un tiers à distance, pourraient entraîner des conséquences imprévues ou des problèmes de rendement imprévisibles. Un membre du comité a dit qu'il est important de mettre en place des plans de sécurité intégrée et des plans d'urgence. Il a également été mentionné que la gestion du changement peut être difficile pour les modèles dont les degrés d'automatisation et de connectivité sont plus élevés avec d'autres instruments d'un réseau. Dans ce contexte, même de petites mises à jour d'un seul instrument peuvent entraîner une perte de connexion ou de rendement d'autres instruments connectés.
Le comité a discuté de la complexité de la gestion des versions et a indiqué qu'il est préférable d'effectuer un changement graduel plutôt qu'un changement obligatoire, ce qui pourrait être perturbateur. Il devrait y avoir des protocoles clairs en fonction du niveau de risque. Le comité a proposé un système de déclaration à plusieurs niveaux pour les incidents touchant les soins aux patients. Les mises à jour des instruments devraient faire l'objet d'une « période d'essai », au terme de laquelle les changements devraient être réévalués. Un protocole d'urgence devrait également être mis en place pour les incidents graves liés à la sécurité.
Les fabricants de technologies doivent fournir un soutien tout au long du cycle de vie de leur modèle d'IA. Santé Canada pourrait envisager de mettre en place des exigences de déclaration plus rapides et plus sensibles au-delà des procédures existantes.
Le comité a discuté des défis associés aux modèles d'IA qui peuvent « apprendre sur le tas » et modifier leur comportement au fil du temps à mesure que de plus en plus de patients sont examinés. Les grandes quantités de données sur lesquelles ces modèles sont entraînés rendent difficile l'analyse de la cause d'un problème d'algorithme qui a conduit un mauvais résultat sanitaire ou à un décès. Les instruments médicaux entièrement automatisés qui fonctionnent sans supervision peuvent rendre difficile l'identification d'un événement indésirable. Par conséquent, les avantages des mises à jour automatisées ne l'emportent pas nécessairement sur les risques.
Le comité a souligné également l'importance d'avoir une compréhension approfondie des niveaux de risque des différentes composantes des systèmes intégrés. Une approche réglementaire portant sur l'interopérabilité pourrait être nécessaire à mesure que les instruments médicaux deviennent de plus en plus nombreux et interconnectés. Du point de vue du génie logiciel, des essais unitaires peuvent être utilisés pour vérifier l'exactitude, mais pourraient ne pas être suffisants pour assurer une intégration sécuritaire dans les systèmes existants. Le comité a insisté sur l'importance de reconnaître les échelles de gris plutôt que les résultats binaires dans les scénarios cliniques. Par conséquent, il pourrait être préférable d'adopter des approches réglementaires qui utilisent des ajustements précis plutôt que des critères de « réussite ou d'échec ».
L'évolution rapide des étalons de référence dans les instruments médicaux basés sur des logiciels rend difficile l'établissement d'une base de données probantes au même rythme. Les changements apportés à un instrument après sa mise en marché peuvent également se produire au niveau local ou individuel. Ces changements devraient correspondre au fonctionnement attendu de l'algorithme.
Bien que les listes de vérification, les essais unitaires et la planification de rechange puissent aider à se protéger contre les événements prévus, une culture de communication et de transparence peut aider à se protéger contre les événements imprévus. Comme pour les autres produits de santé, la surveillance et la déclaration après la mise en marché sont essentielles pour mettre en évidence les événements indésirables et les problèmes potentiels.
Surveillance des modèles d'apprentissage machine
Question d'ordre scientifique n° 4 :
« Quels sont certains des avantages, des défis et des pratiques exemplaires en matière de surveillance des modèles d'apprentissage machine utilisés? Comment le fabricant et l'utilisateur devraient-ils surveiller le rendement? Comment cette information peut-elle être diffusée aux utilisateurs et aux autres intervenants? À quelle fréquence? »
Le comité a souligné les défis liés au fait de s'en remettre aux utilisateurs finaux pour obtenir de la rétroaction et signaler un événement indésirable. Même les utilisateurs les plus engagés ignorent souvent les problèmes à moins qu'ils ne soient confrontés à une alerte perturbatrice. Les rapports sur les effets indésirables sont souvent incomplets, rares ou différés. Les fabricants devraient disposer d'un processus de production de rapports simple afin que les utilisateurs finaux puissent repérer les erreurs et les écarts. Un groupe devrait être sur place pour surveiller et recalibrer le système rapidement, bien que cela puisse ne pas être possible pour les petits sites ou acceptable du point de vue de la protection des renseignements personnels.
Le comité a discuté des risques et des avantages des modèles de surveillance active par rapport aux modèles de surveillance passive, certains membres préconisant un mélange des deux. Une approche structurée pourrait aider à cerner les erreurs et les écarts par rapport à la norme (par exemple, les fabricants pourraient établir un seuil de rapports d'erreurs qui indiquerait la nécessité d'une étude officielle). Le comité a également suggéré que les fabricants surveillent régulièrement l'algorithme (par exemple, chaque année) et de mobiliser les utilisateurs finaux.
Le rôle des données synthétiques dans la surveillance du rendement des algorithmes est apparu comme un sujet d'intérêt. Bien qu'elles soient reconnues pour leurs avantages en termes de confidentialité et de coût, des inquiétudes ont été exprimées quant à leur capacité à représenter des événements rares. Bien qu'il y ait un intérêt pour les données synthétiques, le comité a souligné que les données naturelles sont supérieures. Les membres ont également mis en garde contre le fait de trop s'appuyer sur des variables de substitution et ont souligné l'importance d'utiliser des variables cliniquement pertinentes.
Un point de vue juridique sur la surveillance active a également été abordé. L'accent a été mis sur le déploiement infonuagique pour permettre une surveillance active et la transition vers des instruments d'IA axés sur les services. Des considérations juridiques en matière de protection des renseignements personnels ont été examinées, le comité suggérant que Santé Canada exige que certaines catégories d'instruments dotés de l'IA fassent l'objet d'une surveillance active. L'avantage éventuel de la prévention des dommages potentiels grâce à des prédictions d'IA en temps opportun a été mis en contraste avec les préoccupations relatives à la confidentialité des patients. Il a été souligné la nécessité de disposer d'une orientation réglementaire pour composer avec ces complexités.
Les mécanismes de sécurité intégrée constituent une solution potentielle pour surveiller le rendement, surtout dans le contexte de la prise de décisions algorithmiques. Le comité a discuté des risques potentiels associés aux algorithmes qui peuvent continuer à générer des résultats même lorsque les intrants sont inappropriés. Les membres ont également souligné l'importance d'intégrer des contrôles internes et des protocoles de sécurité intégrée pour prévenir les conséquences imprévues et autrement impossibles à traiter.
Les discussions finales ont porté sur la communication et la diffusion de l'information liée aux erreurs et aux mises à jour des algorithmes d'IA. Le comité a discuté des défis pour communiquer efficacement avec les utilisateurs finaux et ont envisagé divers scénarios et types d'utilisateurs. Par exemple, il pourrait être préférable de communiquer avec les utilisateurs patients au moyen de notifications ou de mises à niveau forcées du logiciel. Les dossiers de santé électroniques peuvent être une option pour les utilisateurs cliniciens.
Le concept de permalien a fait l'objet de discussions, les membres suggérant que le fait d'avoir un point d'information unique provenant du site du fournisseur pour chaque instrument médical homologué augmenterait les chances de déclaration. Les fabricants devraient tenir compte du niveau de risque associé au produit dans leur approche de communication.
Mot de la fin
Le Dr Joseph Cafazzo, président, a remercié les membres pour leurs réflexions et leurs discussions productives avant de clore la réunion.
Détails de la page
- Date de modification :