Outil d’évaluation de l’incidence algorithmique

Sur cette page

1. Introduction

L’outil d’évaluation de l’incidence algorithmique (ÉIA) est un outil d’évaluation des risques obligatoire destiné à soutenir la Directive sur la prise de décisions automatisée (« la Directive ») du Conseil du Trésor. L’outil est un questionnaire qui détermine le niveau d’incidence d’un système de décision automatisé. Il est composé de 48 questions sur les risques et de 33 questions sur l’atténuation. Les notes d’évaluation sont fondées sur de nombreux facteurs, y compris la conception des systèmes, l’algorithme, le type de décision, l’incidence et les données.

L’ÉIA est un questionnaire qui a été élaboré sur la base des meilleures pratiques en consultation avec les parties prenantes internes et externes. L’ÉIA a été développée de façon ouverte et est disponible pour le partage et la réutilisation sous une licence ouverte.

2. Utilisation et notation de l’évaluation

Cette évaluation est organisée en fonction des considérations liées aux politiques, à l’éthique et au droit administratif du gouvernement du Canada en ce qui a trait aux secteurs de risque du système de décision automatisé, tels qu’établis dans le cadre des consultations du Secrétariat du Conseil du Trésor du Canada avec le milieu universitaire, la société civile et d’autres institutions publiques. L’ÉIA est conçue pour aider les ministères et les organismes à mieux comprendre et gérer les risques associés aux systèmes de décision automatisés. L’ÉIA est composée de questions sous différents formats pour évaluer les secteurs de risque définis dans le Tableau 1.

Tableau 1. Définitions des secteurs de risque
Secteur de risque Définition
1. Projet
Phase du projet Propriétaire du projet, description et étape (conception ou mise en œuvre)
Facteurs opérationnels/Incidence positive Motivation à introduire l’automatisation dans le processus décisionnel
Profil de risque Indicateurs de risque de haut niveau pour le projet
Autorité de projet Besoin de trouver une nouvelle autorité responsable des politiques pour le projet
2. Système
À propos du système Capacités du système (p. ex., reconnaissance d’image, évaluation des risques)
3. Algorithme
À propos de l’algorithme Transparence de l’algorithme, s’il est facile à expliquer
4. Décision
À propos de la décision Classification de la décision automatisée (p. ex., services de santé, aide sociale, délivrance de permis)
5. Incidence
Évaluation de l’incidence Durée, réversibilité et zone touchée (liberté, santé, économie ou environnement)
6. Données
Source Provenance et classification de sécurité des données utilisées pour automatiser les décisions
Type Nature des données utilisées comme structurées ou non structurées (audio, texte, image ou vidéo)

L’ÉIA évalue également les mesures d’atténuation en place pour gérer les risques cernés. Ces questions sur l’atténuation sont classées dans les catégories définies dans le Tableau 2.

Tableau 2. Définitions des secteurs d’atténuation
Secteur d’atténuation Définition
7. Consultation
Intervenants internes et externes Intervenants internes et externes consultés, comme des spécialistes de la confidentialité et du droit
8. Élimination des risques et mesures d’atténuation
Qualité des données Processus pour s’assurer que les données sont représentatives et impartiales, ainsi que les mesures de transparence liées à ces processus
Équité procédurale Procédures de vérification du système et de ses décisions, ainsi que du processus de recours
Confidentialité Mesures de protection des renseignements personnels

2.1 Pointage

Chaque section contient une ou plusieurs questions, et les réponses aux questions contribuent à obtenir une cote maximale pour la section. La valeur de chaque question est pondérée en fonction de l’incidence brute et de l’atténuation, et contribue à la cote en fonction de cette pondération. La cote d’incidence brute mesure les risques de l’automatisation, tandis que la cote d’atténuation mesure la façon dont les risques de l’automatisation sont gérés.

Les réponses aux questions des sections 1 à 6 (risque) augmentent la cote d’incidence brute et les questions des sections 7 et 8 (atténuation) augmentent la cote d’atténuation. Les questions sont conçues pour mesurer l’incidence des décisions sur un large éventail de facteurs, notamment :

  • les droits des personnes ou des collectivités,
  • la santé ou le bien-être des individus ou des collectivités,
  • les intérêts économiques des individus, des entités ou des collectivités,
  • la durabilité continue d’un écosystème,
  • la durée et la réversibilité des effets.
Tableau 3. Cote d’incidence brute des secteurs de risque
Secteur de risque Nombre de questions Cote maximale
1 - Projet 15 15
2 - Système 1 0
3 - Algorithme 2 6
4 - Décision 1 6
5 - Incidence 16 36
6 - Données 13 44
Cote d’incidence brute 48 questions 107 (maximum)
Tableau 4. Cote d'atténuation des secteurs d'atténuation
Secteur d’atténuation Nombre de questions Cote maximale
7 - Consultation 2 2
8 - Élimination des risques et mesures d’atténuation 31 43
Cote d’atténuation 33 questions 45 (maximum)

La cote actuelle est déterminée comme suit :

  1. si la cote d’atténuation est inférieure à 80 % de la cote d’atténuation maximum réalisable, la cote actuelle est égale à la cote d’incidence brute; ou
  2. si la cote d’atténuation est égale ou supérieure à 80 % de la cote d’atténuation maximum réalisable, la cote actuelle est égale à la cote d’incidence brute – 15 %.

Exprimée en pourcentage, cette cote actuelle se situe dans une plage correspondant à un niveau d’incidence comme indiqué dans le Tableau 4 Définitions des niveaux d’incidence.

2.2 Niveaux d’incidence

L’achèvement de l’ÉIA fournit le niveau d’incidence pour le système en question. Les niveaux d’incidences vont du niveau I (faible incidence) au niveau IV (incidence très élevée). Le niveau d’incidence est déterminé par le pourcentage de la cote actuelle par rapport à la cote d’incidence brute maximum réalisable.

Tableau 5. Définitions des niveaux d’incidence
Niveau d’incidence Définition Plage de pourcentage de la cote
Niveau I Peu ou pas d’incidence 0 % à 25 %
Niveau II Incidence modérée 26 % à 50 %
Niveau III Incidence élevée 51 % à 75 %
Niveau IV Incidence très élevée 76 % à 100 %

3. Consignes

L’ÉIA est accessible sous forme de questionnaire en ligne sur le Portail du gouvernement ouvert. Une fois le questionnaire rempli, les résultats fournissent un niveau d’incidence et un lien avec les exigences de la Directive. La page des résultats détaillés expliquera également pourquoi le système a été coté à un certain niveau. Les résultats et l’explication peuvent être imprimés ou enregistrés en format PDF.

L’ÉIA évalue les décisions automatisées sur un large éventail de sujets, y compris les bénéficiaires de services, les processus opérationnels, les données et les décisions entourant la conception de systèmes. Il est préférable de compléter l’ÉIA avec une équipe multidisciplinaire qui apporte son expertise dans tous ces domaines.

Il faut répondre à chaque question de l’ÉIA. Si la réponse à une question est inconnue, veuillez choisir l’option de note la plus basse pour la question. S’il y a lieu, soyez prêt à fournir la preuve documentaire sur demande.

La section 6 de la Directive fournit une liste complète des exigences que les ministères sont responsables de rencontrer. Certaines exigences deviennent plus strictes à mesure que le niveau d’incidence augmente, y compris le type d’examen par les pairs et le degré d’implication humaine dans les décisions. Pour une liste exhaustive des exigences évolutives, reportez-vous à l’annexe Exigences par niveau d’incidence dans la Directive. Les autres exigences sont des exigences de base qui ne varient pas en fonction du niveau d’incidence, telles que la consultation des services juridiques de l’institution avant le développement du système, la formation des employés et l’offre de toute possibilité en matière de recours applicable afin de contester la prise de décision.

3.1 Quand remplir l’ÉIA

L’ÉIA devrait être effectuée au début de la phase de conception d’un projet. Les résultats de l’ÉIA guideront les exigences d’atténuation et de consultation à respecter pendant la mise en œuvre du système de décision automatisé conformément à la Directive.

L’ÉIA devrait être remplie une deuxième fois, avant la production du système, afin de confirmer que les résultats reflètent fidèlement le système qui a été construit. L’ÉIA révisée devrait être publiée sur le Portail du gouvernement ouvert à titre de résultats finaux.

3.2 Diffusion des résultats

Les ministères sont responsables de la publication des résultats finaux de l’ÉIA dans un format accessible et dans les deux langues officielles sur le Portail du gouvernement ouvert. La page des résultats de l’ÉIA offre la possibilité de fournir des traductions pour le texte entré. Elle offre également la possibilité de télécharger les résultats en format PDF accessible pour répondre à cette exigence.

Signaler un problème ou une erreur sur cette page
Veuillez sélectionner toutes les cases qui s'appliquent :

Merci de votre aide!

Vous ne recevrez pas de réponse. Pour toute question, contactez-nous.

Date de modification :