Outil d’évaluation de l’incidence algorithmique
Sur cette page
1. Introduction
L’outil d’évaluation de l’incidence algorithmique (EIA) est un outil d’évaluation des risques obligatoire conçu à l’appui de la Directive sur la prise de décisions automatisée (« la Directive ») du Conseil du Trésor. L’outil consiste en un questionnaire servant à déterminer le niveau d’incidence d’un système décisionnel automatisé. Il est composé de 65 questions sur les risques et de 41 questions sur les mesures d’atténuation de ceux-ci. La note d’évaluation repose sur de nombreux facteurs, dont la conception du système, l’algorithme, le type de décision, l’incidence et les données.
L’EIA a été élaboré en fonction de pratiques exemplaires en consultation avec des parties prenantes tant à l’interne qu’à l’externe. Elle a été élaborée de manière ouverte et est mise à la disposition du public pour être partagée et réutilisée sous une licence ouverte.
2. Utilisation et notation de l’évaluation
Cette évaluation est structurée en fonction des considérations liées aux politiques, à l’éthique et au droit administratif du gouvernement du Canada qui s’appliquent à la prise de décisions automatisée. Elle s’appuie sur les consultations que le Secrétariat du Conseil du Trésor du Canada a menées auprès des institutions publiques, du milieu universitaire et de la société civile. L’EIA est conçue pour aider les ministères à mieux comprendre les risques associés aux systèmes décisionnels automatisés et à les gérer. Les questions qui composent l’EIA permettent l’évaluation des secteurs de risque définis dans les tableaux de 1.1 à 1.6.
Tableaux 1.1 à 1.6 : Secteurs de risque
| Secteur de risque | Description |
|---|---|
| Détails du projet | Les renseignements sur le projet, tels que le nom du sous-ministre adjoint ou de la sous-ministre adjointe responsable du programme, l’étape du projet (par exemple, la conception ou la mise en œuvre) et une description du projet. |
| Raisons de l’automatisation | Les raisons de l’intégration de l’automatisation dans le processus de prise de décision et les renseignements connexes, telles que les avantages pour la clientèle et le ministère ainsi que le rendement attendu par rapport aux objectifs fixés. |
| Profil de risque | Les indicateurs de risque généraux pour le projet, tels que les groupes privés d’équité desservis, les répercussions sur les personnes en situation de handicap et les risques liés à l’exploitation du système. |
| Autorisation liée du projet | La nécessité d’une nouvelle autorisation stratégique ou légale pour le projet, et les raisons de cette nécessité. |
| Secteur de risque | Description |
|---|---|
| À propos du système | Les renseignements sur le système, tels que ses capacités, les personnes qui l’ont conçu et configuré ainsi que les responsables du système au sein du ministère. |
| Secteur de risque | Description |
|---|---|
| À propos de l’algorithme | Les renseignements sur l’algorithme, tels que sa capacité à donner une explication de la manière dont il aboutit aux résultats, sa capacité à apprendre et à évoluer à mesure de son utilisation ainsi que la manière dont il traite les caractéristiques protégées. |
| Secteur de risque | Description |
|---|---|
| À propos de la décision | Description des décisions administratives exécutées ou appuyées par l’algorithme et du secteur d’activité dans lequel ce dernier est utilisé. |
| Secteur de risque | Description |
|---|---|
| Évaluation de l’incidence | Évaluation détaillée de l’incidence possible du système sur les droits et libertés, l’égalité, la dignité, la protection des renseignements personnels et l’autonomie, la santé et le bien-être, les intérêts économiques, la durabilité d’un écosystème environnemental, la réversibilité et la durée de la décision, ainsi que le rendement du système pour les personnes qui présentent un éventail de facteurs identitaires personnels et intersectionnels. |
| Secteur de risque | Description |
|---|---|
| À propos des données | Les renseignements sur les données utilisées par le système, tels que si le système utilise des renseignements personnels, les catégories de sécurité traitées et les mesures mises en place pour réduire les biais et garantir l’exactitude des données. |
L’EIA évalue également les mesures d’atténuation mises en place pour gérer les risques recensés. Ces mesures d’atténuation sont classées dans les catégories définies dans les tableaux 2.1 et 2.2.
Tableaux 2.1 et 2.2 : Secteurs visés par les mesures d’atténuation
| Secteurs visés par les mesures d’atténuation | Description |
|---|---|
| À propos des consultations | Les renseignements sur les personnes consultées et les activités de consultation, tels que l’étape du cycle de vie du projet à laquelle elles ont eu lieu, les préoccupations soulevées au sujet du système et la façon dont les commentaires seront consignés et pris en compte. |
| Secteurs visés par les mesures d’atténuation | Description |
|---|---|
| Qualité des données | Les renseignements sur les processus visant à garantir la représentativité, l’impartialité et la qualité satisfaisante des données. |
| Équité procédurale | Les renseignements sur l’équité des procédures, tels que les pistes d’audit, la justification des décisions générée par le système et le processus de recours. |
| Confidentialité | Les renseignements sur la protection des renseignements personnels utilisés ou générés par le système, tels que la réalisation d’une évaluation des facteurs relatifs à la vie privée, l’intégration de mesures de protection des renseignements personnels et de sécurité dans la conception du système et les méthodes de dépersonnalisation utilisées. |
2.1 Notation
Chaque section contient une ou plusieurs questions. Les réponses aux questions contribuent à l’obtention de la note maximale pour la section concernée. La valeur de chaque question est pondérée en fonction du risque qui en découle ou qui est atténué dans le projet d’automatisation. La note d’incidence brute mesure les risques de l’automatisation, tandis que la note d’atténuation mesure la façon dont les risques de l’automatisation sont gérés. Les questions des sections 1 à 6 (risque) font augmenter la note d’incidence brute alors que les questions des sections 7 et 8 (atténuation) font augmenter la note d’atténuation.
| Secteur de risque | Nombre de questions | Note maximale |
|---|---|---|
| 1 - Projet | 10 | 22 |
| 2 - Système | 9 | 17 |
| 3 - Algorithme | 9 | 15 |
| 4 - Décision | 1 | 8 |
| 5 - Incidence | 20 | 52 |
| 6 - Données | 16 | 55 |
| Note d’incidence brute | 65 | 169 |
| Secteur visé par les mesures d’atténuation | Nombre de questions | Note maximale |
|---|---|---|
| 7 - Consultation | 4 | 10 |
| 8 - Élimination des risques et mesures d’atténuation | 37 | 65 |
| Note d’atténuation | 41 | 75 |
La note actuelle est déterminée comme suit :
- si la note d’atténuation est inférieure à 80 % de la note d’atténuation maximale, la note actuelle est égale à la note d’incidence brute;
- si la note d’atténuation est égale ou supérieure à 80 % de la note d’atténuation maximale, la note actuelle est obtenue en retranchant 15 % de la note d’incidence brute.
2.2 Niveaux d’incidence
L’incidence de l’automatisation d’une décision administrative est classée selon quatre niveaux, allant du niveau I (incidence faible) au niveau IV (incidence très élevée). L’EIA sert à cerner les risques et à évaluer leur incidence dans un large éventail de secteurs, notamment :
- les droits des personnes ou des collectivités;
- la santé ou le bien-être des personnes ou des collectivités;
- les intérêts économiques des personnes, des entités ou des collectivités;
- la durabilité continue d’un écosystème.
Les niveaux d’incidence se distinguent également en fonction de la durée et de la réversibilité de la décision, du contexte dans lequel le système est exploité et du risque associé aux données utilisées par le système.
Chaque niveau d’incidence correspond à un éventail de pourcentage de la note. Le niveau d’incidence attribué à chaque projet d’automatisation varie selon l’éventail dans laquelle se situe le pourcentage de la note attribuée au projet (tableau 5). Les niveaux d’incidence déterminent les mesures d’atténuation requises en vertu de la Directive sur la prise de décisions automatisée. L’annexe C de la Directive énumère les mesures d’atténuation requises pour chacun des quatre niveaux d’incidence. Les exigences sont proportionnelles au niveau d’incidence. Bien que les mesures visent à atténuer les risques recensés, leur mise en œuvre ne modifie pas le niveau d’incidence attribué à un projet. Ce dernier ne peut être modifié qu’après la réalisation d’une nouvelle EIA tenant compte des renseignements à jour sur le projet. Conformément à la Directive (paragraphe 6.1.3), les ministères sont tenus d’examiner et de mettre à jour leur EIA à intervalles réguliers, notamment lorsque des changements sont apportés à la fonctionnalité ou à la portée du système.
| Niveau d’incidence | Définition | Fourchette de pourcentage |
|---|---|---|
| Niveau I | Peu ou pas d’incidence | De 0 % à 25 % |
| Niveau II | Incidence modérée | De 26 % à 50 % |
| Niveau III | Incidence élevée | De 51 % à 75 % |
| Niveau IV | Incidence très élevée | De 76 % à 100 % |
3. Consignes
L’EIA est accessible sous forme de questionnaire en ligne sur le Portail du gouvernement ouvert. Une fois le questionnaire rempli, un niveau d’incidence est établi en fonction des résultats et un lien menant vers les exigences de la Directive est fourni. Les raisons pour lesquelles un niveau d’incidence a été attribué au système vous sont fournies à la page contenant les résultats détaillés. Vous pourrez imprimer les résultats et les explications ou les enregistrer en format PDF.
L’EIA permet d’évaluer les décisions automatisées en fonction d’un large éventail de considérations, notamment les bénéficiaires de services, les processus opérationnels, les données et les décisions relatives à la conception des systèmes. Il est préférable que l’EIA soit réalisée par une équipe multidisciplinaire possédant une expertise dans tous ces domaines.
Il est important de répondre à toutes les questions de l’EIA de sorte que la note d’incidence attribuée soit aussi précise que possible. Si vous ne connaissez pas la réponse à une question, veuillez sélectionner la note la plus basse pour cette question. Le cas échéant, vous devrez être en mesure de fournir des preuves documentaires sur demande.
La section 6 de la Directive fournit une liste exhaustive des exigences qui incombent aux ministères. Certaines exigences sont plus strictes à mesure que le niveau d’incidence augmente, notamment en ce qui concerne le type d’examen par les pairs et degré d’intervention du personnel dans les décisions. Pour obtenir la liste exhaustive des exigences qui varient en fonction du niveau d’incidence, veuillez vous reporter à l’annexe Exigences par niveau d’incidence de la Directive. Les autres exigences sont des exigences de base qui ne varient pas en fonction du niveau d’incidence, telles que la consultation du service juridique de l’institution avant l’élaboration du système, la mise à l’essai et le suivi des résultats et les mises en place de mécanismes de recours pour la contestation des décisions.
3.1 Quand réaliser une EIA
Une EIA doit être réalisée au début de la phase de conception d’un projet. Les résultats de celle-ci serviront à définir les exigences en matière d’atténuation et de consultation à respecter lors de la mise en œuvre du système décisionnel automatisé, comme le prévoit la Directive.
Une deuxième EIA doit être réalisée avant la mise en production du système afin de vérifier que les résultats correspondent bien au système mis en place. Les résultats de cette dernière évaluation doivent être publiés sur le Portail gouvernemental ouvert.
Revue et mise à jour de l’EIA
L’EIA doit être revue, approuvée et mise à jour selon un calendrier préétabli, ou lorsque la fonctionnalité ou la portée du système change (sous-section 6.1.3). Le calendrier de révision peut être établi en fonction des exigences en matière de surveillance (sous‑section 6.3.2) et de rapport (sous-sections 6.5.1 et 6.5.2).
Il est difficile d’anticiper pleinement les risques liés à la prise de décision automatisée lors de la conception d’un système. La réalisation d’examens fréquents tout au long du cycle de vie du système permettra de garantir que l’EIA reste à jour et que le système reste efficace.
La fréquence des examens peut dépendre de divers facteurs, notamment la nature du système, le contexte de son déploiement et la nature des décisions pour lesquelles il est utilisé.
Par exemple, la fréquence des révisions et des mises à jour de l’EIA peut être augmentée lorsque :
- le volume de services est élevé;
- le système touche un grand nombre de personnes;
- l’environnement dans lequel le système est exploité évolue ou change rapidement;
- le système a un niveau d’incidence de 3 ou 4.
3.2 Éléments à prendre en considération au moment de procéder à une EIA
Collecte de renseignements sur votre projet
Une grande quantité de renseignements sur le projet d’automatisation est nécessaire pour bien répondre aux questions de l’EIA sur les risques et les mesures d’atténuation. Avant de commencer l’EIA, vous devriez vous procurer des renseignements sur ce qui suit :
- la décision administrative qui sera étayée, facilitée ou exécutée par le système décisionnel automatisé, le contexte dans lequel le système sera utilisé et la manière dont il appuiera ou remplacera le jugement d’une personne chargée de la prise de décision;
- la clientèle concernée par la décision, de même que ses besoins, ses démographiques ou les obstacles auxquels elle peut être confrontée;
- l’incidence potentielle de la décision sur la clientèle, de même que la durée et la réversibilité de celle-ci, ainsi que la manière dont elle est établie, évaluée et atténuée;
- l’algorithme, y compris les paramètres et les techniques de traitement des données ainsi que les résultats;
- les données utilisées par le système, de même que les renseignements sur leur type, leur source, la méthode de collecte et leur classification de sécurité;
- les mesures prévues ou en place pour assurer la qualité;
- les mesures prévues pour assurer la transparence et communiquer l’information sur l’initiative à la clientèle et au public;
- l’approche adoptée pour la consultation des collègues fédéraux, de la clientèle ou des groupes d’intérêt qui représentent la clientèle ou d’autres partenaires;
- le registre des recommandations ou des décisions prises par le système, de même que toute explication ou tout journal généré par le système relativement à un tel registre;
- des renseignements sur la manière dont votre institution gère et fournit des services et des solutions de technologie de l’information.
Consultation du bureau de l’AIPRP
Il convient de consulter le bureau de l’accès à l’information et de la protection des renseignements personnels (AIPRP) de votre institution ou toute autre personne désignée en matière de protection des renseignements personnels afin de garantir que toute incidence sur la protection des renseignements personnels résultant de l’exploitation d’un système décisionnel automatisé qui utilise ou traite des renseignements personnels, ou qui touche de quelque manière que ce soit les droits à la vie privée des personnes, soit recensée, évaluée et atténuée. Cette consultation peut permettre aux responsables de projet de :
- déterminer si le système décisionnel automatisé traitera des renseignements personnels au sens de l’article 3 de la Loi sur la protection des renseignements personnels;
- vérifier si le traitement des renseignements personnels par le système proposé est prise en compte dans les évaluations des facteurs relatifs à la vie privée (EFVP) et les fichiers de renseignements personnels (FRP) pertinents, et de déterminer les mesures et les autorisations requises en vertu des lois et des politiques en matière de protection de la vie privée;
- déterminer les exigences applicables de la Politique sur la protection de la vie privée et des instruments de politique connexes, dans le but de garantir la mise en place de mesures de protection appropriées pour la création, la collecte et le traitement des renseignements personnels tout au long du cycle de vie du système, de même l’établissement de plans d’intervention en cas d’atteinte à la vie privée;
- prévoir des mesures visant à renseigner le Commissariat à la protection de la vie privée du Canada sur le système proposé et toute incidence prévisible sur la protection de la vie privée de la population canadienne, comme l’exige la Politique sur la protection de la vie privée;
- veiller à ce que les renseignements personnels recueillis ou créés dans le cadre du projet d’automatisation soient manifestement nécessaires pour le programme ou l’activité, comme l’exige la Directive sur les pratiques relatives à la protection de la vie privée;
- veiller à ce que des clauses de protection des renseignements personnels appropriées soient prévues dans les contrats, accords ou ententes conclus avec des entreprises ou des partenaires qui fournissent des services, des solutions ou des produits d’automatisation;
- veiller à ce que des fonctionnaires responsables de la protection des renseignements personnels examinent l’EIA avant sa publication dans le Portail du gouvernement ouvert, conformément à la Directive sur le gouvernement ouvert.
Collaboration avec les services juridiques
Il convient de consulter le service juridique afin de recenser et de gérer les risques juridiques liés à la mise au point, à l’acquisition ou à l’utilisation d’un système décisionnel automatisé. Les consultations doivent débuter dès la phase de conception d’un projet d’automatisation, soit avant la mise au point ou l’acquisition d’un système. La nature des risques juridiques dépend fortement de la conception du système (par exemple, les données d’apprentissage et le modèle), du contexte de déploiement et du type de décision administrative automatisée. La sollicitation d’un avis juridique sur un système décisionnel automatisé peut permettre aux responsables de projet de :
- se conformer à l’exigence de la directive de consulter le service juridique dès la phase de conception d’un projet (voir la sous-section 6.3.12);
- recenser toute incidence potentielle sur les droits et libertés des personnes et d’élaborer des plans pour en gérer les risques;
- définir les risques en matière d’équité procédurale en fonction de facteurs tels que, l’explicabilité des résultats du système, la pertinence des règles du système et des données d’entrée pour une décision administrative, et l’existence de mécanismes de recours;
- confirmer que le programme dispose des autorisations requises pour la mise en œuvre du projet d’automatisation proposé, y compris pour la collecte ou la production de renseignements personnels (en coordination avec le bureau de l’AIPRP compétent ou toute autre personne déléguée en matière de protection de la vie privée);
- prendre en considération les questions relatives aux licences, notamment en ce qui concerne les secrets commerciaux, et les contraintes qu’elles peuvent imposer à la capacité d’un ministère à utiliser des systèmes exclusifs et à les mettre à l’essai (voir la sous-section 6.2.6 de la directive).
Collaboration avec des spécialistes de l’analyse comparative entre les sexes Plus
Au moment de procéder à l’EIA, il convient de consulter les spécialistes de la diversité et de l’inclusion de l’institution concernant l’incidence du système et les mesures d’atténuation concernant la diversité, l’inclusion, les biais et l’intersectionnalité. Ces personnes peuvent également aider à effectuer l’analyse comparative entre les sexes Plus, conformément la sous-section 6.3.8.
Communications avec le BDPI du SCT
Le Bureau du dirigeant principal de l’information (BDPI) du Secrétariat du Conseil du Trésor du Canada (SCT) est responsable de la tenue à jour de l’outil d’EIA et de la surveillance de la conformité des ministères à la Directive sur la prise de décisions automatisée. L’équipe du BDPI peut aider les ministères à interpréter les questions relatives à l’EIA et à y répondre, en plus de les guider tout au long du processus de publication.
Les ministères sont invités à communiquer avec le BDPI du SCT à l’adresse ai-ia@tbs-sct.gc.ca pour toute question concernant la Directive ou l’EIA.
3.3 Publication de l’EIA
Les ministères sont responsables de publier les résultats de la dernière EIA dans un format accessible et dans les deux langues officielles sur le Portail du gouvernement ouvert (sous‑section 6.1.1). La page de l’EIA contenant les résultats offre la possibilité de fournir des traductions pour le texte de saisie dans l’EIA. Elle offre également la possibilité de télécharger les résultats en format PDF accessible pour répondre à cette exigence. Pour obtenir de l’aide concernant la publication sur le Portail du gouvernement ouvert, veuillez communiquer avec l’équipe responsable du gouvernement ouvert de votre ministère.
Détails de la page
- Date de modification :