Vérification de l’information à l’appui des comités de gouvernance

Résumé exécutif

En réponse à la fois au Plan stratégique des opérations numériques 2018-2022 du gouvernement, et à la feuille de route de la stratégie des données, Services partagés Canada (SPC) a élaboré et publié sa propre stratégie des données 2019-2021. Cette stratégie cerne les questions critiques relatives aux données au sein de l’organisation et les aligne sur les exigences de déclaration du gouvernement du Canada qui s’y rapportent. Pour soutenir les principaux comités de surveillance stratégique, un processus décisionnel sain nécessite des renseignements complets, fiables et opportuns.

Cette vérification visait à établir si les processus de contrôle, la gouvernance et la gestion des risques sont en place et sont efficaces pour fournir des renseignements complets, précis et opportuns aux comités de direction.

Voici les points examinés :

1. Gouvernance : SPC dispose-t-il d’organes de surveillance liés à la gestion des données? Les pouvoirs, les responsabilités et l’obligation de rendre compte en ce qui concerne la gestion et la propriété des données sont-ils définis et les renseignements présentés aux comités exécutifs de haut niveau sont-ils fournis en temps opportun?
2. Gestion des risques : La direction a-t-elle relevé et consigné ses risques liés aux données et à l’information afin de garantir l’établissement de rapports stratégiques précis et complets?
3. Contrôles internes : Les organes de surveillance de SPC demandent-ils et reçoivent-ils des renseignements suffisants, complets et exacts? Les rapports d’information sont-ils examinés et approuvés par les directions générales avant d’être soumis aux comités de direction?

Voici les résultats de cette vérification :

• Les comités de gouvernance inclus dans la portée (c’est-à-dire le CES, le CGP, le CESPA) n’ont pas eu de rôle défini dans la surveillance des données. Le Conseil d’analyse opérationnelle et des données (CAOD) n’est pas un organisme reconnu au sein de la structure de gouvernance de SPC;
• Le profil de risque organisationnel comprend un plan d’action d’atténuation qui détermine les risques liés aux renseignements et aux données, les mesures de contrôle interne et les actions correctives correspondantes; il ne désigne toutefois pas de « bureau de première responsabilité » responsable;
• SPC n’a pas de politiques qui traitent de l’assurance de la qualité des renseignements et des fonctions de remise en question connexes pour garantir l’intégrité et l’exactitude des données présentées aux comités de gouvernance;
• Le degré d’assurance qualité et d’exactitude des données varie selon les directions générales et les secteurs d’activité, et la charge de garantir l’exactitude des données incombe aux utilisateurs des données plutôt qu’à leurs propriétaires.
• Les activités centralisées d’assurance qualité contenues dans la portée, telles que le Centre d’excellence en gestion de projets (CEGP) et le Secrétariat de la qualité pour le Conseil de gestion des investissements et des finances (CGIF), ont permis de garantir à leurs comités de surveillance respectifs – le Conseil de gestion de projets (CGP) et le CGIF – que les présentations sont de bonne qualité.
• Il existe de nombreuses sources de données clés utilisées pour construire des présentations avec des contrôles d’accès limités. Les bases de données structurées, les cahiers de travail et autres données de rechange/de découverte, posent un défi de taille pour le suivi des renseignements inclus dans les présentations à leurs sources de données. Les erreurs étaient souvent « corrigées à la volée, mais pas à la source », un processus efficace à un moment et à un point donnés, mais pas efficace dans le temps.

Begonia Lojk
Dirigeante principale de la vérification et de l’évaluation

A. Introduction

1. Contexte

En janvier 2018, une équipe de Statistique Canada, du Secrétariat du Conseil du Trésor et du Bureau du Conseil privé a produit un rapport pour le greffier du Conseil privé intitulé « Feuille de route de la Stratégie de données pour la fonction publique fédérale ». Cette feuille de route visait à jeter les bases qui permettraient au gouvernement de créer plus de valeur pour les Canadiens à partir des données qu’il détient tout en assurant la protection de la vie privée et des renseignements personnels.

En mars 2019, le Secrétariat du Conseil du Trésor a publié le Plan stratégique des opérations numériques 2018-2022 (troisième itération), qui détaille la vision numérique du gouvernement du Canada, les normes et le processus de planification stratégique pour la gestion de la technologie et du changement technologique.

En réponse à la fois au Plan stratégique des opérations numériques, et à la feuille de route de la stratégie des données, SPC a élaboré et publié sa propre stratégie des données 2019 à 2021. Cette stratégie détermine les questions critiques relatives aux données au sein de l’organisation et les aligne sur les exigences connexes du gouvernement du Canada en matière de rapports, ainsi que sur les stratégies visant à atteindre des résultats clés spécifiques et des résultats stratégiques généraux plus importants. La stratégie de SPC en matière de données guidera la mise en œuvre d’actions concrètes sur la manière dont les données sont créées, protégées, utilisées, gérées et communiquées, afin de soutenir la prise de décision et les opérations quotidiennes.

2. Justification de la vérification

Au cours de l’élaboration du plan de vérification axé sur les risques (2019 à 2022), des inquiétudes ont été exprimées concernant l’origine complexe des données provenant de sources non fiables, les rôles et responsabilités en matière d’intendance de l’information et les inefficacités des processus.

Il est essentiel de disposer de renseignements complets, fiables et opportuns pour un processus décisionnel sain. Les principaux comités de gestion stratégique ont besoin de renseignements précis et opportuns pour soutenir la prise de décision. Des renseignements inadéquats pour la prise de décision peuvent mener à des décisions de planification, d’affectation des ressources et de gestion du rendement sous-optimales.

3. Autorité de vérification

La vérification de l’information à l’appui des comités de gouvernance a été approuvée par le président à la suite de la recommandation du Comité ministériel de vérification dans le Plan de vérification fondé sur les risques 2019-2022.

4. Objectif de la vérification

Cette vérification visait à déterminer si les processus de contrôle, la gouvernance et la gestion des risques sont en place, efficients et efficaces pour fournir des renseignements complets, précis et opportuns aux comités de direction.

5. Portée

Compte tenu de l’incidence et de l’importance des décisions prises par les comités de gestion stratégique de SPC, le processus de soutien à la prise de décision au sein de ces comités a été relevé comme une priorité de vérification élevée. La portée comprenait le Conseil de la haute direction (CHD) (maintenant appelé Conseil exécutif de surveillance, CES), le CESPA^{Notes de bas de page 1}, le Conseil de gestion de projets (CGP) et le Conseil d’analyse opérationnelle et des données (CAOD).

Le champ d’application comprend tous les processus, procédures, systèmes et outils utilisés pour contrôler la gestion des renseignements fournis aux comités de gouvernance pour la prise de décision et les activités d’assurance qualité connexes. Il a couvert la période allant de septembre 2018 à novembre 2019 inclusivement.

6. Méthodologie

Pour réaliser l’examen, diverses méthodes de test ont été utilisées. Cela a inclus de multiples entretiens et l’examen de 18 présentations sélectionnées fournies aux comités de surveillance contenus dans la portée. Chaque dossier de présentation a fait l’objet de tests visant à déterminer le nombre de sources de données clés, l’exactitude des données, l’assurance qualité et la remise en question effectuée, ainsi que leur exhaustivité et leur actualité.

7. Énoncé de conformité

Selon le jugement professionnel de la dirigeante principale de la vérification, les méthodes de vérification employées et les éléments probants recueillis sont suffisants et adéquats pour appuyer l’exactitude de l’opinion formulée dans ce rapport. L’opinion repose sur une comparaison entre les conditions qui prévalaient au moment de la vérification, en fonction des critères de vérification préétablis convenus avec la direction. L’avis concerne uniquement l’organisation ayant fait l’objet de l’examen. La mission a été réalisée conformément aux exigences de la Politique sur la vérification interne, à sa directive connexe, aux Normes relatives à la vérification interne du Cadre de référence international des pratiques professionnelles et au Code d’éthique. Les éléments de preuve ont été recueillis en conformité avec les procédures et les pratiques qui satisfont aux normes d’audit et corroborés par les résultats du programme d’assurance de la qualité et d’amélioration. Les données compilées étaient suffisantes pour fournir à la haute direction une preuve d’opinion fondée sur l’audit interne.

B. Constatations, recommandations et réponses de la direction

1. Gouvernance, rôles et responsabilités

1.1 Organes de surveillance

Critères de vérification : Des organes de surveillance liés à la gestion des données ont été créés et communiqués.

Il était attendu que les documents de mandat des comités sélectionnés – c’est-à-dire le CHD (maintenant le CES), le CGP, le CESPA et le CAOD – formulent clairement leur rôle en ce qui concerne la surveillance et la gérance des données et que ce rôle soit communiqué à l’ensemble de SPC.

Une analyse détaillée des mandats en relation avec les rôles de la surveillance et de la gérance des données a montré qu’aucun des comités de gouvernance examinés n’avait un rôle direct dans la reconnaissance et l’orientation de la surveillance ou de la gérance des données. Les liens précis entre les renseignements et les propriétaires ou les gestionnaires du contenu présenté n’étaient généralement pas clairs.

En janvier 2020, SPC a adopté un nouveau modèle de gouvernance afin de mieux orienter les efforts de prise de décision et de contrôle des principaux projets et activités. En réponse à ces nouveaux développements, certains conseils inclus dans le champ d’application de la vérification ont été modifiés ou scindés, ce qui a entraîné des révisions de leur mandat afin de mieux orienter SPC vers les objectifs du nouveau modèle de gouvernance. Les mandats mis à jour n’ont rien à voir avec le rôle des comités en ce qui concerne la surveillance et la gérance des données.

Il convient de noter que le CAOD a été créé en 2019 pour établir la gestion des données, l’expertise et la culture de l’analyse commerciale au sein de SPC. L’une de ses priorités est d’assurer la mise en œuvre de la stratégie de données de SPC et de mieux communiquer les rôles d’utilisateur des données et de propriétaire des données dans l’ensemble de SPC. Alors que les rôles des comités de surveillance sont communiqués à SPC sur l’intranet, les rôles du CAOD ne sont pas formellement définis dans la structure de gouvernance actuelle de SPC. Il a également été noté que le cahier des charges du CAOD définissait la surveillance de la gestion des données comme une responsabilité de la Direction générale et ne précisait pas de liens hiérarchiques avec d’autres comités de gouvernance de SPC.

Dans l’ensemble, aucun des mandats des comités de gouvernance contenus dans la portée ne prévoit un rôle clair de comité dans la surveillance ou la gérance des données, et le rôle de supervision du CAOD sur la gestion des données n’est pas défini comme faisant partie de la structure de gouvernance de SPC.

Recommendation 1

Priorité Moyenne

Le sous-ministre adjoint principal (SMAP), Direction générale de la stratégie et de l’engagement, devrait s’assurer que :

• Les mandats du COES, du CGP et du CESPA définissent clairement leurs rôles en ce qui concerne la surveillance ou la gérance des données.
• Le rôle du Conseil sur les données et l’analyse opérationnelle est reconnu au sein de la structure de gouvernance ministérielle de SPC et est communiqué sur l’intranet ou par le moyen qui convient le mieux.

Réponse de la direction

La direction accepte la recommandation d'inclure la surveillance et la gérance des données dans les mandats et d'inclure le Conseil sur les données et l’analyse opérationnelle dans la structure de gouvernance officielle.

1.2 Pouvoirs, responsabilités et obligations redditionnelles

Critères de vérification : Les responsabilités et les attentes en matière de rendement liées à la gestion des données sont connues, clairement définies et communiquées.

Il était attendu que les responsabilités et les attentes en matière de rendement concernant la gestion des données soient clairement définies et communiquées à l’ensemble de SPC.

L’équipe de vérification a interrogé de nombreuses parties prenantes et a examiné les politiques, directives et documents d’orientation pertinents. De nombreuses personnes interrogées ont exprimé leurs préoccupations face aux défis importants que représentent la gestion des données et l’assurance qualité. Elles ont également mentionné que les rôles et responsabilités liés à la gestion des données, à la gérance des données et/ou à la propriété des données^{Notes de bas de page 2} n’étaient pas clairement définis.

Bien que la stratégie de données de SPC soit disponible dans tout l’organisme, les personnes interrogées ont admis que les responsabilités et les attentes en matière de rendement liées aux utilisateurs de données, aux propriétaires de données et à l’assurance qualité inhérente aux données n’étaient pas bien définies au sein de l’organisme; cela impose aux utilisateurs de données la charge de valider l’exactitude des données et de garantir leur intégrité. Alors que la validation des données est effectuée efficacement par les utilisateurs de données sur une présentation au cas par cas, l’approche est inefficace, sujette à erreur, et dépend uniquement du temps et de la capacité de l’utilisateur de données à examiner la présentation.

La vérification a permis de trouver des renseignements sur la propriété de certaines données au moyen de publications telles que les suivantes :

• le Guide opérationnel de gestion et d’exécution des projets de SPC indique que les gestionnaires de projets sont des utilisateurs de données pour le système de portefeuille d’entreprise;
• la directive sur la gestion des projets de SPC indique également que les projets doivent fournir des données à jour sur l’avancement du projet, les risques, les problèmes et les changements afin d’approuver les exigences de base.

Néanmoins, l’équipe de vérification n’a pu trouver aucun document organisationnel, par exemple, une politique, une directive ou une ligne directrice ministérielle, qui définit les rôles et les responsabilités en matière de gestion des données; y compris la définition de « l’intendance et la propriété des données ».

Dans l’ensemble, la vérification a permis de constater que les responsabilités liées à la gérance et à la propriété des données n’étaient pas clairement définies, communiquées et pleinement comprises, et qu’il n’existait pas de politiques, de procédures ou de lignes directrices définissant précisément « l’intendance et la propriété des données ».

Recommendation 2

Priorité Moyenne

Le SMA des Services intégrés, par l’intermédiaire du DPI, devrait veiller à ce que les responsabilités en matière de gestion des données et les attentes en matière de rendement, qui décrivent les principales définitions de l’intendance des données et de la propriété des données, soient clairement définies et communiquées de manière appropriée.

Réponse de la direction

La direction est d'accord avec la recommandation. SPC a mis en place une gouvernance pour la gestion des données, les analyses d’affaires et favorise une culture de gestion solide des données. Il est essentiel de veiller à ce que la gouvernance de SPC soit claire et bien comprise pour atteindre les principes de l’application uniforme des données au sein du ministère et la nécessité d’utiliser des sources de données faisant autorité dans la prise de décisions fondées sur des données probantes. La gouvernance de la gestion des données est dirigée par le Conseil sur les données et l’analyse opérationnelle (CDAO). Il est coprésidé par la Direction générale des services ministériels et la Direction générale de la gestion des opérations, ce qui contribue à assurer une forte intégration des pratiques de gestion des données dans l'ensemble du Ministère. Il existe un mandat approuvé qui décrit clairement, ses rôles et ses responsabilités. À l’appui du CDAO, il existe le Centre d’excellence des données et des analyses, qui est chargé de mettre en œuvre la stratégie de gestion des données de SPC et de fournir une expertise en analyse d’entreprise. Dans le cadre de cette gouvernance, les équipes de gestion des données travaillent avec un réseau de gestionnaires de données, qui représentent les principales parties prenantes du département, dans le but d'échanger des informations et de tirer parti des meilleures pratiques. Un mandat pour la Communauté de Pratique de Gestionnaires de Données (CPGD) a été approuvé par le DBAC en mai 2020 et est révisé chaque année. Le mandat du CPGD est de fournir un forum au niveau opérationnel au sein du ministère pour échanger des idées, fournir un aperçu des problèmes, fournir une fonction de remise en question et tirer parti des meilleures pratiques dans l'ensemble du ministère.

1.3 Les renseignements présentés aux comités exécutifs sont opportuns

Critères de vérification : Les renseignements sont fournis aux membres des organes de surveillance avant la date prévue des réunions afin de leur laisser suffisamment de temps pour les examiner.

La vérification devrait permettre de trouver des dossiers de présentation, des rapports et/ou d’autres pièces jointes qui seraient fournis aux conseils de surveillance inclus dans la portée avant les réunions afin de leur laisser suffisamment de temps pour les examiner.

Afin d’évaluer si les renseignements présentés aux comités exécutifs de haut niveau étaient opportuns, les vérificateurs ont examiné un échantillon de présentations d’un mois de chaque comité contenu dans la portée géré par le SCE. Au total, 35 présentations et 51 documents associés ont été examinés. Le test consistait à établir si les renseignements étaient fournis au SCE à temps et ensuite distribués par le secrétariat aux membres du comité à temps.

Sur la base des preuves recueillies et des résultats des tests effectués, la vérification a permis de constater que le SCE n’avait pas reçu les renseignements suffisamment tôt pour permettre l’exécution du processus d’assurance qualité avant de soumettre les présentations aux membres du comité. Malgré cela, les renseignements étaient fournis aux comités exécutifs de haut niveau suffisamment à l’avance pour permettre aux membres des comités d’en examiner le contenu. Par exemple :

• Il a été constaté que 31/51 (61 %) des documents de présentation associés ont été soumis au SCE dans les délais requis;
• Il a été constaté que 31/35 (89 %) des présentations ont été envoyées aux membres du comité pour examen deux jours avant la date de la réunion du comité;
• Sur les 20 documents en retard, une prolongation de la date d’échéance a été demandée pour un (1) seul document.

En outre, les coprésidents du CAOD ont confirmé que les renseignements étaient fournis au CAOD en temps opportun, ce qui laisse suffisamment de temps pour examiner les renseignements, les documents et les rapports fournis. Le président du CGP a également reçu des documents avant les réunions, et s’est appuyé sur un examen approfondi des documents et des objets, soutenu par l’assurance qualité menée par le CEGP.

Sur la base des éléments probants recueillis et des résultats des tests effectués, l’équipe de vérification conclut que les renseignements dans leur ensemble sont présentés en temps opportun aux comités exécutifs de haut niveau.

2. Gestion des risques

2.1 Gestion des risques et des données

Critères de vérification : La direction a relevé, évalué, atténué et consigné ses risques liés aux sources de données et aux renseignements afin de garantir l’exactitude et l’exhaustivité des rapports stratégiques.

La vérification devait permettre de constater que la direction avait relevé et consigné ses risques liés aux données et aux renseignements afin de garantir l’exactitude et l’exhaustivité des rapports.Plus précisément, le processus de gestion des risques pour la gestion des données devrait comprendre des éléments essentiels tels que les objectifs et les résultats de SPC, l’identification et l’évaluation des risques, les réponses de la direction et la surveillance des risques.

La vérification a permis de constater que SPC dispose d’un profil de risque organisationnel (PRO) établi. Le PRO est fourni à la haute direction de SPC par l’intermédiaire du CHD (maintenant le CES), où les risques et problèmes potentiels sont signalés et discutés. Le PRO a indiqué que la qualité des renseignements constituait un risque élevé. En outre, le PRO a relevé le risque lié aux données et à la qualité des renseignements, aux contrôles internes correspondants et au plan d’action d’atténuation. Toutefois, le plan d’action d’atténuation n’a pas déterminé de « bureau de première responsabilité » responsable de veiller à ce qu’il soit pleinement mis en œuvre, signalé et contrôlé.

Recommendation 3

Priorité Moyenne

Le SMAP, Direction générale de la stratégie et de l’engagement, devrait veiller à ce que le profil de risque organisationnel désigne un « bureau de première responsabilité » responsable de la gestion des risques liés aux renseignements et aux données, qui sera également responsable des stratégies de réponse aux risques et de l’établissement de rapports périodiques au CES.

Réponse de la direction

La direction est d'accord avec la recommandation. La clarification des responsabilités et une surveillance appropriée de la haute direction est un aspect important du profil de risque organisationnel (PRO) intégré.

La prochaine itération du PRO est actuellement en cours d'élaboration et cherchera à aligner les informations sur la gestion opérationnelles et corporatives des risques reliés aux données et les rôles correspondants. Cela comprend l'identification des responsabilités associées à la gestion des risques associés aux données et informations, ainsi que les stratégies de réponse aux risques.

3. Contrôles internes

3.1 Qualité de l’information

Critères de vérification : Les organes de surveillance reçoivent des renseignements complets et précis

La vérification devait permettre de constater que des processus d’assurance qualité (AQ) sont en place pour garantir que les renseignements présentés par le biais de dossiers, de rapports et d’autres supports de présentation sont suffisants, complets, exacts et étayés par des sources de données clés, et qu’ils font l’objet de processus d’assurance de la qualité solides.

3.1.1 Assurance de la qualité

Pour évaluer l’exactitude des données et l’assurance de la qualité, l’équipe de vérification a procédé à une rétro-ingénierie de 18 dossiers de présentation en remontant jusqu’à leurs sources de données clés d’origine, et les a reconstitués. Les résultats de la vérification soulignent que SPC dispose d’un système à deux niveaux en matière d’assurance de la qualité :

Premier niveau

Le premier niveau d’assurance de la qualité est effectué à l’échelle des directions générales. Les résultats de la vérification indiquent que les tests d’assurance de la qualité au niveau des directions générales varient considérablement, et qu’il existe des incohérences entre les directions générales et les secteurs d’activité de SPC en ce qui concerne la profondeur de l’assurance de la qualité et la validation effectuée avant que les présentations ne soient envoyées aux fonctions centralisées. La remise en question assurée est minimale, car l’assurance de la qualité consiste essentiellement en un échange de courriels ou d’appels téléphoniques pour confirmer ou corriger des données et l’interprétation qui en est faite – la mise en contexte.

Deuxième niveau

Le deuxième niveau d’assurance de la qualité est assuré par des équipes centralisées d’assurance qualité et par le SCE. Alors que le SCE procède à une vérification du formatage des présentations fournies aux cadres supérieurs pour s’assurer qu’elles répondent aux normes ministérielles, il ne procède pas à une vérification de l’exactitude et à une interprétation des données – la mise en contexte – avant que les présentations ne soient mises à la disposition des comités exécutifs, à moins qu’une divergence flagrante ne soit relevée.

D’autre part, les résultats des entretiens, l’analyse des comptes rendus de décisions et les suivis des mesures indiquent que les présentations faites aux comités exécutifs de haut niveau ont été examinées par le CEGP qui sert de fonction d’assurance de la qualité centralisée pour le CGP; un dernier point de contrôle pour mettre les présentations à la disposition du CGP. Cette fonction permet de s’assurer que les dossiers de présentation utilisent les bonnes trousses d’outils disponibles, et passe par d’autres processus d’assurance de la qualité tels que la validation des données, l’identification des divergences, la garantie que les données de base sont communiquées correctement et que tous les artefacts sont complets, actuels et opportuns, selon le portail approprié, et approuvés. Par exemple, pour les présentations liées à des projets, tous les projets de rapport sont approuvés lors de séances avec les parties prenantes, qui donnent à tous les participants la possibilité de vérifier leurs propres contributions et d’approuver les données globales qui ont été compilées. Pour atténuer ce risque, le CEGP, les gestionnaires de projet, les directions générales et les secteurs d’activité ont élaboré une stratégie qui consiste à utiliser les autorisations de tâches et de financement pour estimer au plus près la capacité à soutenir les projets de TI, qu’ils soient dirigés par SPC ou par des partenaires.

Des divergences ont toutefois été constatées entre les sources de données et les présentations finales, lesquelles peuvent être attribuées à des corrections effectuées au document, mais non à la source. Cette pratique opérationnelle augmente le risque d’introduire des erreurs perpétuelles dans les ensembles de données, mais surtout, une erreur peut se retrouver dans un dossier de présentation tournant, ou unique, et peut conduire à une décision incorrecte.

Bien que SPC n’ait pas de politiques qui traitent de l’assurance de la qualité de l’information et des fonctions de remise en question connexes pour garantir l’intégrité et l’exactitude des données présentées aux comités de gouvernance, le secrétariat du comité et les organes de surveillance ont mis en place des mécanismes pour garantir que les présentations faites aux comités exécutifs comprennent des renseignements appropriés et complets.

Dans l’ensemble, pour les renseignements fournis aux comités inclus dans la portée, il existe une fonction de remise en question minimale à l’échelle des directions générales et des secteurs d’activité. Il appartient au CEGP et au SCE d’effectuer des remises en question, avec la mise en garde que le SCE n’assure pas l’exactitude ni l’interprétation des données, mais veille plutôt à ce que le formatage et la structure répondent aux normes de SPC. Les gestionnaires doivent souvent corriger des données dans le document plutôt qu’à la source, avec le risque d’un manque ou d’une divergence de données. L’absence de politiques visant à traiter de l’exactitude des données et de l’assurance de la qualité d’un point de vue organisationnel aggrave le risque institutionnel lié à la qualité de l’information, tel qu’il figure dans le PRO.

Recommendation 4

Priorité Moyenne

Le SMAP, Direction générale de la stratégie et de l’engagement, devrait élaborer et promulguer une approche normalisée de l’assurance de la qualité, comprenant des approbations officielles entre les directions générales et les secteurs d’activité lors de la soumission de renseignements aux comités de gouvernance.

Réponse de la direction

La direction convient de la nécessité d'élaborer et de mettre en œuvre une approche d'assurance de la qualité normalisée dans les directions générales et les secteurs d'activité lors de la soumission d'informations aux comités de gouvernance. Cette approche identifiera les sources de données appropriées pour divers types de données. Il incombera toujours au SMA présentateur de s'assurer que les données sont opportunes et exactes, en utilisant la source approuvée.

3.1.2 Sources de données

La responsabilité d’élaborer des dossiers et des rapports incombe souvent aux cadres de première ligne qui rassemblent des données provenant de multiples sources d’information. Les principales sources de données les plus souvent utilisées pour créer des dossiers de présentation comprennent PeopleSoft, SIGMA, l’outil de prévision des salaires, les autorisations de tâches et de financement, d’autres bases de données structurées et des cahiers de travail personnel avec des contrôles d’accès fragiles, des rapports, d’autres grands livres et des données de découverte des directions générales et des secteurs d’activité.

La plupart des gestionnaires chargés de mettre au point des dossiers et des rapports pour les comités exécutifs de haut niveau élaborent et tiennent à jour des cahiers de travail pour leur propre usage, et pour disposer de données historiques et actuelles facilement accessibles. La raison invoquée est axée sur le retard des systèmes officiels par rapport aux données actuelles. Par exemple :

• les dernières factures des fournisseurs peuvent ne pas être saisies dans les systèmes officiels, mais sont à la disposition des gestionnaires de projet qui saisiront les renseignements dans un cahier de travail;
• le défi le plus important pour les cadres supérieurs et les gestionnaires était de déterminer la capacité organisationnelle. PeopleSoft et l’outil de prévision des salaires ne sont pas compatibles, la fonction publique suit les employés, mais elle ne dispose pas des renseignements les plus récents, ce qui amène les directions générales à élaborer des cahiers de travail et des organigrammes non officiels pour suivre les employés et déterminer les capacités disponibles pour les projets menés par SPC et/ou ses partenaires.

Les tests des dossiers montrent qu’en fonction du sujet de la présentation, les sources de données ne sont pas toujours disponibles. La plupart des présentations sont dépourvues de liens directs avec les sources de données clés, laissant le destinataire de l’information sans la possibilité de relier les sources de données clés avec l’information présentée, d’assurer la qualité et d’établir un niveau élevé de confiance dans le processus. Par exemple, les rapports de planification et les présentations à un comité stratégique tel que le CESPA étaient souvent sous forme de version provisoire, avec des déclarations de reconnaissance des faits, mais sans sources d’information. Même les présentations les plus dépendantes des données sur des projets précis ou des résultats prévus manquaient d’information sur les sources de données et ne pouvaient pas être retracées jusqu’aux sources de données originales. Il a également été difficile d’assurer le suivi depuis les projets de soutien (produits pendant le processus de remise en question) jusqu’au projet final soumis à l’examen du comité malgré l’abondance des défis; il n’y a aucun moyen de valider complètement les déclarations ou les données de présentation.

En revanche, les présentations de projets au CGP contenaient souvent des sources de données et étaient plus faciles à suivre. Par exemple, les autorisations de tâches et financières comprenaient des estimations de capacité, ont été approuvées et signées et ont pu être suivies lors de la rétro-ingénierie des dossiers de présentation vers les principales sources de données.

De multiples sources de données clés, y compris des cahiers de travail avec des contrôles d’accès fragiles et des données de découverte des directions générales et des secteurs d’activité, sont utilisées pour constituer les dossiers de présentation. Ces cahiers de travail ont un mot de passe et peuvent être consultés par de nombreux utilisateurs. L’accès aux cahiers de travail par de multiples utilisateurs augmente les risques d’erreurs de données, tout en favorisant un environnement dépourvu d’une source unique de vérité.

Recommendation 5

Priorité Élevée

Le SMAP, Services intégrés, en collaboration avec le Conseil d’analyse opérationnelle et des données, devrait rationaliser le nombre et le volume des cahiers de travail afin de réduire les autres sources de données.

Réponse de la direction

La direction est d'accord avec la recommandation et reconnaît l'importance de réduire le recours aux classeurs ainsi que l'utilisation de sources de données alternatives, et de remplacer ces pratiques individuelles par des principes de gestion des données établis et des sources de données faisant autorité. SPC fait des progrès significatifs dans ces domaines. Le département dispose d'une stratégie de gestion des données approuvée et d'une structure de gouvernance solide, soutenue par un réseau de gestionnaires de données et d'analystes qui visent à favoriser une culture de données et d'analyse plus forte. Dans ce cadre de gouvernance, un certain nombre d’initiatives ont été élaborées, ou sont en cours, qui contribuent à la maturation des pratiques de gestion des données de SPC. Certaines de ces activités comprennent:

• La mise en place d'un Référentiel de Données d'Entreprise (RDE) en janvier 2020, fournissant une source validée de données d'entreprise pour les utilisateurs de tout le département.
• L'élaboration d'un catalogue de problématiques de données.
• Le développement d'un système de rapport intégré normalisé (le cas échéant) pour éliminer les classeurs individuels et briser les silos organisationnels; et
• Le développement d'un glossaire d’affaires.
• L'élaboration d'un cadre de qualité des données qui évalue les problèmes de données connus et fournit des orientations et des stratégies pour y remédier à l'avenir.

3.2 Les rapports d’information sont approuvés

Critères de vérification : Les rapports d’information sont examinés pour en vérifier l’exhaustivité, l’exactitude, la pertinence, l’opportunité, l’adéquation, le caractère raisonnable et sont approuvés.

La vérification devrait permettre de constater que l’approbation des rapports d’information est attestée et que les défaillances de contrôle sont signalées à la direction.

En général, avant la date de présentation, les responsables des directions générales et les bureaux des SMA demanderont aux propriétaires des données de constituer le dossier de présentation ainsi que les rapports qui l’accompagnent, le cas échéant. Les responsables de la direction générale examineront les données pour s’assurer de leur exactitude et que l’historique est représentatif des ensembles de données. Tout écart apparent, ou toute valeur aberrante, sera examiné plus avant avec les propriétaires de données afin de s’assurer de son exactitude. La présentation sera ensuite transmise au SCE, qui l’examinera pour s’assurer qu’elle respecte les directives de formatage et de structure, mais elle ne met pas en cause le propriétaire du dossier, ou le cadre supérieur de la direction, quant au contenu, sauf s’il s’agit d’une erreur évidente ou si l’information n’est pas logique. Une fois l’examen effectué, la présentation est inscrite à l’ordre du jour du comité exécutif et distribuée à ses membres.

De nombreuses preuves, telles que les approbations, sont disponibles pour étayer le fait que les gestionnaires de la direction générale ont approuvé la présentation et les renseignements qu’elle contient, et les approbations sont obtenues par courrier électronique par l’intermédiaire des différentes parties, telles que les bureaux des SMA.

Dans l’ensemble, les approbations sont effectuées au niveau de la direction générale avant d’être présentées aux comités exécutifs. Au minimum, l’exhaustivité de la présentation est gérée dans le temps, et les problèmes d’exactitude et d’interprétation incorrecte des données sont gérés de manière centralisée par des fonctions d’assurance qualité telles que le CEGP, le secrétariat d’assurance qualité pour le CGP et le SCE.

C. Conclusion

À mon avis, en tant que dirigeante principale de la vérification, SPC dispose généralement de contrôles efficaces des données et des renseignements ainsi que de pratiques de gestion des risques pour soutenir les organismes de surveillance, mais ses mécanismes d’assurance de la qualité sont inefficaces et onéreux.

Des faiblesses de contrôle ont été cernées, notamment en ce qui concerne la garantie de l’exactitude des données. En outre, il a été constaté que les mécanismes de gestion des risques visant à garantir la mise en œuvre intégrale des plans de mesures correctives manquaient de responsabilités claires.

Nous avons constaté ce qui suit :

• Les comités de gouvernance inclus dans la portée (c’est-à-dire le CES, le CGP, le CESPA) n’ont pas eu de rôle défini dans la surveillance des données. Le Conseil sur l’analyse opérationnelle et les données (CAOD) n’est pas un organisme reconnu au sein de la structure de gouvernance de SPC telle que publiée sur le site intranet de SPC;
• Le profil de risque organisationnel comprend un plan d’action d’atténuation qui détermine les risques liés aux renseignements et aux données, les mesures de contrôle interne et les actions correctives correspondantes; il ne détermine toutefois pas de « bureau de première responsabilité » responsable;
• SPC n’a pas de politiques qui traitent de l’assurance de la qualité des renseignements et des fonctions de remise en question connexes pour garantir l’intégrité et l’exactitude des données présentées aux comités de gouvernance;
• Le degré d’assurance qualité et d’exactitude des données varie selon les directions générales et les secteurs d’activité, et la charge de garantir l’exactitude des données incombe aux utilisateurs des données plutôt qu’à leurs propriétaires.
• Les activités centralisées d’assurance qualité contenues dans la portée, telles que le Centre d’excellence en gestion de projets (CEGP) et le Secrétariat de la qualité pour le Conseil de gestion des investissements et des finances (CGIF), ont permis de garantir à leurs comités de surveillance respectifs – le Conseil de gestion de projets (CGP) et le CGIF – que les présentations reçues étaient de bonne qualité.
• Il existe de nombreuses sources de données clés utilisées pour construire des présentations avec des contrôles d’accès limités. Les bases de données structurées, les cahiers de travail et autres données de rechange/de découverte, posent un défi de taille pour le suivi des renseignements inclus dans les présentations à leurs sources de données. Les erreurs étaient souvent corrigées à la volée, mais pas à la « source », ce qui est efficace, mais pas à long terme.

Ces conclusions sont importantes, car elles poseront des défis à un système de données organisationnel réussi et efficace et constitueront une charge pour fournir des renseignements de qualité aux comités de surveillance de SPC.

Annexe A – Domaines d’intérêt et critères d’audit précis

Domaines d’intérêt et critères d’audit précis

Critères de l’audit	Description du critère
Secteur d’intérêt 1 : Structure de gouvernance
1.1 Gouvernance de la gestion des données	Des organes de surveillance liés à la gestion des données ont été créés et communiqués.
1.2 Gérance et propriété des données	L’autorité, les responsabilités et l’obligation de rendre compte en ce qui concerne la gérance et la propriété des données sont bien définies et communiquées
1.3 Échéancier	Les renseignements présentés aux comités exécutifs de haut niveau sont fournis en temps opportun.
Secteur d’intérêt 2 : Gestion du risque
2.1 Cadre de gestion du risque	La direction a relevé et consigné ses risques liés aux données et à l’information afin de garantir l’établissement de rapports stratégiques précis et complets.
Secteur d’intérêt 3 : Mécanismes de contrôle internes
3.1 Qualité de l’information	Ces organismes de surveillance demandent et reçoivent promptement de l’information suffisante, complète, opportune et exacte.
3.2 Approbation des rapports d’information	Les rapports d’information sont examinés et approuvés par les directions générales avant d’être soumis aux comités de direction.

Annexe B – Priorités concernant les recommandations faisant suite à la vérification

Le Bureau de la vérification et de l’évaluation attribue une note d’évaluation aux recommandations relatives à la mobilisation interne pour indiquer la priorité de chaque recommandation à la haute direction. Cette évaluation correspond à l’exposition au risque attribué aux observations indiquées dans la vérification et aux conditions sous-jacentes à la recommandation et selon le contexte organisationnel.

Légende des recommandations

Cote	Explication
Priorité Élevée	Devrait être prioritaire pour la haute direction (c’est-à-dire dans les 6 à 12 mois). Les contrôles sont inadéquats. On a relevé des problèmes importants qui pourraient nuire à l’atteinte des objectifs organisationnels. Pourrait entraîner une importante exposition aux risques (réputation, contrôle financier ou capacité à atteindre les objectifs ministériels). Apporterait de grandes améliorations à l’ensemble des processus opérationnels.
Priorité Moyenne	Devrait être réglé au cours de l’année ou dans un délai raisonnable. Des contrôles sont en place, mais ils ne sont pas suffisamment respectés. Il y a des problèmes pouvant nuire à l’efficience et à l’efficacité des opérations. Les éléments observés pourraient entraîner une exposition aux risques (réputation, contrôle financier ou capacité d’atteindre les objectifs ministériels) ou l’inefficience. Apporterait des améliorations à l’ensemble des processus opérationnels.
Priorité Faible	Des changements sont souhaitables dans un délai raisonnable. Des contrôles sont en place, mais le degré de conformité varie. Les éléments observés indiquent la nécessité d’améliorer l’atténuation des risques ou les contrôles d’un aspect précis. Apporterait de légères améliorations à l’ensemble des processus opérationnels.