Évaluation de la gestion des infrastructures – Biens immobiliers

Sommaire

Le présent rapport expose les résultats de l’évaluation de l’état de préparation des infrastructures – Biens immobiliers. L’évaluation a été menée par le Sous-ministre adjoint (Services d’examen) (SMA[Svcs Ex]) conformément à la Politique sur les résultats (2016) du Conseil du Trésor (CT). Alors que la Politique sur les résultats permet de procéder de manière souple à des évaluations fondées sur certains aspects préoccupants ou risques particuliers aux programmes, cette « évaluation ciblée » consiste à examiner le résultat immédiat de la « prise de décisions éclairées » du Sous-ministre adjoint (Infrastructure et environnement) (SMA[IE]). L’évaluation porte sur la pertinence et le rendement, en plus d’évaluer l’atteinte des résultats organisationnels pour informer et soutenir les décideurs du SMA(IE) au moment opportun au cours des premiers stades du processus de transformation du groupe.

L’évaluation a consisté à établir la mesure dans laquelle les décideurs et les comités du SMA(IE) disposent de l’information nécessaire pour soutenir la prise de décisions éclairées en matière de gestion des biens immobiliers, ainsi qu’en ce qui concerne les besoins en matière de santé et de sécurité, la gestion de l’environnement et les obligations entourant les affaires autochtones. L’évaluation a également permis d’évaluer la mesure dans laquelle les paramètres de rendement, les données et les outils du SMA(IE) permettent – ou sont conçus de manière à permettre – la prise de décisions éclairées dans l’ensemble du quartier général, ainsi qu’au niveau des régions et des détachements.

Directives et orientation

Le groupe du SMA(IE) exploite les politiques et les directives organisationnelles, ministérielles et pangouvernementales pour cerner et planifier ses besoins en matière de données et de mesure du rendement. La preuve présentée nous porte à croire que l’état-major connaît les besoins en matière de données dans les secteurs fonctionnels du SMA(IE) et qu’il répond à ces besoins. Cependant, pour atteindre les objectifs organisationnels, des stratégies et des directives appropriées devraient nous informer sur la façon dont on utilise les données et les outils^{Note de bas de page 20} .

À l'intérieur d’un nouvel environnement commercial fondé sur les données, le personnel du SMA(IE) doit pouvoir compter sur une orientation claire à tous les niveaux, c’est-à-dire quartier général, régions, détachements, en ce qui a trait aux attentes entourant l’utilisation des données et les paramètres de rendement lors de la prise de décisions. Les répondants au questionnaire du Groupe des opérations immobilières ont précisé qu’on utilise divers types d’information de façon contradictoire lorsqu’on formule des recommandations ou qu’on prend des décisions dans les questions touchant la gestion des biens immobiliers, la santé et la sécurité, la gestion de l’environnement et les affaires autochtones. Les participants à l’entrevue et les répondants au questionnaire ont précisé que les données financières représentent la source la plus utilisée lorsqu’on doit prendre des décisions. Alors que les données financières jouent un rôle crucial dans la planification et dans la prise de décisions efficaces, l’utilisation des données financières seulement limite les possibilités. Les participants à l’entrevue ont déclaré qu’on est encore en train de définir les besoins en matière de collecte de données et d’information du Groupe des opérations immobilières, ce qui a donné lieu à certains malentendus en ce qui concerne les besoins en matière de données et à des défis en matière de coordination de l’information à la grandeur de l’organisation. La compréhension et les directives limitées quant aux types de données dont on devrait disposer et qu’on devrait utiliser dans chaque secteur fonctionnel du SMA(IE) nous portent à croire qu’on devrait également définir les besoins en matière de données et d’information au quartier général, dans les régions et au sein des détachements. Alors qu’il existe une quantité incroyable de données ordinaires auxquelles les utilisateurs devraient avoir accès, certaines données se prêtent davantage à la prise de décisions, alors que d’autres sont plus pertinentes pour soutenir les décisions stratégiques de nature générale sur le plan du portefeuille. Une définition plus poussée des types de données particulières et la façon dont on s’attend à ce que les données et les paramètres de rendement soient intégrés et utilisés à chaque niveau pour soutenir la prise de décisions devraient contribuer à favoriser une coordination, une intégration et une compréhension améliorées sur le plan de l’organisation.

Chez les répondants au questionnaire sur le plan des régions et des détachements qui présidaient les comités du SMA(IE), plus de la moitié ont déclaré que les documents d’orientation des comités qui concernent leur travail ne comportent aucune directive sur la façon dont on utilise les données et les paramètres de rendement dans le cadre du processus décisionnel des comités. Ces mêmes répondants ont reconnu à l’unanimité qu’ils ne sont au courant d’aucune consultation ni d’aucun autre procédé d’identification des besoins en matière de données et de paramètres de rendement de leurs comités respectifs. Ces réponses peuvent révéler une progression limitée quant à la mise à jour des documents de gouvernance afin d’inclure les considérations en matière de données dans l’ensemble du groupe du SMA(IE) ou le manque de connaissances des initiatives en cours.

Rôles et responsabilités

Une compréhension claire dans l’ensemble de l’organisation des rôles et des responsabilités au sein de chaque secteur fonctionnel et à chaque niveau de gestion représente un facteur clé d’une planification efficace des besoins en matière de données. Alors que progresse l’initiative de transformation n^o 36, « Définir les responsabilités et les autorisations », une clarté accrue des rôles et des responsabilités au sein de toutes les organisations de niveaux deux et trois devrait donner lieu à des améliorations correspondantes de l’approche de planification des données. Au moment de l’évaluation, l’initiative n^o 36 accusait un retard et on a déclaré qu’elle était « suspendue » jusqu’à ce qu’on revoie le modèle macro-organisationnel^{Note de bas de page 22} . Certains participants à l’entrevue occupant des postes plus élevés ont mentionné que les paramètres d’ARRC au sein du groupe du SMA(IE) sont généralement définis, mais ils ont ajouté qu’une clarté accrue des rôles et des responsabilités du personnel de niveaux un et deux du SMA(IE) sera utile, puisque les ARRC sont mal compris, sans compter qu’ils ne font pas l’objet d’une application ou d’une intégration uniforme. La Directive sur la planification intégrée des ressources du SMA(IE) contribue cependant à la définition des besoins en matière d’ARRC en définissant les priorités organisationnelles qu’on doit intégrer à la planification annuelle de niveau deux. De plus, on retrouve, dans le document d’orientation de planification fonctionnelle du SMA(IE), les dispositions de service et les fonctions consultatives que le SMA(IE) procure de façon générale au MDN et aux FAC, sans compter qu’on y identifie les organisations et les points de contact principaux qui sont responsables de ces fonctions.

Les participants à l’entrevue ont souligné l’absence de rôles et de critères d’engagement clairement définis entre les organisations du SMA(IE) en ce qui concerne les enjeux environnementaux^{Note de bas de page 23} et le Secrétariat aux affaires autochtones (SAA) et la relation qu’il entretient avec d’autres organisations du MDN et des FAC, ce qui a suscité certains défis pour le groupe du SMA(IE). Les participants à l’entrevue ont déclaré que le groupe du SMA(IE) fonctionne principalement à l'intérieur d’entités discrètes ou de cloisonnement et, pour cette raison, une compréhension commune des ARRC au sein du groupe du SMA(IE) est limitée. De plus, ils croient qu’une compréhension commune des rôles et des responsabilités améliorera l’intendance du portefeuille du SMA(IE) et contribuera à faire en sorte que le groupe délaissera les activités transactionnelles pour davantage établir les priorités quant au processus décisionnel stratégique.

Outils de gestion de l’information

Les preuves recueillies lors des entrevues et de l’examen des documents ont révélé qu’on continue d’accroître les capacités des outils de collecte de données du SMA(IE) et qu’on ajuste la portée des besoins en matière de données en plus de gérer les questions entre l’utilisateur et ses interfaces et de cerner les besoins nouveaux et émergents en matière de données.

Aux fins de la gestion des biens immobiliers, on est présentement en train de peaufiner les systèmes et les procédés de gestion de l’information pour répondre aux besoins des intervenants, y compris les communautés des utilisateurs dans les régions et les détachements responsables des opérations immobilières. Le projet Modernisation des activités d’infrastructures et environnement (MAIE), qu’on a complété en mars 2017, avait pour but de soutenir une gouvernance moderne des activités par la mise en œuvre de processus opérationnels intégrés et uniformisés et d’une solution robuste en matière de gestion de l’information fondée sur les pratiques exemplaires de l’industrie^{Note de bas de page 24} . Ce projet était conçu pour remplacer et consolider la fonctionnalité des anciennes applications désuètes qu’on utilisait afin de suivre les activités de maintenance, la sécurité des personnes et la conformité au code des biens immobiliers dans le SIGRD. Le projet de MAIE a donné lieu à l’adoption de nouveaux modules de gestion et d’analyse des données qui sont maintenant disponibles dans l’ensemble du SIGRD et qu’on qualifie de SIRIE.

Le Directeur général – Environnement et gestion durable (DGEGD) et le SAA se sont fiés aux besoins bien établis en matière de rapports pour déterminer et établir les priorités des besoins en matière de données. Cependant, la majeure partie de ces domaines fonctionnels n’est pas encore intégrée au SIGRD^{Note de bas de page 25} .  En ce qui concerne les données environnementales, on a harmonisé les cibles de rendement de la Stratégie énergétique et environnementale de la défense avec celles de la Stratégie ministérielle de développement durable afin de répondre à de nombreux besoins du MDN et des FAC en matière de données environnementales. Le DGEGD gère également un vaste éventail d’autres exigences obligatoires en matière de rapports sur l’environnement au nom du MDN et des FAC^{Note de bas de page 26} .  Compte tenu des exigences réglementaires en matière de compilation de données environnementales et de rapports, les participants à l’entrevue ont déclaré que des plans sont en cours pour harmoniser également les besoins en matière de rapports avec les cadres de mesure du rendement respectifs pour ainsi simplifier la planification et les processus de collecte de données et accroître leur valeur. De même, le SMA(IE) travaille à la création d’un système centralisé de rapports de données et de rendement pour les affaires autochtones. Les gens interviewés ont déclaré que le personnel du SMA(IE) élabore présentement une Directive et ordonnance administratives de la défense (DOAD) décrivant les exigences nécessaires pour répondre aux exigences du gouvernement du Canada en matière de rapports et pour cerner les organisations du MDN et des FAC chargées de surveiller le rendement, d’établir les cibles et de recueillir les données en lien avec les affaires autochtones^{Note de bas de page 27} .  La DOAD portera également sur les politiques en vigueur en ce qui concerne les affaires autochtones au sein du MDN et des FAC et le rôle parallèle du nouveau SAA du SMA(IE).

Alors que le projet de transformation évolue et que les stratégies et les outils de gestion de l’information se développent, les efforts visant à planifier et à peaufiner les besoins en matière de données, ainsi que la définition des rôles et des responsabilités joueront un rôle primordial dans l’identification des lacunes en matière d’information, des redondances et des possibilités d’améliorer l’intégration et le processus décisionnel au sein du groupe du SMA(IE).

Capacité de procéder aux analyses

Les participants à l’entrevue ont déclaré, alors que leur capacité en matière de personnel suffit présentement pour analyser les niveaux actuellement disponibles, quoique limités, de données fiables, l’exploitation de nouvelles sources de données et des capacités nouvelles en matière d’analyse par l'entremise du SIGRD peut dépendre d’une augmentation de la capacité en personnel. Par contre, une personne interviewée a reconnu qu’une utilisation accrue du SIGRD afin de procéder à l’analyse automatisée des données pourrait potentiellement réduire la demande sur le plan du personnel. De nombreux répondants au questionnaire des régions et des détachements ont déclaré qu’ils n’avaient pas suffisamment de temps ou de personnel disponible afin de procéder à l’analyse des données. Plusieurs répondants ont déclaré qu’ils n’ont pris aucune mesure pour contrer la non-disponibilité ou le caractère inadéquat des données et des paramètres de rendement, évoquant des ressources humaines limitées qui ne peuvent assumer les responsabilités au jour le jour pour s’attaquer aux problèmes systémiques sur le plan des données. De plus, les limitations au niveau du SIGRD et du SIRIE qui permettent uniquement à certains membres du personnel d’utiliser le système pour réaliser certaines fonctions – qualifiées d’affectations de rôles – ont également eu un effet sur la capacité du personnel des régions et des détachements d’utiliser les données du SIRIE. Un participant à l’entrevue a expliqué que les affectations de rôle ont eu des répercussions profondes sur les petits détachements qui disposent d’un personnel limité et qui doivent attribuer bon nombre de rôles, alors qu’un même individu est incapable d’assumer plus d’un rôle, ce qui limite leur capacité d’utiliser le SIGRD de manière efficace.

Le degré de compétence des employés du SMA(IE) compromet également la capacité d’exploiter les nouvelles possibilités qu’offre le SIGRD. De nombreux participants à l’entrevue ont déclaré qu’une formation additionnelle leur permettrait de mieux utiliser le SIGRD aux fins de l’analyse des données. En fait, certains employés ont déclaré qu’ils n’ont pas encore reçu suffisamment de formation pour exploiter la totalité des capacités de leur SIGRD pour s’acquitter ainsi des obligations associées aux rapports réglementaires et en matière de conformité. Au sujet de la formation suivie, un participant à l’entrevue a déclaré que celle-ci était fondée sur l’utilisation élémentaire de l’interface du SIRIE plutôt que sur les « raisons » et plutôt que de miser sur les capacités du système. Pour certains employés du SMA(IE), l’érosion des compétences représentait un problème, parce qu’ils utilisent peut-être rarement le SIRIE, ce qui entraîne la perte des compétences acquises lors de la formation initiale. La formation semble également problématique au niveau des régions et des détachements, puisque 20 pour cent des répondants au questionnaire ont déclaré que la formation limitée consacrée au SIRIE compromettait leur capacité d’utiliser le système pour l’analyse des données. Les répondants au questionnaire au niveau du détachement ont mentionné qu’en raison de ces limitations, on ne tirait pas le plein potentiel des données dans tous les secteurs fonctionnels.

On a ainsi élaboré des plans pour accroître la capacité du groupe du SMA(IE) à faciliter la collecte et l’analyse des données dans le temps grâce à la stratégie de gestion des ressources humaines du SMA(IE)^{Note de bas de page 30} , ainsi qu’au soutien continu du groupe de soutien aux activités et aux données en matière d’IE de la MAIE ou du SIGRD au fur et à mesure de l’évolution du projet de transformation. Les initiatives de transformation n^o 2, Adopter l’outil d’habilitation technologique de la MAIE , n^o 3, Élaborer une stratégie plus générale du SMA(IE) en matière de technologie et n^o 4, Améliorations technologiques du SMA(IE) qui concernent l’adoption du SIRIE présentent toutes un lien avec ce problème de capacité, qu’il s’agisse d’améliorer ou peaufiner la fonctionnalité des outils et de combler les lacunes sur le plan des capacités ou d’offrir une formation additionnelle aux utilisateurs du SIRIE dans la région de la capitale nationale, ainsi qu’aux régions et aux détachements du Groupe des opérations immobilières. Les gens interviewés ont déclaré qu’une utilisation accrue des données et de l’analyse prendra un certain temps et, alors que les utilisateurs consacrent davantage de temps à utiliser les nouveaux outils du SIGRD, cette utilisation deviendra bien plus facile et ils apprendront à les exploiter au maximum.

Intégration du SIGRD et des autres outils

Retour à la table des matières

Annexe A—Plan d’action de la direction

Directives et orientation

Mesure prise par la direction

D’accord. Assurera une compréhension commune et des mises à jour régulières du projet de transformation, le SMA(IE) élaborera et mettra en œuvre un plan de communication afin de mobiliser les intervenants et tout le personnel du SMA(IE) dans la progression des initiatives de transformation et dans la façon dont ces initiatives contribuent à réaliser l’état final souhaité du SMA(IE).

Retour à la table des matières

Annexe B—Méthodologie et limitations de l’évaluation

1.0 Méthodologie

L’évaluation du processus de gestion des infrastructures – Biens immobiliers reposait sur de multiples éléments de preuve pour mesurer la pertinence et le rendement. Cette évaluation avait pour objet de déterminer si les décideurs disposent de l’information dont ils ont besoin pour rendre des décisions vraiment éclairées. L’évaluation ne portait aucunement sur l’efficacité ou sur les résultats des décisions.

La méthodologie a défini une approche cohérente pour réunir et analyser les données et aider à garantir la fiabilité du processus d’évaluation. On a fait appel à une information de nature qualitative pour établir le contexte de la prise de décisions au sein du groupe du SMA(IE), ainsi que pour interpréter l’importance des renseignements clés. On a fait appel à des évaluations qualitatives pour valider l’analyse globale et formuler les constatations et les recommandations.

1.1 Aperçu des méthodes de collecte des données

Les méthodes de collecte des données ont été choisies en fonction des données requises pour tenir compte des indicateurs de rendement dans la matrice d’évaluation. Les méthodes de collecte des données suivantes ont servi à recueillir de l’information qualitative et quantitative : 

• examen des documents et recension des écrits;
• questionnaire des intervenants;
• entrevue des informateurs clés.

1.2 Détails concernant les méthodes de collecte des données

1.2.1 Examen des documents et recension des écrits

On a effectué un examen préliminaire des documents dans le cadre de l'étape de planification de l'évaluation afin d'acquérir une compréhension générale de l’organisation du SMA(IE), ainsi que des initiatives de centralisation et de transformation du SMA(IE). Un examen complet des documents a été réalisé dans le cadre de l’évaluation, celui-ci étant fondé sur les divers aspects de la prise de décisions éclairées. L’examen des documents était limité en raison des contraintes de temps. 

Les documents suivants ont été examinés au cours de l’étape de définition de la portée et d'exécution de l’évaluation :

• politique de défense du Canada : Protection, Sécurité, Engagement;
• documents ministériels : rapports sur les plans et priorités, rapports ministériels sur le rendement, directives ministérielles, stratégie du SMA(IE), plans intégrés de ressources du SMA(IE), guide de planification stratégique et documents sur la transformation;
• documents juridiques et politiques; lois et règlements et politiques du CT;
• documents et articles universitaires;
• autres documents : évaluations et audits du SMA(Svcs Ex), audits du Bureau du vérificateur général, autres études ou examens internes.

1.2.2 Questionnaire destiné aux intervenants

Le SMA(Svcs Ex) a élaboré, à l'intention des intervenants, un questionnaire bilingue, soit en français et en anglais, qu’il a distribué aux commandants des détachements et des régions du Groupe des opérations immobilières. Les destinataires ont été identifiés à partir de l’information recueillie auprès du Groupe des opérations immobilières, ainsi que de la liste d'adresses globale (LAG) et du carnet d'adresses de Microsoft Outlook. Le sondage a été envoyé à 34 personnes, mis en ligne pendant trois semaines et a eu un taux de participation de 94 pour cent.

Dans ce questionnaire, on tentait de déterminer si les décideurs et les comités du SMA(IE) disposent des données et de l’information nécessaires pour faciliter la prise de décisions éclairées et favorables aux résultats. Les questions étaient organisées de manière à recueillir des commentaires sur les données et sur l’information particulières aux secteurs fonctionnels – Gestion des biens immobiliers, y compris la santé et la sécurité, environnement et affaires autochtones – ainsi que la prise de décisions de façon générale, de même qu’à l'intention des comités du SMA(IE).

1.2.3 Entrevues auprès des informateurs clés

Les entrevues et les discussions des informateurs clés en compagnie du personnel du SMA(IE) et des autres intervenants ont représenté des sources importantes d’information qualitative.

Des pré-entrevues d’orientation informelles ont été menées auprès de sept intervenants clés du SMA(IE) afin de déterminer le domaine d’enquête approprié relevant de la portée prescrite initialement et pour jeter les bases de l’élaboration de guides détaillés d’entrevue des informateurs clés. Combinées à des recherches additionnelles, ces entrevues initiales ont permis de déterminer que la portée initiale n’était pas représentative des principaux enjeux et secteurs de risques et que le projet de transformation en cours du SMA(IE) avait déjà permis de cerner les principaux enjeux qu’on abordait dans le cadre des initiatives de transformation.

La portée révisée, qui porte précisément sur le résultat immédiat d’une « prise de décisions éclairées » du SMA(IE), a été approuvée à la mi-octobre 2017. Pour soutenir ce domaine d’enquête, 19 entrevues ont été réalisées auprès de 29 employés du SMA(IE) occupant des postes de directeur général, de directeur et autres. Les entrevues étaient semi-directives, alors qu’elles se sont déroulées en personne, et ce, individuellement ou en groupe. Certains informateurs ont été interrogés à maintes reprises. Durant les entrevues, les intervieweurs ont pris des notes détaillées qu’ils ont ensuite transcrites, puis analysées en fonction des thèmes de recherche. Les notes d’entrevue ont été échangées avec les informateurs clés sur demande, aux fins de vérification des faits lorsque c’était nécessaire. Au besoin, les personnes interviewées ont fourni des réponses écrites aux questions d’entrevue une fois celle-ci terminée afin de fournir des réponses plus détaillées.

2.0 Limitations

Le tableau B-1 nous présente les limitations et les stratégies d’atténuation utilisées pour évaluer la gestion des infrastructures – Biens immobiliers.

Retour à la table des matières

Annexe C – Modèle logique

Retour à la table des matières

Annexe D – Matrice d'évaluation

Retour à la table des matières