Évaluation de la gestion des infrastructures – Biens immobiliers

ARRC
Autorité, responsabilité et reddition de comptes
CMR
Cadre ministériel des résultats
CMRE
Comité de la mesure du rendement et de l’évaluation
CT
Conseil du Trésor
DGEGD
Directeur général – Environnement et gestion durable
DOAD
Directives et ordonnances administratives de la défense
FAC
Forces armées canadiennes
GII
Gestion intégrée de l’information
IE
Infrastructures et environnement
MAIE
Modernisation des activités d’infrastructures et environnement
MDN
Ministère de la Défense nationale du Canada
RAA
Réseau des affaires autochtones
SAA
Secrétariat aux affaires autochtones
SIGRD
Système d’information de la gestion des ressources de la défense
SIRIE
Système d’information sur les ressources en matière d’infrastructures et d’environnement
SMA(IE)
Sous-ministre adjoint (Infrastructure et environnement)
SMA(Svcs Ex)
Sous-ministre adjoint (Services d’examen)
VFA
Ensemble de produits logiciels pour la gestion des immobilisations

Sommaire

Le présent rapport expose les résultats de l’évaluation de l’état de préparation des infrastructures – Biens immobiliers. L’évaluation a été menée par le Sous-ministre adjoint (Services d’examen) (SMA[Svcs Ex]) conformément à la Politique sur les résultats (2016) du Conseil du Trésor (CT). Alors que la Politique sur les résultats permet de procéder de manière souple à des évaluations fondées sur certains aspects préoccupants ou risques particuliers aux programmes, cette « évaluation ciblée » consiste à examiner le résultat immédiat de la « prise de décisions éclairées » du Sous-ministre adjoint (Infrastructure et environnement) (SMA[IE]). L’évaluation porte sur la pertinence et le rendement, en plus d’évaluer l’atteinte des résultats organisationnels pour informer et soutenir les décideurs du SMA(IE) au moment opportun au cours des premiers stades du processus de transformation du groupe.

L’évaluation a consisté à établir la mesure dans laquelle les décideurs et les comités du SMA(IE) disposent de l’information nécessaire pour soutenir la prise de décisions éclairées en matière de gestion des biens immobiliers, ainsi qu’en ce qui concerne les besoins en matière de santé et de sécurité, la gestion de l’environnement et les obligations entourant les affaires autochtones. L’évaluation a également permis d’évaluer la mesure dans laquelle les paramètres de rendement, les données et les outils du SMA(IE) permettent – ou sont conçus de manière à permettre – la prise de décisions éclairées dans l’ensemble du quartier général, ainsi qu’au niveau des régions et des détachements.

Évaluation globale

  • Les directives en ce qui concerne les rôles, les responsabilités et les attentes en matière d’utilisation des données et de paramètres de rendement pour soutenir la prise de décisions doivent faire l’objet d’une élaboration plus poussée.
  • Les niveaux variables d’intégration des nouveaux outils de gestion des données, la formation insuffisante sur des outils, ainsi que l’absence de normes et de processus en matière de données ont contribué à la confiance limitée à l'égard des données disponibles. Ces facteurs ont limité la capacité du groupe du SMA(IE) à réaliser une analyse approfondie.
  • On a besoin de sensibiliser davantage l’ensemble du groupe aux initiatives du projet de transformation du SMA(IE) et à la façon dont elles donneront lieu à une utilisation améliorée des données pour soutenir la prise de décisions et contribueront aux priorités organisationnelles, ainsi qu’à la réalisation des objectifs à long terme.
Tableau 1. Sommaire des principales constatations et recommandations. Le présent tableau offre un aperçu des constatations et des recommandations du rapport.
Principales constatations Recommendations
Pertinence

1. Le processus décisionnel du SMA(IE) favorise la politique de défense du Canada et la Politique sur les résultats du CT.

-
Rendement – Efficacité

2. Les stratégies, les directives, les plans nécessaires, ainsi que les rôles définis pour l’identification, la collecte et l’utilisation des données pour soutenir la prise de décisions éclairées, ainsi que l’atteinte des résultats sont des éléments de l’actuel projet de transformation et sont toujours en cours de développement, ce qui a donné lieu à certains défis pour le personnel du groupe du SMA(IE).

Directives et orientation

1. Assurer que les produits livrables du projet de transformation comportent des directives et une orientation claires en ce qui concerne les données et la mesure du rendement à l'intention du personnel du SMA(IE) à tous les niveaux, ainsi que des comités du SMA(IE). De manière plus précise, les directives et l’orientation devraient expliquer le besoin de saisir des données et les paramètres de rendement, les types précis de prises de décisions éclairées, ainsi que la façon dont on utilisera les données et les paramètres de rendement pour la prise de décisions touchant les biens immobiliers, l’environnement et les affaires autochtones au sein du groupe du SMA(IE).

3. Le personnel du SMA(IE) a généralement manifesté une confiance limitée dans la fiabilité des données. Le personnel a attribué cette confiance limitée aux défis que doivent relever les utilisateurs du Système d’information sur les ressources en matière d’infrastructures et d’environnement (SIRIE); la formation insuffisante; ainsi qu’à l’absence, en matière de données, de normes et de procédés promulgués qui procureraient une approche uniforme en matière de collecte de données à la grandeur de l’organisation.

Fiabilité des données

2. Pour contribuer encore davantage à l’analyse détaillée des données et à la prise de décisions éclairées, vérifier les principaux enjeux qui limitent l’uniformité et la fiabilité des données au sein du groupe du SMA(IE) et élaborer un plan et un échéancier afin de corriger ces problèmes.

4. Les préoccupations liées à la fiabilité des données ont eu des répercussions négatives sur la capacité du groupe du SMA(IE) d’exploiter les données, de procéder à une analyse détaillée des données et de permettre la prise de décisions éclairées.

5. Le degré de confiance selon lequel le projet de transformation donnera lieu à une utilisation améliorée des données pour permettre la prise de décisions éclairées et réaliser l’état final de l’organisation diffère grandement entre les états-majors des régions et des détachements du Groupe des opérations immobilières et le personnel de l’administration centrale du SMA(IE).

Sensibilisation au projet de transformation

3. Pour assurer une compréhension commune à la grandeur de l’organisation du SMA(IE), son personnel devrait être informé régulièrement de l’évolution du projet de transformation et de la façon dont la réalisation des initiatives de transformation contribuera aux priorités de l’organisation et aux objectifs à long terme. Cela devrait consister, entre autres, à miser sur les données planifiées et recueillies en ayant recours à des processus d’analyse opérationnelle adaptés aux fins des décisions de gestion des infrastructures et d’investissement dans les infrastructures en cernant les considérations environnementales et autochtones connexes et en tenant compte de ces considérations.

Détails du tableau 1 - Sommaire des principales constatations et recommandations

Directives et orientation

Le groupe du SMA(IE) exploite les politiques et les directives organisationnelles, ministérielles et pangouvernementales pour cerner et planifier ses besoins en matière de données et de mesure du rendement. La preuve présentée nous porte à croire que l’état-major connaît les besoins en matière de données dans les secteurs fonctionnels du SMA(IE) et qu’il répond à ces besoins. Cependant, pour atteindre les objectifs organisationnels, des stratégies et des directives appropriées devraient nous informer sur la façon dont on utilise les données et les outilsNote de bas de page 20 .

À l'intérieur d’un nouvel environnement commercial fondé sur les données, le personnel du SMA(IE) doit pouvoir compter sur une orientation claire à tous les niveaux, c’est-à-dire quartier général, régions, détachements, en ce qui a trait aux attentes entourant l’utilisation des données et les paramètres de rendement lors de la prise de décisions. Les répondants au questionnaire du Groupe des opérations immobilières ont précisé qu’on utilise divers types d’information de façon contradictoire lorsqu’on formule des recommandations ou qu’on prend des décisions dans les questions touchant la gestion des biens immobiliers, la santé et la sécurité, la gestion de l’environnement et les affaires autochtones. Les participants à l’entrevue et les répondants au questionnaire ont précisé que les données financières représentent la source la plus utilisée lorsqu’on doit prendre des décisions. Alors que les données financières jouent un rôle crucial dans la planification et dans la prise de décisions efficaces, l’utilisation des données financières seulement limite les possibilités. Les participants à l’entrevue ont déclaré qu’on est encore en train de définir les besoins en matière de collecte de données et d’information du Groupe des opérations immobilières, ce qui a donné lieu à certains malentendus en ce qui concerne les besoins en matière de données et à des défis en matière de coordination de l’information à la grandeur de l’organisation. La compréhension et les directives limitées quant aux types de données dont on devrait disposer et qu’on devrait utiliser dans chaque secteur fonctionnel du SMA(IE) nous portent à croire qu’on devrait également définir les besoins en matière de données et d’information au quartier général, dans les régions et au sein des détachements. Alors qu’il existe une quantité incroyable de données ordinaires auxquelles les utilisateurs devraient avoir accès, certaines données se prêtent davantage à la prise de décisions, alors que d’autres sont plus pertinentes pour soutenir les décisions stratégiques de nature générale sur le plan du portefeuille. Une définition plus poussée des types de données particulières et la façon dont on s’attend à ce que les données et les paramètres de rendement soient intégrés et utilisés à chaque niveau pour soutenir la prise de décisions devraient contribuer à favoriser une coordination, une intégration et une compréhension améliorées sur le plan de l’organisation.

L’initiative de transformation no 5, Élaborer la stratégie de GII du SMA(IE), et les initiatives de suivi pourraient répondre au besoin d’orientation et de directives en ce qui concerne l’utilisation des données et des paramètres de rendement aux fins des décisions au sein du groupe du SMA(IE).

Chez les répondants au questionnaire sur le plan des régions et des détachements qui présidaient les comités du SMA(IE), plus de la moitié ont déclaré que les documents d’orientation des comités qui concernent leur travail ne comportent aucune directive sur la façon dont on utilise les données et les paramètres de rendement dans le cadre du processus décisionnel des comités. Ces mêmes répondants ont reconnu à l’unanimité qu’ils ne sont au courant d’aucune consultation ni d’aucun autre procédé d’identification des besoins en matière de données et de paramètres de rendement de leurs comités respectifs. Ces réponses peuvent révéler une progression limitée quant à la mise à jour des documents de gouvernance afin d’inclure les considérations en matière de données dans l’ensemble du groupe du SMA(IE) ou le manque de connaissances des initiatives en cours.

Rôles et responsabilités

Une compréhension claire dans l’ensemble de l’organisation des rôles et des responsabilités au sein de chaque secteur fonctionnel et à chaque niveau de gestion représente un facteur clé d’une planification efficace des besoins en matière de données. Alors que progresse l’initiative de transformation no 36, « Définir les responsabilités et les autorisations », une clarté accrue des rôles et des responsabilités au sein de toutes les organisations de niveaux deux et trois devrait donner lieu à des améliorations correspondantes de l’approche de planification des données. Au moment de l’évaluation, l’initiative no 36 accusait un retard et on a déclaré qu’elle était « suspendue » jusqu’à ce qu’on revoie le modèle macro-organisationnelNote de bas de page 22 . Certains participants à l’entrevue occupant des postes plus élevés ont mentionné que les paramètres d’ARRC au sein du groupe du SMA(IE) sont généralement définis, mais ils ont ajouté qu’une clarté accrue des rôles et des responsabilités du personnel de niveaux un et deux du SMA(IE) sera utile, puisque les ARRC sont mal compris, sans compter qu’ils ne font pas l’objet d’une application ou d’une intégration uniforme. La Directive sur la planification intégrée des ressources du SMA(IE) contribue cependant à la définition des besoins en matière d’ARRC en définissant les priorités organisationnelles qu’on doit intégrer à la planification annuelle de niveau deux. De plus, on retrouve, dans le document d’orientation de planification fonctionnelle du SMA(IE), les dispositions de service et les fonctions consultatives que le SMA(IE) procure de façon générale au MDN et aux FAC, sans compter qu’on y identifie les organisations et les points de contact principaux qui sont responsables de ces fonctions.

Les participants à l’entrevue ont souligné l’absence de rôles et de critères d’engagement clairement définis entre les organisations du SMA(IE) en ce qui concerne les enjeux environnementauxNote de bas de page 23 et le Secrétariat aux affaires autochtones (SAA) et la relation qu’il entretient avec d’autres organisations du MDN et des FAC, ce qui a suscité certains défis pour le groupe du SMA(IE). Les participants à l’entrevue ont déclaré que le groupe du SMA(IE) fonctionne principalement à l'intérieur d’entités discrètes ou de cloisonnement et, pour cette raison, une compréhension commune des ARRC au sein du groupe du SMA(IE) est limitée. De plus, ils croient qu’une compréhension commune des rôles et des responsabilités améliorera l’intendance du portefeuille du SMA(IE) et contribuera à faire en sorte que le groupe délaissera les activités transactionnelles pour davantage établir les priorités quant au processus décisionnel stratégique.

Outils de gestion de l’information

Les preuves recueillies lors des entrevues et de l’examen des documents ont révélé qu’on continue d’accroître les capacités des outils de collecte de données du SMA(IE) et qu’on ajuste la portée des besoins en matière de données en plus de gérer les questions entre l’utilisateur et ses interfaces et de cerner les besoins nouveaux et émergents en matière de données.

Aux fins de la gestion des biens immobiliers, on est présentement en train de peaufiner les systèmes et les procédés de gestion de l’information pour répondre aux besoins des intervenants, y compris les communautés des utilisateurs dans les régions et les détachements responsables des opérations immobilières. Le projet Modernisation des activités d’infrastructures et environnement (MAIE), qu’on a complété en mars 2017, avait pour but de soutenir une gouvernance moderne des activités par la mise en œuvre de processus opérationnels intégrés et uniformisés et d’une solution robuste en matière de gestion de l’information fondée sur les pratiques exemplaires de l’industrieNote de bas de page 24 . Ce projet était conçu pour remplacer et consolider la fonctionnalité des anciennes applications désuètes qu’on utilisait afin de suivre les activités de maintenance, la sécurité des personnes et la conformité au code des biens immobiliers dans le SIGRD. Le projet de MAIE a donné lieu à l’adoption de nouveaux modules de gestion et d’analyse des données qui sont maintenant disponibles dans l’ensemble du SIGRD et qu’on qualifie de SIRIE.

Les améliorations graduelles planifiées au SIRIE favorisent une utilisation améliorée des données pour répondre aux besoins des décideurs.

Le Directeur général – Environnement et gestion durable (DGEGD) et le SAA se sont fiés aux besoins bien établis en matière de rapports pour déterminer et établir les priorités des besoins en matière de données. Cependant, la majeure partie de ces domaines fonctionnels n’est pas encore intégrée au SIGRDNote de bas de page 25 .  En ce qui concerne les données environnementales, on a harmonisé les cibles de rendement de la Stratégie énergétique et environnementale de la défense avec celles de la Stratégie ministérielle de développement durable afin de répondre à de nombreux besoins du MDN et des FAC en matière de données environnementales. Le DGEGD gère également un vaste éventail d’autres exigences obligatoires en matière de rapports sur l’environnement au nom du MDN et des FACNote de bas de page 26 .  Compte tenu des exigences réglementaires en matière de compilation de données environnementales et de rapports, les participants à l’entrevue ont déclaré que des plans sont en cours pour harmoniser également les besoins en matière de rapports avec les cadres de mesure du rendement respectifs pour ainsi simplifier la planification et les processus de collecte de données et accroître leur valeur. De même, le SMA(IE) travaille à la création d’un système centralisé de rapports de données et de rendement pour les affaires autochtones. Les gens interviewés ont déclaré que le personnel du SMA(IE) élabore présentement une Directive et ordonnance administratives de la défense (DOAD) décrivant les exigences nécessaires pour répondre aux exigences du gouvernement du Canada en matière de rapports et pour cerner les organisations du MDN et des FAC chargées de surveiller le rendement, d’établir les cibles et de recueillir les données en lien avec les affaires autochtonesNote de bas de page 27 .  La DOAD portera également sur les politiques en vigueur en ce qui concerne les affaires autochtones au sein du MDN et des FAC et le rôle parallèle du nouveau SAA du SMA(IE).

Alors que le projet de transformation évolue et que les stratégies et les outils de gestion de l’information se développent, les efforts visant à planifier et à peaufiner les besoins en matière de données, ainsi que la définition des rôles et des responsabilités joueront un rôle primordial dans l’identification des lacunes en matière d’information, des redondances et des possibilités d’améliorer l’intégration et le processus décisionnel au sein du groupe du SMA(IE).

Recommandation du SMA(Svcs Ex)

Les responsabilités en matière de collecte de données touchant les Autochtones et l’environnement sont réparties entre une multitude de groupes de niveau un, de sorte qu’il est difficile pour le SAA et le DGEGD de recueillir et d’utiliser ces données à des fins décisionnelles.

Capacité de procéder aux analyses

Les participants à l’entrevue ont déclaré, alors que leur capacité en matière de personnel suffit présentement pour analyser les niveaux actuellement disponibles, quoique limités, de données fiables, l’exploitation de nouvelles sources de données et des capacités nouvelles en matière d’analyse par l'entremise du SIGRD peut dépendre d’une augmentation de la capacité en personnel. Par contre, une personne interviewée a reconnu qu’une utilisation accrue du SIGRD afin de procéder à l’analyse automatisée des données pourrait potentiellement réduire la demande sur le plan du personnel. De nombreux répondants au questionnaire des régions et des détachements ont déclaré qu’ils n’avaient pas suffisamment de temps ou de personnel disponible afin de procéder à l’analyse des données. Plusieurs répondants ont déclaré qu’ils n’ont pris aucune mesure pour contrer la non-disponibilité ou le caractère inadéquat des données et des paramètres de rendement, évoquant des ressources humaines limitées qui ne peuvent assumer les responsabilités au jour le jour pour s’attaquer aux problèmes systémiques sur le plan des données. De plus, les limitations au niveau du SIGRD et du SIRIE qui permettent uniquement à certains membres du personnel d’utiliser le système pour réaliser certaines fonctions – qualifiées d’affectations de rôles – ont également eu un effet sur la capacité du personnel des régions et des détachements d’utiliser les données du SIRIE. Un participant à l’entrevue a expliqué que les affectations de rôle ont eu des répercussions profondes sur les petits détachements qui disposent d’un personnel limité et qui doivent attribuer bon nombre de rôles, alors qu’un même individu est incapable d’assumer plus d’un rôle, ce qui limite leur capacité d’utiliser le SIGRD de manière efficace.

Le degré de compétence des employés du SMA(IE) compromet également la capacité d’exploiter les nouvelles possibilités qu’offre le SIGRD. De nombreux participants à l’entrevue ont déclaré qu’une formation additionnelle leur permettrait de mieux utiliser le SIGRD aux fins de l’analyse des données. En fait, certains employés ont déclaré qu’ils n’ont pas encore reçu suffisamment de formation pour exploiter la totalité des capacités de leur SIGRD pour s’acquitter ainsi des obligations associées aux rapports réglementaires et en matière de conformité. Au sujet de la formation suivie, un participant à l’entrevue a déclaré que celle-ci était fondée sur l’utilisation élémentaire de l’interface du SIRIE plutôt que sur les « raisons » et plutôt que de miser sur les capacités du système. Pour certains employés du SMA(IE), l’érosion des compétences représentait un problème, parce qu’ils utilisent peut-être rarement le SIRIE, ce qui entraîne la perte des compétences acquises lors de la formation initiale. La formation semble également problématique au niveau des régions et des détachements, puisque 20 pour cent des répondants au questionnaire ont déclaré que la formation limitée consacrée au SIRIE compromettait leur capacité d’utiliser le système pour l’analyse des données. Les répondants au questionnaire au niveau du détachement ont mentionné qu’en raison de ces limitations, on ne tirait pas le plein potentiel des données dans tous les secteurs fonctionnels.

On a ainsi élaboré des plans pour accroître la capacité du groupe du SMA(IE) à faciliter la collecte et l’analyse des données dans le temps grâce à la stratégie de gestion des ressources humaines du SMA(IE)Note de bas de page 30 , ainsi qu’au soutien continu du groupe de soutien aux activités et aux données en matière d’IE de la MAIE ou du SIGRD au fur et à mesure de l’évolution du projet de transformation. Les initiatives de transformation no 2, Adopter l’outil d’habilitation technologique de la MAIE , no 3, Élaborer une stratégie plus générale du SMA(IE) en matière de technologie et no 4, Améliorations technologiques du SMA(IE) qui concernent l’adoption du SIRIE présentent toutes un lien avec ce problème de capacité, qu’il s’agisse d’améliorer ou peaufiner la fonctionnalité des outils et de combler les lacunes sur le plan des capacités ou d’offrir une formation additionnelle aux utilisateurs du SIRIE dans la région de la capitale nationale, ainsi qu’aux régions et aux détachements du Groupe des opérations immobilières. Les gens interviewés ont déclaré qu’une utilisation accrue des données et de l’analyse prendra un certain temps et, alors que les utilisateurs consacrent davantage de temps à utiliser les nouveaux outils du SIGRD, cette utilisation deviendra bien plus facile et ils apprendront à les exploiter au maximum.

Intégration du SIGRD et des autres outils

Certains systèmes de gestion de l’information du SMA(IE) sont bien intégrés au SIGRD et permettent au personnel d’analyser les données de nouvelles façons, mais on est encore en train de procéder à l’intégration d’autres systèmes.

Recommandation du SMA(Svcs Ex)

Principale constatation 5 : le degré de confiance selon lequel le projet de transformation donnera lieu à une utilisation améliorée des données pour permettre la prise de décisions éclairées et réaliser l’état final de l’organisation diffère grandement entre les états-majors des régions et des détachements du Groupe des opérations immobilières et le personnel de l’administration centrale du SMA(IE).

Recommandation du SMA(Svcs Ex)


Retour à la table des matières

Annexe A—Plan d’action de la direction

Directives et orientation

Recommandation du SMA(Svcs Ex)

Tableau A-1. Jalons pour le Plan d’action de la direction 1. Ce tableau montre les jalons, la date cible et le BPR pour le Plan d’action de la direction 1.
Jalon Date cible BPR

 1. Élaborer un cadre de gouvernance devant servir de guide pour s’assurer que le SMA(IE) gère ses biens immobiliers de manière efficace. Ce cadre comportera toutes les exigences en matière de responsabilisation en ce qui concerne les décisions de planification et de gestion des investissements en vertu de la Politique sur la planification et la gestion des investissements. 

avril 2019

SMA(IE) (DGPSGIE)

2. Recueillir et rendre des comptes avec succès sur les nouveaux indicateurs de rendement en vertu du CMR et échanger les résultats avec le personnel et les comités de gestion du SMA(IE). 

avril 2019

3. Le SMA(IE) examinera ses structures de gouvernance et les harmonisera de manière à tenir compte des exigences énoncées dans le cadre de gouvernance. Pour assurer la qualité, l’uniformité et une orientation claire des données, on promulguera un cadre de référence pour chaque comité y compris des directives sur la prise de décisions, ainsi que les rôles et les responsabilités en matière de surveillance des données. 

novembre 2019

4. Finaliser l’élaboration de l’information de rendement nécessaire aux fins du processus décisionnel interne et pour les profils d’information sur le rendement en vertu des programmes du CMR du SMA(IE). 

juin 2020

Détails du tableau A-1 - Jalons pour le Plan d’action de la direction 1
Recommandation du SMA(Svcs Ex)
Tableau A-2. Jalons pour le Plan d’action de la direction 2. Ce tableau montre les jalons, la date cible et le BPR pour le Plan d’action de la direction 2.
Jalon Date cible BPR

1. Mettre sur pied un comité avec des rôles et des responsabilités bien définis dont la tâche consistera à assurer l’encadrement et la surveillance continus des principales activités de gestion de l’information, y compris l’analyse et la gouvernance des données. 

septembre 2018

SMA(IE) (CEM[IE])

2. Cerner et établir des exigences en matière de reddition des comptes, y compris l’identification des données requises pour soutenir l’analyse et la production des rapports de profils d’information sur le rendement, ainsi que les autres paramètres de rendement internes.

décembre 2018

3. Donner la directive décrivant clairement les responsabilités des niveaux deux et trois en ce qui concerne la saisie, la validation et la certification des données. 

avril 2019
Détails du tableau A-2 - Jalons pour le Plan d’action de la direction 2

Recommandation du SMA(Svcs Ex)

Mesure prise par la direction

D’accord. Assurera une compréhension commune et des mises à jour régulières du projet de transformation, le SMA(IE) élaborera et mettra en œuvre un plan de communication afin de mobiliser les intervenants et tout le personnel du SMA(IE) dans la progression des initiatives de transformation et dans la façon dont ces initiatives contribuent à réaliser l’état final souhaité du SMA(IE).

Tableau A-3. Jalons pour le Plan d’action de la direction 3. Ce tableau montre les jalons, la date cible et le BPR pour le Plan d’action de la direction 3.
Jalon Date cible BPR

1. Finaliser le plan de communication. 

novembre 2018

SMA(IE) (DGPSGIE)

2. Mettre en œuvre le plan de communication en vue des initiatives de transformation de la troisième année.

mars 2019

Détails du tableau A-3 - Jalons pour le Plan d’action de la direction 3


Retour à la table des matières

Annexe B—Méthodologie et limitations de l’évaluation

1.0 Méthodologie

L’évaluation du processus de gestion des infrastructures – Biens immobiliers reposait sur de multiples éléments de preuve pour mesurer la pertinence et le rendement. Cette évaluation avait pour objet de déterminer si les décideurs disposent de l’information dont ils ont besoin pour rendre des décisions vraiment éclairées. L’évaluation ne portait aucunement sur l’efficacité ou sur les résultats des décisions.

La méthodologie a défini une approche cohérente pour réunir et analyser les données et aider à garantir la fiabilité du processus d’évaluation. On a fait appel à une information de nature qualitative pour établir le contexte de la prise de décisions au sein du groupe du SMA(IE), ainsi que pour interpréter l’importance des renseignements clés. On a fait appel à des évaluations qualitatives pour valider l’analyse globale et formuler les constatations et les recommandations.

1.1 Aperçu des méthodes de collecte des données

Les méthodes de collecte des données ont été choisies en fonction des données requises pour tenir compte des indicateurs de rendement dans la matrice d’évaluation. Les méthodes de collecte des données suivantes ont servi à recueillir de l’information qualitative et quantitative : 

  • examen des documents et recension des écrits;
  • questionnaire des intervenants;
  • entrevue des informateurs clés.

1.2 Détails concernant les méthodes de collecte des données

1.2.1 Examen des documents et recension des écrits

On a effectué un examen préliminaire des documents dans le cadre de l'étape de planification de l'évaluation afin d'acquérir une compréhension générale de l’organisation du SMA(IE), ainsi que des initiatives de centralisation et de transformation du SMA(IE). Un examen complet des documents a été réalisé dans le cadre de l’évaluation, celui-ci étant fondé sur les divers aspects de la prise de décisions éclairées. L’examen des documents était limité en raison des contraintes de temps. 

Les documents suivants ont été examinés au cours de l’étape de définition de la portée et d'exécution de l’évaluation :

  • politique de défense du Canada : Protection, Sécurité, Engagement;
  • documents ministériels : rapports sur les plans et priorités, rapports ministériels sur le rendement, directives ministérielles, stratégie du SMA(IE), plans intégrés de ressources du SMA(IE), guide de planification stratégique et documents sur la transformation;
  • documents juridiques et politiques; lois et règlements et politiques du CT;
  • documents et articles universitaires;
  • autres documents : évaluations et audits du SMA(Svcs Ex), audits du Bureau du vérificateur général, autres études ou examens internes.

1.2.2 Questionnaire destiné aux intervenants

Le SMA(Svcs Ex) a élaboré, à l'intention des intervenants, un questionnaire bilingue, soit en français et en anglais, qu’il a distribué aux commandants des détachements et des régions du Groupe des opérations immobilières. Les destinataires ont été identifiés à partir de l’information recueillie auprès du Groupe des opérations immobilières, ainsi que de la liste d'adresses globale (LAG) et du carnet d'adresses de Microsoft Outlook. Le sondage a été envoyé à 34 personnes, mis en ligne pendant trois semaines et a eu un taux de participation de 94 pour cent.

Dans ce questionnaire, on tentait de déterminer si les décideurs et les comités du SMA(IE) disposent des données et de l’information nécessaires pour faciliter la prise de décisions éclairées et favorables aux résultats. Les questions étaient organisées de manière à recueillir des commentaires sur les données et sur l’information particulières aux secteurs fonctionnels – Gestion des biens immobiliers, y compris la santé et la sécurité, environnement et affaires autochtones – ainsi que la prise de décisions de façon générale, de même qu’à l'intention des comités du SMA(IE).

1.2.3 Entrevues auprès des informateurs clés

Les entrevues et les discussions des informateurs clés en compagnie du personnel du SMA(IE) et des autres intervenants ont représenté des sources importantes d’information qualitative.

Des pré-entrevues d’orientation informelles ont été menées auprès de sept intervenants clés du SMA(IE) afin de déterminer le domaine d’enquête approprié relevant de la portée prescrite initialement et pour jeter les bases de l’élaboration de guides détaillés d’entrevue des informateurs clés. Combinées à des recherches additionnelles, ces entrevues initiales ont permis de déterminer que la portée initiale n’était pas représentative des principaux enjeux et secteurs de risques et que le projet de transformation en cours du SMA(IE) avait déjà permis de cerner les principaux enjeux qu’on abordait dans le cadre des initiatives de transformation.

La portée révisée, qui porte précisément sur le résultat immédiat d’une « prise de décisions éclairées » du SMA(IE), a été approuvée à la mi-octobre 2017. Pour soutenir ce domaine d’enquête, 19 entrevues ont été réalisées auprès de 29 employés du SMA(IE) occupant des postes de directeur général, de directeur et autres. Les entrevues étaient semi-directives, alors qu’elles se sont déroulées en personne, et ce, individuellement ou en groupe. Certains informateurs ont été interrogés à maintes reprises. Durant les entrevues, les intervieweurs ont pris des notes détaillées qu’ils ont ensuite transcrites, puis analysées en fonction des thèmes de recherche. Les notes d’entrevue ont été échangées avec les informateurs clés sur demande, aux fins de vérification des faits lorsque c’était nécessaire. Au besoin, les personnes interviewées ont fourni des réponses écrites aux questions d’entrevue une fois celle-ci terminée afin de fournir des réponses plus détaillées.

2.0 Limitations

Le tableau B-1 nous présente les limitations et les stratégies d’atténuation utilisées pour évaluer la gestion des infrastructures – Biens immobiliers.

Tableau B-1. Limitations et stratégies d'atténuation. Liste des limitations de l’évaluation et description des stratégies d’atténuation correspondantes.
Limitation Stratégie d’atténuation

Méthodologie

Même si le programme de gestion des infrastructures – Biens immobiliers fait appel à de nombreux intervenants de divers niveaux au sein du MDN et des FAC, l’évaluation était fondée sur la prise de décisions au sein du groupe du SMA(IE).

 

L’équipe d’évaluation a cherché à interviewer un grand nombre d’intervenants du groupe du SMA(IE). On a fait appel à un questionnaire pour recueillir davantage de commentaires des intervenants du SMA(IE) qu’on n’a pu interviewer.

Degré d’avancement du programme

La centralisation du SMA(IE) a pris fin le 1er avril 2016. Cependant, le groupe centralisé du SMA(IE) est toujours en cours de transformation et il se pourrait qu’on n’ait pas encore vraiment atteint les résultats. 

On a tenu compte des preuves dans leur contexte, alors qu’on est en train d’acquérir les capacités et que celles-ci évoluent pour favoriser l’atteinte des résultats. Lorsqu’on parlait du projet de transformation, l’équipe d’évaluation a veillé à noter que les références aux initiatives et à leur progression étaient à jour au moment de rédiger le texte d’évaluation.

Contraintes de temps

L’évaluation devait se dérouler à l'intérieur d’une période limitée afin de respecter les échéances prescrites. De plus, on a procédé à certains changements quant à la portée de l’évaluation tard au cours du processus, limitant ainsi le temps disponible afin de réaliser la phase principale de collecte et de l’analyse des données de l’évaluation.

 

En consultation avec le personnel du SMA(IE), on a décidé d’axer l’évaluation sur un résultat du modèle logique du groupe du SMA(IE), soit « La prise de décisions éclairées est rendue possible et on y fait appel ». Cette décision a permis à l’équipe d’évaluation de concentrer ses efforts et d’évaluer cette portée limitée.

Attribution aux résultats

L’attribution des activités et des extrants aux résultats immédiats est difficile en raison des initiatives en cours du projet de transformation.

On s’est efforcé principalement de déterminer la mesure dans laquelle on atteint le résultat intitulé « La prise de décisions éclairées est rendue possible et on y fait appel ». 

Cette évaluation peut ensuite contribuer à évaluer l’atteinte des résultats immédiats. 

Détails du tableau B-1 - Limitations et stratégies d’atténuation


Retour à la table des matières

Annexe C – Modèle logique

Figure 1
Figure C-1. Modèle logique à l’intention du SMA(IE). Ce diagramme montre la relation entre les principales activités, les extrants et les résultats escomptés du SMA(IE). Approuvé le 30 novembre 2016.
Détails de la figure C-1 - Modèle logique à l’intention du SMA(IE)


Retour à la table des matières

Annexe D – Matrice d'évaluation

Tableau D-1. Matrice d’évaluation. Le tableau indique les méthodes de collecte des données utilisées permettant d’évaluer les enjeux et les questions de l’évaluation afin de déterminer la pertinence et l’efficacité du programme des biens immobiliers de gestion des infrastructures.
Matrice d’évaluation – Gestion des infrastructures – Biens immobiliers
Question de l’évaluation Principaux enjeux à examiner Indicateurs Données du programme Recension des écrits
1.0 Dans quelle mesure la prise de décisions éclairées par le SMA(IE) contribue-t-elle aux priorités du gouvernement du Canada?
1.1 La prise de décisions éclairées par le SMA(IE) favorise la politique de défense du Canada : Protection, Sécurité, Engagement, ainsi que la Politique sur les résultats du CT.
1.1.1 Harmonisation de la prise de décisions éclairées par le SMA(IE) avec la Politique sur les résultats du CT.
Non Oui
1.1.2 Harmonisation de la prise de décisions éclairées par le SMA(IE) avec la Politique sur les résultats du CT.

Non Oui
2.0 Dans quelle mesure le résultat immédiat du SMA(IE) intitulé « La prise de décisions éclairées est rendue possible et on y fait appel » est-il réalisé au quartier général, dans les régions et au sein des détachements?

2.1 Les décideurs et les comités du SMA(IE) disposent-ils de l’information nécessaire pour favoriser la prise de décisions éclairées?

2.2 Une évaluation de la façon dont la mesure du rendement, les données et les outils facilitent la prise de décisions au sein du groupe du SMA(IE), en particulier :

  1. lors des opérations immobilières et afin de répondre aux      exigences en matière de santé et de sécurité;
  2. pour aider à répondre aux exigences environnementales;
  3. pour aider à respecter les obligations en ce qui a trait aux droits des Autochtones.

Les questions seront abordées à trois niveaux : le quartier général, les régions et les détachements.

2.1.1 Les paramètres de rendement, les données et les outils répondent aux besoins des décideurs sur tous les plans.

  • Les besoins et les exigences des décideurs sont pris en compte lors de l’élaboration d’exigences en matière de collecte de données et de paramètres de rendement.
  • Les paramètres de rendement, les données et les outils de gestion de l’information répondent aux besoins qu’on a cernés et favorisent les décisions.
  • Les décideurs sont en mesure d’utiliser les données et les paramètres de rendement pour rendre des décisions éclairées.
Oui Oui

2.1.2 Les comités du SMA(IE) sont en mesure d’utiliser les données et les paramètres lors de la prise de décisions sur tous les plans

  • La capacité du personnel du SMA(IE) d’apporter un soutien aux comités chargés d’analyser et de préparer l’information destinée aux réunions.
  • La mesure dans laquelle la structure, les rôles et les responsabilités des comités du SMA(IE) tiennent compte des données et des paramètres de rendement.
Oui Oui
Détails du tableau D-­1 - Matrice d’évaluation
Signaler un problème ou une erreur sur cette page
Veuillez sélectionner toutes les cases qui s'appliquent :

Merci de votre aide!

Vous ne recevrez pas de réponse. Pour toute question, contactez-nous.

Date de modification :