Évaluation des activités de surveillance et d'habilitation à l'égard des projets à risque élevé, complexes, axés sur la TI

Conclusions

2.1 Renseignements généraux sur le programme et contexte

La Division de l’examen et de la surveillance des projets axés sur la TI de la DDPI (DESPTI/DDPI) a été mise sur pied en 2008 à la suite de l’échec de certains grands projets dans les années 90 principalement. Dans des rapports présentés par le Bureau du vérificateur général (BVG) en 2006^{Voir la note en bas de page 2} et le Secrétariat du Conseil du Trésor du Canada en 2007,^{Voir la note en bas de page 3} les deux organismes ont mis en lumière la complexité inhérente et les risques que posent la conception et la mise en œuvre de projets axés sur la TI.

Selon le rapport du BVG de 2006, le Secrétariat avait besoin de renforcer son rôle de soutien auprès des ministères relativement à leur capacité de gérer les projets tout en assurant une plus grande surveillance des projets axés sur la TI.

Dans son rapport présenté en 2007, le Secrétariat expliquait que les raisons de l’échec d’un projet pouvaient être classées dans trois grandes catégories, à savoir i) la conception des projets, étape à laquelle les projets présentant plus de risques tendent à être favorisés; ii) un environnement peu favorable au projet; et iii) l’absence d’expertise en gestion de projets.^{Voir la note en bas de page 4} Parmi les causes cernées, il convient de citer le manque de réalisme des coûts et des calendriers, des approches lacunaires qui n’indiquaient pas assez clairement que les projets étaient des projets de transformation opérationnelle, ainsi qu’une tendance à lancer les grands projets en une seule fois pour éviter d’avoir à soumettre des présentations subséquentes au Conseil du Trésor. L’échec était aussi attribué à « l’absence de surveillance efficace ».^{Voir la note en bas de page 5}

En 2008, le Comité permanent des comptes publics recommandait que « le Secrétariat du Conseil du Trésor exige des ministères et des organismes qu’ils fournissent des renseignements sur les coûts et sur le rendement des projets de technologie de l’information évalués à plus de 10 millions de dollars. »^{Voir la note en bas de page 6} En réponse, le Secrétariat a fait remarquer que la valeur pécuniaire à elle seule n’était pas un critère suffisant pour déterminer si sa surveillance était nécessaire. Il a ensuite répondu qu’il allait adopter une approche reposant sur le risque pour satisfaire aux besoins des parlementaires qui souhaitent disposer d’une meilleure information sur les projets de TI […] en fonction de la capacité ministérielle ainsi que du degré de risque et de la complexité du projet.^{Voir la note en bas de page 7} En 2008, le Secrétariat créait la DESPTI/DDPI.

En 2011, lors de la création de Services partagés Canada, le GC a adopté une approche pangouvernementale pour la gestion de ses biens de technologie de l’information. De plus en plus souvent, les ministères^{Voir la note en bas de page 8} travaillent horizontalement dans le cadre d’initiatives conjointes et de projets d’améliorations pangouvernementaux, ce qui rehausse la complexité de l’environnement dans lequel la DESPTI/DDPI exerce une surveillance.

2.2 Mandat de la DESPTI/DDPI

La DDPI donne une orientation stratégique et assure le leadership en ce qui a trait à la poursuite de l’excellence en gestion de l’information (GI), en technologie de l’information (TI), en sécurité, en accès à l’information et protection des renseignements personnels (AIPRP), et en modernisation des services dans l’ensemble du GC.

De plus, la DDPI joue un rôle de chef de file en ce qui concerne le suivi et l’amélioration de la surveillance des grands investissements en GI et en TI du Canada en veillant à ce que les projets axés sur la TI soient bien planifiés et bien gérés et qu’ils contribuent à la concrétisation de l’orientation stratégique du gouvernement dans les domaines de la gestion de l’information, des services partagés, de l’utilisation d’infrastructures communes et de l’interopérabilité.^{Voir la note en bas de page 9} Les présentations concernant les projets axés sur la TI complexes et présentant des risques élevés sont renvoyées à la DESPTI/DDPI pour examen par les secteurs de programme, lesquels font office de principal point de contact (guichet unique) du Secrétariat avec les ministères.

La mission de la DESPTI/DDPI compte deux volets : le premier concerne le GC, et le second la concerne elle-même. Sa mission à l’échelle du GC consiste à « instaurer une culture de gestion, de gouvernance et de surveillance efficace du portefeuille et des projets axés sur la TI au [gouvernement du Canada]. » En tant que division de la DDPI, sa mission consiste à « atteindre l’excellence en matière de gestion de portefeuille de projets axés sur la TI à l’échelle de l’entreprise ainsi que d’analyse et de rapports en la matière. »

2.3 Gouvernance

La gouvernance du programme de surveillance et d’habilitation à l’égard des projets de TI complexes à risque élevé nécessite la participation de divers intervenants, outre les secteurs qui prennent part au processus de présentations au Conseil du Trésor. Voici les principaux intervenants :

• Le Comité sur la surveillance exécutive des projets des sous-ministres adjoints (CSEP-SMA) fait office de comité consultatif supérieur auprès du dirigeant principal de l’information. Il formule des conseils et des recommandations au sujet d’initiatives clés et de plans visant à améliorer la surveillance et la gouvernance des projets axés sur la TI à l’échelle du GC. Les membres du CSEP proviennent des ministères dont les projets font actuellement l’objet d’une surveillance active. Le comité se réunit habituellement quatre fois par année.
• Le CSEP des directeurs généraux (CESP-DG) fait fonction d’organe consultatif auprès du CSEP-SMA pour la préparation de la séance d’information au CT sur le portefeuille des projets axés sur la TI. Le DG de la DESPTI/DDPI préside ce comité, qui se réunit tous les six mois.
• Le dirigeant principal de l’information du GC fait rapport aux ministres du CT relativement à la santé et à la situation du portefeuille des projets axés sur la TI sous la surveillance de la DESPTI/DDPI, ainsi que sur les progrès réalisés en ce qui a trait aux activités stratégiques et d’habilitation. Pendant la préparation de la séance d’information au CT sur le portefeuille des projets axés sur la TI, la DESPTI/DDPI consulte les divers comités et secteurs du Secrétariat, dans l’ordre suivant : le groupe des directeurs de programmes, les secrétaires adjoints des secteurs de projets, les secteurs de programmes et, finalement, le Comité exécutif (COEX). Les comités sont consultés au sujet du message global qui sera véhiculé lors de la séance. La présentation, les sommaires et les observations sur le projet sont remis aux secteurs de programmes afin qu’ils procèdent à un examen de faits. On leur remet également les tableaux de bord de la direction à titre d’information, en guise de documents d’appui. Le COEX peut être consulté pour que le secrétaire puisse participer au processus.

2.4 Processus de surveillance

La DESPTI/DDPI exerce plusieurs types d’activités de surveillance, notamment :

• la surveillance ponctuelle de projets, dont l’objectif est de s’assurer que les conditions de réussite sont réunies au moment de préparer une présentation du Conseil du Trésor;
• la surveillance permanente de projets, dont l’objectif consiste à s’assurer que les ministères appliquent des pratiques efficaces de surveillance et de gouvernance de manière uniforme, et ce, pendant toute la durée de vie des projets;
• l’analyse et la présentation de rapports sur le portefeuille de projets, dont l’objectif consiste à s’assurer que les investissements du GC dans les projets axés sur la TI sont gérés de manière efficace dans leur ensemble et correspondent aux priorités du GC.

En principe, la surveillance exercée par la DESPTI/DDPI commence à l’étape de la conception du projet et prend fin au dépôt du rapport de clôture du projet. Toutefois, les ministères peuvent faire appel à la DESPTI/DDPI plus tard au cours du processus, lorsqu’il devient clair qu’une composante de TI pourra se révéler nécessaire. Le processus de surveillance est exécuté parallèlement à d’autres processus du Secrétariat, comme le processus d’examen des présentations, mais en demeure indépendant. La DESPTI/DDPI exerce une surveillance en examinant toute la documentation pertinente aux projets, comme les analyses de rentabilisation et les tableaux de bord. Elle fait partie de divers comités de gouvernance (p. ex., comités directeurs, comités consultatifs, groupes de travail), en plus d’exercer une surveillance et d’offrir des conseils.

Lorsque des projets axés sur la TI complexes et présentant des risques élevés sont soumis à l’approbation du CT, le Secrétariat cherche des preuves démontrant que les ministères appliquent des pratiques efficaces de gestion et de surveillance des projets. Ces preuves comprennent une explication ou une justification de l’investissement (normalement sous la forme d’une analyse de rentabilisation formelle), des documents sur le projet qui ont été approuvés par le ministère, comme la charte et le plan de gestion du projet, et des preuves démontrant l’existence de structures de gouvernance qui utilisent des tableaux de bord, un régime de points de contrôle et des examens indépendants.^{Voir la note en bas de page 10}

2.5 Surveillance du portefeuille de projets

Les projets axés sur la TI se divisent en trois sphères.

La sphère 1 regroupe l’ensemble des projets axés sur la TI au gouvernement.

Les projets de la sphère 2 sont les projets axés sur la TI qui nécessitent l’approbation du CT par l’entremise du processus des présentations (c.-à-d. qu’ils dépassent le niveau des pouvoirs délégués du ministère). En novembre 2012, il y avait 100 projets axés sur la TI^{Voir la note en bas de page 11} dans la sphère 2.

Les projets de la sphère 3 sont ceux qui nécessitent une présentation au CT et qui font l’objet d’une surveillance continue par la DESPTI/DDPI parce qu’ils sont considérés par le Secrétariat comme étant des projets complexes à risque élevé. En novembre 2012, il y avait 23 projets dans la sphère 3.

Les projets peuvent se retrouver dans la sphère 3 pour les motifs suivants :

• leur coût estimatif est de 100 millions de dollars ou plus. Les projets à haut risque dont le coût est inférieur à 100 millions de dollars peuvent être sélectionnés à des fins de surveillance en raison du risque qu’ils présentent, consécutivement à l’évaluation de la capacité de gestion de projets du ministère ou en raison de la nature même du projet;
• de multiples intervenants participent à leur gouvernance ou à leur mise en œuvre à l’extérieur du ministère à titre individuel;
• les projets affichent un changement significatif au chapitre du rendement;
• les projets sont réputés nécessiter une surveillance, à la discrétion des ministres.

La figure 1 ci-dessous illustre les trois sphères du modèle des projets axés sur la TI de la DESPTI/DDPI.

Figure 1 - Version textuelle

(Figure 1, page 12, Rapport Évaluation des activités de surveillance et d'habilitation de la DESPTI/DDPI à l'égard des projets à risque élevé, complexes, axés sur la TI)

Cette figure illustre le modèle des projets axés sur la TI de la DESPTI/DDPI, qui comporte trois sphères. La sphère 1 représente tous les projets axés sur la TI du gouvernement. La sphère 2 est un sous-ensemble de la sphère 1 et représente tous les projets axés sur la TI du gouvernement qui nécessitent l'approbation du CT. La sphère 3 est un sous-ensemble de la sphère 2 et représente le portefeuille des projets axés sur la TI du Secrétariat du Conseil du Trésor du Canada qui font l'objet d'une surveillance continue.

Source : Séance d’information sur le portefeuille des projets axés sur la TI.

Une grande partie du travail de la DESPTI/DDPI soutient l’application efficace de deux politiques du CT, soit la Politique sur la gestion des projets et la Politique de planification des investissements – Actifs et services acquis. L’objectif de la Politique sur la gestion des projets est de « … garantir que des systèmes et mécanismes de surveillance adaptés à la gestion des projets sont mis en place aux niveaux ministériel, horizontal ou pangouvernemental et qu’ils favorisent l’obtention des résultats des projets et programmes, tout en limitant les risques pour les intervenants et les contribuables. » Pour sa part, la Politique de planification des investissements – Actifs et services acquis expose une approche pangouvernementale de la planification des investissements dans les actifs et les services acquis et donne aux administrateurs généraux des renseignements pertinents supplémentaires à l’appui des décisions d’investissement.^{Voir la note en bas de page 13}

Le rôle de la DESPTI/DDPI en matière de gouvernance et de surveillance (voir le tableau 1 pour consulter les définitions) est de voir à la réussite des projets. Toutefois, les ministères demeurent responsables de la réalisation globale des objectifs opérationnels. Autrement dit, le rôle de la DESPTI/DDPI n’est pas de faire en sorte que les ministères se conforment aux exigences, mais plutôt d’exercer une surveillance sélective.^{Voir la note en bas de page 14} Tel qu’il est précisé dans la Politique sur la gestion des projets, les administrateurs généraux doivent s’assurer de « l’instauration d’un mécanisme de gouvernance et de surveillance à l’échelle du ministère, assorti des documents requis et actualisé ».

2.6 Modèle logique

Le modèle logique (figure 2) est une représentation visuelle des activités de surveillance et d’habilitation exercées à l’égard des projets de TI complexes et à haut risque. Il montre la relation entre les activités et les extrants d’une part et les résultats à court terme, intermédiaires et à long terme d’autre part, y compris le résultat stratégique du Secrétariat.

Comme le montre le modèle logique, les activités entreprises cadrent dans deux grandes catégories :

1. Surveillance active,^{Voir la note en bas de page 15} soutien de nouveaux projets et de projets en cours, et reddition de comptes.

   La DESPTI/DDPI détermine la sphère à laquelle un projet appartient, mène des évaluations de diligence raisonnable, informe le dirigeant principal de l’information (DPI), participe à la gouvernance des projets (p. ex., les comités d’examen de niveau supérieur), fait des examens et commente les tableaux de bord, et fait approuver par le DPI les projets qui seront soumis au CT. Ces activités mettent principalement l’accent sur les éléments suivants :

   1. Concept du projet – le projet est sensé sur le plan opérationnel et technologique (la composante opérationnelle est partagée avec les secteurs de programmes du Secrétariat).
   2. Approche du projet – les rouages, l’environnement, le plan et la capacité du ministère d’exécuter le plan.
   3. Harmonisation opérationnelle – Des processus sont en place pour faire en sorte que le projet demeure aligné sur les objectifs opérationnels et que les projets axés sur la TI soient menés systématiquement, de manière à inclure une analyse de rentabilisation renfermant des spécifications sur les exigences, la planification ou le lancement du projet, l’exécution du projet et la clôture du projet.
   4. Mise en œuvre – Les plans et la capacité sont en place pour mettre en œuvre le système, y compris les interactions du projet avec les unités ministérielles de TI et les unités opérationnelles (c.-à-d. le parrain du projet ou le client).
2. Politique, habilitation et rayonnement.
   1. Habilitation stratégique^{Voir la note en bas de page 16}– Le processus par lequel la DESPTI/DDPI met à jour les guides et les outils pertinents, notamment le Guide de l’établissement de points de contrôle pour les projets axés sur la TI et le Guide des tableaux de bord de la direction pour les projets.
   2. Rapports aux ministres et au Parlement – La DESPTI/DDPI doit gérer les processus généraux de rédaction et d’approbation des documents de breffage pour l’ensemble du portefeuille, y compris le suivi des recommandations du BVG.
   3. Sensibilisation de la collectivité – Pour soutenir le renforcement de la capacité des ministères en vue de l’amélioration de la gestion des projets, la DESPTI/DDPI s’emploie à maintenir des comités comme le Comité sur la surveillance exécutive des projets (CSEP), le Comité consultatif sur la gestion des projets (CCGP) et le Conseil des dirigeants principaux de l’information (CDPI).

   Voici en quoi consistent les résultats à court terme attendus des extrants :

   • Sensibilisation accrue de la haute direction et des ministres aux risques et aux enjeux ainsi qu’aux pratiques exemplaires de gestion, de gouvernance et de surveillance des projets axés sur la TI.
   • Sensibilisation accrue à l’échelle du GC à l’égard des outils habilitants, des orientations stratégiques et des pratiques exemplaires de gestion, de gouvernance et de surveillance des projets axés sur la TI, et capacité accrue de les appliquer.

   Les résultats intermédiaires suivants devraient découler de la réalisation des résultats à court terme :

   • La haute direction et les ministres sont disposés à prendre des décisions et à apporter des correctifs à point nommé, en se fondant sur des éléments de preuve, et à élaborer des mesures efficaces pour atténuer les risques et réagir aux enjeux.
   • Une gestion, une gouvernance et une surveillance saines tout au long du cycle de vie des projets du GC contribuent à assurer l’optimisation des ressources.
   • Les outils habilitants, les orientations stratégiques et les pratiques exemplaires sont appliqués à l’échelle du GC pour la gestion, la gouvernance et la surveillance des projets axés sur la TI.

   La DESPTI/DDPI s’attend à ce que les résultats à long terme suivants découlent de la réalisation des résultats intermédiaires :

   • Une gouvernance et une surveillance solides et actives qui contribuent à la réalisation des objectifs opérationnels attendus des projets axés sur la TI.
   • Des stratégies de gestion, de gouvernance et de surveillance saines des projets axés sur la TI sont élaborées, mises en œuvre et maintenues à l’échelle du GC.

   Tableau 1 : Définitions^{Voir la note en bas de page 17}

   Terme	Descriptions
   Surveillance	Examen ponctuel de projets : la DESPTI/DDPI passe en revue les éléments liés à la gestion de projets et à la gouvernance des présentations au CT, et coordonne et regroupe les données provenant d’autres centres décisionnels de la DDPI, afin de s’assurer que les conditions nécessaires à la réussite du projet sont réunies au moment la présentation. Engagements permanents avec les secteurs des programmes et les ministères : la DESPTI/DDPI collabore avec les secteurs de programmes du Secrétariat afin d’aider les ministères dans le cadre de la préparation des présentations au CT. Cette sous-activité englobe l’intégration de nouveaux projets au processus de surveillance continue et au processus semestriel de breffage du CT de la DESPTI/DDPI. Surveillance permanente des projets : la DESPTI/DDPI cerne et surveille les projets de TI complexes à risque élevé.
   Orientation stratégique	Orientation que la DESPTI/DDPI offre concernant les pratiques exemplaires recommandées par le Secrétariat au chapitre de la gestion, de la gouvernance et de la surveillance des projets axés sur la TI.
   Habilitation	Mobilisation des ministères et adoption des instruments de politiques et des pratiques exemplaires du Secrétariat en matière de surveillance et de gouvernance. Élaboration et mise en œuvre d’activités de mobilisation de la collectivité et de stratégies de développement en vue de renforcer la capacité des cadres et des praticiens chargés de projets à l’échelle du GC.
   Résultats opérationnels	Le ou les résultats découlant d’un projet ayant permis de régler le problème opérationnel initial que l’on tentait de résoudre.

Figure 2 - Version textuelle

(Figure 2, page 16, Rapport Évaluation des activités de surveillance et d'habilitation de la DESPTI/DDPI à l'égard des projets à risque élevé, complexes, axés sur la TI)

Ce graphique illustre la chaîne de résultats du modèle logique des activités de surveillance et d'habilitation de la DESPTI/DDPI à l'égard des projets à risque élevé, complexes, axés sur la TI. Le modèle logique montre que les résultats à long terme de la DESPTI/DDPI sont « Une gouvernance et une surveillance solides et actives qui contribuent à la réalisation des objectifs opérationnels attendus des projets axés sur la TI » et « Des stratégies de gestion, de gouvernance et de surveillance saines des projets axés sur la TI sont élaborées, mises en Å"uvre et maintenues à l'échelle du Gouvernement du Canada ». Une remarque indique que les résultats opérationnels du modèle se rapportent à la réalisation des avantages.

Le résultat final se veut une contribution au résultat stratégique du Secrétariat du Conseil du Trésor du Canada, c'est-à-dire « Le gouvernement est bien géré et responsable, et les ressources sont affectées en vue de l'obtention de résultats ».

La DESPTI/DDPI a trois résultats intermédiaires qui visent à contribuer aux résultats finaux, nommément « La haute direction et les ministres sont disposés à prendre des décisions et à apporter des correctifs à point nommé, en se fondant sur des éléments de preuve, et à élaborer des mesures efficaces pour atténuer les risques et réagir aux enjeux », « Une gestion, une gouvernance et une surveillance saines tout au long du cycle de vie des projets du Gouvernement du Canada contribuent à assurer l'optimisation des ressources » et « Les outils habilitants, les orientations stratégiques et les pratiques exemplaires sont appliqués à l'échelle du Gouvernement du Canada pour la gestion, la gouvernance et la surveillance des projets axés sur la TI ».

Deux résultats à court terme visent à contribuer aux résultats intermédiaires. Le premier résultat à court terme est la sensibilisation accrue de la haute direction et des ministres aux risques et aux enjeux ainsi qu'aux pratiques exemplaires de gestion, de gouvernance et de surveillance des projets axés sur la TI. Le deuxième résultat à court terme est une sensibilisation accrue à l'échelle du Gouvernement du Canada à l'égard des outils habilitants, des orientations stratégiques et des pratiques exemplaires de gestion, de gouvernance et de surveillance des projets axés sur la TI, et une capacité accrue de les appliquer.

Deux groupes d'extrants visent à produire les résultats à court terme. Le premier groupe d'extrants englobe les documents d'observation de projets, les rétroactions concernant les tableaux de bord, les modèles de diligence raisonnable, les listes de vérification des TI, les recommandations, les séances d'information à la haute direction et aux ministres du Conseil du Trésor et les engagements permanents avec les secteurs de programmes et les ministères. Le deuxième groupe d'extrants comprend les conseils stratégiques, les outils habilitants, les orientations stratégiques et les pratiques exemplaires, les activités de sensibilisation et d'apprentissage et les initiatives de mobilisation de la collectivité.

Deux activités visent à produire les deux groupes d'extrants. La première activité, qui devrait mener au premier groupe d'extrants, comprend une surveillance active, le soutien des nouveaux projets et des projets en cours et la reddition de comptes. La deuxième activité, qui est censée aboutir au deuxième groupe d'extrants, englobe la politique, l'habilitation et la sensibilisation.

Remarque : Les résultats opérationnels du présent modèle se rapportent à la réalisation des avantages.

3.1 Portée

Cette évaluation portait sur l’éventail des activités menées depuis la mise sur pied de la DESPTI/DDPI en 2008 jusqu’en 2012. Elle visait à examiner les activités prévues dans le modèle logique de la DESPTI/DDPI en ce qui a trait à la surveillance et à l’habilitation des projets de TI complexes et à haut risque (sphère 3), ainsi que l’incidence de ces activités sur les autres projets de TI approuvés par le CT n’étant pas assujettis à la surveillance de la DESPTI/DDPI (projets de la sphère 2). Autrement dit, l’évaluation ne portait pas sur tous les projets axés sur la TI. Par conséquent, les conclusions tirées à la suite de l’évaluation ne s’appliquent qu’aux projets des sphères 2 ou 3.

Les évaluateurs ont reconnu que les secteurs de programmes du Secrétariat et les autres centres décisionnels, comme la Direction de la politique sur les investissements, la gestion de projets et les acquisitions du Bureau du contrôleur général, font partie intégrante de la fonction de surveillance dans son ensemble, et qu’ils jouent un rôle non seulement à l’égard des projets axés sur la TI au GC, mais aussi à l’égard de la gestion de projets à l’échelle du gouvernement fédéral. Toutefois, la portée de l’évaluation met particulièrement l’accent sur les activités de la DESPTI/DDPI et sur la réalisation de ses résultats attendus. L’exercice ne visait pas à évaluer le mandat de la DESPTI/DDPI.

3.2 Méthodologie

L’évaluation visait à évaluer la réalisation des résultats des activités de surveillance et d’habilitation de la DESPTI/DDPI à l’égard des projets de TI complexes et à haut risque, en se fondant sur le modèle logique présenté à la figure 2. Ce modèle logique a été mis au point par la DESPTI/DDPI, avec le concours du Bureau de la vérification interne et de l’évaluation, et il a été approuvé par le dirigeant principal de l’information. La DESPTI/DDPI a fourni aux évaluateurs une description narrative des composantes du modèle logique et des termes qui y sont utilisés. Le modèle logique et les principaux documents ont été utilisés pour décrire le rôle assumé par la DESPTI/DDPI au sein du Secrétariat.

L’évaluation comportait six éléments de preuve, dont les méthodes qualitatives et quantitatives, puisés de sources de données primaires et secondaires. Les sources de données suivantes ont été utilisées :

1. Examen de la documentation

   L’examen de la documentation comportait les éléments suivants :

   • un examen de la littérature et une comparaison d’autres administrations dans le cadre de laquelle ont été examinées les pratiques employées en Ontario, aux États-Unis, en Australie et au Royaume-Uni. En complément de l’examen de la littérature, des entrevues ont été menées auprès de représentants de l’Office of Management and Budget des États-Unis et du bureau du Directeur général de l’information pour la fonction publique du gouvernement de l’Ontario.
   • Un examen de 20 présentations au CT choisies au hasard parmi l’éventail original de 100 projets de la sphère 2.
   • Un examen de sept rapports de clôture de projets terminés. Étant donné que ces projets avaient pour la plupart débuté avant la présentation des Lignes directrices sur les mécanismes de gouvernance pour les projets opérationnels axés sur la TI au gouvernement fédéral^{Voir la note en bas de page 18} et le lancement du processus de surveillance de la DESPTI/DDPI, l’examen visait principalement à déterminer si les projets avaient été complétés selon l’échéancier et le budget prévus, et s’ils avaient atteint leurs objectifs.
2. Entrevues

   Au total, 58 personnes représentant 25 ministères ont été interviewées au téléphone ou en personne. Parmi les personnes interviewées se trouvaient :

   • Des sous-ministres adjoints (SMA) : au total, ce sont 19 SMA qui ont été interviewés; 13 de ces SMA étaient issus de ministères ayant des projets sous surveillance; 1 de ces SMA avait un projet terminé et 6 avaient des projets de la sphère 2.
   • Des directeurs généraux (DG) : au total, 14 DG issus de ministères ayant des projets assujettis à une surveillance ont été interviewés.
   • Des membres du Comité consultatif sur la gestion de projets (CCGP) : au total, 20 membres du CCGP ont été interviewés.
   • Des membres de la DESPTI/DDPI du Secrétariat : au total, 5 membres de la DESPTI/DDPI ont été interviewés en personne.

   Au cours de la période visée par l’évaluation (de 2008 à 2012), le programme de la DESPTI/DDPI évoluait. Parallèlement, la DESPTI/DDPI élaborait de nouveaux outils et de nouvelles exigences dans un contexte économique en transformation.

3. Études de cas

   Pour l’analyse des études de cas, 10 des 23 projets assujettis à une surveillance en 2012 ont été choisis, dont certains s’étant terminés en 2013. Ces projets représentaient environ 40 p. 100 des projets de TI complexes à risque élevé qui faisaient alors l’objet d’une surveillance par la DESPTI/DDPI.

   L’analyse des études de cas était basée sur la documentation disponible ainsi que sur des entrevues avec le personnel responsable des projets et le personnel de la DESPTI/DDPI. La DESPTI/DDPI avait fourni une liste des ministères qui, selon elle, répondaient le mieux aux critères de sélection. Les critères suivants ont été utilisés pour la sélection des études de cas :

   • importance relative;
   • gouvernance;
   • étendue de la couverture par le ministère;
   • genre de système de TI à implanter;
   • niveau de maturité;
   • niveau des interactions avec la DESPTI/DDPI.

3.3 Limites

Le roulement important du personnel de gestion des projets a représenté un défi, d’autant plus que la plupart des projets examinés dans le cadre de l’évaluation s’étalaient sur plusieurs années. L’absence de mémoire institutionnelle qui en découle a parfois entravé la capacité de retracer l’historique du projet, et donc d’évaluer l’impact que la DESPTI/DDPI a exercé sur les projets visés. Pour remédier à la situation, des efforts supplémentaires ont été déployés du côté des entrevues et de l’examen de la documentation.

Faute de renseignements sur la mesure du rendement, il n’y avait pas d’indicateurs directs de l’efficience et de l’économie. Pour atténuer en partie ce problème, un examen des documents de clôture des projets a été effectué et des entrevues supplémentaires ont été menées. Le grand nombre d’entrevues a également aidé à mettre en lumière des thèmes clairs et à dégager des tendances dans les données probantes.

En dépit de ces limites, la présente évaluation répond à toutes les normes stipulées dans les politiques. Dans l’ensemble, le nombre de sources de données utilisées a aidé les évaluateurs à trianguler les constatations et à assurer un degré de confiance élevé en ce qui concerne les conclusions et les recommandations.

3.4 Présentation des constatations

On a eu recours à l’échelle quantitative suivante tout au long du rapport pour indiquer le poids relatif des réponses des divers groupes de répondants.

• « La totalité/la quasi-totalité » – les constatations reflètent les vues et opinions de 90 p. 100 ou plus des personnes interviewées dans le groupe.
• « La grande majorité » – les constatations reflètent les vues et opinions d’au moins 75 p. 100 mais de moins de 90 p. 100 des personnes interviewées dans le groupe.
• « La majorité/la plupart » – les constatations reflètent les vues et opinions d’au moins 50 p. 100 mais de moins de 75 p. 100 des personnes interviewées dans le groupe.
• « Certains » – les constatations reflètent les vues et opinions d’au moins 25 p. 100 mais de moins de 50 p. 100 des personnes interviewées dans le groupe.
• « Quelques/quelques-uns » – les constatations reflètent les vues et opinions d’au moins deux répondants, mais de moins de 25 p. 100 des personnes interviewées dans le groupe.

4.1 Pertinence

4.2 Rendement

Pertinence

1. Le programme de surveillance et d’habilitation de la DESPTI/DDPI demeure pertinent. La DESPTI/DDPI doit continuer d’appuyer la capacité de gestion des projets axés sur la TI, l’élaboration d’approches de gestion fondées sur la collaboration et la conception de projets.
2. Le programme de surveillance et d’habilitation de la DESPTI/DDPI s’harmonise avec les rôles, les responsabilités et les priorités du gouvernement du Canada (GC). Il s’harmonise également avec le résultat stratégique du Secrétariat.

Rendement : efficacité, efficience et économie

1. Efficacité
   1. La DESPTI/DDPI a atteint ses résultats à court terme dans une large mesure.
      • Tous les éléments de preuve recueillis ont permis de constater une sensibilisation accrue de la haute direction et des ministres aux risques et aux enjeux, ainsi qu’aux pratiques exemplaires de gestion, de gouvernance et de surveillance des projets axés sur la TI.
      • Les ministères qui avaient des projets axés sur la TI assujettis à la surveillance de la DESPTI/DDPI étaient au courant des outils et des lignes directrices en place. Ils ont également utilisé et appliqué ces outils dans le cadre de projets qui n’étaient pas assujettis à la surveillance de la DESPTI/DDPI.
   2. La DESPTI/DDPI a accompli des progrès dans la réalisation de ses résultats intermédiaires.
      1. Les cadres supérieurs sont mieux en mesure de prendre des décisions et d’apporter des correctifs à point nommé en se fondant sur des éléments de preuve. Toutefois, en raison de son niveau de participation et de ses délais de réponse, la DESPTI/DDPI n’a pas toujours su répondre aux besoins des ministères.
      2. Les outils habilitants, orientations stratégiques et pratiques exemplaires de la DESPTI/DDPI sont appliqués dans une grande mesure dans le cadre de la gestion, de la gouvernance et de la surveillance des projets de TI complexes à risque élevé.
      3. Les examens indépendants sont utiles lorsqu’ils sont bien exécutés, mais on pourrait faire mieux quant :
         • au temps qu’il faut pour conclure une entente avec un examinateur;
         • à la qualité des examens indépendants.
   3. Les résultats à long terme ont été atteints dans une certaine mesure.
      1. La DESPTI/DDPI a contribué à la mise en place des conditions de réussite pour les projets de TI complexes à risque élevé. Toutefois, certains éléments de preuve portent à croire que la réalisation réelle des résultats opérationnels ne fait pas l’objet d’un suivi et d’une évaluation systématiques. Par conséquent, les évaluateurs n’ont pas été en mesure de cerner pleinement l’ampleur de la contribution à la réalisation des résultats opérationnels.
      2. Des stratégies de saine gestion et de gouvernance des projets axés sur la TI sont en place, dans une certaine mesure. Des progrès doivent encore être faits dans le domaine de la gestion du rendement.
      3. Bien qu’il semble y avoir un certain manque d’expertise en gestion de projets, en particulier dans le cas des projets horizontaux, il est difficile d’établir clairement l’ampleur de ces lacunes. Un manque d’expertise en gestion de projets est un facteur de risque susceptible de faire échouer un projet.
2. Efficience et économie

   Le programme de surveillance et d’habilitation de la DESPTI/DDPI semble fonctionner de manière efficiente et économique. Toutefois, le manque de données sur la mesure du rendement et les réductions importantes des ressources font en sorte qu’il est difficile de tirer une conclusion claire sur le sujet.

3. Modèle de surveillance

   Le Canada est considéré comme un leader en matière de pratiques exemplaires de gestion de projets, et son modèle de surveillance et d’habilitation à l’égard des projets de TI complexes à risque élevé est semblable à celui d’autres administrations, à l’exception des États-Unis. Néanmoins, il y aurait peut-être lieu de prendre en considération certains aspects d’autres modèles.

Recommandations

1. La DESPTI/DDPI devrait réévaluer son modèle de surveillance en fonction de ses ressources. Elle devrait ensuite élaborer un modèle logique et une stratégie de mesure du rendement révisés.
2. La DESPTI/DDPI, en consultation avec le Bureau du contrôleur général et les autres intervenants pertinents, devrait étudier les possibilités d’accroître la capacité des ministères et organismes fédéraux à surveiller et à évaluer les résultats opérationnels de leurs projets axés sur la TI. Cette recommandation ne relève pas uniquement du mandat de la DESPTI/DDPI.
3. La DESPTI/DDPI devrait aborder la question du programme d’examen indépendant avec les intervenants pertinents en vue de le renforcer.
4. La DESPTI/DDPI devrait envisager des moyens de simplifier les exigences en matière de production de rapports par les ministères en vue de réaliser des gains d’efficience et de réduire le fardeau redditionnel.

Réponse de la direction : D'accord

Réponse de la direction : D'accord

Réponse de la direction : D'accord

Réponse de la direction : D'accord