Audit du système en voie de développement relatif aux phases de lancement et de planification de l’Initiative de transformation des services de courriel

Executive Summary

What we examined

Through the Email Transformation Initiative (ETI), Shared Services Canada (SSC) was working with their 43 partner organizations, the selected outsourced third party vendor (the vendor), and other key stakeholders to establish a modern email platform that would meet the Government of Canada’s emerging requirements. The email platform was intended to be fully implemented by the end of the fiscal year 2014–2015.

This audit provides assurance to the President of SSC and the Departmental Audit and Evaluation Committee that SSC implemented the appropriate project management and business process controls related to the initiation and planning phases of the ETI. The contract with the vendor was signed, and the project moved to the execution phase on July 1, 2013. Given the timing of the audit, the scope of the audit also included aspects of the execution phase of the ETI up to January 31, 2014. Note that with the transition to the execution phase, responsibility for the project passed from the Senior Assistant Deputy Minister (SADM), Transformation, Service Strategy and Design to the SADM, Project and Client Relationships Branch.

Why it is important

As a new organization, SSC continued to evolve its internal structure and processes as well as its relationship with its partner organizations. At the same time, SSC was responsible for the consolidation and transformation of the federal government’s information technology (IT) infrastructure, with the ETI being a first of its kind IT transformation project across the federal government. An audit of the ETI’s initiation and planning phases not only assisted in the success of the ETI, but provided lessons learned that could be applied to the next wave of transformation projects.

What we found

Throughout the audit fieldwork, the audit team observed examples of how controls were properly designed and were being applied effectively by SSC. This resulted in several positive findings which are listed below:

• A governance structure for the ETI was developed, that considered the roles and responsibilities of SSC senior management, central agencies (e.g. Treasury Board of Canada Secretariat [TBS]), partner organizations and the vendor;
• There was a dedicated and experienced project manager and supporting team;
• An independent review of the ETI was completed in June 2013 as part of the TBS Chief Information Officer Branch Gate 3 approval process, in which the Project Team played an active role in responding to, and implementing its recommendations. SSC also conducted lessons learned sessions related to the initiation and planning phases of the ETI; and
• SSC extensively engaged partner organizations to provide information on the ETI, and developed, at a high level, an awareness and transition strategy.

The audit also identified opportunities where management practices and processes could be enhanced. The following are findings where opportunities for improvement were identified and should be addressed by the SSC management:

• Gaps existed in the governance structure related to how key decisions were made in an informed and timely manner;
• The baseline cost numbers used in the business case for the implementation of the ETI required additional validation and documentation;
• Although the service authorization date (i.e. the availability of the new email solution for the deployment within partner organizations) had not changed, key critical path items required to ensure a successful project implementation continued to be delayed;
• Partner organizations may not be ready for the ETI implementation;
• The resource model for the project included gaps related to the integrated planning and use of enterprise resources for the project;
• The risk management process had gaps related to the capture and validation of assumptions, as well as risk mitigation plans for identified risks; and
• The contract with the vendor had penalties associated with the vendor not meeting deadlines. These penalties were modest in comparison the overall contract and when compared to penalties in contracts of benchmarked successful projects of similar complexity. Furthermore, SSC had yet to develop a formal vendor management program.

 

---

Renseignements généraux

1. Le gouvernement du Canada a créé Services partagés Canada (SPC) le 4 août 2011 pour regrouper, simplifier et améliorer les services d’infrastructure de la technologie de l’information (TI). SPC cherche à atteindre l’excellence en ce qui concerne la prestation de services de courriel, de centres de données et de réseaux au sein du gouvernement fédéral. Le mandat de SPC consiste à tirer parti d’économies d’échelle du gouvernement fédéral de manière à ce que toutes les organisations aient accès à des services d’infrastructure de la TI fiables, efficaces et protégés, et ce, en recouvrement des coûts.
   
2. Il y avait 63 différents systèmes de courriel utilisés par plus de 300 000 employés du gouvernement dans l’ensemble des 43 organisations partenaires auxquelles SPC offrait des services. SPC travaillait avec ses 43 partenaires et intervenants clés à l’établissement d’une plateforme de courriel moderne pour répondre aux nouveaux besoins du gouvernement du Canada. L’Initiative de transformation des services de courriel (ITSC) visait à mettre en œuvre une solution qui :
   • serait plus rentable;
   • améliorerait l’efficience et la productivité dans les milieux de travail de la fonction publique;
   • mettrait fin au gaspillage et réduirait les chevauchements;
   • faciliterait les communications entre la population canadienne et le gouvernement;
   • rehausserait le profil de sécurité du courriel pour mieux faire face aux cybermenaces.
3. Il avait été prévu que la plateforme de courriel serait entièrement mise en œuvre avant la fin de l’exercice 2014-2015. Les économies qui avaient été prévues relativement au déploiement de l’ITSC devaient se refléter dans le budget de fonctionnement de SPC dès le mois d’avril 2015.
   
4. SPC a sélectionné un fournisseur indépendant externe principal pour mettre en œuvre le système de courriel. Les organisations partenaires devaient s’assurer individuellement que leurs applications bureautiques et opérationnelles pouvaient interfacer avec le nouveau système de courriel. SPC devait fournir des interfaces normalisées pour l’intégration des applications à diverses plateformes d’applications.
   
5. Le 31 janvier 2014, les plans du projet prévoyaient qu’un petit groupe d’utilisateurs de SPC commencerait à utiliser le nouveau système de courriel en janvier 2014. La mise en œuvre initiale (vague 0) devait avoir lieu en mars 2014, et concernait les boîtes aux lettres des employés de SPC installées sur l’infrastructure de Travaux publics et Services gouvernementaux Canada (environ 2 800 employés). Les 43 organisations partenaires étaient incluses dans l’une de ces trois vagues : la vague 1 qui devait commencer en mars 2014, la vague 2, avant le 30 septembre 2014 et la vague 3, avant le 31 mars 2015.
   
6. En tant que nouvelle organisation, SPC a continué de faire évoluer sa structure et ses processus internes ainsi que les relations avec ses organisations partenaires. Un certain nombre de problèmes continuait d’exister lorsqu’il s’agit d’assurer l’harmonisation entre SPC et les organisations partenaires, SPC ayant lancé des initiatives liées au regroupement et à la transformation de l’infrastructure de la TI du gouvernement fédéral. Cette situation est particulièrement probante pour un projet de transformation de TI comme l’ITSC – une première dans l’ensemble du gouvernement fédéral, puisque SPC devait obtenir la coopération des organisations partenaires pour assurer la réussite du déploiement du système.
   
7. Un autre défi pour l’ITSC concernait le cadre de gestion de projet et le processus lié aux points de contrôle de la Direction du dirigeant principal de l’information (DDPI) du Secrétariat du Conseil du Trésor (SCT). Bien que respecté par l’ITSC, le cadre de gestion élaboré par le SCT ne tenait pas compte des exigences liées aux projets ayant d’importantes composantes externes, comme l’ITSC.
   
8. En outre, le projet de l’ITSC devait assurer l’application appropriée du nouveau processus d’évaluation et d’autorisation de sécurité (EAS) du gouvernement fédéral. En novembre 2012, le Centre de la sécurité des télécommunications Canada a publié le document de conseil en matière de technologie 33 (Gestion des risques liés à la sécurité des TI : Une méthode axée sur le cycle de vie), qui remplaçait l’ancien guide d’orientation sur le processus de gestion des risques en matière de sécurité de la TI du gouvernement du Canada ainsi que le processus de certification et d’accréditation par l’EAS. L’objectif du processus d’EAS était d’assurer la sélection, la mise en œuvre, l’évaluation et l’approbation des contrôles de sécurité appropriés dans le cadre du cycle de développement des systèmes. L’utilisation du nouveau processus d’EAS a entraîné des problèmes supplémentaires, puisque l’ITSC représentait le premier projet de grande envergure dans lequel SPC a mis en application ces processus et exigences de sécurité, et qu’il devait, en plus, transmettre ces exigences au fournisseur.

Objectif et portée

9. L’objectif de l’audit du système en voie de développement des phases de lancement et de planification de l’ITSC visait à :
   
   • Fournir à la direction une évaluation indépendante du progrès, de la qualité et des atteintes des objectifs de l’ITSC comparativement aux jalons prévus au projet ou programme;
   • Fournir à la direction une évaluation des contrôles internes des processus opérationnels proposés à un point dans le cycle de développement où des améliorations pourraient facilement être apportées et où les processus pourraient être adaptés. Puisque l’audit portait sur les phases de lancement et de planification d’une solution conçue à l’externe fournie aux organisations partenaires, l’accent était mis sur la gestion de projet plutôt que sur les processus opérationnels proposés. Il convient de noter que les processus opérationnels clés dans ce contexte étaient liés à la gestion du fournisseur, qui a été évaluée dans le cadre de l’audit.
10. En raison du moment de l’audit, sa portée incluait également des aspects de la phase d’exécution de l’ITSC, et ce, jusqu’au 31 janvier 2014.

Méthodologie

11. La stratégie d’audit a été adaptée afin d’inclure l’utilisation de la méthode de gestion des risques du projet de Deloitte, nommée « analyse prévisionnelle de projet » (APP), qui est fondée sur un outil d’analyse quantitative (consulter l’Annexe B). L’APP est une méthode de gestion des risques basée sur un moteur d’analyse quantitative. En évaluant les renseignements détaillés sélectionnés sur un projet donné, celui-ci pourra faire l’objet d’une analyse comparative avec les projets réalisés contenus dans la base de données de l’APP ayant des caractéristiques de complexité similaires. La base de données de l’analyse prévisionnelle contenait des renseignements détaillés sur plus de 2 000 projets réalisés avec succès.
    
12. Tout d’abord, la complexité de l’ITSC a été déterminée en établissant le profil du projet selon un ensemble prédéfini de facteurs de complexité.
    
13. En fonction des normes de gestion de projet et des pratiques exemplaires, l’APP a permis de relever 172 facteurs de gestion de projet distincts qui ont été regroupés dans des critères d’audit spécifiques, ce qui constitue la base de ce rapport d’audit. En fonction du niveau de la complexité du projet évalué pour l’ITSC et de la comparaison avec les projets réalisés de complexité similaire, le moteur d’analyse prévisionnelle de projet a déterminé le niveau de contrôle et de performance prévu parmi chacun de ces 172 facteurs de gestion de projet distincts.
    
14. Des procédures d’audit ont été exécutées en vue de déterminer le niveau de contrôle réel lié au projet en ce qui concerne ces facteurs de gestion de projet (dans certains cas, les facteurs de gestion de projet ont été exclus s’ils n’étaient pas pertinents) et ont été comparées au niveau de contrôle attendu afin d’établir des conclusions relativement à l’efficacité réelle des contrôles de projet par rapport aux critères de l’audit.

Énoncé d’assurance

15. Des procédures suffisantes et appropriées ont été suivies et des éléments probants ont été recueillis pour assurer l’exactitude de la conclusion de l’audit. Les constatations et les conclusions de l’audit étaient fondées sur une comparaison des conditions qui existaient au moment de l’audit avec des critères établis qui avaient été convenus avec la direction. Cette mission a été réalisée conformément aux Normes relatives à la vérification interne au sein du gouvernement du Canada et aux Normes internationales pour la pratique professionnelle de l’audit interne. Une inspection des pratiques professionnelles n’a pas été effectuée.

Constatations et recommandations détaillées

Structure de gouvernance de la phase d’exécution de l’ITSC

16. Nous nous attendions à ce que la structure de gouvernance du projet de l’ITSC permette d’assurer une prise de décision éclairée dans des délais convenables de la part des personnes ou groupes appropriés afin de favoriser la réussite du projet lors des phases de lancement et de planification.
    
17. La structure de gouvernance de l’ITSC a été mise à jour en réponse à un examen indépendant effectué en juin 2013 dans le cadre du processus d’approbation du point de contrôle 3 du SCT. Nous avons constaté qu’une structure de gouvernance approfondie liée à la phase d’exécution du projet de l’ITSC avait été élaborée en tenant compte des rôles et responsabilités de la haute direction de SPC, des organismes centraux, des organisations partenaires et du fournisseur sélectionné pour l’ITSC (voir Annexe C). Par exemple, il y avait plusieurs niveaux de mécanismes de gouvernance communs entre SPC et le fournisseur sélectionné. Ceci comprenait un comité exécutif tenu d’assurer la surveillance ultime des projets, composé de la présidente de SPC, du chef de l’exploitation, de plusieurs sous-ministres adjoints principaux (SMAP), du président du fournisseur ainsi qu’un certain nombre de premiers-vice-présidents et vice-présidents.
    
18. Des directives ont également été transmises par l’entremise des mécanismes de gouvernance à l’échelle de l’organisation, comme le Comité de la haute direction sur la surveillance des projets et des acquisitions, qui a fourni une surveillance de l’organisation lors de tous les projets de SPC.
    
19. L’organisme décisionnel clé de ce projet était le Comité du SMAP sur l’ITSC, qui comprenait les SMAP de SPC et l’équipe de gestion principale du projet. La section sur le pouvoir décisionnel des termes de référence du Comité indiquait que celui-ci devait examiner les problèmes à l’échelle de l’organisation qui pourraient avoir une incidence sur l’ampleur, les coûts et les risques liés au projet de l’ITSC ainsi que fournir une orientation et la prise de décisions.
    
20. Bien que les termes de référence du Comité du SMAP sur l’ITSC précisaient que celui-ci devait tenir des réunions mensuelles, les éléments de preuve examinés provenant d’entrevues et de documentation relatives aux réunions montrent qu’on s’attendait à ce que les réunions aient lieu toutes les deux semaines; toutefois, les réunions avaient lieu moins fréquemment. Nous avons constaté que le Comité ne s’est réuni que quatre fois entre les mois d’octobre 2013 et janvier 2014 (soit le 2 octobre 2013, le 31 octobre 2013, le 18 novembre 2013 et le 24 janvier 2014).
    
21. Compte tenu de la période écoulée entre chaque réunion du Comité du SMAP sur l’ITSC, nous avons découvert qu’au moment des réunions, une surcharge d’informations devait être examinée en peu de temps (le Comité ne se réunissait que pendant une heure). Par exemple, nous avons remarqué que la présentation de la réunion tenue le 24 janvier 2014 comptait plus de 60 pages et que certaines des décisions qui devaient être prises par le Comité ont été reportées. De plus, les membres du Comité n’ont pas eu suffisamment de temps pour examiner les documents avant les réunions. Souvent, les réunions servaient plutôt à présenter des informations. Nous avons constaté que tous les points à l’ordre du jour de la réunion du 31 octobre 2013 ne concernaient que la présentation d’information.
    
22. Au 31 janvier 2014, il n’y avait pas de comité de directeurs généraux (DG) dédié à l’ITSC relevant du Comité du SMAP sur l’ITSC pour participer activement à la structure de gouvernance de l’ITSC.
    
23. Dans la gouvernance de l’équipe du projet, un Comité directeur de la mise en œuvre de l’ITSC avait un lien hiérarchique avec le directeur de projet. Parmi les membres du Comité, on comptait des directeurs principaux de Transformation, stratégie de services et conception (TSSC), de la Projects et relations avec les clients (PRC) et de la Direction générale des opérations responsables, entre autres, de la sécurité, de la gestion des services et des courriels. Le Comité devait avoir la responsabilité d’examiner les exigences en matière de services fournis par SPC, et de fournir une orientation et de traiter des risques et des problèmes. Au fil des entrevues, les membres du Comité ont indiqué que les réunions servaient plutôt à fournir des mises à jour et de forum pour informer les membres et qu’il n’y avait pas de temps prévu pour la rétroaction.
    
24. Compte tenu de la gouvernance actuelle du projet, il existait un risque accru que les décisions liées à l’ITSC ne soient pas prises de façon éclairée et opportune, ce qui aurait une incidence sur le déroulement ou la qualité de la mise en œuvre globale de l’ITSC. Par conséquent, les intervenants clés de SPC, comme le personnel au niveau de DG soutenant le système de courriel actuel et qui soutiendra la nouvelle solution de l’ITSC à l’avenir, pourraient ne pas avoir d’aperçu du projet compte tenu de leur rôle limité dans la gouvernance active du projet.

Coûts de base

25. L’analyse de rentabilisation de l’ITSC et la charte de projet ont indiqué que des économies annuelles estimatives de 49,9 M$ (en plus des économies annuelles de 6 M$ liées au Plan d’action économique) découleraient de l’ITSC une fois la solution entièrement mise en œuvre en mars 2015.
    
26. Les coûts de base et les économies devant être réalisées grâce à la mise en œuvre de l’ITSC ont été regroupés avec les données de 2009-2010 fournies par le SCT avant la création de SPC. De nombreuses contraintes et hypothèses sont liées à ces informations en ce qui concerne la définition et la comparaison des coûts de base pour le service de courriel entre les ministères. Bien qu’il y ait eu une sensibilisation aux calculs et aux hypothèses utilisés dans certains des calculs, une piste d’audit officielle comprenant les documents sur les hypothèses et les contraintes n’existait pas.
    
27. L’examen indépendant effectué en juin 2013 dans le cadre du processus d’approbation du point de contrôle 3 laissait entendre qu’en ce qui a trait à la gestion des avantages « une fois que les coûts globaux de mise en œuvre de l’entreprise et les coûts de fonctionnement seront bien compris, SPC pourra envisager de revoir l’analyse de rentabilisation initiale (en tenant compte de l’analyse comparative des comptes du rendement actuel) afin de valider l’analyse de rentabilisation et de fournir une base pour les décisions en cours relatives au projet ». SPC était partiellement d’accord avec cette recommandation, même si un plan permettant de revoir et de documenter plus officiellement les coûts de base n’était pas indiqué clairement dans celle-ci, ce qui était nécessaire afin de mesurer les économies prévues.
    
28. De futurs audits potentiels sur l’ITSC pourraient remettre en question les économies réelles réalisées découlant de la solution de l’ITSC si les hypothèses et calculs utilisés pour les coûts de base ne sont pas saisis alors que les connaissances demeurent au sein de SPC.

Adhésion au projet

29. Nous nous attendions à ce que la direction assure un niveau approprié de propriété organisationnelle et qu’elle fournisse une orientation pour le projet, notamment en ce qui a trait à la clarté des objectifs et à l’harmonisation du projet à la stratégie organisationnelle.
    
30. Le projet de l’ITSC était une initiative de transformation clé pour SPC. Nous avons constaté que les promoteurs de projet de l’ITSC ont été identifiés comme le SMAP, TSSC et le SMAP PRC. L’analyse de rentabilisation et la charte de projet soulignent les attentes liées à la réalisation et aux résultats relativement à l’ITSC. La haute direction a été intégrée à la structure de gouvernance et à la surveillance du projet pour garantir le maintien de l’orientation du projet. La réussite du projet pourrait ultimement être mesurée en fonction du succès de la mise en œuvre de la solution de l’ITSC.

Éléments du chemin critique

31. Nous nous attendions à ce que des contrôles appropriés soient mis en place afin de veiller à ce que le projet puisse être réalisé dans le respect des objectifs, des délais et des budgets grâce à l’élaboration de plans de projet et à l’établissement de calendriers durant les phases de lancement et de planification du projet. Il fallait notamment s’assurer de la mise en place de mécanismes appropriés afin qu’une diligence raisonnable soit exercée avant le déploiement de la nouvelle solution de courriel au sein des organisations partenaires.
    
32. L’ITSC était mise en œuvre selon le cadre de gouvernance de projet de SPC, et les exigences fondamentales étaient bien documentées et décrites dans la charte du projet et dans le contrat avec le fournisseur. L’équipe de projet a mentionné que l’ensemble des exigences liées au projet n’avaient pas changé, bien qu’il existe un écart entre les attentes du fournisseur et celles de SPC concernant les exigences en matière de sécurité et les plans de déploiement.
    
33. Les problèmes liés au projet étaient gérés, mais étaient résolus tardivement, ou n’avaient pas encore été résolus. Les problèmes liés au respect des échéanciers et à la qualité des livrables du fournisseur avaient provoqué un retard initial de douze semaines, auquel sont venus s’ajouter des retards supplémentaires concernant l’approbation liée à l’EAS. SPC et le fournisseur ont continué de collaborer pour tenter de trouver une solution au problème de l’acceptation des livrables. Le contrat avec le fournisseur stipulait que ce dernier ne serait pas payé tant que des jalons précis n’étaient pas atteints, et qu’advenant le cas où ceux-ci ne seraient pas atteints, on imposerait des crédits de paiement. Durant le présent audit, aucun paiement n’a été versé au fournisseur et SPC n’a reçu aucun crédit.
    
34. En date du 31 janvier 2014, des documents importants n’étaient pas complétés, comme la matrice de traçabilité des exigences fonctionnelles, qui relie les exigences fonctionnelles décrites pour l’ITSC aux normes de conception de la phase de construction et ultimement aux scénarios d’essai utilisés pour s’assurer que la conception est conforme aux exigences initiales. La matrice de traçabilité des exigences de sécurité, un document essentiel pour l’ensemble du processus d’EAS et l’approbation de celui-ci, n’était également pas achevée. Dans l’ensemble, en date du 31 janvier 2014, l’équipe de projet a souligné qu’une quantité considérable d’examens et d’efforts liés à l’achèvement et à l’approbation de la documentation portant sur les EAS requises pour l’ITSC restait en plan.
    
35. Bien que la date d’autorisation des services soit toujours le 31 mars 2014, les dates liées aux principaux éléments du chemin critique requis avant l’autorisation des services continuaient à n’être pas respectées. L’approbation du point de contrôle 3 de l’EAS était prévue pour le 31 mars 2014, soit au même moment que l’autorisation des services. Cependant, les essais d’acceptation de SPC devaient être achevés le 28 avril 2014. En outre, la vague 0 devait être achevée le 25 avril 2014 – avant les essais d’acceptation définitifs.
    
36. Le plan de gestion du programme, qui devait être livré par le fournisseur dans les 60 jours suivant l’attribution du contrat (25 juin 2013), n’était pas encore achevé. Ce plan avait pour but de donner un aperçu de la gestion du programme de transformation des services de courriel. Le plan de transition lié aux activités détaillées requises pour permettre aux organisations partenaires de se préparer et de mettre en application le nouveau service de courriel devait au départ être achevé le 26 novembre 2013, et en date du 31 janvier 2014, on voyait dans les rapports de situation la note « à déterminer ».
    
37. L’ITSC était le premier projet de transformation du genre pour le gouvernement fédéral et exigeait également un important recours à l’impartition. Ceci dit, SPC a appris des leçons qui ont eu une incidence sur les échéanciers du projet, notamment :
    • des problèmes de connectivité avec les centres de données du fournisseur;
    • la mise en œuvre d’exigences de sécurité;
    • la modification de la façon dont les courriels seront transférés;
    • le tri et la régularisation de la documentation plus lents que prévu;
    • des échéanciers de projet ambitieux.
38. Compte tenu des échéanciers actuels et de la situation quant aux livrables, il y avait un risque que les échéanciers serrés provoquent une prise de raccourcis ou que des erreurs soient commises, spécialement si aucun processus officiel de diligence raisonnable n’était en place pour s’assurer que l’élaboration et l’acceptation de la documentation requise concernant le projet soient intégrées aux critères liés à la décision d’aller de l’avant ou non et l’approbation du processus d’autorisation des services.

op2Organisations partenaires

39. L’examen indépendant qui a été achevé en juin 2013, dans le cadre du processus d’approbation du point de contrôle 3, révélait que SPC devrait documenter le plan de mobilisation des intervenants (y compris la gouvernance en matière de mobilisation) et accélérer la mobilisation d’intervenants clés au sein des organisations partenaires. L’examen a révélé que les secteurs clés de la mobilisation devraient comprendre les exigences relatives à la mise en œuvre et aux ressources opérationnelles, ainsi que la gestion des changements organisationnels. SPC a appuyé la recommandation de l’équipe chargée de l’examen indépendant et a insisté pour que les organisations partenaires fournissent des renseignements sur l’ITSC.
    
40. On a constaté que même si SPC pouvait mobiliser les organisations partenaires, il revenait ultimement à ces dernières de s’assurer qu’elles étaient prêtes pour la migration vers la nouvelle solution de service de courriel. On a demandé à SPC de comprendre le niveau de préparation et les problèmes qui pourraient survenir concernant l’état de préparation, devant être résolus. Les organisations partenaires n’ont pas transmis à SPC tous les renseignements qui auraient permis au Ministère de comprendre l’état de préparation des partenaires. Des sondages ont été menés par SPC auprès des organisations partenaires durant la phase de lancement du projet afin d’avoir un aperçu préliminaire de l’état de préparation de chaque organisation pour établir le placement au sein des vagues, mais aucun sondage plus officiel ni aucune activité de collecte d’information concernant l’état de préparation n’ont été menés par la suite. Par exemple, les principaux indicateurs de rendement liés à l’état de préparation des organisations partenaires avaient été élaborés, mais en date du 31 janvier 2014, ceux-ci n’étaient toujours pas terminés et aucun rapport à leur sujet n’avait été soumis aux organisations partenaires. Il n’existait aucun processus officiel visant à élaborer des repères décrivant l’état de préparation auquel on s’attendait de la part des organisations partenaires à différents stades du cycle de vie de l’ITSC. Un tel processus aurait permis de savoir quelles organisations partenaires prenaient du retard. SPC aurait ainsi été en mesure de fournir de l’aide ou des conseils à ces organisations partenaires.
    
41. SPC recueillait des résumés hebdomadaires de la situation de chaque organisation partenaire. Le résumé de la situation de la semaine du 20 décembre 2013 révélait que plusieurs problèmes d’organisations partenaires de la vague 1 ou de demandes de leur part restaient en suspens. Plusieurs organisations partenaires ont exprimé leur inquiétude concernant les échéanciers et la disponibilité des ressources et des documents requis pour leur permettre de mettre la solution en application.
    
42. Il se peut que les organisations partenaires n’aient pas suffisamment de renseignements précis pour comprendre le niveau d’effort et les échéanciers qui leur permettraient d’être prêts au déploiement des services de courriel. Il n’existait aucun plan de travail intégré pour les organisations partenaires, et l’on ne possédait aucune preuve que ces dernières avaient complètement intégré l’ITSC à leur planification. L’élaboration de matériel de communication et de gestion du changement s’est faite tardivement dans le projet en raison de problèmes relatifs au respect des échéanciers et à la qualité du travail du fournisseur, et de modifications apportées à la mobilisation des utilisateurs. Par exemple, en raison de problèmes liés à la méthode de migration des courriels évaluée par le fournisseur, la décision de modifier la méthode de migration des données par l’équipe du projet n’avait été prise que tout récemment. En date du 31 janvier 2014, l’ébauche des documents portant sur la communication et la gestion du changement était seulement au stade de l’approbation. La documentation portant sur la transition de la vague 1 décrivant les activités que doivent exécuter les partenaires pour mettre en œuvre l’ITSC faisait toujours l’objet de révisions par le fournisseur.
    
43. En tant que ministère, SPC déployait l’ITSC durant la vague 0, et l’on s’attendait à ce que les leçons apprises par SPC concernant le déploiement de l’ITSC soient partagées avec les autres organisations partenaires. Cependant, peu de temps s’est écoulé entre les vagues 0 et 1, en ce qui a trait aux activités de préparation au déploiement requises des organisations partenaires.
    
44. Il se peut que les organisations partenaires ne soient pas prêtes à entreprendre le déploiement de la solution, ce qui entraîne des délais dans l’ensemble de la mise en œuvre de celle-ci. La réputation de SPC est en jeu et l’on risque de ne pas réaliser les économies prévues; celles-ci devaient provenir du budget de fonctionnement de SPC à compter d’avril 2015 selon les attentes antérieures.

Le modèle de ressources

45. Nous nous attendions à ce qu’un cadre soit en place pour faire en sorte que les unités opérationnelles appropriées fournissent un soutien adéquat au projet en vue de contribuer à l’efficacité de sa réalisation.
    
46. Nous avons constaté que bien que la haute direction approuve l’approche globale et le résultat du projet, la mise en œuvre d’un modèle de matrice représentait un défi. La coordination et l’allocation des ressources entre les unités opérationnelles et l’équipe de projet ont été difficiles en raison de leurs points de vue divergents concernant le niveau d’effort et la synchronisation des tâches requises pour réaliser le projet.
    
47. Nous nous attendions aussi à ce que les rôles et les responsabilités pour le projet de l’ITSC soient clairement établis au sein de SPC et qu’ils soient appuyés par un modèle d’affectation des ressources défini comportant un plan intégré de mobilisation et d’utilisation des ressources dans l’ensemble de l’entreprise.
    
48. Nous avons constaté qu’un déficit en ressources posait un problème depuis le début du projet. L’équipe de projet avait prévu un déficit potentiel et s’efforçait de le combler avec des travailleurs contractuels et des ressources de la Direction générale des opérations.
    
49. L’ITSC était mise en œuvre conformément au cadre de gouvernance des projets de SPC, qui, de l’avis des gestionnaires de projet de l’ITSC, causait des problèmes en raison de sa structure actuelle. TSSC a pris les commandes des phases du lancement et de la planification. PRC prendra les commandes des phases de l’exécution et du déploiement (c.-à-d. les phases 4 et 5). Avec le temps, le projet deviendra un programme dirigé par la Direction générale des opérations.
    
50. L’examen indépendant qui a eu lieu en juin 2013, dans le cadre du processus d’approbation du point de contrôle 3 par la DDPI du SCT, a révélé qu’en raison de l’unicité de ce projet, SPC devrait songer à embaucher des ressources additionnelles tout au long du cycle de vie de celui-ci. SPC était partiellement d’accord avec la recommandation et a souligné que du personnel de niveau supérieur de TSSC continuerait de siéger aux comités de gouvernance pour le reste du projet. Cependant, SPC ne mentionnait pas dans sa réponse que des intervenants clés d’autres secteurs de l’organisation, comme la Direction générale des opérations, exerçaient un rôle officiel dès les premières phases du projet.
    
51. Aucun mécanisme n’était en place pour s’assurer qu’on adoptait une approche intégrée dans l’ensemble de l’organisation afin d’assurer l’utilisation efficace des ressources affectées au projet à SPC, tout au long du cycle de vie du projet, y compris les ressources appuyant la solution de services de courriel actuelle. De plus, en date du 31 janvier 2014, un plan de projet intégré comprenant des ressources de l’organisation n’avait pas encore été terminé et approuvé. Par conséquent, les intervenants des unités fonctionnelles étaient mal renseignés sur les éléments du chemin critique du projet ou sur le rôle qu’ils devaient jouer pour s’assurer que ceux-ci étaient atteints.

Le processus de gestion des risques

52. Nous nous attendions à ce qu’un cadre soit en place en vue d’assurer l’identification, la documentation et le signalement appropriés des risques associés au projet et que des plans d’atténuation aient été élaborés. Il fallait notamment effectuer une validation robuste des hypothèses liées au projet et, le cas échéant, documenter ces hypothèses en tant que risques associés au projet et y attribuer les mesures d’atténuation appropriées.
    
53. Un processus de gestion des risques documenté et un registre des risques étaient en place pour assurer le suivi de ceux-ci, dans le cadre de l’ITSC. Un examen du registre des risques pour la phase d’exécution du projet a révélé qu’un grand nombre de risques étaient toujours présents et que des mesures d’atténuation n’avaient pas été mises en œuvre. Par exemple, le risque lié aux répercussions de la mise en œuvre en raison des priorités d’autres organisations partenaires de SPC et d’autres projets du Ministère qui ont eu des répercussions sur les organisations partenaires comprenait des mesures d’atténuation découlant d’une mobilisation précoce des partenaires durant la phase d’exécution du projet. De plus, le résumé de la situation des organisations partenaires pour la semaine du 20 décembre 2013 faisait état de plusieurs problèmes ou demandes des organisations partenaires de la vague 1 non résolus qui auraient pu entraîner d’autres retards. Ces problèmes n’avaient pas été consignés dans le registre des risques.
    
54. Le registre des risques liés au projet renfermait également un certain nombre de risques clos. L’équipe de projet a souligné qu’à mesure que les risques étaient repérés, ils étaient clos dans le registre des risques et considérés désormais comme des problèmes. Les problèmes étaient ensuite documentés et signalés par l’entremise de la gouvernance du projet. Cependant, nous n’avons pas trouvé, dans les activités de gestion des risques du projet, des plans complets pour régler ces problèmes et réduire davantage le facteur de risque permanent pour le projet. Voici des exemples de ces risques clos :
    • Achèvement de la norme sur la gestion des courriels de la DDPI du SCT. Ce risque a été clos en août 2013; cependant, on n’avait toujours pas terminé la rédaction de la norme le 31 janvier 2014.
    • Il se peut que le fournisseur ne soit pas prêt à livrer le produit. Ce risque a été clos dès qu’on l’a décelé (c. à d. dès que le fournisseur a demandé un délai de 12 semaines); cependant, la gestion continue du fournisseur (respect des échéanciers et qualité des livrables) est demeurée une source permanente de risque.
55. Seulement un petit nombre d’hypothèses de niveau élevé a été documenté dans la charte du projet. Un certain nombre d’hypothèses n’ont pas été documentées en détail ou n’ont pas été validées de façon stricte dans le cadre du projet. Par conséquent, on n’y avait pas assorti de plans de gestion des risques, ce qui a causé des problèmes au niveau du projet, notamment :
    • Les hypothèses voulant que l’on puise à même les ressources des rôles opérationnels actuels pour travailler sur le projet ne se sont pas concrétisées, car les attentes liées à la capacité de mobiliser des ressources pour travailler sur le projet étaient optimistes;
    • Le temps requis pour mener des activités d’EAS détaillées et suffisantes a été sous-estimé au tout début du projet;
    • Les hypothèses liées à la capacité du fournisseur de fournir des services de gestion du changement et de communication sans une participation importante de SPC ne se sont pas concrétisées;
    • La capacité d’effectuer une migration des données dans le cadre du projet, sans que l’on doive recourir à une stratégie de migration d’un serveur à un autre intensive au point de vue des projets et des ressources.
56. Les risques liés aux hypothèses énoncées ci-dessus n’ont pas été entièrement documentés dans le registre des risques.
    
57. Si les hypothèses ne sont pas validées et documentées de façon stricte, y compris le repérage et le suivi des risques potentiels liés à ces hypothèses et les mesures d’atténuation liées à ces risques, cela pourrait entraîner d’autres problèmes au niveau du projet.

Relations de SPC avec le fournisseur

58. Nous nous attendions à ce que les relations avec le fournisseur pour une transaction externe aussi importante prennent la forme d’un partenariat, avec le partage des avantages et des risques que cela comporte, et à ce qu’un plan de gestion des fournisseurs soit élaboré afin d’assurer la gestion efficace du fournisseur après le déploiement.
    
59. Le contrat entre SPC et le fournisseur était complexe. Il soulignait les responsabilités du fournisseur quant à l’élaboration et au déploiement de la solution de l’ITSC. Compte tenu de sa complexité, l’équipe de projet a souligné qu’il existait un écart entre les attentes du fournisseur et celles de SPC concernant les exigences de sécurité et les plans de déploiement, et SPC et le fournisseur ont continué de collaborer pour trouver une solution au problème lié à l’acceptation des livrables. Cet écart au niveau des attentes a entraîné des retards dans l’exécution du projet, en ce qui a trait à l’échéancier et à la qualité des livrables du fournisseur.
    
60. L’équipe de projet a souligné que les modalités du contrat peuvent avoir causé certains des problèmes mentionnés ci-dessus. Selon les modalités du contrat, le fournisseur ne devait pas être payé tant qu’il n’avait pas complété la Phase 1 de l’état de préparation, puis de nouveau lorsque la Phase 2 de l’état de préparation était complétée. Des pénalités ont été imposées au fournisseur pour ne pas avoir respecté les échéanciers; cependant, celles-ci étaient modestes par rapport à la valeur globale du contrat et comparativement aux pénalités prévues dans les contrats liés à des projets concurrentiels réussis dont la complexité était semblable.
    
61. SPC n’avait pas encore établi qui serait responsable de la gestion centrale de la relation SPC-fournisseur au sein du Ministère. Plusieurs éléments de la fonction de gestion du fournisseur ont été élaborés, mais aucun groupe central n’était responsable de la supervision générale des divers aspects de la relation, qui était gérée par divers secteurs de l’organisation. L’équipe de projet s’efforçait d’établir la façon dont le programme de gestion du fournisseur serait exécuté aussi bien durant la transition qu’après celle-ci, du projet à la phase du programme. Sans cette structure, on courait le risque que les relations avec le fournisseur ne soient pas gérées efficacement. Cette question était importante non seulement pour l’ITSC, mais aussi pour l’ensemble du Ministère, compte tenu des nombreux autres projets de transformation prévus qui exigeront la gestion de fournisseurs externes.

Conclusion

62. De façon générale, l’audit a révélé que les pratiques de contrôle liées aux phases de lancement et de planification du projet ont été mises en œuvre et fonctionnent comme prévu et que les sept premiers mois de la phase d’exécution de l’ITSC se sont bien déroulés. On a relevé des possibilités d’amélioration de la gouvernance du projet, de la gestion des ressources, de la gestion des risques, de l’état de préparation des organisations partenaires et de la gestion du fournisseur pour renforcer la gestion du projet et les contrôles du processus opérationnel.
    
63. L’identification de ces possibilités d’amélioration fournit des leçons valables pour de futures initiatives de transformation. Cependant, si l’on ne prend pas les mesures nécessaires, cela pourrait causer des retards supplémentaires dans les dates de déploiement, provoquer des lacunes en ce qui a trait à la transformation des services de courriel ou aux contrôles connexes qui devront être effectués après le déploiement. Cela pourrait nuire à la réputation de SPC en tant que fournisseur de services d’infrastructure de la TI auprès du gouvernement fédéral, et empêcher la réalisation des avantages découlant du déploiement de l’ITSC, y compris les économies de coûts déjà comptabilisées.

Recommandation 1

Le sous-ministre adjoint (SMA), Réseaux et utilisateurs finaux et utilisateurs finaux doit s’assurer que le Comité du sous-ministre adjoint principal sur l’Initiative de transformation des services de courriel (SMAP sur l’ITSC) se réunisse au moins une fois par mois durant la phase cruciale du projet avant le déploiement de la solution, afin de discuter des décisions clés liées à l’ampleur, aux coûts ou aux risques. Un comité de directeurs généraux (DG) devrait analyser et éventuellement approuver certaines des décisions relatives au projet.

Annexe A – Critères d’audit

Les normes de gestion de projet de base (Guide PMBOK, PRINCE2 et guide PO10 de COBIT 4.1) et les pratiques exemplaires associées à plus de 2 000 facteurs de gestion de projet individuels, qui ont été classées par critère d’audit (ci-dessous), ont servi de critères et de sous-critères pour mener cet audit. Ces critères et ces sous-critères ont été approuvés par la direction de SPC au début des travaux d’audit.

Critère 1 – Gouvernance

Nous nous attendions à ce que la structure de gouvernance du projet de l’ITSC permette d’assurer une prise de décision éclairée, dans des délais convenables de la part des personnes ou groupes appropriés, afin de favoriser la réussite du projet lors des phases de lancement et de planification.

• 1.1 Approche en matière de gouvernance – Des approches appropriées sont utilisées pour assurer la gouvernance du projet, ce qui comprend notamment une gouvernance efficace continue et la participation du comité directeur.
• 1.2 Modèle de responsabilité administrative – Des approches efficaces sont en place pour répartir et gérer la responsabilité administrative pour ce projet, notamment en ce qui a trait à la responsabilité administrative du gestionnaire de projet.
• 1.3 Gestion des problèmes – La gestion des problèmes, notamment en ce qui a trait au suivi et à la résolution, est contrôlée de manière efficace.
• 1.4 Gestion des rôles – Des rôles clairs sont établis pour le projet et sont efficaces par rapport à la nature du projet.
• 1.5 Gestion des avantages – Les avantages du projet sont clairement documentés et une approche efficace est en place pour effectuer un suivi de ces avantages.
• 1.6 Budgets – Le budget du projet est établi, géré et contrôlé correctement.

Critère 2 – Propriété

Nous nous attendions à ce que la direction assure un niveau approprié de propriété organisationnelle et qu’elle fournisse une orientation pour le projet, notamment en ce qui a trait à la clarté des objectifs et à l’harmonisation du projet avec la stratégie organisationnelle.

• 2.1 Soutien de la part de la haute direction – La gestion garantit une surveillance suffisante, est mobilisée d’une façon appropriée et concorde avec la réalisation de projet.
• 2.2 Orientation – Des mécanismes efficaces sont en place en vue d’établir et de maintenir une orientation pour le projet, notamment en ce qui a trait à la clarté des objectifs et à l’harmonisation avec la stratégie organisationnelle.

Critère 3 – Gestion de la réalisation

Nous nous attendions à ce que des contrôles appropriés soient mis en place afin de veiller à ce que le projet puisse être réalisé dans le respect des objectifs, des délais et des budgets grâce à l’élaboration de plans de projet et à l’établissement de calendriers durant les phases de lancement et de planification du projet. Il fallait notamment s’assurer de la mise en place de mécanismes appropriés afin qu’une diligence raisonnable soit exercée avant le déploiement de la nouvelle solution de courriel au sein des organisations partenaires.

• 3.1. Réalisation – Des mécanismes efficaces sont en place afin d’assurer la réalisation du projet et l’obtention de résultats appropriés.
• 3.2. Modèle d’acceptation – Une approche efficace est en place en vue d’obtenir l’approbation des principaux intervenants.
• 3.3. Conception – Des exigences sont établies et gérées de manière efficace afin d’appuyer la conception en bonne et due forme de la solution finale.
• 3.4. Planification – Le projet est planifié correctement à un niveau stratégique afin que la progression générale puisse être suivie adéquatement et que la trajectoire puisse être corrigée au besoin.
• 3.5. Établissement d’un calendrier – Le calendrier est géré de manière efficace; les tâches requises pour atteindre les objectifs du projet sont clairement établies, de même que la séquence dans laquelle elles doivent être accomplies et avec quelles ressources.
• 3.6. Gestion de l’incertitude – Une approche efficace est en place pour gérer l’incertitude et l’ambiguïté.
• 3.7. Gestion des intervenants – Les intervenants sont gérés de manière efficace, y compris les intervenants ayant une incidence sur les activités du projet tout en étant touchés par ces activités.

Critère 4 – Unité opérationnelle

Dans ce contexte, le terme « unité opérationnelle » signifie les secteurs opérationnels de SPC qui contribuent au projet. Nous nous attendions à ce qu’un cadre soit en place pour faire en sorte que les unités opérationnelles appropriées fournissent un soutien adéquat au projet en vue de contribuer à l’efficacité de sa réalisation.

• 4.1. Soutien des unités opérationnelles – Les unités opérationnelles appropriées fournissent un soutien adéquat en vue de contribuer à la réussite du projet.

Critère 5 – Gestion des ressources

Nous nous attendions à ce que les rôles et les responsabilités pour le projet de l’ITSC soient clairement établis au sein de SPC et qu’ils soient appuyés par un modèle d’affectation des ressources défini, comportant un plan intégré de mobilisation et d’utilisation des ressources dans l’ensemble de l’entreprise.

• 5.1. Sélection des ressources – Les ressources du projet sont planifiées et sélectionnées de manière appropriée.
• 5.2. Affectation des ressources – Les ressources du projet sont affectées au projet de façon appropriée, particulièrement celles qui proviennent des unités opérationnelles.

Critère 6 – Gestion des risques

Nous nous attendions à ce qu’un cadre soit en place en vue d’assurer l’identification, la documentation et le signalement appropriés des risques associés au projet et que des plans d’atténuation aient été élaborés. Il fallait notamment effectuer une validation robuste des hypothèses liées au projet et, le cas échéant, documenter ces hypothèses en tant que risques associés au projet et y attribuer les mesures d’atténuation appropriées.

• 6.1. Approche en matière de gestion des risques – L’approche adoptée pour gérer les risques est appropriée compte tenu de la nature du projet.
• 6.2. Gestion des risques – Les risques, notamment les risques politiques, les risques pour les intervenants et les risques pour la réputation, sont cernés et gérés de manière efficace.

Critère 7 – Approche en matière de passation de marchés

Nous nous attendions à ce que les relations avec le fournisseur pour une transaction externe aussi importante prennent la forme d’un partenariat, avec le partage des avantages et des risques que cela comporte, et à ce qu’un plan de gestion des fournisseurs soit élaboré afin d’assurer la gestion efficace du fournisseur après le déploiement.

• 7.1. Approche en matière de passation de marchés – Les approches adoptées pour la sélection des fournisseurs externes et la passation de marchés avec les fournisseurs sélectionnés sont appropriées et contribuent à réduire les risques et à assurer une harmonisation avec les priorités de SPC.
• 7.2. Gestion des fournisseurs – La relation avec le fournisseur est gérée de manière appropriée en vue d’appuyer la réalisation efficace du projet.

Annexe B – Sommaire des résultats de l’outil d’analyse prévisionnelle de projet

L’analyse prévisionnelle de projet (APP) est une méthode de gestion des risques basée sur un moteur d’analyse quantitative. La base de données de l’analyse prévisionnelle contient des renseignements détaillés sur plus de 2 000 projets réussis. Ces projets sont classés par industrie, par type et par taille et ont chacun une complexité et des facteurs de réussite qui leur sont propres. En évaluant les renseignements détaillés sélectionnés sur un projet donné, celui-ci pourra faire l’objet d’une analyse comparative avec les projets réussis contenus dans la base de données de l’APP ayant des caractéristiques de complexité similaires. Cette analyse indique ensuite les secteurs particuliers sur lesquels il faut travailler en vue d’augmenter le plus efficacement les chances de réussite du projet.

La complexité d’un projet est déterminée en décrivant le projet en fonction d’un ensemble prédéfini de 29 facteurs de complexité liés à l’un des cinq secteurs suivants :

• Contexte;
• Facteurs techniques;
• Facteurs sociaux;
• Ambiguïté;
• Gestion de projet.

L’analyse prévisionnelle de projet évalue la complexité du projet en fonction d’une échelle de dix points (l’échelle « Helmsman »), comme il est démontré dans le tableau ci-dessous. L’échelle de complexité est de type logarithmique plutôt que de type linéaire, ainsi la différence de complexité entre un projet coté 9 et un projet coté 8 est beaucoup plus importante que celle entre un projet coté 6 et un projet coté 5.

Le projet de l’ITSC a reçu une cote de complexité « élevée » de 7,3 sur l’échelle de 10 points.

Un sommaire des degrés de complexité dans l’ensemble des cinq secteurs est présenté à la Figure 1.

Version texte de Figure 1 : Analyse de la complexité

La figure 1 représente un graphique à barres horizontales qui est conçu pour démontrer l’analyse de la complexité parmi cinq domaines. Ces cinq domaines sont indiqués le long de l’axe vertical, et les notes de 0 à 10 de l’échelle de complexité Helmsman sont établies le long de l’axe horizontal.

Le premier domaine à la base de l’axe vertical est désigné « intervenants ». Ce domaine excède la note médiane de 7,3 de l’échelle de complexité Helmsman.

Le deuxième domaine à la base de l’axe vertical est désigné « facteurs sociaux ». Ce domaine correspond à la note médiane de 7,3 de l’échelle de complexité Helmsman.

Le troisième domaine à la base de l’axe vertical est désigné « ambiguïté ». Ce domaine excède la note médiane de 7,3 de l’échelle de complexité Helmsman.

Le quatrième domaine à la base de l’axe vertical est désigné « conception technique ». Ce domaine excède la note médiane de 7,3 de l’échelle de complexité Helmsman.

Le cinquième domaine à la base de l’axe vertical est désigné « structure et gestion du projet ». Ce domaine ne correspond pas à la note médiane de 7,3 de l’échelle de complexité Helmsman.

Une liste détaillée des 29 facteurs de complexité regroupés sous les cinq secteurs indiqués ci-dessus est présentée à la Figure 2 en vue de fournir une analyse plus précise.

Version texte de Figure 2 : Facteurs de complexité

La figure 2 représente un graphique à barres horizontales qui démontre une analyse précise des cinq principaux domaines désignés à la figure 1 (intervenants, facteurs sociaux, ambiguïté, conception technique et structure et gestion du projet). Ces cinq domaines et leurs sous-éléments sont indiqués au long de l’axe vertical et les notes de 0 à 10 de l’échelle de complexité Helmsman sont indiquées le long de l’axe horizontal.

Le premier domaine à la base de l’axe vertical est désigné comme intervenants. Il est réparti en sous-domaines, à savoir le nombre de groupes d’intervenants (note de 10), l’influence des intervenants (note de 8) et l’harmonisation des intervenants (note de 4).

Le deuxième domaine à la base de l’axe vertical est désigné comme facteurs sociaux. Il est réparti en sous-domaines, à savoir l’étendue du changement dans l’organisation (note de 8), la familiarité interdisciplinaire (note de 6), les disciplines multiples (note de 8) et le changement de paradigme (note de 7).

Le troisième domaine à la base de l’axe vertical est désigné comme l’ambiguïté. Il est réparti en sous-domaines, l’incertitude de l’approche (note de 8), l’incertitude des décisions et/ou des hypothèses (note de 6), l’étendue des hypothèses (note de 6), l’estimation des coûts (note de 8), le niveau de complexité et d’abstraction conceptuelle (note de 8) et les risques (note de 8,6).

Le quatrième domaine à la base de l’axe vertical est désigné comme la conception technique. Il est réparti en sous-domaines, à savoir l’impact sur l’infrastructure (note de 8), la complexité de l’intégration (note de 8,5) et la complexité du développement des systèmes (note de 6).

Le cinquième domaine à la base de l’axe vertical est désigné comme la structure et la gestion de projet. Il est réparti en de nombreux sous-domaines, à savoir les mécanismes de passation de marchés (note de 6), les coûts financiers (note de 4), la souplesse (note de 8), le niveau de responsabilité (note de 10), le cheminement du projet (note de 6), la structure du projet (note de 10), l’expérience de l’équipe de projet (note de 8), la taille de l’équipe de projet (note de 8), les ressources (note de 7), la mise en œuvre (note de 8), la complexité liée au calendrier (note de 8), les échéanciers (note de 8) et l’écart (note de 2).

La Figure 2 indique que les facteurs principaux influant sur la complexité de l’ITSC comprennent :

• Structure et gestion du projet
  • Structure du projet – la gestion de la structure du projet est complexe, puisque le projet comporte de nombreux niveaux de gouvernance et intervenants.
  • Niveau de responsabilité – le niveau de responsabilité est élevé, puisque la responsabilité du projet est associée à un résultat.
• Conception technique
  • Complexité de l’intégration – de nombreux systèmes de courriel (63 en tout) doivent être intégrés au sein de 43 organisations partenaires.
• Ambiguïté
  • Risque – le niveau de risque est élevé puisque l’échec du projet pourrait limiter les possibilités stratégiques clés pour SPC.
• Intervenants
  • Nombre de groupes d’intervenants – de nombreux groupes d’intervenants participent au projet de l’ITSC.

En fonction de l’évaluation de la complexité du projet décrite ci-dessus, le moteur d’analyse quantitative de l’outil d’APP a déterminé les niveaux de contrôle et de rendement nécessaires pour assurer la réussite du projet dans l’ensemble des facteurs de gestion de projet individuels. Le moteur d’analyse quantitative de l’outil d’APP comporte 172 différents facteurs de gestion de projet au total, lesquels ont été désignés comme essentiels à la réussite d’un projet. Ces facteurs de gestion de projet ont été regroupés selon sept critères différents :

• Gouvernance;
• Propriété;
• Gestion de la réalisation;
• Unité opérationnelle;
• Gestion des ressources;
• Gestion des risques;
• Passation de marchés.

Les résultats globaux de l’APP permettent d’évaluer le niveau de contrôle réel par rapport au niveau de contrôle attendu (en fonction de la complexité du projet) pour chacun des critères, comme il est indiqué à la Figure 3.

Version texte de Figure 3 : Résultats de l’APP par critères

La figure 3 est un graphique à barres horizontales qui démontre les taux de rendement réels et moyens des domaines. Le tableau est divisé en différentes couleurs qui indiquent les zones des niveaux de risque. Les risques élevés sont désignés par des colonnes rouges de la gamme de 0 % à 50 % le long de l’axe horizontal. Les risques moyens sont désignés par une colonne jaune représentant la gamme de 50 % à 75 %. Les risques faibles sont désignés par des colonnes vertes représentant la plage de 75 % à 125 %. Une colonne bleue représente la gamme de 125 % à 150 %. Le niveau minimum acceptable est indiqué par une ligne verticale rouge à la marque de 75 % et le rendement moyen du projet est indiqué par une ligne verticale noire à la marque de 80 %.

Le premier domaine affiché sur l’axe vertical représente l’approche de passation de marchés et il dépasse la marque de 75 % pour s’arrêter dans la zone verte.

Le deuxième domaine affiché sur l’axe vertical représente la gestion des risques et il dépasse la marque de 75 % pour s’arrêter dans la zone verte.

Le troisième domaine affiché sur l’axe vertical représente la gestion des ressources et il dépasse la marque de 75 % pour s’arrêter dans la zone verte.

Le quatrième domaine affiché sur l’axe vertical représente l’unité opérationnelle et il se trouve dans la zone jaune des risques moyens.

Le cinquième domaine affiché sur l’axe vertical représente la gestion de la gestion de réalisation et il dépasse la marque de 75 % pour s’arrêter dans la zone verte.

Le sixième domaine affiché sur l’axe vertical représente la propriété et il dépasse la marque de 75 % pour s’arrêter dans la zone verte.

Le septième domaine affiché sur l’axe vertical représente l’approche de gouvernance et il dépasse la marque de 75 % pour s’arrêter dans la zone verte.

La Figure 4 fournit des résultats plus précis au niveau de sous-critère d’audit, pour ce qui est des 22 sous-critères d’audit regroupés sous les 7 critères susmentionnés.

Version texte de Figure 4 : Résultats de l’APP par critères d’audit

La figure 4 représente un graphique à barres horizontales qui démontre une présentation détaillée des notes de rendement liées au rendement des domaines présentés à la figure 3 (approche de passation de marchés, gestion des risques, gestion des ressources, unité opérationnelle, gestion de la réalisation, propriété et approche de gouvernance). La figure est divisée à l’aide de couleurs indiquant les zones des niveaux de risque. Les risques élevés sont désignés par des colonnes rouges de la gamme de 0 % à 50 % le long de l’axe horizontal. Les risques moyens sont désignés par une colonne jaune représentant la gamme de 50 % à 75 %. Les risques faibles sont désignés par des colonnes vertes représentant la gamme de 75 % à 125 %. Une colonne bleue représente la gamme de 125 % à 150 %. Le niveau minimum acceptable est indiqué par une ligne verticale rouge à la marque de 75 %, et le rendement moyen du projet est indiqué par une ligne verticale noire à la marque de 80 %.

Le premier domaine affiché sur l’axe vertical désigne la passation de marchés. Les deux sous-domaines sont la gestion des fournisseurs et l’approche de passation de marchés. Les deux sous-domaines dépassent la marque de 75 % pour s’arrêter dans la zone verte.

Le deuxième domaine affiché sur l’axe vertical désigne la gestion des risques. Les trois sous-domaines sont les risques techniques, la gestion des risques et l’approche liée aux risques. Les trois sous-domaines dépassent la marque de 75 % pour s’arrêter dans la zone verte.

Le troisième domaine affiché sur l’axe vertical désigne la gestion des ressources. Les deux sous-domaines sont la sélection des ressources et l’engagement des ressources. Les deux sous-domaines dépassent la marque de 75 % pour s’arrêter dans la zone verte.

Le quatrième domaine affiché sur l’axe vertical désigne l’unité opérationnelle. Les deux sous-domaines sont le soutien de l’unité opérationnelle et l’impact de l’unité fonctionnelle. Les deux sous-domaines demeurent dans la zone jaune des risques moyens, en dessous du niveau de rendement minimum acceptable de 75 %.

Le cinquième domaine affiché sur l’axe vertical désigne la gestion de la réalisation. Les sept sous-domaines sont la gestion des intervenants, l’établissement du calendrier, la planification, la gestion de l’incertitude, la conception, la réalisation et le modèle d’acceptation. Tous les sous-domaines atteignent ou dépassent la marque de 75 % pour s’arrêter dans la zone verte.

Le sixième domaine affiché sur l’axe vertical désigne la propriété. Les deux sous-domaines sont le soutien de la direction et l’orientation. Les deux sous-domaines dépassent la marque de 75 % pour s’arrêter dans la zone verte.

Le septième domaine affiché sur l’axe vertical désigne la gouvernance. Les six sous-domaines sont la gestion des rôles, la gestion des enjeux, l’approche de gouvernance, les budgets, la gestion des avantages et le modèle de responsabilisation. Tous les sous-domaines dépassent la marque de 75 % pour s’arrêter dans la plage de risque verte, à l’exception de la gestion des rôles, qui demeure dans la gamme jaune des risques moyens.

Les éléments suivants doivent être pris en compte dans l’interprétation de la Figure 3 :

• La barre bleue représente le niveau de contrôle réel, exprimé en pourcentage (quartile) par rapport aux projets réussis figurant dans la base de données.
• Un résultat inférieur à 50 % (2 quartiles inférieurs) indique un risque d’échec accru en comparaison aux projets réussis.
• Les projets inférieurs au 3e quartile (75 %) sont considérés comme étant insuffisamment performants et occasionneront vraisemblablement des problèmes qui nuiront à leur succès.
• La ligne rouge indique qu’un résultat inférieur à 75 % par rapport aux projets réussis constitue le point d’entrée minimal au secteur « préoccupant ».
• La ligne noire représente le niveau de contrôle réel moyen par rapport au niveau de contrôle attendu; elle est différente d’un programme ou d’un projet à un autre.

Il est à noter que parmi les sept critères de l’APP, à l’exception du critère relatif à l’unité opérationnelle, chacun est appliqué à un niveau global qui se situe dans les limites du niveau de contrôle acceptable; toutefois, une évaluation a permis de déterminer que plusieurs facteurs de contrôle pour chaque critère se situaient en deçà du niveau de contrôle acceptable. La Figure 5 fournit un aperçu du pourcentage des facteurs de contrôle qui se situent en deçà des résultats attendus pour chaque critère.

Version texte de Figure 5 : Facteurs de contrôle se situant en deçà du niveau de contrôle acceptable

La figure 5 est un tableau intitulé « Facteurs de contrôle se situant à l’extérieur du niveau de contrôle acceptable ». Le tableau est réparti en deux colonnes et sept rangées. La première colonne et l’ensemble des rangées désignent les contrôles et la deuxième colonne utilise une note en pourcentage et une barre rouge permettant de désigner les contrôles affichant une note inférieure à 75 %. La gouvernance a obtenu une note de 18 %, la propriété a obtenu une note de 7 %, la gestion de la réalisation a obtenu une note de 22 %, l’unité opérationnelle a obtenu une note de 50 %, la gestion des ressources a obtenu une note de 57 %, la gestion des risques a obtenu une note de 11 % et l’approche de passation de marchés a obtenu une note de 17 %.

Les résultats plus précis des problèmes potentiels associés aux facteurs de contrôle pour les sept critères peuvent également être déterminés grâce à une analyse plus poussée du graphique plus détaillé par sous-critères d’audit qui constituent le côté gauche de la Figure 3. En fonction des résultats obtenus grâce aux calculs du moteur d’analyse quantitative de l’outil d’APP et présentés à la Figure 3, les sous-critères d’audit suivants (facteurs de contrôle des secteurs du projet) sont actuellement moins performants relativement au niveau de contrôle attendu pour le projet :

• Gestion des rôles – Dans le contexte du projet de l’ITSC, ces facteurs de contrôle sont moins performants en raison du litige lié au modèle d’affectation des ressources pour le projet. En effet, il y a divergence entre le modèle traditionnel de l’équipe de projet et le modèle de matrice que l’on souhaite utiliser à SPC. Parmi les facteurs de contrôle affichant de faibles résultats pour le projet pour ce critère d’audit, mentionnons notamment la façon dont les rôles de l’équipe technique du projet et de l’unité opérationnelle sont définis et différenciés.
• Soutien de l’unité opérationnelle – Dans le contexte du projet de l’ITSC, ces facteurs de contrôle sont moins performants étant donné que la définition officielle des facteurs et des rôles et des responsabilités de l’équipe de projet et de l’unité opérationnelle pour le projet était en voie de développement. Par exemple, le plan de travail intégré du projet incluant l’unité opérationnelle n’a été finalisé que le 31 janvier 2014. Parmi les facteurs de contrôle affichant de faibles résultats pour le projet pour ce critère d’audit, mentionnons notamment le soutien tactique que fournit l’unité opérationnelle pour le projet.

Ces deux secteurs de contrôle sont liés aux observations découlant de la constatation de l’auditeur pour ce qui est du modèle d’affectation des ressources.

Les autres sous-critères d’audit (secteurs des contrôles du projet) qui sont actuellement presque en deçà du niveau de contrôle attendu pour le projet sont les suivants :

• Gestion des avantages – Dans le contexte du projet, ce facteur est lié à la nécessité d’une validation et d’une documentation plus poussées des coûts de base par rapport auxquels seront mesurées les économies réalisées pour le projet. Parmi les facteurs de contrôle affichant de faibles résultats pour le projet pour ce sous-critère d’audit, mentionnons notamment la façon dont sont documentés les avantages prévus. Ce résultat est lié à la constatation de l’auditeur pour ce qui est des coûts de base.
• Gestion de l’incertitude – Dans le contexte du projet, ce facteur est lié à la nécessité d’une validation plus robuste des hypothèses du projet. Parmi les facteurs de contrôle affichant de faibles résultats pour le projet pour ce sous-critère d’audit, mentionnons notamment la définition de l’approche globale en matière de gestion de l’incertitude. Ce résultat est lié à la constatation de l’auditeur pour ce qui est du processus de gestion des risques.
• Établissement d’un calendrier – Dans le contexte du projet, ce facteur est lié au calendrier ambitieux pour le déploiement du projet en fonction des délais reportés et des délais serrés. Parmi les facteurs de contrôle affichant de faibles résultats pour le projet pour ce sous-critère d’audit, mentionnons notamment le bien-fondé des délais prescrits pour les tâches figurant dans le calendrier. Ce secteur de contrôle est lié à la constatation de l’auditeur pour ce qui est des éléments de chemin critique.
• Engagement des ressources – Dans le contexte du projet, ce facteur est lié à la nécessité pour SPC de mieux définir l’usage du modèle de matrice et de s’assurer que la planification intégrée inclut la Direction générale des opérations. Parmi les facteurs de contrôle affichant de faibles résultats pour le projet pour ce sous-critère d’audit, mentionnons notamment les éléments sur lesquels on s’appuie pour procéder à l’affectation des membres du personnel interne pour le projet. Ce résultat est lié à la constatation de l’auditeur pour ce qui est du modèle d’affectation des ressources.
• Approche en matière de gestion des risques – Dans le contexte de l’audit, ce facteur est lié à la nécessité pour le projet de documenter et de réexaminer les risques de façon appropriée afin de s’assurer que des mesures d’atténuation adéquates sont mises en place. Parmi les facteurs de contrôle affichant de faibles résultats pour le projet pour ce sous-critère d’audit, mentionnons notamment le niveau de compréhension du cadre de gestion des risques utilisé pour le projet. Ce résultat est lié à la constatation de l’auditeur pour ce qui est du processus de gestion des risques.

Il est à noter que malgré le fait que l’auditeur a émis une constatation pour ce qui est de la gouvernance (la structure de gouvernance pour la phase d’exécution de l’ITSC), tant le secteur d’intérêt de la gouvernance que le sous-critère d’audit relatif à l’approche en matière de gouvernance dans ce domaine ont été évalués dans la limite de niveau de contrôle acceptable. Ceci s’explique par le fait qu’une structure de gouvernance exhaustive a été mise en place pour l’ITSC et que cette structure tient compte des rôles et des responsabilités de la haute direction de SPC, des organismes centraux (p. ex., le SCT), des organisations partenaires et du fournisseur. La gouvernance affiche généralement de bons résultats, sauf pour ce qui est de la nécessité pour le Comité du SMAP sur l’ITSC d’autoriser une plus grande délégation des pouvoirs décisionnels. Parmi les facteurs de contrôle affichant de faibles résultats pour le projet pour le critère d’audit de l’approche en matière de gouvernance, mentionnons notamment l’efficacité avec laquelle le comité directeur délègue ou conserve les pouvoirs.

Il est à noter que pour deux autres constatations (organisations partenaires et relations de SPC avec le fournisseur), même si les sous-critères liés à ces observations affichaient des résultats se situant dans les limites du niveau de contrôle acceptable, certains facteurs de contrôle individuels faisant partie de ces sous-critères affichaient des résultats en deçà du niveau de contrôle acceptable. Par exemple, le sous-critère lié à la gestion des intervenants comportaient un facteur de contrôle lié à la qualité de la planification de la gestion du changement qui affichait un résultat en deçà du niveau de contrôle acceptable en raison des retards attribuables à la mobilisation des partenaires et à l’élaboration de documents sur la gestion du changement. Dans le contexte de la gestion des fournisseurs, parmi les facteurs de contrôle qui affichaient des résultats en deçà du niveau de contrôle acceptable, mentionnons notamment la mesure dans laquelle le contrat avec le fournisseur externe comportait des éléments d’alliance stratégique (p. ex. partage des avantages et des risques) ainsi que le degré d’utilisation des indicateurs en vue de mesurer le rendement du fournisseur relativement à la réalisation du projet.

Annexe C – Modèle de gouvernance de l’ITSC

Version texte de la figure 6

L’annexe C comprend un organigramme intitulé « Modèle de gouvernance de l’ITSC ». Trois colonnes et six rangées présentent les liens entre différents comités, différents groupes de travail et différentes équipes.

La première rangée à partir du haut, comprend une case dans la troisième colonne intitulée « Comité de la haute direction du fournisseur de l’ITSC ». Cette case n’est pas liée à une autre case.

La première case de la deuxième rangée est située dans la première colonne. Cette case est intitulée « Comité directeur du SMAP de SPC responsable de l’ITSC » et elle est liée à une case de la deuxième colonne intitulée « Comité directeur de SMAP de SPC responsable de l’ITSC ». Il y a une dernière case dans cette rangée intitulée « Comité des cadres responsable (SMA/VP) de l’ITSC du fournisseur » et elle n’est pas liée à une autre case.

La première case de la troisième rangée est située dans la première colonne et elle est intitulée « Comité directeur des directeurs généraux des partenaires sur l’ITSC » et elle est liée à la case « Comité directeur du SMAP de SPC responsable de l’ITSC ». La prochaine case de cette rangée est située sous la deuxième colonne. Cette case est intitulée « Comité directeur des directeurs généraux des partenaires sur l’ITSC » avec la mention « Nouveau » qui est indiquée à l’extérieur et à la droite de la case. Cette case est liée au « Comité directeur de SMAP de SPC responsable de l’ITSC ». La dernière case de cette rangée est située dans la troisième colonne. Elle porte le nom de « Comité directeur des directeurs généraux du fournisseur sur l’ITSC » et elle n’est pas reliée à une autre case.

La première case de la quatrième rangée est intitulée « Comité directeur de la mise en œuvre de l’ITSC ». Elle est liée à la prochaine case de la deuxième colonne de cette rangée qui porte le nom de « Équipe de direction de l’ITSC ». Cette case est également liée à la case « Comité directeur des directeurs généraux des partenaires sur l’ITSC » située dans la troisième rangée de la première colonne. La dernière entrée dans cette rangée se trouve dans une case intitulée « Comité du programme de l’ITSC », qui est liée à la case « Équipe de direction de l’ITSC ».

La cinquième rangée comprend une entrée dans la première colonne dans une case intitulée « Groupes de travail sur la mise en œuvre de l’ITSC ». Cette case est liée à la case « Comité directeur de la mise en œuvre de l’ITSC ».

Les entrées de la sixième rangée ne se trouvent pas dans des cases et elles ne sont pas reliées à d’autres entrées; elles sont une explication générale du contenu de chaque colonne des cases. La première colonne s’intitule « Opérations de SPC – Activités de mise en œuvre ». La deuxième colonne porte le nom de « Gestion de l’ensemble des activités et des produits livrables de l’ITSC ». La troisième colonne s’intitule « Équipe Bell ». La « Supervision du projet » se trouve entre les première et deuxième colonnes.

Annexe D – Principaux Sigles

Télécharger gratuitement des lecteurs PDF

Pour consulter la version PDF (format de document portable), vous devez avoir un lecteur PDF sur votre ordinateur. Si vous n'en avez pas déjà un, il existe de nombreux lecteurs PDF que vous pouvez télécharger gratuitement ou acheter dans Internet :

• Adobe Reader
• Foxit Reader(disponible en anglais seulement)
• Xpdf (disponible en anglais seulement)
• eXPert PDFReader(disponible en anglais seulement)