Évaluation de l’Initiative de soutien

1. Intro

1.1 Sigles et abréviations

Retour à la table des matières

1.2 Sommaire

Le présent rapport présente les résultats de l’évaluation de l’Initiative de soutien (IS), réalisée pendant l’année financière (AF) 2019-2020 par le Sous-ministre adjoint (Services d’examen) (SMA[Svcs Ex]) conformément à la Politique sur les résultats de 2016 du Conseil du Trésor. L’évaluation examine le rendement de l’IS sur une période de quatre ans, soit de l’AF 2016-2017 à l’AF 2019-2020.

Description et objectifs de l’Initiative de soutien

Lancée officiellement en 2016, l’IS est une entreprise conjointe du ministère de la Défense nationale (MDN), de Services publics et Approvisionnement Canada (SPAC) et d’Innovation, Sciences et Développement économique Canada (ISDE) qui vise globalement à faire évoluer les activités de soutien relatives à l’équipement et aux flottes militaires. Ces ministères collaborent pour établir des solutions de soutien adaptées à l’aide d’un processus d’analyse de rentabilisation de soutien (ARS) qui a comme objectif d’optimiser les quatre principes de soutien : le rendement, la souplesse, l’avantage économique et l’optimisation des ressources. Le processus d’ARS nécessite une mobilisation rapide et une approche pangouvernementale à l’égard de la mobilisation des intervenants dans l’ensemble du gouvernement et de l’industrie. L’initiative est divisée en cinq éléments, qui comprennent les trois divisions de gestion du programme d’équipement (GPE) et les deux divisions de réalisation de grands projets (RGP). Ces divisions couvrent les trois armées (forces terrestres, aériennes et maritimes).

Portée

L’évaluation a permis d’examiner la pertinence, l’efficacité et l’efficience des activités de l’IS. Elle portait principalement sur les activités propres au MDN, toutefois, la coordination et la collaboration entre les trois ministères ont été évaluées. Les représentants de l’industrie qui ont participé au processus d’ARS n’ont pas été considérés comme un groupe d’intervenants dans les entrevues visées par l’évaluation.

Principales constatations

Pertinence (besoin permanent)

• L’IS continue de répondre à un besoin démontrable de solutions de soutien éclairées et optimales pour l’équipement de défense, dans l’intérêt des Forces armées canadiennes (FAC) et des Canadiens et Canadiennes.

Efficacité

• Pendant le processus d’ARS et sa phase d’analyse des options, l’IS contribue généralement à des solutions de soutien éclairées qui optimisent les quatre principes de soutien.
• Les praticiens ont besoin de plus de soutien et de formation pour développer les compétences requises.
• La collaboration et la coordination du MDN avec les FAC et les ministères partenaires se sont améliorées. La collaboration avec l’industrie est généralement positive; cependant, il y a une certaine incompréhension du rôle de l’industrie dans le processus d’ARS parmi les praticiens et les gestionnaires.
• Les préoccupations liées à l’efficience et les défis liés à la communication limitent la mesure dans laquelle les praticiens et les gestionnaires perçoivent l’utilité du processus d’ARS.

Efficience

• Les différents rôles et différentes responsabilités dans le processus d’ARS, ainsi que dans les centres d’expertise (CE) et les autres ministères, sont généralement compris; cependant, les rôles et responsabilités de l’industrie canadienne de défense sont moins clairs.
• Les lacunes dans la responsabilisation à l’égard de l’ARS et les incohérences de fonctionnement des CE nuisent à l’efficience de l’IS.
• Les CE, qui guident les équipes de l’ARS dans le processus d’ARS, et les praticiens n’ont pas les capacités, les ressources, ni la souplesse pour réaliser les ARS.
• L’ébauche du cadre de mesure du rendement (CMR) de l’IS doit être finalisée et mise en œuvre pour évaluer les incidences plus en profondeur.
• praticiens n’ont pas les ressources pour réaliser les ARS, et des lacunes dans la communication de l’utilité du processus d’ARS, dans la formation des praticiens et le soutien à leur disposition, et dans la clarté du rôle de l’industrie canadienne de défense ont aussi été relevées. Enfin, l’ébauche du CMR de l’IS doit être finalisée et mise en œuvre pour mesurer le succès de l’IS dans un avenir rapproché.

Retour à la table des matières

Retour à la table des matières

1.3 Profil du programme (description, intervenants)

La GPE du MDN (programme 2.10) vise à assurer que l’équipement requis par les FAC pour satisfaire aux exigences d’instruction et de disponibilité opérationnelle est mis à leur disposition.

L’IS est un élément de la GPE. L’IS est une entreprise conjointe du MDN, de SPAC et d’ISDE dont l’objectif est de faire progresser les activités de soutien pour l’équipement et les flottes militaires.

Dans l’IS, le processus d’analyse de rentabilisation du soutien (ARS) s’applique à chaque nouveau besoin ou besoin existant d’une valeur d’au moins 20 millions de dollars jusqu’à la fin de la vie utile prévue, et vise à élaborer des solutions de soutien adaptées qui optimisent les quatre principes de soutien, lesquelles sont décrites ci-après.

Le processus d’ARS nécessite une mobilisation rapide et une approche pangouvernementale à l’égard de la mobilisation des intervenants dans l’ensemble du gouvernement et de l’industrie. L’initiative est divisée en cinq éléments, qui comprennent les trois divisions de GPE et les deux divisions de RGP. Ces divisions couvrent les trois armées (forces terrestres, aériennes et maritimes).

Depuis 2016, onze dossiers d’ARS ont été menés à terme, et il y a 75 dossiers d’ARS qui en sont à la phase 1 ou 2 du processus.

Les principes de soutien

Rendement

L’équipement de défense est-il opérationnel et employable pour les missions?

Souplesse

Le système de soutien est-il adaptable, échelonnable et facilement rajusté en fonction des changements dans les exigences opérationnelles ou les budgets de fonctionnement?

Avantages économiques

Les avantages industriels découlant des marchés de défense sont-ils mis à contribution pour créer des emplois et favoriser la croissance économique des entreprises au Canada?

Optimisation des ressources

Les résultats requis sont-ils obtenus à un prix proportionnel au taux du marché pour des marchés comparables?

Retour à la table des matières

Gouvernance de l’IS

Directeurs généraux (DG) de soutien du MDN

Les DG du Sous-ministre adjoint (Matériels) (SMA[Mat]) participent au processus d’établissement de rapports et d’approbation de l’ARS dans les grands projets et les programmes d’équipement, et assistent dans certains cas aux réunions de la SAMD.

Autres ministères

Les DG d’ISDE et de SPAC participent à l’exécution et à la direction de l’IS; les directeurs d’ISDE et de SPAC participent directement au processus d’ARS et aux dossiers d’ARS. Il faut souligner que les trois ministères (MDN, ISDE et SPAC) participent à un comité de gestion de l’Initiative de soutien (CGIS) réunissant des DG, lequel axe ses travaux sur les questions de gestion relatives à la mise en œuvre de l’IS, ainsi qu’à un comité de gouvernance stratégique de l’Initiative de soutien (CGSIS) réunissant des SMA, lequel fournit une orientation stratégique pour la mise en œuvre réussie de l’IS.

Champion de l’IS du MDN

Ce poste est actuellement occupé par un SMA délégué depuis janvier 2020. Son rôle est de faire la promotion de l’IS en fournissant une surveillance cohérente et une orientation et des directives méthodiques. Les DG et les directeurs de soutien rendent compte au champion de l’IS de l’état des ARS.

Appui à l’ARS, perfectionnement professionnel, communication et mobilisation

Gestion des programmes de l’Initiative de soutien (GPIS) et Directeur – Politiques et procédures (Matériel) 9 (DPPM)

La direction du SMA(Mat) qui est responsable de l’établissement, de la mise en œuvre et de la coordination de l’IS, notamment les politiques, les procédures et les ressources de formation.

Appui à l’ARS

Centres d’expertise (CE)

Le CE guide les équipes d’ARS dans le processus d’ARS et doit jouer un rôle actif au sein des équipes d’ARS. Chaque armée (forces terrestres, aériennes et maritimes) a son propre CE.

Appui à l’ARS et exécution

Directeurs de soutien et de l’approvisionnement du MDN

Les directeurs du SMA(Mat) qui participent au processus d’établissement des rapports et d’approbation de l’ARS dans les grands projets et les programmes d’équipement.

Réalisation de l’ARS

Praticiens et gestionnaires du MDN

Le personnel technique et d’approvisionnement, principalement, qui travaille aux ARS dans les grands projets et les programmes d’équipement du SMA(Mat).

Représentants des FAC

Les membres du personnel des FAC qui participent à l’établissement des besoins de soutien (phase 1B) dans le cadre du processus d’ARS et qui sont les utilisateurs finaux de l’équipement.

D’autres groupes d’intervenants qui ne sont pas inclus dans la portée de l’évaluation comprennent les représentants de l’industrie qui sont mobilisés pendant le processus d’ARS. De plus, il faut souligner que le groupe d’intervenants des autres ministères participe aussi à l’appui et à l’exécution de l’ARS.

Retour à la table des matières

2. Besoin permanent

2.1 Constatation

L’IS représente un besoin permanent.

Le besoin de soutien

La preuve documentaire porte à croire que la tendance en ce qui concerne l’état et les coûts de la maintenance de l’équipement et des flottes est à la hausse en raison des flottes vieillissantes et d’un équipement de plus en plus complexe. Les coûts de soutien et de fonctionnement durant le cycle de vie utile des systèmes principaux correspondent à plus du double des coûts d’acquisition.

Environ 3,2 milliards de dollars du budget de la défense étaient affectés au soutien de l’équipement en 2019-2020.

De plus, le nombre de dossiers d’ARS a augmenté considérablement depuis 2016, ce qui semble indiquer une hausse de la charge de travail en matière d’ARS et une tendance soutenue de la demande accrue de soutien.

Disponibilité opérationnelle des FAC

L’IS appuie la disponibilité opérationnelle et le mandat des FAC pour assurer une prise de décisions fondées sur des données probantes et conserver des forces armées qui sont « agiles, polyvalentes et prêtes au combat, composées d’hommes et de femmes bien formés et équipés ».

« L’IS est un besoin permanent, car il faudra toujours acquérir un nouvel équipement, de nouvelles capacités et soutenir l’équipement. »

- entrevue, DG de soutien du MDN

Responsabilisation

La justification des décisions prises et la responsabilité en matière de ressources ou la gérance des ressources étaient les grands thèmes examinés par les personnes interrogées par rapport à l’importance de la nécessité de l’IS, et ont été décrites comme des pratiques n’étaient pas observées ni considérées comme suffisantes par le passé. Ces thèmes avaient aussi été relevés dans les rapports du Bureau du vérificateur général en 2011 et en 2016.

Harmonisation avec les initiatives et les politiques fédérales

L’IS s’harmonise avec les initiatives stratégiques et politiques fédérales, dont l’une des principales est la SAMD. Cette stratégie est une initiative pangouvernementale qui s’applique à tous les approvisionnements en matière de défense d’une valeur de 20 millions de dollars et plus, et repose sur les principes suivants : la collaboration pangouvernementale, la mobilisation rapide et soutenue des intervenants et de l’industrie dès le début du processus d’approvisionnement, et la prise de décision opportune et efficace. La SAMD représente l’engagement du gouvernement du Canada visant à s’assurer que les achats d’équipement et de services de défense permettent la création d’emplois et la croissance de l’industrie canadienne. Elle se fonde sur les grandes leçons retenues de l’élaboration de la Stratégie nationale de construction navale, qui avait introduit un nouveau modèle de gestion des grands projets d’approvisionnement et d’optimisation des avantages pour le Canada, et sur les principes clés de l’approche d’approvisionnement éclairé de SPAC, qui comprennent aussi les avantages pour les Canadiens et Canadiennes.

Retour à la table des matières

3. Efficacité

3.1 Constatations

Le processus d’ARS appuie l’établissement de solutions de soutien éclairées et l’optimisation des principes.

Étant donné que peu d’ARS ont été menées à terme, l’équipe d’évaluation a examiné la mesure dans laquelle l’IS/le processus d’ARS est bien positionné pour assurer son succès pendant la définition des besoins en matière de soutien à la phase 1, et la réalisation de l’analyse des options à la phase 2.

Solutions de soutien éclairées

Globalement, les résultats de l’évaluation indiquent que l’IS/le processus d’ARS contribue de façon positive à l’établissement de solutions de soutien adaptées et éclairées. Le processus d’ARS et plus particulièrement la phase d’analyse des options fournit un cadre d’analyse qui encourage la prise en considération de tous les principes de soutien et de multiples options de soutien. En respectant ce cadre, les résultats des entrevues, de l’examen des documents et du sondage permettent de penser que le processus d’ARS en général contribue à l’établissement de solutions de soutien éclairées, qui encouragent les praticiens de l’ARS du MDN à user d’esprit critique et à collaborer.

Principes de soutien optimisés

Les résultats de l’évaluation indiquent que l’IS/le processus d’ARS contribue à l’optimisation des principes. Les exemples d’ARS suivants montrent les résultats de l’optimisation des principes de soutien relativement aux principaux secteurs touchés :

Il faut plus de soutien et de formation pour développer les compétences requises pour élaborer des solutions de soutien optimales.

Incidence des ressources de l’IS

Au sujet de l’incidence des ressources de soutien sur l’amélioration de leur compréhension de la façon de réaliser une ARS, les praticiens et les gestionnaires ont indiqué que le soutien de l’IS est globalement efficace. Toutefois, c’est le soutien des CE qui a la plus grande incidence. Les résultats des entrevues confirment que le soutien du CE a été très utile pour combler les lacunes dans les compétences des praticiens.

Comprendre le processus et les principes d’ARS

La compréhension qu’ont les gestionnaires et les praticiens des principes de soutien ainsi que du processus d’ARS est généralement bonne ou très bonne, comme l’illustre la figure ci-dessous.

Si on les examine en tenant compte des résultats de l’enquête de la Vérification de l’état de l’Initiative de soutien (VEIS) 2017, les résultats du sondage de l’évaluation portent à croire que l’IS a réalisé des progrès vers l’amélioration de la compréhension qu’ont les praticiens du processus d’ARS. Les répondants au sondage ont aussi mentionné un déclin graduel dans la compréhension du processus d’ARS à l’approche de la phase 3, peut-être parce que l’IS en est à ses balbutiements.

Connaissances et compétences

Comme l’illustre le diagramme ci-dessous, les praticiens et les gestionnaires sont plus à l’aise dans les domaines du travail d’équipe, de la familiarisation avec les concepts de soutien et du raisonnement critique, et moins à l’aise dans les domaines de la créativité et de l’innovation, du sens des affaires et de l’analyse de données.

Certaines personnes interrogées ont indiqué que les compétences relatives au sens des affaires et à l’innovation ne peuvent être enseignées et doivent être acquises par l’expérience, ce qui pourrait expliquer les degrés d’assurance moindres démontrés par les répondants dans ces domaines.

21 % des répondants au sondage qui ont formulé des commentaires sur la façon d’améliorer l’IS/le processus d’ARS ont proposé une formation accrue pour les praticiens;

24 % ont proposé de simplifier ou clarifier le guide sur l’ARS.

Au sujet des connaissances et des compétences des praticiens, les personnes interrogées ont indiqué que les compétences étaient insuffisantes dans certains domaines, comme la passation de marchés axés sur le rendement, le sens des affaires et l’innovation. Cependant, beaucoup de personnes interrogées ont trouvé difficile de commenter les connaissances et les compétences des praticiens en raison des limitations des ressources, de temps et de souplesse du processus d’ARS qui ont une incidence sur leur apprentissage et leur perfectionnement. Dans un rapport d’évaluation de cours de 2018-2019, 93 pour cent des répondants ont indiqué que les connaissances et les compétences présentées dans le cours d’introduction à l’ARS pourraient selon eux leur permettre d’améliorer leur travail. Toutefois, seuls 27 pour cent se sentaient en mesure de mettre leurs acquis en pratique, ce qui porte à croire à un écart entre la théorie et la pratique. La correction de cet écart aiderait à établir des solutions de soutien optimales.

Retour à la table des matières

3.2 Recommandations

Les efforts de collaboration et de coordination visant les intervenants internes se sont améliorés.

Collaboration du MDN et des FAC

Les opinions des intervenants sont partagées à l’égard de l’efficacité de la participation des FAC au processus d’ARS. Les DG et les directeurs ont fait observer que la participation des FAC a été utile pour définir les exigences et réaliser l’analyse des options; toutefois, les personnes de la GPIS et du CE interrogées ont indiqué que les FAC ne comprennent pas toujours pleinement le but et les objectifs de l’IS. Il s’agit d’une occasion d’accroître l’intégration entre les intervenants du MDN et des FAC.

Globalement, les répondants au sondage sont satisfaits de la collaboration entre le MDN, les FAC et les autres ministères, mais moins satisfaits de la collaboration avec l’industrie.

Collaboration avec les autres ministères

La collaboration entre les trois ministères s’est améliorée et est considérée comme généralement bonne. La collaboration entre SPAC et le MDN fonctionne bien au niveau des directeurs. Toutefois, certaines difficultés ont été relevées au niveau opérationnel, plus particulièrement des conflits relatifs à la direction de l’ARS entre le rôle de l’autorité contractante et celui de l’autorité technique.

Collaboration avec l’industrie

Les praticiens et les gestionnaires croient généralement que l’industrie est suffisamment mobilisée. Les réponses étaient légèrement moins positives en ce qui concerne l’efficacité de la contribution de l’industrie.

57 % des répondants au sondage disent que la mobilisation de l’industrie est au moins « plutôt suffisante »;

46 % disent que la contribution de l’industrie est au moins « plutôt efficace ».

Comme pour les résultats de la collaboration avec l’industrie, un pourcentage important de réponses « Ne sait pas/préfère ne pas répondre » a été donné (22 pour cent pour la mobilisation de l’industrie, 29 pour cent pour la contribution de l’industrie), ce qui permet de croire à un manque de compréhension entre les praticiens et les gestionnaires à l’égard du rôle de l’industrie dans le processus d’ARS. D’autres données probantes à ce sujet sont examinées à la diapositive 16. Enfin, la plupart des DG et des directeurs du MDN interrogés ont convenu du fait que l’industrie apporte une contribution/une rétroaction utile. Cela donne à penser que la mobilisation est plus efficace au niveau de la haute direction qu’au niveau opérationnel.

Retour à la table des matières

La perception qu’ont les praticiens et les gestionnaires de l’utilité du processus d’ARS pourrait être améliorée.

Depuis 2016, des efforts ont été déployés pour communiquer l’utilité de l’initiative à l’aide de cours, d’ateliers, d’annonces, de documents et de sites Web. Beaucoup de personnes interrogées ont fait remarquer que l’IS implique un important changement de culture, et que l’utilité perçue s’accroîtra à mesure qu’augmentera le nombre d’ARS réalisées et que d’autres avantages sont cernés.

Perception de l’utilité du processus d’ARS

Les résultats de l’évaluation indiquent que les gestionnaires voient généralement l’utilité du processus d’ARS et indiquent qu’une rigueur analytique accrue est un avantage important. Toutefois, les réactions sont partagées au niveau opérationnel. Dans leurs commentaires sur les aspects qu’ils considèrent comme utiles ou non, 18 pour cent des praticiens et gestionnaires ont relevé des aspects positifs (p. ex., permet au MDN d’être un « consommateur avisé »), toutefois, un certain nombre de préoccupations relatives à l’efficience ont été soulevées, lesquelles sont examinées en détail à la diapositive 14.

Les défis de communication ont aussi une incidence sur la mesure dans laquelle les intervenants perçoivent l’utilité du processus d’ARS. Les écarts de compréhension de l’applicabilité de l’ARS ont mené certaines personnes à mettre en doute l’utilité de l’ARS, et à indiquer que les ARS ne sont « pas utiles » pour toutes les solutions de soutien ou tous les marchés de soutien. Des idées fausses concernant les objectifs de l’IS ont aussi été relevées; un certain nombre d’intervenants considèrent que le but premier de l’IS est l’économie de coûts plutôt que l’optimisation des quatre principes de soutien. Il semble aussi y avoir un manque de sensibilisation aux résultats récemment obtenus, car beaucoup d’intervenants ont demandé des résultats plus actuels et concrets, alors que la GPIS avait déjà communiqué des mises à jour à ce sujet.

Les résultats du sondage donnent à penser qu’il est possible d’amener les praticiens et les gestionnaires à mieux voir l’utilité du processus d’ARS.

Même si 36 pour cent des réponses étaient positives (« assez » ou « beaucoup »), plus de la moitié (54 pour cent) tombaient dans les catégories « un peu » ou « très peu ».

Les résultats concernant le point de vue des FAC sur l’utilité du processus d’ARS sont partagés. Les représentants des FAC interrogés considéraient généralement le processus d’ARS comme utile. Toutefois, d’autres personnes interrogées (direction du MDN) ont indiqué que les ARS ne sont pas une priorité pour les FAC, et que leur importance est mal comprise.

Retour à la table des matières

4. Efficience

4.1 Constatations

Des écarts d’efficience demeurent dans le processus d’ARS, et les capacités sont insuffisantes pour réaliser des ARS.

Efficience de l’IS

Depuis 2016, l’équipe de l’IS a déployé des efforts constants pour améliorer son efficience. Par exemple, elle a établi un processus normalisé de mobilisation pour la réunion de lancement de la phase 1A du processus d’ARS nécessitant la participation de tous les intervenants, simplifié le processus d’approbation de l’ARS, et créé un répertoire des leçons retenues pour appuyer les praticiens qui travaillent aux ARS et à l’établissement des pratiques exemplaires.

Globalement, le budget du MDN et les dépenses réelles engagées pour les ressources et le personnel de l’IS (DPPM-9 et CE) de l’AF 2016-2017 à 2019-2020 sont harmonisés*. De plus, comme on le verra à la diapositive 16, les rôles et responsabilités individuels dans le processus d’ARS, ainsi que dans les CE et les autres ministères, sont généralement bien compris.

Capacités et ressources

Des lacunes dans les capacités des CE ont d’abord été relevées lors de la vérification d’état en 2017, et la direction de l’IS a pris de mesures correctives à cet égard.

Les CE ont une incidence considérable sur l’IS et les ARS. Toutefois, comme l’a fait observer un ancien DG de soutien en juin 2019, l’IS doit continuer à aller de l’avant avec la dotation et il ne faut pas attendre que la charge de travail en matière d’ARS dépasse les capacités pour trouver une solution.

52 % des superviseurs de l’ARS ont rapporté que les praticiens de l’ARS du MDN ne disposent pas de ressources humaines suffisantes pour réaliser les ARS.

Environ la moitié des praticiens (49 pour cent) et des superviseurs (51 pour cent) rapportent que les praticiens manquent de temps pour réaliser les ARS, et indiquent que la durée et la complexité du processus font partie de leurs trois préoccupations principales en matière d’efficience.

Les résultats du sondage et des entrevues (directeurs de soutien) indiquent aussi que les lacunes dans la formation (examinée à la diapositive 11) ont une incidence sur l’efficience. La GPIS indique que des directives plus précises et des outils supplémentaires à l’intention des praticiens renforceraient l’efficience de l’ARS.

Tous les directeurs de soutien et de l’approvisionnement interrogés ont insisté sur le fait que les capacités et les ressources limitées étaient le principal obstacle à l’efficience. Les DG de soutien interrogés ont aussi indiqué que le budget de l’approvisionnement national est divisé entre les armées et entre les opérations, l’entretien et l’approvisionnement, ce qui laisse peu de marge de manœuvre.

Souplesse du processus d’ARS

Tous les directeurs de soutien et plusieurs représentants des FAC interrogés affirment qu’il serait profitable de réduire leur nombre d’étapes du processus d’ARS ou de les simplifier, de préciser le processus et de revoir les échéances. Cependant, la GPIS et le DPPM indiquent que des mesures de simplification sont déjà intégrées dans le processus d’ARS et que « les gens ne sont simplement pas au courant ».

34 % des praticiens et des gestionnaires de l’ARS trouvent le processus d’ARS trop long.

24 % trouvent le processus d’ARS trop complexe.

4.2 Recommandations

Retour à la table des matières

Les lacunes dans la responsabilisation en matière d’ARS et les incohérences de fonctionnement des CE nuisent à l’efficience de l’IS.

Fonctionnement des CE

Les résultats donnent à penser que les incohérences de fonctionnement des CE ont semé la confusion parmi les intervenants quant au rôle des CE. Des incohérences ont été relevées dans l’approche des CE à l’égard de l’appui aux ARS; certains CE adoptent une méthode plus prescriptive que d’autres, y compris quand les ARS sont réalisées. Le niveau d’appui et de participation des CE varie aussi considérablement : le CE Air dispose de plus de capacités et joue un rôle plus actif. Cette approche est conforme au mandat de 2019 des CE, qui prévoit une participation plus active pendant tout le processus d’ARS, ainsi qu’une rétroaction des praticiens et des gestionnaires qui ont exprimé dans le sondage le besoin d’obtenir des directives supplémentaires des CE.

22 % des personnes interrogées et 19 % des répondants au sondage ont relevé dans leurs commentaires des incohérences dans le fonctionnement des CE.

Les réponses des personnes des CE interrogées étaient partagées quant au niveau approprié de soutien dont devraient bénéficier les équipes d’ARS et à la nécessité d’une harmonisation entre les armées. Tandis que certaines CE prônent une participation plus active, d’autres appuient une plus grande distance pour encourager le sentiment d’être partie prenante aux ARS.

Le nouveau poste de champion de l’IS occupé par le SMA(Mat) délégué a récemment assuré la surveillance centrale de l’IS, en encourageant les DG à établir des rapports sur les ARS et en fournissant des directives cohérentes sur les grands projets et les programmes d’équipement, tout particulièrement en ce qui concerne l’applicabilité de l’ARS.

Les grands thèmes parmi les répondants au sondage qui ont relevé des incohérences de fonctionnement des CE comprennent les suivants :

Le besoin d’un soutien accru des CE en ce qui concerne les directives et le mentorat, et une participation accrue aux travaux des équipes d’ARS;

Le rôle du CE s’apparente à la fonction de contrôleur d’accès ou d’examen critique, et il est perçu comme une entrave à l’efficacité du processus de l’ARS.

Gouvernance/responsabilisation à l’égard de l’ARS

Depuis la VEIS de 2017, le cadre de gouvernance de l’IS a fait l’objet de rajustements, notamment la mise à jour des mandats de la GPIS et du CGIS en 2018, puis des CE en 2019. Toutefois, les membres de la GPIS et des CE interrogés ont relevé le besoin d’une responsabilisation accrue à l’égard de l’ARS au niveau des DG et aux échelons supérieurs pour assurer une exécution, une orientation et une communication cohérentes en ce qui concerne les ARS. Les DG de soutien du MDN interrogés ont aussi relevé le besoin d’une surveillance plus rigoureuse de la part de la direction. Jusqu’à récemment, aucune surveillance centrale n’était en place pour assurer la responsabilisation et pour surveiller l’état des ARS et les échéances de l’ensemble des divisions de GPE et de RPG.

11 % des répondants qui ont proposé des améliorations ont inscrit la responsabilisation de la direction comme point à améliorer.

Retour à la table des matières

Des améliorations peuvent être apportées aux rôles et responsabilités de l’industrie canadienne de défense.

Rôles et responsabilités individuels

Selon les résultats du sondage, les praticiens et les gestionnaires d’ARS du MDN comprennent suffisamment bien leur rôle et leurs responsabilités dans la réalisation et le soutien des ARS.

La majorité des praticiens et des gestionnaires qui ont répondu au sondage ont une bonne ou une très bonne compréhension de leur rôle et de leurs responsabilités.

Rôles et responsabilités des partenaires

Selon les résultats du sondage, la compréhension du rôle et des responsabilités des partenaires participant au processus d’ARS est bonne en général. Le rôle et les responsabilités de l’industrie canadienne de défense sont moins bien compris.

Retour à la table des matières

L’ébauche du CMR de l’IS doit être finalisée et mise en œuvre pour évaluer les incidences plus en profondeur.

Le point sur la mesure du rendement

Selon les résultats des entrevues et les preuves documentaires, la GPIS a fait face à certaines difficultés liées à l’établissement de paramètres appropriés pour la mesure du rendement. Les personnes interrogées ont mentionné au sujet de la qualité des solutions d’ARS des difficultés découlant de l’absence d’un CMR mis en œuvre. Toutefois, elles reconnaissent aussi le défi que cela représente puisque chaque solution de soutien est différente.

La GPIS a récemment établi une ébauche de CMR qui comprend des paramètres pour l’IS et les ARS. Cette ébauche a été approuvée par le CGSIS en 2019 avec certains commentaires à prendre en considération. La GPIS fournit aussi certaines directives sur la mesure du rendement à la phase d’analyse des options du guide sur l’ARS et précise que les stratégies de rendement doivent être mises en œuvre à la phase de surveillance des solutions de soutien.

Exemple : ARS des moteurs T56+F404

• Près de 100 pour cent des objectifs de rendement sont atteints
• Les paiements se fondent sur l’achèvement plutôt que sur les progrès
• Souplesse intégrée pour s’adapter aux nouvelles exigences de l’ARC

3 directeurs de soutien du MDN sur 5

ont mentionné que l’absence de paramètres communs fait obstacle à la mesure du succès de l’IS.

Activités prévues en matière de mesure du rendement

L’ébauche du CMR de la GPIS est bien avancée, car elle permet d’évaluer la qualité du processus d’ARS (c.-à-d. de vérifier que les exigences de soutien opérationnelles sont suffisamment définies) – ce qui constitue la base de l’élaboration de solutions de soutien optimales. Elle permet aussi de vérifier qu’une structure de CMR bien définie sera mise en œuvre et pourra être appuyée par des sources de données pratiques.

Le CMR appuie aussi l’évaluation de l’« incidence » de l’ARS, car il permet d’évaluer le rendement en fonction des quatre principes. Des indicateurs de rendement particuliers seront établis et recueillis par les équipes d’ARS et feront l’objet d’un rapport annuel. Comme l’IS est en œuvre depuis quatre ans, il est important que les données sur le rendement soient recueillies systématiquement pour appuyer l’évaluation en continu du rendement de l’ARS/de l’IS, de même que pour appuyer la prise de décision et les améliorations du programme.

Enfin, les paramètres du CMR pour l’IS peuvent servir d’« indicateurs d’état », toutefois, ils se limitent à la mesure dans laquelle ils peuvent être attribuables à l’IS. Par exemple, plusieurs facteurs externes à l’IS peuvent avoir une incidence sur la disponibilité des flottes du SMA(Mat), qui constitue la mesure du rendement actuelle pour le principe de « rendement » de l’IS.

Retour à la table des matières

5. Conclusion et annexes

5.1 Conclusions

Le MDN a réalisé des progrès vers l’obtention des résultats de l’IS escomptés depuis 2016. Les réalisations clés comprennent une meilleure compréhension par les praticiens et les gestionnaires du processus d’ARS et des principes de soutien, une meilleure collaboration et coordination avec les intervenants clés, et les premiers signes de principes de soutien optimisés. Toutefois, des problèmes liés à l’efficience – plus particulièrement le manque de ressources pour permettre aux CE et aux praticiens de réaliser les ARS – nuisent au succès du MDN. Les lacunes dans la communication de l’utilité du processus d’ARS, dans la formation des praticiens et l’appui à leur disposition, et le manque de clarté du rôle de l’industrie canadienne de défense limitent aussi la capacité d’atteindre les objectifs de l’IS. Enfin, le CMR de l’IS doit être finalisé et mis en œuvre pour mesurer le succès de l’IS dans un proche avenir.

Retour à la table des matières

5.2 Annexe A - Plan d’action de la direction

Retour à la table des matières

5.3 Annexe B - Portée de l’évaluation

Portée et responsabilités

En raison de la récente mise en œuvre de l’IS (officiellement lancée en 2016), l’évaluation couvre la période de quatre ans allant de l’AF 2016-2017 à l’AF 2019-2020.

Cette évaluation examine la pertinence (c.-à-d. le besoin permanent), l’efficacité et l’efficience des activités de l’IS. Cette évaluation porte principalement sur les activités propres au MDN, car les activités de SPAC et d’ISDE ont été jugées hors de la portée. Toutefois, la coordination et la collaboration entre les trois ministères ont été évaluées. D’autres renseignements sur l’approche, la méthode et les limitations de l’évaluation se trouvent à l’annexe D.

Contexte

Entre mars et juin 2017, une VEIS a été réalisée par le personnel du SMA(Mat) avec l’appui du SMA(Svcs Ex). L’objectif était d’évaluer les progrès réalisés dans la mise en œuvre des principes et du processus de l’IS dans les trois ministères. Comme l’IS en était encore à ses balbutiements, la VEIS a évalué la mesure dans laquelle les aspects fondamentaux étaient en place pour permettre un succès durable. Dans la mesure du possible, le rapport de la VEIS a servi de base de référence à l’évaluation, aux fins de l’évaluation des progrès réalisés dans l’IS envers l’atteinte des résultats depuis 2017.

En janvier 2018, un énoncé conjoint à l’intention des praticiens précisait que la période de mise en œuvre progressive de l’IS est terminée. Cette période comprenait un certain nombre de projets pilotes et 20 ARS. Cette année-là, l’examen des avantages de l’IS pour le MDN et les FAC a été demandé par le SMA(Mat).

Retour à la table des matières

5.4 Annexe C - Profil du programme (activités principales)

Les activités principales de l’IS comprennent les suivantes :

1. Exécution des ARS et appui

Les praticiens de soutien du MDN réalisent les ARS avec les conseils, le coaching et le mentorat fournis par les CE interministériels.

L’IS offre les ressources de soutien suivantes : un guide sur l’ARS qui explique le processus, une page GCpedia qui explique l’initiative, un cours d’introduction à l’IS, un atelier d’introduction aux ARS en personne de trois jours, un atelier pour les cadres supérieurs et une équipe de CE triministérielle pour chaque armée.

2. Politique et procédures

Apporter des améliorations à la politique et au processus en continu (p. ex., le guide sur l’ARS et l’appui aux révisions et aux améliorations apportées au document de procédures).

3. Ressourcement et perfectionnement professionnel

Affecter des ressources pour réaliser les ARS, offrir des occasions de perfectionnement professionnel et de formation (cours, ateliers)

4. Communication et mobilisation

Créer et mettre en œuvre des produits et des stratégies de communication et de mobilisation – à l’intérieur du MDN ainsi qu’avec les intervenants externes (p. ex., industrie).

5. Gouvernance

Développer et maintenir les capacités de leadership et de surveillance de l’IS au sein du MDN (gestion du programme de l’IS) et des trois ministères (c.-à-d. le CGIS au niveau des DG, le CGSIS au niveau du SMA).

Les activités liées au soutien comprennent entre autres : la maintenance, la réparation et la révision, le soutien technique, les essais et évaluations techniques, la gestion du programme de maintenance, les activités de gestion des flottes, l’acquisition de pièces, la gestion de la logistique, et la formation liée au soutien.

Retour à la table des matières

5.5 Annexe D - Approche, méthode et limitations de l’évaluation

Approche de l’évaluation

Comme l’initiative est aux premières étapes de leur mise en œuvre, l’évaluation portait sur les résultats à court terme et a permis d’établir des indicateurs prospectifs pour communiquer de l’information sur le développement et la mise en œuvre actuels et prévus de l’IS.

Résultats immédiats :

• compétences accrues pour élaborer des solutions de soutien adaptées;
• collaboration et coordination améliorées entre les intervenants;
• reconnaissance accrue de l’utilité des ARS parmi les intervenants.

Résultats intermédiaires :

• Élaboration de solutions de soutien adaptées et éclairées qui optimisent le rendement, les ressources, la souplesse et les avantages économiques.

Méthodes de collecte de données

Aux fins de l’évaluation, des sources de données multiples ont été utilisées ainsi que des méthodes de recherche qualitative et quantitative complémentaires (décrites plus en détail dans les diapositives suivantes) pour aider à assurer la fiabilité de données qui appuient les constatations :

• entrevues avec les informateurs clés;
• sondage en ligne;
• examen des documents;
• analyse de données financières et de données des Ressources humaines (RH);
• observation directe.

Méthodes de collecte de données

Les sources de données recueillies pendant la phase d’exécution de l’évaluation ont été triangulées les unes avec les autres et ont fait l’objet de vérifications auprès des responsables de programme pour assurer leur validité. La méthode de recherche utilisée pour définir la portée des évaluations et les réaliser est la suivante :

Entrevues avec les informateurs clés

L’équipe d’évaluation a travaillé avec la GPIS (et les chefs des CE dans certains cas) pour identifier les personnes à interroger et recevoir la rétroaction sur le guide d’entrevue. En tout, 31 entrevues ont été réalisées avec les groupes d’intervenants clés figurant dans le tableau ci-dessous. L’équipe d’évaluation a travaillé avec les chefs des CE pour assurer une représentation suffisante des trois armées, et des personnes choisies pour l’entrevue qui avaient la plus grande expérience de réalisation des ARS, et qui s’étaient rendues le plus loin dans le processus (c.-à-d. à la phase 3).

Sondage en ligne

Un sondage en ligne a été préparé pour les praticiens et les gestionnaires ou superviseurs de soutien du MDN et des FAC qui ont un rôle à jouer dans l’IS. Il a été conçu en consultation avec les chefs de la GPIS et des CE. L’objectif était d’évaluer le rendement de l’initiative (efficacité et efficience). Le sondage a été mené sur une période de deux semaines (du 1er au 12 juin 2020), et diffusé selon la méthode de la chaîne de commandement, à commencer par le SMA délégué (champion de l’IS), jusqu’au niveau opérationnel. Globalement, le taux de réponse a été d’environ 50 pour cent (208/~400), cependant, seulement 160 répondants ont indiqué qu’ils participaient à la réalisation ou au soutien des ARS, ce qui était une condition clé de l’évaluation. Ainsi, seules les réponses de ces 160 participants ont été utilisées à la phase d’analyse de l’évaluation. Les indications de la GPIS donnent à penser qu’une représentation adéquate a été atteinte dans les cinq groupes concernés (Directeur général – Gestion du programme d’équipement terrestre, Directeur général – Gestion du programme d’équipement maritime, Directeur général – Gestion du programme d’équipement aérospatial, Directeur général – Réalisation de grands projets [Air et Armée de terre], Directeur général – Réalisation de grands projets [Marine]).

Examen des documents

Un examen préliminaire des documents de base a été réalisé pendant la phase de planification de l’évaluation pour confirmer une compréhension approfondie du programme et servir de base à la définition de la portée, du modèle logique et de la matrice d’évaluation. Une demande d’information officielle a alors été présentée à la GPIS pour obtenir tous les documents pertinents qui aideraient à l’évaluation du programme. L’équipe d’évaluation a reçu plus de 100 documents, dont : des sites Web gouvernementaux, des rapports administratifs ministériels, des documents de programme, certains à l’état d’ébauche, d’autres dans leur version finale, des rapports externes, et les politiques et mandats applicables au programme.

Analyse de données financières et de données des RH

Un examen de données financières et de données des RH a été réalisé pour évaluer l’efficience du programme depuis son lancement officiel en 2016. L’information a été obtenue auprès des trois CE, du DPMM et de la GPIS.

Observation directe

Un membre de l’équipe d’évaluation a assisté à un atelier sur l’ARS à l’intention des cadres supérieurs donné dans le cadre du programme pour observer la méthode d’enseignement et le degré de participation ou de rétroaction des participants. Aucune autre occasion ne s’est présentée en raison des restrictions découlant de la pandémie.

Limitations de l’évaluation

Les limitations de l’évaluation et des stratégies d’atténuation employées dans le processus d’évaluation sont présentées dans le tableau suivant.

Retour à la table des matières