Chasseurs de la nouvelle génération : cadre du coût du cycle de vie

Règles et hypothèses de base

En raison des limites inhérentes à l'information (particulièrement au début), il est nécessaire de recourir à une série d'hypothèses qui limitent les éléments du projet de manière significative afin de permettre l'élaboration d'un CCV. Ces hypothèses forment un élément clé du CCV des CNG, car elles définissent les bases à partir desquelles les estimations sont élaborées. L'évaluateur des coûts doit conserver un document distinct dans lequel sont consignées toutes ces hypothèses.

Les règles de base représentent l'ensemble des contraintes qu'on a enjoint l'évaluateur des coûts d'utiliser dans l'élaboration des estimations. Les spécifications techniques peuvent être considérées comme une règle de base. Les hypothèses sont celles que l'évaluateur a utilisées pour traiter tout écart entre les détails d'un projet donné et les règles de base et l'ensemble des informations nécessaires à l'élaboration d'une estimation.

Ce document portant sur les hypothèses doit :

• déterminer les hypothèses globales et celles qui sont propres au programme, telles que l'année de base de l'estimation, y compris le calendrier et le cycle de vie;
• repérer les informations relatives au calendrier du programme en fonction des phases et de la stratégie d'acquisition;
• déterminer les contraintes relatives au calendrier ou au budget, ainsi que les hypothèses relatives à l'inflation;
• préciser le matériel que le gouvernement doit fournir ainsi que l'utilisation des installations existantes ou toute nouvelle modification ou tout nouveau développement;
• identifier l'entrepreneur principal et les principaux sous-traitants;
• déterminer les cycles de régénération de la technologie, les hypothèses sous-tendant la technologie et les nouvelles technologies devant être mises au point;
• définir la communité des systèmes patrimoniaux et des économies présumées en découlant;
• décrire l'incidence des nouvelles façons de faire des affaires;
• décrire la stratégie de maintien en service telle qu'elle est actuellement comprise et présumée.

Lorsqu'il n'existe pas d'information à ce sujet, une hypothèse doit être formulée avec l'aide du personnel du Bureau de gestion du projet (« BGP ») afin de permettre d'étayer l'établissement de la meilleure estimation des coûts. Il est primordial que l'évaluateur des coûts des CNG puisse consulter l'ensemble de la documentation portant sur le projet afin d'être en mesure d'étayer l'élaboration des hypothèses et des estimations de coûts connexes.

Limite des coûts

Comme il est énoncé à la section 3.3 ci-dessus ainsi que dans le Manuel du MDN, les limites applicables au modèle du CCV dépendent dans une large mesure de l'objectif du CCV et des besoins des principales parties prenantes. En ce qui concerne l'équipe chargée du projet des CNG, elle doit faire porter son attention avant tout sur les éléments du CCV qui contribuent directement aux CNG. Ces coûts sont inclus dans les niveaux suivants (tels qu'ils sont décrits à la section 3.3) :

• contrat;
• projet;
• coûts marginaux;
• programme.

Une comparaison avec d'autres pays partenaires du programme d'ACI a permis de déterminer que, de façon générale, les limites de coûts établies cadrent avec les exigences au niveau du programme.

• aux Pays-Bas – tous les coûts liés directement au F-35 sont pris en compte, à savoir : les coûts d'approvisionnement, d'exploitation, de maintien en service et de soutien; y compris la formation au pilotage, la nouvelle infrastructure et l'utilisation de l'infrastructure actuelle. Les paiements de soutien à l'industrie ne sont pas pris en compte.
• en Norvège – le CCV comprend tous les coûts, à savoir : les coûts d'investissement et tous les coûts d'exploitation et de maintien en service sur la durée de vie de l'avion.
• en Australie – tous les coûts directement liés au projet d'ACI sont pris en compte, à savoir : les frais d'adhésion au protocole d'entente, les coûts d'acquisition, de soutien et d'exploitation, les coûts d'infrastructure attribuables directement au programme d'ACI. De faibles montants pour les paiements de soutien à l'industrie proviennent directement du projet.

Pratiques exemplaires

• Aux fins de l'établissement de l'estimation du CCV, il convient de recourir à des SVC normalisées et adaptées au programme à l'étude, et elles doivent être appliquées de manière uniforme dans tous les aspects du projet, y compris l'appel d'offres.
• La SVC est tirée de la SRT et elle permet de faire une estimation complète de tous les coûts se situant à l'intérieur des limites désignées du programme.

Exigences actuelles du MDN / du CT

Le Manuel du MDN considère que la SRT constitue une part importante du processus de planification, à partir de laquelle une structure de l'élément de coût (« SEC ») peut être élaborée. Le Manuel du MNN considère qu'il est essentiel d'avoir un niveau minimum de détails dans la SEC pour l'analyse des coûts²⁴. Nous comprenons que la SEC doit être l'équivalent d'une SVC.

Grands principes du cadre du CCV des CNG

La pratique exemplaire veut que le CCV des CNG prévoie l'utilisation d'une SVC adaptée en vue de son application à l'ensemble des différents aspects du programme. Une SVC²⁵ comporte une décomposition hiérarchique d'un projet en des éléments administrables (c.-à-d. sous-systèmes, éléments, services et tâches) qui concorde avec celle de la SRT, mais elle comprend l'utilisation de catégories de coûts et la notion de temps. La SRT est une structure arborescente qui affiche une subdivision de l'effort et qui définit le travail nécessaire à l'atteinte d'un objectif lié à un produit fini dans son ensemble (comme un système de programme) ainsi que des objectifs secondaires, qui prévoient des dispositions pour le soutien, ou pour des sous-projets et la conclusion de contrats. Les produits peuvent comprendre des éléments physiques ou des services qui peuvent être rendus ou qui sont habilitants. La SRT définit et organise la portée globale d'un projet. La SVC peut différer de la SRT en ce sens qu'elle fait une ventilation des coûts à des niveaux plus bas pour étayer le processus d'estimation des coûts. Tous les pays partenaires du programme d'ACI qui ont répondu à notre demande de consultation semblent utiliser une SVC détaillée, qui comprend les coûts d'approvisionnement ainsi que les coûts de maintien en service et d'exploitation sur la durée de vie des appareils.

Un exemple d'une SVC de haut niveau pour les CNG a été élaboré et présenté sommairement à la Figure 12, et de manière plus détaillée à l'Annexe B.

Figure 12 - Version textuelle

Il s'agit d'un schéma fonctionnel comportant quatre couches. La première est étiquetée « 1.1 Défense (MDN et FC) » et mène à la deuxième couche : 1.1.1 CNG et 1.1.2 Autres capacités de défense.

Le bloc « 1.1.1 CNG » mène à six blocs de la troisième couche : le premier, « 1.1.1.1 étape d'identification », mène aux blocs de la quatrième couche intitulés : 1.1.1.1.1 Gestion, 1.1.1.1.2 études, analyses et simulation et 1.1.1.1.3 Autres; le deuxième « 1.1.1.2 étape de l'analyse des options », mène aux blocs de la quatrième couche intitulés : 1.1.1.2.1 Gestion, 1.1.1.2.2 études, analyses et simulation et 1.1.1.2.3 Autres; le troisième « étape de la définition », mène aux blocs de la quatrième couche intitulés : 1.1.1.3.1 Gestion, 1.1.1.3.2 études, analyses et simulation et 1.1.1.3.3 Autres; le quatrième « 1.1.1.4 « étape de la mise en œuvre (et clôture) », qui mène aux blocs de la quatrième couche intitulés : 1.1.1.4.1 Gestion, 1.1.1.4.2 études, analyses et simulation, 1.1.1.4.3 Ingénierie, 1.1.4.4 Achat sur le marché (système aérien du CNG), 1.1.1.4.5 Investissement, 1.1.1.4.6 Fabrication, 1.1.1.4.7 Intégration des systèmes, 1.1.1.4.8 Test, évaluation, essais et démonstrations au niveau du système, 1.1.1.4.9 Déploiement, 1.1.1.4.10 Ressources fournies par le gouvernement et 1.1.1.4.11 Autres; le cinquième, 1.1.1.5 « En service », mène aux blocs de la quatrième couche intitulés : 1.1.1.5.1 Opération, 1.1.1.5.2 Soutien de mission, 1.1.1.5.3 Maintenance, 1.1.1.5.4 Réapprovisionnement, 1.1.1.5.5 Formation continue, 1.1.1.5.6 Conditionnement, manipulation, entreposage et transport, 1.1.1.5.7 Maintien du soutien, 1.1.1.5.8 Remise en état et 1.1.1.5.9 Autres. Le sixième et dernier bloc, 1.1.1.6 « Phase de mise hors service », mène aux blocs de la quatrième couche intitulés : 1.1.1.6.1 Gestion, 1.1.1.6.2 études, analyses et simulation et 1.1.1.6.3 Autres.

Le bloc de la deuxième couche 1.1.2 « Autres capacités de défense » mène à quatre blocs de la troisième couche : 1.1.2.1 Personnel, 1.1.2.2 équipement, 1.1.2.3 Infrastructure et 1.1.2.4 Niveau de préparation.

Pratiques exemplaires

• Utilisation de normes en matière d'établissement de modèles de pratiques exemplaires²⁶ dans le cadre de l'élaboration et de la gestion d'outils ou de modèles de CCV.
• Le modèle et l'estimation du CCV sont soumis à un contrôle de la configuration par rapport au modèle et à l'estimation des coûts de base.

Exigences actuelles du MDN / du CT

La politique de planification des investissements du CT exige que la planification ministérielle des investissements tienne compte des coûts totaux de gérance compte tenu du cycle de vie des actifs et des services acquis²⁷, mais ne donne pas de détail sur ce que cette planification exige de manière précise. Bien qu'il ne s'agisse pas d'une politique obligatoire, l'un des éléments principaux du Guide d'établissement des coûts du CT est que « les données et les documents doivent être raisonnables, cohérents, défendables, rapprochables et à jour ». Il y est également mentionné que l'ensemble des hypothèses, processus et chiffriers qui ont été utilisés pour produire l'information sur les coûts, ainsi que les sources des données, doivent être examinés au moins tous les deux ans afin d'assurer leur validité continue²⁸. De plus, le Manuel du MDN donne de plus amples directives sur le processus d'établissement des coûts (aperçu et détails).

Grands principes du cadre du CCV des CNG

La pratique exemplaire veut que le modèle de CCV des CNG tienne compte des caractéristiques de modèle pertinentes que présentent des modèles financiers analogues. En particulier, le modèle lui-même doit présenter les caractéristiques suivantes²⁹ :

• Rigueur – Il doit tenir compte des coûts et de la relation au niveau de l'estimation des coûts (« REC ») qui conviennent au but fixé et qui sont objectifs. Il doit refléter adéquatement l'incertitude entourant les données ainsi que les risques convenus et le traitement des risques.
• Exhaustivité – Le modèle doit être jumelé à une SRT qui tient compte de tous les coûts liés au programme. Toutes les règles de base concernant les éléments de coût et les hypothèses doivent être documentées comme il se doit.
• Caractère reproductible et vérifiable – Les éléments d'une SRT doivent pouvoir être rattachés aux spécifications des systèmes. L'estimation doit être documentée à tous les égards, notamment en ce qui concerne les données de base ainsi que l'importance et les statistiques de la qualité de l'ajustement pour la REC, qui doivent également être documentées et expliquées de manière nette et précise. À partir de l'information qui lui est fournie, toute personne chargée de la révision devrait être en mesure de reprendre tous les calculs et de parvenir aux mêmes résultats.
• Traçabilité – Les données doivent pouvoir être retracées à la documentation source. La SRT cadre avec la structure de l'organisation qui effectue le travail.
• Souplesse – Il doit permettre l'utilisation de diverses techniques d'estimation à mesure qu'un programme progresse vers les différentes phases de l'acquisition.
• Crédibilité – Suivant les principes du cadre du CCV des CNG, le modèle doit pouvoir permettre d'étayer la production d'un résultat crédible. La crédibilité de ce résultat peut être renforcée grâce à des évaluations indépendantes effectuées dans le cadre d'un processus standard de contrôle de la qualité.
• Production en temps opportun – Les résultats doivent être produits dans un délai qui convient au moment choisi par les décideurs. Les conséquences éventuelles d'un délai insuffisant pour procéder à l'analyse doivent être communiquées rapidement et de façon claire aux décideurs, ainsi que les contraintes éventuelles que ce retard pourrait causer à l'estimation du CCV.

Parmi les autres grands principes du modèle de CCV, il y a lieu de mentionner les suivants : une documentation complète du modèle, assortie d'un plan de gestion de la configuration visant à assurer que le modèle demeure cohérent avec les caractéristiques susmentionnées et que les variations sont bien prises en considération et exécutées.

Pour ce qui est de l'élaboration du modèle, il existe des outils spécialisés offerts sur le marché qui permettent de procéder à l'estimation, à la gestion et à l'élaboration d'un modèle selon des pratiques exemplaires. Des outils d'application plus généralisée, comme Excel, exigent une plus grande utilisation de politiques et de procédures pour la mise en œuvre de pratiques exemplaires et, d'une façon générale, l'utilisation d'autres applications tierces (logiciels compagnons Excel).

Une comparaison avec d'autres pays partenaires du programme d'ACI a permis de déterminer que :

• aux Pays-Bas – l'analyse et la méthode d'établissement du CCV suivent la méthode de FEL-SALDO et sont préparées à l'aide d'Excel³⁰,
• en Norvège – le CCV est préparé à l'aide d'un outil en format Excel, puis les données du CCV sont transférées à un outil d'analyse du risque appelé Baseline qui permet de calculer le CCV³¹;
• en Australie – le CCV est préparé à l'aide d'un modèle de coût normalisé en format Excel bien que, à l'heure actuelle, des solutions de rechange à ce modèle soient envisagées³²;
• aux États-Unis – le bureau du Cost Assessment and Program Evaluation (CAPE) se sert d'Excel dans l'élaboration de ses estimations du CCV.

Pratiques exemplaires

• Établissement du coût de chaque élément conformément à la technique d'estimation des coûts la mieux appropriée.
• Validation de l'estimation du CCV avec les données historiques disponibles.

Exigences actuelles du MDN / du CT

Le Manuel du MDN précise que l'approche doit être logique et que les coûts doivent être raisonnables, valables, pertinents et vérifiables. Le recours à une méthode en particulier varie en fonction de la quantité et de la fiabilité des données disponibles. Par ailleurs, plus d'une méthode d'estimation des coûts peut être utilisée pour la préparation de l'estimation³³. Le Manuel du MDN indique également qu'il y a quatre méthodes d'estimation des coûts : l'approche technique, l'approche paramétrique, l'approche par analogie et l'approche basée sur l'opinion d'experts.

Grands principes du cadre du CCV des CNG

La pratique exemplaire veut que l'équipe chargée de l'établissement des coûts du CCV des CNG détermine, pour chaque élément de coût, les méthodes qu'elle se propose de suivre pour l'élaboration des coûts. Dans les premières étapes des estimations du CCV, plus d'une méthode d'estimation des coûts est utilisée (p. ex., l'approche paramétrique et l'approche par analogie) aux fins de l'établissement des coûts pour les éléments les plus significatifs. Cette façon de faire permet d'avoir un aperçu de l'exactitude relative des résultats. L'approche adoptée, de même que la méthode d'estimation des coûts utilisée, permet d'examiner :

• la faisabilité de l'obtention des données;
• la nouveauté de la technologie;
• l'analyse de l'étape du cycle de vie;
• d'autres procédures prévues.

Bien qu'il existe de nombreuses méthodes permettant de procéder à une estimation du CCV, les quatre méthodes les plus courantes sont décrites ci-dessous, et à la Figure 13 sont présentées, à titre indicatif, les circonstances dans lesquelles chacune de ces approches peut être utilisée.

• Méthode d'estimation des coûts selon l'approche technique – cette méthode permet de procéder à une estimation directe d'un élément de coût particulier au moyen d'un examen des produits composante par composante. Cette méthode est parfois appelée « méthode du bas vers le haut ».
• Méthode d'estimation des coûts selon l'approche par analogie – cette méthode permet de procéder à une estimation des coûts fondée sur l'expérience acquise avec des produits identiques ou similaires ou au moyen de la technologie.
• Méthode d'estimation des coûts selon l'approche paramétrique – cette méthode exige le recours à d'importants paramètres et variables aux fins de l'établissement des relations entre les estimations de coûts.
• Extrapolation à partir de données réelles – cette méthode repose sur la performance réelle d'un contrat et celle d'un projet aux fins de l'estimation des coûts à la clôture, y compris l'estimation de l'apprentissage réel par rapport à l'apprentissage projeté, des courbes d'apprentissage et des approches de gestion fondées sur la valeur réalisée.

Figure 13 - Version textuelle

Cette figure fait le lien entre différentes méthodes d'établissement des coûts par étape de projet/programme. Le haut du diagramme est constitué d'un rectangle où les six étapes de projet/programme sont énumérées en ordre : Identification, Analyse des options; Définition; Mise en œuvre; Clôture, Exploitation et maintien en service; Mise hors service. Sous ce rectangle se trouve un deuxième rectangle divisé en quatre zones différentes liées aux étapes du projet/programme. La zone située sous l'étape « identification » est principalement consacrée au segment analogique et en partie au segment paramétrique. La zone sous « Analyse des options » est principalement occupée par le segment paramétrique et en partie par le segment analogique. On trouve sous l'étape « Définition » une petite zone des segments ingénierie et l'extrapolation des coûts réels, mais principalement les segments paramétrique et analogique. Les zones qui se trouvent sous les étapes « Mise en œuvre » et « Clôture » sont de plus en plus occupées par les segments extrapolation des coûts réels et ingénierie, tandis que les segments paramétrique et analogique diminuent rapidement. La zone sous l'étape « Exploitation et maintien en service » est principalement occupée par les segments extrapolation des coûts réels et ingénierie, une petite partie seulement étant consacrée au segment paramétrique. Enfin, la zone sous « Mise hors service » est principalement occupée par l'extrapolation des coûts réels, une partie étant consacrée au segment ingénierie.

La pratique exemplaire veut que l'équipe chargée de l'établissement du CCV des CNG détermine, pour chaque élément de coût, les méthodes qu'elle se propose de suivre dans l'établissement des coûts. Dans les premières étapes des estimations du CCV, le recours à plusieurs méthodes d'estimation des coûts peut être nécessaire (p. ex., l'approche paramétrique et l'approche par analogie) aux fins de l'établissement des coûts pour les éléments les plus significatifs.

Pratiques exemplaires

• Collecte et normalisation des données.
• Investissements appropriés en vue de l'accroissement de la précision et / ou de la disponibilité des principaux éléments de données.
• Détermination des éléments de coût ayant une incidence significative sur le CCV global.

Exigences actuelles du MDN / du CT

Le Manuel du MDN fait référence à l'importance de recueillir des données précises et validées et énonce les trois étapes précises suivantes : identifier une source, recueillir les données et valider les données pour assurer qu'elles respectent les besoins et les attentes. Le Manuel du MDN précise qu'il faut faire tous les efforts possibles pour s'assurer que les données historiques ne comportent pas de distorsion en raison de conditions extraordinaires, comme un grand exercice ou une réfection d'équipement³⁵. Le chapitre 10 du Manuel du MDN offre également des exemples sur la façon et le moment d'appliquer des techniques de normalisation dans la préparation d'une étude de cas.

Grands principes du cadre du CCV des CNG

La normalisation est le processus selon lequel des données sont uniformisées et ajustées pour les rendre comparables à d'autres données utilisées dans l'estimation³⁶. L'exemple le plus courant est l'utilisation d'un mécanisme d'indexation visant à refléter la base de prix d'années antérieures en dollars courants à des fins de comparaison. La pratique exemplaire veut que les données soient recueillies et normalisées conformément au plan. Pour ce faire, il faut effectuer tous les ajustements logiques nécessaires, informer le gestionnaire du projet de ces ajustements au besoin, et enregistrer ces changements au moyen de mises à jour du plan. Toutes les données recueillies sont normalisées de manière appropriée aux fins de la prise en compte de questions comme les suivantes :

• l'inflation;
• le change;
• les niveaux d'activité;
• les différences entre les activités de navigation aérienne de l'aviation royale canadienne et celles des Forces aériennes des États-Unis.

La normalisation des données a comme objectif principal de faire en sorte que les données puissent être comparées de manière raisonnable ou utilisées à l'égard du CCV des CNG. Il va de soi également, compte tenu de ce qui précède, qu'il ne s'agit pas uniquement de données financières, mais de toute donnée susceptible de fournir des informations et un contexte au CCV des CNG.

À mesure qu'un système franchit différentes étapes, les données augmentent en quantité, fiabilité et en nature (c.-à-d. analogues, paramétriques ou techniques). Il y a lieu de consulter également la section 3.5 pour de plus amples explications. Il conviendrait d'y apporter une attention particulière pour que les données sur les coûts ainsi que la gestion de celles-ci puissent continuer d'évoluer. Une analyse coûts-avantages, des études de rentabilité et des concepts de soutien sont autant d'éléments qui entrent dans le cadre d'une autre analyse visant à déterminer si d'autres coûts doivent être pris en compte dans le modèle.

La pratique exemplaire veut que toutes les données soient évaluées en fonction des éléments de coût ou des tendances relatives aux coûts, et que les résultats soient comparés à des facteurs standards comme ceux qui sont obtenus au moyen d'un modèle économique.

De plus, on s'attend à ce que l'évaluateur des coûts mène des entrevues et qu'il évalue la fiabilité des données; il pourrait également consulter d'autres sources organisationnelles.

Pratiques exemplaires

• Établissement du coût de chaque élément selon la méthode d'estimation des coûts la mieux appropriée.
• Établissement du coût de la portée du projet, sans tenir compte du budget.
• Validation de l'estimation du CCV avec les données historiques disponibles et des méthodes indépendantes d'établissement des coûts.

Exigences actuelles du MDN / du CT

Selon ce qui est énoncé dans le Manuel du MDN, l'approche doit être logique et les coûts doivent être raisonnables, valables, pertinents et vérifiables. Le recours à une méthode en particulier varie en fonction de la quantité et de la fiabilité des données disponibles. Par ailleurs, plus d'une méthode d'estimation des coûts peut être utilisée dans la préparation de l‘estimation³⁷. Comme il n'existe pas de politique obligatoire pour l'élaboration d'une estimation de base, nous nous sommes fiés au Manuel du MDN pour ce qui est de l'exigence de base à considérer.

Grands principes du cadre du CCV des CNG

Une fois que la méthode appropriée a été appliquée, il convient d'entrer les données pour chaque élément de coût, en inscrivant les coûts dans la forme où ils ont été reçus; le modèle permettra la conversion des données dans la base de référence appropriée à l'intérieur du modèle. Les résultats sont échelonnés dans le temps conformément au calendrier. Il importe que l'estimation des coûts soit une représentation objective des coûts prévus par les systèmes et qu'elle cadre avec les hypothèses convenues et toute autre documentation approuvée. L'analyste des coûts doit tenir compte du budget actuel ou de tout autre autre facteur ayant trait à des critères d'abordabilité ou d'approbation du programme.

Une fois que le modèle a été exécuté, l'évaluateur des coûts doit procéder à un examen de son propre modèle d'établissement des coûts en utilisant un ensemble normalisé de procédures et d'outils afin de s'assurer de la précision des résultats. À cette étape, l'évaluateur des coûts doit déterminer et documenter les principaux éléments de coût à l'intérieur du modèle. Ces éléments de coût devront faire l'objet d'un examen plus approfondi dans les dernières étapes du processus.

L'établissement d'une documentation durant tout le processus d'établissement du modèle, y compris la documentation des mesures que l'analyste a prises pour valider le modèle à l'interne constitue une pratique exemplaire.

Pratiques exemplaires

• Réalisation d'une analyse de sensibilité.
• Documentation et communication des résultats de l'analyse de sensibilité.

Exigences actuelles du MDN / du CT

La gestion du risque est considérée comme un élément important de la planification ministérielle des investissements comme en font foi les exigences stipulées dans la Politique de la planification des investissements du Conseil du Trésor – Actifs et services acquis³⁸, et cet élément a été considéré comme une exigence minimale par rapport aux pratiques exemplaires.

De plus, nous constatons qu'un chapitre du Manuel du MDN est consacré à la gestion du risque et à l'incertitude. Le Manuel du MDN stipule qu'il est essentiel d'évaluer l'établissement des coûts du point de vue du risque et du caractère raisonnable pour déterminer si l'évaluation est valable. Le Manuel du MDN considère que l'analyse de sensibilité aide à « identifier les grandes sources d'incertitude et fournit des informations valables à l'équipe responsable du projet en soulignant les éléments qui sont sensibles aux coûts, les secteurs où des recherches plus grandes sont nécessaires pour surmonter les obstacles présentés par les coûts pour tirer un meilleur rendement du projet et les secteurs où le rendement du système peut être amélioré sans augmenter substantiellement le coût du projet ». Dans le cadre d'une analyse de sensibilité, le Manuel du MDN suggère de « décrire l'approche, les hypothèses et le modèle utilisés pour faire l'analyse de la sensibilité, de même que les facteurs qui ont été déterminés pour exiger une analyse de la sensibilité »³⁹.

Grands principes du cadre du CCV des CNG

L'analyse de sensibilité est un outil très utile aux fins de la gestion de l'incertitude et des risques liés aux coûts d'un projet. Il y a toujours un degré d'incertitude et de risque de coût lié aux estimations et aux hypothèses clés du CCV, et c'est tout particulièrement le cas dans les premières étapes de la durée de vie d'un projet. Une analyse de sensibilité permet de donner une fourchette possible des coûts les plus élevés et les plus bas en fonction d'une estimation ponctuelle et favorise la prise de décisions mieux éclairées quant à la question de savoir quelles stratégies d'atténuation du risque auraient le plus d'incidence.

Toute décision visant à modifier des hypothèses et des paramètres clés en particulier, ainsi que l'ampleur de ces modifications, doit être examinée soigneusement, et cette décision doit pouvoir être étayée comme étant une solution de rechange réaliste à l'hypothèse ou au paramètre de base.

Les variables suivantes prises en compte à l'intérieur du cadre du CCV des CNG doivent au minimum faire l'objet d'une analyse :

• les fluctuations des cours du change;
• la composition en monnaies des États-Unis / du Canada
• les indices sous-jacents (c.-à-d. liés à l'inflation, au carburant, etc.);
• le calendrier de l'approvisionnement en avions;
• les volumes de production des avions;
• la volatilité des prix;
• les courbes d'apprentissage les plus élevées et les plus basses;
• l'utilisation de carburant;
• les heures de vol;
• le nombre d'avions.

Une partie de la présente analyse comprend un examen de la question de savoir si le degré de connaissances entourant les principaux éléments de coût peut être amélioré. Les résultats de cet examen doivent être documentés.

Un bref rapport tiré de l'analyse de sensibilité peut être présenté afin de démontrer rapidement l'analyse. Ce rapport peut être illustré au moyen d'un graphique tornade, comme celui qui est illustré à la Figure 14.

Figure 14 : Graphique tornade : Analyse de sensibilité

Figure 14 : Graphique tornade : Analyse de sensibilité – version textuelle

Figure 14 - Version textuelle

Cette figure est constituée d'un graphique linéaire à cinq barres. L'axe horizontal nommé Coûts est divisé en deux moitiés, celle de gauche est étiquetée coûts inférieurs et celle de droite, coûts supérieurs. Les barres sont désignées élément 1, élément 2, élément 3, élément 4 et élément 5. Elles sont de différentes hauteurs – la hauteur indiquant le changement plausible. Les barres sont situées au-dessus et à gauche ou à droite du milieu de l'axe horizontal.

Pratiques exemplaires

• Analyse des risques et incertitudes au cours de l'élaboration de l'estimation du CCV et détermination des risques et incertitudes, dans la mesure du possible, au niveau de la répartition de l'élément de coût.
• Élaboration d'une estimation de coûts ajustée en fonction du risque (courbe en S) comme faisant partie de cet aspect de l'analyse (voir la Figure 10 ci-après).
• Examen et mise à jour des résultats d'après les commentaires reçus.

Exigences actuelles du MDN / du CT

La gestion du risque est considérée comme un élément clé pour la planification ministérielle des investissements, comme il est indiqué dans le Cadre stratégique de gestion du risque du Conseil du Trésor⁴⁰. Ce cadre stratégique renferme des énoncés d'ordre général qui précisent qu'un des principaux rôles des administrateurs généraux est de s'assurer que les principes et les pratiques de gestion du risque sont compris et intégrés aux diverses activités de leur organisation. Ce rôle est considéré comme une exigence de base, comparativement aux exigences d'application d'une pratique exemplaire.

Par ailleurs, nous constatons qu'un chapitre du Manuel du MDN est consacré à la gestion du risque et à l'incertitude. Le Manuel du MDN stipule qu'il est essentiel d'évaluer l'établissement des coûts du point de vue du risque et du caractère raisonnable pour déterminer si l'évaluation est valable. Il donne une représentation de l'estimation et de son niveau d'incertitude correspondant sous la forme d'une distribution cumulative des probabilités comme l'une des meilleures méthodes de démontrer l'incertitude d'une estimation. Pour déterminer la communication de l'estimation des coûts, le Manuel du MDN mentionne qu'«  en établissant un intervalle de confiance pour la meilleure estimation des coûts, on reconnaît que le coût réel risque de respecter la gamme des valeurs. Compte tenu de cela, l'analyste des coûts peut quantifier le risque du coût en attribuant une probabilité à un certain nombre de résultats possibles et en quantifiant les risques s'ils se produisent »⁴¹.

L'Annexe A du Manuel du MDN fournit les exemples suivants d'un intervalle de confiance pour des catégories de données  :

• ordre de grandeur approximatif – confiance < 60 %;
• ordre de grandeur approximatif / données indicatives (d'après des règles empiriques ou d'autres méthodes analogues d'établissement des coûts) – confiance variant de 60 à 70 %;
• données indicatives (basées essentiellement sur des méthodes d'établissement des coûts fondées sur une approche paramétrique) – confiance variant de 70 à 80 %;
• données substantives / indicatives (basées essentiellement sur des méthodes d'établissement des coûts fondées sur une approche technique) – confiance variant de 80 à 90 %;
• données substantives (basées essentiellement sur des méthodes d'extrapolation à partir de données réelles et des méthodes d'établissement des coûts fondées sur une approche technique) – confiance < 90 %.

Il est précisé dans le Manuel du MDN qu'au cours de l'évaluation du risque, il est important d'utiliser une méthode uniforme d'évaluation « afin que les facteurs qui sont moins apparents dans les domaines techniques et du risque rattaché au rendement puissent être examinés pour qu'on évalue leur incidence potentielle⁴² ».

Il est précisé dans la Directive sur l'approbation des projets du MDN que pour ce qui est des estimations de coûts fondés⁴³ qu'il y a lieu de fournir à une étape plus tardive aux fins de l'approbation des dépenses, le degré d'imprécision peut atteindre jusqu'à 15 % voire 20 % selon l'exhaustivité du risque lié au projet. Il est présumé que le degré d'imprécision du projet des CNG qui est au stade d'approbation préalable se situerait dans une fourchette plus élevée que celle variant de 15 à 20 %.

Grands principes du cadre du CCV des CNG

L'estimation des coûts du cycle de vie d'un projet est une prévision des coûts futurs qui se fonde sur des informations connues sur le projet au moment de l'élaboration des estimations. Dans les premières phases de la durée de vie d'un projet, la documentation y afférente est embryonnaire, les études permettant d'étoffer les besoins sont encore au stade d'élaboration, et les données disponibles sur les coûts sont plus vraisemblablement fondées sur des capacités analogues et (ou) sur l'utilisation de modèles établis suivant une approche paramétrique. C'est donc ce qui explique qu'il y ait, au cours des phases préliminaires, des incertitudes importantes et un risque lié aux coûts relativement à l'estimation du CCV.

Pour qu'il soit possible, dans le cadre du projet des CNG, de mettre en application des pratiques exemplaires dans l'analyse de l'incertitude et du risque lié aux coûts, il convient de mettre en œuvre, au cours de la phase de développement, les procédures exposées ci-après.

• La gestion du risque doit être effectuée selon la politique reconnue du MDN. En ce qui concerne les CNG, cela peut signifier qu'il faudrait soumettre les modifications apportées pour tenir compte du contexte canadien à une évaluation de l'état de préparation technique.
• Une procédure d'exploitation standard doit être élaborée aux fins de la détermination des éléments de coût du projet et des risques connexes. Cette procédure doit être mise en œuvre, et les éléments de coût et les risques connexes doivent être enregistrés aux fins de la détermination de l'incertitude et du risque global lié aux coûts.
• Il y a lieu de solliciter l'engagement des parties prenantes pour qu'ils donnent leur rétroaction sur les considérations liées au risque de coûts (la nature, le moment et la fourchette de chaque élément de coût). Il conviendrait de solliciter également, dans la mesure du possible, l'engagement des autres pays partenaires du programme d'ACI, puisque ceux-ci pourraient devoir se pencher sur des questions similaires et qu'ils pourraient alors faire part de la manière dont ils traitent ces questions.
• Le registre du risque lié au projet des CNG doit préciser quels sont les risques liés aux coûts et les incertitudes qui ont fait l'objet d'une analyse dans le cadre de l'estimation du CCV, ou dont il a été tenu compte dans cette analyse.
• Il convient de procéder à une analyse de l'incertitude de façon à ce que la probabilité associée à la réalisation de l'estimation du CCV puisse être établie. L'incertitude provient de trois sources possibles : des données limitées, l'imprévisibilité humaine et des erreurs d'observation ou d'évaluation.
• L'une des approches consiste à faire des calculs statistiques permettant de décrire l'écart associé à une relation établie par analogie ou par une estimation de coûts. L'approche la plus courante est celle qui consiste à recueillir des données sur la fourchette optimiste, la fourchette la plus probable et la fourchette pessimiste (« l'estimation en trois points ») pour l'élément de coût. On peut se servir de l'estimation en trois points et se faire une idée de la forme de distribution pour définir la distribution de probabilités à utiliser dans une simulation.
• Une distribution de probabilités cumulative, plus connue sous le nom de courbe en S (voir la Figure 10), peut présenter l'incertitude associée à diverses estimations de coûts. Une courbe en S peut être obtenue par l'application de méthodes statistiques telles que la simulation de Monte Carlo. Dans la simulation, les probabilités de l'élément de coût le plus bas sont regroupées pour produire une distribution des probabilités d'un projet dans son ensemble. La simulation de Monte Carlo peut être mise en oeuvre rapidement une fois que toutes les données ont été recueillies.
  

  

  Figure 15 - Version textuelle

  Dans ce graphique linéaire, l'axe des x est étiqueté Estimation des coûts (de zéro à un montant inconnu de dollars) et l'axe des y est étiqueté Probabilité de ne pas dépasser les coûts, de zéro à 100 pour cent. La ligne du graphique est une courbe en S, ce qui signifie qu'elle débute à l'origine, monte en dessinant une courbe de plus en plus verticale, puis change de direction pour redevenir horizontale. Le point où la courbe commence à abandonner sa tendance verticale est identifié sur le graphique et des lignes partent de ce point vers l'axe horizontal (où l'intersection est étiquetée Estimation ponctuelle) et vers l'axe vertical (où l'intersection est étiquetée Probabilité de ne pas dépasser).

  La zone sur l'axe horizontal et à droite de la ligne vers l'Estimation ponctuelle est accompagnée de la légende « Répercussions financières liées à un pourcentage plus élevé de probabilité ». De la même façon, la zone sur l'axe vertical et au-dessus de la ligne vers Probabilité est intitulée « Probabilité que les coûts dépassent l'estimation ponctuelle ».

• Les distributions de probabilités sont modélisées en fonction de divers types d'incertitudes (à savoir, des programmes, des données techniques, des aspects organisationnels, la gestion de programmes incluant une estimation des coûts et un calendrier).
• Il faut tenir compte de la corrélation entre les éléments de coût afin de bien pouvoir cerner les risques. Étant donné que différents éléments de coût d'une SVC peuvent être touchés par les mêmes facteurs externes, il existe donc un certain niveau de corrélation entre eux.
• Le registre du risque lié au projet des CNG doit présenter quels sont les risques liés aux coûts et les incertitudes qui ont fait l'objet de l'analyse de l'incertitude susmentionnée, ou dont il a été tenu compte dans cette analyse, et qui permettent une répartition des éventualités adéquate afin d'atténuer le risque.
• Établir une estimation ajustée en fonction du risque à partir de l'analyse ci-dessus, dans le but d'établir un intervalle de confiance qui correspond au seuil de tolérance au risque du gouvernement.
• Selon l'état d'avancement du projet, l'estimation ajustée en fonction du risque peut servir à établir le budget initial, ou encore à évaluer si le budget existant est approprié ou si des activités de réduction du risque / des coûts doivent être entreprises. Un budget a déjà été préparé relativement au projet des CNG.

Intervalle de confiance approprié dans le cas d'une estimation ajustée en fonction du risque

« Aucun intervalle de confiance en particulier n'est considéré comme une pratique exemplaire, fait remarquer le GAO, et les experts s'entendent pour dire que le budget relatif aux estimations de coûts d'un programme devrait être établi en fonction d'un intervalle de confiance d'au moins 50 %, mais l'établissement d'un budget à un niveau plus élevé (par exemple, un intervalle de 70 à 80 %, ou la moyenne) est désormais pratique courante. »⁴⁴ Le GAO indique que la moyenne de cette répartition chute à un intervalle variant de 55 à 65 %, les projets comportant un risque plus élevé se situant à la limite supérieure de cet intervalle.

Dans son rapport d'examen sur UK Defence Acquisitions⁴⁵, Bernard Gray recommandait un intervalle de confiance de 90 % pour le financement afin d'aborder le problème de sous-estimation systématique durant les premières phases d'un projet. Nous croyons comprendre que le Royaume-Uni opte maintenant pour un intervalle de confiance pour le financement de projets se situant entre 50 % et l'intervalle recommandé de 90 %, ce qui correspond à peu près à un intervalle de 70 %. Les coûts liés au programme d'ACI sont présentés par le bureau du programme d'ACI dans le rapport SAR 11 en fonction d'un intervalle de confiance de 50 %⁴⁶. Nous comprenons aussi que la NASA est tenue de financer des projets en fonction d'un intervalle de confiance de 50 %, mais le budget du programme dans son ensemble doit être fixé à un intervalle de confiance de 70 %⁴⁷. La Norvège a indiqué qu'elle fournirait un coût cible pour le projet en optant pour un intervalle de confiance de 50 %, tel qu'il est défini dans les analyses du risque, alors que le budget approuvé par le Parlement prévoit un intervalle de confiance de 85 % (y compris la provision pour risques). Les budgets annuels sont établis selon un niveau annuel de P-50.

Pratiques exemplaires

• Documentation des estimations.
• La documentation du modèle doit être un processus continu qui est effectué à chacune des étapes du processus.

Exigences actuelles du MDN / du CT

Le Guide d'établissement des coûts du CT mentionne que les ministères devraient documenter l'ensemble des hypothèses, processus et chiffriers qui ont été utilisés pour produire l'information sur les coûts⁴⁸.

Comme il est mentionné précédemment dans le présent document, le Manuel du MDN suggère que le processus d'établissement des coûts soit documenté de façon claire durant tout le processus, y compris la documentation portant sur :

• les hypothèses et les limites de coûts;
• la SVC et la SRT;
• la méthode d'évaluation des risques;
• le processus d'analyse de la sensibilité⁴⁹.

Grands principes du cadre du CCV des CNG

La documentation est une exigence primordiale d'un modèle d'établissement de coûts. La documentation est une activité continue qui vise à faire en sorte qu'aucune décision ou hypothèse importante ne soit échappée.

Le processus de documentation doit répondre au minimum aux critères suivants :

1. documenter le modèle de façon telle qu‘un autre analyste des coûts qui ne connaît pas le programme soit en mesure de le recréer rapidement et d'obtenir les mêmes résultats;
2. créer un sommaire qui fournit suffisamment d'explications pour qu'un non-spécialiste de l'établissement du modèle de coûts puisse comprendre les coûts et les hypothèses sous-jacentes.

La documentation doit fait l'objet d'un examen régulier par d'autres membres de l'organisation du CCV, ce qui permet d'assurer qu'elle demeure à jour et qu'elle convient au but fixé.

L'un des aspects essentiels de cette tâche consiste à présenter le degré d'incertitude inhérente de l'estimation. Le rapport sur les coûts comprend la présentation d'une courbe en S qui illustre l'intervalle de confiance de l'estimation de base courante et le budget actuel ainsi que l'estimation des coûts ajustée en fonction du risque. D'autres aspects du rapport couvrent les détails nécessaires à la présentation du rapport aux parties prenantes externes (autres que le MDN).

Pratiques exemplaires

• Réalisation d'un examen indépendant du modèle / de l'estimation du CCV.

Exigences actuelles du MDN / du CT

Il est précisé dans le Manuel du MDN que toutes les propositions doivent passer par un processus de validation des coûts dans le cadre duquel une analyse indépendante est effectuée afin d'assurer que les aspects suivants sont englobés dans l'analyse  :

• s'assurer que tous les risques financiers sont connus et visibles;
• comprendre les répercussions financières des décisions avant que ces dernières ne soient prises;
• rendre compte des résultats financiers;
• se protéger contre la fraude, la négligence financière, la violation des règles ou des principes financiers et les pertes de biens ou de deniers publics⁵⁰.

4.3.5.4.1 Grands principes du cadre du CCV des CNG

Il est recommandé d'entreprendre une EIC pour les CNG dans le cadre d'un processus d'examen, en raison de sa complexité, de son envergure et de son importance stratégique. Le processus d'EIC est couramment utilisé pour des projets plus importants et plus complexes au ministère de la Défense des États-Unis et à celui du Royaume-Uni.

Les questions à prendre en considération dans le cadre d'une EIC sont exposées ci-après.

• L'organisation (ou le groupe) chargée de l'estimation des coûts est indépendante de l'organisation d'origine chargée de l'estimation des coûts.
• L'organisation indépendante chargée de l'estimation des coûts doit compter dans ses rangs des évaluateurs des coûts qualifiés et expérimentés bénéficiant du soutien de l'organisation.
• L'évaluateur des coûts indépendant dispose des mêmes accès aux données.
• L'évaluateur des coûts indépendant doit suivre la méthode approuvée par le MDN et le SCT pour le CCV des CNG.
• L'évaluateur des coûts indépendant doit produire un rapport autonome du CCV qui est adapté à l'auditoire visé (habituellement la haute direction).
• Une fois que l'EIC est terminée, l'équipe chargée de l'établissement des coûts du projet et l'organisation indépendante chargée de l'établissement des coûts doivent documenter tous les écarts et toutes les erreurs de fait (s'il y a lieu).
• Un rapport définitif sur la corrélation du CCV est produit et approuvé à la fois par l'évaluateur des coûts indépendant et par le BGP, rapport dans lequel sont signalés les écarts et les raisons motivant les écarts entre les deux estimations.
• Le modèle de CCV des CNG doit alors être mis à jour, au besoin, pour tenir compte de toutes les suggestions que l'examen indépendant a apportées.
• L'EIC est entreprise au cours de la phase de définition à l'appui des décisions concernant le projet et les autorisations de dépenses à cet égard.

En comparant les pays partenaires du programme d'ACI, nous constatons que pour la Norvège, les estimations de coûts des F-35 sont passées en revue tous les ans par une tierce partie indépendante. Les Pays-Bas font faire également un examen sur une base annuelle par l'agence d'audit du ministère de la Défense. Par ailleurs, la cour d'audit des Pays-Bas publie un rapport annuel indépendant sur le projet. Aux États-Unis, le CAPE entreprend une ECI pour les ACI. En Australie, la Defence's Cost Analysis Branch entreprend un examen indépendant du CCV des ACI avant de le soumettre au gouvernement, et au Royaume-Uni, le Cost Analysis and Assurances Services organisation effectue des examens indépendants du projet d'ACI.

Structure de rapport

Parmi les pratiques exemplaires, il faut citer le recours à une structure de rapport d'analyse du CCV standard censée relever les principales questions liées aux coûts présentées d'une manière concise, factuelle et facilement compréhensible. Le rapport comprend des détails pertinents pour la prise décision, notamment l'intervalle de confiance quant au coût, les risques et incertitudes, les résumés d'analyses comme les analyses de sensibilité, de risques et d'abordabilité, des recommandations et des conclusions. Le rapport ne part pas du principe que le lecteur a une compréhension approfondie des principes du CCV, et il faut porter une attention particulière au terme « incertitude ».

Présentation d'informations sur l'intervalle de confiance (voir également la section 3.5)

Le principal point d'intérêt du CCV pour les décideurs est le coût réel et le niveau d'incertitude lié à ce coût. Les fins pour lesquelles le décideur utilise ces informations pourraient avoir une incidence importante sur ces deux éléments.

À titre de directive générale, les décideurs qui appuient leurs décisions sur les budgets ou l'approbation de financement doivent s'intéresser particulièrement au niveau de coûts sur lequel ils ont un pouvoir direct ainsi qu'à un calendrier conforme à leurs responsabilités budgétaires.

Pour établir une référence pour la prise en compte de l'estimation de base et du budget de projet (base de référence et éventualités), il est recommandé de présenter ces coûts par rapport à une série d'intervalles de confiance susceptibles de fournir des points de référence pour le décideur.

Un budget a été approuvé pour le projet des CNG. Nous croyons que ce qui constitue le plus grand intérêt pour les décideurs, c'est l'abordabilité. Si le budget du projet actuel chute sous la barre d'un intervalle de confiance de 50 %, le projet doit être considéré comme présentant un risque élevé de financement inadéquat. En fonction de l'analyse ci-dessus, et compte tenu des pratiques en vigueur aux États-Unis, au Royaume-Uni et en Norvège, le décideur aura un niveau de confiance plus élevé si le budget est fixé à un intervalle de confiance au moins égal ou supérieur à 50 %.

Au besoin, le décideur pourrait établir un intervalle de confiance prescrit pour un projet, et des options devraient être prévues en vue de son atteinte. Par exemple, il peut prescrire un intervalle de confiance de 65 % afin de tenir compte des conditions globales du projet à ce stade du cycle. Dans ce cas, le MDN serait tenu de présenter deux études de cas. La première étude de cas présenterait un CCV qui refléterait les exigences actuelles dont il a été convenu et une autre étude de cas qui refléterait le budget actuellement approuvé en fonction de l'intervalle de confiance prescrit. Ces données peuvent être présentées sous forme de graphique (illustrées à la Figure 16).

Période visée par le rapport

Le calendrier de l'analyse du CCV est établi en fonction des objectifs du décideur. Le calendrier du cycle de vie s'étend de la phase de développement à la phase de mise hors service. Cependant, des délais courts sont appropriés dans les cas où le décideur ou la partie prenante n'exige pas de telles informations. Par conséquent, le calendrier de présentation peut varier d'un usage à l'autre, mais chaque analyse du CCV s'appuie sur une source unique et cohérente d'informations qui peut s'y rattachée.

Sommaire

En résumé, la pratique exemplaire veut que les estimations de coûts soient préparées en fonction d'un intervalle de confiance d'au moins 50 %. La pratique exemplaire dicte aussi que les présentations portant sur le financement et la planification du budget doivent être préparées en fonction d'un intervalle de confiance plus élevé, vraisemblablement un intervalle se situant dans une fourchette de 70 à 85 %. Le choix des intervalles de confiance appropriés et de la période visée par le rapport pendant les différentes phases du projet repose sur le jugement de la direction, qui doit tenir compte de certains facteurs, notamment l'objectif visé par l'utilisation de l'estimation des coûts, la qualité des données disponibles et d'autres facteurs pertinents.

Figure 16 - Version textuelle

La figure « Seuil de confiance prescrit à X % et à y millions de dollars » montre un axe horizontal comportant trois points d'ancrage : Estimation faible (seuil de confiance de 10 %), Estimation médiane (seuil de confiance de 50 %) et Estimation élevée (seuil de confiance de 90 %). Entre le point faible et le point médian se trouve un autre ancrage nommé « Estimation de base – seuil de confiance de x %) ». Entre le point médian et le point élevé se trouve un cinquième ancrage « Budget approuvé – seuil de confiance de X %).

Sous la ligne figurent trois niveaux de blocs. Le bloc « Disponible pour éventualités x millions de dollars = x % » est centré et sous le point médian.

Au deuxième niveau se trouvent deux blocs qui sont suivis d'une flèche à deux têtes de la longueur de l'axe. Le premier bloc qui occupe la zone allant du point faible au point médian sur l'axe est intitulé « Stratégies clés pour gérer les risques et réduire/limiter les coûts ». Sous le point médian jusqu'au point élevé de l'axe, on voit un autre bloc : « Principaux risques susceptibles d'augmenter les coûts ». Au-dessous de la flèche à deux têtes figure un autre bloc qui s'étend sur toute la longueur de l'axe « Principales hypothèses sous-tendant l'estimation non incluses dans l'analyse du risque/de l'incertitude ».