ARCHIVÉE - Mise à jour annuelle 2014 du Ministère de la Défense nationale : Examen indépendant du coût du cycle de vie de la capacité de la prochaine génération de chasseurs

Table des matières

Liste des acronymes

1. Sommaire
2. Renseignements généraux
   • 2.1 Contexte
   • 2.2 Objectif et portée
     • 2.2.1 Limites de la Portée
   • 2.3 Limites du Rapport
   • 2.4 Grands principes du Cadre
   • 2.5 Approche
3. Observations découlant de l'examen indépendant
   • 3.1 Planification du CCV CPGC
   • 3.2 Limites et hypothèses
     • 3.2.1 Limites des coûts
     • 3.2.2 Règles de base et hypothèses
   • 3.3 Modèle17 3.3.1 Structure de ventilation des coûts
     • 3.3.2 Modèle
     • 3.3.3 Méthodes d'établissement des coûts
   • 3.4 Données, alimenter et documenter le Modèle
     • 3.4.1 Collecte de données et normalisation
     • 3.4.2 Estimation de base
   • 3.5 Examen, analyse et mise à jour
     • 3.5.1 Analyse de sensibilité
     • 3.5.2 Analyse des risques et des incertitudes
     • 3.5.3 Documentation des résultats
     • 3.5.4 Documentation du Modèle
     • 3.5.5 Assurance relative au CCV
   • 3.6 Interpréter et faire rapport des résultats
   • 3.7 Gens et Organisation
     • 3.7.1 Équipe estimatrice de la CPGC
     • 3.7.2 Rôle de la certitude des coûts
   • 3.8 Examen comparatif
   • 3.9 Planification du CCV CPGC
4. Conclusion
5. Annexe A | Sommaire des Recommandations de l’examen indépendant de 2013 et 2012
   • 5.1 Recommandations de l’examen indépendant de 2013
   • 5.2 Recommandations de l’examen indépendant de 2012
6. Annexe B | Liste des documents examinés

Liste des acronymes

Sommaire

Les services de Raymond Chabot Grant Thornton Conseil Inc. (RCGT) ont été retenus par le Secrétariat national d'approvisionnement en chasseurs (SNAC) pour entreprendre un examen indépendant de la Mise à jour annuelle 2014 du Ministère de la Défense nationale (MDN) sur la capacité de la prochaine génération de chasseurs (CPGC): examen indépendant du coût du cycle de vie (CCV) pour vérifier les hypothèses et estimations des coûts, notamment leur concordance avec le Cadre du coût du cycle de vie (" le Cadre ") élaboré en 2012.^[1] Ce rapport présente les observations et recommandations issues de l'Examen indépendant de 2014.

L'objectif de l'Examen indépendant visait à évaluer si le Cadre a été mis en application de façon appropriée. Ce processus incluait d’évaluer si les estimations de coût et tous les changements aux hypothèses sous-jacentes, validés dans la Mise à jour annuelle 2014^[2], étaient calculés et présentés de façon cohérente avec le Cadre. L'examen n'a pas évalué la pertinence ou l'exactitude des données de base sur lesquelles repose l'estimation du CCV.

L'Examen indépendant visait à évaluer les processus, les procédures et la documentation des processus CCV du MDN par rapport au Cadre. Le Cadre comprend les principes clés portant sur la planification, la durabilité et l’amélioration continue des processus d’estimation des coûts et des outils du MDN. Le processus d'examen incluait un :

• examen des estimations dans la Mise à jour annuelle 2014;
• examen du Modèle utilisé pour calculer les estimations de 2014; et
• un examen comparatif de l'approche d'estimation du CCV de 2013 et 2014.

Notre examen indépendant de la mise en application du Cadre par le MDN n'a pas révélé de dérogation au Cadre ou grands principes qui auraient entraîné des changements importants à l'estimation globale du CCV. Par contre, nous avons identifié une (1) zone d’observation importante relative aux éventualités au titre des coûts d’acquisition.Tel que démontré dans le tableau ci-dessous, le total des éventualités au titre des coûts d’acquisition de 1,080 millions de dollars a été établi par l’analyse des risques. Seuls 76 millions de dollars de cette éventualité ont été inclus dans l’estimation du CCV afin de respecter l’enveloppe bloquée d’acquisition. Il existe donc un déficit de 1,004 millions de dollars pour les éventualités.

La Mise à jour de 2014 indique que « si le montant total dédié aux éventualités est requis, le déficit restant pourrait être respecté en achetant moins d’avions. » [3] Cependant, des analyses de sensibilité pour examiner l’impact sur l’estimation du CCV si le Canada choisissait de réduire le nombre d’avions achetés n’ont pas été effectuées. Nous avons identifié la recommandation suivante à ce sujet.

En plus de la recommandation relative à la concordance des estimations du CCV avec les principes du Cadre, RCGT a identifié une (1) occasion pour l’amélioration, tel que décrite dans le tableau suivant. Cette recommandation n’est pas liée à des écarts significatifs par rapport au Cadre.

L'évaluation globale du processus de CCV CPGC démontre que le MDN a fait des progrès importants depuis l’Examen indépendant de 2013 pour améliorer et mettre au point ses processus et méthodes. Le MDN a réalisé des actions substantielles dans le but de répondre aux recommandations des Examens indépendants de 2012 et 2013 et a pleinement répondu à plusieurs recommandations. Il y a des améliorations additionnelles qui pourraient être faites, mais elles sont principalement le reflet du niveau de maturité du processus de CCV CPGC, reconnaissant que le projet CPGC demeure dans la phase de l'analyse des options. Dans la période intérimaire entre la Mise à jour annuelle de 2014 et la Mise à jour annuelle de 2015, le MDN devrait se concentrer à traiter le reste des recommandations des Examens indépendants de 2012 and 2013 (voir la section 4 et l'Annexe A) ainsi que les recommandations fournies par l'Examen indépendant de 2014.

2. Renseignements généraux

2.1 Contexte

Le 3 avril 2012, le vérificateur général du Canada a présenté son rapport du printemps 2012 au Parlement, identifiant des préoccupations avec la façon dont l'information clé relative à la capacité de la prochaine génération de chasseurs était élaborée et présentée aux Canadiens et Canadiennes. Le rapport recommandait que le coût estimatif de la capacité du chasseur F-35 soit plus précis pour inclure tout le coût du cycle de vie et que l'estimation de coût soit rendue publique. Le gouvernement a accepté la recommandation du vérificateur général et a lancé un Plan à sept volets^[4] pour donner suite à ce rapport.

Le gouvernement, par l'entremise du SNAC au sein de Travaux publics et Services gouvernementaux Canada (TPSGC), s'est engagé à assurer qu'une diligence raisonnable soit exécutée tout au long de la mise en ɶuvre du Plan à sept volets.

Dans le cadre du Plan à sept volets, le Secrétariat du Conseil du Trésor (SCT) a commandé un examen indépendant^[5] qui incluait l'élaboration d'un Cadre du coût du cycle de vie de la CPGC^[6]. Ce Cadre, terminé en novembre 2012 était conçu pour fournir au MDN une orientation claire pour l'estimation et le rapport cohérents du CCV CPGC.

Le Ministère de la Défense nationale fournira des mises à jour annuelles au Parlement. Ces mises à jour seront déposées dans un délai maximum de 60 jours de la réception des prévisions de coût annuelles du Bureau de Programme interarmées pour les chasseurs, débutant en 2012.

La première mise à jour^[7] du MDN sur le CCV CPGC a été terminée en décembre 2012. Un examen indépendant de la mise à jour annuelle 2012 a donné huit (8) recommandations pour des améliorations à l'approche d'estimation du CCV CPGC. En août 2013, le MDN a préparé une deuxième Mise à jour qui a été examiné de façon indépendante par RCGT et qui a entrainé six (6) nouvelles recommandations. (voir Annexe A) ^[8]

Les services de RCGT ont été retenus par le SNAC pour effectuer un examen indépendant de la Mise à jour annuelle de 2014 sur le CCV CPGC, pour vérifier les hypothèses et les estimations de coût, notamment leur concordance au Cadre. Ce rapport présente les observations et recommandations découlant de l'Examen indépendant de 2014.

2.2 Objectif et portée

L'objectif de l'Examen indépendant visait à évaluer si le Cadre était mis en application de façon appropriée. Cet examen indépendant visait à évaluer si les estimations de coût et tous les changements aux hypothèses sous-jacentes, validés dans la Mise à jour annuelle de 2014, étaient calculés et présentés de façon cohérente avec le Cadre de CCV CPGC publiée en novembre 2012.

2.2.1 Limites de la Portée

Bien que RCGT a évalué si les sources de données ont été documentées de façon appropriée et validées par le MDN, notre examen n'a pas évalué la pertinence et l'exactitude des données sources sur lesquelles l'estimation du CCV sont fondées. Par exemple, l'information sur le calcul du coût fournie par le Bureau de Programme interarmées (BPI) n'était pas assujettie à la validation (c.-à-d., RCGT a accepté les chiffres tels que fournis et n'a pas validé l'exactitude des hypothèses de calcul de coût sous-jacentes à l'information.

L’examen des options mené dans le cadre du plan en sept points du gouvernement n’a pas été considéré lors de l’examen indépendant.

2.3 Limites du Rapport

Le but de ce rapport est d'informer la prise de décision du MDN, de SNAC et du SCT et d'appuyer la Mise à jour annuelle du CCV CPGC 2014 du MDN au Parlement. Aucune partie ne devrait agir sur les contenus de ce rapport sans avoir effectué d'autres analyses. Le MDN, le SCT et le gouvernement du Canada sont responsables des décisions prises relatives au Programme de CPGC. RCGT décline toute responsabilité à l'égard de tiers qui ferait l'utilisation de ce rapport. Les avantages et coûts ultimes réalisés par la mise en ɶuvre d'un plan pour acquérir une flotte d'avions F-35, seront basés sur les événements futurs et les décisions du gouvernement, qui peuvent mener à des variances importantes des estimations incluses dans ce rapport.

L'examen a été constitué d'activités spécifiques convenues par le MDN et le SNAC. L'examen a évalué la conformité de l'estimation du CCV CPGC au Cadre, se fiant sur l'information fournie par le MDN. RCGT n'a pas effectué un audit de l'estimation et, par conséquent, ne fournit aucune assurance ou n'exprime aucune opinion sur les estimations de coût. De plus, l'incapacité d'examiner les limites de l'Énoncé des besoins (ÉB), et de conclure si le Modèle de Structure de ventilation de coûts (SVC) inclut tous les besoins en matière de capacité du projet.

Les lecteurs de ce rapport devraient considérer le document dans son intégralité. La sélection ou l'utilisation de certains éléments du rapport peuvent donner lieu à une fausse interprétation de l'information fournie. RCGT n'acceptera aucune responsabilité pour de telles interprétations.

RCGT se réserve le droit, mais n'est pas tenu d'examiner ou de réviser toutes les constatations, tous les calculs et toutes les recommandations contenus dans le rapport, et si nous le jugeons nécessaire, à la lumière de toute information portée à notre connaissance après la date du rapport.

2.4 Grands principes du Cadre

Le Cadre établit sept (7) grands principes pour guider le MDN à atteindre les résultats de l'estimation requis par les multiples décideurs et intervenants. Les critères d'examen utilisés par RCGT durant l'examen indépendant sont conformes aux principes suivants :

Planification du CCV CPGC

Élaborer un plan pour assurer que le Modèle du CCV CPGC répond aux

Limites et hypothèses

Des limites bien définies et convenues sont établies. Les règles de base

Élaborer le Modèle

Une Structure de ventilation des coûts (SVC) est élaborée qui représente le total au titre du Programme. Le Modèle élaboré est conforme avec les principales pratiques et appuie la

Données, alimenter et documenter le Modèle

Les données sont colligées et normalisées.

Examiner, analyser et mettre à jour

Entreprendre des analyses de sensibilité, de risque et d'incertitude et élaborer des estimations de coûts ajustées aux risques. Les résultats sont établis et documentés. Des activités indépendantes de certitude de coût sont entreprises et des ajustements nécessaires sont faits au Modèle du CCV CPGC.

Interpréter et faire rapport des résultats

Des rapports d'objet ciblés sont élaborés pour les décideurs et intervenants conformément aux lignes directrices prescrites.

Gens et Organisation

L'équipe estimatrice de la CPGC est composée d'une organisation professionnelle d'établissement de coûts, appuyée par des outils, des techniques et méthodes standards. Le rôle de certitude de coût est intégré au processus avec des politiques appropriées pour assurer une approche non partisane.

2.5 Approche

La première étape de l'examen était de comprendre le Cadre, les changements clés apportés au Modèle du CCV depuis l’examen indépendant de 2013 et la Mise à jour annuelle 2014, ainsi que toute documentation d'appui initialement fournie par le MDN. L'équipe de RCGT a aussi assisté à un atelier organisé par l'équipe d'établissement des coûts, pour une revue générale du Modèle du CVV 2014.

À mesure que l'information était disponible par le MDN, RCGT a examiné le Modèle finalisé, l'ébauche de la Mise à jour annuelle de 2014 et la documentation d'appui afférente (énumérée à l'Annexe B) pour :

• examiner les données, les hypothèses et analyses de coût pour déterminer si elles étaient conformes aux principes définis dans le Cadre;
• examiner les données, les hypothèses et analyses de coût pour la pertinence, la rationalité et l'exactitude;
• examiner si les données de coût ont été élaborées en utilisant l'information d'évaluation des coûts la plus récente et à jour, fournie par le BPI et autres fournisseurs de données sources; et
• analyser et résumer les résultats.

L'examen des estimations du CCV voulait déterminer si :

• chaque composante de l'estimation pouvait être rattachée à la documentation source appropriée, se conformait aux exigences et hypothèses relatives à la capacité du projet, et si une méthode de calcul appropriée avait été choisie;
• les estimations de coût et les hypothèses connexes étaient documentés, communiquées et appliquées de manière uniforme;
• les estimations sont issues des besoins en matière de capacité du projet et sur une structure de ventilation des coûts (SVC) détaillée et appropriée à ce stade-ci du projet de la CPGC;
• tous les éléments de coûts pris en compte dans les estimations étaient conformes à l'objectif et aux exigences en matière de capacité qui sont décrits dans le Mandat du Projet de la CPGC du MDN, la SVC et les règles de base et les hypothèses, et s’ils ne sont ni omis ni comptés en double.
• les données sous-jacentes avaient été correctement tirées des meilleures informations disponibles et avaient été correctement normalisées/ajustées en fonction des coûts techniques de base et de l'inflation d'après les lignes directrices appropriées; et
• la normalisation/l'ajustement et le calendrier de l'estimation de coûts étaient logiques, exactes et appliquées de manière uniforme.

L'examen du Modèle incluait un^[9] :

• examen détaillé de toutes les données de coûts entrées dans le Modèle en les réconciliant à la documentation à l’appui; et
• échantillon de toutes les formules du Modèle pour vérifier qu'elles sont appliquées de manière uniforme dans le Modèle et l'identification d'erreurs possibles;

En plus, un examen comparatif de l'approche de l'estimation du CCV 2014 à l'approche de l'estimation du CCV 2013 a été effectué, qui incluait :

• examiner les règles de base et les données des hypothèses pour identifier tout changement dans les hypothèses globales entre les Mises à jour de 2013 et 2014;
• examiner le journal des modifications du Modèle afin de mieux comprendre les modifications dans la structure ou la méthodologie entre les Mises à jour de 2013 et 2014;
• examiner la comparaison de l’estimation du CCV du MDN par rapport à l’an dernier afin de confirmer que toutes les modifications apportées à l’estimation du CCV inclues dans la comparaison ont pu être retracées jusqu’au journal des modifications du Modèle; et
• examiner un échantillon d’itérations du Modèle afin de retracer la comparaison de l’estimation du CCV jusqu’ aux modifications réelles dans le Modèle.

3. Observations découlant de l'examen indépendant

L'examen indépendant de l'Estimation a compris une évaluation de la portée, des hypothèses et des calculs qui la sous-tendent. Les critères d'examen sont tirés des politiques du Conseil du Trésor pertinentes et des outils de politique connexes du gouvernement du Canada, des pratiques exemplaires applicables désignées dans le Cadre. Pour faciliter la comparabilité d'année en année, RCGT a appliqué les mêmes critères de réexamen utilisé dans l'Examen indépendant de 2013.

Les principales observations liées à chaque critère de réexamen sont résumées ci-dessous :

En plus du Cadre, notre examen a inclus une analyse comparative de l'approche d'estimation utilisée en 2014, à l'approche utilisée l'année précédente. Cela a fait l'objet d'un examen plus loin dans la Section 3.8.Le tableau ci-dessous résume les estimations de 2014 du MDN, basées sur l'application du Cadre. Les coûts actuels vont varier des estimations, au fil du temps, et ces variances peuvent être significatives.

3.1 Planification du CCV CPGC

Principe

Élaborer un plan pour assurer que le Modèle du CCV CPGC répond aux besoins de tous les utilisateurs éventuels et conforme au Cadre du CCV.

La planification est une étape importante pour assurer que l'équipe d'établissement des coûts accomplit avec succès ses tâches et son travail efficacement vers les objectifs. Tel que prévu dans le Cadre, nous nous attendions à ce que le plan du projet du CCV expose les éléments clé du projet, tels que la portée, l'objectif, le calendrier, les données, les méthodes d'établissement des coûts et l'assurance de la qualité. Le rapport sur les coûts de CPGC^[13] contient des éléments d’un Plan du CCV conformément au Cadre et comprend un contexte de haut niveau, une méthodologie et des résultats d'estimation de coûts. Il incluait aussi le but du Modèle, les entrées et résultats de haut niveau, la SVC et la méthodologie d'établissement des coûts au niveau de l'élément de coût pour chaque phase du CCV.

En général, le rapport sur les coûts de CPGC est un document bien élaboré qui sert comme un rapport de résultats préliminaires, expliquant le travail terminé et résumant les estimations de coût, notamment les principales hypothèses et le détail des coûts. Cependant, le Plan du CCV n'inclut pas un plan directeur avec des besoins en ressources et étapes clés. Nous avons observé des éléments probants des documents de plan de travail^[14] du MDN qui incluaient des tâches liées au CCV CPGC. De plus, la configuration de la documentation de planification est systématiquement contrôlée par l'entremise du processus et des procédures de la DSEF du MDN.

3.2 Limites et hypothèses

Principe: Des limites bien définies et convenues sont établies. Les règles de base et hypothèses sont comprises et convenues. La documentation du projet est aisément disponible et forme la base pour les coûts.

3.2.1 Limites des coûts

Le Cadre du CCV précise que les limites de coûts devraient inclure tous les coûts de l'initiation à l'aliénation des biens au niveau du Programme. Le Cadre définit les coûts au niveau du Programme comme coûts « liés à tout groupe de ressources et d'activités, et leurs résultats directs connexes, poursuivant un objectif ou un ensemble d'objectifs. Un programme peut inclure divers projets à diverses époques » ^[15].

En examinant le Modèle et le rapport sur les coûts de CPGC, nous avons constaté que les limites de coûts sont bien définies et convenues. Nous avons constaté que le Modèle tenait compte des coûts engagés jusqu'au niveau du Programme, de l'étape de l'élaboration du Projet jusqu'à la phase d'aliénation du projet CPGC. Le Modèle présume une durée de vie de 30 ans pour chaque avion à compter de sa livraison.^[16]

Notre examen de la limite des coûts n'a révélé aucune divergence dans l'application du Cadre par le MDN.

3.2.2 Règles de base et hypothèses

Étant donné que le projet est encore à un stade précoce, le Cadre précise que « il est nécessaire d'utiliser un ensemble d'hypothèses qui restreignent les éléments du projet d'une manière cohérente afin de permettre l'établissement du CCV. Ces hypothèses sont un élément clé du CCV CPGC car elles définissent la base sur laquelle les estimations sont établies ». L'équipe d'établissement des coûts devrait par conséquent maintenir un document séparé enregistrant toutes les hypothèses et garder les informations à l'appui pertinentes. Les hypothèses et tout changement subséquent devraient continuer à être examinés et approuvés par les intervenants appropriés.

Les règles de base et hypothèses ont été documentées par l'entremise des annexes du Plan du CCV, la Mise à jour annuelle et les documents séparés spécifiques aux règles de base et hypothèses.

Conformément à une recommandation de l’examen indépendant de 2013 : « le MDN devrait maintenir dans un document de règles de base et d'hypothèses séparé, toutes les règles de base et hypothèses actuelles et approuvées » ^[17], le MDN a élaboré un document de règles de base et d'hypothèses autonome qui est approuvé par les intervenants clés advenant toute modification. Notre examen des règles de base et d'hypothèses n'a révélé aucune divergence dans l'application du Cadre par le MDN.

3.3 Modèle

Principe: Une Structure de ventilation des coûts (SVC) est élaborée qui représente le total au titre du Programme. Le Modèle élaboré est conforme aux pratiques exemplaires et appuie la SVC et l'éventail de décisions anticipé. Des méthodes appropriées d'estimation de coûts sont sélectionnées pour chaque élément de coût.

3.3.1 Structure de ventilation des coûts

Il est précisé dans le Cadre que « la Structure de ventilation des coûts (SVC) fournit une répartition logique et complète du programme CPGC » ^[18]. Selon le Cadre, nous nous attendions à ce que la SVC dans le Plan du CCV de 2014 et la Mise à jour annuelle soient harmonisées avec les éléments définis dans l'ÉB. Nous n'avons pas pu faire ce test, car le MDN n'était pas en mesure de fournir l'ÉB parce que le document n’était pas disponible.^[19] En l'absence de la documentation adéquate pour faire une comparaison directe avec la SVC, RCGT a comparé la SVC de 2014 avec la Mise à jour annuelle de l'an dernier, pour identifier tout écart et changement. Nous avons identifié l'ajout d’un élément de coût à la SVC depuis 2013 et le changement de noms de quatre éléments de coûts, le résultat des changements aux données sources fournies par le BPI. ^[20] Ces changements sont reflétés de façon appropriée dans les estimations de coût définitives de 2014 et la Mise à jour annuelle.

Sans examiner l'ÉB, RCGT ne peut pas conclure si le Modèle de la SVC inclut tous les besoins en matière de capacité du projet. Si un ÉB révisé devient disponible dans les prochaines années, le Modèle devrait être évalué par rapport à ce dernier pour assurer la conformité avec le Cadre.

Jusqu'à ce qu'un nouveau document de l'ÉB soit disponible, il continuera d'y a voir une limite à l'habileté de l'examinateur d'évaluer la conformité par rapport à ce principe du Cadre (voir Section 2.3 Limites du rapport).

3.3.2 Modèle

D'après le Cadre, « le Modèle est l'outil qui saisit toutes les entrées, effectue les calculs nécessaires pour fournir des résultats satisfaisants pour examen ».^[21]. Il devrait être : exact, exhaustif, reproductible, vérifiable, identifiable, flexible, crédible et ponctuel.L'examen du Modèle de RCGT incluait un examen détaillé des entrées du Modèle pour identifier toute copier/coller ou erreurs de frappe pour les données fournies par le BPI ou d’autres sources du MDN, ainsi qu'un examen de la formule du Modèle pour cohérence et vraisemblance. Les observations découlant de l’examen du Modèle sont résumés dans le tableau suivant pour chacun des huit principes du Cadre du CCV CPGC présenté précédemment :

De plus, le Cadre indique que le Modèle devrait être documenté de façon à ce que les lecteurs puissent comprendre quelles sont les données de coûts utilisées et comment ces données sont manipulées afin d’obtenir les résultats. À cet effet, l'équipe d'établissement des coûts a établi un plan de gestion de la configuration qui vise à assurer que la méthodologie par laquelle le Modèle estime les coûts demeurent constante d’année en année et que tout changement est bien considéré et exécuté. Par l’entremise de notre revue, nous avons pu observer que le plan de gestion de la configuration inclus une liste des pratiques exemplaires utilisées dans le Modèle, une description des gabarits et de la structure utilisés dans le Modèle ainsi qu’une description du processus d’évaluation des coûts et des étapes définies dans le Cadre du CCV CPGC. Nous avons identifiés les éléments suivants qui pourraient être ajoutés afin d’améliorer le plan de gestion de la configuration :

1. Les rôles et responsabilités au sein de l’équipe d’établissement des coûts pour la modification et la mise à jour du Modèle afin d’assurer que tout changement est effectué par un membre de l’équipe avec de l’expérience et des connaissances adéquates.
2. De plus, le plan devrait inclure des procédures pour la mise à jour du Modèle afin d’assurer que la méthodologie utilisée soit cohérente et adéquate, assurant ainsi la bonne application des formules et la précision des résultats. Ces procédures devraient couvrir la planification, la mise en œuvre et la revue des changements effectués au Modèle.

3.3.3 Méthodes d'établissement des coûts

Le Cadre précise que les techniques appropriées d'estimation de coût devraient être sélectionnées pour chaque élément de coût dans le Modèle. La pertinence de la méthode de coût est grandement déterminée par l'exactitude et le bien-fondé de l'information disponible liée à l'élément de coût donné. On s'attend à ce que ces deux facteurs s'améliorent à mesure que le projet se déplace de l'Élaboration à l’Acquisition et ensuite aux stades opérationnels.

Il y a un grand nombre de méthodes d'établissement différentes qui peuvent être appliquées aux différents éléments d'établissement de coût dans le Modèle; ces méthodes sont discutées brièvement ci-dessous^[22] :

• Méthode de coût de conception - Estimation d'un élément de coût en examinant les produits composante par composante. Ceci peut aussi être caractérisé comme une approche ascendante;
• Méthode de coût analogue - Estimation basée sur l'expérience avec les mêmes produits ou semblables ou la même technologie;
• Méthode de coût paramétrique - Utilise des paramètres et variables significatifs pour établir des relations d’estimation du coût; et
• Extrapolation à partir des produits livrables réalisés - Utilise le rendement actuel du contrat et du projet pour estimer les coûts à l'achèvement, notamment l'estimation de l'apprentissage réel par rapport aux courbes d'apprentissage prévues et approches d'optimisation du rendement acquis.

L'estimation des coûts liées à l'Élaboration, tel que le BGP, est issue d'une combinaison de données paramétriques, obtenue d'un Protocole d'entente (PE) et de l'information historique de coût réel liée au BGP à partir des systèmes financiers du MDN. Il y a certains autres coûts liés aux données sources initiales et aux études secondaires qui sont obtenus en utilisant une méthode d'établissement de coût paramétrique.

La méthode de coût appliquée pour les coûts d’Acquisition est basée principalement sur le coût de conception, qui est obtenu par le biais d'une répartition des coûts par composante pour les avions fournis dans les données générées par le BPI. Comme avec les données du BPI utilisées dans la Mise à jour annuelle de 2012 et 2013, les données du BPI utilisées dans la Mise à jour annuelle de 2014 continuent de combiner les coûts historiques actuels de production pour les unités du F-35 avec des efficacités de production prévues par l'entremise d'apprentissage et d'économies d'échelle. ^[23]

À l'égard du coût de maintien en service, le Modèle a continué de se fonder sur les estimations du BPI comme sa principale source de données. Les coûts de maintien en service sont en grande partie déterminés par le biais de méthodes de coût paramétriques en utilisant les éléments clés du nombre d'avions et d'heures de vol estimées pour générer une estimation. Cependant, certaines valeurs concrètes commencent à se faire incorporer dans les estimations de coût du maintien en service. À partir de cette année, les données relatives aux coûts de maintien en service du BPI sont confirmées par l’évaluation d’une équipe d’ACEP indépendante. Il est prévu que ces estimations de coût du maintien en service continueront à évoluer et que les estimations des coûts de maintien en service du BPI incluront éventuellement l'intégration des coûts de maintien en service actuels observés pour l'avion F-35 aux É-U., qui seront affinés lorsque ces avions auront atteint un niveau de fonctionnement régulier.

Les estimations des coûts d'exploitation dans le Modèle sont générées de l'information historique réelle du système financier. À ce stade de l'analyse, le MDN a opté d'utiliser une approche analogue pour l'estimation en utilisant les données de coût liées aux unités et bases de soutien du CF-18. Cette approche sera la plus appropriée jusqu'à ce que de l'information additionnelle puisse être obtenue par l'entremise de l'opération d'un F-35 au Canada. Tout comme les coûts de maintien en service, les coûts d’exploitation sont souvent spécifiques à chaque pays. Établir des comparaisons entre les pays partenaires d'ACI ne permettra sans doute pas de produire une estimation précise des coûts d’exploitation d’un F-35 au Canada.

Dans le cadre de l’examen indépendant de 2013, on a souligné qu’il y a une occasion de mieux harmoniser les coûts d’exploitation liés à la consommation de carburant et lubrifiant aux heures de vol annuelles prévues plutôt qu’avec le profil d’achat et l’état stable des heures de vol estimées. Cette méthodologie fut intégrée dans la version 2014 du modèle et favorisera une certaine flexibilité s’il se produit des changements dans les estimations des heures de vol.

En dernier lieu, l'estimation du coût de la mise hors service du F-35 a été basée sur une méthode paramétrique analogue, puisqu’elle découle d'une estimation des coûts d'aliénation liés à la flotte de CF-18. Lorsqu'une aliénation de ces avions est initiée, le MDN sera en mesure de mettre à jour les estimations d'aliénation, en conséquence.

Basé sur l'examen effectué, les méthodes de coût actuellement utilisées sont considérées acceptables.

3.4 Données, alimenter et documenter le Modèle

Principe : Les données sont colligées et normalisées. L'estimation de base est précisée et une validation interne du Modèle et des résultats est effectuée.

3.4.1 Collecte de données et normalisation

Le Cadre stipule que le MDN collecte des données pour tous les éléments du Programme, à partir des sources de données pertinentes, et les normalise et les ajuste pour qu'elles puissent être utilisées de façon appropriée dans le Modèle. Inhérents à ce processus sont l'examen et l'analyse des principaux coûts et éléments de coût, afin d'établir une rationalité et d'évaluer la sensibilité et les risques liés à ces estimations.

Dans le cadre de l'examen, nous avons identifié et retracé les sources de données dans le Modèle et analysé la méthode de normalisation. Elles ont été organisées en fonction de chaque élément principal de coût du Modèle et sont discutées ci-dessous.

3.4.1.1 Traitement des indices

Il y a deux principaux indices requis dans le Modèle :

1. Le taux d'inflation – les coûts, qu'ils soient en dollars américains ou canadiens, doivent être actualisés afin de tenir compte des taux d'inflation prévus, qui convertissent l'estimation d'une « Année courante » à une estimation d'une « Année budgétaire ». L'information concernant l'inflation est tirée de deux sources :
   1. Le modèle économique^[24] du MDN qui est élaboré au sein du MDN pour estimer les chiffres de l'inflation spécifiques au secteur de la défense dans tout le ministère; et
   2. le modèle économique^[25] des É-U qui est fourni par l'intermédiaire du BPI
2. L'indice FOREX (Foreign Currency Exchange) est établi selon le rapport de Consensus Economic Inc.^[26] qui est publié mensuellement. Le Modèle s'appuie sur le taux annuel moyen d’août 2014.
   
   Le Modèle utilise les prévisions les plus récentes disponibles au moment où le BPI a prévu de fournir ses données.

Basés sur notre examen des données fournies, les indices utilisés sont à la fois courants, cohérents avec les méthodes utilisées pour la Mise à jour annuelle de 2014 et semblent être raisonnables.

3.4.1.2 Développement

Les données sur les coûts de Développement incorporent des éléments de coût, notamment coûts liés au personnel du BGP, au déplacement et autres frais d'administration, au même titre que les coûts liés au développement de la source de données initiale et aux études secondaires liées au projet. La majorité de ces coûts sont estimés en se basant sur un PE, mais aussi incluent certains coûts réels historiques liés au BGP.

Toute l'information significative sur les coûts de développement a été retracée à sa source.

3.4.1.3 Acquisition

Il y a de nombreux éléments de coût inclus dans la partie Acquisition de l'estimation du CCV, notamment :

• L'achat des avions en soi (les coûts unitaires récurrents de sortie d'usine)
• Les coûts liés à l'inventaire initial des pièces et de rechange de munitions
• Les modifications à l'avion
• L'infrastructure et la mise sur pied du maintien en service de l'avion.
• La formation initiale
• Les coûts du lab de reprogrammation
• Les coûts d'acquisition du BGP; et
• Autres coûts d'acquisition.

Plus de 90% des coûts d'acquisition estimés de 8,9 milliards de dollars sont tirés des données fournies par le BPI. Ces données n’ont pas été validées par l'équipe de l'examen indépendant, en dehors d'assurer que les données sont entrées de façon appropriée dans le Modèle et si les données fournies estiment raisonnablement les coûts d'acquisition anticipés liés à un F-35.

Les estimations de coût du BPI sont fournies en Dollars américains de l'année 2012, cela signifiant qu'elles sont ajustées pour l'inflation et le taux de change de devises étrangères afin d’être converties en dollars de « l'Année budgétaire » du MDN. L'infrastructure et les autres coûts tirés de l'information sur les coûts qui provient du MDN (p. ex. coûts de formation initiale et lab de reprogrammation) sont ajustés pour les augmentations inflationnistes.

Les estimations de coûts d'acquisition intègrent aussi le calendrier des paiements qui est décrit ci-dessous :

• échéances de livraisons très longues (5 %) - Exigible 1 an avant la commande
• financement intégral (30 %) - Exigible dans l'année de la commande
• paiement (45 %) - Exigible 1 an après la commande
• livraison (20 %) - Exigible 2 ans après la commande

Les données colligées et entrées dans le Modèle sont conformes avec les données reçues du BPI et des sources internes du MDN.

3.4.1.4 Maintien en service

Les données sur les coûts de maintien en service proviennent directement du BPI, et par conséquent sont ajustées pour l'inflation et les incidences de taux de change de devises étrangères. Basées sur l'examen, les données de maintien en service ont été colligées et entrées correctement du BPI.

3.4.1.5 Exploitation

La majorité de l'information sur les coûts d'exploitation est tirée des résultats réels historiques du MDN pour les CF-18. L'information sur le personnel et les biens non durables est extraite du Système d'information de la gestion des ressources de la Défense (SIGRD), et alimentée dans le Modèle. D'autres biens non durables tels que les munitions et lubrifiants sont basés sur les données historiques du SIGRD et ensuite répartis proportionnellement au calendrier d'acquisition pour la flotte des F-35. L'utilisation de carburant, en particulier, est estimée basée sur :

• L'estimation hypothétique d'état stable d'heures de vol;
• Le taux de carburant consommé estimé par le BPI pour le F-35;
• Le prix moyen pondéré d'offre à commandes pour le carburant de type aviation aux bases de Cold Lake et Bagotville; et
• Le nombre d'avions F-35 en service dans une année donnée.

Étant donné que toute l'information sur les coûts d'exploitation est en dollars canadiens, la seule normalisation requise pour les données est d’appliquer l'inflation annuelle à l'estimation, tel que prévu dans le Modèle économique du MDN.

3.4.1.6 Mise hors service

Les estimations de mise hors service sont maintenant basées sur une estimation établie par le MDN pour la mise hors service de la flotte des CF-18.^[27]. Cette information est fournie en Dollars canadiens. Ainsi, les données sont normalisées pour l'inflation en utilisant les taux du Modèle économique canadien.

3.4.1.7 Sommaire de la collecte et normalisation des données

Basé sur l'examen du Modèle et la documentation fournie, il y a suffisamment de preuve pour appuyer le repérage de la collecte de données et que toutes les données ont été normalisées. Selon le Cadre, tous les éléments de coût qui ont une incidence significative sur l'ensemble des estimations sont identifiés et les données connexes sont colligées d'une source fiable.

3.4.2 Estimation de base

Le Cadre du CCV décrit les principales attentes concernant l'intégralité de l'estimation de base qui est tirée de l'information des coûts à jour et normalisée (selon la Section 3.4.1) et utilise les méthodes de coût appropriées pour créer l'estimation (selon la Section 3.3.3). Dans le cadre de l'examen, nous avons analysé les composantes de chaque élément principal de coût pour examiner si les coûts sont estimés de façon appropriée et que la source de données est documentée de façon appropriée. Les sous-sections suivantes identifient les sous-composantes principales de chaque élément de coût.

3.4.2.1 Coûts de développement

Les coûts de développement comprennent actuellement environ 550 millions de dollars (1,3 %) de l'estimation de CCV non ajustée de 42,7 milliards de dollars. ^[28] L'estimation des coûts de développement inclut les coûts liés:

• au BGP; et
• aux contributions sous le PE d'ACI pour la production, le maintien en service et le suivi du développement.

Les coûts estimés du développement inclus les dépenses déjà encourues liées au rôle du Canada dans le programme d'ACI. Les coûts restants du développement inclus les coûts de développement restant du BGP et du PE d’ACI, ainsi que les études initiales et secondaires sur l'avion.

Les coûts de développement pour la plupart sont bien documentés et identifiables à leur source d'information. Toutefois, la documentation liée aux coûts estimés pour les études secondaires devrait être améliorée dans les prochaines versions du Modèle.

3.4.2.2 Coûts d'acquisition

Les coûts d'acquisition représentent actuellement environ 8,9 milliards de dollars (20,8 %) de l’estimation du CCV non ajustés de 42,7 milliards de dollars. Les sous-composantes principales de l'estimation des coûts d'acquisition comprennent :

• Les coûts unitaires récurrents de sortie d'usine;
• Les pièces de rechange initiales, la formation et les munitions;
• L'infrastructure;
• La mise sur pied du maintien en service et l'équipement connexe;
• Le BGP durant la phase d’acquisition;
• La réduction des sources de fabrication et les modifications de concurrence; et
• Les autres coûts d'acquisition éventuels.

Dans l'ensemble, les coûts non ajustés liés à l'acquisition ont augmenté de 8,6 milliards de dollars à 8,9 milliards de dollars, une augmentation d'environ 3,5 % d'année en année. Cette section examine brièvement les sous-composantes de l'acquisition, alors que les risques et éventualités seront davantage explorés dans la Section 3.5.2.

Les sous-sections suivantes fournissent certains détails additionnels sur les éléments de coût d'acquisition individuels.

Coûts unitaires récurrents de sortie d'usine

Les coûts unitaires récurrents de sortie d'usine sont essentiellement le prix unitaire estimé d'un F-35 par le BPI. Les coûts unitaires récurrents de sortie d'usine de 2014 reflètent les données du BPI sur les derniers coûts réels de production pour l'avion. ^[29] Le coût moyen pondéré actuel d'un avion est de 97,1 millions de dollars Canadian. Dès qu'il est ajusté pour l'inflation et les prévisions de taux de change de devises étrangères, le coût unitaire récurrent de sortie d'usine total estimé est d'environ 6,3 milliards de dollars ou 70,8 % du coût total d'acquisition estimé de 8,9 milliards de dollars.

Les catégories de coûts unitaires récurrents de sortie d'usine et les moyens de collecte de données n'ont pas changé de la Mise à jour annuelle de 2012, et incorporent encore les cinq (5) principales composantes de l'avion:

• Cellule;
• Systèmes de bord des véhicules;
• Équipements de mission;
• Systèmes de propulsion; et
• Bulletin technique d'entretien.

Ces éléments de coût sont exhaustifs par rapport aux coûts unitaires récurrents de sortie d'usine anticipés, tel qu’indiqués par l'information^[30] de coût de production actuel du BPI.

Pièces de rechange initiales, formation et munitions

Dans le cadre du processus d'acquisition, il existe un besoin d'obtenir des compléments initiaux de pièces de rechange et de munitions pour couvrir la formation et la période opérationnelle initiale. Dans la même veine, les pilotes et le personnel de maintenance doivent recevoir de la formation pour apprendre comment faire fonctionner et maintenir un F-35. Dans l'ensemble, ces coûts sont estimés à environ 478 millions de dollars ou 5,4 % du total des coûts d'acquisition estimés de 8,9 milliards de dollars.

Dans le cadre de l’examen indépendant de 2013, il est noté que des coûts de carburant et lubrifiant sont inclus dans deux différents domaines du Modèle, Acquisition (spécifiquement dans les coûts de formation) et Exploitation. En conséquence, les coûts de carburant et lubrifiant ont été comptés en double pour les périodes 2017-18 à 2020-21. Ce problème a été résolu dans la version 2014 du Modèle.

La source de données pour les estimations de coût liée aux coûts de munitions pour la flotte énonce qu'elles incluent un facteur pour le taux de change de devises étrangères et une marge d'imprévus de 20%.^[31] D'autres domaines du Modèle (telle que l'infrastructure) suppriment les facteurs d’imprévus dans la source de données afin d'assurer que le Modèle en soi soit la seule source de modificateurs d’imprévus. Nous recommanderions que le calcul initial des munitions suive cette même approche et soit basé sur les chiffres non ajustés estimés, ce qui pourrait entrainer une réduction estimée de 8,3 millions de dollars de l'estimation totale du CCV. Cela ne représente pas une réduction significative dans l'estimation du CCV.

Tel que noté dans l’examen indépendant de 2013, tout comme pour les coûts de carburant et de lubrifiant, nous avons remarqué que les coûts liés aux munitions figuraient dans les sections Exploitation et Acquisition (spécifiquement dans les coûts de formation) ce qui entrainait un possible comptage en double des coûts. À la suite de cette observation, le calcul des coûts de munition a été aligné aux heures de vol annuelles des avions au Canada éliminant ainsi le risqué de comptage en double.

InfrastructureLes coûts liés à l'infrastructure sont connexes aux 23 projets de construction et de rénovation pour appuyer une flotte de F-35. Ces coûts sont développés dans un modèle d'estimation séparé, dont les résultats sont ensuite alimentés dans le Modèle. Actuellement, les coûts liés à l'estimation de l'infrastructure sont à un stade précoce de développement et devraient être considérés dans un "ordre de grandeur approximatif"^[32]. Les coûts d'ensemble de l'infrastructure sont estimés à environ 254 millions de dollars ou environ 2,9 % du total des coûts d'acquisition non ajustés de 8,9 milliards de dollars.

Les coûts de l'infrastructure estimés présentent des règles de base et hypothèses complètes qui ont été révisées pour la Mise à jour annuelle de 2013. Ils comprennent les coûts de construction et de rénovation par mètre carré et d'autres éléments tels que les honoraires pour la conception et les coûts de déplacement et d'ameublement. L'estimation originale fournie à l'équipe d'établissement des coûts du MDN comprenait aussi une provision pour les éventualités, qui n’est pas inclus dans le Modèle afin de prévenir la duplication des montants pour éventualités.

Mise sur pied du maintien en service et équipement auxiliaire

La mise sur pied du maintien en service et l'équipement auxiliaire sont constitués principalement de coûts liés aux appareils de formation et à l'équipement de soutien pour le F-35, ainsi que les coûts de main-d’œuvre nécessaires pour installer et mettre sur pied l'équipement. Ces coûts sont actuellement estimés à environ 1,1 milliard de dollars ou 12,4%, représentant la plus grande part des 8,9 milliards de dollars estimés dans les coûts d'acquisition après les coûts unitaires récurrents de sortie d'usine.

Les coûts liés à la mise sur pied du maintien en service sont inclusifs de toutes les composantes principales mises en évidence dans l'estimation du maintien en service du BPI. ^[33]

Coûts d'acquisition du BGP

Semblables aux coûts de développement du BGP, les coûts d'acquisition du BGP sont liés principalement au personnel, aux coûts indirects et coûts de déplacement pour le BGP durant la phase d'acquisition. Ces coûts sont prévus à environ 178 millions de dollars ou 2,0 % du total des coûts d'acquisition estimés de 8,9 milliards de dollars. Basés sur notre examen, ces coûts semblent exhaustifs par rapport aux coûts d'acquisition escomptés par le BGP.

Réduction des sources de fabrication et modifications de concurrence

Les coûts de réduction de sources de fabrication (RSF) se rapportent à la perte de source d'approvisionnement pour les pièces ou les matériaux nécessaires au développement, à la production ou à la post production du F-35. Les modifications de concurrence sont des coûts associés aux modifications du F-35, issues des changements de conception dans la phase d'acquisition.^[34] En général, ces coûts représentent environ 70,7 millions de dollars ou 0,8 % du total des coûts d'acquisition estimés de 8,9 milliards de dollars.

Autres coûts d'acquisition éventuels

Basé sur les discussions avec le MDN, aucune des hypothèses concernant les autres coûts d'acquisition éventuels n’a été changée depuis la Mise à jour annuelle de 2012 ou 2013; par conséquent, aucune modification au Modèle n’est nécessaire à cet égard. ^[35]

3.4.2.3 Coûts de maintien en service

Les coûts de maintien en service sont liés aux coûts pour maintenir en service le F-35 durant sa vie utile prévue de 30 ans. En général, le maintien en service représente environ 28,9 % du total de l'estimation du CCV. Les composantes de coût du maintien en service sont décrites dans le tableau ci-dessous :

Les coûts compris dans l'estimation du maintien en service sont exhaustifs par rapport à ce qui est inclus dans l'information du coût de maintien en service du BPI.

3.4.2.4 Coûts d'exploitation

La phase des coûts d'exploitation couvre les coûts liés aux articles consommables pour l'avion, tel que le carburant et les munitions, ainsi que les coûts liés aux salaires et avantages sociaux du personnel, aux réparations effectuées aux bases et la formation continue pour les pilotes et spécialistes de la maintenance. En général, les coûts d'exploitation estimés sont d'environ 20,7 milliards de dollars, comprenant plus ou moins 48,6 % de l'estimation du CCV non ajustée de 42,7 milliards de dollars. Dans le Modèle, les coûts d'exploitation sont répartis en deux (2) sous-catégories :

• Coûts liés au personnel, qui comprennent les traitements et avantages sociaux du personnel direct et de soutien aux bases de Cold Lake et Bagotville; et
• Coûts d'exploitation qui comprennent les frais de carburant, les coûts d'exploitation au niveau de l'unité et les frais de soutien aux bases.

Étant donné que les coûts d'exploitation estimés sont basés sur les coûts réels liés au programme des CF-18, les coûts semblent être exhaustifs de tous les coûts liés aux opérations et à la maintenance de la flotte des chasseurs.

3.4.2.5 Coûts de mise hors service

Les coûts de mise hors service dans le Modèle tiennent compte des coûts de désarmer et de mettre hors service de façon sécuritaire les avions qui sont mis hors service. Actuellement, les coûts liés à la mise hors service sont estimés à environ 137 millions de dollars ou 0,3 % de l'estimation du CCV non ajustée de 42,7 milliards de dollars. L'estimation de mise hors service actuelle comprend les coûts pour :

• les premiers travaux de récupération pour retirer les composantes utiles de l'avion;
• la démilitarisation de l'avion; et
• les autres coûts divers de mise hors service.

L'estimation de mise hors service de la flotte des CF-18 reconnaît qu'il y a une source possible de revenu qui pourrait être obtenue de l'équipement récupéré, mais étant donné le degré d'incertitude entourant les variables multiples liées à la mise hors service de l'avion, tels que la demande de composantes de récupération dans le futur pour les CF-18 (et également pour les F-35), des restrictions géopolitiques, et ainsi de suite, ces revenus n'ont pas été estimés^[37]. Si de l'information beaucoup plus fiable sur la mise hors service de l'avion est disponible à l'avenir, nous nous attendrions à ce que le MDN ajuste leurs estimations de mise hors service, en conséquence.

3.3.2.6 Coûts d'attrition

Les coûts d'attrition sont liés au coût de remplacement des avions qui sont perdus durant les opérations. Ces coûts ne sont pas traités dans le cadre de l'estimation du CCV pour le programme complet, mais sont plutôt mentionnés sur une ligne séparée pour respecter l'hypothèse que le gouvernement aura besoin de prendre une décision concernant le remplacement de l'avion^[38]. L'approche aux coûts d'attrition dans le Modèle est cohérente avec la Mise à jour annuelle de 2012 and 2013; l'estimation de l'attrition continue d'utiliser le coût moyen pondéré ajusté d'un F-35 par le point milieu (9) du nombre estimé de remplacements d'avion requis (7 à 11). Étant donné le niveau actuel d'information disponible à l'équipe d'établissement des coûts, l'approche actuelle demeure valide.

3.5 Examen, analyse et mise à jour

Principe: Entreprendre des analyses de sensibilité, de risque et d'incertitude et développer des estimations de coûts ajustées au risque. Les résultats sont établis et documentés. Des activités indépendantes de certitude de coût sont entreprises et des ajustements nécessaires sont faits au Modèle du CCV CPGC.

3.5.1 Analyse de sensibilité

Le Cadre mentionne que l'analyse de sensibilité devrait être effectuée et que les résultats soient bien documentés et communiqués. L'analyse de sensibilité peut être un levier pour analyser quantitativement les facteurs de risque identifiés liés à l'Estimation du CCV présentée pour le programme complet.

Dans le cadre du Modèle, le MDN a inclus les calculs de l'analyse de sensibilité basée sur les discussions avec des spécialistes en la matière du MDN et de Recherche et développement pour la défense Canada. L'équipe d'établissement des coûts a inclus le détail sur la méthodologie en faveur de son analyse de sensibilité dans son Plan de CCV, qui comprend de la documentation additionnelle sur son analyse de risques et d'éventualités^[39]. Actuellement, l'analyse de sensibilité dans le Modèle analyse la variabilité potentielle dans les estimations d’acquisition, de mise hors service et d'exploitation, en raison d’un certain nombre de facteurs de risque, notamment :

• Le taux de change de devises étrangères;
• L'inflation;
• La courbe d'apprentissage et de production de Lockheed Martin;
• Les changements dans le nombre total d'avions commandés par tous les partenaires d'ACI;
• Le décalage d'un (1) an du profil d'achat; et
• Le nombre d'heures de vol annuelles.

Basé sur notre examen du Modèle et de la documentation d'appui, il semble qu'il y a une bonne intensité de facteurs de risque considérés dans l'analyse de sensibilité. Cependant, des analyses de sensibilité pour examiner l’impact sur l’estimation du CCV si le Canada choisissait de réduire le nombre d’avions achetés n’ont pas été effectuées. Puisque la Mise à jour de 2014 indique que « si le montant total dédié aux éventualités est requis, le déficit restant pourrait être respecté en achetant moins d’avions » ^[40], il serait prudent d’effectuer une analyse de sensibilité sur l’impact de ce facteur sur l’estimation du CCV.

Recommandation F1:

Les analyses de sensibilité ont été effectuées conformément aux principes du Cadre. Cependant, il est recommandé que le MDN effectue des analyses supplémentaires afin d’examiner l’impact sur l’estimation du CCV si le Canada choisissait de réduire le nombre d’avions achetés afin de respecter l’enveloppe bloquée d’acquisition de 9,0 milliards de dollars.

3.5.2 Analyse des risques et des incertitudes

Les décideurs doivent être informés des risques et des incertitudes de coût pertinents aux estimations de coût. Le Cadre établit les intervalles de confiance appropriés qui peuvent varier entre 50 % et 90 %. Puisque dans le mandat du projet de la CPGC, il est mentionné que le risque global évalué pour ce projet est « élevé », nous avions prévu d'observer que le MDN avait documenté et effectué une analyse des risques et des incertitudes ainsi que calculé un budget d'éventualités pour traiter des risques et des incertitudes identifiés. Ceci comprendrait un engagement de l'intervenant et des mises à jour au registre des risques du projet.

Grâce à l'examen du Plan de CCV et aux documents d'appui de la méthodologie des risques, nous avons pu confirmer qu'un processus de gestion des risques normalisé était en place. Une analyse des risques et des incertitudes a été complétée pour évaluer :

• La volatilité :
  • de l'inflation;
  • du dollar canadien vis-à-vis le dollar américain; et
  • des taux d'heures de vol.
• Le prix du carburant;
• Les délais de production possibles ou la disponibilité réduite des avions;
• Les changements reliés au protocole d’entente sur le maintien de la production et le développement subséquent; et
• De savoir si Lockheed Martin réalise les améliorations de l'efficacité de production estimées.

En juin 2014, une évaluation des risques était effectuée avec la participation des spécialistes en la matière, recrutés dans tout le MDN, notamment l'Aviation royale canadienne, le bureau de projet, le personnel du Bureau du directeur des finances et les autres parties pertinentes. Les résultats de cet atelier sont détaillés dans l’Annexe E du rapport sur les coûts de CPGC.^[41] Les risques identifiés ont entrainés les calculs et applications des éventualités de 2014 suivantes. Les éventualités de 2013 sont également indiquées à titre comparatif.

Les sous-sections suivantes décrivent les éventualités qui ont été incorporées dans le Modèle par le MDN pour traiter des risques identifiés.

3.5.2.1 Fonds pour éventualités au titre des coûts d'acquisition

L'approche pour estimer les fonds pour éventualités au titre des coûts d'acquisition est cohérente avec l'approche utilisée dans la Mise à jour annuelle de 2013.Une analyse de l'estimation des fonds pour éventualités au titre des coûts d'acquisition du MDN, basée sur l'analyse des risques du MDN, devrait être de 1,1 milliard de dollars.^[43] Par contre, le montant total dédié aux éventualités n’a pas été appliqué afin de respecter l’enveloppe bloquée d’acquisition de 9,0 milliards de dollars. La provision actuelle des fonds pour éventualités de 76 millions de dollars n’est pas conforme avec cette estimation, et par conséquent une insuffisance persiste dans les fonds pour éventualités au titre des coûts d'acquisition. L'estimation de base des coûts d'acquisition a augmenté de 8,6 milliards de dollars à 8,9 milliards de dollars d'année en année (une augmentation de 3,5 %) et le montant des fonds pour éventualités au titre des coûts d'acquisition a diminué de 342 millions de dollars à 76 millions de dollars d'année en année (une diminution de 77,8 %) afin de conserver l'estimation totale des coûts d'acquisition conforme au montant du plafond de 9,0 milliards de dollars. ^[44] La réduction dans le montant des fonds pour éventualités au titre des coûts d'acquisition utilisée dans l'estimation du CCV ajustée pour le risque signifie que la réalisation de l’impact total pour un facteur de risque unique, tel que le risque de taux de change de devises étrangères, pourrait possiblement entrainer une augmentation des coûts d’acquisition du nombre nécessaire de F-35.

La Couronne est contrainte dans sa capacité de prendre en compte adéquatement les risques identifiés dans les estimations du CCV puisque le montant total dédié aux éventualités ne peut être appliqué par cause de l’enveloppe bloquée d’acquisition de 9,0 milliards de dollars.

3.5.2.2 Fonds pour éventualités au titre des coûts de maintien en service

Les estimations des coûts de maintien en service du BPI sont basées sur la méthodologie paramétrique d'établissement des coûts, ce qui signifie qu'il y a encore un niveau significatif d'incertitude et de risque lié aux estimations. Basés sur des coûts de maintien en service non ajustés d'environ 12,3 milliards de dollars et une estimation des éventualités d'environ 1,9 milliards de dollars, le total de l'estimation des coûts de maintien en service ajustée pour le risque est de 14,3 milliards de dollars. Cela correspond à des éventualités de plus ou moins 15,4 %. Cela reflète la diminution de l'incertitude liée aux données de maintien en service fournies par le BPI depuis 2013 puisqu’un deuxième examen des données du BPI a été effectué.^[45] Cette évolution est conforme aux principes du Cadre.

3.5.2.3 Fonds pour éventualités au titre des coûts d'exploitation

Actuellement, les estimations des coûts d'exploitation n'ont pas un montant pour les éventualités compris dans le CCV du programme complet. Étant donné que les estimations actuelles des coûts d'exploitation sont basés sur les coûts liées au programme des CF-18, qui exploite beaucoup plus d'avions que prévu pour l'acquisition, il est concevable qu'il soit possible d'économiser des coûts d'exploitation grâce aux réductions possibles dans les exigences du personnel et des autres coûts afférents.

3.5.3 Documentation des résultats

Les résultats de l'estimation sont documentés de deux façons : dans le Modèle et la Mise à jour annuelle. La documentation du Modèle fait l'objet d'un examen dans la Section 3.5.4 ci-dessous. L'examen de la Mise à jour annuelle est inclus dans la Section 3.6.

3.5.4 Documentation du Modèle

Pour suivre les pratiques exemplaires, la documentation du Modèle devrait être un processus continu entrepris à chaque étape de l'estimation du CCV. Le Cadre énumère aussi deux critères minimum :

• « Documenter le Modèle de telle sorte qu'un autre analyste des coûts non familier avec le programme pourrait le créer rapidement et produire le même résultat; et »
• « Créer un sommaire exécutif qui fournit suffisamment d'explications pour qu’un modélisateur non-spécialiste puisse comprendre les coûts et les hypothèses sous-jacentes. »

RCGT a observé que le Modèle contenait certaines documentations qui permettraient à un examinateur avec des connaissances limitées du Modèle, d'avoir une compréhension des entrées, résultats et mécanismes derrière le Modèle. Tel que discuté dans la Section 3.3.2.2, un plan de gestion de la configuration a été élaboré conformément aux recommandations de l’Examen indépendant de 2013.

Le rapport sur les coûts de CPGC, élaboré par le MDN, sert actuellement comme un document de sommaire exécutif pour permettre aux modélisateurs non-spécialistes de comprendre les coûts et hypothèses sous-jacentes.

3.5.5 Assurance relative au CCV

En plus d'effectuer un examen interne du Modèle, le Cadre exige qu'il soit examiné avant l'atteinte de toute autre étape clé. « L'objectif principal consiste à remettre en question l'Estimation existante afin de vérifier dans quelle mesure elle est solide et fiable, en tenant compte du cycle de vie actuel du projet et des connaissances acquises à l'égard du système faisant l'objet de l'étude »^[46].

L'exercice effectué par RCGT et les résultats subséquents présentés dans ce rapport constituent un examen indépendant tel que défini par le Cadre. Cet examen indépendant est effectué sur une base annuelle et est conforme aux pratiques dans d'autres pays partenaires d'ACI.

Aucune recommandation n'a été formulée relativement à la tenue d'un examen visant à fournir une assurance pour le CCV du Modèle.

3.6 Interpréter et faire rapport des résultats

Principe: Des rapports d'objet ciblés sont élaborés pour les décideurs et intervenants conformément aux lignes directrices prescrites.

Le Cadre définit les exigences de la structure du rapport comme suit :

Selon le Cadre, les estimations de coût devraient être préparées à un minimum de 50 % de confiance. On recommande aussi que les coûts de base et d'éventualités soient présentés par rapport à une gamme de niveaux de confiance qui fourniraient des points de référence pour les décideurs.

La Mise à jour annuelle de 2014^[47] préparée par le MDN et appuyée par le Modèle présente de façon adéquate le sujet et la décision en jeu. Elle définit et détaille les phases du projet, les catégories de coût, les hypothèses et estimations. Les risques de coût et incertitudes, ainsi que les éventualités sont calculés et présentés par plage (diminution/augmentation du coût différentiel), ce qui est conforme aux pratiques exemplaires. Notre examen indique que tous les niveaux de confiance utilisés dans l'analyse de risque répondent ou dépassent les exigences minimums du Cadre.

En général, la Mise à jour annuelle semble complète et offre un soutien adéquat aux décideurs.

3.7 Gens et Organisation

Principe: L'équipe estimatrice de la CPGC provient d'une organisation professionnelle d'établissement de coûts, appuyée par des outils, techniques et méthodes standards. Le rôle de certitude de coût est intégré au processus avec des politiques appropriées pour assurer une approche non partisane.

3.7.1 Équipe estimatrice de la CPGC

Le Cadre du CCV identifie les gens et l'organisation comme une composante fondamentale à l'élaboration de coûts robustes et fiables. Durant notre examen, nous nous attendions à observer que les modélisateurs de coût soient recrutés d'une organisation de coût centralisée; et que des activités d'assurance de la qualité liées au Modèle et aux estimations étaient effectuées au MDN; et aussi que les employés qui préparent le Modèle du CCV aient une expérience satisfaisante et que l’équipe soit pluridisciplinaire.

Grâce à l'examen de la documentation, nous avons pu confirmer que le MDN a avalisé et normalisé de façon organisationnelle, les outils et Modèles du CCV personnalisés au programme spécifique. La Direction des Services d'établissement des coûts du MDN a centralisé les activités et les efforts liés à la réalisation et la gestion du Modèle.

Cette équipe d'établissement des coûts est composée d'analystes financiers avec une bonne connaissance et expérience de la comptabilité financière et analytique, notamment la planification et budgétisation pour élaborer les estimations de coût. L’équipe chargée de préparer l’estimation pour le CCV CPGC pour 2014 est composée des mêmes individus impliqués en 2013. Ainsi, l’équipe assure une continuité d’année en année et possède une solide expérience.

3.7.2 Rôle de la certitude des coûts

Selon le Cadre et les pratiques exemplaires, les membres de l'équipe de certitude des coûts devraient être indépendants et par conséquent ne pas participer aux estimations d'établissement de coûts. « Pour gérer entièrement avec succès ces deux fonctions (Estimation et Certitude des coûts), une politique officielle et des arrangements organisationnels sont établis pour guider les activités d'estimation du CCV et de certitude des coûts, et un Plan du CCV CPGC saisirait l'approche du CCV planifiée pour l'Estimation du CCV et la certitude des coûts pour ce projet. »^[48] Conformément au Cadre, l’individu responsable de la certitude des coûts devrait être un expert en la matière reconnu. Étant donné que le rôle de certitude des coûts est actuellement un processus externe au MDN, au moyen de l'examen indépendant, le rôle du MDN dans la certitude des coûts tourne principalement autour des activités internes d'assurance de la qualité liées au Modèle et aux estimations.

L’Examen indépendant de 2013 recommandait au MDN de considérer formaliser les activités d’assurance qualité grâce à des lignes directrices ou politiques qui assurent que les rôles et responsabilités sont clairs et structurés. Conformément à cette recommandation, la DSEC a élaboré une ébauche de la procédure normalisée de fonctionnement pour le processus d’évaluation des mécanismes des feuilles de calculs d’élaboration des coûts. Nous avons révisé ce document dans le cadre de l’Examen indépendant de 2014 et nous avons constaté que les procédures relatives à l’assurance de la qualité ont été bien élaborées conformément à une approche basée sur le risque structurée selon le cadre de risque du MDN et le guide du MDN pour la rédaction des procédures financières.^[49]

RCGT a examiné un rapport d'assurance de la qualité^[50] du Modèle daté du 22 juillet 2014. En général, nous avons trouvé que la documentation fournie était de qualité acceptable, et respectait les principes directeurs du Cadre. Par contre, l’ébauche de la procédure normalisée de fonctionnement et le rapport sur l’assurance de la qualité ne précisent pas le processus de sélection de l’examinateur du Modèle. Ils ne définissent pas non plus les responsabilités, l’expertise nécessaire, les connaissances du programme et le niveau d’expérience de l’examinateur.

Recommandation I1:

Les activités liées à la certitude des coûts sont menées conformément aux principes directeurs du Cadre mais il existe des occasions pour l’amélioration. En s’appuyant sur l’ébauche de la procédure normalisée de fonctionnement, le MDN devrait définir les rôles et responsabilités y compris le niveau d’expertise requis par rapport à la certitude des coûts.

3.9 Examen comparatif

RCGT a réalisé une étude comparative de la version du Modèle de 2104 et de 2013 afin d’identifier si les changements dans la méthodologie du Modèle auraient comme résultat des changements importants dans l'estimation du CCV d'année en année.

Le MDN a préparé une conciliation des coûts dans le cadre de la Mise à jour annuelle de 2014 pour identifier les sources de variance liées à la nouvelle conception du Modèle. Les sources de variance qui ont été identifiées et quantifiées par le MDN sont :

• le taux de change des devises étrangères;
• l'inflation;
• les données sources et la méthodologie; et
• le changement du profil d’achat;
• d’autres modifications mineures.

L’étude comparative a été effectuée par une sélection, au hasard, de 10 versions du Modèle, enregistrées entre le Modèle 2013 et le Modèle 2014. Il fallait ensuite s’assurer que les nombres trouvés à l’intérieur de ces 10 versions intermédiaires aient été saisis correctement dans le processus de réconciliation. De plus, s’assurer que les changements qui sont survenus dans chaque version intermédiaire du Modèle aient été correctement enregistrés dans le journal des modifications du Modèle.^[51]

Sur la base de cet examen, il semble que tous les changements de la version 2013 du Modèle à la version 2014 du Modèle ont été adéquatement enregistrés dans le journal des modifications du Modèle et que la réconciliation préparé par la DSEC qui quantifie l’impact de chaque changement est essentiellement exacte.

Basés sur le sommaire des variances fourni par le MDN, les Mises à jour annuelles de 2012 et 2013 semblent être comparables et il n'y a pas eu de changements importants aux mécanismes et à la méthodologie du Modèle qui influenceraient l'Estimation du CCV. Le MDN a aussi documenté les changements faits au Modèle au même titre que les incidences aux éléments de coût individuels dans le Modèle même et a inclus cette information dans le rapport sur les coûts de CPGC.^[52]

3.9 Planification du CCV CPGC

Le tableau suivant présente les variances globales entre les estimations de 2013 et 2014.

Cette variation peut être grandement attribuée aux changements des données sources et de la méthodologie et aux changements du profil d’achat. Plusieurs de ces changements découlent de changements apportés aux règles de base et hypothèses du Canada.

4. Conclusion

Dans le cadre de l'Examen indépendant de 2012 et de 2013, un total de 14 recommandations ont été faites pour des améliorations au CCV, qui sont énumérées à l'Annexe A de ce rapport. Le MDN a fait des progrès significatifs suite aux recommandations des deux examens indépendants. Cela a entrainé des améliorations au Modèle et au processus de documentation.

L'Examen indépendant de 2014 a fait une (1) recommandation pour aider à mieux harmoniser le processus du CCV avec le Cadre et une (1) recommandation présentant une occasion supplémentaire pour l’amélioration des processus du CCV.

Mis à part les observations relatives au déficit pour les éventualités au titre des coûts d’acquisition de 1,0 milliard de dollars, l’Examen indépendant de 2014 sur l'application du Cadre du MDN n'a pas révélé de déviations aux principes du Cadre qui auraient eu pour résultat des changements importants à l'estimation générale du CCV.

En ce qui concerne l'Examen indépendant de 2014, l'évaluation générale du processus du CCV CPGC est que le MDN a continué d'améliorer et de rendre plus précis ses processus et méthodes à mesure que le projet continue d'évoluer. Dans la période intérimaire entre les Mises à jour annuelles de 2014 et 2015, le MDN devrait se concentrer sur le traitement de toutes les recommandations restantes de l'Examen indépendant de 2012 et de 2013, au même titre que sur les recommandations faites dans ce rapport.

5. Annexe A | Sommaire des Recommandations de l’examen indépendant de 2013 et 2012

5.1 Recommandations de l’examen indépendant de 2013^[54]

5.2 Recommandations de l’examen indépendant de 2012^[56]

6. Annexe B | Liste des documents examinés

• Bureau de Programme interarmées. (février 2014). F-35 Sustainment Cost Ground Rules and Assumptions - 2013 Sustainment Cost Estimate v1.1.
• Bureau de Programme interarmées. (août 2014). Production Drill August 2014-2020 Profile
• Bureau de Programme interarmées. (février 2014). 2013 Sustainment Cost Estimate: CAN Sustainement Cost Details.
• Consensus Economics Inc. (août 2014). Long Term Consensus Forecasts
• Gouvernement du Canada. (décembre 2012). Rapport d'étape du Plan à sept volets: Secrétariat national d'approvisionnement en chasseurs.
• KPMG. (27 novembre, 2012). Chasseurs de la nouvelle génération: cadre du coût du cycle de vie.
• KPMG. (27 novembre, 2012). Chasseurs de la nouvelle génération: examen indépendant du coût du cycle de vie.
• Ministère de la défense nationale (2014). Chasseurs de la nouvelle génération - Mise à jour annuelle.
• Ministère de la défense nationale (décembre 2012). Chasseurs de la nouvelle génération - Mise à jour annuelle.
• Ministère de la défense nationale (septembre 2014). Cost Report in Support the Next Generation Fighter Capability - F35 Life Cycle Cost Estimate. (Mise à jour annuelle de 2014)
• Ministère de la défense nationale (10 mai, 2014). Draft Annual Update - Work Plan
• Ministère de la défense nationale (2014). Modèle de coûts de la CPGC.
• Ministère de la défense nationale (2014) NGFC Costing Model-Inflation Index Development and Application Review.
• Ministère de la défense nationale (juillet 2014). PMO Ground rules and assumption.
• Ministère de la défense nationale (jullet 2014). Spreadsheet Findings Report.
• Ministère de la défense nationale (juin 2014). NGFC Infrastructure Program Costing Template
• Ministère de la défense nationale (n.d.) CF188 Fleet Long Term Disposal Cost Estimates, RDIMS #1049050.
• Ministère de la défense nationale. (2013). Chasseurs de la nouvelle génération - mise à jour annuelle 2013, Ébauche WME-410294 Ver 10B.
• Ministère de la défense nationale (août 2011) . PMO NGFC Weapons Cost - An Approach for Consideration.
• Raymond Chabot Grant Thornton (2013) Exam indépendant de 2013