ARCHIVÉE - Mise à jour annuelle 2013 du Ministère de la Défense nationale : Examen indépendant du coût du cycle de vie de la capacité de la prochaine génération de chasseurs

Rapport Final - 8 août 2013

Table des matières

• Liste des acronymes
• 1. Sommaire
• 2. Renseignements généraux
  • 2.1 Contexte
  • 2.2 Objectif et portée
    • 2.2.1 Limites et Portée
  • 2.3 Limites du Rapport
  • 2.4 Grands principes du Cadre
  • 2.5 Approche
• 3. Observations découlant de l'examen indépendant
  • 3.1 Planification du CCV CPGC
  • 3.2 Limites et hypothèses
    • 3.2.1 Limites des coûts
    • 3.2.2 Règles de base et hypothèses
  • 3.3 Modèle
    • 3.3.1 Structure de ventilation des coûts
    • 3.3.2 Modèle
    • 3.3.3 Méthodes d'établissement des coûts
  • 3.4 Données, alimenter et documenter le Modèle
    • 3.4.1 Collecte de données et normalisation
    • 3.4.2 Estimation de base
  • 3.5 Examen, analyse et mise à jour
    • 3.5.1 Analyse de sensibilité
    • 3.5.2 Analyse des risques et des incertitudes
    • 3.5.3 Documentation des résultats
    • 3.5.4 Documentation du modèle
    • 3.5.5 Assurance relative au CCV
  • 3.6 Interpréter et faire rapport des résultats
  • 3.7 Gens et Organisation
    • 3.7.1 Équipe estimatrice de la CPGC
    • 3.7.2 Rôle de la certitude des coûts
  • 3.8 Examen comparatif
• 4. Conclusion
• 5. Annexe A | Sommaire des Recommendations de l’examen indépendant de 2012
• 6. Appendix B | Liste des documents examinés
• 7. Appendix C | Sommaire des standards de feuilles de calculs selon SSRB

Liste des acronymes

• ACI Avions de combat interarmées
• BPI Bureau de Programme interarmées
• Cadre Cadre du coût du cycle de vie
• CCV Coût du cycle de vie
• CNG Chasseurs de la nouvelle génération
• CPGC Capacité de la prochaine génération de chasseurs
• CUDU Coût unitaire départ usine
• DoD Département de la Défense (États-Unis)
• DSEC Direction des Services d'établissement des coûts
• DSF Diminution des sources de fabrication
• MDN Ministère de la Défense nationale
• Modèle Modèle du coût du cycle de vie
• PE Protocole d'entente
• RCGT Raymond Chabot Grant Thornton Consulting Inc.
• SCT Secrétariat du Conseil du Trésor
• SIGRD Système d'information de gestion des ressources de la Défense
• SNAC Secrétariat national d'approvisionnement de chasseurs
• SVC Structure de ventilation des coûts
• TPSGC Travaux publics et Services gouvernementaux Canada

1. Sommaire

Les services de Raymond Chabot Grant Thornton Conseil Inc. (RCGT) ont été retenus par le Secrétariat national d'approvisionnement en chasseurs (SNAC) pour entreprendre un examen indépendant de la Mise à jour annuelle 2013 du Ministère de la Défense nationale (MDN) sur la capacité de la prochaine génération de chasseurs (CPGC): examen indépendant du coût du cycle de vie (CCV) pour vérifier les hypothèses et estimations des coûts, notamment leur concordance avec le Cadre du coût du cycle de vie (" le Cadre ") élaboré en 2012. ¹ Ce rapport présente les observations et recommandations issues de l'Examen indépendant de 2013.

L'objectif de l'Examen indépendant visait à évaluer si le Cadre a été mis en application de façon appropriée. Ce processus incluait d’évaluer si les estimations de coût et tous les changements aux hypothèses sous-jacentes, validés dans la Mise à jour annuelle 2012 ², étaient calculés et présentés de façon cohérente avec le Cadre. L'examen n'a pas évalué la pertinence ou l'exactitude des données de base sur lesquelles repose l'estimation du CCV.

L'Examen indépendant visait à évaluer les processus, les procédures et la documentation des processus CCV du MDN par rapport au Cadre. Le processus d'examen incluait un :

• examen des estimations dans la Mise à jour annuelle 2013;
• examen du Modèle utilisé pour calculer les estimations de 2013; et
• un examen comparatif de l'approche d'estimation du CCV de 2013 à celle de l'estimation du CCV de 2012.

Notre examen indépendant de la mise en application du Cadre par le MDN n'a pas révélé de dérogation au Cadre ou grands principes qui auraient entraîné des changements importants à l'estimation globale du CCV.

Le Cadre inclut des grands principes qui mettent l'accent sur la planification, la pérennité et l'amélioration continue des processus d'estimation de coût et outils du MDN. Basé sur l'examen effectué, nous avons fourni un ensemble de recommandations pour le MDN et les autres intervenants pertinents, qui ont pour but d'appuyer une approche plus durable au calcul des coûts et d'assurer une mise en application cohérente de la méthodologie et des principes d'année en année. Les recommandations ont été regroupées en trois catégories concernant :

• la documentation des processus, procédures et de l'information;
• l'amélioration au Modèle ou aux méthodes analytiques; et
• l'amélioration de la gestion des risques.

Les recommandations ont été résumées dans le tableau suivant:

L'évaluation globale du processus de CCV CPGC a pour résultat que le MDN a continué d'améliorer et de mettre au point ses processus et méthodes au fur et à mesure que le Projet CPGC continue d'évoluer. Il y a des améliorations qui pourraient être faites en matière de procédés de documentation et d'officialisation, mais elles sont principalement le reflet du niveau de maturité du processus de CCV CPGC, reconnaissant que le projet CPGC demeure dans la phase de l'analyse des options. Dans la période intérimaire entre la Mise à jour annuelle de 2013 et la Mise à jour annuelle de 2014, le MDN devrait se concentrer à traiter le reste des recommandations de l'Examen indépendant de 2012 (voir la section 4 et l'Annexe A) ainsi que les recommandations fournies par l'Examen indépendant de 2013.

2. Renseignements généraux

2.1 Contexte

Le 3 avril 2012, le vérificateur général du Canada a présenté son rapport du printemps 2012 au Parlement, identifiant des préoccupations avec la façon dont l'information clé relative à la capacité de la prochaine génération de chasseurs était élaborée et présentée aux Canadiens et Canadiennes. Le rapport recommandait que le coût estimatif de la capacité du chasseur F-35 soit plus précis pour inclure tout le coût du cycle de vie et que l'estimation de coût soit rendue publique. Le gouvernement a accepté la recommandation du vérificateur général et a lancé un Plan à sept volets ³ pour donner suite à ce rapport.

Le gouvernement, par l'entremise du SNAC (anciennement Secrétariat du F-35) au sein de Travaux publics et Services gouvernementaux Canada (TPSGC), s'est engagé à assurer qu'une diligence raisonnable soit exécutée tout au long de la mise en ɶuvre du Plan à sept volets.

Dans le cadre du Plan à sept volets, le Secrétariat du Conseil du Trésor (SCT) a commandé un examen indépendant ⁴, qui inclurait l'élaboration d'un Cadre du coût du cycle de vie de la CPGC ⁵. Ce Cadre, terminé en novembre 2012 était conçu pour fournir au MDN une orientation claire pour l'estimation et le rapport cohérents du CCV CPGC.

Un autre élément du Plan à sept volets est que :

La première mise à jour ⁶ du MDN sur le CCV CPGC a été terminée en décembre 2012. Un examen indépendant de la mise à jour annuelle 2012 a donné huit (8) recommandations pour des améliorations à l'approche d'estimation du CCV CPGC (voir Annexe A) ⁷

Les services de RCGT ont été retenus par le SNAC pour effectuer un examen indépendant de la Mise à jour annuelle de 2013 sur le CCV CPGC, pour vérifier les hypothèses et les estimations de coût, notamment leur concordance au Cadre. Ce rapport présente les observations et recommandations découlant de l'examen indépendant de 2013.

2.2 Objectif et portée

L'objectif de l'Examen indépendant visait à évaluer si le Cadre était mis en application de façon appropriée.

Cet examen indépendant visait à évaluer si les estimations de coût et tous les changements aux hypothèses sous-jacentes, validés dans la Mise à jour annuelle de 2012, étaient calculés et présentés de façon cohérente avec le Cadre de CCV CPGC publiée par le SNAC en décembre 2012.

2.2.1 Limites et Portée

Bien que RCGT a évalué si les sources de données ont été documentées de façon appropriée et validées par le MDN, notre examen n'a pas évalué la pertinence et l'exactitude des données sources sur lesquelles l'estimation du CCV sont fondées. Par exemple, l'information sur le calcul du coût fournie par le Bureau de Programme interarmées (BPI) n'était pas assujettie à la validation (c.-à-d., RCGT a accepté les chiffres tels que fournis et n'a pas validé l'exactitude des hypothèses de calcul de coût sous-jacentes à l'information.

Le MDN effectue aussi actuellement une évaluation exhaustive des options disponibles pour remplacer la flotte de CF-18. RCGT ne considère pas ces analyses d'options comme faisant partie de la portée de l'Examen indépendant.

2.3 Limites du Rapport

Le but de ce rapport est d'informer la prise de décision du MDN, de SNAC et du SCT et d'appuyer la Mise à jour annuelle du CCV CPGC 2013 du MDN au Parlement. Aucune partie ne devrait agir sur les contenus de ce rapport sans avoir effectué d'autres analyses. Le MDN, le SCT et le gouvernement du Canada sont responsables des décisions prises relatives au Programme de CPGC. RCGT décline toute responsabilité à l'égard de tiers qui ferait l'utilisation de ce rapport. Les avantages et coûts ultimes réalisés par la mise en ɶuvre d'un plan pour acquérir une flotte d'avions F-35, seront basés sur les événements futurs et les décisions du gouvernement, qui peuvent mener à des variances importantes des estimations incluses dans ce rapport.

L'examen a été constitué d'activités spécifiques convenues par le MDN et le SNAC. L'examen a évalué la conformité de l'estimation du CCV CPGC au Cadre, se fiant sur l'information fournie par le MDN. RCGT n'a pas effectué un audit de l'estimation et, par conséquent, ne fournit aucune assurance ou n'exprime aucune opinion sur les estimations de coût. De plus, l'incapacité d'examiner les limites de l'Énoncé des besoins (ÉB), et de conclure si le Modèle de Structure de ventilation de coûts (SVC) inclut tous les besoins en matière de capacité du projet.

Les lecteurs de ce rapport devraient considérer le document dans son intégralité. La sélection ou l'utilisation de certains éléments du rapport peuvent donner lieu à une fausse interprétation de l'information fournie. RCGT n'acceptera aucune responsabilité pour de telles interprétations.

RCGT se réserve le droit, mais n'est pas tenu d'examiner ou de réviser toutes les constatations, tous les calculs et toutes les recommandations contenus dans le rapport, et si nous le jugeons nécessaire, à la lumière de toute information portée à notre connaissance après la date du rapport.

2.4 Grands principes du Cadre

Le Cadre établit sept grands principes pour guider le MDN à atteindre les résultats de l'estimation requis par les multiples décideurs et intervenants. Les critères d'examen utilisés par RCGT durant l'examen indépendant. sont conformes aux principes suivants :

• Planification du CCV CPGC │Élaborer un plan pour assurer que le modèle de CCV CPGC répond aux besoins de tous les utilisateurs éventuels et est conforme au Cadre du CCV.
• Limites et hypothèses │Des limites bien définies et convenues sont établies. Les règles de base et hypothèses sont comprises et convenues. La documentation du projet est aisément disponible et forme la base pour les coûts.
• Élaborer le Modèle │Une Structure de ventilation des coûts (SVC) est élaborée qui représente le total au titre du Programme. Le modèle élaboré est conforme avec les principales pratiques et appuie la SVC et l'éventail de décisions anticipé. Des méthodes appropriées d'estimation de coûts sont sélectionnées pour chaque élément de coût.
• Données, alimenter et documenter le Modèle │Les données sont colligées et normalisées. L'estimation de base est précisée et une validation interne du modèle et des résultats est effectuée.
• Examiner, analyser et mettre à jour │Entreprendre des analyses de sensibilité, de risque et d'incertitude et élaborer des estimations de coûts ajustées aux risques. Les résultats sont établis et documentés. Des activités indépendantes de certitude de coût sont entreprises et des ajustements nécessaires sont faits au Modèle du CCV CPGC.
• Interpréter et faire rapport des résultats │Des rapports d'objet ciblés sont élaborés pour les décideurs et intervenants conformément aux lignes directrices prescrites.
• Gens et Organisation │ L'équipe estimatrice de la CPGC est composée d'une organisation professionnelle d'établissement de coûts, appuyée par des outils, des techniques et méthodes standards. Le rôle de certitude de coût est intégré au processus avec des politiques appropriées pour assurer une approche non partisane.

2.5 Approche

La première étape de l'examen était de comprendre le Cadre, l'Examen indépendant de la CPGC 2012 et la Mise à jour annuelle de la CPGC 2012, ainsi que toute documentation d'appui initialement fournie par le MDN. L'équipe de RCGT a aussi assisté à un atelier organisé par l'Équipe d'établissement des coûts, pour une revue générale du Modèle de CVV 2013.

À mesure que l'information était disponible par le MDN, RCGT a examiné le Modèle finalisé, l'ébauche de la Mise à jour annuelle de 2013 et la documentation d'appui afférente (énumérée à l'Annexe B) pour :

• examiner les données, les hypothèses et analyses de coût pour déterminer si elles étaient conformes aux principes définis dans le Cadre;
• examiner les données, les hypothèses et analyses de coût pour la pertinence, la rationalité et l'exactitude;
• examiner si les données de coût ont été élaborées en utilisant l'information d'évaluation des coûts la plus récente et à jour, fournie par le BPI et autres fournisseurs de données sources; et
• analyser et résumer les résultats.

L'examen des estimations voulait déterminer si :

• chaque composante de l'estimation pouvait être rattachée à la documentation source appropriée, se conformait aux exigences et hypothèses relatives à la capacité du projet, et si une méthode de calcul appropriée avait été choisie;
• les estimations de coût et les hypothèses connexes sont documentées, communiquées et appliquées de manière uniforme;
• les estimations sont issues des besoins en matière de capacité du projet et sur une structure de ventilation des coûts (SVC) détaillée et appropriée à ce stade-ci du projet de la CPGC;
• tous les éléments de coûts pris en compte dans les estimations sont conformes à l'objectif et aux exigences en matière de capacité qui sont décrits dans le Mandat du Projet de la CPGC du MDN, la SVC et les règles de base et les hypothèses, et s’ils ne sont ni omis ni comptés en double.
• les données sous-jacentes sont tirées des meilleures informations disponibles et ont été correctement normalisées/ajustées en fonction des coûts techniques de base et de l'inflation d'après les lignes directrices appropriées; et
• la normalisation/l'ajustement et le calendrier de l'estimation de coûts sont logiques, exactes et appliquées de manière uniforme.

L'examen du Modèle incluait un :

• examen détaillé de toutes les données de coûts entrées dans le modèle en les réconciliant à la documentation à l’appui;
• échantillon de toutes les formules du modèle pour vérifier qu'elles sont appliquées de manière uniforme dans le modèle et l'identification d'erreurs possibles;
• examen de haut niveau du Modèle par rapport aux pratiques exemplaires du tableau de ventilation telles que déterminées par le Comité de vérification des normes du tableau de ventilation ⁸.

En plus un examen comparatif de l'approche de l'estimation du CCV 2013, à l'approche de l'estimation du CCV 2012, a été effectué, qui incluait :

• examiner les règles de base et les données des hypothèses pour identifier tout changement dans les hypothèses globales entre les Mises à jour de 2012 et 2013; et
• examiner l'analyse de la variance fournie par le MDN pour déterminer si des variances importantes étaient présentes d'année en année.

3. Observations découlant de l'examen indépendant

L'examen indépendant de l'Estimation a compris une évaluation de la portée, des hypothèses et des calculs qui la sous-tendent. Les critères d'examen sont tirés des politiques du Conseil du Trésor pertinentes et des outils de politique connexes du gouvernement du Canada, des pratiques exemplaires applicables désignées dans le Cadre. Pour faciliter la comparabilité d'année en année, RCGT a appliqué les mêmes critères de réexamen utilisé dans l'Examen indépendant de 2012, avec quelques révisions mineures. Notamment le principe du Cadre « Gens et Organisation » a été ajouté comme un nouveau critère pour cet Examen indépendant de 2013.

Les principales observations liées à chaque critère de réexamen sont résumées ci-dessous :

En plus du Cadre, notre examen a inclus une analyse comparative de l'approche d'estimation utilisée en 2013, à l'approche utilisée l'année précédente. Cela a fait l'objet d'un examen plus loin dans la Section 3.8.

Le tableau ci-dessous résume les estimations de 2013 du MDN, basées sur l'application du Cadre. Les coûts actuels vont varier des estimations, au fil du temps, et ces variances peuvent être significatives.

3.1 Planification du CCV CPGC

Principe: Élaborer un plan pour assurer que le modèle de CCV CPGC répond aux besoins de tous les utilisateurs éventuels et conforme au Cadre du CCV.

La planification est une étape importante pour assurer que l'Équipe d'établissement des coûts accomplit avec succès ses tâches et son travail efficacement vers les objectifs. Tel que prévu dans le Cadre, nous nous attendions à ce que le plan du projet du CCV expose les éléments clé du projet, tels que la portée, l'objectif, le calendrier, les données, les méthodes d'établissement des coûts et l'assurance de la qualité. L'Équipe d'établissement des coûts a fourni à RCGT un plan du CCV ⁹ qui incluait un contexte de haut niveau, une méthodologie et des résultats d'estimation de coûts. Il incluait aussi le but du Modèle, les entrées et résultats de haut niveau, la SVC et la méthodologie d'établissement des coûts au niveau de l'élément de coût pour chaque phase du CCV.

Le Plan du CCV n'inclut pas actuellement un plan directeur avec des besoins en ressources et étapes clés; toutefois, nous avons observé des éléments probants des documents de plan de travail ¹⁰ du MDN qui incluaient des tâches liées au CCV CPGC, ainsi que les documents de TPSGC décrivant le calendrier de la Mise à jour annuelle de 2013, les responsabilités et étapes clés. ¹¹

En général , le Plan du CCV est un document bien élaboré qui sert comme un rapport de résultats préliminaires, expliquant le travail terminé et résumant les estimations de coût, notamment les principales hypothèses et le détail des coûts.

Actuellement, la configuration de la documentation de planification est systématiquement contrôlée par l'entremise du processus et des procédures de la DSEF du MDN.

3.2 Limites et hypothèses

Principe: Des limites bien définies et convenues sont établies. Les règles de base et hypothèses sont comprises et convenues. La documentation du projet est aisément disponible et forme la base pour les coûts.

3.2.1 Limites des coûts

Le Cadre du CCV précise que les limites de coûts devraient inclure tous les coûts de l'initiation à l'aliénation des biens au niveau du Programme. Le Cadre définit les coûts au niveau du Programme comme coûts « liés à tout groupe de ressources et d'activités, et leurs résultats directs connexes, poursuivant un objectif ou un ensemble d'objectifs. Un programme peut inclure divers projets à diverses époques » ¹².

En examinant le Modèle et le Plan du CCV, nous avons comparé l’objectif du Modèle et l’estimation de coût aux attentes établies dans le Cadre. Nous avons constaté que le Modèle tenait compte des coûts engagés jusqu'au niveau du Programme, de l'étape de l'élaboration du Projet jusqu'à la phase d'aliénation du projet CPGC. Aux fins d'établissement de coût, juillet 2010 est utilisé comme date de début du projet, l'année 2021 comme le début de la Capacité initiale opérationnelle ¹³ , et l'année 2025 comme le début de la Capacité fonctionnelle totale ¹⁴. Le Modèle présume une durée de vie de 30 ans pour chaque avion à compter de sa livraison ¹⁵.

Notre examen de la limite des coûts n'a révélé aucune divergence dans l'application du Cadre par le MDN.

3.2.2 Règles de base et hypothèses

Étant donné que le projet est encore à un stade précoce, le Cadre précise que « il est nécessaire d'utiliser un ensemble d'hypothèses qui restreignent les éléments du projet d'une manière cohérente afin de permettre l'établissement du CCV. Ces hypothèses sont un élément clé du CCV CPGC car elles définissent la base sur laquelle les estimations sont établies ». L'Équipe d'établissement des coûts devrait par conséquent maintenir un document séparé enregistrant toutes les hypothèses et garder les informations à l'appui pertinentes. Les hypothèses et tout changement subséquent devraient continuer à être examinés et approuvés par les intervenants appropriés.

Les règles de base et hypothèses ont été documentées par l'entremise du Mandat du Projet CPGC, les annexes du Plan du CCV, la Mise à jour annuelle et les documents séparés spécifiques aux règles de base et hypothèses. RCGT a constaté que ces quatre (4) documents ne présentaient pas les mêmes détails et versions des hypothèses. Un courriel ¹⁶ de l'Équipe d'établissement de coût expliquait que deux hypothèses avaient changé et étaient reflétées dans la Mise à jour annuelle et le Plan du CCV. Le MDN a fourni subséquemment une documentation indiquant que les représentants du BGP CGPC et le Directeur des besoins aérospatiaux avaient validé les règles de base et les hypothèses. ¹⁷ Il n'y a pas eu d'incidence quantitative à l'estimation liée aux règles de base et hypothèses, car les mêmes règles de base et hypothèses sont reflétées dans les Mises à jour annuelles de 2012 et 2013. Bien que le MDN n’inclue pas l'information sur ses principales hypothèses dans le document du plan du CCV, le Cadre ¹⁸ indique que les règles de base et hypothèses sont un « document séparé […] maintenu par l'Estimateur de coût qui enregistre toutes ses hypothèses ». Dans un effort de mieux harmoniser les Principes de Limites et Hypothèses avec le Cadre, nous recommandons que le MDN maintienne un document de règles de base et d'hypothèses spécifique et séparé, contenant toutes les règles de base et hypothèses actuelles et approuvées.

Recommandation D1: Bien que les règles de base et les hypothèses sont incluses et bien documentées grâce au Modèle et au plan du CCV, dans un effort de mieux concorder avec les principes de délimitation et d'hypothèses dans le Cadre, le MDN devrait maintenir dans un document de règles de base et d'hypothèses séparé, toutes les règles de base et hypothèses actuelles et approuvées.

3.3 Modèle

Principle : Une Structure de ventilation des coûts (SVC) est élaborée qui représente le total au titre du Programme. Le modèle élaboré est conforme aux pratiques exemplaires et appuie la SVC et l'éventail de décisions anticipé. Des méthodes appropriées d'estimation de coûts sont sélectionnées pour chaque élément de coût.

3.3.1 Structure de ventilation des coûts

Il est précisé dans le Cadre que « la Structure de ventilation des coûts (SVC) fournit une répartition logique et complète du programme CPGC » ¹⁹. Selon le Cadre, nous nous attendions à ce que la SVC dans le Plan du CCV de 2013 et la Mise à jour annuelle soient harmonisées avec les éléments définis dans l'ÉB. Nous n'avons pas pu faire ce test, car le MDN n'était pas en mesure de fournir l'ÉB parce que le document avait été mis de côté et par conséquent était non disponible. ²⁰ En l'absence de la documentation adéquate pour faire une comparaison directe avec la SVC, RCGT a comparé la SVC de 2013 avec la Mise à jour annuelle de l'an dernier, pour identifier tout écart et changement. Nous avons identifié l'ajout de deux catégories de coût à la SVC, depuis 2012, qui ont été ajoutées comme résultat des changements aux données sources fournies par le BPI. ²¹ Ces changements sont reflétés de façon appropriée dans les estimations de coût définitives de 2013 et la Mise à jour annuelle.

Sans examiner l'ÉB, RCGT ne peut pas conclure si le Modèle de la SVC inclut tous les besoins en matière de capacité du projet; si un ÉB révisé devient disponible dans les prochaines années, le Modèle devrait être évalué par rapport à ce dernier pour assurer la conformité avec le Cadre.

Jusqu'à ce qu'un nouveau document de l'ÉB soit disponible, il continuera d'y a voir une limite à l'habileté de l'examinateur d'évaluer la conformité par rapport à ce principe du Cadre (voir Section 2.3 Limites du rapport).

3.3.2 Modèle

D'après le Cadre, « le Modèle est l'outil qui saisit toutes les entrées, effectue les calculs nécessaires pour fournir des résultats satisfaisants pour examen ». ²² Il devrait être : exact, précis, exhaustif, reproductible, vérifiable, identifiable, flexible, crédible et ponctuel.

De plus, le Cadre indique que le Modèle devrait être totalement documenté pour que chaque lecteur comprenne quelles entrées sont utilisées et comment elles sont manipulées pour créer des résultats. Le Modèle en soi devrait aussi être documenté d'une manière que l'utilisateur connaisse le but de chaque feuille de travail, les entrées et résultats, et l'identité du propriétaire du Modèle, notamment les coordonnées. En dernier lieu, toutes les modifications au modèle devraient être documentées.

L'examen du Modèle de RCGT incluait un examen détaillé des entrées du modèle pour identifier toute copier/coller ou erreurs de frappe pour les données fournies par le BPI ou d’autres sources du MDN, ainsi qu'un examen de la formule du modèle pour cohérence et vraisemblance.

Dans l'ensemble, le Modèle est bien organisé, avec des éléments spécifiques du CCV ordonné logiquement à partir des données d'hypothèse aux résultats. Nous avons remarqué certaines occasions pour amélioration au Modèle qui n'ont aucune incidence sur l'estimation en soi du CCV. Nous avons résumé ces résultats selon deux catégories :

• Améliorations au tableau de ventilation - améliorations éventuelles au modèle pour aider à assurer qu'elles sont conformes aux pratiques exemplaires; et
• Améliorations à la documentation - zones où la documentation qui appuie le modèle peuvent être élaborées ou améliorées.

3.3.2.1 Améliorations au tableau de ventilation

Le modèle a été élaboré pour se conformer aux principes des pratiques exemplaires SSRB. Dans le cadre de l'examen, nous avons identifié certaines normes et conventions additionnelles SSRB qui pourraient être incorporées dans les prochains amendements du modèle. Ces améliorations n'ont aucune incidence sur l'Estimation du CCV. Un résumé des normes et conventions suggérées SSRB à mettre en oeuvre est inclus à l'Annexe C.

3.3.2.2 Améliorations à la documentation

Grâce à l'examen du Modèle, nous avons pu confirmer que l'Équipe d'établissement des coûts a créé un tableau de ventilation préliminaire avec des notes générales et des explications à savoir comment le Modèle et tableau de ventilation sont disposés. La plupart des tableaux de ventilation, avec quelques exceptions, contiennent une description de la source de données, le but du tableau de ventilation, la méthodologie en faveur des calculs et un lien à l'index du tableau de ventilation, établissant la liste et liant tous les tableaux de ventilation dans le Modèle. Cet index inclut une courte description de chaque tableau de ventilation.

• Nous avons remarqué qu'il y a des variances mineures entre les données reçues du BPI pour le Lab de programmation (Lab de reprogrammation) et ce qui est utilisé dans le modèle. La raison d'être pour ces variances est basée sur des discussions avec le partenaire Avion de combat interarmées (ACI), avant la Mise à jour annuelle de 2012, qui ont mené à la découverte que certains éléments des estimations du Lab de programmation fournies par l'équipe de coûts de maintien en service du BPI, ne sont plus applicables au Canada; des données de rechange en provenance du responsable technique du BPI ont été adoptées ²³. Actuellement, le Canada prévoit participer comme partenaire à un Lab de programmation de l'ACI avec l'Australie et le Royaume-Uni, qui a amorcé un processus d'examen de conception qui mènera à rendre plus précis les coûts du Lab de programmation plus tard en 2013. ²⁴ La variance globale observée entre l’estimation standard du BPI et l’estimation canadienne spécifique ajustée est d'environ 0,5 millions de dollars, ce qui est négligeable à l'Estimation du CCV. Toutefois, le Modèle devrait augmenter le niveau de détail contenu dans ses notes, en expliquant le fait que le Modèle utilise les données du BPI avec de légères modifications et la raison d'être. Améliorer la documentation du modèle, particulièrement en fonction d'identifier clairement la documentation source et le mappage du flux de données du modèle, améliorerait encore plus la traçabilité du Modèle.
• De plus, il n'y a pas actuellement de plan de gestion de la configuration du Modèle, qui est une exigence spécifique du Cadre ²⁵. Un plan de gestion de la configuration aide à assurer que la façon dont les coûts sont estimés par rapport au Modèle demeure cohérente d'année en année et que tout changement est bien considéré et exécuté. La documentation du Modèle fait l'objet d'un examen plus approfondi dans la section 3.5.4.

Recommandation A1: Le MDN devrait continuer à miser sur ses améliorations existantes au Modèle et à la documentation d'appui, en élaborant un plan de gestion de la configuration du Modèle qui est aligné sur les pratiques exemplaires et qui incorpore des améliorations et simplifications progressives supplémentaires au Modèle qui améliorent davantage la pérennité, la flexibilité, la traçabilité et la vérifiabilité.

3.3.3 Méthodes d'établissement des coûts

Le Cadre précise que les techniques appropriées d'estimation de coût devraient être sélectionnées pour chaque élément de coût dans le modèle. La pertinence de la méthode de coût est grandement déterminée par l'exactitude et le bien fondé de l'information disponible liée à l'élément de coût donné; On s'attend à ce que ces deux facteurs s'améliorent à mesure que le projet se déplace de l'Élaboration à l’Acquisition et ensuite aux stades opérationnels.

Il y a un grand nombre de méthodes d'établissement différentes qui peuvent être appliquées aux différents éléments d'établissement de coût dans le Modèle; ces méthodes sont discutées brièvement ci-dessous ²⁶:

• Méthode de coût de conception - Estimation d'un élément de coût en examinant les produits composante par composante. Ceci peut aussi être caractérisé comme une approche ascendante;
• Méthode de coût analogue - Estimation basée sur l'expérience avec les mêmes produits ou semblables ou la même technologie;
• Méthode de coût paramétrique - Utilise des paramètres et variables significatifs pour établir des relations d’'estimation du coût; et
• Extrapolation à partir des produits livrables réalisés - Utilise le rendement actuel du contrat et du projet pour estimer les coûts à l'achèvement, notamment l'estimation de l'apprentissage réel par rapport aux courbes d'apprentissage prévues et approches d'optimisation du rendement acquis.

L'estimation des coûts liées à l'Élaboration, tel que le BGP, est issue d'une combinaison de données paramétriques, obtenue d'un Protocole d'entente (PE) et de l'information historique de coût réel liée au BGP à partir des systèmes financiers du MDN. Il y a certains autres coûts liés aux données sources initiales et aux études secondaires qui sont obtenus en utilisant une méthode d'établissement de coût paramétrique.

La méthode de coût appliquée pour l'Acquisition est basée principalement sur le coût de conception, qui est obtenu par le biais d'une répartition des coûts par composante pour les avions fournis dans les données générées par le BPI. Comme avec les données du BPI utilisées dans la Mise à jour annuelle de 2012, les données du BPI utilisées dans la Mise à jour annuelle de 2013 continuent de combiner les coûts historiques actuels de production pour les unités du F-35 avec des efficacités de production prévues par l'entremise d'apprentissage et d'économies d'échelle. ²⁷

À l'égard du coût de maintien en service, le Modèle a continué de se fonder sur les estimations du BPI comme sa principale source de données. Les coûts de maintien en service sont déterminés par le biais de méthodes de coût paramétriques en utilisant les éléments clés du nombre d'avions et d'heures de vol estimées pour générer une estimation. Il est prévu, qu'à un certain point, les estimations de coût du maintien en service pourraient inclure l'intégration des coûts de maintien en service actuels observés pour l'avion F-35 au É-U., mais au moment de la rédaction de ce rapport, cette information n'a pas été saisie ou intégrée.

Les estimations des coûts d'exploitation dans le modèle sont générées de l'information historique réelle du système financier.. À ce stade de l'analyse, étant donné qu’aucuns F-35 ne sont en service, le MDN a opté d'utiliser une approche analogue pour l'estimation en utilisant les données de coût liées aux unités et bases de soutien du CF-18. Cette approche sera la plus appropriée jusqu'à ce que de l'information additionnelle puisse être obtenue par l'entremise soit de l'opération d'un F-35 au Canada, ou par le biais d'autres pays partenaires d'ACI.Les coûts d'exploitation du carburant et des lubrifiants dépensés sont principalement dictés par le profil d'achat et l'état stable des heures de vol estimées. Bien que cette approche soit appropriée, il y a une occasion de mieux harmoniser les estimations de coût du carburant plus directement aux heures de vol prévues. Étant donné que les heures de vol annuelles estimées sont fournies pour l'établissement des coûts de maintien en service par le BPI, et que dans les prochaines années les estimations/prévisions d'heures de vol peuvent être révisées, les heures de vol annuelles estimées pourraient être utilisées pour l'estimation de la consommation de carburant et lubrifiant. Cela pourrait aider à positionner proactivement le modèle pour l'adapter à tout changement futur dans les estimations des heures de vol, si elles se produisent. L'incidence estimée de réviser la méthodologie du coût du carburant serait une augmentation de l'estimation du coût du carburant d'environ 40 millions de dollars durant la vie de la flotte, qui représente environ 0,1 % d'augmentation dans l'Estimation du CCV non ajustée de 40,7 milliards de dollars. Ceci n'est pas jugé être une incidence significative à l'estimation du CCV.

En dernier lieu, l'estimation du coût de la mise hors service du F-35 été basée sur une méthode paramétrique analogue, puisqu’elle découle d'une estimation des coûts d'aliénation liés à la flotte de CF-18. Lorsqu'une aliénation de ces avions est initiée, le MDN sera en mesure de mettre à jour les estimations d'aliénation, en conséquence.Basé sur l'examen effectué, les méthodes de coût actuellement utilisées sont considérées acceptables, mais il peut y avoir une occasion de mieux harmoniser les estimations de coûts de carburant et de lubrifiant avec les estimations d'heures de vol.

3.4 Données, alimenter et documenter le Modèle

Principe : Les données sont colligées et normalisées. L'estimation de base est précisée et une validation interne du modèle et des résultats est effectuée.

3.4.1 Collecte de données et normalisation

Le Cadre stipule que le MDN collecte des données pour tous les éléments du Programme, à partir des sources de données pertinentes, et les normalise et les ajuste pour qu'elles puissent être utilisées de façon appropriée dans le Modèle. Inhérents à ce processus sont l'examen et l'analyse des principaux coûts et éléments de coût, afin d'établir une rationalité et d'évaluer la sensibilité et les risques liés à ces estimations.

Dans le cadre de l'examen, nous avons identifié et retracé les sources de données dans le Modèle et analysé la méthode de normalisation. Elles ont été organisées en fonction de chaque élément principal de coût du Modèle et sont discutées ci-dessous.

3.4.1.1 Traitement des indices

Il y a deux principaux indices requis dans le Modèle :

1. Le taux d'inflation – les coûts, qu'ils soient en dollars américains ou canadiens, doivent être actualisés afin de tenir compte des taux d'inflation prévus, qui convertissent l'estimation d'une « Année courante » à une estimation d'une « Année budgétaire ». L'information concernant l'inflation est tirée de deux sources :
   1. Le modèle économique ²⁸du MDN qui est élaboré au sein du MDN pour estimer les chiffres de l'inflation spécifiques au secteur de la défense dans tout le ministère; et
   2. le modèle économique ²⁹ des É-U qui est fourni par l'intermédiaire du BPI.
2. L'indice FOREX (Foreign Currency Exchange) est établi selon le rapport de Consensus Economic Inc. ³⁰ qui est publié mensuellement. Le Modèle s'appuie sur le taux annuel moyen de mai 2013.

Le Modèle utilise les prévisions les plus récentes disponibles au moment où le BPI a prévu de fournir ses données.

Basés sur notre examen des données fournies, les indices utilisés sont à la fois courants, cohérents avec les méthodes utilisées pour la Mise à jour annuelle de 2012 et semblent être raisonnables.

3.4.1.2 Développement

Les données sur les coûts de Développement incorporent des éléments de coût, notamment coûts liés au personnel du BGP, au déplacement et autres frais d'administration, au même titre que les coûts liés au développement de la source de données initiale et aux études secondaires liées au projet. La majorité de ces coûts sont estimés en se basant sur un PE, mais aussi incluent certains coûts réels historiques liés au BGP.

Toute l'information significative sur les coûts de développement a été retracée à sa source.

3.4.1.3 Acquisition

Il y a de nombreux éléments de coût inclus dans la partie Acquisition de l'estimation du CCV, notamment :

• L'achat des avions en soi (les coûts unitaires récurrents de sortie d'usine)
• Les coûts liés à l'inventaire initial des pièces de rechange de munitions
• Les modifications à l'avion
• L'infrastructure et la mise sur pied du maintien en service de l'avion.
• La formation initiale
• Les coûts du lab de reprogrammation
• Les coûts d'acquisition du BGP; et
• Autres coûts d'acquisition.

Environ 93 % des coûts d'acquisition estimés de 8,6 milliards de dollars sont tirés des données fournies par le BPI. Ces données n’ont pas été validées par l'équipe de l'examen indépendant, en dehors d'assurer que les données sont entrées de façon appropriée dans le modèle et si les données fournies estiment raisonnablement les coûts d'acquisition anticipés liés à un F-35.

Les estimations de coût du BPI sont fournies en Dollars américains de l'année 2012, cela signifiant qu'elles ont été ajustées pour l'inflation et le taux de change de devises étrangères afin d’être converties en dollars de « l'Année budgétaire » du MDN. L'infrastructure et les autres coûts tirés de l'information sur les coûts qui provient du MDN (p. ex. coûts de formation initiale et lab de reprogrammation) sont ajustés pour les augmentations inflationnistes.

Les estimations de coûts d'acquisition intègrent aussi le calendrier des paiements qui est décrit ci-dessous :

• échéances de livraisons très longues (5 %) - Exigible 1 an avant la commande
• financement intégral (30 %) - Exigible dans l'année de la commande
• paiement (45 %) - Exigible 1 an après la commande
• livraison (20 %) - Exigible 2 ans après la commande

Les données colligées et entrées dans le modèle sont conformes avec les données reçues du BPI et des sources internes du MDN.

3.4.1.4 Maintien en service

Les données sur les coûts de maintien en service proviennent directement du BPI, et par conséquent sont ajustées pour l'inflation et les incidences de taux de change de devises étrangères. Basées sur l'examen, les données de maintien en service ont été colligées et entrées correctement du BPI.

3.4.1.5 Exploitation

La majorité de l'information sur les coûts d'exploitation est tirée des résultats réels historiques du MDN pour les CF-18. L'information sur le personnel et les biens non durables est extraite du Système d'information de la gestion des ressources de la Défense (SIGRD), et alimentée dans le modèle. D'autres biens non durables tels que les munitions et lubrifiants sont basés sur les données historiques du SIGRD et ensuite répartis proportionnellement au calendrier d'acquisition pour la flotte des F-35. L'utilisation de carburant, en particulier, est estimée basée sur :

• L'estimation hypothétique d'état stable d'heures de vol
• Le taux de carburant consommé estimé par le BPI pour le F-35
• Le prix moyen pondéré d'offre à commandes pour le carburant de type aviation aux bases de Cold Lake et Bagotville; et
• Le nombre d'avions F-35 en service dans une année donnée.

Étant donné que toute l'information sur les coûts d'exploitation est en dollars canadiens, la seule normalisation requise pour les données est d’appliquer l'inflation annuelle à l'estimation, tel que prévu dans le Modèle économique du MDN.

3.4.1.6 Mise hors service

Les coûts de mise hors service ont été mis à jour depuis la Mise à jour annuelle de l'an dernier, en se fondant sur un rapport du Bureau de responsabilité du gouvernement des É-U. Les estimations de mise hors service sont maintenant basées sur une estimation établie par le MDN pour la mise hors service de la flotte des CF-18. ³¹ Cette information est fournie en Dollars canadiens. Ainsi,, les données sont normalisées pour l'inflation en utilisant les taux du Modèle économique canadien.

3.4.1.7 Sommaire de la collecte et normalisation des données

Basé sur l'examen du Modèle et la documentation fournie, il y a suffisamment de preuve pour appuyer le repérage de la collecte de données et que toutes les données ont été normalisées. Selon le Cadre, tous les éléments de coût qui ont une incidence significative sur l'ensemble des estimations sont identifiés et les données connexes sont colligées d'une source fiable.

3.4.2 Estimation de base

Le Cadre du CCV décrit les principales attentes concernant l'intégralité de l'estimation de base qui est tirée de l'information des coûts à jour et normalisée (selon la Section 3.4.1) et utilise les méthodes de coût appropriées pour créer l'estimation (selon la Section 3.3.3). Dans le cadre de l'examen, nous avons analysé les composantes de chaque élément principal de coût pour examiner si les coûts sont estimés de façon appropriée et que la source de données est documentée de façon appropriée. Les sous-sections suivantes identifient les sous-composantes principales de chaque élément de coût.

3.4.2.1 Coûts de développement

Les coûts de développement comprennent actuellement environ 527 millions de dollars (1,3 %) de l'estimation de CCV non ajustée de 40,7 milliards de dollars. L'estimation des coûts de développement inclut les coûts liés:

• au BGP; et
• aux contributions sous le PE d'ACI pour la production, le maintien en service et le suivi du développement.

Les coûts estimés du développement inclus les dépenses déjà encourues liées au rôle du Canada dans le programme d'ACI. Les coûts restants du développement inclus les coûts de développement restant du BGP et du PE d’ACI, ainsi que les études initiales et secondaires sur l'avion.

Les coûts de développement pour la plupart sont bien documentés et identifiables à leur source d'information. Toutefois, la documentation liée aux coûts estimés pour les études secondaires devrait être améliorée dans les prochaines versions du Modèle.

3.4.2.2 Coûts d'acquisition

Les coûts d'acquisition représentent actuellement environ 8,6 milliards de dollars (21,4 %) de l’estimation du CCV non ajustés de 40,7 milliards de dollars. Les sous-composantes principales de l'estimation des coûts d'acquisition comprennent :

• Les coûts unitaires récurrents de sortie d'usine
• Les pièces de rechange initiales, la formation et les munitions
• L'infrastructure
• La mise sur pied du maintien en service et l'équipement connexe
• Le BGP durant la phase d’acquisition
• La réduction des sources de fabrication et les modifications de concurrence; et
• Les autres coûts d'acquisition éventuels.

Dans l'ensemble, les coûts liés à l'acquisition ont augmenté de 8,4 milliards de dollars à 8,6 milliards de dollars, une augmentation d'environ 3,2 % d'année en année. Cette section examine brièvement les sous-composantes de l'acquisition, alors que les risques et éventualités seront davantage explorés dans la Section 3.5.2

Les sous-sections suivantes fournissent certains détails additionnels sur les éléments de coût d'acquisition individuels.

Coûts unitaires récurrents de sortie d'usine

Les coûts unitaires récurrents de sortie d'usine sont essentiellement le prix unitaire estimé d'un F-35 par le BPI. Les coûts unitaires récurrents de sortie d'usine de 2013 reflètent les données du BPI sur les derniers coûts réels de production pour l'avion. ³² Le coût moyen pondéré actuel d'un avion est de 88,5 millions de dollars américains. Dès qu'il est ajusté pour l'inflation et les prévisions de taux de change de devises étrangères, le coût unitaire récurrent de sortie d'usine total estimé est d'environ 6,4 milliards de dollars ou 72 % du coût total d'acquisition estimé de 8,6 milliards de dollars.

Les catégories de coûts unitaires récurrents de sortie d'usine et les moyens de collecte de données n'ont pas changé de la Mise à jour annuelle de 2012, et incorporent encore les cinq (5) principales composantes de l'avion:

• Cellule
• Systèmes de bord des véhicules
• Équipements de mission
• Systèmes de propulsion; et
• Bulletin technique d'entretien.

Ces éléments de coût sont exhaustifs par rapport aux coûts unitaires récurrents de sortie d'usine anticipés, tel qu’indiqués par l'information ³³de coût de production actuel du BPI.

Pièces de rechange initiales, Formation et munitions

Dans le cadre du processus d'acquisition, il existe un besoin d'obtenir des compléments initiaux de pièces de rechange et de munitions pour couvrir la formation et la période opérationnelle initiale. Dans la même veine, les pilotes et le personnel de maintenance doivent recevoir de la formation pour apprendre comment faire fonctionner et maintenir un F-35. Dans l'ensemble, ces coûts sont estimés à environ 411 millions de dollars ou 4,8 % du total des coûts d'acquisition estimés de 8,6 milliards de dollars.

On a remarqué qu'il semblait y avoir des coûts de carburant et lubrifiant inclus dans deux différents domaines du Modèle, Acquisition (spécifiquement dans les coûts de formation) et Exploitation, estimés à 83,1 millions de dollars et 79,7 millions de dollars respectivement. Ceci est possiblement un comptage en double des coûts de carburant et lubrifiant pour les périodes de 2017-2018 à 2020-2021. Ceci mènerait à une réduction maximum estimée de 79,7 millions de dollars à 83,1 millions de dollars de l'estimation totale du CCV, ce qui n'est pas considérée être une incidence significative.

La source de données pour les estimations de coût liée aux coûts de munitions pour la flotte énonce qu'elles incluent un facteur pour le taux de change de devises étrangères et une marge d'imprévus ³⁴. D'autres domaines du Modèle (telle que l'infrastructure) suppriment les facteurs d’imprévus dans la source de données afin d'assurer que le Modèle en soi soit la seule source de modificateurs d’imprévus. Nous recommanderions que le calcul initial des munitions observe ce prix et soit basé sur les chiffres non ajustés estimés, ce qui pourrait entrainer une réduction estimée de 9,5 millions de dollars de l'estimation totale du CCV. Cela ne représente pas une réduction significative dans l'estimation du CCV.

Tout comme pour les coûts de carburant et de lubrifiant, nous avons remarqué que les coûts liés aux munitions figuraient dans les sections Exploitation et Acquisition (spécifiquement dans les coûts de formation). Basée sur l'information fournie par le MDN, la raison d'être pour cela est qu'il y a des coûts liés à l'achat initial de munitions pour le F-35, et des coûts ultérieurs liés aux besoins d'utilisation des munitions. Basé sur nos observations du calcul du coût des munitions, il ne semble pas qu'il y ait un ajustement pour la charge de munitions achetée avec l'avion. Par conséquent, il y a un comptage en double pour les coûts de munitions durant la période d'acquisition; toutefois, l’étendue de ce comptage en double n’est pas claire en raison de l'incertitude autour de la transition de la formation aux opérations pour l'avion acquis. Nous recommandons que le MDN considère faire un ajustement pour les coûts d'utilisation des munitions durant la période d'acquisition pour refléter les achats initiaux de munitions. Un tel ajustement pourrait réduire l'estimation du CCV jusqu'à 51,3 millions de dollars. Ceci ne représente pas une réduction significative dans l'estimation du CCV.

Basé sur les éléments à traiter concernant les munitions, le carburant et les lubrifiants, il y aurait une incidence cumulative à réduire l'estimation du CCV d’un maximum de 140,5 millions de dollars à 143,9 millions de dollars, ce qui n'est pas considéré être une réduction significative dans le coût (moins de 0,35 % de l'estimation du CCV non ajustée). On devrait noter que tout comptage en double actuel augmente effectivement l'aspect conservateur de l'estimation.

Recommendation A₂: Bien que les cas de comptage en double dans les estimations de carburant, lubrifiant et munitions ne sont pas considérés comme importants (c.-à-d. moins de 1 % de la valeur estimée du CCV), et proviennent de source de données ayant des limites, le MDN devrait considérer des modifications à leur processus d’estimations de coûts afin d'atténuer le risque de comptage en double à l'avenir.

Infrastructure

Les coûts liés à l'infrastructure sont connexes aux 23 projets de construction et de rénovation pour appuyer une flotte de F-35. Ces coûts sont développés dans un modèle d'estimation séparé, dont les résultats sont ensuite alimentés dans le Modèle. Actuellement, les coûts liés à l'estimation de l'infrastructure sont à un stade précoce de développement et devraient être considérés dans un "ordre de grandeur approximatif" ³⁵. Les coûts d'ensemble de l'infrastructure sont estimés à environ 244 millions de dollars ou environ 2,8 % du total des coûts d'acquisition estimés de 8,6 milliards de dollars.

Les coûts de l'infrastructure estimés présentent des règles de base et hypothèses complètes qui ont été révisées pour la Mise à jour annuelle de 2013. Ils comprennent les coûts de construction et de rénovation par mètre carré et d'autres éléments tels que les honoraires pour la conception et les coûts de déplacement et d'ameublement. L'estimation originale fournie à l'Équipe d'établissement des coûts du MDN comprenait aussi une provision pour les éventualités, qui ne n’est pas inclus dans le Modèle afin de prévenir la duplication des montants pour éventualités.

Mise sur pied du maintien en service et équipement auxiliaire

La mise sur pied du maintien en service et l'équipement auxiliaire sont constitués principalement de coûts liés aux appareils de formation et à l'équipement de soutien pour le F-35, ainsi que les coûts de main-d'oeuvre nécessaires pour installer et mettre sur pied l'équipement. Ces coûts sont actuellement estimés à environ 1,1milliard de dollars, représentant la plus grande part des 8,6 milliards de dollars estimés dans les coûts d'acquisition après les coûts unitaires récurrents de sortie d'usine (12,4 %).

Les coûts liés à la mise sur pied du maintien en service sont inclusifs de toutes les composantes principales mises en évidence dans l'estimation du maintien en service du BPI. ³⁶

Coûts d'acquisition du BGP

Semblables aux coûts de développement du BGP, les coûts d'acquisition du BGP sont liés principalement au personnel, aux coûts indirects et coûts de déplacement pour le BGP durant la phase d'acquisition. Ces coûts sont prévus à environ 123 millions de dollars ou 1,4 % du total des coûts d'acquisition estimés de 8,6 milliards de dollars. Basés sur notre examen, ces coûts semblent exhaustifs par rapport aux coûts d'acquisition escomptés par le BGP.

Réduction des sources de fabrication et modifications de concurrence

La réduction des sources de fabrication (RSF) et les modifications de concurrence sont des sous-catégories de coût d'acquisition qui résultent des ajouts à l'information sur les coûts fournis par le BPI. Les coûts RSF se rapportent aux coûts associés à la perte de source d'approvisionnement pour les pièces ou les matériaux nécessaires au développement, à la production ou à la post production du F-35. Les modifications de concurrence sont des coûts associés aux modifications du F-35, issues des changements de conception dans la phase d'acquisition ³⁷. En général, ces coûts représentent environ 94 millions de dollars ou 1,1 % du total des coûts d'acquisition estimés de 8,6 milliards de dollars.

L'inclusion des coûts de RSF et des modifications de concurrence représente une amélioration marginale au Modèle et rend l'estimation des coûts d'acquisition plus exhaustive. À mesure que le programme d'ACI continue d'évoluer, on anticipe que le MDN ajoutera de tels éléments de coût à mesure qu'ils sont développés.

Autres coûts d'acquisition éventuels

Dans le cadre de l'Examen indépendant de 2012, l'information était fournie sur d'autres coûts d'acquisition éventuels liés au F-35, notamment les hypothèses et le traitement des coûts relatifs :

• au parachutage de freinage;
• au ravitaillement en vol;
• aux armes; et
• à NORAD.

L'Examen indépendant de 2012 a déterminé qu'aucun des éléments de coûts ci-dessus ne devrait être inclus dans le Modèle, car ce ne serait pas approprié. ³⁸ Basé sur les discussions avec le MDN, aucune des hypothèses concernant les autres coûts d'acquisition éventuels n’a été changée depuis la Mise à jour annuelle de 2012; par conséquent, aucune modification au Modèle n’est nécessaire à cet égard. ³⁹

3.4.2.3 Coûts de maintien en service

Les coûts de maintien en service sont liés aux coûts pour maintenir en service le F-35 durant sa vie utile prévue de 30 ans. En général, le maintien en service représente environ 28,4 % du total de l'estimation du CCV. Les composantes de coût du maintien en service sont décrites dans le tableau ci-dessous :

Les coûts compris dans l'estimation du maintien en service sont exhaustifs par rapport à ce qui est inclus dans l'information du coût de maintien en service du BPI.

3.4.2.4 Coûts d'exploitation

La phase des coûts d'exploitation couvre les coûts liés aux articles consommables pour l'avion, tel que le carburant et les munitions, ainsi que les coûts liés aux salaires et avantages sociaux du personnel, aux réparations effectuées aux bases et la formation continue pour les pilotes et spécialistes de la maintenance. En général, les coûts d'exploitation estimés sont d'environ 19,9 milliards de dollars, comprenant plus ou moins 48,8 % de l'estimation du CCV non ajustée de 40,7 milliards de dollars. Dans le Modèle, les coûts d'exploitation sont répartis en deux (2) sous-catégories :

• Coûts liés au personnel, qui comprennent les traitements d et avantages sociaux du personnel direct et de soutien aux bases de Cold Lake et Bagotville; et
• Coûts d'exploitation qui comprennent les frais de carburant, les coûts d'exploitation au niveau de l'unité et les frais de soutien aux bases.

Étant donné que les coûts d'exploitation estimés sont basés sur les coûts réels liés au programme des CF-18, les coûts semblent être exhaustifs de tous les coûts liés aux opérations et à la maintenance de la flotte des chasseurs.

3.4.2.5 Coûts de mise hors service

Les coûts de mise hors service dans le modèle tiennent compte des coûts de désarmer et de mettre hors service de façon sécuritaire les avions qui sont mis hors service. Actuellement, les coûts liés à la mise hors service sont estimés à environ 129 millions de dollars ou 0,3 % de l'estimation du CCV non ajustée de 40,7 milliards de dollars. L'estimation de mise hors service actuelle comprend les coûts pour :

• les premiers travaux de récupération pour retirer les composantes utiles de l'avion;
• la démilitarisation de l'avion; et
• les autres coûts divers de mise hors service.

L'estimation de mise hors service de la flotte des CF-18 reconnaît qu'il y a une source possible de revenu qui pourrait être obtenue de l'équipement récupéré, mais étant donné le degré d'incertitude entourant les variables multiples liées à la mise hors service de l'avion, tels que la demande de composantes de récupération dans le futur pour les CF-18 (et également pour les F-35), des restrictions géopolitiques, et ainsi de suite, ces revenus n'ont pas été estimés ⁴². Si de l'information beaucoup plus fiable sur la mise hors service de l'avion est disponible à l'avenir, nous nous attendrions à ce que le MDN ajuste leurs estimations de mise hors service, en conséquence.

3.4.2.6 Coûts d'attrition

Les coûts d'attrition sont liés au coût de remplacement des avions qui sont perdus durant les opérations. Ces coûts ne sont pas traités dans le cadre de l'estimation du CCV pour le programme complet, mais sont plutôt mentionnés sur une ligne séparée pour respecter l'hypothèse que le gouvernement aura besoin de prendre une décision concernant le remplacement de l'avion ⁴³. L'approche aux coûts d'attrition dans le modèle est cohérente avec la Mise à jour annuelle de 2012; l'estimation de l'attrition continue d'utiliser le coût moyen pondéré ajusté d'un F-35 par le point milieu (9) du nombre estimé de remplacements d'avion requis (7 à 11). Étant donné le niveau actuel d'information disponible à l'Équipe d'établissement des coûts, l'approche actuelle demeure valide.

3.5 Examen, analyse et mise à jour

Principe : Entreprendre des analyses de sensibilité, de risque et d'incertitude et développer des estimations de coûts ajustées au risque. Les résultats sont établis et documentés. Des activités indépendantes de certitude de coût sont entreprises et des ajustements nécessaires sont faits au Modèle du CCV CPGC

3.5.1 Analyse de sensibilité

Le Cadre mentionne que l'analyse de sensibilité devrait être effectuée et que les résultats soient bien documentés et communiqués. L'analyse de sensibilité peut être un levier pour analyser quantitativement les facteurs de risque identifiés liés à l'Estimation du CCV présentée pour le programme complet.

Dans le cadre du Modèle, le MDN a inclus les calculs de l'analyse de sensibilité basée sur les discussions avec des spécialistes en la matière du MDN et de Recherche et développement pour la défense Canada. L'Équipe d'établissement des coûts a inclus le détail sur la méthodologie en faveur de son analyse de sensibilité dans son Plan de CCV, qui comprend de la documentation additionnelle sur son analyse de risques et d'éventualités 44. Actuellement, l'analyse de sensibilité dans le modèle analyse la variabilité potentielle dans les estimations d’acquisition, de mise hors service et d'exploitation, en raison d’un certain nombre de facteurs de risque, notamment :

• Le taux de change de devises étrangères.
• L'inflation.
• La courbe d'apprentissage et de production de Lockheed Martin.
• Les changements dans le nombre total d'avions commandés par tous les partenaires d'ACI.
• Le décalage d'un (1) du profil d'achat; et
• Le nombre d'heures de vol annuelles.

Basé sur notre examen du modèle et de la documentation d'appui, il semble qu'il y a une bonne intensité de facteurs de risque considérés dans l'analyse de sensibilité; toutefois, le Modèle actuel de l'analyse de sensibilité pourrait être élargi pour montrer la gamme complète d'incidences liées à toutes réductions potentielles dans l'achat d'avions en raison de toute augmentation à l'estimation d'acquisition de base au-delà du plafond de 9,0 milliards de dollars. Toute réduction dans l'achat d'avions aurait une réduction correspondante dans les coûts de maintien en service, d'exploitation et de mise hors service. Actuellement, le MDN n'a pas reçu suffisamment d'information du BPI pour estimer les incidences d'une réduction dans le nombre d'avions achetés par le Canada. Dans les prochaines années, nous recommandons que le MDN travaille avec le BPI pour obtenir l'information nécessaire afin d'estimer l'incidence d'un changement dans le nombre d'avions achetés par le Canada afin de quantifier les coûts/économies.

Recommandation A3: Bien que l'analyse de sensibilité effectuée dans le cadre du CCV 2013 a considéré un large éventail de facteurs de risque, ce qui concorde avec le Cadre et est censé être exhaustif compte tenu des données disponibles au MDN à cette époque, le MDN devrait considérer d'ajouter des scénarios d'analyse de sensibilité supplémentaires dans les estimations futures pour quantifier l'impact cumulatif de changer le nombre des avions achetés.

3.5.2 Analyse des risques et des incertitudes

Les décideurs doivent être informés des risques et des incertitudes de coût pertinents aux estimations de coût. Le Cadre établit les intervalles de confiance appropriés qui peuvent varier entre 50 % et 90 %. Puisque dans le mandat du projet de la CPGC, il est mentionné que le risque global évalué pour ce projet est « élevé », nous avions prévu d'observer que le MDN avait documenté et effectué une analyse des risques et des incertitudes ainsi que calculé un budget d'éventualités pour traiter des risques et des incertitudes identifiés. Ceci comprendrait un engagement de l'intervenant et des mises à jour au registre des risques du projet.

Grâce à l'examen du Plan de CCV et aux documents d'appui de la méthodologie des risques, nous avons pu confirmer qu'un processus de gestion des risques normalisé était en place. Une analyse des risques et des incertitudes a été complétée pour évaluer :

• La volatilité :
  • de l'inflation;
  • du dollar canadien vis-à-vis le dollar américain; et
  • des taux d'heures de vol.
• Le prix du carburant;
• Les délais de production possibles ou la disponibilité réduite des avions;
• De savoir si la production de maintien en service et le PE PSDS serait renouvelé; et
• De savoir si Lockheed Martin réalise les améliorations de l'efficacité de production estimées.

En juin 2013, une évaluation des risques était effectuée avec la participation des spécialistes en la matière, recrutés dans tout le MDN, notamment l'Aviation royale canadienne, le BGP, le personnel du Bureau du directeur des finances et les autres parties pertinentes.

On nous a fourni un journal de risques centralisé du MDN qui comprend les éléments liés aux risques de coût ⁴⁵. Les risques sont aussi énumérés dans le Plan du CCV, qui est mis à jour annuellement.

Les sous-sections suivantes décrivent les éventualités qui ont été incorporées dans le Modèle par le MDN pour traiter des risques identifiés.

3.5.2.1 Fonds pour éventualités au titre des coûts d'acquisition

L'approche pour estimer les fonds pour éventualités au titre des coûts d'acquisition est cohérente avec l'approche utilisée dans la Mise à jour annuelle de 2012.

Une analyse de l'estimation des fonds pour éventualités au titre des coûts d'acquisition du MDN, basée sur l'analyse des risques du MDN, devrait être de 1,6 milliard de dollars ⁴⁶. La provision actuelle des fonds pour éventualités de 342.millions de dollars n’est pas conforme avec cette estimation, et par conséquent une insuffisance persiste dans les fonds pour éventualités au titre des coûts d'acquisition. L'estimation de base des coûts d'acquisition a augmenté de 8,4 milliards de dollars à 8,6 milliards de dollars d'année en année(une augmentation de 3,1 %) et le montant des fonds pour éventualités au titre des coûts d'acquisition a diminué de 602 millions de dollars à 342 millions de dollars d'année en année (une diminution de 43,2 %) afin de conserver l'estimation totale des coûts d'acquisition conforme au montant du plafond de 9,0 milliards de dollars ⁴⁷. La réduction dans le montant des fonds pour éventualités au titre des coûts d'acquisition utilisée dans l'estimation du CCV ajustée pour le risque signifie que la réalisation de l’impact total pour un facteur de risque unique, tel que le risque de taux de change de devises étrangères, pourrait possiblement nécessiter une réduction dans le nombre d'avions achetés.

Compte tenu du fait qu'il n'y a pas de document actuel de l'ÉB, nous ne pouvons pas faire des commentaires à savoir si une réduction dans le nombre d'avions achetés amènerait la taille de la flotte au-dessous des besoins du MDN.

Bien que la majorité des facteurs de risque ne pourrait pas être raisonnablement atténuée par le MDN, nous comprenons que certains efforts ont été faits pour explorer des options par rapport à la gestion des risques de taux de change de devises étrangères. Nous recommandons que ces efforts continuent afin d'atténuer autant que possible les facteurs de risque des coûts d'acquisition.

Recommandation R1: Bien que l'analyse des risques et de l'incertitude effectuée dans le cadre de la Mise à jour annuelle de 2013 concorde avec les exigences du Cadre, le MDN devrait continuer d'évaluer les options pour améliorer davantage la robustesse de ses stratégies d'atténuation des risques. Plus particulièrement, le MDN devrait continuer d'explorer les options pour atténuer les risques liés aux taux de change des devises étrangères.

3.5.2.2 Fonds pour éventualités au titre des coûts de maintien en service

Les coûts de maintien en service du BPI sont basés sur la méthodologie paramétrique d'établissement des coûts, ce qui signifie qu'il y a encore un niveau significatif d'incertitude et de risque lié aux estimations. Basés sur des coûts de maintien en service non ajustés d'environ 11,6 milliards de dollars et une estimation des éventualités d'environ 3,5 milliards de dollars, le total de l'estimation des coûts de maintien en service ajustée pour le risque est de 15,1 milliards de dollars. Cela correspond à des éventualités de plus ou moins 30 %, ce qui est en rapport avec l'estimation de l'ordre de grandeur approximatif selon le rapport d'analyse de risque ⁴⁸du MDN. Cela reflète l'incertitude accrue liée aux données de maintien en service fournies par le BPI. Ceci est supporté par la preuve fournie mentionnant que le Département de la Défense des É-U a choisi de ne pas réviser ses estimations de coûts de maintien en service jusqu'à ce qu'un examen secondaire des données du BPI ait été effectué ^49.

Nous nous attendrions que dès qu'un examen secondaire a été terminé, le MDN continuera de maintenir une position concernant les coûts de maintien en service compatible avec le Département de la Défense des É-U.

3.5.2.3 Fonds pour éventualités au titre des coûts d'exploitation

Actuellement, les estimations des coûts d'exploitation n'ont pas un montant pour les éventualités compris dans le CCV du programme complet. Étant donné que les estimations actuelles des coûts d'exploitation sont basés sur les coûts liées au programme des CF-18, qui exploite beaucoup plus d'avions que prévu pour l'acquisition, il est concevable qu'il soit possible d'économiser des coûts d'exploitation grâce aux réductions possibles dans les exigences du personnel et des autres coûts afférents.

3.5.3 Documentation des résultats

Les résultats de l'estimation sont documentés de deux façons : dans le Modèle et la Mise à jour annuelle. La documentation du Modèle fait l'objet d'un examen dans la Section 3.5.4 ci-dessous. L'examen de la Mise à jour annuelle est inclus dans la Section 3.6.

3.5.4 Documentation du modèle

Pour suivre les pratiques exemplaires, , la documentation du Modèle devrait être un processus continu entrepris à chaque étape de l'estimation du CCV. La Cadre énumère aussi deux critères minimum :

• « Documenter le modèle de telle sorte qu'un autre analyste des coûts non familier avec le programme pourrait le créer rapidement et produire le même résultat; et »
• « Créer un sommaire exécutif qui fournit suffisamment d'explications pour qu’un modélisateur non-spécialiste puisse comprendre les coûts et les hypothèses sous-jacentes. »

Le Cadre précise que la documentation devrait être automatiquement examinée par d'autres membres du MDN pour confirmer qu'elle est adéquatement mise à jour et cadre avec les tâches. RCGT a examiné un projet de rapport d'assurance de la qualité ⁵⁰ daté du 30 avril 2013. On nous a aussi fourni de la correspondance décrivant la méthodologie à entreprendre concernant l'examen interne du Modèle ⁵¹. Dans l'ensemble, nous avons trouvé la description de la méthodologie de l'assurance de la qualité d'une qualité acceptable.

Durant la phase de familiarisation et pendant l'examen du Modèle, RCGT a observé que le Modèle contenait certaines documentations qui permettraient à un examinateur avec des connaissances limitées du Modèle, d'avoir une compréhension des entrées, résultats et mécanismes derrière le Modèle. Comme discuté dans la Section 3.3.2.2, il y a des domaines possibles d'amélioration en ce qui concerne la documentation du modèle; mais nous prévoyons que cela peut être traité grâce aux processus d'amélioration continus appliqués au Modèle. Améliorer la documentation du Modèle, ses hypothèses et sa formule, non seulement facilitera l'assurance de la qualité interne et l'Examen indépendant, mais facilitera aussi le maintien de l'«historique» du Modèle et fournira une feuille de route pour tout nouveau membre de l'Équipe d'établissement des coûts.

Le Plan de CCV élaboré par le MDN sert actuellement comme un document de sommaire exécutif pour permettre aux modélisateurs non-spécialistes de comprendre les coûts et hypothèses sous-jacentes.

3.5.5 LCC Assurance

En plus d'effectuer un examen interne du Modèle, le Cadre exige qu'il soit examiné avant l'atteinte de toute autre étape clé. « L'objectif principal consiste à remettre en question l'Estimation existante afin de vérifier dans quelle mesure elle est solide et fiable, en tenant compte du cycle de vie actuel du projet et des connaissances acquises à l'égard du système faisant l'objet de l'étude » ⁵²

L'exercice effectué par RCGT et les résultats subséquents présentés dans ce rapport constituent un examen indépendant tel que défini par le Cadre. Cet examen indépendant est effectué sur une base annuelle et est conforme aux pratiques dans d'autres pays partenaires d'ACI.

Aucune recommandation n'a été formulée relativement à la tenue d'un examen visant à fournir une assurance pour le CCV du Modèle.

3.6 Interpréter et faire rapport des résultats

Principe : Des rapports d'objet ciblés sont élaborés pour les décideurs et intervenants conformément aux lignes directrices prescrites.

Le Cadre définit les exigences de la structure du rapport comme suit :

Selon le Cadre, les estimations de coût devraient être préparées à un minimum de 50 % de confiance. On recommande aussi que les coûts de base et d'éventualités soient présentés par rapport à une gamme de niveaux de confiance qui fourniraient des points de référence pour les décideurs.

La Mise à jour annuelle de 2013 ⁵³ préparée par le MDN et appuyée par le Modèle présente de façon adéquate le sujet et la décision à portée de la main. Elle définit et détaille les phases du projet, les catégories de coût, les hypothèses et estimations. Les risques de coût et incertitudes, ainsi que les éventualités sont calculés et présentés par plage (diminution/augmentation du coût différentiel), ce qui est conforme aux pratiques exemplaires. Notre examen indique que tous les niveaux de confiance utilisés dans l'analyse de risque répondent ou dépassent les exigences minimums du Cadre.

En général, le rapport semble complet et offre un soutien adéquat aux décideurs, et nous n'avons aucune recommandation liée à la structure du rapport.

3.7 Gens et Organisation

Principe: L'équipe estimatrice de la CPGC provient d'une organisation professionnelle d'établissement de coûts, appuyée par des outils, techniques et méthodes standards. Le rôle de certitude de coût est intégré au processus avec des politiques appropriées pour assurer une approche non partisane.

3.7.1 Équipe estimatrice de la CPGC

Le Cadre du CCV identifie les gens et l'organisation comme une composante fondamentale à l'élaboration de coûts robustes et fiables. Durant notre examen, nous nous attendions à observer que les modélisateurs de coût soient recrutés d'une organisation de coût centralisée; et que des activités d'assurance de la qualité liées au Modèle et aux estimations étaient effectuées au MDN; et aussi que les employés qui préparent le modèle de CCV ont une expérience satisfaisante et l'équipe est pluridisciplinaire.

Grâce à l'examen de la documentation, nous avons pu confirmer que le MDN a avalisé et normalisé de façon organisationnelle, les outils et modèles du CCV personnalisés au programme spécifique, tel que le cadre de gestion d'établissement des coûts des risques. La Direction des Services d'établissement des coûts du MDN a centralisé les activités et les efforts liés à la réalisation et la gestion du Modèle pour le CCV CPGC. Cette équipe d'établissement des coûts est composée d'analystes financiers avec une bonne connaissance et expérience de la comptabilité financière et analytique, notamment la planification et budgétisation pour élaborer les estimations de coût.

3.7.2 Rôle de la certitude des coûts

Selon le Cadre et les pratiques exemplaires , les membres de l'équipe de certitude des coûts devraient être indépendants et par conséquent ne pas participer aux estimations d'établissement de coûts. « Pour gérer entièrement avec succès ces deux fonctions (Estimation et Certitude des coûts), une politique officielle et des arrangements organisationnels sont établis pour guider les activités d'estimation du CCV et de certitude des coûts, et un plan du CCV CPGC saisirait l'approche du CCV planifiée pour l'Estimation du CCV et la certitude des coûts pour ce projet. » ⁵⁴ Étant donné que le rôle de certitude des coûts est actuellement un processus externe au MDN, au moyen de l'Examen indépendant, le rôle du MDN dans la certitude des coûts tourne principalement autour des activités internes d'assurance de la qualité liées au Modèle et aux estimations.

Le Plan de coût ⁵⁵fourni par le MDN mentionne comment les estimations de coût sont préparées et les diverses activités d'assurance de la qualité sont exécutées pour valider le Modèle avant l'Examen indépendant. RCGT a examiné un rapport d'assurance de la qualité ⁵⁶ du Modèle daté du 20 avril 2013. On nous a aussi fourni de la correspondance décrivant la méthodologie à entreprendre concernant l'assurance de la qualité du Modèle ⁵⁷. En général, nous avons trouvé que la documentation fournie était de qualité acceptable, et nous suggérerions que le MDN considère de formaliser le processus d'examen interne en élaborant des politiques ou lignes directrices organisationnelles qui définissent clairement les activités d'assurance de la qualité pour assurer une uniformité des procédures d'année en année.

Recommandation D2: En 2013, le MDN a effectué efficacement une assurance de la qualité sur le Modèle et les estimations. Toutefois, à mesure que le MDN s'efforce d'assumer une plus grande responsabilité pour la certitude du CCV dans les prochaines années, le MDN devrait considérer formaliser les activités de l'assurance de la qualité grâce à des lignes directrices ou politiques qui assurent que les rôles et responsabilités sont clairs et structurés.

3.8 Examen comparatif

Dans le cadre de l'Examen indépendant de 2012, il était recommandé que le MDN rende plus précis et simplifie le Modèle pour qu'il s'harmonise mieux avec les principes du Cadre. Durant la séance d'information générale traitant du Modèle des coûts, organisée par le MDN, il est devenu évident que le Modèle utilisé pour générer des estimations de CCV pour la Mise à jour annuelle de 2012 avait été considérablement modifié. Afin de maintenir un niveau de prudence dans le processus d'examen, RCGT a effectué des travaux additionnels pour identifier si les changements dans la méthodologie du Modèle auraient comme résultat des changements importants dans l'estimation du CCV d'année en année.

Le MDN a préparé une analyse de variance dans le cadre de la Mise à jour annuelle de 2013 pour identifier les sources de variance liées à la nouvelle conception du Modèle. Les sources de variance qui ont été identifiées et quantifiées par le MDN sont :

• le taux de change des devises étrangères; (applicable seulement à l'Élaboration, l'Acquisition et aux coûts de maintien en service);
• l'inflation;
• Les données sources; et
• Les corrections à la formule (applicables seulement aux coûts d'exploitation).

L'analyse de variance a été effectuée en utilisant le Modèle de 2013 et en revenant aux données de 2012 pour chaque facteur décrit ci-dessus, en entrant les données de 2012 dans le (nouveau) Modèle de 2013. La variance cumulative résultante a été comparée avec le total des estimations de 2012, pour calculer le Delta, qui représente la variance attribuée aux changements du Modèle pour traiter les recommandations et autres améliorations au Rapport d'examen indépendant.

Entre les Mises à jour annuelles de 2012 et 2013, la méthodologie de calcul des éventualités a aussi été modifiée ⁶⁰ :

Cette variance peut être grandement attribuée au budget des éventualités de maintien en service, comme suite à une augmentation dans le taux des éventualités du coût de maintien en service à 30 %, pour refléter l’incertitude dans l’estimation du BPI. Dès que les chiffres de maintien en service du BPI seront examinés indépendamment (prévus à l'automne 2013), le MDN devra peut être ajuster les chiffres relatifs aux éventualités, en conséquence.

Bien que l'équipe d'examen n'ait pas vérifié chaque scénario d'analyse de variance, nous avons validé l’alignement des données des Mises à jour annuelles de 2012 et 2013 avec les données utilisées dans l’analyse de variance. Basés sur le sommaire des variances fourni par le MDN, les Mises à jour annuelles de 2012 et 2013 semblent être comparables et il n'y a pas eu de changements importants aux mécanismes et à la méthodologie du Modèle qui influenceraient l'Estimation du CCV. Le MDN a aussi documenté les changements faits au Modèle au même titre que les incidences aux éléments de coût individuels dans le Modèle en soi et a inclus cette information dans le Plan du CCV. ⁶¹

4. Conclusion

Dans le cadre de l'Examen indépendant de 2012, huit (8) recommandations ont été faites pour des améliorations au CCV, qui sont énumérées à l'Annexe A de ce rapport. Le MDN a fait des progrès en faveur de la majorité de ces recommandations. Étant donné que le MDN a seulement eu environ six (6) mois depuis la Mise à jour annuelle de 2012, le MDN a fait de bons progrès en ce qui concerne les recommandations de l’Examen indépendant de 2012 et est bien placé pour traiter le reste des recommandations.

L'Examen indépendant de 2013 a fait six (6) recommandations concernant les domaines liés aux mises à jour de la documentation et aux modifications pour aider à mieux harmoniser le processus du CCV avec le Cadre, à des améliorations différentielles au Modèle et aux méthodes analytiques, et à des améliorations éventuelles aux efforts existants de l'analyse et gestion des risques. Ces recommandations reflètent en grande partie les occasions prospectives pour l'amélioration.

Notre Examen indépendant de l'application du Cadre du MDN n'a pas révélé de déviations aux principes du Cadre qui auraient eu pour résultat des changements importants à l'estimation générale du CCV.

En ce qui concerne l'Examen indépendant de 2013, l'évaluation générale du processus du CCV CPGC est que le MDN a continué d'améliorer et de rendre plus précis ses processus et méthodes à mesure que le projet continue d'évoluer. Dans la période intérimaire entre les Mises à jour annuelles de 2013 et 2014, le MDN devrait demeurer concentré à traiter toutes les recommandations restantes de l'Examen indépendant de 2012, au même titre que les recommandations faites dans ce rapport.

5. Annexe A | Sommaire des Recommandations de l’examen indépendant de 2012 ⁶²

1. Il est recommandé que le MDN officialise et documente le plan de l'établissement du CCV conformément aux directives du Cadre.
2. Il est recommandé que le MDN clarifie les hypothèses documentées concernant le contingent annuel d'heures de vol et la taille de la flotte, qu'il examine et mette à jour régulièrement les principales hypothèses ainsi que l'Estimation du coût du cycle de vie et qu'il intègre les modifications convenues dans l'Estimation du coût du cycle de vie en temps opportun.
3. Il est recommandé que le MDN continue d'examiner et de mettre à jour la SVC et les Règles de base et hypothèses pour s'assurer que la SVC et l'Estimation font état de toutes les exigences en matière de capacité.
4. Il est recommandé que le MDN peaufine et simplifie le modèle financier détaillé afin qu'il respecte mieux les principes du Cadre concernant la souplesse, la traçabilité et la possibilité d'effectuer une analyse de sensibilité.
5. Il est recommandé que le gouvernement du Canada analyse les mécanismes permettant une gestion plus proactive du risque de change touchant le programme des CNG, en raison de l'incidence éventuelle importante de l'indice FOREX sur l'Estimation.
6. Il est recommandé que le MDN normalise et ajuste tous les coûts d'exploitation des CF-18 afin de rehausser l'estimation des coûts d'exploitation des F-35.
7. Il est recommandé que le MDN mène d'autres analyses et communique les principales hypothèses concernant l'utilisation efficace de la durée de vie résiduelle des avions au terme d'une période 30 ans.
8. Il est recommandé que le MDN établisse un montant approprié de fonds pour éventualités au titre des coûts d'acquisition afin de tenir compte des autres risques liés à l'acquisition et du niveau souhaité de certitude à l'égard des coûts.

6. Annexe B | Liste des documents examinés

Avions de combat interarmées (ACI). (15 février, 2013). JSF Sustainment Ground Rules and Assumptions (GR&A) - 2012 Sustainment Cost Estimate v1.1.

Avions de combat interarmées (ACI). (9 avril, 2013). Production Cost Update.

Consensus Economics Inc. (Mai 2013). Foreign Exchange Consensus Forecast.

Direction des Finances et établissement des coûts. (Avril 2006). Costing Handbook, Second Edition.

Gouvernement du Canada. (Décembre 2012). Rapport d'étape du Plan à sept volets: Secrétariat national d'approvisionnement en chasseurs.

KPMG. (27 novembre, 2012). Chasseurs de la nouvelle génération: cadre du coût du cycle de vie.

KPMG. (27 novembre, 2012). Chasseurs de la nouvelle génération: examen indépendant du coût du cycle de vie.

Mather, D. (30 avril, 2013). Review of the NGFC Cost Model.

MDN. (23 avril, 2012). Arrêté de projet des Chasseurs de la nouvelle génération, Version 2.

MDN. (Décembre 2012). Chasseurs de la nouvelle génération - Mise à jour annuelle.

MDN. (30 mai, 2013). Cost Model Changes.

MDN. (3 juillet, 2013). Cost Plan and Summary of Findings to Support the Annual Update to Parliament and the Next Generation Fighter Capability - F35 Cost Model.

MDN. (11 janvier, 2013). Draft Work Plan, Version 1.

MDN. (3 juillet, 2013). Estimations du CCV des CNG: F35 Source Data, Background & Analysis Documents.

MDN. (2013). Modèle de coûts.

MDN. (Été 2012). NGFC Infrastructure Program Costing Template V.6 Ground Rules and Assumptions.

Ministère de la défense nationale. CF188 Fleet Long Term Disposal Cost Estimates, RDIMS #1049050.

Ministère de la défense nationale. (2013). Chasseurs de la nouvelle génération - mise à jour annuelle 2013, Draft WME-410294 Ver 10B.

Ministère de la défense nationale. (s.d.). Description de travail pour le poste de Strategic DMS Financial Analys. Document interne des RH.

Ministère de la défense nationale. (s.d.). Description de travail pour le poste de Strategic Financial Analyst. Document interne des RH.

Ministère de la défense nationale. (2012). Economic Model 2012-2013.

Ministère de la défense nationale et Recherche et développement pour la défense Canada. (2013). Risk Analysis and Contingency for the Next Generation Fighter Capability 2013.

Ministère de la défense nationale. (22 juillet, 2013). NGFC Summary Risk.

Ministère de la défense nationale. PMO NGFC Weapons Cost - An Approach for Consideration WME RDIMS #361427-v1A.

Recherche et développement pour la défense Canada, MDN. (Mai 2012). Forecasting National Procurement Costs for the Joint Strike Fighter (U).

Recherche et développement pour la défense Canada, MDN. (Novembre 2011). The Unit Recurring Flyaway Cost of a Canadian Joint Strike Fighter (U).

Secrétariat national d'approvisionnement en chasseurs. (10 juin, 2013). NGFC SAR Report.

Spreadsheet Standards Review Board. (August 11, 2010). Best Practice Spreadsheet Modelling Standards, Version 6.1.

The Australian National Audit Office. (2012). Management of Australia's Air Combat Capability - F-35A Joist Strike Fighter Acquisition. Commonwealth of Australia.

US Department of Defense. F-35 SAR 2012 Communication Points.

7. Annexe C | Sommaire des standards de feuilles de calculs selon SSRB

• 1. KPMG – CNG cadre du coût du cycle de vie, 27 novembre 2012
• 2. MDN – Mise à jour annuelle des Chasseurs de la nouvelle génération, Décembre 2012
• 3. Gouvernement du Canada – Rapport d’étape du Plan à sept volets : Secrétariat national d’approvisionnement en chasseurs, Décembre 2012
• 4. KPMG – CNG examen indépendant du coût du cycle de vie, 27 novembre 2012
• 5. KPMG – CNG cadre du coût du cycle de vie, 27 novembre 2012
• 6. MDN – Mise à jour annuelle des Chasseurs de la nouvelle génération, Décembre 2012
• 7. KPMG – CNG examen indépendant du coût du cycle de vie, 27 novembre 2012
• 8. Spreadsheet Standards Review Board, Best Practice Spreadsheet Modelling Standards, Version 6.1, 11 août, 2010
• 9. MDN - Cost Plan and Summary of Findings to Support the Annual Update to Parliament and the Next Generation Fighter Capability – F35 Cost Model v1.0, 11 juillet, 2013
• 10. MDN – Draft Work Plan v2. 18 avril, 2013
• 11. SNAC – NGFC SAR Report, 10 juin, 2013
• 12. KPMG – CNG cadre du coût du cycle de vie, 27 novembre 2012, page 9
• 13. Les appareils CNG sont opérationnellement prêts à mener des opérations de défense aériennes à une des bases principale. (MDN - Cost Plan and Summary of Findings to Support the Annual Update to Parliament and the Next Generation Fighter Capability – F35 Cost Model v1.0, 11 juillet, 2013, page 6)
• 14. NGFC La capacité d’un appareil CNG peut être utilisée efficacement dans toute la mesure des plans applicables. (MDN - Cost Plan and Summary of Findings to Support the Annual Update to Parliament and the Next Generation Fighter Capability – F35 Cost Model v1.0, 11 juillet, 2013, page 6)
• 15. MDN - Cost Plan and Summary of Findings to Support the Annual Update to Parliament and the Next Generation Fighter Capability – F35 Cost Model v1.0, 11 juillet, 2013, Executive Summary
• 16. Courriel daté du 19 juin, 2013 à 17:14 – RE: Walkthrough of documents/model
• 17. Courriel daté du 25 juillet, 2013 à 14:20 – Assumption confirmation
• 18. KPMG – CNG cadre du coût du cycle de vie, 27 novembre 2012, page 23
• 19. KPMG – CNG cadre du coût du cycle de vie, 27 novembre 2012, page 24.
• 20. Gouvernement du Canada – Rapport d’étape du Plan à sept volets : Secrétariat national d’approvisionnement en chasseurs, Décembre 2012
• 21. Courriel daté du 15 juillet, 2013 à 13:23 – FW: Additional Framework-Model Questions
• 22. KPMG – CNG cadre du coût du cycle de vie, 27 novembre 2012, page 27
• 23. Courriel daté du 15 juillet, 2013 à 13:23 – FW: Additional Framework-Model Questions
• 24. Management of Australia’s Air Combat Capability – F-35A Joint Strike Fighter Acquisition
• 25. KPMG – CNG cadre du coût du cycle de vie, 27 novembre 2012, page 28
• 26. KPMG – CNG cadre du coût du cycle de vie, 27 novembre 2012
• 27. ACI - Production Cost Update, 9 avril, 2013
• 28. MDN – Economic Model 2012-2013.
• 29. ACI - Production Cost Update, 9 avril, 2013
• 30. Consensus Economics – Foreign Exchange Consensus Forecasts, Mai 2013
• 31. MDN - CF188 Fleet Long Term Disposal Cost Estimates, RDIMS #1049050
• 32. ACI - Production Cost Update, 9 avril, 2013
• 33. ACI - Production Cost Update, 9 avril, 2013
• 34. PMO NGFC Weapons Cost – An Approach for Consideration
• 35. MDN - Project 2527: NGFC Infrastructure Program Costing Template v.7 Ground Rules and Assumptions As of June 2013
• 36. ACI - 2012 v1.1 Sustainment Estimate, Février 2013
• 37. MDN - Cost Plan and Summary of Findings to Support the Annual Update to Parliament and the Next Generation Fighter Capability – F35 Cost Model v1.0, 11 juillet, 2013
• 38. KPMG – CNG examen indépendant du coût du cycle de vie, 27 novembre 2012
• 39. Courriel daté du 15 juillet, 2013 à 13:23 – FW: Additional Framework-Model Questions
• 40. KPMG – CNG examen indépendant du coût du cycle de vie, 27 novembre 2012
• 41. ACI - 2012 v1.1 Sustainment Estimate, Février 2013
• 42. MDN - CF188 Fleet Long Term Disposal Cost Estimates, RDIMS #1049050.
• 43. MDN - Cost Plan and Summary of Findings to Support the Annual Update to Parliament and the Next Generation Fighter Capability – F35 Cost Model v1.0, 11 juillet, 2013
• 44. MDN - Cost Plan and Summary of Findings to Support the Annual Update to Parliament and the Next Generation Fighter Capability – F35 Cost Model v1.0, 11 juillet, 2013
• 45. MDN - NGFC Summary Risk, 22 juillet, 2013.
• 46. MDN - Cost Plan and Summary of Findings to Support the Annual Update to Parliament and the Next Generation Fighter Capability – F35 Cost Model v1.0, 11 juillet, 2013
• 47. MDN – Mise à jour annuelle des Chasseurs de la nouvelle génération 2013, Draft WME-410294 Ver 10B
• 48. MDN - Risk Analysis and Contingency for the Next Generation Fighter Capability 2013
• 49. Ministère de la défense américain - F-35 SAR 2012 Communication Points
• 50. MDN - Review of the NGFC Cost Model par Drew Mather, 30 avril, 2013, DRAFT
• 51. Courriel daté du 24 juillet, 2013 à 10:01 – FW: NGFC Cost Model Review
• 52. KPMG – CNG cadre du coût du cycle de vie, 27 novembre 2012, page 38
• 53. MDN – Mise à jour annuelle des Chasseurs de la nouvelle génération 2013, Draft WME-410294 Ver 10B
• 54. KPMG – CNG cadre du coût du cycle de vie, 27 novembre 2012
• 55. MDN - Cost Plan and Summary of Findings to Support the Annual Update to Parliament and the Next Generation Fighter Capability – F35 Cost Model v1.0, 11 juillet, 2013
• 56. MDN - Review of the NGFC Cost Model par Drew Mather, 30 avril, 2013, DRAFT
• 57. Courriel daté du 24 juillet, 2013 à 10:01 – FW: NGFC Cost Model Review
• 58. Données obtenues de: MDN - Cost Plan and Summary of Findings to Support the Annual Update to Parliament and the Next Generation Fighter Capability – F35 Cost Model v1.0, 11 juillet, 2013
• 59. Données obtenues de: MDN - Cost Plan and Summary of Findings to Support the Annual Update to Parliament and the Next Generation Fighter Capability – F35 Cost Model v1.0, 11 juillet, 2013
• 60. Données obtenues de: MDN - Cost Plan and Summary of Findings to Support the Annual Update to Parliament and the Next Generation Fighter Capability – F35 Cost Model v1.0, 11 juillet, 2013
• 61. MDN - Cost Plan and Summary of Findings to Support the Annual Update to Parliament and the Next Generation Fighter Capability – F35 Cost Model v1.0, 11 juillet, 2013
• 62. KPMG – CNG examen indépendant du coût du cycle de vie, 27 novembre 2012
• 63. Spreadsheet Standards Review Board, Best Practice Spreadsheet Modeling Standards, Version 6.1, 11 août, 2010