Vérification des rapports externes sur le rendement : chapitre 6


Annexe 1 - Méthodologie et critères de vérification

Méthodologie

La vérification a été effectuée au moyen d’entretiens, d’essais et d’examens approfondis de la documentation. Bien que la DGVE ait inclus aux fins de la vérification certaines données tirées du travail d’évaluation, elle n’a pas fait double emploi dans des domaines habituellement couverts par les évaluations.

La vérification a été effectuée dans la région de la capitale nationale, et la documentation a été fournie par voie électronique à l’échelle du pays. Les entretiens menés dans les régions l’ont été par courriel ou téléconférence.

Afin d’évaluer la qualité des données et de l’information destinées à un public externe dans le RMR, les responsables de la vérification ont délibérément sélectionné, aux fins d’examen, un échantillon de 18 résultats attendus consignés dans le RMR de 2012-2013 sur un total de 34 programmes et sous-programmes, représentant 48 résultats attendus et 62 indicateurs de rendement connexes. Un minimum de deux éléments de chaque direction générale visés par la vérification a été sélectionné. Chaque élément a été analysé en fonction des attributs de qualité figurant dans le tableau suivant :

Méthodologie
Attributs de qualité de l’information et des données Description
Rigueur Les sources de données sont crédibles, cohérentes et vérifiables. Les rapports sur le rendement devraient divulguer la base sur laquelle l’information a été élaborée et les limites qui devraient s’appliquer à son utilisation. (Par exemple, un solide système de collecte des données se traduirait par des données et une information qui sont cohérentes et donnent des résultats reproductibles.)
Fiabilité Les principaux résultats sont communiqués par rapport aux attentes et alignés sur l’AAP, le CMR, la SMDD et les ICDE. Les rapports sur le rendement devraient divulguer le fondement de l’information qui a été préparée et les limites qui devraient s’appliquer à son utilisation, y compris les changements apportés aux sources et à la nature de l’information. (Par exemple, un résultat réel divulgué est fiable s’il est compatible avec les résultats rapportés précédemment et le résultat attendu.)
Exactitude La production de rapports repose sur une information quantitative et qualitative qui est présentée d’une manière objective, selon le meilleur jugement des personnes qui en ont la responsabilité. (Par exemple, pour être exact, un résultat devrait inclure toutes les données pertinentes dans son calcul.)
Opportunité L’information et les données communiquées aux décideurs  sont opportunes, si elles couvrent une période appropriée et sont les plus récentes dans la mesure du raisonnable. (Par exemple, les données couvrant la période estivale ne seraient pas convenables pour un résultat attendu faisant allusion à la saison hivernale.)

Pour un résultat attendu de chaque programme ou sous-programme échantillonné, les procédures de vérification ciblaient un indicateur de rendement déclaré ainsi que la cible et les résultats réels communiqués par rapport à l’indicateur. La vérification n’a pas consisté à examiner l’information sur les coûts fournie pour le programme ou sous-programme pertinent, car les coûts n’ont pas été précisément liés à chaque indicateur de rendement dans le RMR.

La DGVE considérait comme une lacune d’une importance relative le fait qu’au moins deux échantillons ne respectent pas un attribut de qualité. Par exemple, lorsqu’au moins deux éléments échantillonnés étaient jugés inexacts, la DGVE considérait cela comme important.

Critères
Critères de vérificationNote5 Sources des critères Situation
RMR
Respecté/non respecté
Situation ICDE
Respecté/non respecté

Environnement et Changement climatique Canada devrait avoir une bonne gouvernance en place garantissant ce qui suit :

  • une coordination et un contrôle adéquats des divers cadres de mesure du rendement au sein du Ministère;
  • l’intégration des données et des renseignements pertinents;
  • la mise en place d’un système officiel de leçons apprises et de suivi.
  1. Politique sur la structure de la gestion, des ressources et des résultats du Conseil du Trésor, Section 6.1.1.3
  2. Bureau du contrôleur général, 2013 : Vérification interne horizontale de la conformité à la Politique sur la structure de la gestion, des ressources et des résultats, Annexe B
En partie respectéNote6 Respecté
L’information sur le rendement est appuyée par des données et des explications exactes et solidesNote7, garantissant la crédibilité et le caractère équilibré de l’information déclarée sur le rendement. Les rapports sur le rendement divulguent la base sur laquelle l’information a été élaborée et les limites qui devraient s’appliquer à son utilisation. L’information sur le rendement est appuyée par les données communiquées en temps opportun.
  1. Bureau du vérificateur général du Canada, chapitre 6, 2002 : Un modèle d’évaluation des rapports ministériels sur le rendement; chapitre 5, 2005 : L’évaluation de certains rapports ministériels sur le rendement; chapitre 1, 2013 : Rapport Le Point sur l’évaluation de l’efficacité des programmes.
  2. Fondation canadienne pour la vérification intégrée, 2002 - Information sur la performance -- Principes visant le passage à un nouveau stade.
  3. Politique sur la structure de la gestion, des ressources et des résultats du Conseil du Trésor
  4. Bibliothèque du Parlement, 2012 : Guide du Budget des dépenses.
  5. Directive du Cabinet sur la rationalisation de la réglementation, 2007.
  6. National Audit Office, 2007 : Performance Frameworks and Board Reporting.
  7. Province de la Colombie-Britannique, 2003 : Performance Reporting Principles For the British Columbia Public Sector - Principles Endorsed by Government, the Select Standing Committee on Public Accounts and the Auditor General of British Columbia.
En partie respectéNote8 Respecté
L’information doit être fiable pour ce qui est des principaux résultats publiés par rapport aux attentes, alignés sur les paramètres de l’AAP, du CMR, de la SMDD et des ICDE. Les rapports sur le rendement devraient divulguer le fondement de l’information qui a été préparée et les limites qui devraient s’appliquer à son utilisation, y compris les changements apportés aux sources et à la nature de l’information.
  1. Bureau du vérificateur général du Canada, chapitre 6, 2002 : Un modèle d’évaluation des rapports ministériels sur le rendement; chapitre 5, 2005 : L’évaluation de certains rapports ministériels sur le rendement; chapitre 1, 2013 : Rapport Le Point sur l’évaluation de l’efficacité des programmes.
  2. Fondation canadienne pour la vérification intégrée, 2002 - Information sur la performance -- Principes visant le passage à un nouveau stade.
  3. Politique sur la structure de la gestion, des ressources et des résultats du Conseil du Trésor.
  4. Bibliothèque du Parlement, 2012 : Guide du Budget des dépenses.
  5. Directive du Cabinet sur la rationalisation de la réglementation, 2007.
  6. National Audit Office, 2007 : Performance Frameworks and Board Reporting.
  7.  Province de la Colombie-Britannique, 2003 : Performance Reporting Principles For the British Columbia Public Sector - Principles Endorsed by Government, the Select Standing Committee on Public Accounts and the Auditor General of British Columbia.
En partie respectéNote9 Respecté

Dates importantes

Première conférence (note de service de lancement)
Février 2014

Plan de la vérification envoyé à la direction de l’entité
Juillet 2014

Dépôt au comité ministériel de vérification
Mars 2015

Recommandation du comité ministériel de vérification
Juin 2015

Approbation du sous-ministre
Décembre  2015

Détails de la page

Date de modification :