Méthodologie 2020 à 2021 du CRG sur la gestion des résultats
Sur cette page
Aperçu de la méthodologie
Les programmes gouvernementaux devraient être efficaces, permettre d’atteindre des résultats tangibles et apporter un bon rapport qualité-prix pour les Canadiens. Une bonne mesure du rendement est une marque de bonnes pratiques en gestion qui a, tout compte fait, une incidence sur le degré d’atteinte des résultats. Les mesures de rendement permettent aux organisations de cerner les besoins opérationnels, de formuler des objectifs et d’en mesurer le degré de réalisation. Elles indiquent également les domaines possibles d’améliorations.
La méthodologie de gestion des résultats 2020-2021 est conforme à la Politique sur les résultats, ainsi qu’aux Directives relatives à l’expérimentation à l’intention des administrateurs généraux. Dans cette optique, elle permet de poursuivre l’examen de la qualité et de la disponibilité de renseignements sur le rendement, ainsi que des efforts ministériels d’expérimentation. En outre, une question a été ajoutée pour améliorer la compréhension de la collecte de données réelles sur les résultats par les ministères durant la pandémie.
Utilisation des résultats du CRG
La méthodologie de gestion des résultats 2020-2021 du Cadre de responsabilisation de gestion (CRG) fournira les renseignements suivants sur les quatre groupes clés d’intervenants énumérés ci-dessous.
Administrateurs généraux
- Comprendre la qualité des profils d’information sur le rendement afin de réaliser des améliorations réelles, s’il y a lieu.
- Appuyer l’accessibilité à des renseignements sur le rendement aux fins d’utilisation dans la prise de décisions.
Collectivité fonctionnelle de la gestion des résultats
- Fournir une compréhension de l’état de la gestion des résultats dans les ministères et organismes et des domaines possibles d’amélioration.
Communautés de pratiques d’expérimentation
- Fournir une compréhension de l’état de l’expérimentation dans les ministères et organismes et des domaines éventuels d’amélioration.
Secrétariat du Conseil du Trésor du Canada
- Améliorer les connaissances du Secrétariat du Conseil du Trésor du Canada (SCT) par rapport à la gestion du rendement du programme et la fonction d’examen critique concernant les annexes des résultats dans les présentations au Conseil du Trésor par la communication des points faibles généraux aux ministères et la surveillance des améliorations.
- Élaborer des activités de sensibilisation et une formation pour permettre aux ministères de renforcer leur capacité dans les domaines à améliorer.
Période d’évaluation
Bien que la période d’évaluation pour chaque indicateur puisse varier selon les renseignements exigés, le calendrier général pour l’évaluation de cette année se situe dans la période de novembre 2018 à octobre 2020. La méthodologie ci-dessous pour chaque question en indique également le délai.
Incidence sur les ministères
Voici un résumé de l’incidence sur les ministères en termes de nombre de questions et de présentation de preuves, par rapport à 2019-2020. De manière générale, l’incidence est neutre, car une question d’évaluation a été retirée et remplacée par une question de sondage, aux fins de renseignements seulement.
| Gestion des résultats | 2019-2020 | 2020-2021 |
|---|---|---|
| Nombre total de questions | 6 (4 sur les résultats et 2 sur l’expérimentation) | 6 (4 sur les résultats et 2 sur l’expérimentation) |
| Nombre total de questions nécessitant la présentation de preuves | 2 | 2 (1 sur l’expérimentation et 1 question de sondage sur la COVID-19) |
- Trois questions fondamentales ont été conservées pour 2019-2020 dans le but de fournir une analyse des tendances sur la qualité des profils de l’information sur les programmes, le manque de renseignements sur la collecte de données et la disponibilité de données sur les résultats.
- Une nouvelle question a également été ajoutée pour comprendre si la pandémie de la COVID-19 a eu une incidence sur la méthode de collecte de données sur les résultats réels des ministères, et sa portée.
Résultats généraux
Par cette méthodologie, on continuera de cerner les domaines de force et les possibilités d’amélioration dans la mise en œuvre de la Politique sur les résultats, notamment dans le contexte d’une pandémie. La méthodologie offrira également des réflexions quant à la méthode d’expérimentation des ministères pour l’avancement des objectifs de l’organisation et du programme.
Questionnaires sur la gestion des résultats du CRG de 2020-2021
Question 1 Indicateurs retenus du CRG de 2019-2020
Quelle est la qualité des éléments du profil d’information sur le rendement (PIR)?
Selon l’échelle suivante, allant de 1 à 5 :
- 1 – Inacceptable
- 5 – Excellent
Note : Les ministères obtiendront une note exacte sur 5.
Justification
La majorité des renseignements ministériels sur le rendement est conservée dans le PIR, qui représente un outil de gestion clé pour la mesure du rendement du programme.
Évaluer la qualité des PIR permet au Secrétariat du Conseil du Trésor (SCT) de comprendre la capacité du ministère à produire des renseignements de mesure du rendement du programme de qualité et habilite le ministère à améliorer la mesure du rendement du programme.
Cet indicateur se rapporte au résultat escompté 3.2.1 de la Politique sur les résultats : « les ministères établissent clairement les objectifs à atteindre et les critères d’évaluation de leur succès ».
Catégorie
- Conformité à la politique
- Rendement
- Autre
Cible (s’il y a lieu)
S.O.
Méthode de calcul (s’il y a lieu)
Un échantillon aléatoire composé d’un tiers des PIR de chaque ministère, avec un minimum de trois éléments et un maximum de dix éléments, sera recueilli par le SCT.
Les évaluations seront fondées sur les éléments suivants :
Qualité des résultats – 30 %
Critères
- Les résultats sont-ils clairs? (Le langage est-il facile à comprendre? Les concepts sont-ils faciles à interpréter? La formulation est-elle un énoncé des résultats?)
- Les résultats sont-ils adéquats par rapport aux ressources du programme et aux objectifs énoncés, entre autres?
Qualité des indicateurs – 30 %
Critères
- Les indicateurs sont-ils des mesures valides des résultats (c’est-à-dire des indicateurs adéquats qui mesurent réellement les résultats pour lesquels ils sont conçus)?
- Les indicateurs sont-ils exhaustifs (c’est-à-dire qu’ils mesurent tous les aspects importants des résultats)?
-
Une logique de programme clairement formulée – 15 %
Critères
- Les éléments essentiels sont-ils compris (par exemple, les activités, extrants et les résultats)?
- Existe-t-il une logique de progression des résultats?
- Existe-t-il une explication claire des liens entre les produits et les divers résultats (la logique du programme établit-elle clairement des liens pertinents entre les résultats immédiats, les résultats intermédiaires et les résultats à long terme [c’est-à-dire la manière dont l’atteinte d’un des résultats immédiats contribue à l’atteinte d’un ou de plusieurs résultats intermédiaires, et ainsi de suite])?
Des attributs exhaustifs des indicateurs sont compris (source de données, fréquence de collecte des données, valeur cible et date d’atteinte de la cible). – 25 %
Critères
- Pour chaque indicateur, la source de données et la fréquence de leur collecte sont-elles comprises?
- Pour chaque indicateur, la cible ou la date d’atteinte de la cible sont-elles comprises?
Source de preuves et limite de documents
Le SCT répondra
Cette question s’applique aux organisations suivantes :
- Grands ministères et organismes
Source de données : Profils de l’information sur les programmes
Date d’extraction des données : Octobre 2020
Méthode de collecte des données : Preuves documentaires
Preuve : Le SCT fournira aux ministères une liste générée de manière aléatoire des programmes à partir de son Répertoire des programmes à la suite du lancement officiel du cycle du CRG. Les ministères soumettront leurs PIR pour ces programmes d’ici la fin d’octobre 2020.
Limite de documents : S.O.
Période d’évaluation : Jusqu’au 15 octobre 2020.
Le ministère ou l’organisme répondra
Documents de référence
Renvoi à une politique du Conseil du Trésor ou une priorité du gouvernement du Canada
Question 2 Indicateurs retenus du CRG de 2019-2020
Pour quel pourcentage des indicateurs de rendement inclus dans les annexes sur les résultats de la présentation approuvée au Conseil du Trésor existe-t-il une fréquence de collecte des données et des renseignements sur les sources de données?
Justification
La mesure du rendement dépend de l’accessibilité aux données nécessaires pour le calcul ou la collecte de résultats réels. Ainsi, des renseignements sur les sources de données et la fréquence de collecte sont des conditions préalables à la mesure du rendement.
Les annexes des résultats dans les présentations au Conseil du Trésor visent à fournir des détails sur les résultats et les indicateurs de rendement utilisés pour assurer l’atteinte des résultats. Par conséquent, les indicateurs de rendement devraient disposer de renseignements exhaustifs en matière de fréquence de collecte de données et de sources de données afin d’assurer la faisabilité de la collecte de renseignements sur les résultats pour eux.
Cet indicateur détermine la mesure dans laquelle les annexes des résultats des ministères contiennent des indicateurs bien conçus et réalisables. Cet indicateur se rapporte au résultat escompté 3.2.1 de la Politique sur les résultats : « les ministères établissent clairement les objectifs à atteindre et les critères d’évaluation de leur succès ».
Note : Cette question vise à obtenir les mêmes renseignements que ceux dans le CRG de 2019-2020. Cependant, le langage a été légèrement modifié aux fins de précision. La question de l’année dernière était la suivante : « Quel pourcentage des indicateurs de rendement inclus dans les présentations au Conseil du Trésor approuvées comprenant des annexes des résultats manquent d’information sur la fréquence de la collecte ou sur la source des données? »
Catégorie
- Conformité à la politique
- Rendement
- Autre
Cible (s’il y a lieu)
S.O.
Méthode de calcul (s’il y a lieu)
Nombre d’indicateurs de rendement des annexes des résultats dans la présentation au Conseil du Trésor approuvés d’un ministère dont les renseignements sur la fréquence de collecte ou la source des données sont manquants, divisé par le nombre total d’indicateurs de rendement inclus dans ces annexes.
Note : Cette question est basée sur tous les indicateurs compris dans les annexes des résultats dans la présentation au Conseil du Trésor approuvés entre le 1er novembre 2018 et le 30 juin 2019. La base de données créée pour cette question est également utilisée à la question 3 ci-dessous et est basée sur l’année précédente, afin de permettre un minimum de 12 mois pour la première collecte de données.
Source de preuves et limite de documents
Le SCT répondra
Cette question s’applique aux organisations suivantes :
- Grands ministères et organismes
Source de données : Annexes des résultats dans la présentation au Conseil du Trésor
Date d’extraction des données : 31 juin 2019
Méthode de collecte des données : Preuves documentaires
Preuve : Le SCT recueillera la fréquence de collecte des données et les renseignements sur la source des données des indicateurs directement à partir des annexes des résultats dans la présentation au Conseil du Trésor qui ont été présentés entre le 1er novembre 2018 et le 30 juin 2019.
Limite de documents : S.O.
Période d’évaluation : S.O.
Le ministère ou l’organisme répondra
Documents de référence
Renvoi à une politique du Conseil du Trésor ou une priorité du gouvernement du Canada
Question 3 Indicateurs retenus du CRG de 2019-2020
Pour quel pourcentage des indicateurs de rendement inclus dans les annexes des résultats de la présentation approuvée au Conseil du Trésor existe-t-il des données sur les résultats réels accessibles, et ce, selon l’échéancier?
Justification
L’accessibilité à des données réelles sur les résultats liés aux indicateurs est une condition préalable à l’utilisation des données pour la prise de décision.
Cet indicateur permet de déterminer la mesure dans laquelle les ministères disposent de données réelles sur les résultats pour la gestion de leurs programmes, comme ils s’y sont engagés dans leurs présentations au Conseil du Trésor.
Cet indicateur se rapporte au résultat escompté 3.2.2 de la Politique sur les résultats : « les ministères mesurent et évaluent leur rendement et utilisent les informations qui en découlent pour gérer et améliorer les programmes, les politiques et les services ».
Catégorie
- Conformité à la politique
- Rendement
- Autre
Cible (s’il y a lieu)
S.O.
Méthode de calcul (s’il y a lieu)
Nombre d’indicateurs de rendement comportant des données sur les résultats réels selon l’échéancier, divisé par le nombre d’indicateurs de rendement (dans un échantillon – voir ci-dessous) pour lesquels des données sur les résultats réels étaient prévus.
Un échantillon aléatoire composé d’un quart des indicateurs à partir des annexes des résultats, avec un minimum de 10 éléments et un maximum de 50 éléments, sera utilisé dans le calcul pour réduire le fardeau sur les ministères. Cet échantillon sera choisi aléatoirement à partir de tous les indicateurs disponibles qui sont compris dans les annexes des résultats pour la présentation du Conseil du Trésor et qui ont été approuvés entre le 1er septembre et le 30 juin 2020, pour lesquels il devrait y avoir des résultats réels.
Dans les cas où il n’est pas possible pour un ministère d’avoir des données (par exemple, le programme est devenu actif plusieurs mois après l’approbation de la présentation au Conseil du Trésor), le SCT collaborera avec les ministères et organismes pour exclure les indicateurs de l’échantillon.
Note
L’échantillon aléatoire pour cette question est fondé sur deux ensembles de données :
- Tous les indicateurs provenant des annexes des résultats des présentations au CT approuvés entre le 1er septembre 2016 et le 31 décembre 2018 (ceux-ci peuvent inclure des indicateurs comprenant un premier, deuxième, troisième ou quatrième point de données à ce point-ci).
- Tous les indicateurs avec une fréquence de collecte des données qui proviennent des annexes des résultats pour les présentations au CT approuvés entre le 1er janvier 2018 et le 30 juin 2019. La base de données créée pour cette question est basée sur les présentations des années précédentes pour permettre un minimum de 12 mois pour la première collecte de données à la suite de l’approbation du CT. Il est entendu que dans certains cas, 12 mois ne suffisent pas pour la première collecte de données en raison d’un retard dans l’approbation d’une présentation au CT et dans la mise en œuvre du programme.
Source de preuves et limite de documents
Le SCT répondra
Cette question s’applique aux organisations suivantes :
- Grands ministères et organismes
Source de données : Annexes des résultats dans la présentation au Conseil du Trésor
Date d’extraction des données : Octobre 2020
Méthode de collecte des données : Preuves documentaires
Preuve : Le SCT fournira aux ministères un gabarit prérempli d’un échantillon d’indicateurs pour lesquels les ministères et les organismes se sont engagés à obtenir des données sur les résultats réels au plus tard au début de novembre. Ils inscriront les données réelles sur les résultats des indicateurs de l’échantillon dans une colonne vierge fournie dans le modèle prérempli.
Le modèle terminé sera soumis au SCT par courriel, c’est-à-dire à l’extérieur du portail du CRG. Ce dernier demandera à une personne-ressource du ministère l’échange du modèle.
Limite de documents : S.O.
Période d’évaluation : S.O.
Le ministère ou l’organisme répondra
Documents de référence
Renvoi à une politique du Conseil du Trésor ou une priorité du gouvernement du Canada
Question 4 Indicateurs retenus du CRG de 2019-2020
Le ministère ou l’organisme a-t-il effectué des expérimentations au cours de l’année civile 2020 pour trouver des façons de régler des problèmes pernicieux et améliorer les résultats pour les Canadiens (cochez toutes les options qui s’appliquent)?
- Oui – en affectant des ressources (financières ou ressources humaines) à l’expérimentation
- Oui – en effectuant des expériences (c’est-à-dire méthodologie quasi expérimentale, structurée ou prépost structurée)
- Oui – en élaborant un cadre ou une approche coordonnée à l’expérimentation, à l’échelle du ministère (par exemple, une stratégie, un plan ou un énoncé, entre autres)
- Oui – en intégrant l’expérimentation aux organes de gouvernance ministériels
- Oui – en renforçant la capacité ou de la sensibilisation du ministère pour faire de l’expérimentation de façons différentes des approches susmentionnées (veuillez expliquer)
- Non – (veuillez expliquer)
Justification
L’expérimentation encourage la mise à l’essai de nouvelles et de vieilles approches pour distinguer ce qui fonctionne de ce qui ne fonctionne pas au moyen d’une méthode rigoureuse (comme il est énoncé dans les Directives relatives à l’expérimentation à l’intention des administrateurs généraux de 2016). La collecte de ces renseignements permet au Secrétariat du Conseil du Trésor du Canada d’aider les ministères et les organismes à comprendre les différents types de méthodes expérimentales utilisées pour les appuyer dans l’élaboration de leur capacité d’expérimentation.
Catégorie
- Conformité à la politique
- Rendement
- Autre
Cible (s’il y a lieu)
S.O.
Méthode de calcul (s’il y a lieu)
Donnez des exemples précis de la façon dont l’organisation a appuyé l’expérimentation. La définition et des exemples d’expérimentations sont fournis dans le glossaire.
Source de preuves et limite de documents
Le SCT répondra
Le ministère ou l’organisme répondra
Cette question s’applique aux organisations suivantes :
- Grands ministères et organismes
Source de données : S.O.
Date d’extraction des données : S.O.
Méthode de collecte des données : Preuves documentaires (Portail du CRG)
Preuve :
- Une brève description de la façon dont le ministère appuie l’expérimentation ou de la façon dont les exemples fournis sont des preuves de l’appui à l’expérimentation (au plus 500 mots)
- Des exemples précis (tirés de documents, de rapports ou de présentations non secrets existants) décrivant la façon dont le ministère appuie l’expérimentation
Limite de documents : Un maximum de deux documents (pour chaque sélection de la réponse « Oui »)
Période d’évaluation : Calendrier civil 2020
Documents de référence
Renvoi à une politique du Conseil du Trésor ou une priorité du gouvernement du Canada
Question 5 Indicateurs retenus du CRG de 2019-2020
Si votre ministère ou organisme a effectué des expérimentations, leurs résultats sont-ils utilisés pour éclairer la prise de décisions en 2020?
- Oui. L’initiative a été élargie, car elle fonctionne.
- Oui. L’initiative a été arrêtée ou sa portée a été réduite, car elle ne fonctionnait pas.
- Oui. Les résultats ont permis de corriger le tir (c’est-à-dire des changements à l’initiative existante).
- Oui. Les résultats ont été diffusés (au moins à l’échelle ministérielle) aux fins de prise de décisions, ou ont été utilisés pour améliorer la conception d’une autre initiative.
- Oui. Autre (précisez)
- Non.
Justification
L’expérimentation encourage la mise à l’essai de nouvelles et de vieilles approches pour distinguer ce qui fonctionne de ce qui ne fonctionne pas au moyen d’une méthode rigoureuse (comme il est énoncé dans les Directives relatives à l’expérimentation à l’intention des administrateurs généraux de 2016). La collecte de ces renseignements permet au Secrétariat du Conseil du Trésor du Canada d’aider les ministères et les organismes à comprendre l’incidence possible qu’a eu l’expérimentation.
Catégorie
- Conformité à la politique
- Rendement
- Autre
Cible (s’il y a lieu)
S.O.
Méthode de calcul (s’il y a lieu)
Les ministères et les organismes évalueront eux-mêmes leurs réponses à la question 5 ci-dessus.
La définition et des exemples d’expérimentations sont fournis dans le glossaire.
Source de preuves et limite de documents
Le SCT répondra
Le ministère ou l’organisme répondra
Cette question s’applique aux organisations suivantes :
- Grands ministères et organismes
Source de données : S.O.
Date d’extraction des données : S.O.
Méthode de collecte des données : Auto-évaluation
Preuve : Aucune preuve nécessaire
Limite de documents : S.O.
Période d’évaluation : Calendrier civil 2020
Documents de référence
Renvoi à une politique du Conseil du Trésor ou une priorité du gouvernement du Canada
Question 6 Nouveaux indicateurs pour le CRG de 2020-2021
En réponse à la pandémie de la COVID-19, l’organisation a-t-elle dû modifier ses approches existantes de collecte de données sur les résultats réels?
- Oui
- Non
Justification
Cette question est conçue pour permettre de comprendre les étapes que les ministères ont pris pour être capables de recueillir des données sur les résultats réels durant la pandémie. Le but de la question n’est pas de fournir des renseignements sur l’évaluation du rendement, mais plutôt de fournir des observations sur les pratiques innovatrices et les bonnes pratiques et, possiblement, les partager.
Catégorie
- Conformité à la politique
- Rendement
- Autre
Cible (s’il y a lieu)
S.O.
Méthode de calcul (s’il y a lieu)
Un gabarit sera distribué de la manière décrite ci-dessous :
En réponse à la pandémie de la COVID-19, l’organisation a-t-elle dû modifier ses approches existantes de collecte de données sur les résultats réels? Oui/non
Si la réponse est « Oui », veuillez brièvement indiquer les changements effectués sous la forme d’une liste :
- Premier changement :
- Titre. Par exemple, « Axé seulement sur les indicateurs de valeur supérieure »
- Explication : Au plus 100 mots
- Deuxième changement :
- Titre
- Explication : Au plus 100 mots
Source de preuves et limite de documents
Le SCT répondra
Le ministère ou l’organisme répondra
Cette question s’applique aux organisations suivantes :
- Grands ministères et organismes
Source de données : S.O.
Date d’extraction des données : S.O.
Méthode de collecte des données : Preuves documentaires (Portail du CRG)
Preuve : Les organisations recevront un modèle lorsqu’elles reçoivent un modèle de données sur les résultats réels. Les ministères peuvent remplir le modèle et le renvoyer au SCT.
Limite de documents : 1
Période d’évaluation : Calendrier civil 2020
Documents de référence
Renvoi à une politique du Conseil du Trésor ou une priorité du gouvernement du Canada
Glossaire
- Données sur les résultats réels :
- Les données sur les résultats des indicateurs de rendement
- Fréquence de collecte des données :
- Fréquence à laquelle un ministère ou un organisme recueille des données sur les résultats réels liés à un indicateur
- Source de données :
- Source à partir de laquelle un ministère ou un organisme recueille des données sur les résultats réels liés à un indicateur
- Expérimentation :
Activités visant d’abord à examiner, puis vérifier et comparer les effets et l’impact des politiques et des interventions visant à éclairer la prise de décisions fondée sur les données probantes et à améliorer les résultats pour les Canadiens, en apprenant ce qui fonctionne et ce qui ne fonctionne pas. L’expérimentation est liée à l’innovation, mais distincte de celle-ci (le fait d’essayer de nouvelles choses), car elle implique une comparaison rigoureuse des résultats.
Par exemple, l’utilisation d’un nouveau site Web pour communiquer avec les Canadiens pourrait être une innovation, tout en le mettant systématiquement à l’essai par rapport aux outils de communication existants (ou même à un ancien site Web) pour voir lequel mène à une plus grande mobilisation est une expérience.
- Selon l’échéancier :
- Échéancier qui figure dans l’annexe des résultats des présentations au Conseil du Trésor et qui a été établi selon la fréquence des données ou la date d’atteinte de la cible
- Annexe des résultats :
- The document that contains the Rendement information for each Program from the departmental Program Inventory.
- Annexe des résultats :
- Annexe obligatoire dans une présentation au Conseil du Trésor dans laquelle l’organisation doit fournir des détails sur les résultats immédiats, intermédiaires et ultimes associés aux propositions de financement, aux indicateurs de rendement ainsi qu’aux données de référence existantes et aux cibles futures. Les organisations expliquent également comment les renseignements sur le rendement seront utilisés pour surveiller les progrès accomplis afin de s’assurer que les résultats escomptés sont atteints.
Pour des définitions supplémentaires des termes et expressions utilisés dans ce questionnaire, veuillez consulter le portail des résultats.
Détails de la page
- Date de modification :