Méthodologie 2021 à 2022 du CRG sur la gestion des résultats
Sur cette page
Aperçu de la méthodologie
La mesure des résultats aide les fonctionnaires, les ministres et les Canadiens à comprendre qui ou ce qui est touché par les actions du gouvernement, dans quelle mesure et dans quelles circonstances. Il s’agit notamment de pouvoir rendre compte de l’impact des décisions gouvernementales sur l’égalité des sexes et la diversité. Il est donc important que les organisations aient la capacité de produire des renseignements de haute qualité sur les résultats, ce qui facilite l’identification des lacunes en matière de politiques et de programmes, la conception efficace des politiques et des programmes, l’optimisation des opérations. Les administrateurs généraux et les ministres sont responsables en dernier ressort de la production de cette information.
La méthodologie de gestion des résultats de 2021-2022 continuera d’évaluer la qualité de l’information sur la mesure du rendement contenue dans les profils d’information sur le rendement tenus par chaque gestionnaire de programme. Une nouvelle question a également été ajoutée pour déterminer si les programmes sont en mesure de démontrer un plan de collecte de données suffisant pour appuyer l’analyse et la communication de leurs impacts sur le genre et la diversité, pour appuyer la mise en œuvre par le gouvernement de la Loi sur la budgétisation sensible aux sexes et son objectif général d’accroître la disponibilité de données ventilées.
Utilisation des résultats du CRG
Les résultats du Cadre de responsabilisation de gestion (CRG) de 2021-2022 fourniront les renseignements suivants aux quatre publics clés énumérés ci-dessous.
Administrateurs généraux
- La qualité globale des profils d’information sur le rendement (PIR) pour tous les programmes dans l’inventaire des programmes de leur organisation, afin d’évaluer l’ampleur de l’information sur les résultats qui sera disponible pour éclairer la prise de décisions futures.
- Le caractère approprié des stratégies de collecte de données sur l’égalité entre les sexes et la diversité dans les programmes de leur organisation, afin d’évaluer la capacité actuelle et future de l’organisation d’appuyer la prise de décisions, qui repose sur des données solides sur les personnes susceptibles d’être touchées par ces décisions, dans quelle mesure et dans quels contextes.
Communauté fonctionnelle de la gestion des résultats
- Évaluer les éléments individuels des PIR afin de déterminer les secteurs d’activité et les domaines où des améliorations supplémentaires sont nécessaires.
- Identification des programmes qui pourraient nécessiter une aide supplémentaire pour élaborer des plans de collecte de données afin de permettre l’analyse de leurs répercussions sur l’égalité des sexes et la diversité, de concentrer la collaboration avec les gestionnaires de programmes et d’autres centres d’expertise de l’organisation.
Communautés de pratiques d’expérimentation
- Fournir une compréhension de l’état de l’expérimentation dans les ministères et organismes et des domaines éventuels d’amélioration
Secrétariat du Conseil du Trésor du Canada (SCT)
- Information sur la mesure dans laquelle les programmes respectent les exigences de la Politique sur les résultats liés aux PIR, ainsi que sur la mesure dans laquelle les programmes ont un plan pour recueillir des données sur leurs répercussions sur l’égalité des sexes et la diversité conformément à la Loi canadienne sur la budgétisation sensible aux sexes.
- Information sur la mesure du rendement et la collecte de données, les forces et les faiblesses des organisations et des types de programmes afin d’aider à éclairer les priorités en matière d’élaboration de politiques et de renforcement des capacités.
Cette méthodologie a été élaborée en consultation avec les intervenants suivants :
- Secteur des priorités et de la planification du SCT
- Comité directeur des chefs de la mesure du rendement
- Comité directeur des chefs de l’évaluation
- Ministères et organismes participant au domaine de la composante de gestion portant sur la gestion des résultats
Période d’évaluation
- Du 1er avril 2019 à octobre 2021.
- La période d’évaluation pour la question 3 et 4 (expérimentation) de la méthodologie de gestion des résultats est du 1er avril 2020 au 31 mars 2021.
Incidence sur les ministères
| Gestion des résultats | 2020-2021 | 2021-2022 |
|---|---|---|
| Nombre total de questions sur les résultats | 4 | 2 |
| Nombre total de questions sur l’expérimentation | 2 | 2 |
| Nombre total de questions | 6 | 4 |
| Nombre total de questions nécessitant la présentation de preuves par les ministères | 2 | 2 |
- Une question a été conservée de 2020-2021 sur les PIR, trois questions ont été éliminées, et une question ajoutée sur l’ACS.
- Deux questions sur l’expérimentation ont été conservées de 2020-2021 pour fournir une analyse des tendances sur l'état de l'expérimentation dans les ministères et organismes.
Résultats généraux
L’évaluation du CRG 2021-2022 sera la troisième fois que les PIR ont été examinés dans le CRG. L’information additionnelle fournie par ce cycle, tant en ce qui a trait à l’augmentation de l’échantillon global des PIR qui ont été évalués que l’information sur les tendances, aidera à favoriser un dialogue continu entre le Secrétariat du Conseil du Trésor du Canada et les organisations au sujet de ces outils de gestion clés.
De plus, la première évaluation de la collecte de données sur l’égalité entre les sexes et la diversité dans le cadre du CRG permettra d’éclairer les discussions en cours dans l’ensemble du gouvernement au sujet des possibilités et des défis auxquels font face les programmes dans ce domaine.
La méthodologie offrira également des réflexions quant à la façon dont les ministères expérimentent et utilisent les résultats des expériences pour faire avancer les objectifs organisationnels et de programme, en plus de contribuer à la constitution d'une base de données probantes pour les meilleures pratiques expérimentales.
Questionnaires sur la gestion des résultats du CRG de 2021-2022
Question 1 maintenu
Quelle est la qualité des éléments du profil d’information sur le rendement (PIR)?
Justification
La Politique sur les résultats du Conseil du Trésor exige que chaque programme figurant dans l’inventaire des programmes d’une organisation ait un profil d’information sur le rendement à jour. Ce document contient une gamme d’informations relatives à ce que le programme cherche à réaliser, à la façon dont les activités du Programme devraient mener aux résultats souhaités et aux besoins correspondants en matière de mesure et d’évaluation du programme.
Les PIR sont un outil de gestion clé qui aide les gestionnaires de programme à s’assurer que des données de rendement valides, fiables et utiles sont recueillies et disponibles pour gérer le programme, ainsi qu’à évaluer leur efficacité et leur efficience. Les PIR sont généralement la source d’information sur les résultats pour les présentations au Conseil du Trésor, et le Secrétariat du Conseil du Trésor du Canada utilise souvent les PIR pour contextualiser et éclairer son défi de propositions de dépenses qui seront présentées au Conseil du Trésor.
Les PIR incomplets ou de mauvaise qualité, qui ne sont pas à jour, indiquent que l’organisation risque d’être incapable de suivre adéquatement les résultats du programme et, par conséquent, d’appuyer les exigences décisionnelles des hauts fonctionnaires et des ministres. Par conséquent, les présentations au Conseil du Trésor associées à un PIR de faible qualité font souvent l’objet d’un examen plus approfondi de la part du Secrétariat du Conseil du Trésor du Canada avant qu’elles ne soient présentées aux ministres.
L’évaluation officielle des PIR dans le cadre du processus du CRG permet au Secrétariat du Conseil du Trésor du Canada de fournir de façon proactive des commentaires détaillés aux organisations sur les secteurs des PIR qui nécessitent d’autres améliorations. Il facilite également le dialogue continu entre le Secrétariat et les communautés de mesure du rendement et d’évaluation sur les défis communs.
Catégorie
- Conformité avec les politiques
- Rendement
- Autre
Cible
Des PIR échantillonnés obtiennent une note de 2,75 ou plus.
Méthode de calcul (le cas échéant)
Un échantillon aléatoire composé d’un tiers des PIR de chaque ministère, avec un minimum de trois éléments et un maximum de dix éléments, sera recueilli par le SCT.
Les évaluations seront fondées sur les éléments suivants :
Qualité des résultats – 30 %
Critères :
- Les résultats sont-ils clairs? (Le langage est-il facile à comprendre? Les concepts sont-ils faciles à interpréter? La formulation est-elle un énoncé des résultats?)
- Les résultats sont-ils adéquats par rapport aux ressources du programme et aux objectifs énoncés, entre autres?
Qualité des indicateurs – 30 %
Critères :
- Les indicateurs sont-ils des mesures valides des résultats? (C’est-à-dire des indicateurs adéquats qui mesurent réellement les résultats pour lesquels ils sont conçus)?
- Les indicateurs sont-ils exhaustifs (c’est-à-dire qu’ils mesurent tous les aspects importants des résultats)?
Une logique de programme clairement formulée – 15 %
Critères :
- Les éléments essentiels sont-ils compris (par exemple, les activités, extrants et les résultats)?
- Existe-t-il une logique de progression des résultats?
- Y a -t-il une explication claire des liens entre les extrants et les divers résultats? (La logique du programme établit-elle clairement des liens pertinents entre les résultats immédiats, les résultats intermédiaires et les résultats à long terme [c’est-à-dire la manière dont l’atteinte d’un des résultats immédiats contribue à l’atteinte d’un ou de plusieurs résultats intermédiaires, et ainsi de suite])?
Des attributs exhaustifs des indicateurs sont compris (source de données, fréquence de collecte des données, valeur cible et date d’atteinte de la cible). – 25 %
Critères :
- Pour chaque indicateur, la source de données et la fréquence de leur collecte sont-elles comprises?
- Pour chaque indicateur, la cible ou la date d’atteinte de la cible sont-elles comprises?
Chaque PIR recevra une note globale sur une échelle de 1 à 5, où 1 représente « “inacceptable » et 5 représente « excellent ».
Source de preuves et limite de documents
Réponse du SCT
Cette question s’adresse aux organisations suivantes :
- Grands ministères et organismes
Source de données : Profils d’information sur le rendement (PIR)
Date d’extraction des données : 29 novembre 2021
Méthode de collecte des données : Preuves documentaires
Preuve : Le SCT fournira aux ministères une liste générée de manière aléatoire des programmes à partir de son Répertoire des programmes 2021-2022 à au lancement officiel du cycle du CRG. Les ministères soumettront leurs PIR pour ces programmes d’ici le 29 octobre 2021.
Les PIR seront soumis au SCT par courriel, c’est‑à-dire à l’extérieur du portail du CRG. Le SCT fera une demande à une personne‑ressource du ministère pour l’échange des PIR.
Limite de documents : S.O.
Période d’évaluation: Jusqu’au 29 octobre 2021
Réponse du ministère ou de l’organisme
Autre à l’usage exclusif du SCT nouveau
Moyenne pangouvernementale
Cet indicateur sera-t-il utilisé pour déterminer la moyenne pangouvernementale?
Oui
Analyse d’une année à l’autre
L’indicateur peut-il être utilisé dans une analyse d’une année à l’autre?
Oui
Cadre ministériel des résultats (CMR)
Cet indicateur est-il utilisé dans le CMR du SCT?
Oui
Documents de référence
Renvoi à une politique du Conseil du Trésor ou une priorité du gouvernement du Canada (GC)
- Politique sur les résultats, 4.3.5 et 4.3.6
- Directive sur les résultats, 4.2.3 et 4.3
Question 2 nouveau
Quel est le pourcentage des programmes figurant dans l’inventaire des programmes, à l’exclusion des services internes, qui ont des plans de collecte de données pour faire rapport sur les répercussions sur le genre et la diversité?
Justification
L’analyse comparative entre les sexes (ACS) est une exigence du gouvernement fédéral depuis 1995, et l’ACS+ est une exigence depuis 2011. Les ministères sont responsables de mener cette analyse sur leurs programmes et politiques et, par extension, de s’assurer qu’ils obtiennent les données nécessaires. La capacité de recueillir des données valides et de haute qualité sur l’impact des programmes sur l’égalité des sexes et la diversité dépendent d’un plan de données solide. L’absence de données actuelles ou d’un plan de collecte et d’analyse de données futures sur les répercussions des programmes sur l’égalité des sexes et la diversité est le défi le plus fréquent que pose l’analyse de l’ACS+ à l’appui de la prise de décisions par les hauts fonctionnaires ou les ministres.
Le gouvernement a récemment renforcé son engagement en faveur de l’ACS+. Par exemple, toutes les lettres de mandat des ministres exigent que l’ACS+ soit prise en compte dans la prise de décisions, et la Loi canadienne sur la budgétisation sensible aux sexes (2018) exige du président du Conseil du Trésor qu’il publie chaque année une analyse des répercussions des dépenses de programmes sur l’égalité entre les sexes et la diversité.
Depuis 2018-2019, le tableau de renseignements supplémentaire de l’ACS+ associé aux rapports ministériels sur les résultats (RMR) a demandé aux ministères de faire rapport sur leurs plans de collecte de données.
L’évaluation officielle des plans de collecte de données de l’ACS+ par le biais du CRG permet au Secrétariat du Conseil du Trésor du Canada de déterminer de façon proactive les organisations et les programmes où des améliorations sont nécessaires. Il facilite également le dialogue continu entre le Secrétariat et les communautés de la mesure du rendement et de l’évaluation sur les défis communs de façon plus générale.
Étant donné que l’ACS+ demeure une capacité de développement au sein du gouvernement du Canada, l’évaluation de cette année sera fondée sur une évaluation binaire « Oui ou Non » plutôt que sur une évaluation détaillée de la qualité. Les résultats de cette évaluation serviront à éclairer le dialogue continu entre le Secrétariat du Conseil du Trésor du Canada, Femmes et égalité des sexes Canada, d’autres organismes centraux et des organismes au sujet de l’application de l’ACS+ dans les programmes.
Catégorie
- Conformité avec les politiques
- Rendement
- Autre
Cible
100 % des programmes ont un plan de collecte de données GBA+.
Méthode de calcul (le cas échéant)
La portée de l’évaluation comprendra tous les programmes figurant dans l’inventaire des programmes, à l’exclusion des services internes.
La section 2 des tableaux de renseignements supplémentaires de l’ACS+ (« Répercussions sur le genre et la diversité, par programme ») publiés sur les sites Web des ministères et organismes après le dépôt des rapports ministériels sur les résultats de 2020-2021 au Parlement sera évaluée afin de déterminer s’ils contiennent ou non, un ou plus des renseignements suivants pour chaque programme :
- un « plan de collecte de données ACS+ »
- « Répartition des avantages » ou « Répercussions clés »
- une justification pour ne pas fournir d’information dans les deux autres catégories.
Les programmes qui fournissent l’une des informations mentionnées ci-dessus seront considérés comme un « Oui ». Les programmes qui ne fournissent aucune information seront évalués comme un « Non ».
Le résultat global du ministère sera calculé en divisant le nombre de programmes du Répertoire des programmes, excluant les services internes, évalués comme un « Oui » par le nombre total de programmes figurant dans l’inventaire des programmes de l’organisation (à l’exclusion des services internes).
Source de preuves et limite de documents
Réponse du SCT
Cette question s’adresse aux organisations suivantes :
- Grands ministères et organismes
Source de données : Sites Web ministériels (par l’entremise de la section 2 des tableaux de renseignements supplémentaires de l’ACS+ liés au Rapport ministériel sur les résultats)
Date d’extraction des données : À la suite du dépôt des RMR 2020-2021 à l’automne 2021
Méthode de collecte des données : Preuves documentaires
Preuve : la section 2 des tableaux de renseignements supplémentaires de l’ACS+ (« Répercussions sur le genre et la diversité, par programme ») publiée sur les sites Web des ministères et organismes après le dépôt des rapports ministériels sur les résultats de 2020 2021 au Parlement.
Limite de documents : S.O.
Période d’évaluation: Exercice financier 2020-2021
Réponse du ministère ou de l’organisme
Autre à l’usage exclusif du SCT nouveau
Moyenne pangouvernementale
Cet indicateur sera-t-il utilisé pour déterminer la moyenne pangouvernementale?
Oui.
Analyse d’une année à l’autre
L’indicateur peut-il être utilisé dans une analyse d’une année à l’autre?
Oui.
Cadre ministériel des résultats (CMR)
Cet indicateur est-il utilisé dans le CMR du SCT?
Non.
Documents de référence
Renvoi à une politique du Conseil du Trésor ou une priorité du gouvernement du Canada (GC)
- Loi canadienne sur la budgétisation sensible aux sexes
- Politique sur les résultats, 4.3.5 et 4.3.6
- Directive sur les résultats, A.2.5.10
Questionnaire sur l’expérimentation du CRG de 2021-2022
Question 3 maintenu
Le ministère ou l’organisme a-t-il mené des activités d’expérimentation au cours de l'exercice 2020-2021 pour trouver des façons de résoudre des problèmes persistants et d’améliorer les résultats pour les Canadiens? (Cochez toutes les options qui s’appliquent)
- Oui – en affectant des ressources (financières ou humaines) à l’expérimentation
- Oui – en effectuant des expériences (c’est-à-dire qui utilisent une méthodologie randomisée, quasi expérimentale ou avant-après structurée)
- Oui – en élaborant un cadre ou une approche coordonnée à l’expérimentation, à l’échelle du ministère (par exemple, une stratégie, un plan ou un énoncé, entre autres)
- Oui – en intégrant l’expérimentation aux organes de gouvernance ministériels
- Oui – en renforçant la capacité ou la sensibilisation du ministère à mener des activités d’expérimentation de façons différentes des approches susmentionnées (Veuillez expliquer)
- Non – (Veuillez expliquer)
Justification
L’expérimentation encourage la mise à l’essai de nouvelles et de vieilles approches pour distinguer ce qui fonctionne de ce qui ne fonctionne pas au moyen d’une méthode rigoureuse (comme il est énoncé dans les Directives relatives à l’expérimentation à l’intention des administrateurs généraux de 2016). La collecte de cette information permet au Secrétariat du Conseil du Trésor du Canada d'aider les ministères et organismes à comprendre et à mettre en œuvre des pratiques expérimentales, ainsi qu’identifier et partager les meilleures pratiques.
Catégorie
- Conformité avec les politiques
- Rendement
- Autre
Cible
N/A
Méthode de calcul (le cas échéant)
Les grands ministères et organismes sont évalués en fonction de leur contribution dans la page de couverture pour la question 3 (expérimentation) de la gestion des résultats. Celle-ci demande des exemples spécifiques de la façon dont l'organisation a soutenu l'expérimentation.
Une définition et des exemples d'activités expérimentales sont fournis dans la page de couverture pour la question 3 (expérimentation) de la gestion des résultats. Veuillez consulter la FAQ sur l'expérimentation 2021-2022 pour une liste des questions fréquemment posées.
Source de preuves et limite de documents
Réponse du SCT
Réponse du ministère ou de l’organisme
Cette question s’adresse aux organisations suivantes :
- Grands ministères et organismes
Source de données : S.O.
Date d’extraction des données : S.O.
Méthode de collecte des données : Preuves documentaires (Portail du CRG)
Preuve :
- Les grands ministères et organismes doivent remplir la page de couverture pour la question 3 (expérimentation) de la gestion des résultats (disponible sur la page d'accueil du portail du CRG, sous l'onglet méthodologies) afin de fournir des exemples spécifiques de la façon dont l'organisation a soutenu l'expérimentation et la soumettre via le portail du CRG.
- Des preuves supplémentaires sont requises pour la question 3C « Oui – en élaborant un cadre ou une approche coordonnée à l’expérimentation, à l’échelle du ministère (par exemple, une stratégie, un plan ou un énoncé, entre autres) ».
- Des preuves supplémentaires sont facultatives pour les options Q3A, Q3B, Q3D et Q3E.
Limite de documents : Un maximum de six (6) documents
Période d’évaluation: 1er avril 2020 au 31 mars 2021
Autre à l’usage exclusif du SCT nouveau
Moyenne pangouvernementale
Cet indicateur sera-t-il utilisé pour déterminer la moyenne pangouvernementale?
Oui.
Analyse d’une année à l’autre
L’indicateur peut-il être utilisé dans une analyse d’une année à l’autre?
Oui.
Cadre ministériel des résultats (CMR)
Cet indicateur est-il utilisé dans le CMR du SCT?
Non.
Documents de référence
Renvoi à une politique du Conseil du Trésor ou une priorité du gouvernement du Canada (GC)
Question 4 maintenu
Si votre ministère ou organisme a effectué des expériences, leurs résultats sont-ils utilisés pour éclairer la prise de décisions dans l'exercice 2020-2021?
- Oui. Une initiative a été mise à l’échelle ou sa portée a prise de l’expansion parce qu’elle fonctionnait.
- Oui. Une initiative a été arrêtée ou sa portée a été réduite car elle ne fonctionnait pas.
- Oui. Les résultats ont permis de corriger le tir (c'est-à-dire de modifier une initiative existante).
- Oui. Les résultats ont été diffusés (au moins à un comité à l'échelle du ministère ou de l'organisme ou plus largement) pour la prise de décision.
- Oui. Autre (Veuillez préciser)
- Non. (Veuillez expliquer)
Justification
L’expérimentation encourage la mise à l’essai de nouvelles et de vieilles approches pour distinguer ce qui fonctionne de ce qui ne fonctionne pas au moyen d’une méthode rigoureuse (comme il est énoncé dans les Directives relatives à l’expérimentation à l’intention des administrateurs généraux de 2016). La collecte de cette information permet au Secrétariat du Conseil du Trésor du Canada d'aider les ministères et organismes à comprendre l'incidence possible de l'expérimentation.
Catégorie
- Conformité avec les politiques
- Rendement
- Autre
Cible
S.O.
Méthode de calcul (le cas échéant)
Les grands ministères et organismes sont évalués en fonction de leur contribution dans la page de couverture pour la question 4 (expérimentation) de la gestion des résultats. Celle-ci demande des exemples spécifiques de la façon dont l'organisation a utilisé les résultats des expériences pour éclairer la prise de décision.
Une définition et des exemples d'activités expérimentales sont fournis dans la page de couverture pour la question 4 (expérimentation) de la gestion des résultats. Veuillez consulter la FAQ sur l'expérimentation 2021-2022 pour une liste des questions fréquemment posées.
Source de preuves et limite de documents
Réponse du SCT
Réponse du ministère ou de l’organisme
Cette question s’adresse aux organisations suivantes :
- Grands ministères et organismes
Source de données : S.O.
Date d’extraction des données : S.O.
Méthode de collecte des données : Preuves documentaires (Portail du CRG)
Preuves :
- Les grands ministères et organismes doivent remplir la page de couverture pour la question 4 (expérimentation) de la gestion des résultats (disponible sur la page d'accueil du portail du CRG, sous l'onglet méthodologies) afin de fournir des exemples spécifiques de la façon dont l'organisation a utilisé les résultats des expériences pour éclairer la prise de décision et la soumettre via le portail du CRG.
- Des preuves supplémentaires sont facultatives.
Limite de documents : Un maximum de six (6) documents
Période d’évaluation: 1er avril 2020 au 31 mars 2021
Autre à l’usage exclusif du SCT nouveau
Moyenne pangouvernementale
Cet indicateur sera-t-il utilisé pour déterminer la moyenne pangouvernementale?
Oui.
Analyse d’une année à l’autre
L’indicateur peut-il être utilisé dans une analyse d’une année à l’autre?
Oui.
Cadre ministériel des résultats (CMR)
Cet indicateur est-il utilisé dans le CMR du SCT?
Non.
Documents de référence
Renvoi à une politique du Conseil du Trésor ou une priorité du gouvernement du Canada (GC)
Glossaire
Pour les définitions des termes et expressions utilisés dans ce questionnaire, veuillez consulter :
Détails de la page
- Date de modification :