Plan d'évaluation ministériel de 2022 à 2027

Liste des acronymes

ACS+

Analyse comparative entre les sexes plus

AE

Assurance-emploi

CMRE

Comité de la mesure du rendement et de l’évaluation

EDSC

Emploi et Développement social Canada

LGFP

Loi sur la gestion des finances publiques

RPC

Régime de pensions du Canada

SCT

Secrétariat du Conseil du Trésor du Canada

SV

Sécurité de la vieillesse

Formats substituts

Plan d'évaluation ministériel de 2022 à 2027 [PDF – 2 Mo]

Les formats en gros caractères, braille, MP3 (audio), texte électronique, et DAISY sont disponibles sur demande en commandant en ligne ou en composant le 1 800 O-Canada (1-800-622-6232). Si vous utilisez un téléscripteur (ATS), composez le 1-800-926-9105.

Note de confirmation de l’administrateur général pour le Plan d’évaluation ministériel

J’approuve le Plan d’évaluation ministériel d’Emploi et Développement social Canada pour les exercices 2022 à 2027. Je le soumets au Secrétariat du Conseil du Trésor du Canada, conformément à la Politique sur les résultats.

Je confirme que ce plan d’évaluation ministériel quinquennal :

• prévoit l’évaluation de tous les programmes de subventions et de contributions en cours dont les dépenses réelles moyennes pour 5 ans sont supérieures ou égales à 5 millions de dollars par année au moins une fois tous les 5 ans, conformément aux exigences de l’article 42.1 de la Loi sur la gestion des finances publiques
• répond aux exigences des Procédures obligatoires pour les évaluations
• répond aux exigences du système de gestion des dépenses, y compris, le cas échéant, les mémoires au Cabinet, les présentations au Conseil du Trésor et les examens portant sur l’harmonisation des ressources

Je m’assurerai que ce plan est mis à jour tous les ans. Je fournirai des renseignements sur sa mise en œuvre au Secrétariat du Conseil du Trésor du Canada, tel qu’exigé.

Jean-François Tremblay
Sous-ministre de l’Emploi et du Développement social

Sommaire

Conformément à la Politique sur les résultats du Conseil du Trésor du Canada, Emploi et Développement social Canada (EDSC) doit élaborer et publier un plan d’évaluation annuel de 5 ans. S’appuyant sur des consultations internes et sur les réalisations de l’an dernier, ce plan cible la portée de l’évaluation des dépenses de programmes d’EDSC pour 2022 à 2027, en mettant l’accent sur les risques, les besoins et les priorités du Ministère.

Au cours de l’exercice 2021 à 2022, la Direction de l’évaluation a continué à remplir son mandat d’évaluer la pertinence et le rendement des programmes, des politiques, des initiatives et des services ministériels. La Direction a influencé la conception des politiques et des programmes en menant des analyses rigoureuses, en produisant des données probantes de grande qualité, en diffusant des connaissances, en s’engageant auprès de partenaires et en fournissant des conseils fiables. La Direction a également continué à élaborer des approches novatrices, notamment celles qui soutiennent l’engagement du gouvernement du Canada à l’égard de l’Analyse comparative entre les sexes plus dans la conception des évaluations quantitatives et qualitatives.

Principales réalisations de 2021 à 2022

Appuyer des décisions fondées sur des données probantes

• Réalisation de 10 rapports d’évaluation et de 40 études techniques pour soutenir les responsables du programme et aux commissaires de l’assurance-emploi
• Collaboration bilatérale et multilatérale avec les provinces et les territoires pour l’évaluation des programmes du marché du travail afin de produire 49 études techniques supplémentaires
• Intégration d’approches novatrices et de techniques de pointe pour répondre à d’importantes questions en matière de politiques
• Prestation de conseils judicieux et de données probantes d’évaluation fiables, en temps opportun, afin de permettre une prise de décisions éclairée pour les programmes du marché du travail d’EDSC

Diffusion et participation

• Réalisation de 15 présentations virtuelles lors de 10 conférences et événements nationaux et internationaux différents et publication de 2 rapports techniques
• Collaboration avec l’Organisation de coopération et de développement économiques à un projet qui mettra en évidence la manière dont certains pays, comme le Canada, mettent à profit les données administratives pour appuyer les évaluations d’impact
• Réseautage avec le milieu universitaire afin d’explorer de nouvelles manières de collaborer et de diffuser les connaissances

Agir en tant que conseiller de confiance

• Prestation de conseils aux responsables des programmes et au chef de la mesure du rendement sur les éléments associés à l’évaluation et à la révision de 15 profils d’information sur le rendement
• Prestation de conseils pour améliorer l’utilisation de la lentille de l’analyse comparative entre les sexes plus
• Accompagnement des commissaires de l’assurance-emploi, représentants les employeurs et les travailleurs, en examinant les questions relatives au marché du travail et en fournissant une assistance pour les travaux du Comité consultatif chargé du rapport de contrôle

Faire progresser les approches novatrices et l’analyse comparative entre les sexes plus

• Adoption de pratiques novatrices pour mieux estimer l’impact des programmes sur des sous-groupes précis et diffusion des résultats pour éclairer les décisions

Défis et possibilités de la fonction d’évaluation

De 2021 à 2022, la fonction d’évaluation a continué à mener ses activités dans un contexte marqué par la pandémie de COVID-19. Parmi les principaux défis à relever, citons l’intégration de nouvelles mesures de relance post-pandémique dans le cadre des évaluations en cours, ainsi que la disponibilité et la qualité des données de certains programmes.

D’autre part, le contexte de la pandémie a également donné à la fonction d’évaluation l’occasion d’examiner attentivement la manière dont elle mène les évaluations afin d’en optimiser leur utilité et leur valeur. En outre, les efforts continus du Ministère en matière de collaboration avec Statistique Canada pour intégrer les données administratives et celles tirées des enquêtes appuieront éventuellement la réalisation d’activités d’analyse des politiques, de recherche et d’évaluation plus fiables et pertinentes du point de vue de l’analyse comparative entre les sexes plus.

Aller de l’avant

La Direction prévoit réaliser 15 évaluations de 2022 à 2023 et 9 évaluations de 2023 à 2024. Dans les années à venir, la Direction de l’évaluation continuera à :

• collaborer avec les responsables des politiques et des programmes afin de fournir en temps opportun des données probantes d’évaluation visant à éclairer les décideurs
• intégrer des méthodes innovantes à ses activités et aux services qu’elle fournit au Ministère et à d’autres intervenants, à la mesure des impacts des programmes d’EDSC ainsi qu’à la diffusion des résultats
• intégrer et explorer des façons d’améliorer les méthodes d’analyse et de collecte de données de l’analyse comparative entre les sexes plus lors de la réalisation d’activités d’évaluation quantitatives et qualitatives, afin de soutenir les efforts du Ministère pour lutter contre les disparités et les inégalités systémiques
• mobiliser des experts du milieu universitaire sur les meilleurs façons de mener des évaluations pour permettre aux évaluateurs d’EDSC d’adopter des pratiques exemplaires auprès d’autres administrations, ministères et disciplines
• collaborer avec ses homologues fédéraux pour renforcer la fonction d’évaluation au sein du gouvernement

Introduction

Objet du plan

L’objectif de ce plan est d’aider l’administrateur général en assurant la disponibilité en temps opportun d’une information factuelle et neutre sur les programmes et les services du Ministère. Cette information favorise la prise de décisions fondées sur des données probantes et aide à tenir les Canadiens au courant des résultats ministériels. Le plan sert également à assurer la transparence du processus décisionnel dans la fonction d’évaluation ainsi qu’à souligner les priorités et les décisions en matière de couverture.

Ce plan quinquennal continu, exigé en vertu de la Politique sur les résultats du Conseil du Trésor, s’appuie sur un exercice de planification annuel qui détermine le calendrier des évaluations individuelles en fonction des besoins, des risques et des priorités du Ministère.

À cette fin, la Direction de l’évaluation est responsable de l’élaboration et de la mise en œuvre du Plan d’évaluation ministériel. Cela comprend :

• l’examen de diverses sources d’information pour déterminer toutes les évaluations obligatoires et évaluer la couverture des programmes
• la consultation des responsables des programmes, des principaux comités internes et du Secrétariat du Conseil du Trésor du Canada
• l’évaluation des risques, lorsqu’il s’agit de décider du calendrier et de l’ordre des évaluations futures, en accordant la priorité aux évaluations obligatoires et à celles qui sont le plus susceptibles d’éclairer les décisions majeures en matière de politiques et de programmes
• la confirmation de l’établissement des priorités et l’obtention de l’approbation finale de l’administrateur général
• le suivi et l’adaptation à l’évolution du contexte ainsi que de l’environnement ministériels

L’annexe 1 fournit de plus amples informations sur le processus de planification de l’évaluation.

Contexte ministériel

Le mandat d’EDSC est de bâtir un Canada plus fort et plus inclusif afin d’aider les Canadiens à :

• les aider à mener une vie productive et gratifiante
• améliorer leur qualité de vie

À cette fin, le Ministère offre une gamme de programmes et de services qui touchent les Canadiens de partout au pays tout au long de leur vie. Le portefeuille du Ministère comprend : (1) EDSC, (2) le Programme du travail et (3) Service Canada.

1. EDSC offre une gamme de programmes et de services qui aident les Canadiens. Par exemple, le Ministère garantit aux aînés un revenu de base, soutient les travailleurs sans emploi tout en les aidant à retourner au travail, aide les étudiants à financer leurs études postsecondaires ainsi que leur transition vers le marché du travail, et appuie les parents qui élèvent de jeunes enfants. Le Ministère aide également les personnes en situation de handicap et leurs familles.
2. Le Programme du travail favorise les milieux de travail sécuritaires, sains, équitables et inclusifs et des relations de travail coopératives au sein de l’administration fédérale.
3. Service Canada sert de point d’accès unique pour certains des programmes et des services gouvernementaux les plus importants et les plus connus. Cela inclut le Régime d’assurance-emploi, la Sécurité de la vieillesse, le Régime de pensions du Canada, le numéro d’assurance sociale et le Programme de passeports.

Les dépenses d’EDSC au titre des programmes et des services totalisent 252,3 milliards de dollars pour l’exercice financier de 2020 à 2021. Plus de 95 % des dépenses ministérielles ont profité directement à la population canadienne par l’entremise de l’assurance-emploi, du Régime de pensions du Canada, de la Sécurité de la vieillesse, des Prestations canadiennes d’urgence et d’autres programmes de paiements de transfert législatifs^{Notes de bas de page 1}.

Au cours de l’exercice financier de 2021 à 2022, EDSC a continué à fournir un soutien aux Canadiens confrontés à des difficultés en raison de la pandémie mondiale de COVID-19. Plus particulièrement, le Ministère a offert aux Canadiens une gamme de prestations temporaires de relance économique liées à la COVID-19 (par exemple, la Prestation canadienne de la relance économique, la Prestation canadienne de maladie pour la relance économique et la Prestation canadienne de la relance économique pour proches aidants et la Prestation canadienne pour les travailleurs en cas de confinement). Le Ministère a également mis en œuvre de nouvelles mesures pour soutenir l’apprentissage et la garde des jeunes enfants, soutenir les jeunes, et a aidé les Canadiens à acquérir les compétences de base nécessaires pour réussir dans l’économie d’aujourd’hui.

Mandat de la Direction de l’évaluation

La Direction de l’évaluation a pour mandat d’évaluer la pertinence et le rendement des programmes, des politiques, des initiatives et des services ministériels. La Direction influence la conception des politiques et des programmes au moyen d’analyses rigoureuses et de données probantes présentées dans les rapports d’évaluation, ainsi que dans les rapports techniques, les synthèses ou études complémentaires. Dans ce contexte, la Direction travaille avec les responsables des programmes et des cadres supérieurs sur le processus d’évaluation à l’aide d’une approche inclusive en matière de gouvernance (Annexe 2).

La Direction de l’évaluation soutient les responsables des programmes à toutes les étapes du cycle de vie des programmes et des politiques :

• Au stade initial, les responsables utilisent les évaluations pour éclairer la conception et l’élaboration de nouveaux programmes et de nouvelles politiques
• À l’étape de la mise en œuvre, les responsables utilisent les recommandations découlant de l’évaluation pour orienter les ajustements ou le renouvellement des programmes
• À mesure qu’un programme ou une politique arrive à maturité ou tire à sa fin, les responsables peuvent tirer des enseignements des évaluations pour orienter l’élaboration de nouveaux programmes ou de nouvelles politiques

À l’occasion, la Direction de l’évaluation conseille les responsables des programmes dans l’élaboration des réponses aux recommandations formulées dans les rapports finaux. En dernier lieu, la Direction effectue un suivi des progrès réalisés dans la mise en œuvre des plans d’action. Cette approche favorise un système d’amélioration continue tout au long du cycle des programmes et des politiques.

Réalisations de l’exercice 2021 à 2022

Alors que les activités d’évaluation ont continué à être façonnées par la pandémie de COVID-19, l’équipe d’évaluation a réussi à obtenir l’approbation du Comité de la mesure du rendement et de l’évaluation (CMRE) pour les rapports d’évaluation, a offert différents produits et services d’évaluation pour répondre aux besoins d’information du Ministère et a contribué à l’amélioration des programmes et des services.

Appuyer des décisions fondées sur des données probantes

La Direction de l’évaluation a influencé et appuyé le processus décisionnel du Ministère fondé sur des données probantes en :

• produisant 10 rapports d’évaluation et 40 études techniques en soutien aux responsables des programmes, ainsi que le Rapport de contrôle et d’évaluation de l’assurance-emploi de 2019 à 2020
• collaborant avec les provinces et les territoires, de manière bilatérale et multilatérale, à l’évaluation des Ententes sur le développement du marché du travail et des Ententes sur le développement de la main-d’œuvre, afin de produire 49 études techniques supplémentaires
• fournissant des avis sur 37 présentations au Conseil du Trésor et sur 6 mémoires au Cabinet pour éclairer l’élaboration de politiques et de programmes
• intégrant des approches novatrices et des techniques de pointe dans les méthodologies d’évaluation d’impact et d’analyse coûts-bénéfice afin de répondre aux questions en matière de politiques
• fournissant des données d’évaluation fiables en temps opportun pour soutenir les décisions relatives aux politiques et aux programmes du marché du travail, comme les données probantes concernant les résultats en matière d’emploi des participants du programme ententes sur le développement de la main-d'œuvre avant et pendant la pandémie de COVID-19
• collaborant avec les responsables des programmes et d’autres groupes au sein du Ministère, y compris le Bureau de la dirigeante principale des données, afin d’optimiser la disponibilité et la collecte de données pouvant servir à l’évaluation
• obtenant des examens rigoureux par les pairs de tous les résultats d’évaluation, ainsi que sur les méthodologies d’évaluation utilisées par la Direction^{Notes de bas de page 2}

Diffusion et participation

De 2021 à 2022, la Direction de l’évaluation a continué de diffuser des connaissances et à collaborer avec des partenaires à l’intérieur et à l’extérieur du gouvernement fédéral. Ces activités comprenaient le partage de connaissances au moyen de publications, de présentations et d’activités de mobilisation. À cette fin, la Direction a donné 15 présentations virtuelles lors de 10 conférences et événement nationaux et internationaux, notamment :

• 7 présentations à la conférence de l’Association canadienne d’économique portant sur la méthodologie utilisée et les principaux résultats de plusieurs évaluations, notamment : les impacts différentiels des ententes sur le développement du marché du travail, une analyse des prestations d’assurance-emploi et de la qualité du jumelage-emploi, ainsi que l’intégration des données du Programme des travailleurs étrangers temporaires dans la Base de données canadienne sur la dynamique employeurs-employés
• 4 présentations à la conférence de la Société canadienne d’évaluation, portant sur divers sujets liés à la façon de concevoir l’évaluation d’un projet pilote, d’exploiter les résultats des méthodes qualitatives pour évaluer l’efficacité du programme, de tirer parti de l’analytique Web comme stratégie de collecte de données et de promouvoir l’utilisation des résultats de l’évaluation en utilisant diverses stratégies de diffusion

La Direction de l’évaluation a également :

• publié 2 rapports techniques relatifs aux programmes du marché du travail pour les personnes en situation de handicap et les Autochtones
• collaboré avec d’autres ministères fédéraux ou gouvernements provinciaux et territoriaux sur 6 évaluations, y compris celles menées par EDSC ou d’autres ministères fédéraux
• collaboré avec l’Organisation de coopération et de développement économiques sur un projet qui mettra en évidence la manière dont certains pays, comme le Canada, mettent à profit les données administratives pour soutenir l’évaluation des impacts. Le rapport devrait être publié en 2022
• renforcé et élargit son réseau avec le milieu universitaire afin d’examiner de nouvelles manières de collaborer et de diffuser les connaissances
• participé à des discussions fédérales-provinciales-territoriales sur les résultats de diverses études et les meilleures pratiques pour concevoir des programmes et les mettre en œuvre (par exemple. partenariats du marché du travail, recherche et innovation)
• collaboré avec le Bureau de la dirigeante principale des données afin d’échanger davantage de données pertinentes dans l’ensemble du gouvernement fédéral
• travaillé horizontalement avec le Secrétariat du Conseil du Trésor du Canada et d’autres chefs de l’évaluation fédéraux

Agir en tant que conseiller de confiance

Au cours de l’exercice 2021-2022, la Direction de l'évaluation a continué à fournir des conseils fiables aux responsables des programmes et à la haute direction. La Direction y est parvenue en faisant ce qui suit :

• fournir des conseils sur des éléments associés à l’évaluation et la révision de 15 profils d’information sur le rendement
• transmettre des études techniques et des évaluations aux concepteurs de politiques à l’échelle du Ministère pour contribuer à l’analyse des politiques et aux améliorations des programmes
• fournir des conseils et des orientations pour améliorer l’utilisation de la collecte et de l’analyse des données de l’ACS+ afin d’appuyer l’évaluation des inégalités et de déterminer si divers groupes sont bien servis par nos programmes
• participer aux activités de consultation sur la conception et la prestation des programmes faisant suite aux études d’évaluation, en réponse aux demandes des provinces et des territoires
• collaborer à l’élaboration du projet de cadre stratégique pour les services aux populations marginalisées et ayant un accès limité aux services

La Direction de l’évaluation a également continué à soutenir les commissaires de l’assurance-emploi représentant les employeurs et les travailleurs en examinant les questions relatives au marché du travail et en soutenant les travaux du Comité consultatif chargé du Rapport de contrôle et d’évaluation. Plus particulièrement, la Direction a collaboré avec la Direction de la politique de l’assurance-emploi pour :

• formuler des commentaires et une analyse de données en vue de la rédaction annuelle du Rapport de contrôle et d’évaluation de l’assurance-emploi
• produire des études complémentaires pour étayer le rapport (le plan comprend des études complémentaires et des analyses internes – la liste est disponible dans le Rapport de contrôle et d’évaluation)
• préparer un plan de travail annuel avec les membres du Comité consultatif chargé du Rapport de contrôle et d’évaluation
• coordonner l’appel de propositions d’études et classer les travaux par ordre de priorité pour le plan de travail pour l’exercice de 2021 à 2022

Étant donné la portée et les objectifs uniques de chaque prestation d’assurance-emploi, le programme d’assurance-emploi fait également l’objet d’un certain nombre d’évaluations.

Chaque année, la Direction de l’évaluation soumet aux responsables des programmes un questionnaire à la suite des évaluations. De 2021 à 2022, la majorité des répondants étaient d’accord pour dire que :

• l’évaluation contenait des constatations et des conclusions valides, et fondées sur des données probantes
• les recommandations étaient réalistes et applicables
• les rapports étaient rédigés clairement
• les évaluateurs ont toujours fait preuve de professionnalisme en termes de compétence, d’objectivité et de connaissances

Les évaluateurs s’efforcent d’aborder les domaines où la Direction a obtenu une note moins élevée, notamment en accordant aux responsables suffisamment de temps pour préparer la documentation requise pour l’évaluation et en démontrant une bonne compréhension de l’environnement opérationnel du programme.

Faire progresser les approches novatrices et l’analyse comparative entre les sexes plus (ACS+)

De 2021 à 2022, la Direction a poursuivi des pratiques novatrices afin de mieux estimer l’impact des programmes sur des sous-groupes particuliers et diffuser les résultats pour éclairer les décisions. Nombre de ces pratiques renforcent la collecte et l’analyse des données de l’ACS+.

L’intégration de l’ACS+ plus dans les évaluations peut aider à identifier les obstacles auxquels se heurtent les populations mal desservies et défavorisées pour accéder aux programmes et aux services, ainsi que les lacunes en matière de données.

Par exemple, l’évaluation des ententes sur le développement de la main-d’œuvre a fourni des données probantes tirées de la documentation et des fournisseurs de services sur les programmes et les services, ainsi que sur les mesures de soutien supplémentaires qui peuvent aider des sous-groupes spécifiques de participants à s’intégrer au marché du travail, notamment les personnes en situation de handicap, les travailleurs âgés, les jeunes, les Autochtones, les bénéficiaires de l’aide sociale et les nouveaux arrivants.

Les travaux de la Direction dans ce domaine comprenaient également :

• la tenue de groupes d’experts virtuels pour l’évaluation du Fonds pour l’accessibilité en utilisant une approche axée sur l’utilisation et l’équité. La Direction a organisé 3 groupes d’experts, chacun d’entre eux se concentrant sur un thème lié à l’accessibilité pour un groupe d’âge particulier, à savoir les jeunes, les adultes et les aînés
• l’utilisation d’algorithmes novateurs d’apprentissage automatique causal (comme la méthode de forêt causale modifiée) afin d’apprendre comment les participants de divers groupes démographiques bénéficient différemment des programmes du marché du travail et ce qui fonctionne pour chacun
• la promotion de l’élaboration d’un cadre méthodologique qualitatif pour l’ACS+ dans l’ensemble des secteurs de programme
• l’élargissement du modèle coûts-bénéfice afin de mieux tenir compte des avantages liés à une plus forte participation au marché du travail associée à certaines prestations d’emploi et mesures de soutien, sur les dépenses publiques de soins de santé

De plus, les efforts du Ministère, dirigés par le Bureau de la dirigeante principale des données, en étroite collaboration avec Statistique Canada, ont ouvert la voie à l’intégration des données administratives (par exemple, les Prestations canadiennes d’urgence) et des données d’enquêtes complémentaires de Statistique Canada. L’intégration des données administratives et des données d’enquêtes est un développement important qui permet de mener des activités d’analyse des politiques, de recherche et d’évaluation plus utiles et plus pertinentes dans une perspective d’ACS+.

L’ensemble de ces récents développements permettra également de mieux documenter et contextualiser la contribution des programmes et des services ministériels à la progression des objectifs en matière de développement durable.

Champ d’application des évaluations de 2021 à 2022

De 2021 à 2022, la Direction de l’évaluation a complété les 10 évaluations prévues, y compris celles exigées en vertu de la Loi sur la gestion des finances publiques et de la Politique sur les résultats^{Notes de bas de page 3}.

En collaboration avec les responsables des programmes, la Direction a élaboré 9 études d’évaluabilité et 3 stratégies d’évaluation de 2021 à 2022. Ces documents décrivent les options d’évaluation d’un programme ou d’un service donné et contiennent des informations sur la portée, la méthodologie et l’échéancier d’un projet d’évaluation.

Le CMRE est chargé d’examiner et d’approuver ces documents.

Tableau 1 : Rapports d’évaluation pour l’exercice 2021 à 2022 approuvés par le l’administrateur général

Consultations

La Direction de l’évaluation a mené son processus annuel de consultation pour ce plan en novembre 2021 afin de déterminer les grandes priorités d’évaluation, les besoins en matière de données probantes et le calendrier des évaluations futures. Des responsables de programmes et des fonctionnaires ayant une expertise spécialisée (par exemple, le chef de la mesure du rendement, les divisions de recherche du Ministère, le Bureau de la dirigeante principale des données et les services d'audit interne) ont participé aux discussions.

Les consultations de 2021 ont souligné la nécessité de :

• prendre en considération les contraintes de capacité des programmes et réduire la charge qui leur est imposée
• assurer la complémentarité des activités de surveillance (par exemple, les audits)
• examiner soigneusement le calendrier et la portée des évaluations proposées afin d’optimiser leur utilité et leur valeur
• déterminer les leçons retenues des mesures récemment mises en place afin d’éclairer la conception des politiques et des programmes futurs
• tirer parti des liens entre les activités d’évaluation et de recherche pour éclairer les projets d'évaluation, en particulier dans le domaine de la prestation de services

À l’aide des informations obtenues lors des consultations, la Direction a modifié le plan proposé pour 2020-2021 à la lumière des nouvelles priorités et des développements en matière de politiques. Dans le cadre de ces consultations, la Direction a indiqué qu’elle continuera à :

• développer d’autres approches pour mesurer l’impact des programmes sur les groupes marginalisés
• préciser la portée des évaluations afin de mieux répondre aux besoins des programmes ou de s’adapter aux changements de ceux-ci
• assurer la liaison avec les secteurs de programme et le chef de la mesure du rendement afin de se tenir au courant des changements dans les profils d’information sur le rendement pour assurer la pertinence des politiques et la collecte de données appropriées pour les évaluations

De plus, les séances de consultation ont facilité la collaboration entre les différents groupes du Ministère qui sont impliqués dans les données afin d’accroître la disponibilité et l’intégration des données au sein du Ministère. Le processus de planification de l’évaluation comprenait également des consultations avec des fonctionnaires du Secrétariat du Conseil du Trésor du Canada entreprises en février 2022.

Évaluation des risques

Une fois que les évaluations obligatoires ont été inscrites au calendrier, la Direction envisage la réalisation d’évaluations discrétionnaires en se basant sur une analyse des risques, des besoins et des priorités. Plus précisément, la Direction de l’évaluation examine les :

• risques liés au programme (par exemple, la taille de la population touchée ou ciblée par le programme, les lacunes dans les connaissances relatives au programme)
• risques ministériels recensés dans le profil de risque organisationnel
• contraintes en matière de capacité interne, comme la disponibilité du personnel

Cette approche multifactorielle et multi-niveaux garantit que les évaluateurs prennent en considération les points de vue des principaux partenaires et intervenants et des risques internes. La direction prend en compte les principaux risques organisationnels pour le ministère, y compris le plan d’audit axé sur les risques. Dans les situations où les calendriers d’audit et d’évaluation se chevauchent pour un même programme, la Direction de l’évaluation collabore avec les services d’audit interne pour assurer la complémentarité des activités d’audit et d’évaluation. Cela permet d’examiner de manière efficiente le rendement et les résultats.

Défis et possibilités

Le Plan est également fondé sur une analyse de l’environnement dans lequel la Direction de l’évaluation mène ses opérations. Cela inclut la qualité et la disponibilité des données du programme et l’incidence du contexte opérationnel (par exemple, COVID-19).

Qualité des données et des mesures de rendement à l’appui des évaluations

Les évaluations effectuées par la Direction dépendent de données opportunes et de qualité pour produire des preuves utiles. Les évaluateurs utilisent l’information sur la mesure du rendement, et d’autres données, pour déterminer la pertinence des programmes et des services, ainsi que pour savoir s’ils permettent l’optimisation des ressources. Les évaluateurs ont également besoin d’un meilleur accès aux données administratives pour être en mesure d’améliorer l’ACS+ pour certains programmes.

La stratégie de données d’EDSC, y compris l'avancement d'une stratégie de données conjointe EDSC-Statistique Canada, soutient la mise en œuvre du plan d'évaluation ministériel. La Direction de l'évaluation travaille étroitement avec le Bureau de la dirigeante principale des données d’EDSC pour assurer l'harmonisation avec la stratégie ainsi que la collaboration sur les possibilités de maximiser la capacité de tirer parti des données et des analyses à des fins d'évaluation.

La Direction de l’évaluation appuie le chef de la mesure du rendement du Ministère dans le développement de la mesure du rendement et des pratiques de collecte de données dans l’ensemble du Ministère. Plus particulièrement, les évaluateurs conseillent le CMRE, le chef de la mesure du rendement et les responsables des programmes sur la qualité de l’information sur le rendement dans les Profils d’information sur le rendement et de leur utilité pour soutenir les évaluations. Ces profils décrivent l’approche de la mesure du rendement pour chacun des programmes d’EDSC.

Il est nécessaire, au sein du Ministère, d’améliorer l’accès aux sources de données externes et aux fichiers de données intégrés, conformément aux principes des données ouvertes. Lorsque les données sont disponibles en temps opportun, elles peuvent être exploitées plus efficacement. Cela permettra, ultimement, d’améliorer les politiques et la prestation de services.

La Direction de l’évaluation travaille en étroite collaboration avec des partenaires internes et externes afin de renforcer la capacité de notre Ministère en matière de données grâce à un meilleur accès et à une meilleure intégration des données d’enquêtes et administratives. Parmi les exemples récents, citons l’intégration du Programme des travailleurs étrangers temporaires ainsi que de la base de données sur l’apprentissage aux bases de données de Statistique Canada, et le développement de la plateforme de données du Programme du marché du travail en collaboration avec le Bureau de la dirigeante principale des données.

De plus les évaluateurs examinent soigneusement les questions relatives aux données lorsqu’ils élaborent les plans d’évaluation des programmes. Les études de l’évaluabilité ou les stratégies d’évaluation comprennent un examen des renseignements sur le rendement des programmes et de la qualité des données soutenant les indicateurs de rendement. Lorsque des lacunes dans les données qui pourraient entraver une évaluation sont relevées, les évaluateurs travaillent avec les responsables pour trouver des approches visant à atténuer ces difficultés.

Défis liés à la pandémie de COVID-19

La Direction de l’évaluation a fait face à des défis particuliers liés à la pandémie, notamment l’indisponibilité temporaire de données en raison de la fermeture d’installations, l’adaptation aux méthodes de collecte de données virtuelles, l’intégration des mesures contre la COVID-19 dans les évaluations en cours, et les défis liés à l’évaluation des mesures à court terme. Ces défis représentaient également une occasion de continuer à progresser vers une fonction d’évaluation plus agile.

Capacité des ressources humaines

De 2021 à 2022, la Direction de l’évaluation comptait 70,78 équivalents temps plein. Pour répondre aux demandes de capacité à court terme, la Direction de l’évaluation a recours à des outils de dotation souples, comme l’embauche d’étudiants, d’employés occasionnels et de consultants afin de combler des lacunes précises en matière de capacité.

Affectation des ressources

En 2022 à 2023, le budget d’évaluation demeure essentiellement le même par rapport à l’exercice 2021 à 2022. Le montant prévu pour les dépenses salariales pour l’exercice 2022 à 2023 est de 6,20 M$, et le montant prévu pour le fonctionnement et l’entretien est de 1,50 M$. La Direction continuera de se concentrer sur la prestation de conseils et la planification des évaluations de programmes et services nouveaux ou modifiés, en plus d’entreprendre les évaluations initialement prévues. Elle gérera ses ressources avec prudence et demeurera souple pour s’assurer qu’elle est en mesure de composer avec les changements potentiels liés à la pandémie à court terme.

Figure 1. Dépenses annuelles de la Direction en millions de dollars ($)

Aller de l’avant

La Direction prévoit réaliser 15 évaluations de 2022 à 2023 et 9 évaluations de 2023 à 2024.

Dans les années à venir, la Direction de l’évaluation continuera à :

• collaborer avec les responsables des politiques et des programmes afin de fournir en temps opportun des données d’évaluation pour informer les décideurs
• intégrer des méthodes innovantes à ses activités et aux services qu’elle fournit au Ministère et aux autres intervenants, pour la mesure de l’impact des programmes d’EDSC ainsi qu’à la diffusion des résultats
• intégrer et explorer les moyens d’améliorer les méthodes d’examen et de collecte de données de l’analyse comparative entre les sexes plus lors de la réalisation d’activités d’évaluation quantitative et qualitative, afin de soutenir les efforts du Ministère pour lutter contre les disparités et les inégalités systémiques
• mobiliser des experts du milieu universitaire sur la meilleure façon de mener des évaluations pour permettre aux évaluateurs d’EDSC d’adopter des pratiques exemplaires auprès d’autres administrations, ministères et secteurs d’activité
• collaborer avec ses homologues fédéraux pour renforcer la fonction d’évaluation au sein du gouvernement

Ce document fournit un tableau de couverture de l’évaluation dans l’annexe 3. Le tableau démontre que la Direction se conformera à toutes les exigences de couverture du Secrétariat du Conseil du Trésor du Canada, de la Politique sur les résultats et de la Loi sur la gestion des finances publiques. Cela s’ajoute à la réalisation des évaluations discrétionnaires désignées comme prioritaires par le Ministère. La Direction de l’évaluation utilisera la marge de manœuvre prévue dans la Politique sur les résultats pour prioriser les évaluations de programmes.

Les programmes de subventions et de contributions dont les dépenses réelles moyennes sur 5 ans ne sont pas égales ou supérieures à 5 M$ par année ne sont pas tenus d’être évalués tous les 5 ans. Ces programmes comprennent les suivants :

• Allocation canadienne aux parents de jeunes victimes de crimes
• Objectifs de développement durable
• Métiers spécialisés et apprentissage (programme du Sceau rouge)
• Initiative Accessibilité Canada
• Programme stratégique de mobilisation des partenaires et de recherche

Annexe 1 – Processus de planification des évaluations

Aperçu du cycle de planification des activités d’évaluation d’EDSC

Le cycle de planification des activités d’évaluation d’EDSC et une approche inclusive à la planification et à la gouvernance qui est conforme, avec les exigences du Secrétariat du Conseil du Trésor du Canada (SCT).

La Direction de l’évaluation d’EDSC recueille et analyse continuellement des renseignements factuels pour étayer le Plan d’évaluation ministériel tout en collaborant et en échangeant les connaissances avec les principaux partenaires internes et externespour refléter le cycle de planification continu. Ce cycle comprend 5 domaines, qui sont décrits ci-dessous.

1. Recueillir de l’information pour comprendre l’environnement de l’évaluation

Les facteurs comprennent :

• Mandat dépenses de programmes et priorités du Ministère
• Lettres de mandat
• Budget le plus récent
• Cadre ministériel des résultats
• Profil de risque ministérel
• Exigences relatives à la Loi sur la gestion des finances publiques (LGFP) et aux présentations au SCT
• Ressources en matière d’évaluation
• Défis et possibilités (disponibilité et qualité des données, plan des services d’audit)

2. Consulter et mobiliser pour comprendre les besoins et les préoccupations des partenaires

Consulter les principaux partenaires, notamment :

• Haute direction du Ministère
• Personnel de gestion des programmes
• Organismes centraux
• Services d’audit interne d’EDSC
• Dirigeante principale des données
• Chef de la mesure du rendement
• Divisions de la recherche du Ministère
• Autres ministères et organismes
• Comités de travail et de surveillance

3. Analyser pour équilibrer les besoins, les ressources et les exigences obligatoires

Prioriser les projets d’évaluation en gardant à l’esprit :

• Exigences obligatoires selon la Loi sur la gestion des finances publiques et la Politique sur les résultats
• Présentations au SCT, mémoires au Cabinet et autres exigences législatives
• Risques, priorités, gesoins et préoccupations du Ministère
• Risques propres aux programmes
• Projets des Services d’audit (et d’autres fonctions de surveillance)
• Équilibre des efforts et des ressources disponibles

4. Obtenir l’approbation* pour valider les priorités

Les principaux partenaires, sont les suivants :

• Haute direction du Ministère
• Services d’audit interne d’EDSC
• Dirigeante principale des données
• Chef de la mesure du rendement
• Fonction de recherche du Ministère
• Comité de la mesure du rendement et de l’évaluation

*L’administrateur général fournit l’approbation finale

5. Communiquer, mettre en œuvre et surveiller pour assurer la transparence

Les mesures nécessaires pour expliquer les changements et s’adapter à l’environnement changeant :

• Partager le plan au SCT
• Rendre le plan public
• Surveiller les progrès et ajuster les priorités, la portée et les échéanciers, au besoin
• Administrer un questionnaire aux responsables des programmes à la suite des évaluations afin de mesurer le rendement de la Direction
• Rende compte des évaluations terminées dans le plan subséquent

Annexe 2 – Gouvernance de l’évaluation

Comité de la mesure du rendement et de l’évaluation

Composé de partenaires de la haute direction d’EDSC, dont le chef de l’évaluation.

• Approuve le plan d’évaluation ministériel.
• Examine les rapports d’évaluation, y compris les réponses de la direction.
• Approuve les études de l’évaluabilité et les stratégies d’évaluation.
• Discute du suivi des plans d’action.

Comité consultatif de l’évaluation

Composé d’intervenants d’EDSC et/ou d’autres ministères et organismes, tels que le secteur de programmes du SCT et le ministère des Finances du Canada (directeurs généraux et échelons inférieurs).

• Détermine les options de la portée des évaluations.
• Discute des constatations préliminaires.
• Contribue au rapport final.

Groupe de travail chargé de l’évaluation

Composé de partenaires d’EDSC (directeurs et échelons inférieurs).

• Se concentre sur les aspects techniques.
• Effectue la collecte et l’analyse de données.
• Contribue au rapport préliminaire.

Annexe 3 –Tableau du champ d’application annuel prévu