Plan d'évaluation ministériel de 2020 et 2021 à 2024 et 2025

Principales réalisations

Au cours de l'exercice financier 2019 à 2020, la Direction a grandement contribué à l'innovation des programmes d'EDSC, a continué de mettre au point des approches et des méthodologies novatrices pour concevoir et effectuer ses évaluations. Elle a également contribué à éclairer la prise de décisions, elle a échangé des connaissances avec les responsables des programmes et a renforcé son rôle de conseiller de confiance. Voici plusieurs réalisations importantes de l'année :

Défis

La Direction de l'évaluation a désigné la capacité des ressources humaines ainsi que l'accessibilité et la qualité des données comme ses deux principaux défis. Pour relever les défis liés à la capacité des ressources humaines, la Direction de l'évaluation recrute des employés hautement qualifiés, facilite le perfectionnement des habiletés et des compétences des employés et améliore les programmes de reconnaissance des employés.

La Direction répondra à la demande prévue à l'aide d'un investissement continu dans sa main-d'œuvre et sa capacité et de l'adoption de méthodes et d'outils novateurs.

La capacité de recueillir, de produire et d'analyser efficacement les données est fondamentale à l'évaluation des programmes. Afin d'atténuer les risques associés à l'accessibilité et à la qualité des données et des renseignements sur la mesure du rendement, la Direction continuera de soutenir les efforts du chef de la mesure du rendement et de la dirigeante principale des données en offrant des conseils sur la qualité des données aux responsables des programmes. La Direction tirera aussi parti de la plateforme de données sur le marché du travail pour appuyer les évaluations des programmes liés au marché du travail.

Un autre défi concerne l'accessibilité des données nécessaires à la réalisation d'une analyse comparative entre les sexes plus (ACS+) pour des groupes socioéconomiques précis. Bien que les données administratives contiennent des renseignements sur un certain nombre de facteurs d'identité (p. ex. sexe, âge, niveau de scolarité, milieu rural ou urbain, familles avec enfants, personnes handicapées) qui aident à faciliter ce niveau d'analyse, elles ne comprennent généralement pas les renseignements nécessaires à l'examen des facteurs d'identité, tels que l'appartenance aux communautés racialisées et LGTBQ2+. Par conséquent, la Direction continuera de soutenir le Ministère en examinant de nouvelles méthodes de collecte de renseignements sur le rendement des programmes pour permettre une ACS+ élargie.

À la suite de l'éclosion de la pandémie de COVID-19 au printemps 2020, le rôle du Ministère en ce qui a trait au soutien des Canadiennes et des Canadiens a été élargi afin de comprendre une gamme de prestations et de mesures d'urgence, telles que la Prestation canadienne d'urgence, la Prestation canadienne d'urgence pour les étudiants et un investissement de 350 millions de dollars visant à appuyer le secteur à but non lucratif à l'égard de la prestation de services essentiels aux personnes dans le besoin. Dans ce contexte, la Direction apporte plusieurs ajustements à ses travaux d'évaluation, notamment les suivants :

• Atténuation du risque de transmission du virus pour les évaluateurs, les conseillers, les principaux informateurs et les partenaires par la réalisation d'entrevues et de sondages virtuels, s'il y a lieu
• Reconnaissance des limites potentielles de la qualité des données provenant des entrevues et des sondages virtuels, par exemple de faibles taux de réponse, et du risque accru de biais de rappel attribuables à la crise sanitaire et à ses conséquences
• Communication avec les réseaux d'évaluation pour cerner et adopter des approches novatrices en matière de réalisation d'évaluations, y compris l'utilisation de nouvelles plateformes de communication, telles que Teams et Webex
• Utilisation des sources de données existantes qui n'ont pas été touchées par la crise, y compris les données administratives, qui sont abondantes et intégrées
• Prise en considération de la façon dont les données recueillies à la suite de l'éclosion de COVID-19 présenteront des différences contextuelles par rapport aux données recueillies avant la pandémie

En plus des changements apportés aux travaux d'évaluation dans le cadre de la pandémie de COVID-19, d'autres modifications à la planification de l'évaluation seront requises au cours des prochains mois, en consultation avec les partenaires :

• Redéfinir la portée de certaines évaluations en cours et prévues, à la lumière des limites observées concernant certaines sources de données et modifications aux programmes existants en réaction à la pandémie
• Poursuivre les travaux concernant l'évaluation de nouvelles initiatives importantes liées à la COVID-19
• Rajuster l'affectation des ressources et du plan en fonction de nouvelles priorités du nouvel environnement

Prochaines étapes

Au cours des cinq prochaines années, la fonction d'évaluation d'EDSC continuera de chercher des façons de mieux appuyer la prise de décisions fondées sur des données probantes et de respecter ses obligations, en vertu de la Loi sur la gestion des finances publiques et de la Politique sur les résultats du SCT. Le prochain exercice financier comprendra plusieurs domaines prioritaires en matière d'évaluation. Les examens des programmes liés au marché du travail seront axés sur les répercussions différentielles de la participation au programme (à l'aide de l'apprentissage machine). Les évaluations des programmes d'apprentissage seront axées sur l'effet de ces programmes sur l'épargne-études, ainsi que l'accès à l'éducation et l'accessibilité de celle-ci. Les efforts relatifs aux programmes de sécurité du revenu se concentreront sur les stratégies d'amélioration des services en cours.

Tirant parti des récentes évaluations, la Direction accordera plus d'importance à l'analyse des répercussions des programmes du point de vue de l'ACS+, en mettant l'accent sur les groupes marginalisés (p. ex. les communautés racialisées), si les renseignements le permettent. La Direction de l'évaluation continuera d'appuyer les efforts du Ministère visant à moderniser sa façon de recueillir et d'utiliser les données afin de prendre des décisions éclairées fondées sur les données probantes et d'améliorer les programmes et les services offerts à la population canadienne.

Plus particulièrement, au cours des deux prochaines années, EDSC accordera la priorité à l'analyse des programmes liés au marché du travail destiné aux chômeurs, aux jeunes marginalisés, aux Autochtones, aux étudiants et aux personnes handicapées, en s'appuyant sur la perspective de l'ACS+. Cette analyse intégrera une optique axée sur la diversité lorsque les renseignements le permettront.

En outre, des plans seront élaborés pour évaluer les nouvelles initiatives d'EDSC créées en raison de la COVID-19. Les évaluateurs accorderont une importance particulière à la définition, à la collecte et à l'analyse des données disponibles sur les répercussions des initiatives d'EDSC liées à la COVID-19 sur les Autochtones, les communautés racialisées et d'autres groupes marginalisés. La Direction continuera de travailler horizontalement avec d'autres ministères du gouvernement afin d'échanger des pratiques exemplaires relatives à la planification et à la réalisation d'évaluations pendant et après la pandémie.

Objet du rapport

Afin de respecter la Politique sur les résultats du SCT, EDSC doit préparer et publier chaque année un plan quinquennal d'évaluation ministériel^{Note de bas de page 3} L'objectif de ce plan est d'aider l'administratrice générale à s'assurer que de l'information factuelle et neutre sur les programmes du Ministère est disponible en temps opportun, de façon à ce qu'il soit possible de prendre des décisions fondées sur des éléments probants et d'étayer les résultats pour la population canadienne.

Les assouplissements accrus fournis en vertu de la Politique ont accentué la nécessité d'une planification judicieuse. Le calendrier et la portée des évaluations sont déterminés en consultation avec les responsables des programmes et les organismes centraux, en fonction des besoins, des risques et des priorités. Le plan sert également à garantir la transparence du processus décisionnel de la fonction d'évaluation et à souligner les priorités du programme et les décisions relatives à la portée.

Contexte ministériel

Le mandat d'Emploi et Développement social Canada est de bâtir un Canada plus fort et plus concurrentiel, d'aider les Canadiens à faire les choix qui leur permettront de mener une vie productive et gratifiante et d'améliorer leur qualité de vie. Le portefeuille du Ministère comprend Emploi et Développement social Canada, le Programme du travail et Service Canada.

• EDSC fournit une gamme de programmes et de services qui touchent les Canadiens tout au long de leur vie. Par exemple, il fournit aux aînés une sécurité de revenu de base, il soutient les travailleurs sans emploi, il aide les étudiants à financer leurs études postsecondaires et il appuie les parents de jeunes enfants
• Le Programme du travail favorise la création de milieux de travail sûrs, sains, équitables et inclusifs et de relations de travail coopératives au sein de l'administration fédérale
• Service Canada sert de point d'accès unique pour certains des programmes et des services gouvernementaux les plus importants et les plus connus, tels que le régime d'assurance-emploi, la Sécurité de la vieillesse (SV), le Régime de pensions du Canada (RPC), le numéro d'assurance sociale et les passeports

Le Ministère dépense plus de 130 milliards de dollars par année^{Note de bas de page 4} pour les programmes et les services, et environ 94 p. 100 de cette somme bénéficie directement aux Canadiens, grâce à des programmes de paiements de transfert législatifs, notamment : l'assurance-emploi, le RPC et la SV. De plus, le Ministère administre des prestations d'emploi et des mesures de soutien qui comprennent d'importants transferts aux provinces et aux territoires. Il offre ses services en ligne, par téléphone et par l'intermédiaire d'un réseau régional comptant plus de 590 centres de services en personne.

Les plus récentes lettres de mandat des quatre ministres d'EDSC, publiées en décembre 2019, présentent une orientation précise sur la façon dont les objectifs du Ministère doivent être mis de l'avant. Les lettres mettent l'accent sur l'importance de la prise de décisions axées sur les données probantes qui tiennent compte de la perspective de l'ACS+, et qui abordent le recoupement entre le sexe et les facteurs socioéconomiques. Le premier ministre dirige également trois ministres pour orienter EDSC d'une façon qui renforce l'« ouverture, l'efficacité et la transparence au sein du gouvernement » et qui améliore la relation unique et fondamentale entre le gouvernement du Canada et les peuples autochtones.

La pandémie mondiale de COVID-19 a incité le gouvernement du Canada à rapidement élaborer et rajuster une vaste gamme de programmes pour aider la population canadienne durant la crise. EDSC a grandement participé à ces développements, y compris la création de programmes entièrement nouveaux, tels que la Prestation canadienne d'urgence et la Prestation canadienne d'urgence pour les étudiants. Le Ministère a élargi de nombreux programmes existants pour les adapter à la réalité changeante de la population canadienne, notamment en allégeant les règles concernant le remboursement des dettes pour les clients du Programme canadien de prêts aux étudiants, en investissant dans des ressources supplémentaires pour soutenir les personnes itinérantes ou à risque de le devenir, ainsi qu'en suspendant la période d'attente applicable aux prestations de maladie de l'assurance-emploi et en accélérant le versement des paiements aux demandeurs admissibles.

La Direction de l'évaluation adapte sa façon de travailler en vue de réaliser des évaluations dans un contexte complexe et en évolution. Les évaluateurs discutent des changements possibles à la conception des évaluations et ils appuient le chef de la mesure du rendement et les responsables des programmes dans leurs efforts pour préparer des stratégies de mesure du rendement pour de nouvelles initiatives.

La fonction d'évaluation d'EDSC soutient les objectifs du Ministère, y compris le contexte des mesures prises au fédéral en raison de la pandémie, en réalisant la collecte et l'analyse neutres de données probantes, en vue d'examiner la pertinence, l'efficacité et l'efficience des programmes et des services du Ministère. Les résultats de ces travaux sont publiés dans des rapports d'évaluation pour renseigner les Canadiens et aider les responsables des programmes et la haute direction d'EDSC à prendre des décisions judicieuses. La fonction d'évaluation du Ministère soutient également les objectifs généraux du gouvernement pour «  établir une culture axée sur l'évaluation, la mesure des résultats et la prise de décisions fondées sur des données probantes dans la conception et la mise en œuvre des programmes^{Note de bas de page 5} ».

Les programmes et services d'EDSC touchent la vie des Canadiens partout au pays; ils doivent donc être conçus de manière à répondre aux divers besoins de l'ensemble des Canadiens. En mettant en place une plus grande capacité d'analyse de la conception et de la mise en œuvre des politiques, des programmes et des évaluations au moyen de la perspective de l'ACS+, le Ministère travaille à bâtir un Canada plus fort et plus inclusif et veille à ce que tous les segments de la population jouissent d'un accès équitable aux programmes et aux services.

Mandate

La fonction d'évaluation collabore avec les responsables des programmes du Ministère pour appuyer la prise de décisions fondées sur des données probantes et veiller à ce que les responsables des programmes et les membres de la haute direction participent à la conception et à la réalisation des évaluations. La Direction encourage les partenaires de programmes à formuler des commentaires sur le processus d'évaluation à l'aide d'une approche inclusive en matière de gouvernance (annexe A2). Cette approche aide à fournir des renseignements pertinents aux responsables des programmes en temps opportun, faisant en sorte que la Direction de l'évaluation demeure un conseiller de confiance au sein du Ministère.

Les interactions de la Direction de l'évaluation avec les responsables des programmes interviennent tout au long du cycle de vie des programmes et des politiques. Dès les premières étapes, les évaluations peuvent éclairer la conception et l'élaboration de nouveaux programmes et de nouvelles politiques. Pendant l'étape de mise en œuvre, des rapports provisoires et des évaluations par étapes peuvent permettre de présenter des recommandations, soutenues par des données et des renseignements, qui orientent les rajustements et le renouvellement des programmes. Au fur et à mesure qu'un programme ou une politique prend de la maturité, se termine ou évolue davantage pour répondre aux besoins, les évaluations fournissent des enseignements qui peuvent orienter l'élaboration des prochains programmes ou des prochaines politiques.

La Direction de l'évaluation conseille les responsables des programmes sur l'élaboration de leur réponse de gestion et leurs plans d'action en abordant les recommandations en matière d'évaluation sur plusieurs plans : plan stratégique, ministériel et conceptuel et sur le plan de la mise en œuvre. En assurant le suivi de l'état d'avancement de ces plans d'action, la Direction de l'évaluation contribue à veiller à ce qu'un système d'amélioration continue soit en place tout au long du cycle d'évaluation.

Appui à la prise de décisions fondées sur des données probantes

• Achèvement de 9 rapports d'évaluation, 52 études techniques et 1 évaluation visant à soutenir les responsables des programmes et les décideurs
• Conseils prodigués sur 31 présentations au Conseil du Trésor et 3 mémoires au Cabinet pour veiller à ce que les résultats des évaluations soient pris en compte dans le processus décisionnel du gouvernement
• Élargissement de la plateforme de données sur les programmes du marché du travail pour réaliser l'analyse des incidences nettes des évaluations à l'aide de données administratives provenant des programmes destinés aux jeunes et aux Autochtones

Échange de connaissances au moyen de la diffusion et de la mobilisation

• Diffusion de données probantes et d'innovations dans le cadre de plus de 15 exposés lors de conférences et d'ateliers nationaux et internationaux
• Publication de 9 rapports et augmentation de leur caractère repérable par appareil mobile et prolongation de leur période de conservation en ligne (10 ans)
• Réorganisation de la page Web de la Direction de l'évaluation et promotion des évaluations dans les médias sociaux

Élargissement du rôle de conseiller de confiance

• Conseils prodigués au chef de la mesure du rendement concernant 19 profils d'information sur le rendement pour améliorer leur qualité
• Soutien offert aux commissaires de l'assurance-emploi du Canada représentant les travailleurs et les employeurs, en examinant les enjeux liés au marché du travail au moyen d'évaluations, d'études supplémentaires et d'analyses internes

Appui à la prise de décisions fondées sur des données probantes

La fonction d'évaluation a influencé et soutenu la prise de décisions judicieuses à EDSC en faisant ce qui suit :

• Elle a produit 38 documents et les a présentés au Comité de la mesure du rendement et de l'évaluation (CMRE) présidé par le sous-ministre et chargé d'examiner et d'approuver les activités de mesure du rendement et d'évaluation. Ces documents comprenaient neuf rapports d'évaluation, quatre évaluations horizontales, une évaluation, une étude technique et huit éléments d'information
• Elle a prodigué des conseils sur 31 présentations au Conseil du Trésor et sur trois mémoires au Cabinet pour éclairer l'élaboration de politiques et de programmes
• Depuis son lancement à l'automne 2018, la plateforme de données sur les programmes du marché du travail de la Direction de l'évaluation est devenue une source essentielle de renseignements pour le Ministère. Elle offre de nouveaux renseignements valides sur les répercussions à long terme des programmes d'EDSC liés au marché du travail, permettant aux responsables des programmes de saisir les possibilités d'amélioration et de tirer parti des succès clés. La plateforme a offert des renseignements importants sur la façon dont les Canadiens issus de divers groupes socioéconomiques peuvent être touchés différemment par les politiques, les programmes et les initiatives du Ministère. En 2019 à 2020, la Direction de l'évaluation a apporté plusieurs améliorations à la plateforme de données, notamment les suivantes :
  • L'ajout de nouveaux indicateurs pour mesurer les derniers résultats, et l'intégration des données d'autres programmes liés au marché du travail destiné aux jeunes, aux Autochtones et aux personnes handicapées
  • L'offre aux responsables des programmes d'un accès à la plateforme pour réaliser une analyse des politiques contribuant au rapport annuel de contrôle et d'évaluation du régime d'assurance-emploi
  • L'accroissement de l'utilité de la plateforme concernant la mise en œuvre de techniques et d'algorithmes axés sur les données, par exemple l'apprentissage machine

Diffusion et mobilisation

En plus de produire et de publier neuf rapports d'évaluation en ligne en 2019 à 2020, la Direction de l'évaluation a produit un certain nombre d'autres documents, tels que des rapports techniques, des résumés d'une page, des synthèses de leçons apprises, ainsi que des exposés lors de conférences et des études complémentaires. Dans l'esprit du gouvernement ouvert, la Direction de l'évaluation a mieux fait connaître ses produits et les a rendus plus accessibles, et a rejoint un public plus large en utilisant différents modes de diffusion. Ces activités ont touché cinq domaines clés :

Rôle de conseiller de confiance

Au cours de l'exercice 2019 à 2020, la Direction de l'évaluation a continué d'agir comme conseiller de confiance auprès des responsables des programmes et de la haute direction :

• Elle a soutenu le chef de la mesure du rendement, qui dirige l'examen continu des profils d'information sur le rendement ministériel en prodiguant des conseils aux responsables des programmes sur la mesure du rendement de 19 programmes d'EDSC.
• Elle a offert un soutien aux commissaires de l'assurance-emploi du Canada représentant les travailleurs et les employeurs en examinant les enjeux liés au marché du travail et en élaborant huit études supplémentaires à partir du plan de travail de 2018 à 2019 et a soutenu les travaux du Comité consultatif chargé du rapport de contrôle.
• Elle a collaboré avec la Direction générale de l'apprentissage concernant l'évaluation des mesures d'Action Compétences du Programme canadien de prêts aux étudiants afin que des conseils appropriés sur les étapes à suivre puissent être formulés. L'évaluation a permis d'examiner les incidences de ces mesures sur la décision des participants de retourner aux études et sur leurs études.
• Elle a obtenu des examens rigoureux par les pairs de tous ses résultats d'évaluation, ainsi que sur ses méthodes d'évaluation. Cette approche constitue une pratique exemplaire internationale et permet d'assurer l'exactitude des évaluations.
• Elle a maintenu sa participation aux activités du groupe de travail sur la mesure du rendement du Forum des ministres du marché du travail, au moyen d'avis concernant la stratégie de mesure du rendement et l'échange de données entre les gouvernements fédéral, provinciaux et territoriaux à l'appui des activités d'évaluation.
• Elle a coordonné l'achèvement de huit études supplémentaires de 2018 à 2019 et en a diffusé les résultats par différents modes lorsque ces résultats devaient servir de source de données pour l'évaluation d'un programme. À l'avenir, la Direction de l'évaluation dirigera l'achèvement de trois études supplémentaires liées aux résultats suivant la présentation de la demande de prestations.

Les travaux de la Direction sur les mesures liées à la COVID-19 font partie d'un effort global déployé par la Direction générale des politiques stratégiques et de service du Ministère pour aider les responsables des programmes à faire face à la crise. Plus particulièrement, les évaluateurs offrent des conseils sur les initiatives ministérielles visant à aider le secteur sans but lucratif à surmonter la crise sanitaire mondiale. Les évaluateurs soutiennent également les efforts du Ministère visant à maintenir les mesures d'intégrité, en offrant des conseils sur l'efficacité et l'efficience des nouveaux systèmes mis en place en raison de la COVID-19.

La Direction continuera de soutenir les efforts des secteurs responsables des programmes et des politiques visant à recueillir les données nécessaires à la réalisation d'une analyse plus détaillée des répercussions des programmes sur les populations canadiennes racialisées et d'autres groupes marginalisés, au moyen de la perspective de l'ACS+.

La Direction de l'évaluation collabore avec le Direction de la politique de l'assurance‑emploi afin de formuler des commentaires et une analyse de données en vue de la préparation du rapport annuel de contrôle et d'évaluation. Les programmes d'assurance-emploi sont évalués plus fréquemment que d'autres programmes législatifs en raison de l'envergure et des objectifs uniques de chaque prestation d'assurance‑emploi (c.-à-d. prestations régulières, prestations pour travailleurs saisonniers, prestations de maladie, prestations de maternité ou prestations parentales, prestations de pêcheur) et des projets pilotes liés à l'assurance-emploi (projets pilotes ciblés pour les industries saisonnières dans 13 régions du Canada).

Les deux directions travaillent en collaboration avec les membres du Comité consultatif chargé du rapport de contrôle afin de préparer un plan de travail annuel qui comprend des études supplémentaires et une analyse interne s'appuyant sur les commentaires et l'orientation des commissaires de l'assurance-emploi du Canada représentant les travailleurs et les employeurs. La liste des études et des analyses est accessible à l'adresse (https://www.canada.ca/fr/emploi-developpement-social/programmes/assurance-emploi/ae-liste/rapports/controle2018.html).

La Direction de l'évaluation fait passer un questionnaire post-évaluation à la suite de l'approbation des rapports par le Comité de la mesure du rendement et de l'évaluation. Le questionnaire offre aux responsables des programmes faisant l'objet d'une évaluation la possibilité de noter et de commenter le processus, le niveau de collaboration ainsi que la qualité, l'utilité et le caractère opportun de l'évaluation. Grâce aux commentaires reçus dans le cadre de ce processus, la Direction de l'évaluation peut cerner les points forts et les points à améliorer.

Approches novatrices

Comme composante centrale du contexte de l'innovation des programmes d'EDSC, la Direction de l'évaluation a recours à des méthodes et à des outils avancés afin de développer une base de données probantes pour l'élaboration de politiques et de programmes. Au cours de l'exercice 2019 à 2020, la Direction de l'évaluation a adopté plusieurs pratiques novatrices pour mieux évaluer les répercussions des programmes, diffuser les résultats pour éclairer la prise de décisions, et elle a mis à l'essai de nouvelles approches. Mentionnons notamment :

• La mobilisation des responsables des programmes afin qu'ils participent activement au processus d'évaluation en contribuant à l'élaboration de sources de données et l'intégration de ces responsables à la Direction de l'évaluation pour permettre le transfert de connaissances
• La convocation de deux groupes d'experts comme sources de données en vue d'une évaluation du Programme de reconnaissance des titres de compétences étrangers, qui fait la promotion de l'inclusion et qui aide les immigrants et les réfugiés à intégrer le marché du travail canadien. Les groupes étaient composés d'experts (deux universitaires et un représentant d'une organisation non gouvernementale) ayant participé à l'étude des enjeux de la reconnaissance des titres de compétences étrangers ou ayant observé ces enjeux « sur le terrain », afin d'assurer une utilisation équilibrée des renseignements et de l'expertise sur le programme
• La collaboration avec le laboratoire de l'innovation d'EDSC, qui applique des approches de réflexion contextuelle à l'amélioration des programmes et des services du Ministère afin de cerner les obstacles à l'inscription au Supplément de revenu garanti parmi les Canadiens admissibles
• La collaboration avec divers ministères fédéraux pour contribuer aux rapports d'évaluations horizontales, telles que l'évaluation du Programme de passeport, qui nécessitait la collaboration entre EDSC, Affaires mondiales Canada et Immigration, Réfugiés et Citoyenneté Canada
• La préparation d'un effort de vérification et d'évaluation conjoint de la Stratégie d'amélioration des services de la Sécurité de la vieillesse (SV) en coopération avec la Direction générale de la vérification interne d'EDSC. Ce partenariat entraînera une évaluation solide tout en réduisant les demandes pour des ressources concernant le domaine du programme
• La poursuite de l'élaboration de la plateforme de données sur les programmes du marché du travail, qui est reconnue tant à l'échelle nationale qu'à l'échelle internationale comme une pratique exemplaire novatrice en matière de mesure du rendement des programmes liés au marché du travail et d'évaluation de l'incidence nette des programmes liés au marché du travail destiné aux jeunes et aux Autochtones
• Le renforcement de la capacité d'EDSC à mesurer l'incidence de la Subvention incitative aux apprentis et du Programme des travailleurs étrangers temporaires sur le marché du travail canadien, en produisant des ensembles de données qui combinent différentes sources de données administratives. Ces ensembles de données ont été rendus accessibles à Statistique Canada, permettant aux gouvernements provinciaux et territoriaux de prendre des décisions plus éclairées concernant la recherche et les programmes liés au marché du travail. Ces travaux ont été entrepris en collaboration avec Statistique Canada, le bureau de la dirigeante principale des données d'EDSC et les responsables des programmes
• L'élaboration d'un processus plus efficace pour rationaliser la production de rapports sur les plans d'action, qui a été communiqué par le SCT du Canada à titre de pratique exemplaire

Résultats

Grâce aux neuf évaluations effectuées en 2019 à 2020, la Direction a mesuré les résultats touchant les cinq principales responsabilités ministérielles. Voici un aperçu de certains résultats tirés de ces évaluations :

Souplesse accrue

En vertu de la Politique sur les résultats, les programmes permanents de subventions et de contributions dont les dépenses réelles moyennes sur cinq ans sont inférieures à cinq millions de dollars par année ne sont pas assujettis à l'exigence de la Loi sur la gestion des finances publiques concernant l'examen de la pertinence et de l'efficacité du programme. Cette exemption s'applique à deux programmes, soit le Programme de financement des objectifs de développement durable et l'Allocation canadienne aux parents de jeunes victimes de crimes.

Consultations

Dans le cadre de la planification des évaluations, la Direction de l'évaluation a entamé des discussions stratégiques avec des agents ministériels et des responsables de programmes et de politiques pour s'assurer que les données probantes et les besoins opérationnels ont été pris en compte.

D'octobre 2019 à février 2020, la Direction a mené des consultations auprès des responsables des programmes afin de discuter des besoins en évaluation ainsi que du champ d'application et des échéanciers des évaluations au cours des cinq prochaines années. Plusieurs préoccupations et thèmes communs ont été relevés au cours des séances de consultation, notamment le désir que les récentes modifications à la politique des programmes soient intégrées aux évaluations à venir, la possibilité de regrouper les programmes ou les sous-programmes en une évaluation, de manière à accroître l'efficience des évaluations, et la difficulté de mesurer la capacité des bénéficiaires du financement des programmes en ce qui a trait aux programmes de subventions et de contributions. Les autres sujets abordés concernaient notamment les défis liés à la collecte de données des programmes, l'amélioration de la mesure du rendement des programmes et l'application efficace de la perspective de l'ACS+ aux évaluations.

Les consultations ont également permis à la Direction et à d'autres unités d'EDSC de cerner de nouvelles possibilités de collaboration, y compris une vérification/évaluation conjointe de la Sécurité de la vieillesse, qui sera entreprise en coopération avec la Direction générale de la vérification interne et qui se terminera en 2022 à 2023.

Le processus de planification des évaluations comportait également des consultations avec le SCT dans le cadre desquelles des conseils des organismes centraux ont été dispensés sur les priorités et les besoins liés à la fonction d'évaluation. Les consultations tenues en janvier 2020 ont relevé la nécessité d'incorporer les éléments probants de l'évaluation dans les documents décisionnels, y compris dans les présentations au Conseil du Trésor et dans les mémoires au Cabinet. Ces éléments probants peuvent être une combinaison de recherches, d'études techniques ou de résultats d'évaluation pour éclairer l'élaboration ou l'examen des programmes.

Soucieux de renforcer le processus décisionnel fondé sur des données probantes et forts des conseils de la Direction de l'évaluation, les responsables des programmes continuent d'améliorer la qualité des profils d'information sur le rendement. Par ailleurs, la Direction de l'évaluation continue de collaborer avec les chercheurs du Ministère pour coordonner les activités et cerner les possibilités de collaboration. La Direction de l'évaluation continue aussi de chercher des moyens par lesquels les premiers constats tirés des évaluations en cours peuvent être intégrés dans la prise de décisions relatives aux programmes et aux politiques et l'éclairer, contribuant ainsi aux présentations au Conseil du Trésor et aux mémoires au Cabinet.

La Direction a communiqué avec les responsables des programmes du Ministère pour discuter des modifications potentielles au calendrier d'évaluation d'EDSC, rendues nécessaires en raison de la pandémie. La prochaine discussion avec les représentants sera axée sur les rajustements au calendrier, au champ d'application et aux méthodes de différentes évaluations afin de tenir compte de l'évolution des priorités et des besoins des secteurs de programmes.

Évaluation des risques

L'exercice d'évaluation des risques examine les caractéristiques d'un programme qui contribuent au risque global de ce programme, aux risques ministériels recensés dans le profil de risque organisationnel et aux risques propres à la Direction de l'évaluation. En intégrant une approche à plusieurs niveaux pour la détermination des risques, la Direction de l'évaluation s'assure que les points de vue des principaux partenaires de programme, de même que les risques internes sont pris en compte.

Les caractéristiques d'un programme servent également à titre d'approximation de l'exposition aux risques pendant l'exercice de planification de l'évaluation. Parmi les caractéristiques qui sont prises en considération dans les premières étapes de la planification de l'évaluation, mentionnons les suivantes :

• La taille de la population touchée ou visée par le programme
• L'importance du programme (p. ex. sa valeur)
• La complexité du programme
• Le temps qui s'est écoulé depuis la dernière évaluation
• L'importance des changements apportés au programme depuis l'évaluation précédente
• Les lacunes en matière de connaissances en ce qui a trait au programme

Les risques propres à chaque évaluation sont davantage pris en compte dans les évaluations de l'évaluabilité afin qu'ils soient cernés avant le début d'une évaluation. Ces évaluations de l'évaluabilité tiennent compte des risques limités, comme ceux qui sont associés à la surveillance des programmes, à la disponibilité des données et à l'application des constatations des évaluations antérieures. L'évaluation de l'évaluabilité, qui survient tôt dans le processus d'évaluation, suppose l'examen des éléments essentiels de l'évaluation. Elle met en évidence le temps et la portée en fonction des contraintes en matière de ressources, de l'accessibilité et de la qualité des données et des questions d'intérêt fondamentales touchant l'évaluation pour les partenaires de programme. Elle est préparée en collaboration avec les responsables des programmes et soumise à l'approbation du CMRE.

Les principaux risques ministériels d'EDSC sont également pris en compte lors de la planification des évaluations discrétionnaires, et cette démarche inclut un examen du plan de vérification ministériel axé sur les risques. En réalisant ces travaux, la Direction veille à ce que les calendriers de vérification et d'évaluation soient harmonisés afin de réduire le chevauchement ou le fardeau sur les programmes. Dans des situations où les calendriers de vérification et d'évaluation se chevauchent pour le même programme, la Direction de l'évaluation peut établir un partenariat avec la Direction générale de la vérification interne afin de réaliser une vérification/évaluation conjointe dans le but d'examiner de manière efficiente le rendement et les résultats. En 2020 à 2021, la Direction entreprendra des travaux sur une vérification/évaluation conjointe de la Stratégie d'amélioration des services de la Sécurité de la vieillesse, de concert avec les vérificateurs du Ministère. Une telle collaboration permet de garantir une évaluation globale de la pertinence et de l'efficacité des processus de contrôle d'un ministère (champ d'application de la vérification), et une évaluation de la pertinence et de la rentabilité d'un programme (champ d'application de l'évaluation). Cette approche permet également de réduire une partie du fardeau administratif du programme.

Défi 1 : Capacité des ressources humaines

La Direction répond par différentes mesures :

• Elle déploie des efforts pour améliorer le matériel promotionnel et le recrutement associés à la fonction d'évaluation.
• Elle échange avec le personnel pour favoriser un milieu de travail positif et sain.
• Elle soutient le perfectionnement professionnel du personnel à l'égard de ce qui suit :
  • Certifications de la Société canadienne d'évaluation
  • Formation sur les compétences liées aux données
  • Présentations de conférences
• Mesures de dotation souples :
  • Recrutement d'étudiants/de diplômés postsecondaires
  • Dotation collective
  • Employés occasionnels
  • Experts-conseil

Défi 2 : Qualité des données et mesures de rendement d'EDSC à l'appui des évaluations

La Direction répond par différentes mesures :

• En collaboration avec le chef de la mesure du rendement, prodigue de conseils aux responsables des programmes et au Comité de la mesure du rendement et de l'évaluation au sujet de la qualité et de l'utilité des profils d'information sur le rendement à l'appui des activités d'évaluation
• Évaluation des données et des indicateurs de rendement dans le cadre d'évaluations de l'évaluabilité
• Élargissement de la plateforme de données sur le marché du travail pour améliorer les données, l'analyse et les mesures de rendement des programmes connexes
• Administration de sondages visant à soutenir les mesures

Capacité des ressources humaines

La nature du travail effectué au sein de la Direction de l'évaluation exige le recrutement, le perfectionnement et le maintien en poste continus d'employés hautement qualifiés. La Direction a aussi besoin de compétences spécialisées pour analyser et communiquer des sources complexes de données quantitatives et qualitatives et en faire la synthèse afin de fournir les conseils de qualité sur lesquels compte le Ministère pour élaborer de manière efficace une politique et des programmes, en vue de mieux servir les Canadiens.

La Direction de l'évaluation prend plusieurs mesures visant à améliorer le recrutement et la rétention des employés et déploie des efforts à l'échelle du gouvernement pour améliorer les documents promotionnels et le recrutement. Elle soutient les processus de dotation collective au sein du gouvernement pour faire en sorte qu'il y ait un apport continu de nouveaux candidats ayant les compétences adéquates, grâce à un processus d'embauche simplifié. De plus, la Direction de l'évaluation soutient la création du Réseau des nouveaux évaluateurs, un groupe informel d'évaluateurs de l'ensemble du gouvernement qui se réunissent pour discuter de questions importantes pour la communauté de l'évaluation.

En harmonisant sa vision avec celle du gouvernement du Canada dans Au-delà de 2020, la Direction de l'évaluation s'assure d'avoir une main-d'œuvre souple, inclusive et outillée pour relever les défis ministériels. Afin de répondre à la demande sur le plan des capacités à court terme, la Direction de l'évaluation a recours à des outils de dotation souples, comme

l'embauche d'étudiants, d'employés occasionnels et de consultants. En outre, un certain nombre de fonctionnaires à la retraite ont été embauchés pour une période temporaire afin de combler des lacunes précises en matière de capacité.

Les sondages passés ont révélé que les employés de la Direction de l'évaluation reçoivent la formation dont ils ont besoin. La Direction de l'évaluation met en œuvre d'autres programmes de gestion des talents. Par exemple :

• Elle continue d'avoir recours aux ententes de rendement, aux plans d'apprentissage et aux plans de gestion des talents pour appuyer le perfectionnement du personnel
• Elle veille à ce que les membres de l'équipe comprennent les compétences qui sont nécessaires pour l'emploi qu'ils occupent et ceux auxquels ils pourraient aspirer
• Elle met en œuvre des stratégies visant à améliorer la maîtrise de la langue seconde pour appuyer la capacité bilingue et la promotion d'un personnel expérimenté

Afin de promouvoir davantage le perfectionnement professionnel des employés, la Direction de l'évaluation soutient l'adhésion de 26 employés à la Société canadienne d'évaluation, dont 11 ont été accrédités comme « évaluateur qualifié » par la Société. La Direction de l'évaluation

contribue aussi au perfectionnement professionnel des employés en organisant régulièrement des séances de formation interne et en les outillant afin qu'ils puissent relever les défis liés à l'évolution de la profession et de la main-d'œuvre.

D'anciens sondages indiquent que les employés de la Direction de l'évaluation tirent satisfaction de leur travail et qu'ils croient obtenir une reconnaissance importante pour un travail bien fait. En plus de tirer parti de la souplesse offerte par la Politique sur les résultats pour répondre à ces préoccupations, la Direction de l'évaluation continuera de mettre l'accent sur la création d'un milieu de travail sain pour les membres de son équipe en offrant de la formation, du soutien et des possibilités de dialogue ouvert.

En 2019 à 2020, la direction s'est entretenue avec le personnel afin de renforcer et d'améliorer le milieu de travail en faisant ce qui suit :

• Continuer de souligner et de reconnaître les réalisations
• Gérer et ordonner par priorité les flux opérationnels
• Encourager le personnel à élargir ses compétences en présentant son travail à des intervenants internes et externes
• Inviter des observateurs aux réunions de hauts fonctionnaires
• Veiller à ce que les analystes soient présents lorsque leurs dossiers font l'objet de discussions

En 2019, la Direction a lancé son initiative en matière de santé, de bien-être et d'écologisation du milieu de travail, sous la forme d'une campagne dirigée par les employés invitant les évaluateurs et le personnel à organiser davantage d'activités sociales faisant la promotion du travail d'équipe et du bien-être et à participer à ces activités. L'initiative fait également la promotion de pratiques bénéfiques pour l'environnement, par exemple le transport écologique, des conditions de travail plus souples et l'économie d'énergie dans le milieu de travail.

La Direction de l'évaluation soutient pleinement la santé mentale en milieu de travail et a contribué de façon significative à l'élaboration d'un cadre en matière de santé mentale pour le Ministère. Le maintien de la priorité accordée à la santé mentale des employés est essentiel, non seulement pour encourager une discussion franche au quotidien sur les questions qui concernent les gens, mais également pour s'assurer que la direction est au courant de ce qui se passe et est en mesure de soutenir les employés de façon efficace.

En raison de la pandémie et des fermetures de bureaux connexes, la Direction de l'évaluation tire parti d'outils novateurs pour veiller à ce que son personnel soit en mesure de s'adapter à un environnement en constante évolution. Une série de formations virtuelles en ligne permet une communication et une collaboration continues avec les membres de l'équipe. Plusieurs membres de la Direction se proposent aussi pour contribuer aux activités essentielles du Ministère.

Qualité des données et des mesures de rendement à l'appui des évaluations

Les évaluations effectuées par la Direction de l'évaluation dépendent fortement de la disponibilité de données de qualité. Les évaluateurs utilisent l'information sur la mesure du rendement pour déterminer la pertinence et l'optimisation des ressources et, à l'occasion, évaluer la façon dont on met en œuvre un programme.

En collaboration avec le chef de la mesure du rendement et conformément à la Politique sur les résultats, la Direction de l'évaluation conseille le CMRE et les responsables des programmes sur la disponibilité, la qualité, la validité et la fiabilité des indicateurs dans le Cadre ministériel des résultats. Elle le fait également pour le profil d'information sur le rendement de chaque programme en ce qui concerne leur utilité pour appuyer les évaluations. Des responsables des programmes partout au sein du Ministère élaborent, mettent à jour et mettent en œuvre les profils d'information sur le rendement pour tous les programmes existants et nouveaux à l'appui des évaluations. Ils mettent également à jour et en œuvre les profils d'information sur le rendement pour tous les programmes existants et nouveaux faisant partie du répertoire des programmes du Ministère.

La Direction de l'évaluation a grandement amélioré les données et l'analyse des programmes concernant le marché du travail, et a permis d'améliorer l'attribution des résultats aux activités de programme. La plateforme de données sur les programmes du marché du travail a soutenu plusieurs évaluations liées aux Ententes sur le développement du marché du travail. Ces études ont abordé des questions touchant les programmes et les politiques qui sont importantes pour EDSC et les provinces et les territoires qui ont la responsabilité d'assurer les interventions en vertu de ces ententes. Au cours de l'exercice 2019 à 2020, la Direction de l'évaluation a tiré parti de la plateforme de données et étendra l'analyse d'impacts nets aux programmes du marché du travail des jeunes et des Autochtones.

Les évaluations de l'évaluabilité et les stratégies d'évaluation comprennent un examen des renseignements sur le rendement des programmes. Les évaluations les plus récentes ont offert des preuves de la contribution des activités des programmes aux résultats souhaités, rendues possibles par l'accès à d'abondantes données administratives. Il s'agit d'une amélioration par rapport aux années antérieures alors que les évaluations d'EDSC se limitaient souvent à documenter les intrants et les extrants. La Direction de l'évaluation poursuit sa collaboration avec divers partenaires pour soutenir la compilation continue des données et la maturité du programme de mesure du rendement. Bien que la pandémie puisse rendre plus difficile la collecte de nouvelles données visant à soutenir les évaluations, la direction prendra des mesures d'atténuation en collaboration avec les responsables des programmes.

Un autre défi concerne l'accessibilité des données nécessaires à la réalisation d'une analyse comparative entre les sexes plus (ACS+) pour des groupes socioéconomiques précis. Bien

que les données administratives contiennent des renseignements sur un certain nombre de facteurs d'identité divers (p. ex. le sexe, l'âge, le niveau de scolarité, le milieu de vie [rural/urbain], les familles avec enfants et les personnes handicapées) qui facilite ce niveau d'analyse, elles ne comprennent généralement pas les renseignements nécessaires à l'examen des facteurs d'identité tels que l'appartenance aux communautés racialisées et LGTBQ2+. Par conséquent, la Direction continuera de soutenir le Ministère en examinant les nouvelles méthodes de collecte de renseignements sur le rendement des programmes pour permettre une ACS+ élargie.

Comité de la mesure du rendement et de l'évaluation

Composé de partenaires de la haute direction d'EDSC, dont le chef de l'évaluation.

• Approuve le plan d'évaluation ministériel
• Examine les rapports d'évaluation, y compris les réponses de la direction
• Approuve les évaluations de l'évaluabilité
• Discute du suivi des plans d'action

Comité consultatif de l'évaluation

Composé d'intervenants d'EDSC et d'autres ministères et organismes, tels que le secteur de programmes du SCT et le ministère des Finances du Canada (directeurs généraux et échelons inférieurs).

• Détermine les options de la portée des évaluations
• Discute des constatations préliminaires.
• Contribue au rapport final

Groupe de travail chargé de l'évaluation

Composé de partenaires d'EDSC (directeurs et échelons inférieurs).

• Se concentre sur les aspects techniques
• Effectue la collecte et l'analyse de données
• Contribue au rapport préliminaire

Gouvernance des résultats : rôles et responsabilités

Le dirigeant principal des résultats et de l'exécution est la principale personne-ressource de l'Unité des résultats et de l'exécution du Bureau du Conseil privé; il détermine les grandes priorités ministérielles pour étayer le programme du gouvernement en matière de résultats. Il agit à titre de principal agent de changement pour le Ministère et s'assure qu'un plan d'exécution, qu'une stratégie de mesure et des structures de rapport sont en place pour appuyer l'atteinte de ces priorités. Le chef de la mesure du rendement soutient le dirigeant principal des résultats et de l'exécution en appuyant la mesure du rendement et les rapports et en procédant à l'établissement, à la mise en œuvre et au maintien du Cadre ministériel des résultats, et en assurant la surveillance des profils d'information sur le rendement.

Les principales responsabilités du chef de l'évaluation sont d'évaluer les besoins ministériels, d'assurer la planification et la direction des évaluations ministérielles, et de produire des rapports connexes, d'appuyer l'utilisation de l'information sur le rendement et de communiquer à l'administrateur général les conclusions et les problèmes relatifs aux évaluations.

Le dirigeant principal des résultats et de l'exécution peut également compter sur le soutien du directeur général de la Politique stratégique horizontale, surtout pour ce qui est de mesurer les activités du gouvernement et leur incidence sur les Canadiens, et d'en rendre compte. Le directeur général dirige les éléments des priorités horizontales pour le gouvernement et le suivi des engagements figurant dans les lettres de mandat, y compris les progrès, les difficultés et les obstacles à leur réalisation.

La dirigeante principale des données d'EDSC dirige la mise en œuvre de la stratégie relative aux données d'entreprise du Ministère, y compris l'établissement des fondements en matière de données, comme la gouvernance et l'intendance des données. Ces fondements sont essentiels pour s'assurer que les utilisateurs des données possèdent les connaissances et le soutien nécessaires pour repérer et localiser les données et en tirer le maximum dans leur travail quotidien, et pour élaborer des indicateurs en vue d'appuyer la mesure du rendement, y compris les rapports du dirigeant principal des résultats et de l'exécution. Tous ces postes relèvent de la Direction générale des politiques stratégiques et de service d'EDSC.