Sélection de la langue

Gouvernement du Canada / Government of Canada

Recherche

Évaluation neutre de la fonction d’évaluation

Sur cette page

  1. Résumé
  2. Contexte de la mission
  3. Considérations
  4. Constatations
  5. Possibilités d’amélioration
  6. Recommandations
  7. Annexe A – Abréviations et sigles

Formats substituts

Évaluation neutre de la fonction d’évaluation [PDF - 381 Ko]

Les formats en gros caractères, braille, MP3 (audio), texte électronique, et DAISY sont disponibles sur demande en commandant en ligne ou en composant le 1 800 O-Canada (1-800-622-6232). Si vous utilisez un téléscripteur (ATS), composez le 1-800-926-9105.

1. Résumé

1.1 Objet

La Direction générale d’audit interne et gestion des risques d’entreprise d’Emploi et Développement social Canada (EDSC) a retenu les services de BDO Canada s.r.l./S.E.N.C.R.L. (BDO) à titre d’évaluateurs indépendants pour effectuer une évaluation neutre de la fonction d’évaluation conformément à la Politique sur les résultats de 2016 du Conseil du Trésor (CT) et à la Directive connexe (Politique de 2016).  

1.2 Méthodes

Pour effectuer cette évaluation, BDO a examiné un échantillon d’évaluations réalisées et de documents pertinents (p. ex., des documents d’orientation internes et des documents de planification), a mené des entrevues avec les membres du Comité de la mesure du rendement et de l’évaluation (CMRE), le chef de l’évaluation, le chef de la mesure du rendement, les sous-ministres adjoints (SMA), le sous-ministre (SM) et d’autres hauts fonctionnaires, et a mené un sondage auprès des membres du personnel d’évaluation occupant un poste de niveau inférieur à celui de gestionnaire.

1.3 Conformité aux éléments d’évaluation de la Politique de 2016 et de la Directive sur les résultats du Conseil du Trésor

La fonction d’évaluation d’EDSC se conforme généralement (cote maximale) aux exigences d’évaluation de la Politique de 2016.

1.4 Exécution des responsabilités du chef de l’évaluation

Le chef de l’évaluation s’acquitte de ses responsabilités conformément à la politique de 2016. Les rapports d’évaluation produits depuis 2018 satisfont aux exigences des politiques et aux normes de qualité du CT. La planification, la réalisation et la publication des évaluations sont conformes aux exigences de la Politique de 2016. Les rapports publiés sont de grande qualité, informatifs et bien rédigés. Ils examinent des questions importantes. La fonction d’évaluation a fourni des conseils spécialisés et a apporté une contribution précieuse aux outils et aux produits ministériels de mesure du rendement (MR). Le suivi des mesures approuvées par la direction pour donner suite aux recommandations est effectué avec rigueur. Il est ressorti de l’examen des documents que la fonction d’évaluation a mis en place d’un processus détaillé pour les plans d’action de la direction (PAD) afin de s’assurer qu’ils sont mis en œuvre et respectés. Par conséquent, une fois qu’un PAD est élaboré, un responsable de la réponse, des échéanciers et des résultats attendus du plan sont établis. L’état des PAD fait l’objet de suivis et est régulièrement déclaré au CMRE.

1.5 Utilité de la fonction d’évaluation

Il est ressorti de l’évaluation neutre que la fonction d’évaluation exécute son travail de manière neutre et professionnelle et appuie l’amélioration continue des programmes. Le personnel d’évaluation est compétent, qualifié et très apprécié des membres du CMRE. Les évaluations sont menées dans un esprit de collaboration afin de valider l’exactitude des constatations, des conclusions et des recommandations. Les rapports d’évaluation sont exhaustifs et démontrent les vastes connaissances et capacités de la fonction. La fonction d’évaluation fournit aux responsables de programme des conseils spécialisés sur la mesure du rendement des programmes et les évaluations antérieures, ainsi que sur les présentations au CT et à d’autres organismes centraux. La fonction d’évaluation a contribué à l’élaboration des politiques et des programmes.

Possibilités d’amélioration : BDO a cerné des améliorations pouvant être apportées à cette fonction d’évaluation performante. Ces opportunités concernent : la neutralité perçue de la fonction d'évaluation ; faciliter la réponse aux priorités ministérielles changeantes en intégrant plus de souplesse aux plans d'évaluation; appliquer un processus cohérent d’assurance qualité (examen par les pairs); et améliorer les processus de transfert des connaissances ministérielles pour soutenir l’adaptabilité de la fonction d’évaluation.

Recommandations :

  • Renforcer la neutralité perçue de la fonction d’évaluation.
  • Faciliter une réponse proactive aux priorités ministérielles en évolution.
  • Utiliser de façon uniforme un processus d’assurance de la qualité.
  • Améliorer les processus de transfert des connaissances organisationnelles.

2. Contexte de la mission

2.1 Raison d’être du rapport

La Politique sur les résultats de 2016 du Conseil du Trésor (CT) exige qu’une évaluation neutre de la fonction d’évaluation soit effectuée tous les 5 ans. Il s’agit de la deuxième évaluation neutre de la fonction d’évaluation d’Emploi et Développement social Canada (EDSC) en vertu de la Politique de 2016.

Le présent rapport vise à communiquer les résultats de l’évaluation neutre de la fonction d’évaluation.

2.2 Objectif et portée

La Direction générale d’audit interne et gestion des risques d’entreprise d’EDSC a retenu les services de BDO Canada s.r.l./S.E.N.C.R.L. pour effectuer l’évaluation neutre de la fonction d’évaluation du ministère. L’objectif de cette évaluation neutre était d’évaluer la conformité à la Politique sur les résultats de 2016 en mettant l’accent sur la qualité et l’utilisation, et de recommander des améliorations concernant la fonction d’évaluation, le cas échéant. L’évaluation a porté sur les éléments suivants :

  • La gouvernance de la fonction d’évaluation, qui englobe les responsabilités de l’administrateur général à l’égard de la fonction d’évaluation, le Comité de la mesure du rendement et de l’évaluation (CMRE) du ministère, et le chef de l’évaluation.
  • Les pratiques professionnelles de l’organisme d’évaluation, qui appuient la planification et l’exécution des travaux au niveau de la fonction, la planification, l’exécution et la production de rapports au niveau du projet, et la gestion de la fonction d’évaluation.
  • La surveillance et la déclaration du rendement concernant la fonction d’évaluation, afin d’assurer le respect des obligations annuelles et continues en matière de rapports.
  • Toute possibilité d’amélioration concernant la fonction d’évaluation d’EDSC.

L’évaluation s’est concentrée sur les éléments suivants associés à la politique de 2016. La portée de l’évaluation comprenait ce qui suit :

  • Le plan d’évaluation ministériel (PEM) quinquennal approuvé
  • Le fait que le CMRE, le chef de la mesure du rendement et le chef de l’évaluation aient accès aux renseignements ministériels nécessaires pour entreprendre les activités d’évaluation découlant de la Politique de 2016 et de ses instruments connexes
  • Un échantillon de rapports et de résumés d’évaluation, y compris des réponses de la direction et des plans d’action complets, sur les plateformes Web prescrites par le Secrétariat du Conseil du Trésor (SCT)

La portée de l’évaluation excluait les éléments déjà examinés dans les évaluations du Cadre de responsabilisation de gestion (CRG) et ceux qui sont en cours d’examen dans le cadre de l’audit de la mesure du rendement de la Direction générale d’audit interne et gestion des risques d’entreprise (DGAIGRE) (le cas échéant).

2.3 Méthodes

Au cours de la période de la mission allant de décembre 2022 à avril 2023, l’équipe de l’évaluation neutre a mené les activités suivantes :

  • Examen de documents internes, de rapports d’évaluation compris dans la portée de l’évaluation neutre, des exigences des politiques d’EDSC et du CT ainsi que d’autres instruments pertinents pour l’évaluation
  • Entrevues avec des membres du CMRE, des responsables de programme, le chef de l’évaluation, le chef de la mesure du rendement, des responsables de l’évaluation, des SMA, le sous-ministre (SM) et d’autres hauts fonctionnaires (32 personnes ont participé aux entrevues)
  • Sondage auprès des membres du personnel d’évaluation occupant un poste de niveau inférieur à celui de gestionnaire (41 personnes sur 48 [85 %] ont répondu au sondage)

La période examinée dans le cadre de l’évaluation neutre allait de l’exercice 2018-2019 à l’exercice 2022-2023. L’évaluation neutre a été exécutée conformément aux directives du SCT.

3. Éléments à prendre en compte

Changements apportés à l’ensemble des politiques du Conseil du Trésor et efforts d’examen en cours

L’évaluation neutre a tenu compte des évaluations effectuées depuis 2018. Celles-ci étaient régies par une politique du CT publiée en 2016, avec des changements ayant une incidence sur les fonctions d’évaluation dans l’ensemble du gouvernement fédéral.

La Politique de 2016 a remplacé la Politique sur l’évaluation (2009), la Politique en matière de présentation de rapports au SCT sur les institutions fédérales et sur les sociétés dans lesquelles le Canada détient des intérêts (2007) et la Politique sur la structure de la gestion, des ressources et des résultats (2010). Lorsque la Politique de 2016 a été approuvée, une nouvelle Directive sur les résultats a remplacé la Directive sur la fonction d’évaluation et les Normes d’évaluation pour le gouvernement du Canada.

La Politique de 2016 a rendu possibles des évaluations plus ciblées, opportunes et stratégiques des initiatives, des enjeux et des projets hautement prioritaires.

En plus d’examiner la conformité à la Politique de 2016, l’évaluation neutre a également permis de cerner des possibilités d’amélioration pour aider la fonction d’évaluation à continuer d’offrir de la valeur au ministère (p. ex., innover en tirant parti des marges de manœuvre fournies par la Politique de 2016).

Le Secrétariat du Conseil du Trésor a annoncé qu’il avait entrepris un examen officiel de la Politique de 2016. Il a été noté dans le cadre de l’évaluation neutre que cet examen de la Politique de 2016 est en cours; ainsi, les changements potentiels à la Politique de 2016 et, par conséquent, les répercussions possibles sur la fonction d’évaluation d’EDSC ne sont pas connus pour le moment. Les domaines qui devraient être explorés dans le cadre de l’examen actuel de la Politique du CT (p. ex. gouvernance et leadership, planification et production de rapports ministériels, et souplesse concernant les questions à régler) sont harmonisés avec les domaines d’enquête de l’évaluation neutre. Pendant la période d’examen de la Politique de 2016, les exigences de celle-ci demeurent en vigueur et continuent de régir les fonctions d’évaluation dans les ministères et les organismes fédéraux.

Caractéristiques uniques d’EDSC

EDSC est le quatrième ministère en importanceFootnote 1 et mène ses activités dans un environnement unique en raison de sa taille et de ses 3 portefeuilles (EDSC, Programme du travail et Service Canada). Le répertoire des programmes (RP) d’EDSC est constitué d’une combinaison de programmes législatifs et non législatifs, et ceux-ci sont offerts partout au Canada au moyen d’une structure organisationnelle relativement complexe. Les programmes non législatifs d’EDSC consistent majoritairement en des programmes de subventions et contributions (S et C) et peuvent nécessiter d’importantes ressources d’évaluation ministérielles pour satisfaire aux exigences d’évaluation du gouvernement fédéral énoncées dans la Loi sur la gestion des finances publiques et les politiques du CT. Plus précisément, les programmes de S et C dont les dépenses moyennes sur 5 ans sont supérieures à 5 millions de dollars doivent être évalués au moins tous les 5 ans. Il s’agit d’un facteur contextuel important dont la fonction d’évaluation d’EDSC doit tenir compte lors de l’élaboration du PEM (p. ex., sélection des programmes qui doivent être évalués en priorité).

4. Constatations

La section suivante décrit les principales constatations tirées de l’évaluation neutre.

Conformité aux éléments d’évaluation de la Politique sur les résultats et de la Directive sur les résultats de 2016 du Conseil du Trésor

Constatation 1 : L’évaluation neutre a permis de conclure que la fonction d’évaluation d’EDSC se conforme généralementFootnote 2 aux exigences de la Politique de 2016 relatives à l’évaluation.

L’évaluation neutre a permis de conclure que la fonction d’évaluation d’EDSC se conforme généralement à la Politique de 2016. À l’exception des questions nécessitant une attention particulière concernant la neutralité perçue de la fonction, l’équipe de l’évaluation neutre n’a relevé aucune préoccupation en ce qui a trait à la conformité de la fonction aux éléments d’évaluation de la Politique sur les résultats et de la Directive sur les résultats de 2016 du Conseil du Trésor. La cote « Se conforme généralement » est la cote la plus élevée que notre évaluation externe neutre peut accorder à une fonction d’évaluation.

EDSC a pris les mesures requises pour mettre en œuvre les éléments d’évaluation de la Politique de 2016. Nous avons constaté que la fonction d’évaluation d’EDSC se conforme généralement, particulièrement en ce qui concerne les responsabilités de l’administrateur général à l’égard de la fonction d’évaluation, les responsabilités du CMRE concernant la fonction d’évaluation et les responsabilités du chef de l’évaluation.

Les responsabilités de l’administrateur général, du CMRE et du chef de l’évaluation sont reconnues dans les documents d’EDSC et ont été mises en œuvre de façon rigoureuse. Les activités du CMRE, le PEM et les évaluations et résumés publiés sont conformes aux exigences de la Politique de 2016.

Les évaluations sont neutres, bien rédigées et satisfont aux exigences du CT. Les évaluations examinent les programmes importants qui ont une incidence sur la vie des Canadiens et, en général, en évaluent la pertinence ainsi que le rendement ou l’efficacité et l’efficience. La planification, la réalisation et la publication des évaluations sont conformes aux exigences de la Politique de 2016. Les évaluations effectuées, y compris les résumés et les PAD connexes, sont publiées sur le site Web d’EDSC. La mise en œuvre des PAD est surveillée en temps opportun et communiquée régulièrement au CMRE. La fonction d’évaluation met en œuvre certaines des marges de manœuvre autorisées par la politique de 2016. L’analyse des entrevues et du sondage a permis de conclure que la fonction d’évaluation est considérée comme jouant le rôle d’un conseiller de confiance au sein du ministère en fournissant des conseils crédibles et éclairés qui contribuent à l’élaboration des politiques et des programmes. L’analyse des entrevues a révélé que les responsables de programme ont confiance dans l’orientation que la fonction d’évaluation leur fournit pour évaluer adéquatement le rendement des programmes. La fonction d’évaluation a élaboré des approches d’évaluation novatrices, notamment des travaux qui viennent appuyer l’engagement du gouvernement du Canada à l’égard de l’analyse comparative entre les sexes plus (ACS+) dans la conception d’évaluations quantitatives et qualitatives. En outre, il est ressorti de l’analyse des entrevues que des méthodes et des analyses novatrices sont élaborées au moyen de recherches menées au sein de la Direction générale des politiques stratégiques et de service afin de soutenir la fonction d’évaluation dans la réalisation de l’engagement du gouvernement fédéral à l’égard de l’ACS+.

Nous avons relevé une problématique qui nécessite une attention particulière en ce qui concerne l’accès direct et libre du chef de l’évaluation à l’administrateur général. Bien que cet accès ait été confirmé lors des entrevues, il devrait être mentionné de façon explicite dans un document officiel approprié. De plus, afin de maintenir la neutralité de la fonction, étant donné que la fonction d’évaluation est située au sein de la Direction générale des politiques stratégiques et de service, la mise en place d’ententes spéciales explicites en matière de production de rapports pour les programmes qui peuvent être évalués au sein de cette direction générale améliorerait la neutralité perçue de la fonction d’évaluation.

Exécution des responsabilités du chef de l’évaluation

Constatation 2 : Le chef de l’évaluation s’acquitte de ses responsabilités, conformément à la politique de 2016.

Le chef de l’évaluation s’acquitte des responsabilités liées à ses fonctions énoncées dans la Politique de 2016, en particulier celles prévues à la section 4.4 de la Directive sur les résultatsFootnote 3.

La Politique de 2016 s’avère complexe en ce qui touche la répartition des responsabilités dans le domaine de la mesure du rendement (MR). En ce qui concerne la MR, la Politique de 2016 comprend des descriptions des rôles attendus du SM, du CMRE, du chef de la MR, des responsables de programme et du chef de l’évaluation.

L’évaluation neutre a examiné le rôle de la fonction d’évaluation relativement à la MR.

Le chef de l’évaluation est chargé de fournir au CMRE et aux responsables de programme des conseils sur la validité et la fiabilité des indicateurs du cadre ministériel des résultats (CMR) ainsi que sur la disponibilité, la qualité, la validité et la fiabilité des indicateurs et des renseignements contenus dans les profils de l’information sur le rendement (PIR), y compris leur utilité à l’appui des évaluations.

En ce qui concerne la prestation de conseils pour aider EDSC à satisfaire aux exigences en matière de MR de la Politique de 2016 qui sont décrites dans la Directive sur les résultats, les responsabilités du chef de l’évaluation dans le domaine de la MR sont de nature consultative. Par exemple, les conseils spécialisés fournis par la fonction d’évaluation ont appuyé la préparation d’indicateurs de rendement et de PIR provisoires pour les responsables de programme. Ceux-ci demeurent les propriétaires de ces outils de MR. La fonction d’évaluation a fourni des conseils au chef de la mesure du rendement, aux responsables de programme et au dirigeant principal des données au sujet de la qualité des données. L’analyse des entrevues et l’examen des documents ont permis de conclure que la fonction d’évaluation effectue des évaluations de l’évaluabilité afin d’établir un plan pour chaque évaluation à venir. Ces évaluations de l’évaluabilité prennent en considération des éléments comme l’approche d’évaluation proposée, les questions d’évaluation et la méthodologie. Les évaluations de l’évaluabilité examinent la disponibilité et la qualité des données sur le rendement.

Bien que les rôles et les responsabilités soient clairs et que la Politique de 2016 ait accentué l’attention portée à la MR, la mise en œuvre uniforme des politiques du CT relativement à la MR s’accompagne de difficultés de longue date pour de nombreux ministères et organismes. Les conseils fournis par la fonction d’évaluation d’EDSC ont grandement aidé à remédier à ces difficultés liées à la mise en œuvre de la Politique de 2016. Pendant les étapes de planification, de réalisation et de publication des évaluations, la fonction d’évaluation a l’occasion de fournir aux responsables de programme de précieux conseils sur la MR en ce qui concerne le sujet de l’évaluation.

Compte tenu de ce qui précède, l’évaluation neutre a permis de confirmer que la fonction d’évaluation d’EDSC participe aux activités de MR, comme on peut s’y attendre selon la Politique de 2016. La fonction d’évaluation fournit des conseils relatifs aux PIR et des commentaires sur les divers produits de MR requis pour se conformer aux exigences de la Politique de 2016 en matière de MR. Les présentations au CT et les mémoires au Cabinet (MC) nécessitent souvent, de la part de la fonction d’évaluation, une évaluation ainsi que de l’information et des conseils en matière de MR. Ce travail consultatif constitue un niveau d’effort important pour la fonction d’évaluation et représente une valeur ajoutée importante fournie par celle-ci, car le rendement des programmes d’EDSC, qui ont une incidence directe sur les moyens de subsistance des Canadiens, peut être évalué adéquatement, et des possibilités d’amélioration peuvent être cernées et mises en œuvre.

Utilité de la fonction d’évaluation

Constatation 3 : La fonction d’évaluation a fourni de l’information, des conseils et des recommandations utiles au sujet d’importants programmes ministériels ainsi qu’au sujet des difficultés et des risques associés à ces programmes.

L’évaluation neutre a permis de conclure que la fonction d’évaluation d’EDSC produit des évaluations et des rapports techniques de grande qualité qui appuient l’amélioration continue des programmes législatifs et non législatifs du ministère. Le personnel d’évaluation collabore avec les programmes pour s’assurer que les données sont recueillies et triangulées adéquatement afin de produire des constatations, des recommandations et des conclusions crédibles qui appuient adéquatement l’efficience et l’efficacité de l’exécution et de la gestion des programmes. Les rapports d’évaluation sont bien rédigés et exhaustifs et démontrent les vastes connaissances et capacités techniques de la fonction. Conformément à la Politique de 2016, la fonction d’évaluation fournit des conseils spécialisés aux programmes. À l’occasion, les évaluations ont servi à éclairer l’élaboration des politiques et à appuyer les décisions de financement concernant les programmes législatifs et non législatifs.

L’équipe de l’évaluation neutre a constaté que le CMRE, les SMA, le SM, le chef de l’évaluation et le chef de la mesure du rendement sont heureux du fait que les évaluations soient planifiées et mises en œuvre dans un esprit de collaboration par la fonction d’évaluation et les responsables de programme. Les rapports d’évaluation sont produits conformément au plan d’évaluation quinquennal. Chaque évaluation particulière est planifiée avec rigueur. Toutes les évaluations commencent par un processus consultatif détaillé pour la préparation de la mise à jour annuelle du plan d’évaluation ministériel qui est recommandée par le CMRE aux fins d’approbation par l’administrateur général. Les évaluations sont planifiées au moyen de la préparation d’une évaluation de l’évaluabilité qui fait l’objet de discussions avec les responsables de programme et un groupe de travail sur l’évaluation et ensuite un groupe de travail composé de DG, et qui est finalement présentée au CMRE aux fins d’approbation. Le groupe de travail composé de DG fournit des conseils sur la collecte de données et examine les rapports provisoires. La fonction d’évaluation a fait un suivi rigoureux de la mise en œuvre des mesures approuvées par la direction en réponse aux recommandations qui appuient l’amélioration continue des programmes.

L’évaluation neutre a permis de conclure que le personnel d’évaluation est compétent, professionnel et très apprécié par la haute direction et le CMRE. Il est ressorti de l’analyse des entrevues et du sondage que la fonction d’évaluation effectue ses évaluations de manière professionnelle au moyen d’une planification minutieuse et de la collecte et de l’analyse de données, ainsi qu’en collaborant avec les programmes, la haute direction et le CMRE. À partir des commentaires des personnes interviewées, d’un examen des rapports d’évaluation publiés et de sa connaissance générale de la collectivité fédérale de l’évaluation, l’équipe de l’évaluation neutre a constaté que la fonction d’évaluation d’EDSC est perçue comme un chef de file au sein de la collectivité fédérale de l’évaluation.

La fonction a démontré une capacité impressionnante d’innover en vue d’offrir la plus grande valeur au ministère, notamment en utilisant de façon novatrice les bases de données sur le marché du travail et en recourant à des enquêtes éclair pour recueillir des données aux fins d’évaluation.

La fonction a démontré une capacité impressionnante d’innover en vue d’offrir la plus grande valeur au ministère, notamment en utilisant de façon novatrice les bases de données sur le marché du travail et en recourant à des enquêtes éclair pour recueillir des données aux fins d’évaluation. La fonction a envisagé des formes novatrices de présentation des rapports pour aider différents groupes de lecteurs à comprendre et à visualiser les résultats des évaluations. Il est ressorti de l’évaluation neutre que les résumés des évaluations, publiés en même temps que les rapports d’évaluation complets, étaient très appréciés des lecteurs. L’équipe de l’évaluation encourage la fonction à poursuivre les expériences en matière d’infographie afin de communiquer efficacement avec certains publics.

Il convient de souligner qu’en raison du travail d’évaluation novateur et de grande qualité effectué à EDSC, la fonction d’évaluation a pu maintenir des relations avec le milieu universitaire et a été invitée à faire des présentations lors de rassemblements professionnels, d’événements et de conférences, ainsi qu’à l’Organisation de coopération et de développement économiques.

5. Possibilités d’amélioration

La section suivante décrit les possibilités d’amélioration cernées dans le cadre de l’évaluation neutre.

Neutralité de la fonction d’évaluation

Conformément à la Politique de 2016, la fonction d’évaluation doit mener ses travaux de manière neutre. L’évaluation neutre a révélé que la fonction utilise d’excellents processus de collaboration avec les programmes pour appuyer l’exécution de ses travaux. Bien qu’il y ait une vaste collaboration pour la préparation du PEM et pour les évaluations individuelles, le chef de l’évaluation et les travaux de la fonction d’évaluation doivent être neutres et être perçus comme tels.

Le ministère doit continuer de protéger la neutralité de la fonction d’évaluation pour s’assurer que les rapports d’évaluation sont crédibles et évaluent adéquatement le rendement des programmes. La neutralité et la neutralité perçue de la fonction d’évaluation constituent un attribut clé qui contribue à la crédibilité de la fonction d’évaluation, à sa valeur et à son utilité.

Il convient de souligner que la fonction d’évaluation a mis en place des mécanismes comme des réunions bilatérales à huis clos entre le chef de l’évaluation et le SM ainsi que la présence du chef de l’évaluation au CMRE pour renforcer la neutralité de la fonction d’évaluation d’EDSC.

Il est ressorti de l’évaluation neutre que le chef de l’évaluation rend compte, à des fins administratives, à un SMA d’un secteur chargé de surveiller certains secteurs de programme. Bien que l’évaluation neutre ait confirmé que les travaux de la fonction d’évaluation sont menés de manière neutre, la structure administrative et de production de rapports actuelle peut être perçue comme donnant lieu à un conflit d’intérêts potentiel et peut influer sur la neutralité perçue de la fonction d’évaluation d’EDSC pour ces évaluations particulières.

La fonction d’évaluation aurait avantage à revoir la structure de déclaration organisationnelle pour les évaluations particulières qui portent sur des programmes gérés dans le même secteur que celui du SMA dont le chef de l’évaluation relève sur le plan administratif. Le réexamen aurait pour objectif de déterminer si la neutralité perçue de la fonction d’évaluation pourrait être remise en question concernant ces évaluations et, s’il y a lieu, de prendre des mesures pour renforcer la neutralité de la fonction d’évaluation relativement à celles-ci.

De plus, il serait avantageux pour la fonction d’évaluation d’envisager de rendre explicite, dans un document ministériel approprié, la compréhension informelle actuelle selon laquelle, conformément à la Politique de 2016, le chef de l’évaluation a directement et librement accès à l’administrateur général, au besoin, pour s’acquitter de ses responsabilités.

Pourquoi la neutralité est-elle importante?

La neutralité joue un rôle important pour ce qui est de s’assurer que les évaluations sont crédibles et que les conclusions sont fondées sur des éléments probants qui ont été recueillis de manière objective et appropriée par des évaluateurs distincts de la gestion et des activités de l’entité faisant l’objet de l’évaluation. La crédibilité qui en découle devrait accroître la valeur et la pertinence des évaluations pour la prise de décisions et la reddition de comptes.

Planification souple des évaluations pour faciliter la prise en compte des priorités ministérielles en évolution

Il est ressorti de l’évaluation neutre que la fonction d’évaluation d’EDSC a mené ses activités au moyen d’un plan quinquennal (PEM) mis à jour annuellement, conformément à la Politique de 2016. D’après l’examen de la documentation et les entrevues, les PEM sont suffisamment détaillés et fournissent un plan permettant à l’organisme d’atteindre ses objectifs d’évaluation. Le PEM présente bien la prise en compte prévue de programmes non législatifs et législatifs et le nombre important d’évaluations obligatoires qui doivent être effectuées pour satisfaire aux exigences législatives et aux exigences d’évaluation du CT. La fonction d’évaluation affiche un excellent bilan en ce qui a trait à la réalisation des travaux planifiés, de façon collaborative, selon les échéanciers établis dans le plan et selon les connaissances acquises dans le cadre d’une évaluation de l’évaluabilité (plan) pour les évaluations individuelles. En règle générale, on s’attend à ce que le délai prévu d’exécution soit de 2 ans pour la plupart des évaluations.

Toutefois, la capacité et les ressources de la fonction d’évaluation sont limitées. Compte tenu du contexte postpandémique, il peut être nécessaire d’avoir la capacité requise pour régler des problèmes importants qui peuvent survenir dans les cas où les commentaires et l’expertise en matière d’évaluation pourraient avoir une valeur élevée (s’ils peuvent être rendus disponibles à court préavis). Par exemple, la fonction d’évaluation a fourni des conseils et des commentaires de ce genre sur des questions liées à l’élaboration de politiques et de programmes pendant la pandémie. À l’avenir, le PEM pourrait fournir une flexibilité et une souplesse accrues pour faire en sorte que les travaux prévus puissent redéfinir l’ordre de priorité en fonction des difficultés et des risques nouveaux et émergents. Étant donné l’importante charge de travail prévue notée dans le PEM, la fonction d’évaluation pourrait envisager, à l’étape du PEM ou à celle de l’évaluation de l’évaluabilité des projets d’évaluation lorsqu’un pouvoir discrétionnaire peut être exercé, de déterminer des façons dont des évaluations peuvent être ciblées ou échelonnées au besoin pour permettre une exécution accélérée ou un report afin de tenir compte de possibles évaluations ou projets consultatifs d’évaluation de priorité plus élevée et à plus court terme qui peuvent se présenter au cours d’un exercice, ou qui peuvent être demandés par l’administrateur général en dehors du cycle de planification du PEM. L’objectif est de pouvoir accepter d’éventuelles demandes de conseils hautement prioritaires, un projet d’évaluation formative ou une évaluation rapide des répercussions, et d’avoir réfléchi à des façons de donner suite à une demande (en dehors du cycle annuel de mise à jour du PEM) de la manière qui perturbe le moins le PEM.

En outre, pour certains programmes ou composantes de programme qui peuvent faire l’objet de changements de politiques ou de programmes au cours de la période d’évaluation, la planification de l’évaluation devrait prévoir la possibilité de produire des rapports provisoires sur des questions relatives aux modifications importantes qui peuvent être attendues ou qui surviennent de façon inattendue au cours de l’évaluation afin d’accroître la pertinence des travaux d’évaluation. Il s’agit d’être prêt à fournir des rapports provisoires fondés sur les renseignements disponibles en temps opportun (avec des limites qui sont précisées, le cas échéant), au lieu de produire un rapport d’évaluation sur des questions dont la pertinence peut être moindre après la mise en œuvre du changement.

Pourquoi une planification de l’évaluation plus souple est-elle importante?

Les plans d’évaluation sont régulièrement mis à jour chaque année. La mise en œuvre des évaluations planifiées fait en sorte de bloquer des ressources d’évaluation considérables pendant la durée prévue des évaluations approuvées. Une planification plus souple des évaluations est importante en vue de permettre au ministère d’avoir une réponse mieux adaptée aux priorités ministérielles et de s’assurer que les ressources d’évaluation peuvent être réaffectées plus rapidement en cas de difficultés et de risques imprévus. En outre, une planification plus souple des évaluations permettrait de fournir plus rapidement des conseils et une orientation aux programmes.

Processus uniforme d’assurance de la qualité (examen par les pairs)

Conformément à la Politique de 2016, un processus d’assurance de la qualité, comme un examen par les pairs, est requis lorsqu’on exécute des évaluations afin de s’assurer de la qualité de celles-ci. Il est ressorti de l’examen des documents que la fonction d’évaluation a mis en place un processus d’examen interne et externe par les pairs. L’évaluation neutre a toutefois révélé qu’au cours des dernières années, les restrictions de ressources ou de temps ont donné lieu à une diminution de la fréquence des examens externes des rapports d’évaluation par les pairs. L’analyse des entrevues et des sondages a permis de conclure que l’examen des rapports d’évaluation par les pairs n’est pas effectué de façon uniforme pour toutes les évaluations (c.-à-d. que certaines évaluations font l’objet d’un examen externe ou interne par les pairs, tandis que d’autres ne le font pas). Il est possible de revoir le processus actuel (interne et externe), de tirer parti de ses forces et de reconnaître la valeur potentiellement élevée d’un processus d’examen par les pairs appliqué de façon plus uniforme. Un processus rigoureux d’examen par les pairs favoriserait l’uniformité de la qualité des résultats, des méthodologies et des produits livrables des évaluations. L’assurance de la qualité, au moyen notamment de l’examen par les pairs, exige du temps et des ressources et peut ne pas être possible dans toutes les circonstances; cependant, de telles circonstances doivent constituer des exceptions dans le cadre d’une procédure opérationnelle normalisée.

Pourquoi l’assurance de la qualité, au moyen notamment de l’examen par les pairs, est-elle importante?

L’assurance de la qualité est importante, car elle fait en sorte que les expériences et les points de vue soient pris en compte avec exactitude tout au long d’une évaluation. Les processus d’assurance de la qualité, comme les examens par les pairs, permettent une réflexion critique et une mesure d’analyse supplémentaire pour s’assurer que les recommandations d’évaluation sont logiques, liées aux conclusions, pertinentes et réalisables. En outre, l’amélioration de la qualité permet de faciliter la lecture des rapports d’évaluation et, par conséquent, de s’assurer que les constatations, les recommandations et les conclusions des évaluations sont communiquées efficacement aux principaux intervenants et aux Canadiens.

Transfert amélioré des connaissances organisationnelles à l’appui d’une fonction d’évaluation adaptable

Il est ressorti de l’évaluation neutre que la fonction d’évaluation d’EDSC est composée d’employés hautement compétents et qualifiés qui fournissent des conseils précieux et élaborent et mettent en œuvre des éléments d’information complexes. Les projets d’EDSC et d’autres ministères et organismes indiquent que l’exigence fédérale globale en matière d’évaluation et d’amélioration de la mesure du rendement a entraîné une pénurie de personnel par rapport aux besoins et, par conséquent, un environnement de dotation concurrentiel. La fonction d’évaluation a adopté plusieurs pratiques exemplaires (ou bonnes) pour attirer, perfectionner et maintenir en poste les membres de son personnel hautement qualifié. Les pratiques en place comprennent notamment les mesures suivantes : participer avec d’autres directions générales à l’embauche et au maintien en poste de personnes en situation de handicap qualifiées; utiliser des outils de dotation souples pour combler les besoins temporaires et à court terme en matière de capacité, comme l’embauche d’étudiants, d’employés occasionnels, de fonctionnaires retraités et de consultants; promouvoir le perfectionnement professionnel; établir des réseaux professionnels avec la Société canadienne d’évaluation; favoriser la santé, la santé mentale, le bienêtre et l’écologisation du milieu de travail.

Afin de maintenir sa capacité et la qualité de ses travaux, la fonction d’évaluation peut mettre en œuvre un processus officiel de mise à jour du matériel de formation et de perfectionnement, au besoin et en fonction des défis nouveaux et émergents. De plus, il est possible de constituer un effectif capable de répondre de façon proactive aux besoins en constante évolution du ministère et du gouvernement fédéral, particulièrement en ce qui concerne la production de rapports sur les résultats en matière de rendement. L’examen des documents a montré que la fonction d’évaluation a établi une abondance de ressources et de modèles pour appuyer le perfectionnement professionnel du personnel et l’intégration des nouveaux employés; toutefois, il est possible de mettre en œuvre un processus pour évaluer périodiquement la mesure dans laquelle ces documents sont à jour. De plus, il est ressorti de l’examen de la version provisoire du plan pour les ressources humaines en évaluation de 2022-2023 à 2024-2025 que, à l’instar d’autres fonctions d’évaluation à l’échelle du gouvernement, la fonction d’évaluation d’EDSC connaît un roulement du personnel, en particulier en ce qui concerne les cadres supérieurs (p. ex. les employés de niveau EC-07). L’évaluation périodique de l’exactitude et de l’actualité du matériel de formation et de perfectionnement appuiera plus efficacement le transfert des connaissances organisationnelles et fera en sorte que la qualité des rapports d’évaluation demeure élevée malgré le roulement du personnel au fil du temps.

Outre l’établissement d’un processus périodique officiel de mise à jour du matériel de formation et de perfectionnement, la fonction a la possibilité d’inclure le jumelage inversé aux processus d’intégration des nouveaux employés. L’examen des documents a révélé que la fonction d’évaluation a établi des processus pour les nouveaux employés dans le cadre de leur intégration. L’un de ces processus consiste à jumeler les nouveaux employés avec un cadre supérieur jouant le rôle de personne ressource pour les questions et les conseils. Bien qu’il s’agisse d’un excellent système de soutien pour les nouveaux employés, ce processus pourrait être amélioré au moyen du jumelage inversé. Des jumelages inversés efficaces peuvent être réalisés en s’assurant, dans la mesure permise par les contraintes budgétaires, qu’un nombre équilibré d’évaluateurs subalternes et d’évaluateurs chevronnés est affecté aux évaluations. Le fait d’offrir un nombre accru de possibilités de jumelages inversés permettrait à des évaluateurs expérimentés d’effectuer un contrôle de la qualité supplémentaire pour les rapports d’évaluation et fournirait une méthode de formation en cours d’emploi efficace et efficiente au personnel subalterne. De plus, le jumelage inversé peut être un moyen efficace d’assurer une application adéquate des connaissances organisationnelles au sein de la fonction d’évaluation, car il aide à bâtir un effectif plus résilient et adaptable au changement. Par conséquent, cela améliorerait vraisemblablement la valeur ajoutée de la fonction d’évaluation étant donné que le personnel subalterne pourrait acquérir plus rapidement les outils lui permettant d’aider les cadres supérieurs à atteindre les résultats escomptés de la fonction d’évaluation.

Pourquoi le transfert des connaissances organisationnelles est-il important?

Le transfert des connaissances organisationnelles est important parce qu’il permet de s’assurer que la qualité des rapports d’évaluation est uniforme pour toutes les évaluations. Tous les organismes peuvent connaître des fluctuations en ce qui concerne le maintien en poste du personnel à un moment ou à un autre; par conséquent, une formation et un perfectionnement adéquats et le transfert des connaissances ministérielles améliorent la probabilité que ces fluctuations n’aient pas d’incidence sur la qualité des produits d’évaluation d’EDSC.

6. Recommandations

La fonction d’évaluation est bien exécutée, se conforme généralement à la Politique de 2016 et offre une valeur ajoutée reconnue à EDSC.

Nos recommandations visent à améliorer la valeur ajoutée (par rapport au niveau élevé actuel) pour EDSC découlant des produits et services fournis par la fonction d’évaluation.

Les recommandations suivantes s’appuient sur les possibilités d’amélioration relevées dans le cadre de l’évaluation neutre.

Recommandation 1 : Renforcer la neutralité perçue de la fonction d’évaluation

Justification

Il est ressorti de l’évaluation neutre que le chef de l’évaluation rend compte, à des fins administratives, à un SMA d’un secteur chargé de surveiller certains secteurs de programme. Bien que l’évaluation neutre ait confirmé que les travaux de la fonction d’évaluation sont menés de manière neutre, la structure administrative et de production de rapports actuelle peut être perçue comme donnant lieu à un conflit d’intérêts potentiel et peut influer sur la neutralité perçue de la fonction d’évaluation d’EDSC pour ces évaluations particulières.

L’équipe de l’évaluation neutre recommande que la fonction d’évaluation revoie la structure de déclaration organisationnelle pour les évaluations particulières qui portent sur des programmes gérés dans le même secteur que celui du SMA dont le chef de l’évaluation relève sur le plan administratif. Le réexamen aurait pour objectif de déterminer si la neutralité perçue de la fonction d’évaluation pourrait être remise en question concernant ces évaluations et, s’il y a lieu, de prendre des mesures pour renforcer la neutralité de la fonction d’évaluation relativement à celles-ci.

De plus, l’équipe de l’évaluation neutre recommande que la fonction d’évaluation envisage de rendre explicite, dans un document ministériel approprié, la compréhension informelle actuelle selon laquelle, conformément à la Politique de 2016, le chef de l’évaluation a directement et librement accès à l’administrateur général, au besoin, pour s’acquitter de ses responsabilités.

L’évaluation neutre reconnait les avantages pour le ministère de situer la fonction d’évaluation au sein de la Direction générale des politiques stratégiques et de service et, plus particulièrement, la contribution potentielle de la fonction d’évaluation à l’élaboration des politiques et des programmes.

L’évaluation neutre salue l’environnement de collaboration, les processus de consultation et les structures de gouvernance qui sont en place pour la fonction d’évaluation à EDSC.

Recommandation 2 : Faciliter une réponse proactive aux priorités ministérielles en évolution

Justification

L’équipe de l’évaluation neutre a constaté que la fonction d’évaluation d’EDSC a mené ses activités au moyen d’un plan quinquennal (PEM), mis à jour annuellement. La fonction d’évaluation affiche un excellent bilan en ce qui a trait à la réalisation des travaux selon les échéanciers établis dans le plan et selon les connaissances acquises dans le cadre des évaluations de l’évaluabilité.

Toutefois, la capacité et les ressources de la fonction d’évaluation sont limitées. Il peut être nécessaire d’avoir la capacité requise pour régler des problèmes importants qui peuvent survenir dans les cas où les commentaires et l’expertise en matière d’évaluation pourraient avoir une valeur élevée (s’ils peuvent être rendus disponibles à court préavis). Il est recommandé que la fonction d’évaluation envisage, à l’étape du PEM et à celle de l’évaluation de l’évaluabilité, de cerner des façons dont des évaluations peuvent être ciblées ou échelonnées pour permettre une exécution accélérée, ou de déterminer si des évaluations peuvent être reportées en totalité ou en partie afin de tenir compte de possibles évaluations ou projets d’évaluation à plus court terme qui peuvent se présenter au cours d’un exercice, ou qui peuvent être demandés par l’administrateur général en dehors du cycle de planification du PEM.

Certains programmes peuvent faire l’objet de changements de politiques ou de programmes au cours de la période requise pour effectuer une évaluation. La planification de l’évaluation devrait prévoir la possibilité de produire des rapports provisoires sur des questions relatives aux modifications importantes qui peuvent être envisagées ou attendues pendant l’évaluation afin d’en accroître la pertinence et de communiquer l’information disponible en temps opportun.

Recommandation 3 : Utiliser de façon uniforme un processus d’assurance de la qualité

Justification

La politique de 2016 exige le recours à un processus d’assurance de la qualité, comme l’examen par les pairsFootnote 4. Le processus actuel d’examen par les pairs au sein de la fonction d’évaluation est bien établi et a produit de bons résultats. Toutefois, ces dernières années, il n’a pas été utilisé de façon uniforme pour toutes les évaluations. Il est recommandé que, dans la mesure du possible, la fonction d’évaluation veille à ce qu’un processus d’examen par les pairs soit appliqué de façon uniforme afin d’améliorer sa valeur ajoutée et de tirer parti de ses forces. Des processus d’examen par les pairs économiques et souples qui sont appliqués de façon uniforme et stratégique pour examiner la qualité des rapports d’évaluation peuvent aider à faire en sorte que tous les produits d’évaluation continuent de satisfaire aux normes élevées du ministère. La fonction d’évaluation pourrait considérer que, dans certaines circonstances, l’examen par les pairs n’est pas possible en raison de contraintes budgétaires ou temporelles; cependant, de telles circonstances doivent constituer des exceptions dans le cadre de la procédure opérationnelle normalisée.

Recommandation 4 : Améliorer les processus de transfert des connaissances organisationnelles

Justification

Le maintien de la capacité s’avère difficile dans l’environnement de dotation concurrentiel actuel. Outre la mise en œuvre des stratégies que la fonction d’évaluation emploie actuellement pour attirer, perfectionner et maintenir en poste son personnel hautement qualifié, nous recommandons des mesures supplémentaires pour assurer le maintien des connaissances organisationnelles. L’évaluation périodique de l’exactitude et de l’actualité du matériel de formation et de perfectionnement appuiera efficacement le transfert des connaissances organisationnelles et fera en sorte que la qualité des rapports d’évaluation demeure élevée malgré le roulement du personnel au fil du temps. L’équipe de l’évaluation neutre est consciente du fait que, dans le cas d’un grand ministère comme EDSC, les contraintes budgétaires peuvent limiter la capacité de fournir une formation et des outils de perfectionnement exhaustifs, car les évaluateurs doivent posséder plusieurs ensembles de compétences différentes, allant de la communication orale et écrite à la conception, en passant par l’application d’analyses de données quantitatives et qualitatives. Par conséquent, en plus des processus actuels d’intégration des nouveaux employés, la fonction d’évaluation d’EDSC pourrait examiner d’autres moyens d’améliorer ses processus de transfert des connaissances organisationnelles, comme le fait de recourir au jumelage inversé pour le personnel subalterne afin de faciliter le transfert des connaissances des cadres supérieurs pendant les missions d’évaluation.

Annexe A – Abréviations et sigles

Politique de 2016
Politique sur les résultats du Conseil du Trésor, Directive sur la fonction d’évaluation, y compris les Procédures obligatoires pour les évaluations et les Normes d’évaluation
SMA
Sous ministre adjoint
DG
Directeur général
PEM
Plan d’évaluation ministériel
SM
Sous-ministre
CCE
Comité consultatif de l’évaluation
LGFP
Loi sur la gestion des finances publiques
S et C
Subventions et contributions
ACS+
Analyse comparative entre les sexes plus
MC
Mémoire au Cabinet
PAD
Plan d’action de la direction
RP
Répertoire des programmes
PIR
Profil de l’information sur le rendement
MR
Mesure du rendement
CMRE
Comité de la mesure du rendement et de l’évaluation
CT
Conseil du Trésor
SCT
Secrétariat du Conseil du Tré

Détails de la page

Date de modification :