Évaluation de la Politique sur l'évaluation de 2009

Remerciements

La présente évaluation a été réalisée par le Centre d'excellence en évaluation du Secrétariat du Conseil du Trésor du Canada et par une équipe d'experts-conseils de l'extérieur composée de Natalie Kishchuk, EA, de Program Evaluation and Beyond Inc. et de Benoît Gauthier, EA, de Circum Network Inc. Le Centre d'excellence en évaluation a produit le présent rapport final, et les experts-conseils de l'extérieur en ont assuré l'examen d'assurance de la qualité.

Le Centre d'excellence en évaluation tient à remercier les membres des comités consultatifs, qui ont fourni des conseils sur la planification et la réalisation de l'évaluation, ainsi que sur les rapports s'y rattachant.

Table des matières

Sommaire

Contexte

Le Secrétariat du Conseil du Trésor du Canada a mené en 2013-2014 une évaluation de la Politique sur l'évaluation de 2009. L'évaluation visait à évaluer le rendement de la politique, à établir une base de référence des résultats de la politique – en particulier ceux liés à l'utilisation et à l'utilité de la politique – et à recenser les occasions d'aider les ministères à satisfaire à leurs besoins d'évaluation au moyen d'une application assouplie de la politique, de la directive et des normes connexes. Le présent rapport fait état des principales constatations, conclusions et recommandations de l'évaluation.

Méthodologie

L'équipe d'évaluation était constituée d'experts-conseils de l'extérieur ainsi que d'analystes du Centre d'excellence en évaluation du Secrétariat du Conseil du Trésor du Canada. Les membres de l'équipe externe ont évalué les résultats de la politique, et les membres de l'équipe interne en ont évalué l'application. Aux fins de l'évaluation, l'on a utilisé des méthodes qualitatives (études de cas, schématisation des processus, examen de documents et de revues spécialisées, et consultations des intervenants auprès des administrateurs généraux, des sous-ministres adjoints, des organismes centraux et autres) et des méthodes quantitatives (analyse des données de surveillance et enquêtes auprès directeurs de programme, des gestionnaires de l'évaluation et des évaluateurs). Les membres des équipes d'évaluation interne et externe ont exercé une fonction de remise en question du travail de chacun ainsi que la qualité des produits d'évaluation.

Constatations et conclusions

Rendement et résultats de la politique

En ce qui a trait au rendement de la politique, l'évaluation a permis de constater ce qui suit :

  1. En général, les besoins des administrateurs généraux et des cadres supérieurs en matière d'évaluation ont été bien servis dans le contexte de la Politique sur l'évaluation de 2009. La haute direction a pu tirer des renseignements stratégiques à l'appui de la prise de décisions au niveau supérieur. Parallèlement, les efforts déployés pour satisfaire aux exigences de portée de la politique ont parfois rendu les services d'évaluation moins en mesure de satisfaire aux besoins émergents de la haute direction.
  2. La politique a exercé une influence globale positive au chapitre de la satisfaction des besoins des gestionnaires de programmes, et les évaluations initiales de certains programmes ont été utiles. Cependant, les gestionnaires de programmes dont les programmes ont été évalués dans le cadre d'une évaluation en groupe ou comme une entité d'architecture d'alignement des programmes de haut niveau ont parfois trouvé que leurs besoins n'étaient pas aussi bien satisfaits qu'avant 2009, quand leur programme faisait l'objet de sa propre évaluation.
  3. Les organismes centraux ont constaté que les évaluations étaient de plus en plus disponibles, et, à l'instar des ministères, ils les utilisaient de plus en plus pour éclairer des activités de gestion des dépenses comme les propositions de dépenses (en particulier, les renouvellements de programmes) et les examens des dépenses. Parallèlement, il est arrivé souvent que les évaluations ne répondent pas aux besoins des organismes centraux en matière de renseignements sur l'efficience et l'économie des programmes.
  4. Le recours à l'évaluation en vertu de la politique de 2009 a été significatif, mais l'utilisation et l'incidence pourraient être accrues en s'assurant que les évaluations réalisées, ainsi que leur calendrier, leur étendueNote en bas de page 1 et leur orientationNote en bas de page 2 correspondent plus étroitement aux besoins des utilisateurs.
  5. Les évaluations réalisées ont eu comme incidence principale de soutenir l'amélioration des politiques et des programmes.
  6. Le recours accru aux évaluations pour soutenir la prise de décisions a été favorisé par le changement de culture observé en faveur de la valorisation et de l'utilisation des évaluations.
  7. Les facteurs qui ont eu l'influence positive la plus évidente sur le recours à l'évaluation dans les ministères ont été les éléments de politique liés à la gouvernance et au leadership de la fonction d'évaluation, alors que les facteurs qui ont entravé le plus évidemment le recours à l'évaluation ont été ceux qui ont trait aux ressources et aux calendriers. 
  8. Malgré les préoccupations exprimées au sujet de leur capacité de satisfaire à toutes les exigences de la politique, les ministères, de façon générale, s'attendent à satisfaire à toutes les exigences à l'intérieur de l'actuelle période de cinq ans.

Pertinence et incidence des trois principales exigences de la politique

En ce qui concerne la pertinence et l'incidence des trois principales exigences de la politique (portée complète des dépenses de programmes directes, évaluations quinquennales et examen des cinq questions fondamentalesNote en bas de page 3), l'évaluation a permis de constater ce qui suit :

  1. Les difficultés de mise en œuvre d'une portée complète ont découlé des besoins combinés des trois principales exigences de la politique (portée complète des dépenses de programmes directes, évaluations quinquennales et examen des cinq questions fondamentales), et du contexte des ressources limitées pour procéder à des évaluations. L'exigence des évaluations quinquennales a semblé être au cœur des difficultés de mise en œuvre dans la plupart des ministères.
  2. Les intervenants à tous les niveaux ont reconnu les avantages d'une portée complète pour ce qui est d'englober les besoins de tous les utilisateurs des évaluations et d'atteindre tous les objectifs de la politique. Néanmoins, l'on a observé des situations où les évaluations individuelles ont clairement eu peu d'utilité.
  3. Le fait de procéder à des évaluations quinquennales a des avantages et des désavantages, selon la nature des programmes et les besoins des utilisateurs. Pour optimiser l'utilité de l'évaluation d'un programme donné, des évaluations plus ou moins fréquentes, ou à fréquence réglable, pourraient être nécessaires.
  4. Combinée avec l'exigence de portée complète, la fréquence de cinq ans a restreint la marge de manœuvre dont disposent les services d'évaluation pour satisfaire aux besoins de renseignements émergents ou plus prioritaires.
  5. De façon générale, les cinq questions fondamentales ont couvert un éventail adéquat de questions et établissent un cadre cohérent qui a permis de comparer et d'analyser les évaluations au sein et à l'échelle des ministères au fil du temps. La pertinence perçue de certaines questions fondamentales a toutefois varié selon l'évaluation et le type d'utilisateur de l'évaluation.
  6. Des lacunes de longue date au chapitre de la disponibilité et de la qualité des données de mesure du rendement des programmes et des données financières structurées de façon incompatible ont continué de contraindre les évaluateurs sur le plan de la fourniture d'évaluations de l'efficacité, de l'efficience (y compris le rapport coût-efficacité) et de l'économie des programmes. Les organismes centraux et les cadres supérieurs ont exprimé le souhait d'obtenir, en particulier, des renseignements plus nombreux et de meilleure qualité sur l'efficience et l'économie des programmes.

Approches utilisées pour mesurer le rendement de la politique

En ce qui concerne les approches utilisées pour mesurer le rendement de la politique, l'évaluation a permis de constater ce qui suit :

  1. Les mécanismes de mesure du rendement de la politique ont permis de suivre les utilisations évidentes des évaluations – ceux qui étaient directes et plus immédiates – mais n'ont pas couvert l'éventail des utilisations indirectes, à long terme ou plus stratégiques, et pourraient ne pas avoir brossé un portrait fidèle de l'utilité des évaluations.

Autres constatations

L'évaluation a aussi permis de constater ce qui suit :

  1. Les exigences de la Politique sur l'évaluation et celles d'autres formes de surveillance et d'examen, comme l'audit interne, ont donné lieu à certains chevauchements et alourdi le fardeau.

Conclusions

La Politique sur l'évaluation de 2009 a aidé la fonction d'évaluation dans l'ensemble de l'administration fédérale à jouer un rôle plus important relativement au soutien du système de gestion des dépenses. La politique a également soutenu des utilisations comme l'amélioration des programmes et des politiques, la reddition de comptes et les rapports publics. Un solide engagement de la part des administrateurs généraux et des cadres supérieurs envers la gouvernance de la fonction d'évaluation a promu l'utilité des évaluations, et les besoins en matière d'évaluation des administrateurs généraux, des cadres supérieurs et des organismes centraux ont été bien servis. Dans certains cas, mais pas systématiquement dans tous les ministères, les fonctions d'évaluation ont produit des analyses horizontales qui ont contribué à un apprentissage inter-programmes fort utile, éclairé des améliorations à la fois du programme évalué et d'autres programmes, et de l'organisation dans son ensemble. Toutefois, dans le cadre de l'évaluation de l'efficacité, de l'efficience et de l'économie des programmes au chapitre des évaluations, les fonctions ministérielles étaient souvent limitées par des lacunes sur le plan de la disponibilité et de la qualité des données de mesure du rendement et par des données financières structurées de façon incompatible.

Les constatations ont montré que, même si l'on s'entend en général pour dire que toutes les dépenses du gouvernement doivent être évaluées périodiquement, il y avait aussi une opinion largement répandue selon laquelle le potentiel d'utilisation des évaluations individuelles doit influencer leur déroulement. En outre, les exigences de la politique concernant le calendrier et l'orientation des évaluations n'ont pas donné aux fonctions d'évaluation des ministères la marge de manœuvre voulue pour faire pleinement état des besoins des utilisateurs en matière de planification des évaluations ou pour satisfaire aux nouvelles priorités. L'on a constaté que les besoins d'évaluation variaient entre les différents groupes d'utilisateurs (en particulier, les besoins des organismes centraux et ceux des ministères étaient assez différents). Cependant, pour satisfaire aux exigences de portée en dépit des contraintes de ressources, les ministères ont parfois choisi des stratégies d'évaluation (par exemple, le groupement de programmes à des fins d'évaluation) qui étaient économiques, mais qui ont en définitive servi un éventail plus restreint de besoins des utilisateurs. La rigidité des exigences de portée et de fréquence a également fait en sorte qu'il a été difficile pour les ministères de coordonner la planification des évaluations avec d'autres fonctions de surveillance afin de maximiser l'utilité des évaluations et d'alléger le fardeau des programmes.

Recommandations

Au terme de l'évaluation, il est recommandé que le Secrétariat du Conseil du Trésor du Canada, au moment de renouveler la Politique sur l'évaluation en vue de la faire approuver par le Conseil du Trésor :

  1. Réaffirme et renforce les exigences de la Politique sur l'évaluation de 2009 en matière de gouvernance et de leadership des fonctions d'évaluation des ministères, lesquelles ont eu une incidence positive sur le recours à l'évaluation dans les ministères.
  2. Assouplisse les exigences de base de la Politique sur l'évaluation de 2009 et oblige les ministères à cerner et à prendre en considération les besoins de l'éventail complet des groupes d'utilisateurs de l'évaluation au moment de déterminer la façon d'évaluer périodiquement les dépenses des organisations (y compris l'étendue des programmes ou des dépenses examinés dans le cadre des évaluations individuelles), le calendrier des évaluations individuelles, et les questions à examiner dans les évaluations individuelles.
  3. Collabore avec les intervenants des ministères et des organismes centraux afin d'établir des critères pour orienter les processus de planification ministériels de sorte que toutes les dépenses de l'organisation soient prises en considération aux fins de l'évaluation selon les questions fondamentales; que les besoins de l'éventail complet des principaux utilisateurs des évaluations, à l'intérieur comme à l'extérieur du ministère, soient compris et pris en considération dans le cadre des décisions de planification; que les activités prévues des autres fonctions de surveillance soient prises en considération; et que les choix liés à la portée de l'évaluation et à l'étendue, au calendrier et aux questions traitées dans les évaluations individuelles soient justifiés avec transparence dans les plans ministériels d'évaluation.
  4. Mobilise les centres de politiques du Secrétariat qui guident les ministères dans la collecte et la structuration des données de mesure du rendement et des données de gestion financière de manière à mettre au point une approche intégrée pour mieux soutenir les fonctions d'évaluation des ministères pour ce qui est de l'évaluation de l'efficacité, de l'efficience et de l'économie des programmes.
  5. Favorise des pratiques, au Secrétariat et dans les ministères, consistant à mener des analyses régulières, systématiques et transversales d'un vaste éventail d'évaluations réalisées, et à utiliser ces analyses pour appuyer l'apprentissage organisationnel et la prise de décisions stratégiques dans l'ensemble des programmes et des organisations. À cet égard, le Secrétariat du Conseil du Trésor du Canada doit faciliter la mise en commun des pratiques exemplaires à l'échelle de l'administration fédérale aux fins de la réalisation et de l'utilisation d'analyses transversales.

1.0 Introduction

1.1 Objet de l'évaluation de la Politique sur l'évaluation

La Politique sur l'évaluation de 2009 doit elle-même être évaluée tous les cinq ans.

L'évaluation visait à :

  • Évaluer l'application et le rendement (efficacité, efficience et économie) de la politique et cerner les résultats de base, en particulier en ce qui a trait à l'utilisation et à l'utilité des évaluations;
  • Cerner les possibilités de mieux aider les ministères à satisfaire à leurs besoins en matière d'évaluation grâce à l'application assouplie de la politique, ainsi que de la directive et des normes connexes.

Cette évaluation aidera le Secrétariat du Conseil du Trésor du Canada à s'acquitter de ses responsabilités d'élaboration de la politique et à diriger la fonction d'évaluation à l'échelle du gouvernement.

1.2 Contexte

1.2.1 Évolution de la Politique sur l'évaluation fédérale et contexte du renouvellement de la Politique en 2009

Le gouvernement fédéral met en place des politiques centrales d'évaluation depuis 1977. Avant la Politique sur l'évaluation de 2009, les politiques fédérales positionnaient la fonction d'évaluation de manière à éclairer la gestion et l'amélioration des programmes, surtout du point de vue d'un gestionnaire de programme. En réaction au besoin croissant de preuves neutres et crédibles de l'optimisation des ressources publiques, la politique de 2009 a élargi l'orientation de façon à prévoir un rôle plus important pour la fonction d'évaluation à l'appui du système de gestion des dépenses. En outre, la politique situe le dirigeant de l'évaluation au niveau de conseiller stratégique auprès de l'administrateur général au sujet de la pertinence et du rendement des programmes ministériels. Parmi les facteurs ayant mené à la réorientation de la fonction d'évaluation, mentionnons :

  • L'exigence inscrite dans la loi en 2006 (article 42.1 de la Loi sur la gestion des finances publiques) d'examiner tous les cinq ans la pertinence et l'efficacité de tous les programmes de subventions et de contributions en cours;
  • Le renouvellement en 2007 du système de gestion des dépenses, qui donnait suite aux recommandations de Note en bas de page 4 de la vérificatrice générale, aux engagements du budget de 2006, et aux recommandations du Comité permanent des comptes publicsNote en bas de page 5 (adoptées par le comité en Note en bas de page 6) sur le positionnement de l'évaluation pour mieux appuyer le processus décisionnel en matière de gestion des dépenses;
  • L'avènement d'examens stratégiques et d'autres examens des dépenses, qui ont accru la demande pour que les évaluations fournissent de l'information au sujet de la pertinence et du rendement des programmes.

Des exigences de portée étaient prévues dans toutes les politiques fédérales d'évaluation antérieures, et elles variaient de l'obligation de veiller à ce que tous les programmes soient évalués périodiquement à celle d'envisager l'évaluation de tous les programmes, sans toutefois l'exiger. La politique de 2009 exige l'évaluation de toutes les dépenses de programmes directesNote en bas de page 7. De même, la fréquence d'évaluation était toujours précisée dans les politiques fédérales d'évaluation; cette fréquence variait toutefois de tous les trois ans à tous les six ans. L'évaluation doit désormais être effectuée tous les cinq ans en vertu de la politique de 2009. En outre, toutes les politiques fédérales d'évaluation incluaient une série de questions à traiter dans les évaluations. Depuis 1992, ces questions ont été cohérentes, exigeant que les évaluations portent sur la pertinence, l'efficacité et l'efficience des programmes. Cependant, suivant un changement notable apporté en 2009, les questions d'évaluation de base n'étaient plus discrétionnaires. De fait, la politique de 2009 fait en sorte qu'il est obligatoire que les évaluations portent sur cinq questions de base afin de satisfaire aux exigences de portée.

Pour plus de détails concernant l'évolution de l'évaluation dans l'administration fédérale, consulter l'annexe A.

1.2.2 Le contexte international de l'évaluation

Sur la scène internationale, alors que les gouvernements ont entrepris des exercices de réduction et de compression des dépenses au cours des dernières années, plusieurs pays ont étendu la portée de l'évaluation et ont pris des mesures pour améliorer la qualité de l'évaluation et mettre de l'avant l'utilisation de l'évaluation dans la prise de décisions. À titre d'exemple, le Royaume-Uni et les États-Unis ont pris des mesures pour renforcer l'utilisation des données d'évaluation afin de déterminer si des dépenses de programme sont efficaces et correspondent à une utilisation optimale des deniers publics. Au Royaume-Uni, la directive sur l'évaluation à l'intention des ministères et des organismes fédérauxNote en bas de page 8 indique que, à quelques exceptions près, tous les programmes, politiques et projets doivent être évalués en profondeur et que, en l'absence d'une évaluation, le risque est de ne pas savoir si des interventions sont efficaces ou permettent d'optimiser les deniers publics. Aux États-Unis, les évaluations sont présentées comme un moyen d'aider l'administration à déterminer comment dépenser l'argent des contribuables de manière efficace et efficiente – investir davantage dans ce qui fonctionne et moins dans ce qui ne fonctionne pasNote en bas de page 9.

1.2.3 Introduction de la Politique sur l'évaluation de 2009

L'actuelle Politique sur l'évaluation du gouvernement du Canada, qui remplace la Politique d'évaluation de 2001, a été instaurée le . Elle a pour objet de créer une base de données d'évaluation fiables et détaillées en vue d'appuyer l'amélioration des politiques et programmes, la gestion des dépenses, la prise de décisions par le Cabinet et la préparation des rapports à l'intention du public. Pour réaliser cet objectif, la politique a raffermi les exigences inhérentes à la portée de l'évaluation, à l'évaluation de l'optimisation des ressources consacrées aux programmes, à la qualité et au caractère opportun des évaluations, à la neutralité de la fonction d'évaluation et à la capacité d'évaluation des ministères. Dans son rapport de portant sur le chapitre 1 du Rapport de la vérificatrice générale du Canada de l'automne 2009 intitulé L'évaluation de l'efficacité des programmes, le Comité permanent des comptes publics exprime en ces termes son appui à l'orientation de la nouvelle politique : « Elle est donc essentielle pour pouvoir prendre des décisions judicieuses et éclairées au sujet de la conception des programmes et de l'affectation des ressources. Le Comité est un partisan de longue date du recours accru aux évaluations de l'efficacité au sein de l'administration fédérale et se réjouit de constater que le gouvernement a resserré les exigences à cet égard ».

La politique de 2009 et la directive et les normes connexes :

  • font en sorte que l'évaluation est une fonction relevant d'un administrateur général comportant une structure de gouvernance neutre au sein des ministères;
  • exigent une évaluation intégrale des dépenses de programmes directesNote en bas de page 10 tous les cinq ans;
  • précisent les principaux éléments inhérents à la pertinence et au rendement des programmes qui doivent être examinés dans toutes les évaluations (voir le tableau 2 à l'annexe A);
  • imposent aux gestionnaires de programmes de nouvelles exigences pour qu'ils élaborent et mettent en œuvre des stratégies de mesure continue du rendement;
  • établissent des compétences minimales pour les chefs de l'évaluation au sein des ministères;
  • fixent les normes de qualité de chaque évaluation;
  • exigent que les rapports d'évaluation puissent facilement être consultés par les Canadiens, et ce, en temps opportun.

La Politique sur l'évaluation de 2009 et la Directive sur la fonction d'évaluation ont instauré des assouplissements en vue d'aider les ministères à obtenir une portée complète.

En raison des changements importants apportés par la politique, et sur les conseils formulés par un comité consultatif d'administrateurs générauxNote en bas de page 11 en 2008, il a été décidé de procéder à une mise en œuvre progressive sur quatre ans pour donner aux ministères suffisamment de temps pour renforcer leur capacité et ainsi réussir à obtenir une portée d'évaluation complète. Pendant cette période de transition, les ministères pouvaient décider de mener leurs évaluations selon une approche axée sur le risque afin de choisir les composantes des dépenses de programmes directes qu'ils veulent évaluer. La période de transition ne s'appliquait pas aux programmes permanents de subventions et de contributions, lesquels devaient être évalués tous les cinq ans, conformément à l'obligation inscrite en 2006 dans la loi.

Par suite de la période de transition, qui a pris fin le , toutes les dépenses de programmes directes sont devenues assujetties à l'évaluation et, d'ici le , la condition de portée complète devra être remplie pour la première fois. Comme précisé à l'annexe A de la Directive sur la fonction d'évaluation, les ministères pourraient tenir compte du risque, des caractéristiques des programmes et d'autres facteursNote en bas de page 12 pour choisir les approches d'évaluation et calibrer les méthodes d'évaluation et le niveau d'effort à consacrer à chaque évaluation. En guise d'exemple, la calibration d'une évaluation afin de déployer moins d'efforts pourrait consister à :

  • Choisir des questions d'évaluation moins nombreuses et plus ciblées pour examiner les principaux problèmes d'optimisation des ressources ou pour mettre l'accent sur des aspects de programme que l'on sait déficients;
  • Choisir une démarche d'évaluation simplifiée et un calendrier écourté;
  • Calibrer les méthodes utilisées et le niveau d'effort en tirant parti des données existantes au lieu de recueillir de nouvelles données en autant que possible; utiliser des échantillons plus petits; utiliser des méthodes d'entrevue moins onéreuses (comme l'entrevue en ligne ou au téléphone au lieu de l'entrevue en personne, ou des entrevues en personne en groupe pour limiter les frais de déplacement); ou effectuer moins d'études de cas.

Les ministères pourraient aussi rajuster l'étendue des évaluations en groupant des programmes, plutôt qu'en les évaluant individuellement.

1.3 Survol de la fonction d'évaluation dans l'administration fédérale

En vertu de la Politique sur l'évaluation de 2009, l'évaluation sert divers utilisateurs, y compris les administrateurs généraux, les organismes centraux, les directeurs de programme, les ministres, les parlementaires et les Canadiens. Les évaluations appuient diverses utilisations, notamment l'amélioration des politiques et des programmes, la gestion des dépenses, le processus de prises de décisions au Cabinet et la présentation de rapports au public.

Comme exemples d'utilisateurs et d'utilisations, les évaluations peuvent éclairer les gestionnaires de programme au sujet des améliorations apportées aux programmes et des propositions de renouvellement ou de refonte des programmes (y compris les présentations au Conseil du Trésor); aider les administrateurs généraux à répartir les ressources entre les programmes; aider les organismes centraux à exercer leur fonction de remise en question lorsqu'ils analysent des présentations au Conseil du Trésor, des mémoires au Cabinet, et des propositions d'examen des dépenses, et dispensent des conseils en la matière; et aider les ministères à présenter aux parlementaires et aux Canadiens les résultats des programmes.

Les responsabilités associées à la mise sur pied et au maintien d'une solide fonction d'évaluation dans l'administration fédérale sont partagées. Si la responsabilité de la réalisation des évaluations incombe aux ministères et organismes, le secrétaire du Conseil du Trésor joue un rôle de leadership pour la fonction dans son ensemble, épaulé par le Centre d'excellence en évaluation du Secrétariat du Conseil du Trésor du Canada. Pour diriger la fonction d'évaluation à l'échelle du gouvernement, le Secrétariat :

  • Soutient les ministères au regard de la mise en œuvre de la Politique sur l'évaluation de 2009;
  • Favorise l'élaboration et l'échange de pratiques d'évaluation efficaces dans l'ensemble des ministères;
  • Appuie les initiatives de renforcement de la capacité propres à la fonction d'évaluation à l'échelle du gouvernement;
  • Assure le suivi des priorités pangouvernementales en matière d'évaluation et de l'état de la fonction d'évaluation, et présente un rapport annuel au Conseil du Trésor à ce sujet;
  • Élabore des recommandations de politique à l'intention du Conseil du Trésor.

La Politique sur l'évaluation exige l'établissement de rôles et de structures clés pour la direction et la gouvernance des fonctions d'évaluation dans les ministères, ainsi que l'instauration d'outils pour la planification de leurs activités. Il s'agit notamment du rôle du chef de l'évaluation en tant que responsable ministériel de l'évaluation et conseiller stratégique de l'administrateur général; du rôle du comité ministériel d'évaluation consistant à conseiller l'administrateur général et à faciliter l'utilisation de l'évaluation; et du plan ministériel d'évaluation comme outil d'expression des plans et des priorités et de l'aide à la coordination de l'évaluation et des besoins en mesure du rendement. Dans les petits ministères et organismes, les administrateurs généraux dirigent la fonction d'évaluation. Ils sont tenus de désigner un chef de l'évaluation, mais ils ne sont pas obligés de mettre sur pied des comités ministériels d'évaluation ni d'élaborer des plans ministériels d'évaluation.

La figure 1 illustre la structure de la fonction d'évaluation dans l'administration fédérale ainsi que les principaux rôles et responsabilités, du point de vue d'un grand ministère ou organisme.

Figure 1. Structure de la fonction d'évaluation dans l'administration fédérale
Structure de la fonction d'évaluation dans l'administration fédérale
Figure 1 - Version textuelle

La figure montre la structure de la fonction d'évaluation au gouvernement fédéral, dans un grand ministère ou organisme, y compris les structures de gouvernance et les responsabilités des personnes et des organisations, à partir de trois perspectives imbriquées. Les trois perspectives, de la plus étroite à la plus large, sont les suivantes : évaluations individuelles, fonctions individuelles d'évaluation des ministères et fonction d'évaluation à l'échelle du gouvernement.

Du point de vue des évaluations individuelles, les unités ministérielles d'évaluation sont responsables de la réalisation des évaluations. En tant que responsable du service d'évaluation du ministère, le chef de l'évaluation du ministère dirige les évaluations individuelles et en assure la qualité.

Du point de vue de la fonction ministérielle d'évaluation, l'administrateur général a la responsabilité globale de la fonction d'évaluation du ministère, approuve le plan ministériel d'évaluation et les rapports d'évaluation individuels, et utilise les évaluations pour éclairer la prise de décision au sein et en dehors du ministère ou organisme. Le comité ministériel d'évaluation assure la surveillance et l'orientation de la fonction ministérielle d'évaluation et fournit des conseils et des recommandations à l'administrateur général. Le chef de l'évaluation du ministère agit à titre d'expert technique et de conseiller stratégique auprès de l'administrateur général et du comité ministériel d'évaluation, rédige le plan d'évaluation du ministère et fait rapport chaque année sur l'état de la mesure du rendement. Le chef de l'évaluation du ministère a un libre accès à l'administrateur général pour toutes les questions d'évaluation.

Du point de vue l'ensemble du gouvernement, le Conseil du Trésor établit la politique à l'échelle du gouvernement pour la fonction d'évaluation du gouvernement fédéral au moyen de la Politique sur l'évaluation de 2009. La politique établit le rôle et les responsabilités du secrétaire du Conseil du Trésor au regard de l'exercice du leadership de la fonction à l'échelle du gouvernement. Soutenu par le Centre d'excellence en évaluation, le secrétaire assure la surveillance de la politique, le suivi et l'orientation, et fait rapport annuellement au Conseil du Trésor sur les priorités d'évaluation dans l'ensemble du gouvernement et sur l'état de la fonction d'évaluation.

1.4 Mise en œuvre de la Politique sur l'évaluation

Après l'introduction de la politique de 2009, le Secrétariat du Conseil du Trésor du Canada a continuellement surveillé la mise en œuvre de la politique et fait rapport à ce sujet. Afin de cerner les problèmes, le Secrétariat a effectué en 2013 un examen de la mise en œuvre qui a porté sur la période de transition de quatre ans ayant précédé la mise en œuvre complète de la portée d'évaluation exhaustive aux cinq ans.

Pris ensemble, l'examen de la mise en œuvre et les rapports annuels du Secrétariat sur l'état de la fonction d'évaluation entre 2010 et 2012 ont montré que les ministères avaient fait de solides progrès au cours de la période de transition de quatre ans au chapitre de la mise en place de structures de gouvernance pour la fonction (par exemple, comités ministériels d'évaluation et chefs de l'évaluation), du renforcement des capacités d'évaluation, de l'élargissement de la portée des évaluations, de la planification d'une portée complète, et du recours à l'évaluation pour soutenir la prise de décisions.

Lors de l'introduction de la politique de 2009, le Secrétariat avait prévu que les ministères devraient accroître les investissements dans la fonction d'évaluation pour atteindre et maintenir une portée d'évaluation exhaustive tous les cinq ans; une période d'examens des dépenses à l'échelle du gouvernement a toutefois suivi. Le tableau 1 montre le nombre d'évaluations et les ressources qui leur ont été allouées au cours des deux dernières années d'application de la politique de 2001, et la période de transition de quatre ans vers la politique de 2009 dans les grands ministères et organismes fédéraux.

La surveillance exercée par le Secrétariat a montré que les ressources financières affectées à la fonction à l'échelle du gouvernement fédéral ont été à peu près stables jusqu'en 2011-2012 avant de diminuer. Le nombre d'équivalents temps plein consacrés à la fonction a toutefois légèrement augmenté par rapport à 2008-2009 (la dernière année d'application de la politique de 2001), apparemment en réaffectant les budgets des services professionnels aux salaires.

Table 1. Fonctions d'évaluation dans les grands ministères et organismes tableau 1 note 1 *, de 2007–2008 à 2012–2013 : Nombre d'évaluations, équivalents temps plein et ressources financières tableau 1 note 2 **
  Politique d'évaluation de 2001 Politique sur l'évaluation de 2009
(période de transition)

Tableau 1 Notes

Source : Enquêtes d'évaluation de la capacité et surveillance du Secrétariat du Conseil du Trésor du Canada.

Tableau Note 1

Inclut les organisations décrites comme des grands ministères et organismes en vertu de la Politique sur l'évaluation, déterminé chaque exercice. La liste des grands ministères et organismes peut varier d'une année à l'autre.

Retour à la référence de note 1 en bas de tableau 1 *

Tableau Note 2

Les ressources combinent les ressources permanentes et les ressources temporaires.

Retour à la référence de note 2 en bas de tableau 1 **

Tableau Note 3

Pour 2007-2008, la catégorie « autres » inclut les autres ressources d'évaluation gérées par le chef de l'évaluation ainsi que les ressources temporaires au titre des salaires, des frais de fonctionnement et d'entretien, et des services professionnels.

Retour à la référence de note 3 en bas de tableau 1

Tableau Note 4

Pour la période de 2008-2009 à 2011-2012, la catégorie « autres » inclut les autres ressources d'évaluation non gérées par le chef de l'évaluation.

Retour à la référence de note 4 en bas de tableau 1 ††

Tableau Note 5

À partir de 2012-2013, les autres ressources ont cessé d'être surveillées parce qu'elles n'étaient pas gérées par les chefs de l'évaluation.

Retour à la référence de note 5 en bas de tableau 1 §

Tableau Note 6

Les chiffres étant arrondis, ils peuvent ne pas correspondre au total indiqué.

Retour à la référence de note 6 en bas de tableau 1 §§

Exercice 2007–2008 2008–2009 2009–2010 2010–2011 2011–2012 2012–2013
Nombre d'évaluations 121 134 164 136 146 123
Équivalents temps plein 409 418 474 459 477 459
Ressources financières (millions $)
Salaires 28,4 32,3 37,1 38,2 39,0 40,8
Fonctionnement et entretien 17,9 4,4 5,0 4,3 4,6 3,8
Services professionnels 4,2 20,5 19,1 17,6 14,3 11,6
Autres 6,7tableau 1 note 3 3,7tableau 1 note 4 †† 5,8tableau 1 note 4 †† 0,3tableau 1 note 4 †† 2,2tableau 1 note 4 †† Sans objettableau 1 note 5 §
Total des ressources financièrestableau 1 note 6 §§ 57,3 60,9 66,9 60,2 60,2 56,2

Même si le nombre d'évaluations (123) réalisées dans la dernière année de la période de transition de quatre ans a été inférieur au nombre d'évaluations produites dans la première année (164), les rapports d'évaluation produits en 2012-2013 ont couvert de plus grands montants de dépenses de programmes directes qu'avant 2009-2010. En 2012-2013, l'évaluation moyenne a couvert environ 78 millions de dollars en dépenses de programmes directes, contre une moyenne de 44 millions de dollars en 2008-2009. Ainsi, des renseignements d'évaluation étaient disponibles pour un plus grand montant de dépenses de programmes directes à l'échelle du gouvernement en vertu de la politique de 2009 que de celle de 2001.

L'examen de la mise en œuvre a permis de constater que les ministères avaient utilisé une ou plusieurs des stratégies présentées ci-dessous pour étendre la portée de l'évaluation à l'intérieur de leurs ressources budgétaires :

  • Groupement des programmes aux fins d'évaluation;
  • Calibration des efforts consacrés aux projets d'évaluation;
  • Recours accru à des évaluateurs internes;
  • Réduction des activités autres que l'évaluation.

Pour un sommaire des constatations issues de l'examen de la mise en œuvre, consulter l'annexe B.

1.5 Contexte du renouvellement de la Politique en 2014

L'évaluation de la Politique sur l'évaluation de 2009 a été menée pendant la même période que l'évaluation menée séparément de la Politique sur la structure de la gestion, des ressources et des résultats. Ensemble, ces exercices d'évaluation ont permis d'élargir le débat public en vue d'améliorer les deux politiques.

2.0 Approche et conception de l'évaluation

2.1 Approche et conception

L'évaluation a été fondée sur une approche largement axée sur des objectifs d'apprentissage visant à déterminer la mesure dans laquelle les objectifs de la politique ont été atteints et pourquoi, ainsi que sur un modèle d'analyse de la contribution (théorique) visant à cerner et à tester les hypothèses et les mécanismes de la politique. L'approche était aussi axée sur la collaboration, puisque l'équipe d'évaluation comprenait des experts-conseils de l'extérieur ainsi que des analystes du Centre d'excellence en évaluation du Secrétariat du Conseil du Trésor du Canada, qui est l'unité chargée d'élaborer et de faire des recommandations stratégiques au Conseil du Trésor. Les membres externes de l'équipe ont évalué le rendement de la Politique sur l'évaluation, établi une base de référence des résultats, et évalué les approches utilisées par les ministères et le Secrétariat pour mesurer le rendement de la politique. Les membres internes de l'équipe ont examiné l'application des exigences de la politique et en ont exploré les possibilités d'assouplissement. Les membres externes et internes de l'équipe ont exercé une fonction de remise en question du travail de chacun et assuré la qualité des produits d'évaluation.

L'évaluation s'est caractérisée par le recours à différents modèles de recherche, y compris des études de cas, des séries chronologiques interrompues, des prétests rétrospectifsNote en bas de page 13 et des éléments descriptifs.

2.2 Méthodologie

Les méthodes d'évaluation suivantes ont été utilisées :

  • Études de cas du rendement de la politique dans 10 ministères et organismes pour analyser qualitativement l'utilisation de l'évaluation, à partir d'un échantillon total de 28 évaluations menées dans ces ministères. Quatre-vingt-six entrevues auprès de répondants clés ont été menées auprès de chefs et de directeurs de l'évaluation, de membres d'équipes d'évaluation, de gestionnaires des programmes évalués, de membres du comité ministériel d'évaluation et de fonctionnaires d'organismes centraux. Les études de cas ont également comporté des examens des documents;
  • Études de cas d'application de la politique pour six types de programmes ou catégories de dépenses, en utilisant 24 exemples de ministères et organismes, afin d'analyser qualitativement la pertinence des exigences politiques clés et de cerner les possibilités d'assouplissement des exigences pour une portée complète des dépenses de programmes directes, des évaluations quinquennales, et l'examen des cinq questions fondamentales. Pour les études de cas, 39 consultations ont été menées auprès de gestionnaires de programmes ministériels et de professionnels de l'évaluation, et 8 consultations ont été menées auprès de fonctionnaires d'organismes centraux. Les six types de programmes ou catégories de dépenses étaient les suivants :
    • Quotes-parts payables aux organisations internationales;Note en bas de page 14
    • Fonds de dotation;Note en bas de page 15
    • Programmes assortis d'une exigence d'évaluations indépendantes commandées par le bénéficiaire;Note en bas de page 16
    • Programmes à faible risque;
    • Programmes visant l'obtention de résultats à long terme;
    • Autres programmes désignés par les ministères comme présentant des difficultés sous l'angle de l'application de la politique;
  • Consultations auprès de 35 chefs de l'évaluation, ou de leurs délégués, en petits groupes;
  • Enquêtes en ligne auprès de 115 gestionnaires de programmes et de 153 évaluateurs et gestionnaires de l'évaluation;
  • Analyses statistiques descriptives et inférentielles des données de suivi de la politique déjà recueillies par le Centre d'excellence en évaluation (Enquête d'évaluation de la capacité et résultats d'évaluation du Cadre de responsabilisation de gestion);
  • Schématisation des processus pour donner un aperçu de la façon dont la fonction d'évaluation est exercée dans les ministères, y compris les processus de planification, de réalisation et d'utilisation des évaluations;
  • Examen de documents internes et externes, y compris l'examen de la mise en œuvre de la Politique sur l'évaluation, et un résumé des consultations menées en 2014 auprès des administrateurs généraux et d'autres répondants clés relativement aux évaluations quinquennales de la Politique sur l'évaluation et de la Politique sur la structure de la gestion, des ressources et des résultats;
  • Une revue de documents spécialisés sur les politiques et les pratiques d'évaluation observées dans d'autres pays, dont les États-Unis, le Royaume-Uni, l'Australie, la Suisse, le Japon, l'Inde, l'Afrique du Sud, le Mexique et l'Espagne, ainsi que le Groupe d'évaluation des Nations Unies, le Comité d'aide au développement de l'Organisation de coopération et de développement économiques, et le Groupe d'évaluation indépendant de la Banque mondiale.

Pour plus de détails au sujet des méthodes d'évaluation utilisées, voir l'annexe C.

2.3 Gouvernance

L'évaluation a été régie par deux comités consultatifs : l'un d'eux composé de chefs de l'évaluation, et l'autre de représentants des organismes centraux. Les travaux de chaque comité ont été régis par un cadre de référence. Chaque comité a formulé des observations et des commentaires sur le plan global d'évaluation, y compris les questions d'évaluation et les catégories d'études de cas, le plan de travail d'évaluation de l'équipe d'évaluation externe, les résultats préliminaires des études de cas sur le rendement et sur l'application de la politique, les conclusions globales provisoires du rapport final d'évaluation, et le rapport final d'évaluation.

Pour plus de détails sur les comités de gouvernance de cette évaluation, voir l'annexe C.

2.4 Questions et période d'évaluation

L'évaluation de la Politique sur l'évaluation de 2009 a couvert la période du (mise en œuvre de la politique) au .

Les questions d'évaluation étaient les suivantes :

  1. Dans quelles circonstances ou conditions, le cas échéant, conviendrait-il de ne pas aborder les cinq questions fondamentales dans une évaluation? Quelles répercussions cela aurait-il sur l'utilisation et l'utilité des évaluations pour différents utilisateurs (y compris ceux des ministères responsables et des organismes centraux) ainsi que sur l'objectif de la politique?
  2. Dans quelles circonstances et conditions, le cas échéant, l'exigence d'une évaluation quinquennale n'est-elle pas appropriée? Quelles répercussions, le cas échéant, une modification de cette exigence aurait-elle sur l'utilisation et l'utilité des évaluations pour différents utilisateurs (y compris ceux des ministères responsables et des organismes centraux) ainsi que sur l'objectif de la politique?
  3. L'approche fondée sur la portée exhaustive des évaluations est-elle le modèle le plus approprié pour garantir que les évaluations contribuent à l'amélioration des politiques et des programmes, à la gestion des dépenses (dépenses de programmes directes), à la prise de décisions par le Cabinet et à l'établissement de rapports à l'intention du public?
  4. Dans quelle mesure les méthodes actuelles de mesure du rendement de la politique sont-elles appropriées, valides et fiables?
  5. Quels résultats doivent servir de référence pour mesurer le rendement de la politique relativement à l'utilisation des évaluations en vue d'appuyer les activités suivantes :
    • Élaboration et amélioration des politiques et des programmes?
    • Gestion des dépenses (dépenses de programmes directes)?
    • Prise de décisions par le Cabinet?
    • Responsabilité et établissement de rapports publics
    • Réponse aux besoins des administrateurs généraux et des autres utilisateurs de l'évaluation?
  6. Les évaluations donnent-elles lieu à une amélioration du processus décisionnel en matière de gestion des dépenses (dépenses de programmes directes) et à l'accroissement de l'efficacité, de l'efficience ou des économies du côté des programmes et des politiques?
  7. Dans quelle mesure l'atteinte des résultats demeure-t-elle possible, compte tenu des capacités et des ressources actuelles?
  8. Quels sont les principaux facteurs internes et externes qui influent sur l'atteinte (ou la non-réalisation) des résultats attendus?

2.5 Limites

Le Centre d'excellence en évaluation était à la fois le gestionnaire de l'entité évaluée (Politique sur l'évaluation) et un membre de l'équipe d'évaluation. Pour atténuer les préoccupations entourant l'objectivité du Centre dans la réalisation de l'évaluation, les comités consultatifs ont examiné les plans d'évaluation et les produits livrables provisoires; l'équipe externe a joué un rôle de remise en question du travail de l'équipe interne; un processus d'assurance de la qualité a été établi pour les rapports techniques et finaux, dont les équipes d'évaluation externe et interne étaient respectivement responsables; et une théorie de contribution a été appliquée à la Politique sur l'évaluation (voir l'annexe D) afin d'analyser d'autres explications possibles aux résultats observés relativement à la politique.

Pour les études de cas, les ministères ont identifié eux-mêmes des exemples d'évaluation, ce qui conduisait à une possibilité de biais de sélection et de réponse dans les informations fournies au sujet des exemples. Pour valider l'information autodéclarée, l'équipe d'évaluation a examiné et analysé des documents et des documents spécialisés à l'appui. En outre, des consultations ont été menées auprès des représentants des organismes centraux, et des consultations de suivi ont été tenues avec des représentants du ministère provenant à la fois de l'unité d'évaluation et de divers secteurs de programmes.

Dans la plupart des cas, les représentants des organismes centraux n'ont pas été en mesure de commenter des cas particuliers (exemples de programmes ou catégories d'études de cas), puisqu'il y a eu roulement du personnel depuis l'achèvement des évaluations. Dans la mesure du possible, les éléments probants liés à des cas particuliers ont été recueillis; autrement, les observations et les perceptions générales ont été explorées au sujet de l'applicabilité et de l'utilité des exigences de la politique et des autres approches. Dans certains cas, les ministères avaient également connu un roulement ou n'avaient pas donné suite aux demandes de consultations.

Suivant l'une des limites potentielles des études de cas sur le rendement, pour les évaluations récentes menées conformément aux exigences de la politique de 2009, il ne s'est pas écoulé assez de temps pour que ces évaluations puissent être pleinement utilisées. Pour atténuer cette limite, des évaluations réalisées avant 2013 ont été incluses dans les cas sélectionnés. 

3.0 Constatations

3.1 Rendement et résultats de la politique

3.1.1 Résultats de base de la politique (questions 5 et 6)

1. Constatation : En général, les besoins des administrateurs généraux et des cadres supérieurs en matière d'évaluation ont été bien servis dans le contexte de la Politique sur l'évaluation de 2009. La haute direction a pu tirer des renseignements stratégiques à l'appui de la prise de décisions au niveau supérieur. Parallèlement, les efforts déployés pour satisfaire aux exigences de portée de la politique ont parfois rendu les services d'évaluation moins en mesure de satisfaire aux besoins émergents de la haute direction.

Les administrateurs généraux qui ont été consultés ont indiqué que, en vertu de la politique de 2009, leur ministère a produit une solide base d'évaluations et qu'il avait la capacité de les utiliser. Les études de cas sur le rendement ont montré que les évaluations satisfaisaient à un vaste éventail de besoins des administrateurs généraux, notamment :

  • Fournir des preuves de l'efficacité des programmes à l'appui des décisions de renouvellement;
  • Indiquer où les résultats des programmes n'étaient pas susceptibles d'être atteints;
  • Révéler des constatations connexes dans le cadre d'une série d'évaluations à l'appui de la prise de décisions stratégiques – par exemple, pour cerner un sujet de préoccupation généralisée.

Les études de cas sur le rendement ont montré que les évaluations ont appuyé la prise de décisions stratégiques en présentant un portrait du rendement des programmes ministériels plus global qu'en vertu de la Politique d'évaluation de 2001. La tendance à l'évaluation de programmes groupés ou d'entités plus grandes, ainsi que la convergence de toutes les évaluations au niveau des comités ministériels d'évaluation (ou comités exécutifs), ont permis aux cadres supérieurs de répertorier des tendances dans de nombreux programmes et évaluations. Les éléments probants issus de consultations ont montré que certains ministères ont produit des analyses transversales à partir de plusieurs évaluations de programmes ciblant des résultats communs. Dans une étude de cas, les renseignements tirés de plusieurs évaluations ont incité un administrateur général à demander l'examen spécial d'un type de mécanisme de financement; dans une autre étude de cas, ces renseignements ont influencé la réaffectation des ressources parmi un ensemble d'activités horizontales hautement prioritaires. Les cadres supérieurs au sein des comités ministériels d'évaluation ont également appliqué les leçons tirées d'évaluations menées dans une autre direction à des programmes exécutés dans leur propre direction.

Les données d'enquête ont montré que les gestionnaires de programme estiment que les cadres supérieurs ont été bien servis en vertu de la politique de 2009. Les trois quarts des gestionnaires de programme interrogés (75 %) ont indiqué qu'il était assez utile (38 %) ou très utile (37 %)Note en bas de page 17 pour les cadres supérieurs (sous-ministres, sous-ministres délégués et sous-ministres adjoints) de disposer d'évaluations de leurs programmes tous les cinq ans, comme l'exige la politique. En outre, la majorité des gestionnaires de programme (entre 68 % et 87 %) a estimé que chacune des cinq questions fondamentales était assez utile ou très utile à la haute direction.

Parallèlement, les études de cas sur le rendement ont montré que, dans certains ministères, les efforts déployés pour satisfaire aux exigences de portée de la politique ont empêché les services d'évaluation de bien répondre aux besoins de la haute direction en matière d'études spéciales, d'évaluations ou d'examens particuliers sur des questions émergentes. Comme le montre la figure 2, la plupart des évaluateurs interrogés ont déclaré que le pourcentage de temps consacré à des activités d'évaluation directement liées à la politique a augmenté après l'entrée en vigueur de la politique de 2009, tandis que le pourcentage de temps consacré à d'autres évaluations, à des examens, à des études ou à des activités de recherche a diminué.

Figure 2. Variation de la proportion de temps consacré par les évaluateurs à diverses activités depuis l'entrée en vigueur de la Politique sur l'évaluation de 2009 (N = 41 à 82)
Variation de la proportion de temps consacré par les évaluateurs à diverses activités depuis l'entrée en vigueur de la Politique sur l'évaluation de 2009
Figure 2 - Version textuelle

La figure montre la variation du pourcentage de temps que les évaluateurs, en moyenne, ont consacré à diverses activités depuis l'entrée en vigueur de la Politique sur l'évaluation de 2009. Les valeurs moyennes de chacune des six activités sont tracées sur une échelle verticale. Les valeurs de zéro à un représentent les activités auxquelles une proportion de temps accrue a été consacrée, et les valeurs de zéro à moins un représentent les activités auxquelles une proportion de temps réduite a été consacrée. Les valeurs moyennes sont basées sur les réponses de l'enquête auprès des évaluateurs, en utilisant une échelle de trois points, où -1,00 indique une diminution de la proportion du temps consacré, zéro signifie que la proportion du temps consacré est restée la même, et 1,00 indique une augmentation de la proportion du temps consacré.

Deux activités ont affiché des valeurs moyennes montrant une augmentation, sur la moyenne de l'ensemble des évaluateurs, de la proportion du temps consacré à des activités d'évaluation directement liées à la politique (valeur moyenne de 0,59) et à des activités administratives intégrées (valeur moyenne de 0,25). Deux activités ont affiché des valeurs moyennes qui ne montrent qu'une légère diminution, sur la moyenne de l'ensemble des évaluateurs, de la proportion du temps consacré à d'autres activités (valeur moyenne de -0,04) et à l'élaboration ou au soutien de l'élaboration de stratégies de mesure du rendement (valeur moyenne de -0,06). Les deux activités restantes affichent des valeurs moyennes qui montrent une diminution, sur la moyenne de l'ensemble des évaluateurs, de la proportion du temps consacré à d'autres évaluations (valeur moyenne de -0,19) et à des examens, d'autres études et d'autres activités de recherche (valeur moyenne de -0,22). La taille de l'échantillon (nombre d'évaluateurs participants) a varié de 41 à 82, selon l'activité.

2. Constatation : La politique a exercé une influence globale positive au chapitre de la satisfaction des besoins des gestionnaires de programmes, et les évaluations initiales de certains programmes ont été utiles. Cependant, les gestionnaires de programmes dont les programmes ont été évalués dans le cadre d'une évaluation en groupe ou comme une entité d'architecture d'alignement des programmes de haut niveau ont parfois trouvé que leurs besoins n'étaient pas aussi bien satisfaits qu'avant 2009, quand leur programme faisait l'objet de sa propre évaluation.

Les gestionnaires de programme interrogés ont estimé que les évaluations étaient utiles à diverses fins. En particulier, 81 % des gestionnaires de programme ont jugé les évaluations comme étant assez utiles (25 %) ou très utiles (56 %) pour soutenir l'amélioration des programmes, et 79 % des gestionnaires de programme ont estimé que les évaluations étaient assez utiles (33 %) ou très utiles (46 %) aux fins de l'élaboration des programmes et des politiques. Des études de cas sur le rendement ont montré que certains gestionnaires de programmes évalués pour la première fois ont acquis des connaissances qui ont mené à des améliorations. En outre, les résultats d'études de cas ont suggéré que ces programmes n'auraient jamais été évalués sans l'exigence de portée complète de la politique.

Parallèlement, un autre résultat de l'examen de la mise en œuvre a montré que les gestionnaires de programme ne trouvent pas toujours que leurs programmes respectifs transparaissent dans les conclusions des évaluations dont l'étendue est harmonisée avec des entités de l'architecture d'alignement des programmes (une base d'analyse courante des évaluations)Note en bas de page 18 ou qui englobent des programmes groupés. Dans ces cas, les évaluations ne leur ont pas fourni des données suffisamment détaillées pour apporter des améliorations au programme. Des études de cas sur le rendement ont illustré que certains ministères ont abordé cette question en concevant ces évaluations de manière à produire des constatations et des conclusions à divers degrés de détails.

Pour ce qui est d'aider les gestionnaires de programme dans le contexte de l'élaboration des stratégies de mesure du rendement, l'influence de la Politique a été mixte. Suivant les résultats de l'examen de la mise en œuvre, les exigences de portée complète et de fréquence ont tenu les services d'évaluation trop occupée pour aider les gestionnaires de programme à mettre au point leurs stratégies dans la même mesure qu'auparavantNote en bas de page 19. Certaines unités d'évaluation ont toutefois souligné leur soutien aux gestionnaires de programme à cet égard, afin de s'assurer que la mesure du rendement appuierait les futures évaluations. L'enquête menée auprès des évaluateurs a montré que, à la suite de l'entrée en vigueur de la politique de 2009, le pourcentage d'évaluateurs qui passent moins de temps à soutenir l'élaboration de stratégies de mesure du rendement (38 %) a légèrement dépassé le pourcentage d'évaluateurs qui y consacrent plus de temps (32 %). Le reste des évaluateurs ont indiqué que le temps consacré à cette tâche était resté le même. Même si certains évaluateurs ont consacré moins de temps à soutenir l'élaboration de stratégies de mesure du rendement, 90 % des gestionnaires de programme interrogés en 2014 ont indiqué que leurs programmes étaient assortis d'une stratégie de mesure du rendement. En ce qui concerne les programmes dotés d'une stratégie de mesure du rendement en place, 93 % des gestionnaires de programme avaient consulté leur fonction ministérielle d'évaluation lors de l'élaboration des stratégies.

3. Constatation : Les organismes centraux ont constaté que les évaluations étaient de plus en plus disponibles, et, à l'instar des ministères, ils les utilisaient de plus en plus pour éclairer des activités de gestion des dépenses comme les propositions de dépenses (en particulier, les renouvellements de programmes) et les examens des dépenses. Parallèlement, il est arrivé souvent que les évaluations ne répondent pas aux besoins des organismes centraux en matière de renseignements sur l'efficience et l'économie des programmes.

Les analystes des organismes centraux ont généralement considéré les évaluations comme une source d'information clé sur les programmes et il est arrivé souvent qu'ils les consultent en premier lieu dans le cadre de leur analyse des propositions de dépensesNote en bas de page 20. Des études de cas sur le rendement et des consultations auprès des intervenants ont montré que les analystes du Secrétariat avaient généralement encouragé l'utilisation par les ministères des résultats d'évaluation dans les présentations au Conseil du Trésor, qu'ils avaient continuellement exigé des renseignements d'évaluation aux fins des renouvellements de financement en particulier, et qu'ils avaient recommandé que les ministères ne demandent pas d'approbation de financement sans une évaluation récente à l'appui. Les analystes du Secrétariat ont indiqué que, avant la politique de 2009, les évaluations n'étaient pas toujours disponibles à l'appui des présentations au Conseil du Trésor, mais qu'aujourd'hui, si des projets de présentations ne renferment pas de renseignements d'évaluation, les analyses demandent souvent ces renseignements aux ministères. En outre, lorsque des résultats d'évaluation sont négatifs, les analystes demandent aux ministères de confirmer que des correctifs ont été adoptés.

Plusieurs éléments de preuveNote en bas de page 21 ont révélé que les évaluations étaient plus largement utilisées comme source de renseignements à l'appui des présentations au Conseil du Trésor et, dans une moindre mesure, des mémoires au Cabinet. Dans le cadre de l'enquête d'évaluation de la capacité, 96 % des grandes organisations ont déclaré en 2012-2013 qu'elles avaient utilisé la totalité ou la quasi-totalité des évaluations pertinentes pour éclairer les présentations au Conseil du Trésor, et 78 % ont déclaré avoir utilisé la totalité ou la quasi-totalité des évaluations pertinentes pour éclairer les mémoires au Cabinet. Ces résultats se comparent à ceux de l'enquête de 2008-2009, avant la politique de 2009, où 74 % des grandes organisations avaient déclaré presque toujoursNote en bas de page 22 tenir compte des résultats d'évaluation dans les présentations au Conseil du Trésor et où 51 % avaient indiqué presque toujours en tenir compte dans les mémoires au Cabinet. La plupart des grandes organisations ont établi un processus officiel d'inclusion des renseignements d'évaluation dans les présentations (79 %) et les mémoires au Cabinet (65 %) en 2013-2014. Les évaluations ont été couramment utilisées pour soutenir le renouvellement de dépenses en cours, notamment pour les programmes permanents de subventions et de contributionsNote en bas de page 23. Les analystes des organismes centraux ont généralement utilisé les renseignements d'évaluation afin d'éclairer leurs conseils aux ministres du Conseil du Trésor, et certains ont fait remarquer qu'ils ont reçu régulièrement des questions du Cabinet au sujet des résultats d'évaluation.

Sur la base d'études de cas sur le rendement et l'application, et de consultations auprès des intervenants, l'utilisation et l'utilité des évaluations, en particulier du côté des organismes centraux, ont été affectées par la façon dont le calendrier d'évaluation a concordé avec le calendrier des décisions de dépenses. Les organismes centraux ont parfois signalé que les évaluations sont arrivées trop tard pour éclairer convenablement les décisions de renouvellement. Par exemple, il a été signalé que les discussions clés sur le renouvellement sont souvent tenues un an ou plus avant qu'une présentation au Conseil du Trésor soit rédigée. Dans ces cas, une évaluation qui est terminée tout juste à temps pour être annexée à la présentation peut être considérée comme arrivant trop tard pour aider les analystes des organismes centraux. Il convient également de préciser, cependant, que dans les ministères, les rapports d'évaluation provisoires sont souvent mis à la disposition des gestionnaires de programme beaucoup plus tôt, ce qui leur permet de tirer parti des conclusions et des connaissances produites, même si le rapport n'a pas été entièrement approuvé.

Si l'on se fie à l'examen de la mise en œuvre et aux consultations menées dans le cadre des études de cas auprès de représentants des organismes centraux, il appert que l'utilité de l'évaluation a également été affectée par la façon dont l'étendue de l'évaluation correspond à l'unité de dépense qui a fait l'objet d'une décision. Lors de l'analyse et de la prestation de conseils entourant les mémoires au Cabinet ou les présentations au Conseil du Trésor, les besoins en matière d'information des organismes centraux avaient tendance à être propres à un projet ou à un programme, c'est-à-dire propres à l'unité du financement renouvelé. Lorsque les évaluations avaient une vaste portée, comme un programme d'une architecture d'alignement des programmes, elles ne fournissaient pas des renseignements suffisamment détaillés. Des études de cas et des consultations auprès des intervenants ont montré qu'il arrivait souvent que les évaluations ne satisfaisaient pas aux besoins d'information des organismes centraux concernant l'efficience et l'économie des programmes, par exemple, parce que l'analyse par les évaluateurs des organismes centraux du rapport coût-efficacité des programmes avait été limitée par des renseignements financiers structurés de manière incompatible. Les organismes centraux voulaient aussi de meilleurs éléments probants sur les autres programmes dans le cadre de comparaisons dans l'ensemble de l'administration fédérale et de comparaisons intergouvernementales. Suivant l'un des principaux risques associés à des évaluations qui ne répondent pas aux besoins en matière d'information des organismes centraux, l'analyse et les conseils dispensés aux ministres par les organismes centraux au sujet des propositions ministérielles peuvent ne pas être aussi bien étayés de preuves neutres qu'ils pourraient l'être.

L'utilisation de moyenne à élevéeNote en bas de page 24 des évaluations dans le cadre des examens de dépenses (par exemple, des examens stratégiques) a été rendue possible par la disponibilité et la pertinence accrues des évaluationsNote en bas de page 25, et la plupart des membres des comités ministériels d'évaluation et des cadres supérieurs qui ont été consultés, y compris les administrateurs généraux consultés en 2014, ont rapporté un haut degré d'utilité de l'évaluation en ce sens. Près des deux tiers des évaluateurs interrogés ont déclaré des impacts positifs sur l'utilité des évaluations au regard des examens de dépenses en raison de l'exigence de portée complète (63 %) et de l'obligation touchant les questions fondamentales (62 %) de la politique. Les administrateurs généraux consultés par le Secrétariat du Conseil du Trésor du Canada en 2010 ont indiqué que les examens stratégiques avaient rehaussé le profil de la fonction d'évaluation en exigeant que les ministères s'attaquent systématiquement aux problèmes fondamentaux de pertinence des programmes. La majorité des gestionnaires de programme interrogés (63 %) ont indiqué que les évaluations étaient assez utiles (44 %) ou très utiles (19 %) aux fins des examens des dépenses. La plupart des analystesNote en bas de page 26 de programme du Secrétariat ont signalé que les évaluations avaient soutenu leur analyse lors des examens de dépenses et que, dans de nombreux ministères, ces examens ont fait augmenter la demande d'évaluations et que l'attention portée par les cadres supérieurs avait mis en valeur toute l'utilité de la fonction d'évaluation.

4. Constatation : Le recours à l'évaluation en vertu de la politique de 2009 a été significatif, mais l'utilisation et l'incidence pourraient être accrues en s'assurant que les évaluations réalisées, ainsi que leur calendrier, leur étendue et leur orientation, correspondent plus étroitement aux besoins des utilisateurs.

Avant l'entrée en vigueur de la politique de 2009, des faiblesses au chapitre de l'utilisation de l'évaluation avaient été consignéesNote en bas de page 27. Après 2009, la surveillance et les rapports du Secrétariat ont révélé une utilisation intensive de l'évaluation pendant la période de transition de la politique. Dans le cadre de l'enquête d'évaluation de la capacité de 2012-2013, les grands ministères ont signalé des taux élevés de mise en œuvre des réponses et des plans d'action de la direction; sur les 901 éléments du plan d'action de la direction qui devaient être achevés en 2012-2013, 53 % ont été entièrement mis en œuvre avant la fin de l'exercice, et 21 % ont été partiellement mis en œuvre. En outre, les cotes attribuées dans le cadre d'examens inhérents au Cadre de responsabilisation de gestion ont fait état d'une vaste utilisation de l'évaluation; plus de 96 % des grands ministères ont été jugés acceptables ou solides au titre de l'utilisation de l'évaluation en 2013-2014, comparativement à 77 % des grands ministères en 2007-2008 et 78 % en 2008-2009.

Lorsqu'ils ont été consultés à l'automne 2010, de nombreux administrateurs générauxNote en bas de page 28 ont déclaré que l'évaluation apportait une solide contribution à la prise de décisions, mais un certain nombre d'administrateurs généraux ont estimé qu'il était possible d'en faire davantage. Lorsqu'ils ont été consultés en 2014, les administrateurs généraux ont reconnu l'utilité des évaluations aux fins de l'amélioration et de l'élaboration des politiques et des programmes, des examens stratégiques et comme moyen de conserver la mémoire institutionnelle, tout en signalant qu'il y avait parfois eu des problèmes de calendrier, d'orientation et d'échelle (niveau d'intensité) des évaluations.

Dans le cadre des études de cas, les évaluations ont été considérées comme les plus utiles quand elles étaient menées en temps opportun, quand elles fournissaient de nouvelles informations, et quand elles ne consistent pas simplement à cerner de nouveau des problèmes d'exécution des programmes que les utilisateurs connaissaient déjà. Les évaluations ont été considérées comme moins utiles quand elles ne pouvaient pas mener à l'apprentissage organisationnel, quand il n'y avait pas de décision à éclairer, ou quand aucune mesure ne pouvait être prise. Les organismes centraux ainsi que les gestionnaires de programme, les chefs de l'évaluation et les évaluateurs ont noté des situations dans lesquelles les évaluations étaient moins utiles, y compris lorsque leur calendrier, leur étendue, leur orientation, la longueur de leur rapport et leur niveau de rigueur analytique ne correspondaient pas aux besoins ou aux intérêts des décideurs. Parmi les principaux risques associés à la production d'évaluations de faible utilité, mentionnons le fait de dépenser inefficacement des ressources d'évaluation, plutôt que d'affecter les ressources à des évaluations qui seraient plus utiles et, de façon plus générale, de diminuer la valeur perçue de la fonction d'évaluation dans son ensemble.

5. Constatation : Les évaluations réalisées ont eu comme incidence principale de soutenir l'amélioration des politiques et des programmes.

Des analyses effectuées par le Centre d'excellence en évaluation ont révélé que 75 % des rapports d'évaluationNote en bas de page 29 achevés en 2010-2011 comportaient des recommandations pour améliorer les processus des programmes. De même, pour l'ensemble des évaluations examinées dans les études de cas sur le rendement, la plupart des recommandations portaient sur l'amélioration des programmes, et toutes ont été effectivement suivies à cette fin. Les études de cas sur le rendement ont également montré que la quasi-totalité des évaluations examinées avaient servi à l'amélioration des programmes et que certaines évaluations avaient abouti à des améliorations à un plus vaste éventail de programmes que celui évaluéNote en bas de page 30. D'autres études de cas sur le rendement ont toutefois aussi montré que certaines évaluations n'avaient pas été utilisées à des fins d'amélioration lorsque des décisions internes n'avaient laissé aucune possibilité de mise en œuvre des recommandations – par exemple, lorsque le programme avait été éliminé ou complètement réorganisé. La preuve a démontré que, dans le cadre de l'examen de la pertinence et du rendement des programmes, les évaluations contribuaient parfois à des gains d'efficience opérationnelle, mais que ces gains se traduisaient rarement par des économies de coûts directs.

Parmi une liste d'utilisations possibles de l'évaluation, les gestionnaires de programmes ont classé l'amélioration des politiques et des programmes comme celle qui avait été la plus utile; 81 % des gestionnaires de programme ont déclaré que les évaluations étaient assez utiles (25 %) ou très utiles (56 %) dans cette optique. Dans l'ensemble, les évaluateurs et les gestionnaires de programme ont signalé que la politique avait eu un effet positif ou neutre sur l'utilité des évaluations pour éclairer l'amélioration des politiques et des programmes; 56 % des évaluateurs et 35 % des gestionnaires de programme ont indiqué que l'utilité des évaluations avait augmenté, alors que seule une petite proportion (9 % et 5 % respectivement) a déclaré que leur utilité avait diminué. Le reste (35 % des évaluateurs et 60 % des gestionnaires de programme) a déclaré que l'utilité était restée la même.

La preuve a démontré que l'utilisation des évaluations à des fins de reddition de comptes et de rapports publics avait augmenté, et les gestionnaires de programme et les évaluateurs ont indiqué que la politique avait eu un effet positif sur l'utilité des évaluations à ces finsNote en bas de page 31. Dans le Rapport de du vérificateur général du Canada, il est précisé que les rapports sur le rendement présentés au Parlement faisaient trop peu usage des résultats d'évaluation; en 2011, l'enquête annuelle d'évaluation de la capacité a montré qu'une forte proportion des grandes organisations (89 %) tenaient compte d'au moins 80 % de leurs évaluations lors de la préparation de leurs rapports ministériels annuels sur le rendement. En 2013-2014, l'enquête annuelle d'évaluation de la capacité a révélé que 91 % des grandes organisations avaient instauré des processus officiels pour s'assurer que les rapports d'évaluation étaient pris en considération dans les rapports au Parlement.

Des études de cas sur le rendement ont montré que les organisations affichaient habituellement les rapports d'évaluation, y compris les réponses et les plans d'action de la direction, sur leurs sites Web, bien que dans certains cas, l'affichage survenait longtemps après l'achèvement de l'évaluation. Dans les études de cas sur le rendement, un petit nombre d'intervenants ont suggéré qu'une partie du décalage entre l'achèvement fonctionnel du travail d'évaluation et l'approbation et la publication de rapports était attribuable aux discussions internes entourant la préparation des rapports destinés au public, qui ont mené dans certains cas à des rapports moins critiques.

 

6. Constatation : Le recours accru aux évaluations pour soutenir la prise de décisions a été favorisé par le changement de culture observé en faveur de la valorisation et de l'utilisation des évaluations.

Des conditions clés ont dû être établies pour que la politique permette d'obtenir les résultats visés sous l'angle de l'utilisation des évaluationsNote en bas de page 32. Selon la théorie du changement mise au point aux fins de la Politique sur l'évaluation (voir l'annexe D), la politique visait à instaurer un changement de culture dans les ministères de manière à accroître la valeur et la confiance accordée à l'évaluation, ainsi que son évaluation. Ce changement de culture a été mis en évidence par :

  • Le changement observé sur le plan des perceptions des intervenantsNote en bas de page 33 qui, plutôt que de considérer les évaluations comme un élément alourdissant le fardeau de la surveillance des programmes, ont commencé à prendre conscience de la valeur des évaluations et des compétences offertes par l'unité d'évaluationNote en bas de page 34;
  • L'intensification du dialogue ministériel relatif à l'évaluation depuis 2009, comme l'ont déclaré 71 % des évaluateurs et 46 % des gestionnaires de programme interrogésNote en bas de page 35;
  • Les taux élevés de mise en œuvre des recommandations, favorisés par l'établissement de systèmes de suivi de la mise en œuvre des recommandations d'évaluation, que 97 % de tous les grands ministères avaient déclaré avoir mis en place en 2013-2014Note en bas de page 36.

L'intérêt plus général des administrateurs généraux pour l'évaluation a probablement contribué dans une grande mesure aux résultats observésNote en bas de page 37. Les évaluations, sous l'angle du Cadre de responsabilisation de gestion, des fonctions ministérielles d'évaluation ont permis d'attirer l'attention de la direction et elles ont été partiellement responsables d'apporter une plus grande visibilité à l'évaluation. Une analyse des cotes des examens du Cadre de responsabilisation de gestion de 2006-2007 à 2011-2012 a révélé une tendance à la hausse de l'utilisation de l'évaluation, et de la portée, de la gouvernance et du soutien, et de la qualité des rapports d'évaluation.

3.1.2 Facteurs ayant une incidence sur l'obtention de résultats (question 8)

7. Constatation : Les facteurs qui ont eu l'influence positive la plus évidente sur le recours à l'évaluation dans les ministères ont été les éléments de politique liés à la gouvernance et au leadership de la fonction d'évaluation, alors que les facteurs qui ont entravé le plus évidemment le recours à l'évaluation ont été ceux qui ont trait aux ressources et aux calendriers.

Dans l'ensemble des éléments de preuve, la mobilisation des hauts dirigeants en faveur des fonctions ministérielles d'évaluation a semblé avoir l'influence positive la plus nette sur l'utilisation de l'évaluation. Cette influence a été attribuée, au moins en partie, aux exigences de la politique relatives à la gouvernance et au leadership (par exemple, les rôles et les responsabilités définis des administrateurs généraux, des comités ministériels d'évaluation et des chefs de l'évaluation, et le libre accès à l'administrateur général accordé au chef de l'évaluation), et à un climat, à l'échelle du gouvernement, qui a mis l'accent sur la gestion axée sur les résultats et sur la prise de décisions fondée sur des données probantes. La mobilisation accrue de la haute direction a mené à une mise en œuvre intensifiée des plans d'action et elle a rehaussé la visibilité globale de la fonction d'évaluation. La présence d'administrateurs généraux dans la plupart des comités ministériels d'évaluation a permis de faire en sorte que les résultats d'évaluation soient pris au sérieux, et le contrôle exercé par un niveau exécutif supérieur pourrait avoir contribué à l'augmentation de la qualité de l'évaluation.

Comme on peut le voir à la figure 3, les évaluateursNote en bas de page 38 ont indiqué que l'engagement des comités ministériels d'évaluation, des cadres supérieurs et des gestionnaires de programmes, ainsi que la disponibilité d'un personnel d'évaluation qualifié à l'interne, avaient eu une influence positive sur l'obtention des résultats de la politique. Les évaluateurs ont indiqué que ces facteurs ont eu une incidence positive sur l'utilisation et l'utilité plus souvent que les exigences de la politique concernant la couverture complète des dépenses de programmes directes, les évaluations quinquennales, et l'examen des cinq questions fondamentales.

Les évaluateurs interrogés ont déclaré que les influences négatives les plus évidentes sur l'utilité de l'évaluation sont attribuables aux calendriers des projets d'évaluation, aux budgets des projets d'évaluation, et aux examens des dépenses. Même si le Secrétariat du Conseil du Trésor du Canada n'a pas assuré de suivi des changements des budgets des projets individuels d'évaluation, les ressources financières gouvernementales pour l'évaluation ont été inférieures de 8 % en 2012-2013, par rapport à 2008-2009, avant l'entrée en vigueur de la politique, malgré une augmentation initiale la première année de mise en œuvre de la politique de 2009. Les études de cas sur le rendement ont fourni des renseignements additionnels sur l'influence des examens de dépenses en tant que facteur externe sur l'utilité de l'évaluation : dans certains cas, les évaluations n'ont pas pu être utilisées à des fins d'amélioration des programmes parce que les dépenses de programmes avaient été sensiblement modifiées ou interrompues. Les gestionnaires de programme et les cadres supérieurs ont également noté que la contribution des évaluations à la prise de décisions pourrait être affectée par la disponibilité d'autres formes de surveillance et d'examen, comme les examens de dépenses, surtout quand certaines des informations d'entrée étaient disponibles dans plusieurs sources.

Figure 3. Incidence de divers facteurs sur l'utilisation de l'évaluation déclarée par les évaluateurs
(N = 98 à 141)
Incidence de divers facteurs sur l'utilisation de l'évaluation déclarée par les évaluateurs
Figure 3 - Version textuelle

La figure montre la mesure dans laquelle les évaluateurs, en moyenne, ont estimé que divers facteurs avaient eu des répercussions positives ou négatives sur l'utilisation des évaluations. Les valeurs moyennes sont basées sur les réponses à l'enquête auprès des évaluateurs en utilisant une échelle de trois points, où -1,00 signifie que le facteur a eu une incidence négative sur l'utilisation de l'évaluation, zéro signifie que le facteur n'a eu aucune incidence sur l'utilisation de l'évaluation, et 1,00 signifie que le facteur a eu une incidence positive sur l'utilisation de l'évaluation.

Sept facteurs ont eu des valeurs moyennes indiquant des effets positifs sur l'utilisation de l'évaluation : (1) la mobilisation du comité ministériel d'évaluation (valeur moyenne de 0,68), (2) le soutien de la haute direction (valeur moyenne de 0,60), (3) la mobilisation des gestionnaires de programme (valeur moyenne de 0,53), (4) la disponibilité d'un personnel interne compétent (valeur moyenne de 0,49), (5) l'exigence des cinq questions fondamentales (valeur moyenne de 0,27), (6) l'exigence de portée complète (valeur moyenne de 0,26), et (7) l'exigence d'évaluations quinquennales (valeur moyenne de 0,08). Trois facteurs ont eu des valeurs moyennes indiquant des répercussions négatives sur l'utilisation de l'évaluation : (1) les budgets (valeur moyenne de -0,10), (2) l'examen des dépenses (valeur moyenne de -0,12), et (3) les calendriers (valeur moyenne de - 0,28). La taille de l'échantillon (nombre d'évaluateurs participants) a varié de 98 à 141, selon le facteur.

Les évaluations et les cotes du Cadre de responsabilisation de gestion ont eu une influence considérable sur la mise en œuvre de la politique et les résultats. D'un point de vue positif, elles ont attiré l'attention de la haute direction sur l'évaluation et ont aidé à rehausser la visibilité de la fonction. D'un point de vue négatif, elles ont favorisé l'adoption d'un comportement d'aversion au risque qui pourrait avoir limité l'utilisation par les ministères des assouplissements prévus par la politique. Comme indiqué dans l'examen de la mise en œuvre, même s'il existait des assouplissements permettant de calibrer l'effort d'évaluation au moment d'aborder les questions fondamentales, ceux-ci n'ont pas été pleinement exploités en raison de préoccupations selon lesquelles cela aurait nui aux évaluations du Cadre de responsabilisation de gestion. Cette constatation a été corroborée par les études de cas sur le rendement et les consultations des intervenants, y compris les consultations auprès des administrateurs généraux, qui ont indiqué que, même si d'autres assouplissements de la politique pourraient être nécessaires, les assouplissements existants n'avaient pas été pleinement exploités.

Le montant des subventions et des contributions administrées par les différents ministères est un autre facteur qui a influé sur l'incidence de la politique sur la réalisation et l'utilisation des évaluations. Dans les ministères où ce montant était élevé, l'incidence de la politique a été faible en raison de l'exigence préexistante inscrite dans la Loi sur la gestion des finances publiques (article 42.1) pour une portée complète sur cinq ans de ces dépenses. Les intervenants ont noté que les organisations ayant un montant élevé de subventions et de contributions avaient des fonctions d'évaluation qui étaient bien établies et qui produisaient des évaluations utiles avant 2009.

3.1.3 Durabilité des résultats (question 7)

8. Constatation : Malgré les préoccupations exprimées au sujet de leur capacité de satisfaire à toutes les exigences de la politique, les ministères, de façon générale, s'attendent à satisfaire à toutes les exigences à l'intérieur de l'actuelle période de cinq ans.

Une comparaison des données de l'enquête d'évaluation de la capacité recueillies avant 2009 et en 2012-2013 a montré que, en moyenne, les grandes organisations ont augmenté les ressources humaines consacrées à leurs fonctions d'évaluation de 10 %, mais que leurs ressources financières ont diminuées de 8 %. Comme mentionné précédemment, afin d'élargir la portée de l'évaluation avec ces ressources, les ministères ont employé diverses stratégies. Des évaluateursNote en bas de page 39 ont signalé que les stratégies les plus efficaces avaient consisté à calibrer l'étendue et l'approche d'évaluation en fonction des risques du programme, à harmoniser l'étendue d'une évaluation avec les services de l'architecture d'alignement des programmes, à grouper les programmes liés, et à faire appel de façon accrue au personnel interne pour réaliser des évaluationsNote en bas de page 40. La tendance à la réalisation d'évaluations ayant de larges étendues a toutefois affecté l'utilité des évaluations – par exemple, certains gestionnaires de programme ont trouvé que l'information disponible pour éclairer les améliorations à apporter aux programmes était moins détaillée.

Lorsqu'ils ont été consultés dans le cadre de l'examen de la mise en œuvre, les chefs de l'évaluation ont désigné les ressources comme ayant été le principal facteur contraignant aux fins du respect des exigences de portée, et ils étaient préoccupés par leur capacité de bien répondre aux exigences compte tenu des ressources dont ils disposaient. Même si les chefs de l'évaluation et d'autres intervenantsNote en bas de page 41 ont exprimé des inquiétudes sur la capacité de la fonction d'atteindre et de maintenir une portée complète sur cinq ans, il est apparu dans la plupart des cas que les ministères pouvaient gérer leur capacité de manière à répondre aux exigences. Les trois quarts des évaluateursNote en bas de page 42 (74 %) ont indiqué que l'utilité de la fonction d'évaluation pourrait être maintenue avec les ressources actuelles et, dans une question ultérieure, plus du tiers (36 %) ont a déclaré que l'utilité pourrait être accrue.

Malgré la possibilité d'obtenir une portée complète d'évaluation avec la capacité actuelle, plusieurs éléments de preuveNote en bas de page 43 ont montré qu'une plus grande souplesse est nécessaire sous l'angle de l'application des exigences stratégiques liées à la portée, au calendrier, à l'étendue et à l'orientation pour que les évaluations correspondent davantage aux besoins d'information des différents utilisateurs. La question de la souplesse est explorée plus en profondeur dans les sections suivantes du présent rapport.

3.2 Application des trois principales exigences de la politique

9. Constatation : Les difficultés de mise en œuvre d'une portée complète ont découlé des besoins combinés des trois principales exigences de la politique (portée complète des dépenses de programmes directes, évaluations quinquennales et examen des cinq questions fondamentales), et du contexte des ressources limitées pour procéder à des évaluations. L'exigence des évaluations quinquennales a semblé être au cœur des difficultés de mise en œuvre dans la plupart des ministères.

Même si la pertinence et l'incidence des trois principales exigences de la politique sont examinées séparément dans les paragraphes ci-dessous, la présente évaluation a révélé qu'il y avait une interaction claire entre les exigences. Par exemple, les difficultés associées à la portée complète étaient souvent liées au délai de cinq ans pour obtenir une portée complète ou à l'exigence d'examen des cinq questions fondamentales, plutôt qu'à l'obligation de portée complète en soi. Les principales difficultés associées aux exigences de la portée complète et aux questions fondamentales pourraient être attribuées dans une grande mesure à l'exigence entourant les évaluations quinquennales. De nombreux intervenants ont appuyé l'évaluation périodique de tous les programmes, mais pas la rigidité d'une évaluation quinquennale qui ne répond pas à leurs besoins d'information. D'autres ont appuyé le principe de l'examen des questions fondamentales, mais s'interrogent quant à la nécessité de les examiner en totalité tous les cinq ans.

La plupart des éléments de preuveNote en bas de page 44, y compris les consultations auprès des intervenants, ont mené à la formulation de doutes quant à la capacité des ministères d'atteindre une portée complète en cinq ans. Certains intervenants ont estimé que les exigences étaient trop élevées, compte tenu des ressources actuelles; d'autres ont établi que les ressources constituaient la contrainte principale qui les empêchait de répondre aux exigences de portée et de produire des évaluations significatives. Dans ce contexte, la tendance actuelle vers l'évaluation d'entités de programme plus grandesNote en bas de page 45 a été renforcée par les exigences d'évaluations quinquennales et de portée complète, qui ont incité les ministères à opter de plus en plus pour l'évaluation des programmes en groupes ou comme des services d'architecture d'alignement des programmes. Les administrateurs généraux consultés en 2014 ont déclaré que l'exigence de portée globale a incité les ministères à évaluer de plus grandes unités de programme, et les éléments de preuve tirés de l'étude de cas ont montré que les ministères ont couramment employé cette stratégie pour étendre la portée de l'évaluation. En outre, un échantillon de plans ministériels d'évaluation analysés par le Centre d'excellence en évaluation en 2011 a montré que l'étendue des deux tiers des évaluations était conforme aux programmes ou aux sous-programmes de l'architecture d'alignement des programmes.

Des études de cas ont montré que, pour satisfaire aux exigences de portée, les ministères ont parfois détourné des ressources d'évaluation de tâches plus prioritaires ou de besoins émergents vers des évaluations de petits programmes à faible risque, et de moins grande importance. Les administrateurs généraux consultés en 2014 ont indiqué que l'exigence d'une portée complète à atteindre sur une période de cinq ans a restreint la marge de manœuvre dont disposaient les ministères pour cibler les évaluations vers les priorités nouvelles ou émergentes. L'exigence d'évaluations quinquennales prévue dans la politique, jumelée à l'exigence de la Loi sur la gestion des finances publiques d'une portée complète en cinq ans de tous les programmes de subventions et de contributions, a signifié que, dans certaines organisations et certaines années, le calendrier d'achèvement des évaluations n'était pas flexible pour un grand nombre d'entre elles. Par exemple, un chef de l'évaluation a suggéré que jusqu'à 80 % du plan d'évaluation de l'unité avait été remanié en vue de satisfaire aux exigences de la Loi sur la gestion des finances publiques et de la politique. Il a été signalé dans les consultations qu'il y avait eu peu de différenciation entre l'exigence de cinq ans de la Loi sur la gestion des finances publiques (article 42.1) qui portait expressément sur les programmes de subventions et de contributions, et les exigences de portée de la Politique sur l'évaluation. Cette constatation donne à penser que les observations des administrateurs généraux au sujet des difficultés et de la rigidité de l'exigence de portée complète en cinq ans de la politique peuvent aussi s'appliquer à l'obligation inscrite dans la loiNote en bas de page 46.

En raison des exigences d'évaluations quinquennales et de portée complète, certaines évaluations ont dû être effectuées alors qu'un programme n'était pas assez avancé ou que ses données de mesure du rendement étaient insuffisantes, ce qui a rendu ces évaluations moins utiles et plus difficiles à réaliser.

Des consultations et d'autres éléments de preuve ont montré que, malgré les difficultés des exigences de portée, les ministères n'ont pas essayé d'éviter de réaliser des évaluations. Ils ont toutefois pris conscience de la nécessité pour le Secrétariat du Conseil du Trésor du Canada de permettre aux ministères d'exercer une certaine flexibilité quant à l'application des trois principales exigences de la politique, afin d'assurer la valeur, l'utilité, l'efficience et le rapport coût-efficacité de l'évaluation. Suivant une opinion répandue parmi les intervenants, pour les questions fondamentales, la fréquence et la portée, les évaluations en vertu de la politique de 2009 visaient à répondre aux besoins en matière d'information des organismes centraux autant ou plus qu'aux besoins de la haute direction dans les ministères.

3.2.1 Portée complète (question d'évaluation 3)

10. Constatation : Les intervenants à tous les niveaux ont reconnu les avantages d'une portée complète pour ce qui est d'englober les besoins de tous les utilisateurs des évaluations et d'atteindre tous les objectifs de la politique. Néanmoins, l'on a observé des situations où les évaluations individuelles ont clairement eu peu d'utilité.

Un examen de documents spécialisés a révélé que sixNote en bas de page 47 pays sur neuf, ainsi que le Comité d'aide au développement de l'Organisation de coopération et de développement économiques, ont recommandé la portée complète de l'évaluation. Parmi les autres approches utilisées dans d'autres administrations, mentionnons le ciblage de la portée de l'évaluation en tenant compte de divers facteurs, comme les besoins en matière de prise de décisions, les priorités, l'avancement du programme, le type de programme, les résultats d'auto-évaluation et les thèmes importants à l'échelle du gouvernement.

Les administrateurs généraux consultés en 2014 ont exprimé des opinions partagées sur la pertinence de l'exigence de portée complète; un grand nombre d'entre eux étaient en faveur de la portée complète, certains avec insistance, tandis qu'un plus petit nombre étaient en faveur d'un modèle plus axé sur les risques. Cependant, ceux qui favorisaient le modèle de portée complète ont souvent déclaré que la période de cinq ans pour obtenir une portée complète a causé des difficultés. Parmi les raisons pour lesquelles les administrateurs généraux soutenaient la portée complète, mentionnons les suivantes :

  • C'est logique d'évaluer tous les programmes.
  • Cela garantit une surveillance rigoureuse et la reddition de comptes, et empêche de « balayer les problèmes sous le tapis ».
  • Cela mène à des étendues d'évaluation qui sont souvent à un niveau plus élevé et qui appuient la prise de décisions concernant d'importantes unités redditionnelles.

Les répondants des organismes centraux ont généralement exprimé leur appui à une portée complète, car l'examen de l'utilisation par le gouvernement des contributions de l'ensemble des contribuables correspond à une saine gouvernance. Des études de cas ont montré que, sans l'exigence de portée complète, certains programmes peu prioritaires ou à faible risque auraient été exclus de l'évaluation. Les répondants des organismes centraux ont toutefois estimé opportun d'évaluer périodiquement les programmes à faible risque et à long terme, puisque ces évaluations pourraient être importantes aux fins de la formulation de conseils aux ministres du Conseil du Trésor sur le renouvellement des programmes et pour assurer la reddition de comptes au public. Les études de cas sur le rendement ont démontré qu'il y avait lieu d'évaluer certains programmes à faible risque. Parallèlement, les répondants des organismes centraux ont également reconnu que l'évaluation de certains programmes n'était pas pratique. Les organismes centraux qui ont soulevé des préoccupations au sujet de l'exigence de portée complète ont souvent parlé des évaluations peu utiles – par exemple, les évaluations qui ne peuvent pas entraîner de recommandations concrètes.

Les chefs de l'évaluation qui ont été consultés se sont généralement mis d'accord sur plusieurs avantages qu'ils ont observés du côté de l'obligation de portée complète en vigueur depuis 2009. En particulier, ils ont déclaré que cela permettait d'utiliser les évaluations pour éclairer la prise de décisions (notamment pour les programmes dépourvus d'une évaluation antérieure) et d'éclairer des processus comme les rapports ministériels sur le rendement et les rajustements de l'architecture d'alignement des programmes. Ils ont également signalé que la portée complète avait rehaussé la visibilité de la fonction, la validation et la responsabilisation de la fonction dans les ministères, tout en augmentant sa charge de travail et, à l'occasion, ses ressourcesNote en bas de page 48.

Les opinions d'autres groupes d'intervenants, notamment les gestionnaires de programme et les évaluateursNote en bas de page 49, ont été plus divisées. Parmi les intervenants ayant soutenu une portée complète, l'on s'est entendu pour dire que, en principe, toutes les dépenses doivent être évaluées périodiquement. Ces intervenants ont signalé que, parmi les avantages que comporte l'exigence de portée complète, il y avait l'obtention de renseignements sur des programmes qui n'avaient jamais été évalués ou dont l'évaluation avait eu lieu il y a longtemps, ainsi qu'une perspective stratégique sur le rendement recoupant l'ensemble des programmes ministériels connexes – par exemple, pour permettre de cerner les éléments de redondance et de synergie. Les évaluateurs, en particulier, ont indiqué de façon générale que la portée complète avait accru l'utilité des évaluations pour tous les usages principaux ciblés par la politiqueNote en bas de page 50. En outre, des études de cas ont montré que l'exigence avait eu un effet profond dans certains ministères, en particulier ceux ayant de faibles dépenses au chapitre des subventions et des contributions, puisque de nombreuses évaluations ont été menées au sujet d'entités qui n'avaient jamais été évaluées avant 2009. Ces évaluations ont produit parfois des résultats utiles qui ont mené à l'amélioration des programmes. Dans certains cas cependant, les intervenants ont indiqué que, si une évaluation n'avait pas été exigée, l'organisation aurait probablement réalisé un autre type d'étude pour répondre à ses besoins.

Dans tous les groupes d'intervenants, ceux qui n'appuyaient pas la portée complète ont généralement remis en question l'utilisation de ressources pour évaluer des programmes où les besoins en information perçus étaient peu élevés (par exemple, les programmes à faible risque, ou lorsqu'il existait d'autres sources de renseignements), et où l'évaluation était susceptible de n'avoir aucune utilité ou lorsqu'il ne pourrait être donné suite aux recommandations. Par exemple, les études de cas ont montré que certains intervenants avaient remis en question la valeur de l'application de l'exigence de portée complète aux contributions obligatoires parce que les évaluations n'auraient eu aucun impact sur les dépenses que le Canada est tenu de consacrer à ces programmes. Des études de cas ont toutefois montré que les évaluations existantes des contributions obligatoires, qui avaient mis l'accent sur l'efficacité de l'effort du Canada (par exemple, le fait de tirer des avantages pour le Canada ou d'influer sur les politiques organisationnelles ou sur la coordination entre les différents ministères et organismes engagés auprès de l'organisation internationale) avaient une valeur éprouvée. Les contributions obligatoires sont également soumises aux exigences d'évaluation de la Loi sur la gestion des finances publiques (article 42.1) et à la Politique sur les paiements de transfert.

Un petit nombre d'administrateurs générauxNote en bas de page 51 et de chefs de l'évaluation ainsi qu'une minorité de gestionnaires de programmes et d'évaluateurs ont suggéré de revenir à l'ancien modèle de planification de l'évaluation fondé sur le risque, c'est-à-dire de tenir compte des risques pour décider s'il y a lieu ou non d'évaluer des programmes. Cette suggestion a été assortie de plusieurs mises en garde, notamment que les approches fondées sur les risques ne constituaient pas une panacée; que des directives claires de l'administration centrale seraient nécessaires pour assurer la cohérence de l'évaluation des risques; que l'importance relative seule ne devait pas servir à définir le risque; et qu'au moins un cycle complet d'application de l'exigence de portée complète pourrait être nécessaire pour fournir l'assurance que les niveaux de risque des programmes sont évalués avec précision.

Un certain nombre d'autres approches en matière de portée ont été suggérées dans le cadre des études de cas et des consultations, y compris :

  • Une portée complète sur une période plus longue (fréquence espacée);
  • Une portée axée sur le risque, avec une calibration des évaluations individuelles;
  • Des évaluations ciblées (évaluations qui ont une étendue plus étroite ou qui portent sur des enjeux ou des thèmes particuliers);
  • Des évaluations axées sur les priorités et les intérêts du ministère;
  • Des évaluations où le gain potentiel en information est le plus élevé.

En revanche, certains répondants d'organismes centraux et chefs de l'évaluation ont recommandé que la politique soit élargie pour exiger l'évaluation de types de dépenses de programmes qu'elle n'évalue pas actuellement. Parmi les types de programmes mentionnés en particulier, il y avait les programmes temporisés ou à durée limitée, les services internes et les programmes législatifs (au-delà des seuls aspects administratifs). Les organismes centraux en particulier ont signalé que les programmes temporisés ou à durée limitée sont parfois renouvelés, et que les évaluations sont utiles pour éclairer le processus de renouvellement.

3.2.2 Évaluations quinquennales (question 2)

11. Constatation : Le fait de procéder à des évaluations quinquennales a eu du pour et du contre, selon la nature des programmes et les besoins des utilisateurs. Pour optimiser l'utilité de l'évaluation d'un programme donné, des évaluations plus ou moins fréquentes, ou à fréquence réglable, pourraient être nécessaires.

12. Constatation : Combinée avec l'exigence de portée complète, la fréquence quinquennale a restreint la marge de manœuvre dont disposent les services d'évaluation pour satisfaire aux besoins de renseignements émergents ou plus prioritaires.

Au sein de l'ensemble des groupes d'intervenants, différents points de vue ont été exprimés au sujet de la pertinence et de l'utilité de l'exigence de fréquence quinquennale inscrite dans la politique. Même si la fréquence quinquennale des évaluations a été perçue comme routinière et insensible aux besoins et préférences de la direction, tous les groupes d'intervenants ont signalé des aspects à la fois positifs et négatifs.

Comparativement à d'autres groupes d'intervenants, les organismes centraux ont plus fortement appuyé l'exigence de fréquence quinquennale. Ce soutien peut s'expliquer par la nature du travail des organismes centraux, qui exige souvent de conseiller le Conseil du Trésor au sujet des renouvellements de financement, qui se produisent généralement tous les cinq ans et qui peuvent être éclairés par des évaluations.

Les chefs de l'évaluation ont souligné le pour et le contre de l'exigence de fréquence quinquennale avec autant d'importance, alors que les gestionnaires de programmeNote en bas de page 52 et les évaluateursNote en bas de page 53 ont été plus nombreux à favoriser d'autres fréquences. Par exemple, 63 % des évaluateurs interrogés ont estimé qu'une autre fréquence que tous les cinq ans devrait être utilisée pour évaluer les programmes, sauf les programmes permanents de subventions et de contributions. Il convient également de signaler que les expériences des ministères au chapitre de la mise en œuvre de la politique de 2009 ont pu varier largement selon la nature de leurs programmes, leur historique d'évaluation et les expériences de leurs administrateurs généraux et chefs de l'évaluationNote en bas de page 54.

Parmi les aspects positifs de l'exigence de fréquence quinquennale soulignés par une majorité de groupes d'intervenants, mentionnons les suivants :

Disponibilité et large soutien à la prise de décisions :
L'exigence a créé et assuré une base constante d'information sur l'ensemble des dépenses de programmes directes à l'appui de tous les domaines de la prise de décisions – par exemple, les besoins en gestion des dépenses, les examens des dépenses et la reddition de comptes.
Informations récentes :
L'exigence a permis de faire en sorte que les informations tirant leurs sources d'évaluations ne remontent pas à plus de cinq ans. Les organismes centraux Note en bas de page 55 et les cadres supérieurs ont dit qu'ils ne tenaient pas compte des évaluations de plus de cinq ans et ont estimé que celles qui avaient été menées dans les deux ou trois dernières années étaient les plus utiles – par exemple, pour éclairer les présentations au Conseil du Trésor.
Renforcement global de la fonction d'évaluation :
L'exigence a soutenu une culture d'évaluation, de mesure du rendement et d'apprentissage; elle a rehaussé la visibilité des fonctions d'évaluation; favorisé la planification de l'évaluation; et accru la participation des gestionnaires de programme, notamment au chapitre de la mesure du rendement.

Parmi les aspects négatifs de l'exigence de fréquence quinquennale signalés par la plupart des groupes d'intervenants, mentionnons les suivants :

Calendrier d'évaluation qui ne correspond pas toujours aux besoins :
L'exigence a donné lieu à un calendrier routinier qui n'a pas toujours permis de produire une évaluation au moment le plus opportun – par exemple, lorsque le contexte du programme avait été stabilisé; quand il n'y avait pas de décision particulière à éclairer; lorsque des informations récentes étaient disponibles dans d'autres sources ou activités d'examen; lorsque d'importants changements récents du programme avaient rendu une évaluation prématurée; ou quand une évaluation plus rapide aurait fourni des informations utiles et formatrices sur un nouveau programme.
Capacité d'évaluation surchargée et réactivité réduite :
L'exigence a atténué la réactivité de certaines fonctions d'évaluation aux besoins en information nouveaux et émergents, ou elle a limité leur capacité de se concentrer sur les vrais problèmes, les activités stratégiques ou les projets d'évaluation de plus grande valeur, puisque les ressources étaient entièrement consacrées à l'exécution des plans ministériels d'évaluation. Dans certains cas, cette exigence a mené à la hiérarchisation des évaluations de faible risque ou de faible intérêt pour les administrateurs généraux. Il a également été signalé que le délai d'exécution des évaluations modifie la façon dont les évaluations peuvent facilement être intégrées à un cycle de cinq ans Note en bas de page 56.
Effets des larges étendues d'évaluation :
Comme indiqué précédemment, l'exigence a donné lieu à des stratégies visant à évaluer les programmes en groupes ou en tant qu'entités plus importantes. Cette approche a réduit l'utilité des évaluations pour certains utilisateurs, mais elle a abouti à une utilité accrue pour d'autres.
Mauvaise utilisation des ressources :
Comme précisé par le vérificateur général au printemps de 2013 Note en bas de page 57, l'exigence avait limité la capacité des ministères à utiliser au mieux leurs ressources en matière d'évaluation. La majorité des groupes d'intervenants ont exprimé des préoccupations semblables.
Valeur perçue de la fonction d'évaluation à la baisse :
Certains ont déclaré un effet combiné négatif de ce qui précède (calendrier ne correspondant pas aux besoins, faible réactivité et mauvaise utilisation des ressources) sur la valeur perçue de la fonction d'évaluation dans son ensemble.

En outre, les chefs de l'évaluation et les évaluateurs ont signalé un aspect négatif de l'exigence de fréquence quinquennale comme un fardeau pour certains programmes de subir des évaluations répétées. Malgré ce fardeau, les trois quarts (77 %) des gestionnaires de programme interrogés dont les programmes avaient été évalués depuis 2009 ont estimé qu'il était assez utile (41 %) ou très utile (36 %) d'avoir une évaluation de leur programme tous les cinq ans, afin de soutenir leur prise de décisions et leurs besoins en gestion de programmes.

Même si une approche d'évaluation régulière et cyclique a souvent été préférée à une approche ad hoc, l'opinion dominante était que la fréquence quinquennale n'était pas à propos dans certaines situations. Beaucoup ont favorisé l'idée de bénéficier d'une plus grande souplesse au chapitre de la fréquence d'évaluation afin que les évaluations puissent être programmées pour assurer une utilité maximale, notamment en retardant une évaluation afin d'en faciliter une autre. Lorsque la fréquence quinquennale ne convenait pas, les intervenants ont proposé de nombreux autres facteurs de déclenchement et considérations pour le calendrier des évaluations. Selon les éléments de preuve provenant de nombreuses sourcesNote en bas de page 58, les autres approches relevaient de trois grandes catégories :

  • L'adoption d'une fréquence d'évaluation plus grande, comme sept, huit ou même dix ans;
  • Le maintien d'une fréquence quinquennale tout en permettant aux ministères de cibler les évaluations sur des domaines de programmes particuliers ou de plus petites composantes de programme, plutôt que sur des programmes complets;
  • Déterminer le calendrier des évaluations en fonction des besoins.

À l'échelle internationale, les politiques d'évaluation font le plus souvent concorder le moment des évaluations avec la prise de décisions et les exigences ou les processus redditionnels. La présente évaluation a permis de constater que l'on fait de plus en plus concorder le moment des évaluations avec les présentations au Conseil du Trésor, ce qui contribue à l'utilisation et à l'utilité des évaluations.

Dans tous les groupes d'intervenants, une proportion des intervenants ont indiqué que l'importance du programme et le niveau de risque devraient être les principaux facteurs à examiner pour déterminer la fréquence d'évaluation, et que le cycle de vie ou l'état d'avancement du programme devraient également être considérés. Pour mieux harmoniser le calendrier d'évaluation avec les besoins, plusieurs facteurs ont été cernés dans la plupart des groupes d'intervenants, y compris :

  • Le risque;
  • Les facteurs de programme comme l'importance absolue ou relative, ainsi que le type de financement;
  • L'avancement ou le cycle de vie du programme;
  • Les besoins décisionnels;
  • Les problèmes de programme connus;
  • Une restructuration prévue;
  • La disponibilité d'informations ou de données de mesure du rendement provenant d'autres sources.

Selon des données d'études de cas, les ministères ont exprimé leur soutien à l'idée de choisir eux-mêmes la fréquence d'évaluation à privilégier pour leurs programmes, car cela pourrait les aider à répondre aux besoins courants et émergents (y compris les leurs, et ceux des organismes centraux); coordonner le calendrier d'évaluation avec d'autres activités de supervision (par exemple, les audits et les examens); et alléger le fardeau des programmes. Certains éléments de preuve ont indiqué que les organismes centraux (notamment, le Secrétariat du Conseil du Trésor du Canada) pourraient avoir un rôle à jouer pour éclairer les décisions ministérielles de planification des évaluations concernant la fréquence ou le calendrier afin de s'assurer de satisfaire aux besoins en matière de gestion des dépenses; aucune suggestion n'a toutefois été avancée sur la façon de mettre cette solution en pratique.

3.2.3 Questions fondamentales (question 1)

13. Constatation : De façon générale, les cinq questions fondamentales ont couvert un éventail adéquat de questions et établissent un cadre cohérent qui a permis de comparer et d'analyser les évaluations au sein et à l'échelle des ministères au fil du temps. La pertinence perçue de certaines questions fondamentales a toutefois varié selon l'évaluation et le type d'utilisateur de l'évaluation.

Le fait de préciser les questions fondamentales est conforme aux pratiques observées dans les autres administrations examinées. En outre, les questions fondamentales soulevées dans la Directive sur la fonction d'évaluation de 2009 sont largement compatibles avec les catégories de questions traitées dans d'autres administrations (pertinence, efficacité et efficience), même si la ventilation des questions en composantes (par exemple, la ventilation de la pertinence en besoins de programme, priorité gouvernementale et rôle du gouvernement) est moins fréquente.

Chacune des cinq questions fondamentales de la politique compte un ou plusieurs utilisateurs intéressés au sein des ministères et des organismes centraux, ainsi qu'aux niveaux politique et public. En termes d'utilité de l'évaluation, les organismes centraux ont généralement bénéficié davantage que les ministères de l'application cohérente de toutes les questions fondamentalesNote en bas de page 59. Des documents du Secrétariat du Conseil du Trésor du Canada ont indiqué que les cinq questions fondamentales visaient à axer les évaluations sur l'examen de la façon dont les programmes permettent d'optimiser les ressources publiques. Dans le cadre de l'analyse des études de cas, les évaluateurs, les gestionnaires de programme et la haute direction (y compris les membres des comités ministériels d'évaluation) ont perçu les questions fondamentales comme étant appropriées et utiles. Les gestionnaires de programme, en particulier, ont perçu les questions fondamentales comme étant les bonnes. De façon générale, les organismes centraux ont favorisé l'application cohérente des cinq questions fondamentales à l'ensemble des évaluations, car elles correspondent aux types de questions que posent les ministres et aux questions que posent les organismes centraux dans le cadre de leur fonction de remise en question. En outre, le cadre cohérent des questions d'évaluation pourrait appuyer les utilisations émergentes des organismes centraux de l'information sur le rendement – par exemple, à des fins d'analyses horizontales ou de synthèses des données d'évaluation. Aucune question n'a été régulièrement identifiée comme manquant à l'ensemble des questions fondamentales.

L'exigence des questions fondamentales a eu des conséquences à la fois positives et négatives sur l'utilité des évaluationsNote en bas de page 60.

Les exemples qui suivent illustrent des conséquences positives :

  • Elle a appuyé l'amélioration des programmes.
  • Elle a fourni un cadre cohérent permettant de focaliser les évaluations et de comparer les programmes – par exemple, au regard des questions systématiques, des chevauchements et des possibilités de synergie. Cette cohérence a soutenu le travail des analystes du Secrétariat et a permis d'éviter les lacunes au chapitre de l'informationNote en bas de page 61.
  • Elle a permis de focaliser les évaluations de manière à ce qu'elles fournissent les informations nécessaires à l'appui de la gestion des dépenses (par exemple, en soutenant les présentations au Conseil du Trésor et les mémoires au Cabinet), des examens des dépenses et des programmes, des besoins des décideurs et des autres utilisateurs d'évaluations, et d'une saine gestion.
  • Elle a contribué à s'assurer que les programmes ne contournent pas les problèmes présumés de rendement.
  • Elle a mis en évidence des problèmes concernant les données de mesure du rendement.

Comme l'illustre la figure 4, les gestionnaires de programme interrogés ont perçu, de façon générale, toutes les questions fondamentales comme étant assez utiles ou très utilesNote en bas de page 62.

Figure 4. Pourcentage de gestionnaires de programme ayant coté chaque question fondamentale comme étant assez utile ou très utile à l'appui de leurs besoins décisionnels et de ceux de leurs cadres supérieurs
(N = 115)
Pourcentage de gestionnaires de programme ayant coté chaque question fondamentale comme étant assez utile ou très utile à l'appui de leurs besoins décisionnels et de ceux de leurs cadres supérieurs
Figure 4 - Version textuelle

La figure montre le pourcentage des 115 gestionnaires de programme interrogés qui ont coté chacune des cinq questions fondamentales comme étant assez utile ou très utile au chapitre du soutien des besoins décisionnels des cadres supérieurs, et la proportion de gestionnaires ayant coté chaque question fondamentale comme étant assez utile ou très utile quant au soutien de leurs propres besoins décisionnels. Pour la première question fondamentale, la « nécessité continue », 73 % des gestionnaires de programme ont coté la question comme étant assez utile ou très utile au chapitre du soutien des besoins décisionnels des cadres supérieurs, et 80 % ont coté la question comme étant assez utile ou très utile quant au soutien de leurs propres besoins décisionnels. Pour la deuxième question fondamentale, « harmonisation avec les priorités », 75 % des gestionnaires de programme ont coté la question comme étant assez utile ou très utile au chapitre du soutien des besoins décisionnels des cadres supérieurs, et 79 % ont coté la question comme étant assez utile ou très utile quant au soutien de leurs propres besoins décisionnels. Pour la troisième question fondamentale, « harmonisation avec les rôles du gouvernement fédéral », 73 % des gestionnaires de programme ont coté la question comme étant assez utile ou très utile au chapitre du soutien des besoins décisionnels des cadres supérieurs, et 78 % ont coté la question comme étant assez utile ou très utile quant au soutien de leurs propres besoins décisionnels. Pour la quatrième question fondamentale, « obtention des résultats attendus », 87 % des gestionnaires de programme ont coté la question comme étant assez utile ou très utile au chapitre du soutien des besoins décisionnels des cadres supérieurs, et 87 % ont coté la question comme étant assez utile ou très utile quant au soutien de leurs propres besoins décisionnels. Pour la cinquième question fondamentale, « démonstration de fonctionnalité et de rentabilité », 68 % des gestionnaires de programme ont coté la question comme étant assez utile ou très utile au chapitre du soutien des besoins décisionnels des cadres supérieurs, et 75 % ont coté la question comme étant assez utile ou très utile quant au soutien de leurs propres besoins décisionnels.

Comme l'illustre la figure 5, la majorité des évaluateurs interrogés ont déclaré que l'exigence des questions fondamentales avait eu les conséquences les plus positives sur l'utilité des évaluations pour ce qui est d'éclairer l'amélioration des programmes, la reddition de comptes et les rapports destinés au public.

Figure 5. Pourcentage d'évaluateurs ayant déclaré des répercussions positives de l'exigence des questions fondamentales sur l'utilité des évaluations à divers usages
(N = 153)
Pourcentage d'évaluateurs ayant déclaré des répercussions positives de l'exigence des questions fondamentales sur l'utilité des évaluations à divers usages
Figure 5 - Version textuelle

La figure montre le pourcentage d'évaluateurs participants ayant déclaré que l'exigence relative aux questions fondamentales avait eu une incidence positive sur l'utilité des évaluations pour chacun des trois objets. Sur les 153 évaluateurs interrogés, 84 % ont déclaré une incidence positive sur l'utilité des évaluations aux fins de l'amélioration des politiques et des programmes; 77 % ont déclaré une incidence positive sur l'utilité des évaluations à des fins de reddition de comptes; et 72 % ont déclaré une incidence positive sur l'utilité des évaluations aux fins des rapports destinés au public.

Les conséquences négatives associées aux questions fondamentalesNote en bas de page 63 avaient trait à la marge de manœuvre réduite qu'ont déclaré les ministères relativement à la conception d'évaluations faisant état des priorités et des besoins des utilisateurs (y compris ceux des administrateurs générauxNote en bas de page 64 et des gestionnaires de programme) ainsi que du contexte et des caractéristiques des programmesNote en bas de page 65.

L'appui général à l'égard de l'examen des questions fondamentales a été accompagné par des observations selon lesquelles, de façon périodique et dans des circonstances particulières, certaines questions fondamentales pourraient ne pas être applicables à une évaluation donnée. La plupart des groupes d'intervenants ont reconnu que les trois questions fondamentales suivantes étaient importantes ou essentielles, et qu'elles doivent être appliquées à toutes les évaluations :

  • La démonstration de l'efficience et de l'économie, qui examine la façon dont un programme utilise les ressources pour obtenir des résultats, a été signalée par certains intervenants comme étant de la plus haute importance pour les parlementaires;
  • L'obtention des résultats attendus, qui examine l'efficacité d'un programme et revêt un grand intérêt pour les gestionnaires de programme, les cadres supérieurs et les administrateurs généraux;
  • Le besoin continu du programme, qui, semble-t-il, fournit des informations utiles pour les gestionnaires de programme et les cadres supérieurs.

Les deux premières sont des questions fondamentales de rendement et sont celles qui préoccupent le plus les administrateurs généraux, les gestionnaires de programme et les autres utilisateurs d'évaluationsNote en bas de page 66, et la troisième est une question fondamentale de pertinence.

En outre, comme le montre la figure 6, la plupart des évaluateurs ont estimé que ces mêmes questions fondamentales doivent être appliquées à toutes les évaluations (il convient de préciser que l'enquête a divisé la question fondamentale de la « démonstration d'efficience et d'économie » en deux parties, afin de mesurer les perceptions des évaluateurs de chacune d'elles).

Figure 6. Pourcentage d'appui des évaluateurs à l'inclusion de chaque notion de question fondamentale dans toutes les évaluations
(N = 153)
Pourcentage d'appui des évaluateurs à l'inclusion de chaque notion de question fondamentale dans toutes les évaluations
Figure 6 - Version textuelle

Pour chacune des cinq questions fondamentales, la figure montre le pourcentage d'évaluateurs interrogés qui ont estimé que la question devait être traitée dans toutes les évaluations. Fait à noter : l'enquête a divisé la question fondamentale de la « démonstration d'efficience et d'économie » en deux parties. Du pourcentage le plus élevé au plus faible, 99 % des 153 évaluateurs ont estimé que la question fondamentale « obtention des résultats attendus » doit être traitée dans toutes les évaluations; 85 % des évaluateurs ont estimé que « l'efficience » (partie de la question fondamentale « démonstration d'efficience et d'économie ») doit être traitée dans toutes les évaluations; 75 % des évaluateurs ont estimé que la question fondamentale « nécessitée continue des programmes » doit être traitée dans toutes les évaluations; 73 % des évaluateurs ont estimé que « l'économie » (partie de la question fondamentale « démonstration d'efficience et d'économie ») doit être traitée dans toutes les évaluations; 37 % des évaluateurs ont estimé que la question fondamentale « harmonisation avec les rôles du gouvernement fédéral » doit être traitée dans toutes les évaluations; et 36 % des évaluateurs ont estimé que la question fondamentale « harmonisation avec les priorités » doit être traitée dans toutes les évaluations.

Dans tous les groupes d'intervenants, certains intervenants ont déclaré que deux des trois questions de pertinence, soit l'harmonisation avec les rôles et les responsabilités du gouvernement fédéral, et l'harmonisation avec les priorités du gouvernement, s'appliquaient uniquement à un sous-ensemble de programmes, ou seulement dans certaines conditionsNote en bas de page 67 D'autres intervenants ont déclaré que les trois questions fondamentales de pertinence étaient essentielles ou revêtaient la plus haute importance, en particulier pour éclairer la haute direction. La haute direction et les répondants des organismes centraux ont indiqué que les questions de pertinence ont permis de répondre à des questions dans le cadre de l'examen de la gestion des dépenses et, en particulier, à la question de l'abordabilité.

Lorsque l'harmonisation avec les rôles et les responsabilités du gouvernement fédéral et l'harmonisation avec les priorités gouvernementales ont été perçues comme étant inapplicablesNote en bas de page 68, les intervenants ont estimé que les aborder constituerait un exemple d'utilisation inefficace des ressources d'évaluation et aurait peu d'intérêt pour les cadres supérieurs. Les questions de pertinence n'étaient toutefois pas les seules questions ayant été perçues comme inapplicables pour certaines évaluations; par exemple, l'applicabilité de chaque question fondamentale pourrait dépendre de facteurs liés au programme et à son environnement. Des études de cas ont indiqué que, dans de grandes et de petites organisations, l'exigence des questions fondamentales a pu conduire à des évaluations moins utiles qui étaient plus complexes, et prenaient plus de temps et de ressources que nécessaire.

Les administrateurs généraux consultés en 2014 ont plaidé en faveur d'une plus grande souplesse quant à l'application des questions fondamentales d'évaluation, afin de permettre aux organisations de se concentrer sur des domaines d'intérêt et de produire des rapports concis en vue d'éclairer la prise de décisions. Par ailleurs, les administrateurs généraux ont reconnu qu'une souplesse accrue obligerait la haute direction à participer davantage à la conception des évaluations.

La plupart des groupes d'intervenants ont préconisé l'ajout d'une certaine souplesse à l'exigence des cinq questions fondamentalesNote en bas de page 69. Même si les résultats de la consultation ont montré que les organismes centraux sont généralement favorables à l'application cohérente des cinq questions fondamentales à l'ensemble des évaluations, ces organismes, ainsi que les gestionnaires de programme et les évaluateurs, ont convenu que la souplesse doit être envisagée. Les chefs de l'évaluation ont exprimé le souhait de mesures de souplesse qui variaient du fait de ne pas appliquer une question fondamentale, au fait d'atténuer la portée de l'examen d'une question fondamentale, ou d'appliquer une ou plusieurs questions fondamentales moins fréquemment – par exemple, toutes les deux évaluations d'un programme ou tous les dix ans.

Parmi les petits ministères examinés dans le cadre des études de cas, les questions fondamentales ont été perçues comme alourdissant le fardeau des évaluations sans demande interne d'information correspondante, menant ces organisations à exercer leur option de ne pas toutes les appliquerNote en bas de page 70.

Il a été généralement signalé par les intervenants que l'article 42.1 de la Loi sur la gestion des finances publiques exige un examen de la pertinence et de l'efficacité tous les cinq ans, sans toutefois préciser les cinq questions fondamentales. L'exigence supplémentaire de la Politique sur les paiements de transfert et de la Politique sur l'évaluation voulant que ces évaluations appliquent les cinq questions fondamentales a été perçue par les services d'évaluation comme alourdissant le fardeau. Par ailleurs, les analystes des organismes centraux, qui sont les principaux utilisateurs des évaluations pour conseiller le Conseil du Trésor au sujet des propositions de dépenses comme les renouvellements de programmes de subventions et de contributions, appuient de manière générale la nécessité d'appliquer les cinq questions fondamentales.

Dans l'ensemble, les questions fondamentales ont été perçues comme étant de nature très générale. Même si aucune autre question n'a été régulièrement identifiée comme devant être ajoutée à l'ensemble existant de questions fondamentales, les administrateurs généraux et les cadres supérieurs ont parfois exprimé le souhait que les évaluations individuelles abordent des questions supplémentairesNote en bas de page 71. Comme la Directive sur la fonction d'évaluation le permet expressément, les évaluations ont souvent abordé des questions supplémentaires pour répondre aux besoins des utilisateurs ministérielsNote en bas de page 72. Par exemple, 61 % des évaluateurs interrogés ont indiqué que des questions autres que les cinq questions fondamentales ont été posées dans les évaluations au moins la moitié du temps. Lorsque les évaluateurs ont été invités à préciser quelles questions, autres que les cinq questions fondamentales, avaient été considérées pour inclusion dans les évaluations depuis 2009, la question la plus fréquente avait trait à la conception et à l'exécution des programmes. Des consultations auprès des évaluateurs et des organismes centraux ont révélé que les questions de conception et d'exécution avaient parfois été abordées dans l'une ou l'autre des deux questions fondamentales de rendement; par exemple, la description que fait la Directive sur la fonction d'évaluation de la question fondamentale de l'obtention des résultats attendus renvoie expressément à l'évaluation de la conception des programmes rattachée à cette question. Les autres questions non fondamentales qui ont été relevéesNote en bas de page 73 auraient pu normalementNote en bas de page 74 ou parfoisNote en bas de page 75 être incorporées aux questions fondamentales.

Dans l'application de leurs ressources d'évaluation disponibles, les services d'évaluation ont dû parfois choisir entre appliquer une question non fondamentale pour satisfaire aux besoins en matière d'information de leur administrateur général ou se conformer à l'exigence des questions fondamentales. Des consultations ont révélé qu'ils avaient eu tendance à considérer les besoins de l'administrateur général comme étant plus importants.

Comme indiqué lors de l'examen de la mise en œuvre, même si une certaine souplesse permettait d'aborder les questions fondamentales moyennant un effort d'évaluation moindre ou pour justifier le fait de ne pas appliquer une question, il est probable que cette souplesse n'ait pas été entièrement communiquée aux ministères ou utilisée par ceux-ci. Cette constatation peut s'expliquer en partie par leur préoccupation de ne pas nuire aux cotes d'évaluation du Cadre de responsabilisation de gestionNote en bas de page 76. Les administrateurs généraux ont mentionné cette justification lors de consultations, tout en précisant que, même si de nouvelles mesures d'assouplissement pourraient être nécessaires aux fins de l'exigence des questions fondamentales, les mesures existantes n'avaient peut-être pas été entièrement appliquées. Même si les intervenants connaissaient ces mesures d'assouplissement, certains les ont perçues comme étant largement théoriques et n'y ont pas vu une véritable occasion de se prévaloir de leur pouvoir discrétionnaire lors de l'application des questions fondamentales dans certaines évaluations, et surtout pas une véritable occasion de justifier qu'une question ne soit pas abordée. Selon de nombreux intervenants, l'effort requis pour démontrer que l'évaluation n'a pas besoin de répondre à certaines questions de pertinence (harmonisation avec les rôles et responsabilités du gouvernement fédéral et harmonisation avec les priorités du gouvernement fédéral) pourrait être équivalent à l'effort nécessaire pour effectivement les évaluer. De nombreuses organisations ont toutefois calibré les effortsNote en bas de page 77 qu'elles consacrent à ces questions de pertinence.

14. Constatation : Des lacunes de longue date au chapitre de la disponibilité et de la qualité des données de mesure du rendement des programmes et des données financières structurées de façon incompatible ont continué de contraindre les évaluateurs sur le plan de la fourniture d'évaluations de l'efficacité, de l'efficience (y compris le rapport coût-efficacité) et de l'économie des programmes. Les organismes centraux et les cadres supérieurs ont exprimé le souhait d'obtenir, en particulier, des renseignements plus nombreux et de meilleure qualité sur l'efficience et l'économie des programmes.

Même si l'évaluation ne portait pas expressément sur cet élément, l'incidence des données de mesure du rendement sur le succès d'une évaluation est l'un des thèmes communs ressortis. Il a été signalé dans le Rapport de l'automne 2009 de la vérificatrice générale du Canada que bon nombre d'évaluations n'ont pas permis d'évaluer comme il se doit l'efficacité des programmes parce que l'analyse avait été limitée par des données de mesure du rendement insuffisantes. Cette constatation figure également dans le Rapport du printemps 2013 du vérificateur général du Canada, dans lequel il a été signalé que, dans 14 des 20 évaluations échantillonnées dans trois ministères, des lacunes des données de mesure du rendement des programmes ont continué à limiter les évaluateurs dans la détermination de l'efficacité des programmes et les ont souvent obligés à s'appuyer sur des données plus subjectives ou à recueillir des données supplémentaires pour combler les lacunes. Même si l'examen de la mise en œuvre a permis de constater que la situation s'est améliorée dans une certaine mesure en 2012-2013, environ 50 % des organisations ont continué de signaler des difficultés liées à des données de mesure du rendement insuffisantes. Même si l'enquête auprès des gestionnaires de programme a révélé que 90 % des programmes comportaient une stratégie de mesure du rendement, la même enquête a révélé qu'environ 50 % des indicateurs étaient seulement assez utiles, pas très utiles ou pas du tout utiles pour les évaluateurs. La nature continue de cette difficulté a été en outre reflétée dans l'enquête d'évaluation des capacités de 2013-2014 du Secrétariat, où 30 des 33 évaluations approuvées entre et ont connu des limites importantes en raison de données de mesure du rendement insuffisantes, malgré un taux de 70 % déclaré au regard de la mise en œuvre des stratégies de mesure du rendement. L'exigence de la Directive sur la fonction d'évaluation qui oblige les services d'évaluation à produire annuellement des rapports à l'intention des comités ministériels d'évaluation sur l'état de la mesure du rendement a fait en sorte que ces problèmes soient signalés dans un certain nombre de ministères.

Les études de cas et les consultations auprès des intervenants ont révélé un consensus selon lequel, malgré la question fondamentale qui exige que des évaluations portent sur l'efficience et l'économie des programmes, les évaluations répondent rarement aux besoins en matière d'information des utilisateurs à cet égard. Par exemple, l'information financière insuffisante limite la capacité qu'ont les évaluateurs d'analyser le rapport coût-efficacité des programmes. Même si les données financières disponibles n'étaient pas inexactes ou incomplètes, elles n'étaient pas structurées en fonction de l'entité en cours d'évaluation, c'est-à-dire que les ressources n'étaient pas rattachées à des résultats ou à des activités de programme. Les intervenants craignaient que les documents d'orientation du Secrétariat aient fourni trop peu d'exemples concrets de la façon d'évaluer l'efficience et l'économie, et n'aient pas traité assez des difficultés structurelles sous-jacentes des données financières.

3.3 Approches de mesure du rendement de la politique (question 4)

15. Constatation : Les mécanismes de mesure du rendement de la politique ont permis de suivre les utilisations évidentes des évaluations – celles qui étaient directes et plus immédiates – mais n'ont pas couvert l'éventail des utilisations indirectes, à long terme ou plus stratégiques, et pourraient ne pas avoir brossé un portrait fidèle de l'utilité des évaluations.

Il a été signalé, dans le rapport de du vérificateur général du Canada qu'il n'y avait pas encore de processus systématique en place dans la plupart des ministères permettant d'évaluer objectivement et de démontrer la valeur ajoutée de l'évaluation. Peu de ministères ont mis en place de tels mécanismesNote en bas de page 78. L'examen des documents a toutefois révélé quelques façons dont les ministères et les organismes centraux assurent désormais le suivi de l'utilisation des évaluations.

La politique de 2009 exige que les ministères surveillent la conformité pour assurer l'efficacité de la mise en œuvre, et que les comités ministériels d'évaluation assurent le suivi des plans d'action approuvés par les administrateurs généraux. La composition des comités ministériels d'évaluation, qui comprennent généralement des sous-ministres adjoints et l'administrateur général à titre de président, a fait en sorte que la haute direction accorde une attention accrue à la mise en œuvre des plans d'action, et elle a peut-être aussi contribué à accroître la qualité des évaluationsNote en bas de page 79 et mené les fonctions d'évaluation à servir des utilisations plus stratégiques des évaluations.

Plusieurs éléments de preuve ont montré que les ministères appuient généralement la mise en œuvre des recommandations d'évaluation au moyen d'une approche plus rigoureuse de suivi des mesures figurant dans les réponses de la direction et dans les plans d'actionNote en bas de page 80. Ce suivi plus rigoureux a semblé être influé par les critères d'évaluation du Cadre de responsabilisation de gestion du Secrétariat, qui visent à déceler la présence de systèmes de suivi. En 2011, le Centre d'excellence en évaluation avait toutefois signalé que les processus de suivi étaient fondés dans une large mesure sur une utilisation autodéclarée de l'évaluation et qu'ils pourraient avoir été basés sur des perceptions d'utilisation. Le Secrétariat a indiqué que des indicateurs supplémentaires seraient nécessaires pour valider et améliorer la surveillance de l'utilisation des évaluations.

Plusieurs sources de données ont également montré que le suivi des mesures de suivi n'a pas permis de mesurer toute la gamme des impacts de l'évaluation; par exemple, plusieurs administrateurs généraux consultés en 2011 ont rapporté que certaines utilisations de l'évaluation étaient imprévisibles et introuvablesNote en bas de page 81. Certains évaluateurs et gestionnaires de programmeNote en bas de page 82 ont indiqué que les systèmes de suivi étaient routiniers et qu'ils ne permettaient pas de mesurer toute la gamme des impacts de l'évaluation.

L'examen des documents a établi des distinctions entre plusieurs types d'utilisation de l'évaluation, notamment :

  • L'utilisation de processus (définie comme des changements de programme et des changements opérationnels qui se produisent non pas en raison des conclusions ou des recommandations de l'évaluation, mais par suite du processus d'évaluation en soi);
  • L'utilisation accessoire (lorsque les résultats de l'évaluation éclairent directement une décision ou contribuent à résoudre un problème) pour l'amélioration de programmes particuliers;
  • L'utilisation des connaissances sur un plan horizontal (lorsque les évaluations élargissent la réflexion sur un programme ou sur une politique au fil du temps et au-delà du programme particulier évalué).

En 2012, le Centre d'excellence en évaluation a reconnu que les ministères manquaient de ressources et de méthodes pour assurer le suivi de l'utilisation des évaluations autres que l'utilisation accessoire et, en particulier, retracer l'influence des constatations de l'évaluation dans les discussions politiques et dans les transformations des programmes. Les évaluateurs n'étaient généralement pas au courant de certaines utilisations de l'évaluation et, dans les études de cas, les équipes d'évaluation ont fait observer qu'elles n'avaient aucune approche systématique en matière de mesure des utilisations.

Les consultations auprès des intervenants ont toutefois permis de constater que, dans certaines organisations, des processus avaient été mis en place pour recueillir des informations sur l'utilisation des évaluations, au-delà de la mise en œuvre de leurs recommandations. Par exemple, dans certains ministères, des consultations régulières auprès des directeurs généraux avaient lieu trois mois après les évaluations et, dans d'autres, des rapports annuels sur l'utilisation de l'évaluation étaient publiés. Certains services d'évaluationNote en bas de page 83 auraient mené des enquêtes auprès des utilisateurs consécutivement aux évaluations.

Parmi les approches employées par le Secrétariat pour assurer la surveillance du rendement de la politique, mentionnons l'enquête d'évaluation de la capacité, les cotes du Cadre de responsabilisation de gestion (jusqu'en 2013-2014), l'examen des plans ministériels d'évaluation, des évaluations de la qualité des rapports d'évaluation, des consultations ad hoc et le rapport annuel sur la fonction d'évaluation, qui regroupe bon nombre de ces sources d'information. Des études de cas ont montré qu'il n'y avait pas de correspondance directe entre l'utilité des évaluations dans les ministères et les évaluations de la qualité de l'évaluation effectuée par le Secrétariat. Ce résultat peut s'expliquer par le fait que les examens du rapport d'évaluation ont mis l'accent sur le rapport seulement (y compris la méthodologie et les éléments structurels, notamment pour savoir si le rapport énumérait les limites), plutôt que sur le processus d'évaluation en entier et la diffusion des constatations. En revanche, les études de cas ont démontré que les ministères ont souvent utilisé les constatations d'évaluations qui n'avaient pas été documentées dans des rapports d'évaluation, ou ils ont tiré parti d'autres renseignements obtenus dans le cadre du processus d'évaluation. Les limites des approches employées par le Secrétariat pour mesurer le rendement de la politique pour ce qui est de l'utilisation et de l'utilité des évaluations à diverses fins ont également été documentées dans le Rapport annuel de 2012 sur l'état de la fonction d'évaluation.

3.4 Autres constatations

16. Constatation : Les exigences de la Politique sur l'évaluation et celles d'autres formes de surveillance et d'examen, comme l'audit interne, ont donné lieu à certains chevauchements et alourdi le fardeau.

Des chevauchements réels ou perçus observés entre les fonctions d'audit et d'évaluation ont semé la confusion chez certains intervenants et pourraient avoir mené à l'alourdissement du fardeau des programmes. Au cours des consultations menées dans le cadre d'études de cas, certains ministères, et en particulier certains gestionnaires de programme, ont exprimé leur lassitude à l'égard de l'augmentation du nombre d'évaluations et d'autres formes de supervision. Certains répondants ont suggéré, par exemple, que les évaluations soient menées uniquement tous les cinq ans si aucune autre forme d'évaluation (par exemple, un audit ou un examen) n'a été menée. Il a été signalé que certains répondants, y compris des gestionnaires de programme, des cadres supérieurs et des membres des comités ministériels d'évaluation, ne semblent pas comprendre les distinctions entre l'évaluation et l'audit, c'est-à-dire la distinction entre l'accent que met l'évaluation sur la pertinence et le rendement des programmes et l'accent que place l'audit sur la conformité, le contrôle et le rendement de la gestion.

Les administrateurs généraux consultés ont toutefois compris, en général, que les analyses et les valeurs des deux fonctions diffèrent. Par exemple, les audits portent sur des questions comme les contrôles, la probité et la conformité, alors que les évaluations mettent l'accent sur le rendement (efficacité, rapport coût-efficacité et pertinence). Toutefois, les administrateurs généraux ont parlé d'un chevauchement particulier lié aux audits de rendement (qui étaient appelés jusqu'en 2004 « vérifications de l'optimisation des ressources » par le Bureau du vérificateur général), car ils ont indiqué que l'étendue des audits de rendement ressemblait parfois à celle des évaluations. Parallèlement, ils ont signalé que certaines évaluations portaient sur des questions d'audit traditionnelles. Ces points de vue ont été reflétés dans une moindre mesure par les gestionnaires de programme, les analystes des organismes centraux et les évaluateursNote en bas de page 84. Les intervenants du ministère ont notamment mentionné des programmes de paiements de transfert qui exigent que le destinataire commande des audits de rendement qui, selon la façon dont ils sont exécutés, ont créé un risque potentiel de chevauchement avec les évaluations, en plus d'alourdir le fardeau des destinataires et des clients. Dans ces cas, les ministères consultés ont constaté la nécessité d'un assouplissement qui permettrait de déterminer si l'évaluation ou l'audit constitue l'outil de supervision le plus approprié pour un programme.

Il a été signalé, dans le cadre de l'examen de la mise en œuvre, que les fonctions d'évaluation et d'audit étaient de plus en plus colocalisées ou dirigées par une personne assumant le rôle de chef de l'évaluation et de chef de l'audit, mais que les effets de ce phénomène n'étaient pas clairement définis. Certains chefs de l'évaluation ont signalé le potentiel d'une meilleure coordination de l'audit et de la planification de l'évaluation, alors que d'autres ont indiqué que cette cohabitation pourrait mettre en péril l'indépendance du dirigeant principal de l'audit et limiter les possibilités d'avancement professionnel des cadres de l'évaluation, puisque les compétences requises chez les dirigeants principaux de l'audit exigeraient de la part du cadre de l'évaluation de devenir auditeur agréé. 

4.0 Conclusions

La Politique sur l'évaluation de 2009 a aidé la fonction d'évaluation dans l'ensemble de l'administration fédérale à jouer un rôle plus important relativement au soutien du système de gestion des dépenses, en rendant l'information d'évaluation plus systématiquement disponible. Cela a fourni aux ministères un flux prévisible de données sur le rendement à utiliser pour la gestion des dépenses et à d'autres fins, comme l'amélioration des programmes et des politiques, la reddition de comptes et les rapports publics, y compris pour les dépenses qui n'avaient pas été antérieurement évaluées. Un solide engagement de la part des administrateurs généraux et des cadres supérieurs envers la gouvernance de la fonction d'évaluation a promu l'utilité des évaluations, et les besoins en matière d'évaluation des administrateurs généraux, des cadres supérieurs et des organismes centraux ont été bien servis. Dans certains cas, mais pas systématiquement dans tous les ministères, les fonctions d'évaluation ont produit des analyses horizontales qui ont contribué à un apprentissage inter-programmes fort utile, éclairé des améliorations à la fois du programme évalué et d'autres programmes, et de l'organisation dans son ensemble. Toutefois, dans le cadre de l'évaluation de l'efficacité, de l'efficience et de l'économie des programmes au chapitre des évaluations, les fonctions ministérielles étaient souvent limitées par des lacunes sur le plan de la disponibilité et de la qualité des données de mesure du rendement et par des données financières structurées de façon incompatible et, du coup, les utilisateurs (en particulier les organismes centraux) souhaitaient disposer d'une information plus vaste et de qualité supérieure.

Même si le modèle de portée complète a reflété comme il se doit l'objectif de la politique de 2009, qui consiste à servir plusieurs utilisateurs et fins d'évaluation, les exigences normalisées de portée englobant toutes les dépenses de programmes directes tous les cinq ans et d'examen des questions fondamentales dans toutes les évaluations n'ont pas toujours produit des évaluations correspondant de près aux besoins des utilisateurs. Les intervenants ont estimé en général que toutes les dépenses du gouvernement doivent être évaluées périodiquement, mais il y a aussi eu une opinion largement répandue selon laquelle le potentiel d'utilisation des évaluations individuelles devrait influer sur leur réalisation. En outre, les exigences de la politique concernant le calendrier et l'orientation des évaluations n'ont pas donné aux fonctions d'évaluation des ministères la marge de manœuvre voulue pour faire pleinement état des besoins des utilisateurs en matière de planification des évaluations ou pour satisfaire aux nouvelles priorités. L'on a constaté que les besoins d'évaluation variaient entre les différents groupes d'utilisateurs (en particulier, les besoins des organismes centraux et ceux des ministères étaient différents). Cependant, pour satisfaire aux exigences de portée en dépit des contraintes de ressources, les ministères ont parfois choisi des stratégies d'évaluation (par exemple, le groupement de programmes à des fins d'évaluation) qui étaient économiques, mais qui ont en définitive servi un éventail plus restreint de besoins des utilisateurs. La rigidité des exigences de portée et de fréquence a également fait en sorte qu'il a été difficile pour les ministères de coordonner la planification des évaluations avec d'autres fonctions de surveillance afin de maximiser l'utilité des évaluations et d'alléger le fardeau des programmes.

5.0 Recommandations

Au terme de l'évaluation, il est recommandé que le Secrétariat du Conseil du Trésor du Canada, au moment de renouveler la Politique sur l'évaluation en vue de la faire approuver par le Conseil du Trésor :

  1. Réaffirme et renforce les exigences de la Politique sur l'évaluation de 2009 en matière de gouvernance et de leadership des fonctions d'évaluation des ministères, lesquelles ont eu une incidence positive sur le recours à l'évaluation dans les ministères.
  2. Assouplisse les exigences de base de la Politique sur l'évaluation de 2009 et oblige les ministères à cerner et à prendre en considération les besoins de l'éventail complet des groupes d'utilisateurs de l'évaluation au moment de déterminer la façon d'évaluer périodiquement les dépenses des organisations (y compris l'étendue des programmes ou des dépenses examinés dans le cadre des évaluations individuelles), le calendrier des évaluations individuelles, et les questions à examiner dans les évaluations individuelles.
  3. Collabore avec les intervenants des ministères et des organismes centraux afin d'établir des critères pour orienter les processus de planification ministériels de sorte que toutes les dépenses de l'organisation soient prises en considération aux fins de l'évaluation selon les questions fondamentales; que les besoins de l'éventail complet des principaux utilisateurs des évaluations, à l'intérieur comme à l'extérieur du ministère, soient compris et pris en considération dans le cadre des décisions de planification; que les activités prévues des autres fonctions de surveillance soient prises en considération; et que les choix liés à la portée de l'évaluation et à l'étendue, au calendrier et aux questions traitées dans les évaluations individuelles soient justifiés avec transparence dans les plans ministériels d'évaluation.
  4. Mobilise les centres de politiques du Secrétariat qui guident les ministères dans la collecte et la structuration des données de mesure du rendement et des données de gestion financière de manière à mettre au point une approche intégrée pour mieux soutenir les fonctions d'évaluation des ministères pour ce qui est de l'évaluation de l'efficacité, de l'efficience et de l'économie des programmes.
  5. Favorise des pratiques, au Secrétariat et dans les ministères, consistant à mener des analyses régulières, systématiques et transversales d'un vaste éventail d'évaluations réalisées, et à utiliser ces analyses pour appuyer l'apprentissage organisationnel et la prise de décisions stratégiques dans l'ensemble des programmes et des organisations. À cet égard, le Secrétariat du Conseil du Trésor du Canada doit faciliter la mise en commun des pratiques exemplaires à l'échelle de l'administration fédérale aux fins de la réalisation et de l'utilisation d'analyses transversales.

Annexe A : Évolution de l'évaluation dans l'administration fédérale et contexte du renouvellement de la Politique en 2009

L'évaluation a été officiellement instaurée au gouvernement fédéral à la fin des années 1970 pour contribuer à l'amélioration des pratiques et des contrôles de gestion. La Politique d'évaluation Note en bas de page 85 de 1977 préconisait que l'évaluation soit un élément du cadre de gestion de chaque organisation et que tous les programmes soient évalués périodiquement, soit tous les trois à cinq ans. La politique reconnaissait que l'évaluation relevait des responsabilités de gestion de l'administrateur général. Les administrateurs généraux devaient utiliser les constatations et les recommandations issues de l'évaluation de l'efficacité et de l'efficience des programmes pour éclairer les décisions entourant la gestion et le renouvellement des ressources, rendre compte de leurs programmes, et fournir des conseils de qualité aux ministres.

Lorsqu'elle a été renouvelée en 1992, la politiqueNote en bas de page 86 recommandait un cycle de six ans pour évaluer la pertinence, le succès et le rapport coût-efficacité continus des programmes fédéraux, mais on y indiquait que, lorsqu'il n'y avait aucun besoin prioritaire de disposer cette information sur le rendement ou lorsque la tâche exigeait trop de temps ou de ressources, aucune évaluation ne devrait être menée. La politique a plaidé en faveur de l'établissement de critères d'évaluation pour tous les programmes, comme moyens d'apprécier le rendement. Les évaluations devaient être utilisées pour reconfirmer, améliorer ou interrompre des programmes, et il était prévu que la planification ministérielle des évaluations réponde aux questions d'évaluation reflétant les préoccupations du Conseil du Trésor ou d'autres comités du Cabinet.

En 1994, la Politique d'examenNote en bas de page 87 a réuni les exigences de mesure du rendement et d'examen sous un même parapluie, et elle y a ajouté l'évaluation et l'audit interne. Elle soulignait la responsabilité des supérieurs hiérarchiques de démontrer le rendement et d'assurer une gestion axée sur les résultats, et visait à favoriser la collaboration entre les gestionnaires et les examinateurs.

Une étude de la fonction d'évaluation menée en 2004Note en bas de page 88 a examiné la Politique d'examen et cerné la nécessité d'établir une distinction claire entre l'audit interne et l'évaluation, afin de mieux répondre aux besoins des gestionnaires.

La Politique d'évaluation de 2001, y compris les « normes d'évaluation au gouvernement du Canada » qui s'y rattachent, a séparé la fonction d'évaluation de la fonction d'audit interne, et elle a étendu le champ d'application de la planification de l'évaluation de manière à inclure les programmes, les politiques et les initiatives. La politique mettait l'accent sur la gestion axée sur les résultats et visait à intégrer la discipline de l'évaluation à la pratique de gestion. Elle demandait aux ministères d'établir des plans d'évaluation stratégique ciblés fondés sur l'évaluation des risques, les priorités des ministères et de l'ensemble du gouvernement, et sur les exigences en matière de présentation de rapports. Les normes exigeaient de la part des évaluateurs d'examiner l'éventail complet des questions lors de la planification des évaluations, y compris la pertinence, le succès et le rapport coût-efficacité des programmes, et d'aborder les questions nécessaires aux fins de la reddition de comptes.

La Politique sur l'évaluation de 2009 accorde un rôle plus important à la fonction d'évaluation à l'appui du système de gestion des dépenses. Les exigences de la politique visant l'obtention d'une portée complète de l'évaluation tous les cinq ans et la réalisation d'évaluations qui se penchent systématiquement sur cinq questions fondamentales rattachées à la pertinence et au rendement ont pour objet de répondre au besoin croissant de preuves neutres et dignes de foi sur l'optimisation des dépenses de programmes directes du gouvernement pour éclairer les décisions de gestion des dépenses, ainsi que les décisions d'amélioration des politiques et des programmes, les décisions du Cabinet et les rapports publics. La politique ainsi que la directive et la norme connexes comprennent des mesures pour assurer la qualité, la neutralité et l'utilisation de l'évaluation.

Évolution des exigences de la politique au chapitre de l'étendue et de la fréquence de la portée d'évaluation et des questions d'évaluation

Depuis qu'existent des politiques fédérales d'évaluation, différentes approches ont été adoptées au regard de l'étendue et de la fréquence de la portée d'évaluation, et des questions examinées dans le cadre des évaluations.

Des exigences de portée ont été inscrites sous une forme ou une autre dans toutes les politiques d'évaluation du Conseil du Trésor, du fait de veiller à ce que tous les programmes soient évalués périodiquement (politique de 1977) à envisager, sans toutefois exiger, l'évaluation de tous les programmes (politique de 2001) et, plus récemment, à évaluer l'ensemble des dépenses de programmes directes (politique de 2009). Même si la fréquence des évaluations a varié dans les politiques fédérales, de tous les trois à cinq ans (politique de 1977) à tous les six ans (politique de 1992), et maintenant à tous les cinq ans (politique de 2009), une exigence d'évaluation périodique a toujours existé.

Toutes les politiques fédérales d'évaluation ont précisé un ensemble de questions à aborder dans le cadre des évaluations. Comme on peut le constater dans le tableau 2, l'ensemble de questions n'a à peu près pas changé depuis 1992 et les questions touchent la pertinence, l'efficacité et l'efficience des programmes.

Tableau 2 : Évolution des questions d'évaluation dans les politiques d'évaluation du gouvernement du Canada entre 1977 et 2009
Politique d'évaluation de 1977 Politique d'évaluation de 1992 Politique d'examen de 1994 Politique d'évaluation de 2001 Politique sur l'évaluation de 2009
Questions d'évaluation
  • Efficience
  • Efficacité
  • Pertinence
  • Succès
  • Rapport coût-efficacité
  • Pertinence
  • Succès
  • Rapport coût-efficacité
  • Pertinence
  • Succès
  • Rapport coût-efficacité
  • Première question de pertinence : Nécessité continue du programme
  • Deuxième question de pertinence : Harmonisation avec les priorités du gouvernement
  • Troisième question de pertinence : Harmonisation avec les rôles et les responsabilités du gouvernement fédéral
  • Obtention des résultats attendus
  • Utilisation des ressources (démonstration d'efficience et d'économie)

En comparant les questions de la politique de 2009 avec celles de la politique de 2001, une différence importante réside dans le fait que la « pertinence » est divisée en trois questions. Ce changement a permis d'harmoniser les questions de 2009 avec les objectifs clés des examens stratégiques des programmes fédéraux, lesquels étaient en cours au moment où la politique a été renouvelée. En 2009, la question du rapport coût-efficacité a également été remaniée sous la forme d'un examen de l'utilisation des ressources du programme, qui visait à donner plus de souplesse aux évaluateurs lors de la sélection des méthodes d'évaluationNote en bas de page 89.

Un changement notable est survenu en 2009 alors que les questions fondamentales d'évaluation n'étaient plus discrétionnaires. En vertu de la politique de 2009, les cinq questions fondamentales doivent être étudiées pour que les évaluations répondent aux exigences de portée; toutefois, les ministères ont la possibilité de déterminer la méthode d'évaluation à adopter et le niveau d'effort à déployer. En revanche, il était indiqué dans la politique de 2001 que « toutes les questions liées à l'évaluation doivent être examinées [italiques ajoutés] à l'étape de la planification… » et que « les évaluateurs doivent [italiques ajoutés] se pencher sur les questions liées à la reddition de comptes, notamment celles touchant les principales attentes en matière de rendement… ». 

Contexte de la fonction d'évaluation au gouvernement fédéral avant le renouvellement de la politique en 2009

Dans les années ayant précédé le renouvellement de la politique en 2009, plusieurs facteurs ont fait augmenter la demande d'informations dignes de foi sur la pertinence, l'efficacité, l'efficience et l'économie des programmes. Les principaux facteurs ont été les changements apportés à des lois clés et au système de gestion des dépenses.

Une exigence d'évaluation inscrite dans la loi en 2006

En , le président du Conseil du Trésor a chargé un groupe d'experts indépendants de « recommander les mesures à prendre pour rendre l'exécution des programmes de subventions et de contributions plus efficace, tout en assurant une plus grande responsabilisation ». À la suite de la publication du rapport du groupeNote en bas de page 90, la Loi fédérale sur la responsabilité de a modifié la Loi sur la gestion des finances publiques de manière à exiger que tous les programmes permanents de subventions et de contributions soient examinés tous les cinq ans sous l'angle de la pertinence et de l'efficacité. La Politique sur les paiements de transfert de 2008 et la Politique sur l'évaluation de 2009 ont plus tard défini ces examens comme étant des évaluations, et la Politique sur l'évaluation de 2009 a fait état de l'exigence législative dans ses propres exigences de portée. Avant 2006, l'exigence d'examen ou d'évaluation des programmes permanents de subventions et de contributions n'était contenue que dans la Politique sur les paiements de transfert, où elle demeure inscrite encore aujourd'hui.

Changement d'accent pour une évaluation à l'appui de la gestion des dépenses

Le renouvellement du système de gestion des dépenses en 2007 a placé un accent accru sur l'utilisation de l'évaluation comme intrant des décisions en matière de dépenses. Conformément aux engagements énoncés dans le budget de 2006, le système de gestion des dépenses renouvelé est fondé sur les principes clés suivants :

  • les programmes fédéraux sont axés sur des résultats et sur l'optimisation des ressources;
  • les programmes fédéraux concordent avec les responsabilités du gouvernement fédéral;
  • les programmes qui ne servent plus les fins pour lesquelles ils ont été établis sont éliminés.

Le renouvellement du système de gestion des dépenses a donné suite aux recommandations de de la vérificatrice générale, selon lesquelles les décisions en matière de dépenses devaient prendre appui sur des informations fiables au sujet du rendement des programmes. En , le Comité permanent des comptes publicsNote en bas de page 91 a recommandé « que le Secrétariat du Conseil du Trésor renforce l'importance de l'évaluation en ajoutant une évaluation des programmes à titre d'exigence clé du système de gestion des dépenses ».

Dans le contexte du système de gestion des dépenses renouvelé, l'évaluation est positionnée comme une importante source de données probantes, neutres et dignes de foi sur l'optimisation des ressources des programmes, à l'appui des décisions de dépenses pour chacun des trois piliers du système, comme suit :

Gestion axée sur les résultats :
Les ministères utilisent les évaluations sur une base continue de façon à assurer une gestion axée sur les résultats, c'est-à-dire déterminer si les programmes permettent d'obtenir les résultats attendus et éclairer les décisions quant à la poursuite, à la modification ou à la résiliation des dépenses de programmes.
Discipline initiale :
Les données d'évaluation sont utilisées dans les nouvelles propositions de dépenses (comme dans le processus des mémoires au Cabinet) pour faciliter la comparaison des dépenses proposées avec les résultats des programmes existants ou antérieurs.
Évaluation continue :
Les évaluations fournissent des intrants aux fins des examens des dépenses (complets ou ciblés) à l'appui des analyses visant à déterminer si les programmes sont efficaces et efficients, s'ils sont axés sur les résultats, s'ils font une utilisation optimale des deniers publics, et s'ils sont harmonisés avec les priorités du gouvernement.
Examens stratégiques et autres examens des dépenses

Avant et après le renouvellement de la Politique sur l'évaluation de 2009, les examens des dépenses ont fait augmenter la demande d'évaluations. Chaque année entre 2007-2008 et 2010-2011, des sous-ensembles de ministères ont participé à des examens stratégiques, dirigés par le Conseil du Trésor du Canada, visant à examiner toutes les dépenses de programmes directes du gouvernement fédéral pendant la période complète de quatre ans. Dans le cadre des examens stratégiques, l'on a utilisé les architectures d'alignement des programmes ministériels comme cadre organisationnel et analysé les dépenses en fonction de questions comme la pertinence, l'harmonisation avec les priorités du gouvernement, ainsi que l'efficacité et l'efficience. Après cette période, en 2011-2012, tous les ministères ont participé à un examen stratégique et fonctionnel complet.

Audits externes de la Politique sur l'évaluation au gouvernement du Canada

Le vérificateur général a déclaré en 1993Note en bas de page 92 que la vigueur de la fonction d'évaluation et le nombre d'évaluations diminuaient, et que seulement environ le quart des dépenses du gouvernement entre 1985-1986 et 1991-1992 avait été évalué, loin des attentes selon lesquelles tous les programmes devaient être évalués sur cinq ans. Dans tous les ministères, une somme de 28,5 millions de dollars a été consacrée à l'évaluation en 1991-1992.

En 1996, le vérificateur général a signaléNote en bas de page 93 que la portée d'évaluation s'était améliorée, mais que certains programmes de plus de 1 milliard de dollars n'avaient pas été évalués et que les évaluations étaient généralement trop focalisées sur des composants de programme de plus petite taille et sur des questions de niveau inférieur : les choix des ministères ont reflété leurs intérêts et leurs priorités, mais ils n'ont pas nécessairement généré des données sur l'efficacité des programmes à l'appui de la responsabilisation et de la prise de décisions gouvernementales.

En 2000, le vérificateur généralNote en bas de page 94 a constaté que la fonction d'évaluation avait régressé et que les réductions du financement avaient miné la capacité d'évaluation.

En 2009, la vérificatrice générale a soulignéNote en bas de page 95 qu'un « objectif d'intérêt public important est atteint lorsque l'évaluation de l'efficacité éclaire les décisions importantes que doivent prendre les Canadiens ». En examinant un échantillon d'évaluations ministérielles menées entre 2004 et 2009, qui était une période régie par la Politique d'évaluation de 2001, la vérificatrice générale a constaté que de 5 % à 13 % des dépenses avaient été évaluées chaque année, et elle a conclu que la faible portée de l'évaluation dans les ministères et la collecte insuffisante de données sur la mesure du rendement signifiaient que les besoins en matière de données à propos de l'efficacité des programmes n'étaient pas satisfaits comme il se doit. La vérificatrice générale a signalé que, même si le financement et le personnel de l'évaluation avaient augmenté au cours de cette période, les ministères avaient difficilement satisfait aux exigences d'évaluation.

Dans un audit de suivi mené en 2013, le vérificateur général a conclu ce qui suit : « La Politique sur l'évaluation de 2009 a permis des améliorations dans un certain nombre de secteurs. Néanmoins, des lacunes importantes continuent de limiter l'utilité de l'évaluation des programmes pour appuyer les processus décisionnels au sein de l'administration publiqueNote en bas de page 96 ». Même si les trois quarts des grandes organisations prévoyaient atteindre une portée complète sur cinq ans d'ici 2017, le vérificateur général a signalé que les progrès réalisés relativement à la portée étaient insatisfaisants. L'audit a révélé que les ministères avaient fait des progrès depuis 2009 sur le plan de la production de données continues sur le rendement, mais que les évaluateurs de programmes continuaient de rapporter des contraintes sur le plan de l'examen de l'efficacité des programmes en raison de la disponibilité limitée de données continues sur le rendement. En conséquence, les ministères ont pris des décisions sur les programmes et les dépenses connexes en s'appuyant sur des données incomplètes sur leur efficacité.

L'audit de 2013 a également révélé que les ministères étaient préoccupés par les exigences de la politique visant l'évaluation de tous les programmes tous les cinq ans et l'examen de l'ensemble des questions d'évaluation dans le cadre de toutes les évaluations. Les ministères ont indiqué que, même s'ils avaient la capacité d'atteindre une portée complète sur cinq ans, les exigences combinées relatives aux questions fondamentales et à la portée ont limité la mesure dans laquelle ils ont pu faire une utilisation optimale de leurs ressources d'évaluation. Le vérificateur général a indiqué que le Secrétariat du Conseil du Trésor du Canada devrait tenir compte de ces préoccupations lors de l'évaluation de la Politique sur l'évaluation en 2013-14.

Annexe B : Examen de la mise en œuvre de la Politique sur l'évaluation de 2009

Après l'entrée en vigueur de la Politique sur l'évaluation de 2009, le Secrétariat du Conseil du Trésor du Canada a continuellement surveillé sa mise en œuvre et fait rapport à ce sujet. Pour cerner les problèmes, le Secrétariat a procédé en 2013 à un examen de mise en œuvre qui a porté sur la période de transition de quatre ans vers la politique, avant que l'exigence de la portée d'évaluation complète sur cinq ans ait été pleinement mise en œuvre. L'examen a comporté de vastes consultations auprès de plus de 140 intervenants de tous les niveaux, dans les fonctions ministérielles d'évaluation, les secteurs de programme et les organismes centraux. L'équipe d'examen était composée d'analystes du Centre d'excellence en évaluation du Secrétariat et d'experts-conseils de Hickling Arthurs Low (HAL), et elle a été soutenue par un conseiller en examens, Dr William Trochim, de l'Université Cornell, qui a donné des conseils sur l'approche, la méthodologie et la planification globales de l'examen. En outre, deux comités consultatifs ont formulé des observations sur les plans d'examen et les projets de rapports : l'un d'eux incluait des chefs ministériels d'évaluation, et l'autre incluait des représentants d'organismes centraux.

Ensemble, l'examen de la mise en œuvre et les rapports annuels du Secrétariat sur l'état de la fonction d'évaluation entre 2010 et 2012 ont montré que les ministères avaient accompli de solides progrès au cours de la période de transition de quatre ans vers la politique, et ce, dans les domaines suivants :

  • En général, les ministères avaient mis en place des structures, des rôles et des responsabilités pour gouverner la fonction d'évaluation et en planifier les activités, et leurs hauts dirigeants avaient affiché un plus grand engagement envers les comités ministériels d'évaluation.
  • Les ministères avaient renforcé leur capacité et accompli des progrès vers la mise en œuvre complète des exigences de la politique à compter d' : 
    • Le nombre d'équivalents temps plein affectés à la fonction d'évaluation au sein du gouvernement est passé de 409 en 2007-2008 à 500Note en bas de page 97 en 2011-2012, et les ressources financières sont demeurées relativement stables, autour de 60 millions de dollars;
    • Il y a eu une augmentation notable de la portée de l'évaluation dans les grands ministères par rapport aux niveaux précédant l'entrée en vigueur de la politique : la portée annuelle moyenne des dépenses de programmes directes a augmenté pour passer de 6,5 % en 2007-2008 à 16,8 % en 2011-2012;
    • Les évaluations de programmes plus fortement agrégés ont constitué une stratégie répandue visant à augmenter la portée sans augmenter les ressources d'évaluation dans une même mesure;
    • Nombre de grands ministères avaient élaboré des plans pour une portée complète avant 2013-2014, même si, aux termes de la politique, la planification de la portée fondée sur le risque était autorisée avant cette date.
  • Les ministères ont de plus en plus utilisé l'information recueillie dans le cadre des évaluations pour soutenir le processus décisionnel, notamment pour éclairer les propositions d'examen des dépenses et pour préparer les présentations au Conseil du Trésor et les mémoires au Cabinet.

Mise en œuvre des exigences de la politique liées au leadership, à la gouvernance et à la planification

En général, les ministères avaient mis en œuvre des exigences stratégiques liées aux rôles et aux structures pour diriger et gouverner les fonctions d'évaluation des ministères, ainsi que des outils de planification des évaluations.

Chefs de l'évaluation

L'examen de la mise en œuvre a révélé que, à mesure que les ministères ont mis en œuvre la politique, il y a eu un virage vers la désignation de chefs de l'évaluation à des niveaux plus élevés de la haute direction, ce qui leur a permis d'assumer des rôles consultatifs plus stratégiques dans le processus décisionnel ministériel. Près des deux tiers des chefs de l'évaluation (64 %) ont été désignés aux niveaux EX-3 et EX-4 en 2012-2013, contre moins d'un tiers (30 %) en 2009-2010.

L'examen a révélé que, au cours de la même période de quatre ans, le jumelage de la fonction d'évaluation avec d'autres fonctions est devenu une pratique courante dans les grandes et petites organisations, comme la pratique consistant à combiner le rôle du chef d'évaluation avec d'autres rôles de leadership. En 2012-2013, environ les trois quarts des chefs de l'évaluation ont exercé des rôles de leadership dans deux ou plusieurs autres fonctions; en particulier, 61 % des chefs de l'évaluation ont exercé le rôle de dirigeant principal de l'audit, comparativement à 39 % en 2009-2010. La prévalence des services d'audit et d'évaluation jumelés a également augmenté, passant de 41 % des ministères en 2009-2010 à 67 % des ministères en 2011-2012. Cette tendance au jumelage de l'évaluation avec d'autres fonctions et au jumelage du rôle des chefs de l'évaluation avec d'autres rôles semble principalement avoir découlé de l'exigence inscrite dans la politique selon laquelle les chefs de l'évaluation sont tenus de disposer d'un libre accès l'administrateur général. Cette tendance a peut-être été renforcée par la restructuration organisationnelle consécutive aux exercices de compressions budgétaires dans l'ensemble du gouvernement.

Comités ministériels d'évaluation

L'examen de la mise en œuvre a permis de constater que, à la fin de la période de transition vers la politique, tous les grands ministères ont mis sur pied des comités ministériels d'évaluation, en grande majorité présidés par des administrateurs généraux. De plus en plus, les membres des comités d'évaluation étaient des décideurs principaux représentant la totalité ou la plupart des divisions organisationnelles. Dans la plupart des cas, les membres des comités étaient des cadres supérieurs qui étaient également membres du comité de la haute direction. Dans le tiers des ministères en 2011-2012, la composition des comités ministériels d'évaluation correspondait à celle du comité de la haute direction. Les comités ministériels d'évaluation ont également participé de plus en plus à des activités comme le suivi des recommandations d'évaluations individuelles et la formulation de conseils sur les ressources dont la fonction a besoin.

Plans d'évaluation des ministères

La politique de 2009 exige que les administrateurs généraux approuvent chaque année un plan d'évaluation ministériel quinquennal qui est harmonisé avec la Structure de la gestion, des ressources et des résultats et qui soutient celle-ci, qui appuie le système de gestion des dépenses, et qui permet d'évaluer tous les programmes de subventions et de contributions, comme l'exige l'article 42.1 de la Loi sur la gestion des finances publiques. Le plan d'évaluation est un outil qui favorise la communication au sein des ministères et avec le Secrétariat du Conseil du Trésor du Canada, en particulier avec les analystes prenant part aux processus de gestion des dépenses.

L'examen de la mise en œuvre a permis de constater que, depuis 2009, plus de 90 % des grands ministères et organismes avaient présenté des plans chaque année au Secrétariat. La majorité des ministères avaient élaboré leurs plans en fonction de l'orientation du Secrétariat, en consultant globalement les secteurs de programme et en discutant des besoins en matière de mesure du rendement à l'appui de l'évaluation.

Capacité d'assurer la mise en œuvre complète des exigences de la politique

Affectation des ressources

Au moment où la politique de 2009 est entrée en vigueur, le Secrétariat du Conseil du Trésor du Canada avait prévu que les ministères devraient accroître les investissements dans la fonction d'évaluation pour atteindre et maintenir une portée d'évaluation complète tous les cinq ans. Malgré une augmentation temporaire des ressources en 2009-2010, la surveillance du Secrétariat a montré que les ressources financières gouvernementales affectées à la fonction étaient stables, à environ 60 millions de dollars annuellement jusqu'en 2011-2012.

Même si les ressources financières affectées à la fonction d'évaluation ont été relativement stables au cours de la période de transition vers la politique, le nombre d'équivalents temps plein affectés à la fonction en 2011-2012 a été un peu plus élevé (500Note en bas de page 98) qu'en 2009-2010 (474Note en bas de page 99). Cette augmentation au chapitre des ressources humaines a semblé découler de la réduction des budgets des services professionnels et de la réaffectation de ces fonds aux salaires.

Renforcement des capacités des ressources humaines

Après l'engagement permanent du Secrétariat à l'égard des fonctions d'évaluation des ministères jusqu'en 2011-2012 et une enquête auprès des évaluateurs fédéraux visant à déterminer leurs besoins en matière de perfectionnement professionnel, il a été conclu que la formation en évaluation au niveau débutant n'était plus un besoin prioritaire. Cependant, lorsque les chefs de l'évaluation ont été consultés un an plus tard relativement à l'examen de la mise en œuvre, ils ont indiqué que certains évaluateurs ayant récemment adhéré à la fonction manquaient d'expertise en évaluation, ce qui a fait resurgir la formation de niveau débutant au nombre besoins à court terme.

En outre, un certain nombre de chefs de l'évaluation et de directeurs de l'évaluation ont estimé que les besoins en évaluateurs plus chevronnés ont augmenté en vertu de la politique de 2009 parce que les ministères ont choisi des modèles d'évaluation plus complexes. Plus précisément, ils ont noté que le groupement des programmes à des fins d'évaluation avait fait augmenter la demande d'expertise et d'expérience normalement détenus par des évaluateurs principaux.

Stratégies utilisées aux fins de la mise en œuvre des exigences de portée

L'examen de la mise en œuvre a permis de constater que les ministères avaient utilisé une ou plusieurs des stratégies suivantes pour étendre leur portée d'évaluation tout en respectant leurs ressources budgétisées.

Groupement de programmes à des fins d'évaluation

La politique de 2009 permet aux ministères de grouper ou de diviser les dépenses de programmes directes aux fins de l'évaluation, en fonction des besoins décisionnels. L'examen de la mise en œuvre a révélé que cette stratégie a souvent abouti à des évaluations qui couvraient les services « pratiques » des programmes et la gestion des dépenses (par exemple, les programmes définis par des présentations au Conseil du Trésor), mais qui ne correspondaient pas nécessairement aux programmes définis dans les architectures d'alignement des programmes.

Selon un examen de 28 plans ministériels d'évaluation soumis au Secrétariat en 2012-2013, 81 % des ministères ont utilisé des stratégies de groupement pour obtenir une portée d'évaluation. En groupant les programmes, les ministères ont effectué moins d'évaluations, et ainsi réalisé de plus grandes économies d'échelle (par exemple, en réduisant l'effort requis pour planifier, réaliser ou externaliser plusieurs plus petites évaluations). Le groupement a généralement consisté à grouper des programmes de faible valeur ou des programmes qui avaient des résultats ou des objectifs, des thèmes ou des modèles d'exécution communs.

Calibration de l'effort d'évaluation

L'examen de la mise en œuvre a aussi révélé que les ministères avaient compris qu'ils pouvaient régler l'étendue et la profondeur de l'analyse dans le cadre des évaluations, mais que les options et les limites de calibration de l'évaluation n'étaient pas claires pour eux. En conséquence, les ministères pourraient ne pas avoir pleinement exploité les possibilités qu'offre la calibration.

Plus grand recours aux évaluateurs internes

Pour utiliser plus efficacement leurs ressources, de nombreux ministères ont recouru dans une plus grande mesure aux évaluateurs internes pour diriger et réaliser des évaluations, en n'utilisant des évaluateurs externes que pour des tâches d'évaluation précises (par exemple, la collecte de données) ou pour augmenter la capacité dans les cas où la capacité interne était insuffisante.

Réduction des activités autres que l'évaluation

Pour concentrer les ressources sur la satisfaction des exigences de portée, certains ministères ont choisi de réduire les activités autres que l'évaluation, comme d'autres types de recherche et d'assistance aux programmes pour l'élaboration de stratégies de mesure du rendement.

Mesure du rendement pour appuyer l'évaluation

La Politique sur l'évaluation de 2009 exige que les gestionnaires de programme élaborent et mettent en œuvre des stratégies de mesure du rendement, qui soutiennent les futures évaluations et la gestion continue de leurs programmes. Les gestionnaires de programme consultent les chefs de l'évaluation pour s'assurer que leurs stratégies permettent de produire des données qui répondent aux besoins d'évaluation. En outre, la politique exige que les chefs de l'évaluation préparent un rapport annuel sur l'état de la mesure du rendement à l'intention du comité ministériel d'évaluation.

L'examen de la mise en œuvre a révélé que, entre 2009-2010 et 2011-2012, la proportion des évaluations qui ont été étayées par des données de mesure du rendement est passée de 62 % à 78 %Note en bas de page 100. Le pourcentage de rapports d'évaluation qui indique que la qualité des données est suffisante ou partiellement suffisante pour les besoins de l'évaluation n'a toutefois pas augmenté dans la même mesure (passant de 49 % en 2009-2010 à 52 % en 2011-2012). Lorsque les données de mesure du rendement étaient insuffisantes, les évaluateurs n'étaient souvent pas en mesure de faire des analyses significatives de l'efficacité des programmes.

La grande majorité des informateurs consultés dans le cadre de l'examen ont déclaré que le rapport annuel sur l'état de la mesure du rendement a orienté les discussions entre les services d'évaluation et les secteurs de programme, et a finalement mené à l'élaboration et à la mise en œuvre de stratégies de mesure du rendement. En outre, des chefs de l'évaluation et des directeurs de l'évaluation ont fait observer que le rapport a accru l'attention portée par la haute direction à la mesure du rendement et aux domaines où des améliorations devaient être apportées.

Les progrès de la mise en œuvre dans les petits ministères et organismes

L'examen de la mise en œuvre a permis de tirer des conclusions provisoires sur la mise en œuvre de la politique dans les petits ministères et organismes en raison du nombre limité de groupes qui ont été consultés et de la surveillance discontinue de ces organisations par le Secrétariat du Conseil du Trésor du Canada.

Contrairement à la Politique d'évaluation de 2001, la Politique sur l'évaluation de 2009 n'oblige plus les petites organisations à mettre sur pied des comités ministériels d'évaluation ou à élaborer des plans d'évaluation ministériels. Pour les petites organisations, la politique de 2009 a reporté l'obligation d'évaluer globalement l'ensemble des dépenses de programmes directes.

La politique de 2009 exige toutefois que les administrateurs généraux des petites organisations :

  • Désignent un chef de l'évaluation ayant un accès direct et sans entrave à l'administrateur général;
  • Approuvent les rapports d'évaluation, ainsi que les plans d'action et les réponses de la direction et les mettent à la disposition du public;
  • S'assurent que tous les programmes permanents de subventions et de contributions sont évalués tous les cinq ans, conformément au paragraphe 42.1 de la Loi sur la gestion des finances publiques;
  • S'assurent que les autres dépenses de programmes directes sont évaluées selon les besoins du ministère.

L'examen de la mise en œuvre a permis d'observer que, dans certaines petites organisations, le report des exigences clés de la politique a mené à une érosion des fonctions d'évaluation et au démantèlement de certaines infrastructures d'évaluation. Cependant, d'autres petites organisations ont conservé certains processus et certaines infrastructures d'évaluation, alors que d'autres ont choisi de conserver des caractéristiques fonctionnelles qui ne sont requises par la politique que dans les grandes organisations. Par exemple, plusieurs petites organisations ont conservé leurs comités ministériels d'évaluation ou ont intégré leurs responsabilités à d'autres comités de gouvernance, comme leurs comités exécutifs.

L'examen de la mise en œuvre a permis de constater que les petites organisations avaient désigné des chefs de l'évaluation et que 80 % d'entre eux avaient un libre accès à leurs administrateurs généraux. Le niveau d'ancienneté des chefs de l'évaluation était légèrement inférieur dans les petites organisations que dans les grandes. Tous les chefs de l'évaluation dans les petites organisations ont également exercé des rôles de leadership dans d'autres fonctions (par exemple, l'audit interne, la mesure du rendement ou la gestion des risques), et 90 % des fonctions d'évaluation ont été colocalisées avec une autre fonction, comme la planification stratégique, la mesure du rendement ou l'audit.

Les défis de la mise en œuvre de la politique

Même si l'élargissement de la portée de l'évaluation a coïncidé avec une plus grande utilisation de l'évaluation et d'autres avantages, il a entraîné des défis dans certains ministères. Par exemple :

  • Certains ministères ont trouvé difficile d'affecter assez de ressources à la fonction d'évaluation pour appuyer l'obtention d'une portée exhaustive sur cinq ans;
  • Certains peuvent ne pas avoir su tirer parti des assouplissements de la politique pour calibrer les évaluations et grouper les dépenses de programmes de manière à obtenir une portée plus rentable. En outre, l'approche adoptée par le Secrétariat pour évaluer la qualité d'évaluation dans le contexte du processus d'évaluation du Cadre de responsabilisation de gestion pourrait avoir rendu des ministères moins susceptibles d'expérimenter des approches calibrées;
  • Les ministères ont estimé en général que l'exigence d'une portée complète sur cinq ans et, dans une certaine mesure, l'exigence de la Loi sur la gestion des finances publiques ont limité leur réactivité aux priorités d'évaluation émergentes et aux besoins en matière d'information des administrateurs généraux.

Même si l'application universelle des cinq questions fondamentales a soutenu l'utilité des évaluations dans l'ensemble du spectre des utilisations et des utilisateurs ciblés par la politique, elle a présenté  des défis pour certains ministères. Certains ministères voulaient disposer d'une plus grande marge de manœuvre pour l'application des questions, car ils estimaient que toutes les questions n'étaient pas nécessaires dans toutes les évaluations et ne constituaient pas non plus une bonne utilisation des ressources d'évaluation. Compte tenu de leurs ressources d'évaluation limitées, certains ministères étaient d'avis que l'obligation d'appliquer de façon universelle les questions fondamentales a rendu encore plus difficile l'obtention d'une portée complète sur cinq ans.

Même si la mesure du rendement s'est quelque peu améliorée au cours des premières années de mise en œuvre de la politique, les responsables des fonctions d'évaluation ont tout de même trouvé les données insuffisantes pour soutenir pleinement l'évaluation. Des lacunes sur le plan de la disponibilité et de la qualité des données de mesure du rendement ont présenté des difficultés en vue de l'utilisation efficiente des ressources d'évaluation, considérant que les évaluateurs prenaient des mesures pour compenser le manque de données afin d'évaluer la mesure dans laquelle les programmes permettaient d'optimiser les ressources publiques.

Annexe C : Objet de l'évaluation de la Politique sur l'évaluation de 2009, méthodologie et comités de gouvernance pour l'évaluation

Objet de l'évaluation

La présente évaluation éclairera le Conseil du Trésor du Canada à mesure qu'il s'acquittera de ses responsabilités relativement à l'élaboration de politiques et à la gouvernance de la fonction d'évaluation à l'échelle gouvernementale. Les données recueillies lors de l'évaluation ne serviront pas à évaluer le rendement des ministères individuels par rapport à la Politique sur l'évaluation.

La présente évaluation atténue aussi les risques que la Politique sur l'évaluation ne donne pas les résultats attendus, qui consistent à faire en sorte que des renseignements neutres et crédibles sur la pertinence et le rendement continus des dépenses de programmes directes (DPD) soient fournis en temps opportun aux ministres, aux organismes centraux et aux administrateurs généraux afin d'éclairer la prise des décisions fondées sur des preuves qui concernent les politiques, la gestion des dépenses et l'amélioration des programmes, et au Parlement et à la population canadienne afin d'aider le gouvernement à rendre compte des résultats des programmes et des politiques. La complexité de l'évaluation correspondait à l'importance de l'objectif selon lequel la politique doit permettre d'obtenir les résultats attendus.

Méthodologie

Études de cas

Études de cas sur le rendement de la politique

Des experts-conseils de l'extérieur ont mené une série d'études de cas ministérielles et effectué des analyses qualitatives afin d'établir des liens entre la mise en œuvre de la politique et l'utilisation de l'évaluation. Un échantillon représentatif de 10 ministères et organismes a été choisi. Vingt-huit évaluations menées en vertu de la politique de 2009 ont été étudiées, ce qui représente tout au plus trois évaluations par ministère. En tout, 86 entrevues ont été menées auprès d'informateurs clés, soit entre 2 et 14 par cas, auprès de chefs et de directeurs de l'évaluation, de membres d'équipes d'évaluation, de gestionnaires de programmes évalués, de membres de comités ministériels d'évaluation et de représentants d'organismes centraux. Les études de cas ont aussi comporté un volet d'examen de documents. Un rapport a été préparé pour chaque organisation, afin de faire la synthèse des informations provenant de toutes les sources de données, et un rapport d'analyse de toutes les études de cas a été préparé afin de résumer les résultats de l'ensemble des organisations.

Études de cas sur l'application de la politique

Pour évaluer la pertinence de la Politique sur l'évaluation au regard de diverses catégories de dépenses de programmes et cerner les possibilités d'appliquer avec souplesse les principales exigences de la politique, l'équipe d'évaluation interne a mené des études de cas par rapport à six catégories de dépenses de programmes. Les études de cas ont permis d'analyser qualitativement l'application de la politique et de ses principales exigences (portée complète des dépenses de programmes directes, fréquence quinquennale des évaluations, et examen des cinq questions fondamentales) aux six catégories de dépenses suivantes :

  • Contributions obligatoires à des organisations internationales; 
  • Fonds de dotation;
  • Programmes assortis d'une exigence d'évaluations indépendantes commandées par le bénéficiaire;
  • Programmes à faible risque;
  • Programmes assortis d'objectifs d'obtention de résultats à long terme;
  • Autres programmes désignés par les ministères comme présentant des difficultés quant à l'application de la politique.

Neuf grandes organisations ont présenté un total de 22 exemples de programmes et de difficultés associés à leur évaluation en vertu de la politique. L'équipe d'évaluation interne a choisi deux exemples supplémentaires. Des documents et des revues spécialisées pertinents choisis par les organisations ont été examinés, y compris des rapports d'évaluation existants, des sites Web, des textes législatifs, des accords de financement (ou des extraits de tels rapports) ainsi que d'autres textes législatifs et politiques du Conseil du Trésor. Par la suite, pour les 24 programmes, 39 consultations ont été menées auprès de 24 ministères, pour un total de 37 représentants des ministères, y compris 14 professionnels de l'évaluation et 23 gestionnaires de programmes ou autres. Des consultations ont également été réalisées auprès de 35 chefs de l'évaluation, ou leurs délégués, en petits groupes. Ces consultations ont permis d'étudier les difficultés et les incidences de l'obligation de satisfaire aux exigences de la politique et les rajustements apportés à l'application des exigences. Huit consultations ont été menées auprès de 11 représentants d'organismes centraux afin d'obtenir leurs points de vue quant à l'utilisation et à l'utilité des évaluations menées en vertu de la politique, ainsi que sur les difficultés liées à l'utilité de l'évaluation.

Consultations avec les intervenants

Des consultations auprès des intervenants ont été menées dans le cadre du dialogue stratégique continu, ainsi que pour éclairer l'évaluation de la Politique sur l'évaluation et l'examen de la Politique sur la structure de la gestion, des ressources et des résultats. Le sous-secrétaire adjoint du Secteur de la gestion des dépenses du Secrétariat du Conseil du Trésor du Canada a mené des entretiens semi-structurés auprès de 15 administrateurs généraux, administrateurs généraux délégués et administrateurs généraux adjoints de grands et petits ministères, et auprès de six autres informateurs clés, y compris des hauts fonctionnaires d'organismes centraux et d'anciens fonctionnaires fédéraux.

Enquêtes

Enquête auprès des gestionnaires de programmes

Une enquête auprès des gestionnaires de programmes ministériels a été menée, principalement dans le but d'éclairer les conclusions sur les impacts des exigences clés de la politique sur l'utilisation et l'utilité des évaluations, ainsi que les effets d'autres facteurs internes et externes. L'enquête en ligne a été administrée à l'aide du logiciel d'enquête du Secrétariat coordonné par l'administration centrale. Un échantillon non probabiliste de 514 gestionnaires de programmes a été sélectionné à partir d'un cadre d'échantillonnage de 707 gestionnaires de programmes désignés par les ministères fédéraux. En tout, 115 réponses ont été reçues, pour un taux de réponse de 22 %. Sur les 115 répondants, 48 ​​(42 %) avaient géré un programme qui avait été évalué en vertu de la Politique d'évaluation de 2001 et 99 (86 %) avaient géré un programme qui avait été évalué aux termes de la Politique sur l'évaluation de 2009. Bon nombre de questions de l'enquête n'ont été posées qu'à ceux du dernier groupe. Pour les besoins de l'enquête, les gestionnaires de programmes ont été définis comme étant ceux qui sont responsables de la gestion des services (programmes) désignés pour l'évaluation dans le plan d'évaluation des ministères. Les résultats de l'enquête n'ont pas été pondérés en raison d'un manque de données sur la population.

Enquête auprès des évaluateurs et des gestionnaires de l'évaluation

Une enquête auprès des évaluateurs et des gestionnaires ministériels de l'évaluation a été menée, principalement pour éclairer les conclusions concernant les impacts des exigences clés de la politique sur l'utilisation et l'utilité des évaluations, ainsi que sur les effets d'autres facteurs internes et externes. L'enquête en ligne a été administrée à l'aide du logiciel d'enquête du Secrétariat coordonné par l'administration centrale. Le cadre d'échantillonnage comprenait 392 évaluateurs et gestionnaires de l'évaluation désignés par des ministères fédéraux, et tous ont été invités à participer à l'enquête. En tout, 153 réponses ont été reçues, pour un taux de réponse de 39 %. Parmi les 153 répondants, 89 (58 %) avaient travaillé dans la fonction d'évaluation fédérale avant l'entrée en vigueur de la politique de 2009. Aux fins d'analyse, les données ont été pondérées selon le type de poste (gestionnaire de l'évaluation, évaluateur), la taille de l'organisation, la présence de programmes de subventions et de contributions au ministère, et le secteur. Des comparaisons ont été effectuées selon le secteur et la présence de programmes de subventions et de contributions. Peu de différences systématiques ont toutefois été constatées.

Analyse de données

Les experts-conseils de l'extérieur ont utilisé le logiciel SPSS pour procéder à des analyses statistiques descriptives et déductives des données de surveillance de la politique recueillies antérieurement par le Centre d'excellence en évaluation ainsi que des données issues des enquêtes menées auprès des gestionnaires de programme, des gestionnaires de l'évaluation et des évaluateurs. Les données de surveillance incluaient ce qui suit :

  • Données des enquêtes annuelles d'évaluation de la capacité des fonctions ministérielles d'évaluation menées entre 2004-2005 et 2013-2014;
  • Cotes d'évaluation des fonctions ministérielles d'évaluation accordées selon le Cadre de responsabilisation de gestion entre 2007-2008 et 2011-2012, y compris les cotes globales et les cotes attribuées au regard de chacun des quatre sous-critères (qualité des rapports d'évaluation, gouvernance et soutien de la fonction d'évaluation, portée d'évaluation, et utilisation de l'évaluation), ainsi que les cotes globales attribuées en 2006-2007.

L'orientation de l'enquête d'évaluation des capacités a changé chaque année, et les indicateurs du Cadre de responsabilisation de gestion ont évolué au fil des ans. Pour effectuer des analyses longitudinales dans l'optique d'illustrer les changements qui étaient potentiellement attribuables à la politique, seuls les indicateurs stables de ces deux sources de données ont été utilisés.

Des données ouvertes des enquêtes auprès des gestionnaires de programme et de la collectivité fédérale de l'évaluation ont été codées par l'équipe d'évaluation interne, puis transférées à l'équipe externe.

Schématisation des processus

Une schématisation des processus (voir l'annexe D) a été mise au point par les experts-conseils de l'extérieur, au moyen de l'examen de documents et des données des études de cas. La schématisation a fourni un survol du mode de fonctionnement de la fonction d'évaluation dans les ministères, y compris des processus de planification, de réalisation et d'utilisation des évaluations.

Examen des documents

L'équipe d'évaluation interne a effectué un examen des documents afin d'éclairer les questions sur la pertinence des questions fondamentales et de la portée complète, sur les méthodes utilisées pour mesurer le rendement de la politique, sur les données de référence des résultats de la politique, et sur les facteurs influant l'obtention de résultats. Une soixantaine de documents internes et externes ont été examinés, y compris des rapports du vérificateur général au Parlement, des rapports du Comité permanent des comptes publics, des publications du Secrétariat du Conseil du Trésor du Canada, et d'autres documents.

Examen de documents spécialisés

L'équipe d'évaluation interne a effectué un examen de documents spécialisés afin de comparer les politiques et les pratiques d'évaluation d'autres administrations avec celles du Canada, et en particulier, celles qui ont trait à la portée et à la fréquence des évaluations, ainsi qu'aux questions fondamentales appliquées aux évaluations. L'examen a permis de synthétiser les documents spécialisés disponibles les plus récents dans les catégories suivantes :

  • Publications officielles de gouvernements (nationaux et infranationaux) et d'organisations internationales (organismes), y compris des politiques d'évaluation, des documents d'orientation, des plans d'évaluation, une constitution gouvernementale, des textes législatifs, des rapports d'information, des normes d'évaluation, des compétences, des glossaires et d'autres rapports;
  • Pages Web;
  • Articles universitaires et documents de travail;
  • Information tirée de présentations au Secrétariat du Conseil du Trésor du Canada.

Un échantillon de neuf pays et de trois organisations internationales a été établi en fonction de plusieurs critères décrits ci-après :

  • Pertinence et comparabilité avec le contexte canadien : États-Unis, Royaume-Uni et Australie;
  • Comparabilité des niveaux d'activité en évaluation, de l'état des politiques d'évaluation, ou d'autres facteurs : Suisse, Japon et Inde – d'après un rapport de 2013 d'EvalPartners, Mapping the Status of National Evaluation Policies;
  • Par souci de continuité, les pays examinés au cours de l'examen de 2013 de la mise en œuvre de la Politique sur l'évaluation : Afrique du Sud, Mexique, Espagne, États-Unis, Royaume-Uni et Australie;
  • Organismes ou groupes d'évaluation de trois organisations internationales ayant des orientations ou des politiques d'évaluation établies : le Groupe de l'évaluation des Nations Unies, le Comité d'aide au développement de l'Organisation de coopération et de développement économiques, et le Groupe d'évaluation indépendant de la Banque mondiale;
  • Disponibilité et fiabilité des sources et des documents en ligne en français et en anglais.

Comités de gouvernance de l'évaluation de la Politique sur l'évaluation de 2009

Pour assurer la continuité, le comité consultatif des chefs de l'évaluation (CCCE) et le comité consultatif des organismes centraux (CCOC), qui avaient gouverné l'examen de 2013 de la mise en œuvre, ont poursuivi leurs rôles aux fins de l'évaluation de la politique de 2009, et des membres ont été ajoutés à chaque comité afin d'assurer une représentation adéquate. La composition du CCCE reflétait un éventail de types d'organisation (par exemple, petites et grandes organisations de divers secteurs) ayant divers types de dépenses (par exemple, dépenses en subventions et contributions), tandis que la composition du CCOC incluait le Bureau du Conseil privé, le ministère des Finances Canada, et le Secrétariat du Conseil du Trésor du Canada, y compris ses secteurs de programmes et de politiques. Les travaux des comités ont été régis par un cadre de référence. La liste des membres des comités se trouve au tableau 3.

Tableau 3. Composition des comités consultatifs aux fins de l'évaluation de la Politique sur l'évaluation
Comité consultatif des chefs de l'évaluation Organisation
Shelley Borys, directrice générale, Évaluation Agence de la santé publique du Canada
Santé Canada
Linda Anglin, dirigeante principale de l'audit et de l'évaluation Travaux publics et Services gouvernementaux Canada
Susan Morris, directrice, Évaluation Recherches en sciences et en génie Canada
Conseil de recherches en sciences humaines du Canada
Stephen Kester, directeur, Évaluation Affaires étrangères, Commerce et Développement Canada
Courtney Amo, directrice par intérim, Évaluation et risque Agence de promotion économique du Canada atlantique
Denis Gorman, directeur, Audit interne et évaluation Sécurité publique Canada
Richard Willan, dirigeant principal de l'audit et de l'évaluation
Marie-Josée Dionne-Hébert, directrice, Services d'évaluation
Patrimoine canadien
Comité consultatif des organismes centraux Organisation
Renée Lafontaine, directrice exécutive, Affaires internationales et développement Secrétariat du Conseil du Trésor du Canada, Secteur des affaires internationales, de la sécurité et de la justice, Direction des affaires internationales et du développement
Stephen McClellan, directeur exécutif, Affaires autochtones et santé Secrétariat du Conseil du Trésor du Canada, Secteur des programmes sociaux et culturels, Affaires autochtones et santé
Catherine Adam, directrice générale Ministère des Finances Canada, Relations fédérales-provinciales et politique sociale
Yves Giroux, directeur, Opérations Bureau du Conseil privé, Secrétariat de liaison de politique macroéconomique
Mike Milito, directeur général, Bureau de l'audit interne et de l'évaluation Secrétariat du Conseil du Trésor du Canada, Bureau de l'audit interne et de l'évaluation
Amanda Jane Preece, directrice exécutive, Gestion axée sur les résultats
Kiran Hanspal, directeur exécutif, Gestion axée sur les résultats
Secrétariat du Conseil du Trésor du Canada, Secteur de la gestion des dépenses, Gestion axée sur les résultats
Nick Wise, directeur exécutif, Politique stratégique
Paule Labbé, directrice exécutive, Priorités et planification
Secrétariat du Conseil du Trésor du Canada, Priorités et planification, Cadre de responsabilisation de gestion et gestion du risque
Sylvain Michaud, directeur exécutif, Politique comptable et rapports du gouvernement Secrétariat du Conseil du Trésor du Canada, Politique comptable et rapports du gouvernement

Annexe D : Théorie de contribution de la Politique sur l'évaluation de 2009, schématisation des processus génériques d'évaluation du cycle de vie d'une évaluation ministérielle, et modèle logique de mise en œuvre de la Politique sur l'évaluation de 2009

L'annexe D présente trois figures : la théorie de contribution de la Politique sur l'évaluation de 2009, une schématisation des processus génériques d'évaluation du cycle de vie d'une évaluation ministérielle, et le modèle logique de mise en œuvre de la Politique sur l'évaluation de 2009. Une liste des abréviations utilisées dans les figures est présentée ci-dessous.

Abréviations utilisées dans les figures 7, 8 et 9

Abréviation Expression complète
AG Administrateur général
BVG Bureau du vérificateur général du Canada
CE Chef de l'évaluation
CEE Centre d'excellence en évaluation
CME Comité ministériel d'évaluation
CR Cadre de référence
CS Cadres supérieurs
DP Demande de propositions
LGFP Loi sur la gestion des finances publiques
PARD Plan d'action et réponse de la direction
PE Politique sur l'évaluation
PEM Plan d'évaluation du ministère
S et C Subventions et contributions
SCT Secrétariat du Conseil du Trésor du Canada
SGD Système de gestion des dépenses
SGRR Structure de gestion, des ressources et des résultats
SMR Stratégies de mesure du rendement
Figure 7. Théorie de contribution de la Politique sur l'évaluation de 2009
Théorie de contribution de la Politique sur l'évaluation de 2009
Figure 7 - Version textuelle

La figure montre la chaîne théorique de résultats associés à la Politique sur l’évaluation de 2009, ainsi que les influences externes sur les résultats et les liens de causalité (hypothèses et risques) entre les quatre parties de la chaîne de résultats, qui sont (1) les extrants, (2) les résultats immédiats, (3) les résultats intermédiaires et (4) les résultats finaux.

Les extrants de la Politique sur l’évaluation de 2009 sont les suivants :

  • La politique en soi, la Directive sur la fonction d’évaluation de 2009 et les Normes d’évaluation pour le gouvernement du Canada de 2009;
  • Les éléments structurels exigés par les instruments de politique – par exemple :
    • Que le poste de chef de l’évaluation soit classifié comme il se doit;
    • Que le chef de l’évaluation ait un libre accès à l’administrateur général;
    • Qu’un comité ministériel d’évaluation soit en place;
  • L’exigence de contenu, en particulier l’exigence selon laquelle les cinq questions fondamentales doivent être traitées dans chaque évaluation;
  • L’exigence de portée selon laquelle l’évaluation couvre toutes les dépenses de programmes directes;
  • L’exigence de fréquence selon laquelle l’évaluation de toutes les dépenses de programmes directes doit avoir lieu tous les cinq ans.

Les influences extérieures qui s’exercent sur les extrants sont les suivantes :

  • Les conclusions du Centre d’excellence en évaluation et du Bureau du vérificateur général concernant la qualité, la portée et l’utilité des évaluations;
  • Les expériences des ministères au regard de la qualité et de l’utilité des évaluations.

Si l’on se déplace le long de la chaîne pour passer des extrants aux résultats immédiats, on remarque les liens de causalité suivants :

  • L’hypothèse selon laquelle la capacité (ressources humaines, compétences et ressources financières) est suffisante pour satisfaire aux exigences;
  • L’hypothèse selon laquelle il existe une capacité d’attirer, de maintenir en poste et de former le personnel;
  • Le risque que l’administrateur général exige que d’autres besoins d’information soient satisfaits.

Les résultats immédiats de la Politique sur l’évaluation de 2009 sont les suivants :

  • Une fonction d’évaluation solide et neutre;
  • Toutes les questions fondamentales sont abordées dans toutes les évaluations;
  • Portée complète;
  • Fréquence quinquennale des évaluations;
  • Rapports ministériels sur l’état de la mesure du rendement.

Les influences extérieures qui s’exercent sur les résultats immédiats sont les suivantes :

  • Mesure du rendement;
  • L’état initial de l’évaluation dans l’organisation et les tendances préexistantes;
  • La disponibilité d’évaluateurs compétents et la capacité de les embaucher;
  • Les contraintes budgétaires;
  • Un besoin accru de données d’évaluation;
  • L‘instabilité de l’univers d’évaluation;
  • Les systèmes d’information financière.

Si l’on se déplace le long de la chaîne pour passer des résultats immédiats aux résultats intermédiaires, on remarque les liens de causalité suivants :

  • L’hypothèse du développement d’une culture et de comportements réceptifs à l’évaluation;
  • L’hypothèse selon laquelle les unités d’évaluation capables de profiter des possibilités offertes par la politique;
  • Le risque que des exigences particulières des administrateurs généraux mettent de côté les évaluations;
  • Le risque que la capacité limitée n’améliore pas la qualité de l’évaluation;
  • Le risque de l’absence de client à l’interne pour une évaluation.

Il existe deux séries de résultats intermédiaires de la Politique sur l’évaluation de 2009.

La première série est la suivante :

  • Les évaluations produisent des renseignements réguliers, dignes de foi et neutres sur le rendement et la pertinence continus des dépenses de programmes directes;
  • Les évaluations répondent aux questions d’intérêt pour la direction;
  • Les évaluations produisent des conclusions au sujet d’entités de dépenses de programmes directes qui sont utiles à la prise de décisions;
  • Les évaluations produisent des conclusions au moment où les utilisateurs en ont besoin;
  • Les évaluations répondent aux besoins émergents.

Les influences extérieures qui s’exercent sur la première série de résultats intermédiaires sont les suivantes :

  • Cadres de responsabilisation de gestion, y compris une plus grande attention de la part de l’administrateur général et des cadres supérieurs, un comportement d’évaluation axé sur l’aversion au risque, l’inutilisation des assouplissements existants, et l’application de la politique à des fins contraires au rendement;
  • L’architecture d’alignement des programmes;
  • La Politique sur la structure de la gestion, des ressources et des résultats;
  • Les exigences de la Loi sur la gestion des finances publiques.

Si l’on se déplace le long de la chaîne pour passer de la première à la deuxième série de résultats intermédiaires, on remarque les liens de causalité suivants :

  • L’hypothèse selon laquelle il y a un engagement d’amélioration par l’évaluation;
  • L’hypothèse selon laquelle les gestionnaires sont disposés à composer publiquement avec des résultats négatifs;
  • L’hypothèse de prestation des évaluations en temps opportun;
  • L’hypothèse selon laquelle les programmes demeurent stables;
  • L’hypothèse selon laquelle les recommandations des évaluations renferment des mesures à prendre;
  • L’hypothèse selon laquelle la communication des conclusions d’évaluation maximise le transfert des connaissances;
  • L’hypothèse selon laquelle des systèmes de soutien sont en place pour mettre en application les conclusions d’évaluation;
  • Le risque qu’il y ait un intérêt limité des administrateurs généraux;
  • Le risque que l’espace soit limité pour les gestionnaires de programme;
  • Le risque que des évaluations demeurent inutilisées;
  • Le risque que l’évaluation soit marginalisée par des évaluations axées sur la portée.

La deuxième série de résultats intermédiaires de la Politique sur l’évaluation de 2009 est la suivante :

  • Les évaluations répondent aux besoins des administrateurs généraux et d’autres utilisateurs;
  • Les évaluations servent à la gestion des dépenses;
  • Les évaluations servent à la prise de décisions par le Cabinet;
  • Les évaluations servent à l’élaboration et à l’amélioration des politiques et des programmes;
  • Les évaluations servent à la reddition des comptes et aux rapports publics;
  • La fonction d'évaluation entre en jeu dans les discussions et la prise de décisions au niveau de la direction;
  • La fonction d’évaluation produit des renseignements utiles dans l’ensemble des programmes et des secteurs.

Les facteurs extérieurs qui s’exercent sur la deuxième série de résultats intermédiaires sont les suivants :

  • Les examens stratégiques;
  • La tendance à la prise de décisions fondée sur des éléments de preuve;
  • Les parlementaires et les cadres supérieurs qui mettent l’accent sur les éléments de preuve.

Si l’on se déplace le long de la chaîne pour passer de la deuxième série de résultats intermédiaires au résultat final, on remarque les liens de causalité suivants :

  • L’hypothèse selon laquelle les données d’évaluation sont pertinentes et réactives à la gestion et à la reddition de comptes du gouvernement;
  • Le risque que des données d’évaluation soient mises de côté au profit d’autres renseignements ou d’autres influences décisionnelles;
  • Le risque que la fonction d’évaluation soit dévalorisée.

Le résultat final de la Politique sur l’évaluation de 2009 est le suivant : le gouvernement est bien géré et responsable, et les ressources sont attribuées pour atteindre les résultats.

Les facteurs extérieurs qui s’exercent sur le résultat final sont les suivants :

  • D’autres formes d’examen et d’audit;
  • Le renouvellement du Système de gestion des dépenses, qui inclut la gestion axée sur les résultats, des propositions axées sur la discipline et un examen stratégique.
Figure 8. Schématisation des processus génériques d'évaluation du cycle de vie d'une évaluation ministérielle
Schématisation des processus génériques d'évaluation du cycle de vie d'une évaluation ministérielle
Figure 8 - Version textuelle

La figure montre les activités ou les étapes du cycle de vie d'une évaluation ministérielle. Elle présente également le calendrier approximatif, en mois, d'étapes individuelles ou de groupes d'activités au cours du cycle de vie d'une évaluation; les activités ou les étapes qui mènent à la production d'un document; les principales étapes d'approbation associées à certains documents; et les étapes du cycle de vie où l'utilisation des évaluations ou de leurs produits préliminaires est possible.

Le cycle de vie d'une évaluation ministérielle comporte trois phases : la planification, la réalisation et l'utilisation de l'évaluation.

La phase de planification comporte sept étapes :

La première étape concerne la planification de l'évaluation. À cette étape, des exigences comme celles de la Loi sur la gestion des finances publiques (exigence de renouvellement des subventions et contributions) ou celle de la portée sont définies. On tient compte de toutes les demandes de la direction, d'autres projets d'examen ou d'audit, du calendrier de l'évaluation par rapport à la disponibilité des ressources internes, et du risque.

La deuxième étape consiste à inscrire l'évaluation dans le plan quinquennal d'évaluation. La deuxième étape entraîne la production du plan quinquennal d'évaluation, lequel est approuvé par le comité ministériel d'évaluation.

La troisième étape est constituée des consultations auprès de la direction du programme et des intervenants au sujet du contexte et des questions d'évaluation. Pour ce qui est du calendrier d'évaluation, cette étape marque le début de la réalisation de l'évaluation, ou le mois zéro.

La quatrième étape concerne l'établissement du groupe de travail sur l'évaluation et de son cadre de référence.

La cinquième étape, une étape d'approbation importante, consiste à mettre la dernière main au cadre de référence de l'évaluation. Le document du cadre de référence renferme les questions d'évaluation, les indicateurs, la méthodologie, les rôles et responsabilités, ainsi que le calendrier de l'évaluation.

La sixième étape consiste à faire approuver le cadre de référence de l'évaluation par le comité ministériel d'évaluation.

La septième étape, la dernière de la phase de planification, concerne la création d'équipes d'évaluation interne et externe, ou d'une équipe d'évaluation mixte. En outre, une demande de propositions (DP) et un processus de sélection sont mis en place pour sélectionner les membres de l'équipe externe, au besoin. La DP est un document produit à cette étape. La septième étape a lieu généralement entre le deuxième et le quatrième mois du cycle de vie de l'évaluation.

La phase de réalisation comporte cinq étapes.

La première étape comprend l'examen et la présentation du plan de travail de l'évaluation, y compris les instruments provisoires de collecte de données et le calendrier révisé, au groupe de travail. Le plan de travail de l'évaluation est un document produit à cette étape.

La deuxième étape concerne la collecte de données pour plusieurs éléments de preuve, assortie de comptes rendus réguliers.

La troisième étape est celle de l'analyse des données et de la production, de l'examen et de l'approbation des rapports techniques. Les rapports techniques sont des documents produits à cette étape, qui a lieu généralement entre le quatrième et le neuvième mois du cycle de vie de l'évaluation.

La quatrième étape consiste à présenter les résultats préliminaires au groupe de travail et aux gestionnaires de programme. Les présentations sont des documents produits à cette étape.

La cinquième étape, la dernière étape de la phase de réalisation, concerne la production de la première ébauche du rapport d'évaluation, y compris les recommandations provisoires. L'ébauche du rapport est un document produit à cette étape, qui a lieu généralement entre le cinquième et le douzième mois du cycle de vie de l'évaluation, et qui est approuvé avant de passer à la phase d'utilisation du cycle de vie de l'évaluation.

La phase d'utilisation comporte six étapes.

La première étape concerne la discussion et l'achèvement des recommandations de l'évaluation et la préparation, par les gestionnaires de programme, du plan d'action et de la réponse de la direction (PARD). Le PARD est un document qui est produit à cette étape.

La deuxième étape consiste à mettre en place un plan de suivi du PARD, incluant les étapes clés et les responsabilités relatives aux mesures à prendre.

La troisième étape consiste à produire un rapport d'évaluation final et à le faire approuver par le service d'évaluation et par le groupe de travail. Le rapport final d'évaluation est un document produit à cette étape.

La quatrième étape est celle de la présentation du rapport au comité ministériel d'évaluation et au comité exécutif, de l'achèvement des recommandations et des mesures à prendre, et de l'approbation définitive du rapport d'évaluation. Cette étape a lieu généralement entre le sixième et le dix-huitième mois du cycle de vie de l'évaluation, et représente une étape d'approbation importante.

La cinquième étape consiste à aviser le ministre au sujet de l'évaluation, à afficher le rapport et le son PARD qui s'y rattache sur le site Web du ministère, et à diffuser le rapport auprès des intervenants. Cette étape a lieu généralement entre le septième et le vingt et unième mois du cycle de vie de l'évaluation.

La sixième étape, la dernière du cycle de vie de l'évaluation, consiste à assurer le suivi du PARD pour s'assurer qu'il est exécuté, à faire rapport au comité ministériel d'évaluation, et à améliorer le programme.

La schématisation des processus cerne les possibilités d'utilisation des évaluations au cours du cycle de vie de l'évaluation. Ces possibilités se présentent aux étapes suivantes : planification de l'évaluation (utilisation du processus); présentation des résultats préliminaires; ébauche de rapport; discussion et achèvement des recommandations et préparation du PARD; mise en place du plan de suivi du PARD; rapport d'évaluation final et approbations; présentation du rapport au comité ministériel d'évaluation et au comité exécutif, achèvement des recommandations et des mesures à prendre; diffusion auprès des intervenants; suivi du PARD et rapport au comité ministériel d'évaluation.

La schématisation des processus génériques a été élaborée à partir de données tirées des études de cas sur le rendement.

Le cycle de vie de l'évaluation est constitué de trois phases : planification, réalisation et utilisation. Les études de cas ont révélé que, même si l'ensemble du cycle peut durer jusqu'à deux ans, les activités peuvent être comprimées s'il y a lieu d'effectuer une évaluation plus rapidement. La plus longue période semble être le processus d'approbation, entre les conclusions préliminaires et l'affichage final. En général, les ministères qui font l'objet d'études de cas mettent à jour chaque année leurs plans d'évaluation, lesquels peuvent influer sur le calendrier et l'interaction entre les phases d'évaluation. Le Comité ministériel d'évaluation (CME) participe à au moins deux étapes : l'approbation du plan ministériel d'évaluation et l'approbation du rapport d'évaluation final. En outre, certains ministères font participer leur CME à la discussion sur l'étendue des évaluations et les conclusions préliminaires. Les études de cas ont permis de répertorier de nombreuses possibilités d'utilisation des évaluations tout au long du cycle d'évaluation. Comme le montre la schématisation des processus, ces possibilités se présentent lors de la planification de l'évaluation (utilisation des processus), des présentations des résultats préliminaires, des projets de rapport, de la discussion et de l'achèvement des recommandations, de la préparation du plan d'action et de la réponse de la direction (PARD), du rapport final et des approbations d'évaluation, de la présentation ou du rapport au CME et au comité exécutif; de l'achèvement des recommandations et des mesures à prendre, de la diffusion aux intervenants, du suivi du PARD et des rapports au CME.

Figure 9. Modèle logique de mise en œuvre de la Politique sur l'évaluation de 2009
Modèle logique de mise en œuvre de la Politique sur l'évaluation de 2009
Figure 9 - Version textuelle

La figure montre le modèle logique de la mise en œuvre de la Politique sur l'évaluation de 2009, y compris les acteurs de la mise en œuvre, les activités concernées, les extrants de la mise en œuvre de la politique, ainsi que les résultats immédiats, intermédiaires, final et stratégiques de la politique. Le modèle logique montre également les interactions entre les éléments.

Les acteurs de la mise en œuvre de la politique sont le secrétaire du Conseil du Trésor et le Centre d'excellence en évaluation, qui assurent le leadership de la fonction d'évaluation à l'échelle du gouvernement; les fonctions d'évaluation des ministères; les fonctions responsables des politiques et des programmes ministériels, de la planification et de la présentation de rapports; et les fonctions de l'organisme central.

Parmi les activités du secrétaire du Conseil du Trésor, soutenu par le Centre d'excellence en évaluation, mentionnons la recherche et l'élaboration de politiques, la surveillance et les rapports; le leadership; et les conseils sur la mise en œuvre. Pour sa part, le Centre d'excellence en évaluation produit les résultats suivants : recherche et instruments de politique, surveillance, examens des rapports d'évaluation, évaluations des plans d'évaluation des ministères, rapports annuels sur l'état de la fonction d'évaluation, examens et évaluation des politiques; orientation et interprétation des politiques, orientation sur les fonctions d'évaluation, orientation méthodologique, priorités d'évaluation à l'échelle du gouvernement, initiatives de renforcement de la capacité d'évaluation, orientation et facilitation de l'utilisation des évaluations, y compris au Secrétariat du Conseil du Trésor du Canada.

Le premier résultat immédiat associé à ces extrants, c'est que les décideurs ont accès à des rapports et des conseils stratégiques pertinents et de haute qualité sur la fonction d'évaluation, et ce, en temps opportun. Le deuxième résultat immédiat, c'est que les ministères et les organismes centraux comprennent les exigences de la Politique sur l'évaluation, les priorités d'évaluation dans l'ensemble du gouvernement et les pratiques exemplaires en matière d'évaluation concernant l'utilisation, la gouvernance neutre, le leadership et la gestion, la planification et le renouvellement des ressources, la réalisation des évaluations, les rôles et la participation, ainsi que la mesure du rendement à l'appui de l'évaluation.

Le résultat intermédiaire découlant du premier résultat immédiat, soit que les décideurs ont accès à des rapports et des conseils stratégiques pertinents et de haute qualité sur la fonction d'évaluation, et ce, en temps opportun, c'est que les conseils stratégiques sont pris en considération par le Conseil du Trésor dans le cadre des décisions concernant la Politique sur l'évaluation et des politiques connexes.

Le deuxième résultat immédiat contribue à la réalisation de deux résultats intermédiaires. Le premier résultat intermédiaire, c'est que les ministères ont institutionnalisé des fonctions d'évaluation, une capacité et une culture qui utilisent les évaluations pour éclairer les politiques et la prise de décision en matière de gestion des dépenses, l'amélioration des politiques et des programmes, la reddition de comptes et les rapports (propres à un programme, à l'échelle d'un ministère et horizontalement dans l'ensemble des ministères); sont solides, neutres, disposent de ressources suffisantes, et sont engagés à l'égard de l'amélioration et l'évaluation continues pour faire progresser les pratiques d'évaluation; produisent des évaluations de grande qualité qui répondent aux besoins en information des administrateurs généraux et des autres utilisateurs des évaluations et satisfont aux exigences en matière de portée d'évaluation; et sont soutenus par la collecte de données sur la mesure du rendement qui appuient efficacement l'évaluation. Le deuxième résultat intermédiaire, c'est que les organismes centraux ont institutionnalisé une capacité d'utiliser les données d'évaluation pour offrir des conseils relativement aux décisions de gestion des dépenses, à la prise de décisions par le Cabinet et aux rapports publics (propres à un programme, à l'échelle d'un ministère et dans l'ensemble des ministères).

Les fonctions d'évaluation des ministères exercent deux types d'activités : diriger et gouverner la fonction d'évaluation, et diriger et gérer la fonction d'évaluation. Les trois groupes d'extrants produits par les fonctions d'évaluation des ministères sont les suivants : (1) les administrateurs généraux mettent sur pied des fonctions d'évaluation, veillent à ce que les chefs de l'évaluation aient un libre accès aux administrateurs généraux, approuvent les évaluations et les plans d'évaluation des ministères, et veillent à l'utilisation des évaluations; (2) les comités ministériels d'évaluation donnent des conseils et font rapport sur la fonction d'évaluation, examinent et recommandent des produits d'évaluation à faire approuver par l'administrateur général, et assurent le suivi des plans d'action de la direction; et (3) les chefs de l'évaluation donnent des conseils stratégiques sur l'évaluation, offrent des conseils et un soutien relativement à l'utilisation de l'évaluation, produisent des plans et des rapports d'évaluation des ministères sur l'état de la mesure du rendement, donnent des conseils sur la mesure du rendement, appuient le renforcement des capacités d'évaluation, et réalisent des évaluations.

Les fonctions des programmes et des politiques, de la planification et de la présentation de rapports des ministères comportent deux types d'activités : la gestion des programmes; l'élaboration de politiques ministérielles, la planification et la production de rapports. Ces activités produisent les cinq groupes d'extrants suivants : (1) documents du Cabinet et autres documents décisionnels connexes (par exemple, examens stratégiques); (2) stratégies de mesure du rendement et consultations auprès des chefs de l'évaluation au sujet des stratégies de mesure du rendement; (3) planification des politiques et des programmes à l'aide de données d'évaluation; (4) plans d'action et réponses de la direction; (5) consultations auprès des chefs de l'évaluation au sujet des structures de gestion, des ressources et des résultats.

Les activités et les extrants des politiques et des programmes ministériels, les fonctions de planification et de présentation de rapports, de concert avec les activités et les extrants des fonctions d'évaluation des ministères, mènent à la série de résultats immédiats suivants : (1) les ministères développent des capacités d'évaluation, y compris des capacités liées à l'utilisation, à la gouvernance neutre (y compris l'auto-évaluation et l'examen de la fonction d'évaluation), au leadership et à la gestion, à la planification et au renouvellement des ressources, à la réalisation des évaluations, et aux rôles et à la participation; et (2) les ministères et les responsables des programmes développent des capacités de mesure du rendement qui appuient efficacement l'évaluation.

Les résultats immédiats contribuent à l'un des résultats intermédiaires harmonisés avec les activités et les extrants du secrétaire du Secrétariat du Conseil du Trésor et du Centre d'excellence en évaluation, qui a déjà été décrit comme suit : « les ministères ont institutionnalisé des fonctions d'évaluation, une capacité et une culture qui utilisent les évaluations pour éclairer les politiques et la prise de décision en matière de gestion des dépenses, l'amélioration des politiques et des programmes, la reddition de comptes et les rapports (propres à un programme, à l'échelle d'un ministère et horizontalement dans l'ensemble des ministères); sont solides, neutres, disposent de ressources suffisantes, et sont engagés à l'égard de l'amélioration et l'évaluation continues pour faire progresser les pratiques d'évaluation; produisent des évaluations de grande qualité qui répondent aux besoins en information des administrateurs généraux et des autres utilisateurs des évaluations et satisfont aux exigences en matière de portée d'évaluation; et sont soutenus par la collecte de données sur la mesure du rendement qui appuient efficacement l'évaluation.».

Les fonctions de l'organisme central sont associées à une activité, qui consiste à offrir des conseils sur les exigences de la politique et sur l'utilisation de l'évaluation aux fins de la gestion des dépenses. Cette activité mène à la série d'extrants suivante : conseils aux fins de la prise de décisions par le Cabinet (y compris des conseils de gestion des dépenses); analyse et conseils stratégiques; conseils sur les examens périodiques des dépenses; systèmes et processus d'utilisation des évaluations; et renforcement des capacités d'évaluation. Pour sa part, cette série d'extrants mène à un résultat immédiat : les organismes centraux développent des capacités pour interpréter et utiliser les données d'évaluation, après y avoir eu accès. Ce résultat immédiat contribue à l'un des résultats intermédiaires harmonisés avec les activités et les extrants du secrétaire du Conseil du Trésor et du Centre d'excellence en évaluation, qui a déjà été décrit comme suit : « les organismes centraux ont institutionnalisé une capacité d'utiliser les données d'évaluation pour offrir des conseils relativement aux décisions de gestion des dépenses, à la prise de décisions par le Cabinet et aux rapports publics (propres à un programme, à l'échelle d'un ministère et dans l'ensemble des ministères). »

Les trois résultats intermédiaires décrits s'amalgament pour produire un résultat final : « Une base complète et fiable d'éléments de preuve d'évaluation appuie l'amélioration des politiques et des programmes, l'élaboration des politiques, la gestion des dépenses, la prise de décisions du Cabinet et les rapports publics ». Ce résultat final mène à un résultat stratégique : « Le gouvernement est bien géré et responsable, et les ressources sont attribuées pour atteindre les résultats ».

Signaler un problème ou une erreur sur cette page
Veuillez cocher toutes les réponses pertinentes :

Déclaration de confidentialité

Merci de votre aide!

Vous ne recevrez pas de réponse. Pour toute question, contactez-nous.

Date de modification :