Évaluation de la Politique sur l'évaluation de 2009

Rendement et résultats de la politique

En ce qui a trait au rendement de la politique, l'évaluation a permis de constater ce qui suit :

1. En général, les besoins des administrateurs généraux et des cadres supérieurs en matière d'évaluation ont été bien servis dans le contexte de la Politique sur l'évaluation de 2009. La haute direction a pu tirer des renseignements stratégiques à l'appui de la prise de décisions au niveau supérieur. Parallèlement, les efforts déployés pour satisfaire aux exigences de portée de la politique ont parfois rendu les services d'évaluation moins en mesure de satisfaire aux besoins émergents de la haute direction.
2. La politique a exercé une influence globale positive au chapitre de la satisfaction des besoins des gestionnaires de programmes, et les évaluations initiales de certains programmes ont été utiles. Cependant, les gestionnaires de programmes dont les programmes ont été évalués dans le cadre d'une évaluation en groupe ou comme une entité d'architecture d'alignement des programmes de haut niveau ont parfois trouvé que leurs besoins n'étaient pas aussi bien satisfaits qu'avant 2009, quand leur programme faisait l'objet de sa propre évaluation.
3. Les organismes centraux ont constaté que les évaluations étaient de plus en plus disponibles, et, à l'instar des ministères, ils les utilisaient de plus en plus pour éclairer des activités de gestion des dépenses comme les propositions de dépenses (en particulier, les renouvellements de programmes) et les examens des dépenses. Parallèlement, il est arrivé souvent que les évaluations ne répondent pas aux besoins des organismes centraux en matière de renseignements sur l'efficience et l'économie des programmes.
4. Le recours à l'évaluation en vertu de la politique de 2009 a été significatif, mais l'utilisation et l'incidence pourraient être accrues en s'assurant que les évaluations réalisées, ainsi que leur calendrier, leur étendue^{Note en bas de page 1} et leur orientation^{Note en bas de page 2} correspondent plus étroitement aux besoins des utilisateurs.
5. Les évaluations réalisées ont eu comme incidence principale de soutenir l'amélioration des politiques et des programmes.
6. Le recours accru aux évaluations pour soutenir la prise de décisions a été favorisé par le changement de culture observé en faveur de la valorisation et de l'utilisation des évaluations.
7. Les facteurs qui ont eu l'influence positive la plus évidente sur le recours à l'évaluation dans les ministères ont été les éléments de politique liés à la gouvernance et au leadership de la fonction d'évaluation, alors que les facteurs qui ont entravé le plus évidemment le recours à l'évaluation ont été ceux qui ont trait aux ressources et aux calendriers. 
8. Malgré les préoccupations exprimées au sujet de leur capacité de satisfaire à toutes les exigences de la politique, les ministères, de façon générale, s'attendent à satisfaire à toutes les exigences à l'intérieur de l'actuelle période de cinq ans.

Pertinence et incidence des trois principales exigences de la politique

En ce qui concerne la pertinence et l'incidence des trois principales exigences de la politique (portée complète des dépenses de programmes directes, évaluations quinquennales et examen des cinq questions fondamentales^{Note en bas de page 3}), l'évaluation a permis de constater ce qui suit :

9. Les difficultés de mise en œuvre d'une portée complète ont découlé des besoins combinés des trois principales exigences de la politique (portée complète des dépenses de programmes directes, évaluations quinquennales et examen des cinq questions fondamentales), et du contexte des ressources limitées pour procéder à des évaluations. L'exigence des évaluations quinquennales a semblé être au cœur des difficultés de mise en œuvre dans la plupart des ministères.
10. Les intervenants à tous les niveaux ont reconnu les avantages d'une portée complète pour ce qui est d'englober les besoins de tous les utilisateurs des évaluations et d'atteindre tous les objectifs de la politique. Néanmoins, l'on a observé des situations où les évaluations individuelles ont clairement eu peu d'utilité.
11. Le fait de procéder à des évaluations quinquennales a des avantages et des désavantages, selon la nature des programmes et les besoins des utilisateurs. Pour optimiser l'utilité de l'évaluation d'un programme donné, des évaluations plus ou moins fréquentes, ou à fréquence réglable, pourraient être nécessaires.
12. Combinée avec l'exigence de portée complète, la fréquence de cinq ans a restreint la marge de manœuvre dont disposent les services d'évaluation pour satisfaire aux besoins de renseignements émergents ou plus prioritaires.
13. De façon générale, les cinq questions fondamentales ont couvert un éventail adéquat de questions et établissent un cadre cohérent qui a permis de comparer et d'analyser les évaluations au sein et à l'échelle des ministères au fil du temps. La pertinence perçue de certaines questions fondamentales a toutefois varié selon l'évaluation et le type d'utilisateur de l'évaluation.
14. Des lacunes de longue date au chapitre de la disponibilité et de la qualité des données de mesure du rendement des programmes et des données financières structurées de façon incompatible ont continué de contraindre les évaluateurs sur le plan de la fourniture d'évaluations de l'efficacité, de l'efficience (y compris le rapport coût-efficacité) et de l'économie des programmes. Les organismes centraux et les cadres supérieurs ont exprimé le souhait d'obtenir, en particulier, des renseignements plus nombreux et de meilleure qualité sur l'efficience et l'économie des programmes.

Approches utilisées pour mesurer le rendement de la politique

En ce qui concerne les approches utilisées pour mesurer le rendement de la politique, l'évaluation a permis de constater ce qui suit :

15. Les mécanismes de mesure du rendement de la politique ont permis de suivre les utilisations évidentes des évaluations – ceux qui étaient directes et plus immédiates – mais n'ont pas couvert l'éventail des utilisations indirectes, à long terme ou plus stratégiques, et pourraient ne pas avoir brossé un portrait fidèle de l'utilité des évaluations.

Autres constatations

L'évaluation a aussi permis de constater ce qui suit :

16. Les exigences de la Politique sur l'évaluation et celles d'autres formes de surveillance et d'examen, comme l'audit interne, ont donné lieu à certains chevauchements et alourdi le fardeau.

Conclusions

La Politique sur l'évaluation de 2009 a aidé la fonction d'évaluation dans l'ensemble de l'administration fédérale à jouer un rôle plus important relativement au soutien du système de gestion des dépenses. La politique a également soutenu des utilisations comme l'amélioration des programmes et des politiques, la reddition de comptes et les rapports publics. Un solide engagement de la part des administrateurs généraux et des cadres supérieurs envers la gouvernance de la fonction d'évaluation a promu l'utilité des évaluations, et les besoins en matière d'évaluation des administrateurs généraux, des cadres supérieurs et des organismes centraux ont été bien servis. Dans certains cas, mais pas systématiquement dans tous les ministères, les fonctions d'évaluation ont produit des analyses horizontales qui ont contribué à un apprentissage inter-programmes fort utile, éclairé des améliorations à la fois du programme évalué et d'autres programmes, et de l'organisation dans son ensemble. Toutefois, dans le cadre de l'évaluation de l'efficacité, de l'efficience et de l'économie des programmes au chapitre des évaluations, les fonctions ministérielles étaient souvent limitées par des lacunes sur le plan de la disponibilité et de la qualité des données de mesure du rendement et par des données financières structurées de façon incompatible.

Les constatations ont montré que, même si l'on s'entend en général pour dire que toutes les dépenses du gouvernement doivent être évaluées périodiquement, il y avait aussi une opinion largement répandue selon laquelle le potentiel d'utilisation des évaluations individuelles doit influencer leur déroulement. En outre, les exigences de la politique concernant le calendrier et l'orientation des évaluations n'ont pas donné aux fonctions d'évaluation des ministères la marge de manœuvre voulue pour faire pleinement état des besoins des utilisateurs en matière de planification des évaluations ou pour satisfaire aux nouvelles priorités. L'on a constaté que les besoins d'évaluation variaient entre les différents groupes d'utilisateurs (en particulier, les besoins des organismes centraux et ceux des ministères étaient assez différents). Cependant, pour satisfaire aux exigences de portée en dépit des contraintes de ressources, les ministères ont parfois choisi des stratégies d'évaluation (par exemple, le groupement de programmes à des fins d'évaluation) qui étaient économiques, mais qui ont en définitive servi un éventail plus restreint de besoins des utilisateurs. La rigidité des exigences de portée et de fréquence a également fait en sorte qu'il a été difficile pour les ministères de coordonner la planification des évaluations avec d'autres fonctions de surveillance afin de maximiser l'utilité des évaluations et d'alléger le fardeau des programmes.

Recommandations

Au terme de l'évaluation, il est recommandé que le Secrétariat du Conseil du Trésor du Canada, au moment de renouveler la Politique sur l'évaluation en vue de la faire approuver par le Conseil du Trésor :

1. Réaffirme et renforce les exigences de la Politique sur l'évaluation de 2009 en matière de gouvernance et de leadership des fonctions d'évaluation des ministères, lesquelles ont eu une incidence positive sur le recours à l'évaluation dans les ministères.
2. Assouplisse les exigences de base de la Politique sur l'évaluation de 2009 et oblige les ministères à cerner et à prendre en considération les besoins de l'éventail complet des groupes d'utilisateurs de l'évaluation au moment de déterminer la façon d'évaluer périodiquement les dépenses des organisations (y compris l'étendue des programmes ou des dépenses examinés dans le cadre des évaluations individuelles), le calendrier des évaluations individuelles, et les questions à examiner dans les évaluations individuelles.
3. Collabore avec les intervenants des ministères et des organismes centraux afin d'établir des critères pour orienter les processus de planification ministériels de sorte que toutes les dépenses de l'organisation soient prises en considération aux fins de l'évaluation selon les questions fondamentales; que les besoins de l'éventail complet des principaux utilisateurs des évaluations, à l'intérieur comme à l'extérieur du ministère, soient compris et pris en considération dans le cadre des décisions de planification; que les activités prévues des autres fonctions de surveillance soient prises en considération; et que les choix liés à la portée de l'évaluation et à l'étendue, au calendrier et aux questions traitées dans les évaluations individuelles soient justifiés avec transparence dans les plans ministériels d'évaluation.
4. Mobilise les centres de politiques du Secrétariat qui guident les ministères dans la collecte et la structuration des données de mesure du rendement et des données de gestion financière de manière à mettre au point une approche intégrée pour mieux soutenir les fonctions d'évaluation des ministères pour ce qui est de l'évaluation de l'efficacité, de l'efficience et de l'économie des programmes.
5. Favorise des pratiques, au Secrétariat et dans les ministères, consistant à mener des analyses régulières, systématiques et transversales d'un vaste éventail d'évaluations réalisées, et à utiliser ces analyses pour appuyer l'apprentissage organisationnel et la prise de décisions stratégiques dans l'ensemble des programmes et des organisations. À cet égard, le Secrétariat du Conseil du Trésor du Canada doit faciliter la mise en commun des pratiques exemplaires à l'échelle de l'administration fédérale aux fins de la réalisation et de l'utilisation d'analyses transversales.

1.2.1 Évolution de la Politique sur l'évaluation fédérale et contexte du renouvellement de la Politique en 2009

Le gouvernement fédéral met en place des politiques centrales d'évaluation depuis 1977. Avant la Politique sur l'évaluation de 2009, les politiques fédérales positionnaient la fonction d'évaluation de manière à éclairer la gestion et l'amélioration des programmes, surtout du point de vue d'un gestionnaire de programme. En réaction au besoin croissant de preuves neutres et crédibles de l'optimisation des ressources publiques, la politique de 2009 a élargi l'orientation de façon à prévoir un rôle plus important pour la fonction d'évaluation à l'appui du système de gestion des dépenses. En outre, la politique situe le dirigeant de l'évaluation au niveau de conseiller stratégique auprès de l'administrateur général au sujet de la pertinence et du rendement des programmes ministériels. Parmi les facteurs ayant mené à la réorientation de la fonction d'évaluation, mentionnons :

• L'exigence inscrite dans la loi en 2006 (article 42.1 de la Loi sur la gestion des finances publiques) d'examiner tous les cinq ans la pertinence et l'efficacité de tous les programmes de subventions et de contributions en cours;
• Le renouvellement en 2007 du système de gestion des dépenses, qui donnait suite aux recommandations de novembre 2006^{Note en bas de page 4} de la vérificatrice générale, aux engagements du budget de 2006, et aux recommandations du Comité permanent des comptes publics^{Note en bas de page 5} (adoptées par le comité en février 2008^{Note en bas de page 6}) sur le positionnement de l'évaluation pour mieux appuyer le processus décisionnel en matière de gestion des dépenses;
• L'avènement d'examens stratégiques et d'autres examens des dépenses, qui ont accru la demande pour que les évaluations fournissent de l'information au sujet de la pertinence et du rendement des programmes.

Des exigences de portée étaient prévues dans toutes les politiques fédérales d'évaluation antérieures, et elles variaient de l'obligation de veiller à ce que tous les programmes soient évalués périodiquement à celle d'envisager l'évaluation de tous les programmes, sans toutefois l'exiger. La politique de 2009 exige l'évaluation de toutes les dépenses de programmes directes^{Note en bas de page 7}. De même, la fréquence d'évaluation était toujours précisée dans les politiques fédérales d'évaluation; cette fréquence variait toutefois de tous les trois ans à tous les six ans. L'évaluation doit désormais être effectuée tous les cinq ans en vertu de la politique de 2009. En outre, toutes les politiques fédérales d'évaluation incluaient une série de questions à traiter dans les évaluations. Depuis 1992, ces questions ont été cohérentes, exigeant que les évaluations portent sur la pertinence, l'efficacité et l'efficience des programmes. Cependant, suivant un changement notable apporté en 2009, les questions d'évaluation de base n'étaient plus discrétionnaires. De fait, la politique de 2009 fait en sorte qu'il est obligatoire que les évaluations portent sur cinq questions de base afin de satisfaire aux exigences de portée.

Pour plus de détails concernant l'évolution de l'évaluation dans l'administration fédérale, consulter l'annexe A.

1.2.2 Le contexte international de l'évaluation

Sur la scène internationale, alors que les gouvernements ont entrepris des exercices de réduction et de compression des dépenses au cours des dernières années, plusieurs pays ont étendu la portée de l'évaluation et ont pris des mesures pour améliorer la qualité de l'évaluation et mettre de l'avant l'utilisation de l'évaluation dans la prise de décisions. À titre d'exemple, le Royaume-Uni et les États-Unis ont pris des mesures pour renforcer l'utilisation des données d'évaluation afin de déterminer si des dépenses de programme sont efficaces et correspondent à une utilisation optimale des deniers publics. Au Royaume-Uni, la directive sur l'évaluation à l'intention des ministères et des organismes fédéraux^{Note en bas de page 8} indique que, à quelques exceptions près, tous les programmes, politiques et projets doivent être évalués en profondeur et que, en l'absence d'une évaluation, le risque est de ne pas savoir si des interventions sont efficaces ou permettent d'optimiser les deniers publics. Aux États-Unis, les évaluations sont présentées comme un moyen d'aider l'administration à déterminer comment dépenser l'argent des contribuables de manière efficace et efficiente – investir davantage dans ce qui fonctionne et moins dans ce qui ne fonctionne pas^{Note en bas de page 9}.

1.2.3 Introduction de la Politique sur l'évaluation de 2009

L'actuelle Politique sur l'évaluation du gouvernement du Canada, qui remplace la Politique d'évaluation de 2001, a été instaurée le 1^er avril 2009. Elle a pour objet de créer une base de données d'évaluation fiables et détaillées en vue d'appuyer l'amélioration des politiques et programmes, la gestion des dépenses, la prise de décisions par le Cabinet et la préparation des rapports à l'intention du public. Pour réaliser cet objectif, la politique a raffermi les exigences inhérentes à la portée de l'évaluation, à l'évaluation de l'optimisation des ressources consacrées aux programmes, à la qualité et au caractère opportun des évaluations, à la neutralité de la fonction d'évaluation et à la capacité d'évaluation des ministères. Dans son rapport de septembre 2010 portant sur le chapitre 1 du Rapport de la vérificatrice générale du Canada de l'automne 2009 intitulé L'évaluation de l'efficacité des programmes, le Comité permanent des comptes publics exprime en ces termes son appui à l'orientation de la nouvelle politique : « Elle est donc essentielle pour pouvoir prendre des décisions judicieuses et éclairées au sujet de la conception des programmes et de l'affectation des ressources. Le Comité est un partisan de longue date du recours accru aux évaluations de l'efficacité au sein de l'administration fédérale et se réjouit de constater que le gouvernement a resserré les exigences à cet égard ».

La politique de 2009 et la directive et les normes connexes :

• font en sorte que l'évaluation est une fonction relevant d'un administrateur général comportant une structure de gouvernance neutre au sein des ministères;
• exigent une évaluation intégrale des dépenses de programmes directes^{Note en bas de page 10} tous les cinq ans;
• précisent les principaux éléments inhérents à la pertinence et au rendement des programmes qui doivent être examinés dans toutes les évaluations (voir le tableau 2 à l'annexe A);
• imposent aux gestionnaires de programmes de nouvelles exigences pour qu'ils élaborent et mettent en œuvre des stratégies de mesure continue du rendement;
• établissent des compétences minimales pour les chefs de l'évaluation au sein des ministères;
• fixent les normes de qualité de chaque évaluation;
• exigent que les rapports d'évaluation puissent facilement être consultés par les Canadiens, et ce, en temps opportun.

La Politique sur l'évaluation de 2009 et la Directive sur la fonction d'évaluation ont instauré des assouplissements en vue d'aider les ministères à obtenir une portée complète.

En raison des changements importants apportés par la politique, et sur les conseils formulés par un comité consultatif d'administrateurs généraux^{Note en bas de page 11} en 2008, il a été décidé de procéder à une mise en œuvre progressive sur quatre ans pour donner aux ministères suffisamment de temps pour renforcer leur capacité et ainsi réussir à obtenir une portée d'évaluation complète. Pendant cette période de transition, les ministères pouvaient décider de mener leurs évaluations selon une approche axée sur le risque afin de choisir les composantes des dépenses de programmes directes qu'ils veulent évaluer. La période de transition ne s'appliquait pas aux programmes permanents de subventions et de contributions, lesquels devaient être évalués tous les cinq ans, conformément à l'obligation inscrite en 2006 dans la loi.

Par suite de la période de transition, qui a pris fin le 31 mars 2013, toutes les dépenses de programmes directes sont devenues assujetties à l'évaluation et, d'ici le 31 mars 2018, la condition de portée complète devra être remplie pour la première fois. Comme précisé à l'annexe A de la Directive sur la fonction d'évaluation, les ministères pourraient tenir compte du risque, des caractéristiques des programmes et d'autres facteurs^{Note en bas de page 12} pour choisir les approches d'évaluation et calibrer les méthodes d'évaluation et le niveau d'effort à consacrer à chaque évaluation. En guise d'exemple, la calibration d'une évaluation afin de déployer moins d'efforts pourrait consister à :

• Choisir des questions d'évaluation moins nombreuses et plus ciblées pour examiner les principaux problèmes d'optimisation des ressources ou pour mettre l'accent sur des aspects de programme que l'on sait déficients;
• Choisir une démarche d'évaluation simplifiée et un calendrier écourté;
• Calibrer les méthodes utilisées et le niveau d'effort en tirant parti des données existantes au lieu de recueillir de nouvelles données en autant que possible; utiliser des échantillons plus petits; utiliser des méthodes d'entrevue moins onéreuses (comme l'entrevue en ligne ou au téléphone au lieu de l'entrevue en personne, ou des entrevues en personne en groupe pour limiter les frais de déplacement); ou effectuer moins d'études de cas.

Les ministères pourraient aussi rajuster l'étendue des évaluations en groupant des programmes, plutôt qu'en les évaluant individuellement.

3.1.1 Résultats de base de la politique (questions 5 et 6)

1. Constatation : En général, les besoins des administrateurs généraux et des cadres supérieurs en matière d'évaluation ont été bien servis dans le contexte de la Politique sur l'évaluation de 2009. La haute direction a pu tirer des renseignements stratégiques à l'appui de la prise de décisions au niveau supérieur. Parallèlement, les efforts déployés pour satisfaire aux exigences de portée de la politique ont parfois rendu les services d'évaluation moins en mesure de satisfaire aux besoins émergents de la haute direction.

Les administrateurs généraux qui ont été consultés ont indiqué que, en vertu de la politique de 2009, leur ministère a produit une solide base d'évaluations et qu'il avait la capacité de les utiliser. Les études de cas sur le rendement ont montré que les évaluations satisfaisaient à un vaste éventail de besoins des administrateurs généraux, notamment :

• Fournir des preuves de l'efficacité des programmes à l'appui des décisions de renouvellement;
• Indiquer où les résultats des programmes n'étaient pas susceptibles d'être atteints;
• Révéler des constatations connexes dans le cadre d'une série d'évaluations à l'appui de la prise de décisions stratégiques – par exemple, pour cerner un sujet de préoccupation généralisée.

Les études de cas sur le rendement ont montré que les évaluations ont appuyé la prise de décisions stratégiques en présentant un portrait du rendement des programmes ministériels plus global qu'en vertu de la Politique d'évaluation de 2001. La tendance à l'évaluation de programmes groupés ou d'entités plus grandes, ainsi que la convergence de toutes les évaluations au niveau des comités ministériels d'évaluation (ou comités exécutifs), ont permis aux cadres supérieurs de répertorier des tendances dans de nombreux programmes et évaluations. Les éléments probants issus de consultations ont montré que certains ministères ont produit des analyses transversales à partir de plusieurs évaluations de programmes ciblant des résultats communs. Dans une étude de cas, les renseignements tirés de plusieurs évaluations ont incité un administrateur général à demander l'examen spécial d'un type de mécanisme de financement; dans une autre étude de cas, ces renseignements ont influencé la réaffectation des ressources parmi un ensemble d'activités horizontales hautement prioritaires. Les cadres supérieurs au sein des comités ministériels d'évaluation ont également appliqué les leçons tirées d'évaluations menées dans une autre direction à des programmes exécutés dans leur propre direction.

Les données d'enquête ont montré que les gestionnaires de programme estiment que les cadres supérieurs ont été bien servis en vertu de la politique de 2009. Les trois quarts des gestionnaires de programme interrogés (75 %) ont indiqué qu'il était assez utile (38 %) ou très utile (37 %)^{Note en bas de page 17} pour les cadres supérieurs (sous-ministres, sous-ministres délégués et sous-ministres adjoints) de disposer d'évaluations de leurs programmes tous les cinq ans, comme l'exige la politique. En outre, la majorité des gestionnaires de programme (entre 68 % et 87 %) a estimé que chacune des cinq questions fondamentales était assez utile ou très utile à la haute direction.

Parallèlement, les études de cas sur le rendement ont montré que, dans certains ministères, les efforts déployés pour satisfaire aux exigences de portée de la politique ont empêché les services d'évaluation de bien répondre aux besoins de la haute direction en matière d'études spéciales, d'évaluations ou d'examens particuliers sur des questions émergentes. Comme le montre la figure 2, la plupart des évaluateurs interrogés ont déclaré que le pourcentage de temps consacré à des activités d'évaluation directement liées à la politique a augmenté après l'entrée en vigueur de la politique de 2009, tandis que le pourcentage de temps consacré à d'autres évaluations, à des examens, à des études ou à des activités de recherche a diminué.

Figure 2 - Version textuelle

La figure montre la variation du pourcentage de temps que les évaluateurs, en moyenne, ont consacré à diverses activités depuis l'entrée en vigueur de la Politique sur l'évaluation de 2009. Les valeurs moyennes de chacune des six activités sont tracées sur une échelle verticale. Les valeurs de zéro à un représentent les activités auxquelles une proportion de temps accrue a été consacrée, et les valeurs de zéro à moins un représentent les activités auxquelles une proportion de temps réduite a été consacrée. Les valeurs moyennes sont basées sur les réponses de l'enquête auprès des évaluateurs, en utilisant une échelle de trois points, où -1,00 indique une diminution de la proportion du temps consacré, zéro signifie que la proportion du temps consacré est restée la même, et 1,00 indique une augmentation de la proportion du temps consacré.

Deux activités ont affiché des valeurs moyennes montrant une augmentation, sur la moyenne de l'ensemble des évaluateurs, de la proportion du temps consacré à des activités d'évaluation directement liées à la politique (valeur moyenne de 0,59) et à des activités administratives intégrées (valeur moyenne de 0,25). Deux activités ont affiché des valeurs moyennes qui ne montrent qu'une légère diminution, sur la moyenne de l'ensemble des évaluateurs, de la proportion du temps consacré à d'autres activités (valeur moyenne de -0,04) et à l'élaboration ou au soutien de l'élaboration de stratégies de mesure du rendement (valeur moyenne de -0,06). Les deux activités restantes affichent des valeurs moyennes qui montrent une diminution, sur la moyenne de l'ensemble des évaluateurs, de la proportion du temps consacré à d'autres évaluations (valeur moyenne de -0,19) et à des examens, d'autres études et d'autres activités de recherche (valeur moyenne de -0,22). La taille de l'échantillon (nombre d'évaluateurs participants) a varié de 41 à 82, selon l'activité.

2. Constatation : La politique a exercé une influence globale positive au chapitre de la satisfaction des besoins des gestionnaires de programmes, et les évaluations initiales de certains programmes ont été utiles. Cependant, les gestionnaires de programmes dont les programmes ont été évalués dans le cadre d'une évaluation en groupe ou comme une entité d'architecture d'alignement des programmes de haut niveau ont parfois trouvé que leurs besoins n'étaient pas aussi bien satisfaits qu'avant 2009, quand leur programme faisait l'objet de sa propre évaluation.

Les gestionnaires de programme interrogés ont estimé que les évaluations étaient utiles à diverses fins. En particulier, 81 % des gestionnaires de programme ont jugé les évaluations comme étant assez utiles (25 %) ou très utiles (56 %) pour soutenir l'amélioration des programmes, et 79 % des gestionnaires de programme ont estimé que les évaluations étaient assez utiles (33 %) ou très utiles (46 %) aux fins de l'élaboration des programmes et des politiques. Des études de cas sur le rendement ont montré que certains gestionnaires de programmes évalués pour la première fois ont acquis des connaissances qui ont mené à des améliorations. En outre, les résultats d'études de cas ont suggéré que ces programmes n'auraient jamais été évalués sans l'exigence de portée complète de la politique.

Parallèlement, un autre résultat de l'examen de la mise en œuvre a montré que les gestionnaires de programme ne trouvent pas toujours que leurs programmes respectifs transparaissent dans les conclusions des évaluations dont l'étendue est harmonisée avec des entités de l'architecture d'alignement des programmes (une base d'analyse courante des évaluations)^{Note en bas de page 18} ou qui englobent des programmes groupés. Dans ces cas, les évaluations ne leur ont pas fourni des données suffisamment détaillées pour apporter des améliorations au programme. Des études de cas sur le rendement ont illustré que certains ministères ont abordé cette question en concevant ces évaluations de manière à produire des constatations et des conclusions à divers degrés de détails.

Pour ce qui est d'aider les gestionnaires de programme dans le contexte de l'élaboration des stratégies de mesure du rendement, l'influence de la Politique a été mixte. Suivant les résultats de l'examen de la mise en œuvre, les exigences de portée complète et de fréquence ont tenu les services d'évaluation trop occupée pour aider les gestionnaires de programme à mettre au point leurs stratégies dans la même mesure qu'auparavant^{Note en bas de page 19}. Certaines unités d'évaluation ont toutefois souligné leur soutien aux gestionnaires de programme à cet égard, afin de s'assurer que la mesure du rendement appuierait les futures évaluations. L'enquête menée auprès des évaluateurs a montré que, à la suite de l'entrée en vigueur de la politique de 2009, le pourcentage d'évaluateurs qui passent moins de temps à soutenir l'élaboration de stratégies de mesure du rendement (38 %) a légèrement dépassé le pourcentage d'évaluateurs qui y consacrent plus de temps (32 %). Le reste des évaluateurs ont indiqué que le temps consacré à cette tâche était resté le même. Même si certains évaluateurs ont consacré moins de temps à soutenir l'élaboration de stratégies de mesure du rendement, 90 % des gestionnaires de programme interrogés en 2014 ont indiqué que leurs programmes étaient assortis d'une stratégie de mesure du rendement. En ce qui concerne les programmes dotés d'une stratégie de mesure du rendement en place, 93 % des gestionnaires de programme avaient consulté leur fonction ministérielle d'évaluation lors de l'élaboration des stratégies.

3. Constatation : Les organismes centraux ont constaté que les évaluations étaient de plus en plus disponibles, et, à l'instar des ministères, ils les utilisaient de plus en plus pour éclairer des activités de gestion des dépenses comme les propositions de dépenses (en particulier, les renouvellements de programmes) et les examens des dépenses. Parallèlement, il est arrivé souvent que les évaluations ne répondent pas aux besoins des organismes centraux en matière de renseignements sur l'efficience et l'économie des programmes.

Les analystes des organismes centraux ont généralement considéré les évaluations comme une source d'information clé sur les programmes et il est arrivé souvent qu'ils les consultent en premier lieu dans le cadre de leur analyse des propositions de dépenses^{Note en bas de page 20}. Des études de cas sur le rendement et des consultations auprès des intervenants ont montré que les analystes du Secrétariat avaient généralement encouragé l'utilisation par les ministères des résultats d'évaluation dans les présentations au Conseil du Trésor, qu'ils avaient continuellement exigé des renseignements d'évaluation aux fins des renouvellements de financement en particulier, et qu'ils avaient recommandé que les ministères ne demandent pas d'approbation de financement sans une évaluation récente à l'appui. Les analystes du Secrétariat ont indiqué que, avant la politique de 2009, les évaluations n'étaient pas toujours disponibles à l'appui des présentations au Conseil du Trésor, mais qu'aujourd'hui, si des projets de présentations ne renferment pas de renseignements d'évaluation, les analyses demandent souvent ces renseignements aux ministères. En outre, lorsque des résultats d'évaluation sont négatifs, les analystes demandent aux ministères de confirmer que des correctifs ont été adoptés.

Plusieurs éléments de preuve^{Note en bas de page 21} ont révélé que les évaluations étaient plus largement utilisées comme source de renseignements à l'appui des présentations au Conseil du Trésor et, dans une moindre mesure, des mémoires au Cabinet. Dans le cadre de l'enquête d'évaluation de la capacité, 96 % des grandes organisations ont déclaré en 2012-2013 qu'elles avaient utilisé la totalité ou la quasi-totalité des évaluations pertinentes pour éclairer les présentations au Conseil du Trésor, et 78 % ont déclaré avoir utilisé la totalité ou la quasi-totalité des évaluations pertinentes pour éclairer les mémoires au Cabinet. Ces résultats se comparent à ceux de l'enquête de 2008-2009, avant la politique de 2009, où 74 % des grandes organisations avaient déclaré presque toujours^{Note en bas de page 22} tenir compte des résultats d'évaluation dans les présentations au Conseil du Trésor et où 51 % avaient indiqué presque toujours en tenir compte dans les mémoires au Cabinet. La plupart des grandes organisations ont établi un processus officiel d'inclusion des renseignements d'évaluation dans les présentations (79 %) et les mémoires au Cabinet (65 %) en 2013-2014. Les évaluations ont été couramment utilisées pour soutenir le renouvellement de dépenses en cours, notamment pour les programmes permanents de subventions et de contributions^{Note en bas de page 23}. Les analystes des organismes centraux ont généralement utilisé les renseignements d'évaluation afin d'éclairer leurs conseils aux ministres du Conseil du Trésor, et certains ont fait remarquer qu'ils ont reçu régulièrement des questions du Cabinet au sujet des résultats d'évaluation.

Sur la base d'études de cas sur le rendement et l'application, et de consultations auprès des intervenants, l'utilisation et l'utilité des évaluations, en particulier du côté des organismes centraux, ont été affectées par la façon dont le calendrier d'évaluation a concordé avec le calendrier des décisions de dépenses. Les organismes centraux ont parfois signalé que les évaluations sont arrivées trop tard pour éclairer convenablement les décisions de renouvellement. Par exemple, il a été signalé que les discussions clés sur le renouvellement sont souvent tenues un an ou plus avant qu'une présentation au Conseil du Trésor soit rédigée. Dans ces cas, une évaluation qui est terminée tout juste à temps pour être annexée à la présentation peut être considérée comme arrivant trop tard pour aider les analystes des organismes centraux. Il convient également de préciser, cependant, que dans les ministères, les rapports d'évaluation provisoires sont souvent mis à la disposition des gestionnaires de programme beaucoup plus tôt, ce qui leur permet de tirer parti des conclusions et des connaissances produites, même si le rapport n'a pas été entièrement approuvé.

Si l'on se fie à l'examen de la mise en œuvre et aux consultations menées dans le cadre des études de cas auprès de représentants des organismes centraux, il appert que l'utilité de l'évaluation a également été affectée par la façon dont l'étendue de l'évaluation correspond à l'unité de dépense qui a fait l'objet d'une décision. Lors de l'analyse et de la prestation de conseils entourant les mémoires au Cabinet ou les présentations au Conseil du Trésor, les besoins en matière d'information des organismes centraux avaient tendance à être propres à un projet ou à un programme, c'est-à-dire propres à l'unité du financement renouvelé. Lorsque les évaluations avaient une vaste portée, comme un programme d'une architecture d'alignement des programmes, elles ne fournissaient pas des renseignements suffisamment détaillés. Des études de cas et des consultations auprès des intervenants ont montré qu'il arrivait souvent que les évaluations ne satisfaisaient pas aux besoins d'information des organismes centraux concernant l'efficience et l'économie des programmes, par exemple, parce que l'analyse par les évaluateurs des organismes centraux du rapport coût-efficacité des programmes avait été limitée par des renseignements financiers structurés de manière incompatible. Les organismes centraux voulaient aussi de meilleurs éléments probants sur les autres programmes dans le cadre de comparaisons dans l'ensemble de l'administration fédérale et de comparaisons intergouvernementales. Suivant l'un des principaux risques associés à des évaluations qui ne répondent pas aux besoins en matière d'information des organismes centraux, l'analyse et les conseils dispensés aux ministres par les organismes centraux au sujet des propositions ministérielles peuvent ne pas être aussi bien étayés de preuves neutres qu'ils pourraient l'être.

L'utilisation de moyenne à élevée^{Note en bas de page 24} des évaluations dans le cadre des examens de dépenses (par exemple, des examens stratégiques) a été rendue possible par la disponibilité et la pertinence accrues des évaluations^{Note en bas de page 25}, et la plupart des membres des comités ministériels d'évaluation et des cadres supérieurs qui ont été consultés, y compris les administrateurs généraux consultés en 2014, ont rapporté un haut degré d'utilité de l'évaluation en ce sens. Près des deux tiers des évaluateurs interrogés ont déclaré des impacts positifs sur l'utilité des évaluations au regard des examens de dépenses en raison de l'exigence de portée complète (63 %) et de l'obligation touchant les questions fondamentales (62 %) de la politique. Les administrateurs généraux consultés par le Secrétariat du Conseil du Trésor du Canada en 2010 ont indiqué que les examens stratégiques avaient rehaussé le profil de la fonction d'évaluation en exigeant que les ministères s'attaquent systématiquement aux problèmes fondamentaux de pertinence des programmes. La majorité des gestionnaires de programme interrogés (63 %) ont indiqué que les évaluations étaient assez utiles (44 %) ou très utiles (19 %) aux fins des examens des dépenses. La plupart des analystes^{Note en bas de page 26} de programme du Secrétariat ont signalé que les évaluations avaient soutenu leur analyse lors des examens de dépenses et que, dans de nombreux ministères, ces examens ont fait augmenter la demande d'évaluations et que l'attention portée par les cadres supérieurs avait mis en valeur toute l'utilité de la fonction d'évaluation.

4. Constatation : Le recours à l'évaluation en vertu de la politique de 2009 a été significatif, mais l'utilisation et l'incidence pourraient être accrues en s'assurant que les évaluations réalisées, ainsi que leur calendrier, leur étendue et leur orientation, correspondent plus étroitement aux besoins des utilisateurs.

Avant l'entrée en vigueur de la politique de 2009, des faiblesses au chapitre de l'utilisation de l'évaluation avaient été consignées^{Note en bas de page 27}. Après 2009, la surveillance et les rapports du Secrétariat ont révélé une utilisation intensive de l'évaluation pendant la période de transition de la politique. Dans le cadre de l'enquête d'évaluation de la capacité de 2012-2013, les grands ministères ont signalé des taux élevés de mise en œuvre des réponses et des plans d'action de la direction; sur les 901 éléments du plan d'action de la direction qui devaient être achevés en 2012-2013, 53 % ont été entièrement mis en œuvre avant la fin de l'exercice, et 21 % ont été partiellement mis en œuvre. En outre, les cotes attribuées dans le cadre d'examens inhérents au Cadre de responsabilisation de gestion ont fait état d'une vaste utilisation de l'évaluation; plus de 96 % des grands ministères ont été jugés acceptables ou solides au titre de l'utilisation de l'évaluation en 2013-2014, comparativement à 77 % des grands ministères en 2007-2008 et 78 % en 2008-2009.

Lorsqu'ils ont été consultés à l'automne 2010, de nombreux administrateurs généraux^{Note en bas de page 28} ont déclaré que l'évaluation apportait une solide contribution à la prise de décisions, mais un certain nombre d'administrateurs généraux ont estimé qu'il était possible d'en faire davantage. Lorsqu'ils ont été consultés en 2014, les administrateurs généraux ont reconnu l'utilité des évaluations aux fins de l'amélioration et de l'élaboration des politiques et des programmes, des examens stratégiques et comme moyen de conserver la mémoire institutionnelle, tout en signalant qu'il y avait parfois eu des problèmes de calendrier, d'orientation et d'échelle (niveau d'intensité) des évaluations.

Dans le cadre des études de cas, les évaluations ont été considérées comme les plus utiles quand elles étaient menées en temps opportun, quand elles fournissaient de nouvelles informations, et quand elles ne consistent pas simplement à cerner de nouveau des problèmes d'exécution des programmes que les utilisateurs connaissaient déjà. Les évaluations ont été considérées comme moins utiles quand elles ne pouvaient pas mener à l'apprentissage organisationnel, quand il n'y avait pas de décision à éclairer, ou quand aucune mesure ne pouvait être prise. Les organismes centraux ainsi que les gestionnaires de programme, les chefs de l'évaluation et les évaluateurs ont noté des situations dans lesquelles les évaluations étaient moins utiles, y compris lorsque leur calendrier, leur étendue, leur orientation, la longueur de leur rapport et leur niveau de rigueur analytique ne correspondaient pas aux besoins ou aux intérêts des décideurs. Parmi les principaux risques associés à la production d'évaluations de faible utilité, mentionnons le fait de dépenser inefficacement des ressources d'évaluation, plutôt que d'affecter les ressources à des évaluations qui seraient plus utiles et, de façon plus générale, de diminuer la valeur perçue de la fonction d'évaluation dans son ensemble.

5. Constatation : Les évaluations réalisées ont eu comme incidence principale de soutenir l'amélioration des politiques et des programmes.

Des analyses effectuées par le Centre d'excellence en évaluation ont révélé que 75 % des rapports d'évaluation^{Note en bas de page 29} achevés en 2010-2011 comportaient des recommandations pour améliorer les processus des programmes. De même, pour l'ensemble des évaluations examinées dans les études de cas sur le rendement, la plupart des recommandations portaient sur l'amélioration des programmes, et toutes ont été effectivement suivies à cette fin. Les études de cas sur le rendement ont également montré que la quasi-totalité des évaluations examinées avaient servi à l'amélioration des programmes et que certaines évaluations avaient abouti à des améliorations à un plus vaste éventail de programmes que celui évalué^{Note en bas de page 30}. D'autres études de cas sur le rendement ont toutefois aussi montré que certaines évaluations n'avaient pas été utilisées à des fins d'amélioration lorsque des décisions internes n'avaient laissé aucune possibilité de mise en œuvre des recommandations – par exemple, lorsque le programme avait été éliminé ou complètement réorganisé. La preuve a démontré que, dans le cadre de l'examen de la pertinence et du rendement des programmes, les évaluations contribuaient parfois à des gains d'efficience opérationnelle, mais que ces gains se traduisaient rarement par des économies de coûts directs.

Parmi une liste d'utilisations possibles de l'évaluation, les gestionnaires de programmes ont classé l'amélioration des politiques et des programmes comme celle qui avait été la plus utile; 81 % des gestionnaires de programme ont déclaré que les évaluations étaient assez utiles (25 %) ou très utiles (56 %) dans cette optique. Dans l'ensemble, les évaluateurs et les gestionnaires de programme ont signalé que la politique avait eu un effet positif ou neutre sur l'utilité des évaluations pour éclairer l'amélioration des politiques et des programmes; 56 % des évaluateurs et 35 % des gestionnaires de programme ont indiqué que l'utilité des évaluations avait augmenté, alors que seule une petite proportion (9 % et 5 % respectivement) a déclaré que leur utilité avait diminué. Le reste (35 % des évaluateurs et 60 % des gestionnaires de programme) a déclaré que l'utilité était restée la même.

La preuve a démontré que l'utilisation des évaluations à des fins de reddition de comptes et de rapports publics avait augmenté, et les gestionnaires de programme et les évaluateurs ont indiqué que la politique avait eu un effet positif sur l'utilité des évaluations à ces fins^{Note en bas de page 31}. Dans le Rapport de décembre 2000 du vérificateur général du Canada, il est précisé que les rapports sur le rendement présentés au Parlement faisaient trop peu usage des résultats d'évaluation; en 2011, l'enquête annuelle d'évaluation de la capacité a montré qu'une forte proportion des grandes organisations (89 %) tenaient compte d'au moins 80 % de leurs évaluations lors de la préparation de leurs rapports ministériels annuels sur le rendement. En 2013-2014, l'enquête annuelle d'évaluation de la capacité a révélé que 91 % des grandes organisations avaient instauré des processus officiels pour s'assurer que les rapports d'évaluation étaient pris en considération dans les rapports au Parlement.

Des études de cas sur le rendement ont montré que les organisations affichaient habituellement les rapports d'évaluation, y compris les réponses et les plans d'action de la direction, sur leurs sites Web, bien que dans certains cas, l'affichage survenait longtemps après l'achèvement de l'évaluation. Dans les études de cas sur le rendement, un petit nombre d'intervenants ont suggéré qu'une partie du décalage entre l'achèvement fonctionnel du travail d'évaluation et l'approbation et la publication de rapports était attribuable aux discussions internes entourant la préparation des rapports destinés au public, qui ont mené dans certains cas à des rapports moins critiques.

6. Constatation : Le recours accru aux évaluations pour soutenir la prise de décisions a été favorisé par le changement de culture observé en faveur de la valorisation et de l'utilisation des évaluations.

Des conditions clés ont dû être établies pour que la politique permette d'obtenir les résultats visés sous l'angle de l'utilisation des évaluations^{Note en bas de page 32}. Selon la théorie du changement mise au point aux fins de la Politique sur l'évaluation (voir l'annexe D), la politique visait à instaurer un changement de culture dans les ministères de manière à accroître la valeur et la confiance accordée à l'évaluation, ainsi que son évaluation. Ce changement de culture a été mis en évidence par :

• Le changement observé sur le plan des perceptions des intervenants^{Note en bas de page 33} qui, plutôt que de considérer les évaluations comme un élément alourdissant le fardeau de la surveillance des programmes, ont commencé à prendre conscience de la valeur des évaluations et des compétences offertes par l'unité d'évaluation^{Note en bas de page 34};
• L'intensification du dialogue ministériel relatif à l'évaluation depuis 2009, comme l'ont déclaré 71 % des évaluateurs et 46 % des gestionnaires de programme interrogés^{Note en bas de page 35};
• Les taux élevés de mise en œuvre des recommandations, favorisés par l'établissement de systèmes de suivi de la mise en œuvre des recommandations d'évaluation, que 97 % de tous les grands ministères avaient déclaré avoir mis en place en 2013-2014^{Note en bas de page 36}.

L'intérêt plus général des administrateurs généraux pour l'évaluation a probablement contribué dans une grande mesure aux résultats observés^{Note en bas de page 37}. Les évaluations, sous l'angle du Cadre de responsabilisation de gestion, des fonctions ministérielles d'évaluation ont permis d'attirer l'attention de la direction et elles ont été partiellement responsables d'apporter une plus grande visibilité à l'évaluation. Une analyse des cotes des examens du Cadre de responsabilisation de gestion de 2006-2007 à 2011-2012 a révélé une tendance à la hausse de l'utilisation de l'évaluation, et de la portée, de la gouvernance et du soutien, et de la qualité des rapports d'évaluation.

3.1.2 Facteurs ayant une incidence sur l'obtention de résultats (question 8)

7. Constatation : Les facteurs qui ont eu l'influence positive la plus évidente sur le recours à l'évaluation dans les ministères ont été les éléments de politique liés à la gouvernance et au leadership de la fonction d'évaluation, alors que les facteurs qui ont entravé le plus évidemment le recours à l'évaluation ont été ceux qui ont trait aux ressources et aux calendriers.

Dans l'ensemble des éléments de preuve, la mobilisation des hauts dirigeants en faveur des fonctions ministérielles d'évaluation a semblé avoir l'influence positive la plus nette sur l'utilisation de l'évaluation. Cette influence a été attribuée, au moins en partie, aux exigences de la politique relatives à la gouvernance et au leadership (par exemple, les rôles et les responsabilités définis des administrateurs généraux, des comités ministériels d'évaluation et des chefs de l'évaluation, et le libre accès à l'administrateur général accordé au chef de l'évaluation), et à un climat, à l'échelle du gouvernement, qui a mis l'accent sur la gestion axée sur les résultats et sur la prise de décisions fondée sur des données probantes. La mobilisation accrue de la haute direction a mené à une mise en œuvre intensifiée des plans d'action et elle a rehaussé la visibilité globale de la fonction d'évaluation. La présence d'administrateurs généraux dans la plupart des comités ministériels d'évaluation a permis de faire en sorte que les résultats d'évaluation soient pris au sérieux, et le contrôle exercé par un niveau exécutif supérieur pourrait avoir contribué à l'augmentation de la qualité de l'évaluation.

Comme on peut le voir à la figure 3, les évaluateurs^{Note en bas de page 38} ont indiqué que l'engagement des comités ministériels d'évaluation, des cadres supérieurs et des gestionnaires de programmes, ainsi que la disponibilité d'un personnel d'évaluation qualifié à l'interne, avaient eu une influence positive sur l'obtention des résultats de la politique. Les évaluateurs ont indiqué que ces facteurs ont eu une incidence positive sur l'utilisation et l'utilité plus souvent que les exigences de la politique concernant la couverture complète des dépenses de programmes directes, les évaluations quinquennales, et l'examen des cinq questions fondamentales.

Les évaluateurs interrogés ont déclaré que les influences négatives les plus évidentes sur l'utilité de l'évaluation sont attribuables aux calendriers des projets d'évaluation, aux budgets des projets d'évaluation, et aux examens des dépenses. Même si le Secrétariat du Conseil du Trésor du Canada n'a pas assuré de suivi des changements des budgets des projets individuels d'évaluation, les ressources financières gouvernementales pour l'évaluation ont été inférieures de 8 % en 2012-2013, par rapport à 2008-2009, avant l'entrée en vigueur de la politique, malgré une augmentation initiale la première année de mise en œuvre de la politique de 2009. Les études de cas sur le rendement ont fourni des renseignements additionnels sur l'influence des examens de dépenses en tant que facteur externe sur l'utilité de l'évaluation : dans certains cas, les évaluations n'ont pas pu être utilisées à des fins d'amélioration des programmes parce que les dépenses de programmes avaient été sensiblement modifiées ou interrompues. Les gestionnaires de programme et les cadres supérieurs ont également noté que la contribution des évaluations à la prise de décisions pourrait être affectée par la disponibilité d'autres formes de surveillance et d'examen, comme les examens de dépenses, surtout quand certaines des informations d'entrée étaient disponibles dans plusieurs sources.

Figure 3 - Version textuelle

La figure montre la mesure dans laquelle les évaluateurs, en moyenne, ont estimé que divers facteurs avaient eu des répercussions positives ou négatives sur l'utilisation des évaluations. Les valeurs moyennes sont basées sur les réponses à l'enquête auprès des évaluateurs en utilisant une échelle de trois points, où -1,00 signifie que le facteur a eu une incidence négative sur l'utilisation de l'évaluation, zéro signifie que le facteur n'a eu aucune incidence sur l'utilisation de l'évaluation, et 1,00 signifie que le facteur a eu une incidence positive sur l'utilisation de l'évaluation.

Sept facteurs ont eu des valeurs moyennes indiquant des effets positifs sur l'utilisation de l'évaluation : (1) la mobilisation du comité ministériel d'évaluation (valeur moyenne de 0,68), (2) le soutien de la haute direction (valeur moyenne de 0,60), (3) la mobilisation des gestionnaires de programme (valeur moyenne de 0,53), (4) la disponibilité d'un personnel interne compétent (valeur moyenne de 0,49), (5) l'exigence des cinq questions fondamentales (valeur moyenne de 0,27), (6) l'exigence de portée complète (valeur moyenne de 0,26), et (7) l'exigence d'évaluations quinquennales (valeur moyenne de 0,08). Trois facteurs ont eu des valeurs moyennes indiquant des répercussions négatives sur l'utilisation de l'évaluation : (1) les budgets (valeur moyenne de -0,10), (2) l'examen des dépenses (valeur moyenne de -0,12), et (3) les calendriers (valeur moyenne de - 0,28). La taille de l'échantillon (nombre d'évaluateurs participants) a varié de 98 à 141, selon le facteur.

Les évaluations et les cotes du Cadre de responsabilisation de gestion ont eu une influence considérable sur la mise en œuvre de la politique et les résultats. D'un point de vue positif, elles ont attiré l'attention de la haute direction sur l'évaluation et ont aidé à rehausser la visibilité de la fonction. D'un point de vue négatif, elles ont favorisé l'adoption d'un comportement d'aversion au risque qui pourrait avoir limité l'utilisation par les ministères des assouplissements prévus par la politique. Comme indiqué dans l'examen de la mise en œuvre, même s'il existait des assouplissements permettant de calibrer l'effort d'évaluation au moment d'aborder les questions fondamentales, ceux-ci n'ont pas été pleinement exploités en raison de préoccupations selon lesquelles cela aurait nui aux évaluations du Cadre de responsabilisation de gestion. Cette constatation a été corroborée par les études de cas sur le rendement et les consultations des intervenants, y compris les consultations auprès des administrateurs généraux, qui ont indiqué que, même si d'autres assouplissements de la politique pourraient être nécessaires, les assouplissements existants n'avaient pas été pleinement exploités.

Le montant des subventions et des contributions administrées par les différents ministères est un autre facteur qui a influé sur l'incidence de la politique sur la réalisation et l'utilisation des évaluations. Dans les ministères où ce montant était élevé, l'incidence de la politique a été faible en raison de l'exigence préexistante inscrite dans la Loi sur la gestion des finances publiques (article 42.1) pour une portée complète sur cinq ans de ces dépenses. Les intervenants ont noté que les organisations ayant un montant élevé de subventions et de contributions avaient des fonctions d'évaluation qui étaient bien établies et qui produisaient des évaluations utiles avant 2009.

3.1.3 Durabilité des résultats (question 7)

8. Constatation : Malgré les préoccupations exprimées au sujet de leur capacité de satisfaire à toutes les exigences de la politique, les ministères, de façon générale, s'attendent à satisfaire à toutes les exigences à l'intérieur de l'actuelle période de cinq ans.

Une comparaison des données de l'enquête d'évaluation de la capacité recueillies avant 2009 et en 2012-2013 a montré que, en moyenne, les grandes organisations ont augmenté les ressources humaines consacrées à leurs fonctions d'évaluation de 10 %, mais que leurs ressources financières ont diminuées de 8 %. Comme mentionné précédemment, afin d'élargir la portée de l'évaluation avec ces ressources, les ministères ont employé diverses stratégies. Des évaluateurs^{Note en bas de page 39} ont signalé que les stratégies les plus efficaces avaient consisté à calibrer l'étendue et l'approche d'évaluation en fonction des risques du programme, à harmoniser l'étendue d'une évaluation avec les services de l'architecture d'alignement des programmes, à grouper les programmes liés, et à faire appel de façon accrue au personnel interne pour réaliser des évaluations^{Note en bas de page 40}. La tendance à la réalisation d'évaluations ayant de larges étendues a toutefois affecté l'utilité des évaluations – par exemple, certains gestionnaires de programme ont trouvé que l'information disponible pour éclairer les améliorations à apporter aux programmes était moins détaillée.

Lorsqu'ils ont été consultés dans le cadre de l'examen de la mise en œuvre, les chefs de l'évaluation ont désigné les ressources comme ayant été le principal facteur contraignant aux fins du respect des exigences de portée, et ils étaient préoccupés par leur capacité de bien répondre aux exigences compte tenu des ressources dont ils disposaient. Même si les chefs de l'évaluation et d'autres intervenants^{Note en bas de page 41} ont exprimé des inquiétudes sur la capacité de la fonction d'atteindre et de maintenir une portée complète sur cinq ans, il est apparu dans la plupart des cas que les ministères pouvaient gérer leur capacité de manière à répondre aux exigences. Les trois quarts des évaluateurs^{Note en bas de page 42} (74 %) ont indiqué que l'utilité de la fonction d'évaluation pourrait être maintenue avec les ressources actuelles et, dans une question ultérieure, plus du tiers (36 %) ont a déclaré que l'utilité pourrait être accrue.

Malgré la possibilité d'obtenir une portée complète d'évaluation avec la capacité actuelle, plusieurs éléments de preuve^{Note en bas de page 43} ont montré qu'une plus grande souplesse est nécessaire sous l'angle de l'application des exigences stratégiques liées à la portée, au calendrier, à l'étendue et à l'orientation pour que les évaluations correspondent davantage aux besoins d'information des différents utilisateurs. La question de la souplesse est explorée plus en profondeur dans les sections suivantes du présent rapport.

3.2.1 Portée complète (question d'évaluation 3)

10. Constatation : Les intervenants à tous les niveaux ont reconnu les avantages d'une portée complète pour ce qui est d'englober les besoins de tous les utilisateurs des évaluations et d'atteindre tous les objectifs de la politique. Néanmoins, l'on a observé des situations où les évaluations individuelles ont clairement eu peu d'utilité.

Un examen de documents spécialisés a révélé que six^{Note en bas de page 47} pays sur neuf, ainsi que le Comité d'aide au développement de l'Organisation de coopération et de développement économiques, ont recommandé la portée complète de l'évaluation. Parmi les autres approches utilisées dans d'autres administrations, mentionnons le ciblage de la portée de l'évaluation en tenant compte de divers facteurs, comme les besoins en matière de prise de décisions, les priorités, l'avancement du programme, le type de programme, les résultats d'auto-évaluation et les thèmes importants à l'échelle du gouvernement.

Les administrateurs généraux consultés en 2014 ont exprimé des opinions partagées sur la pertinence de l'exigence de portée complète; un grand nombre d'entre eux étaient en faveur de la portée complète, certains avec insistance, tandis qu'un plus petit nombre étaient en faveur d'un modèle plus axé sur les risques. Cependant, ceux qui favorisaient le modèle de portée complète ont souvent déclaré que la période de cinq ans pour obtenir une portée complète a causé des difficultés. Parmi les raisons pour lesquelles les administrateurs généraux soutenaient la portée complète, mentionnons les suivantes :

• C'est logique d'évaluer tous les programmes.
• Cela garantit une surveillance rigoureuse et la reddition de comptes, et empêche de « balayer les problèmes sous le tapis ».
• Cela mène à des étendues d'évaluation qui sont souvent à un niveau plus élevé et qui appuient la prise de décisions concernant d'importantes unités redditionnelles.

Les répondants des organismes centraux ont généralement exprimé leur appui à une portée complète, car l'examen de l'utilisation par le gouvernement des contributions de l'ensemble des contribuables correspond à une saine gouvernance. Des études de cas ont montré que, sans l'exigence de portée complète, certains programmes peu prioritaires ou à faible risque auraient été exclus de l'évaluation. Les répondants des organismes centraux ont toutefois estimé opportun d'évaluer périodiquement les programmes à faible risque et à long terme, puisque ces évaluations pourraient être importantes aux fins de la formulation de conseils aux ministres du Conseil du Trésor sur le renouvellement des programmes et pour assurer la reddition de comptes au public. Les études de cas sur le rendement ont démontré qu'il y avait lieu d'évaluer certains programmes à faible risque. Parallèlement, les répondants des organismes centraux ont également reconnu que l'évaluation de certains programmes n'était pas pratique. Les organismes centraux qui ont soulevé des préoccupations au sujet de l'exigence de portée complète ont souvent parlé des évaluations peu utiles – par exemple, les évaluations qui ne peuvent pas entraîner de recommandations concrètes.

Les chefs de l'évaluation qui ont été consultés se sont généralement mis d'accord sur plusieurs avantages qu'ils ont observés du côté de l'obligation de portée complète en vigueur depuis 2009. En particulier, ils ont déclaré que cela permettait d'utiliser les évaluations pour éclairer la prise de décisions (notamment pour les programmes dépourvus d'une évaluation antérieure) et d'éclairer des processus comme les rapports ministériels sur le rendement et les rajustements de l'architecture d'alignement des programmes. Ils ont également signalé que la portée complète avait rehaussé la visibilité de la fonction, la validation et la responsabilisation de la fonction dans les ministères, tout en augmentant sa charge de travail et, à l'occasion, ses ressources^{Note en bas de page 48}.

Les opinions d'autres groupes d'intervenants, notamment les gestionnaires de programme et les évaluateurs^{Note en bas de page 49}, ont été plus divisées. Parmi les intervenants ayant soutenu une portée complète, l'on s'est entendu pour dire que, en principe, toutes les dépenses doivent être évaluées périodiquement. Ces intervenants ont signalé que, parmi les avantages que comporte l'exigence de portée complète, il y avait l'obtention de renseignements sur des programmes qui n'avaient jamais été évalués ou dont l'évaluation avait eu lieu il y a longtemps, ainsi qu'une perspective stratégique sur le rendement recoupant l'ensemble des programmes ministériels connexes – par exemple, pour permettre de cerner les éléments de redondance et de synergie. Les évaluateurs, en particulier, ont indiqué de façon générale que la portée complète avait accru l'utilité des évaluations pour tous les usages principaux ciblés par la politique^{Note en bas de page 50}. En outre, des études de cas ont montré que l'exigence avait eu un effet profond dans certains ministères, en particulier ceux ayant de faibles dépenses au chapitre des subventions et des contributions, puisque de nombreuses évaluations ont été menées au sujet d'entités qui n'avaient jamais été évaluées avant 2009. Ces évaluations ont produit parfois des résultats utiles qui ont mené à l'amélioration des programmes. Dans certains cas cependant, les intervenants ont indiqué que, si une évaluation n'avait pas été exigée, l'organisation aurait probablement réalisé un autre type d'étude pour répondre à ses besoins.

Dans tous les groupes d'intervenants, ceux qui n'appuyaient pas la portée complète ont généralement remis en question l'utilisation de ressources pour évaluer des programmes où les besoins en information perçus étaient peu élevés (par exemple, les programmes à faible risque, ou lorsqu'il existait d'autres sources de renseignements), et où l'évaluation était susceptible de n'avoir aucune utilité ou lorsqu'il ne pourrait être donné suite aux recommandations. Par exemple, les études de cas ont montré que certains intervenants avaient remis en question la valeur de l'application de l'exigence de portée complète aux contributions obligatoires parce que les évaluations n'auraient eu aucun impact sur les dépenses que le Canada est tenu de consacrer à ces programmes. Des études de cas ont toutefois montré que les évaluations existantes des contributions obligatoires, qui avaient mis l'accent sur l'efficacité de l'effort du Canada (par exemple, le fait de tirer des avantages pour le Canada ou d'influer sur les politiques organisationnelles ou sur la coordination entre les différents ministères et organismes engagés auprès de l'organisation internationale) avaient une valeur éprouvée. Les contributions obligatoires sont également soumises aux exigences d'évaluation de la Loi sur la gestion des finances publiques (article 42.1) et à la Politique sur les paiements de transfert.

Un petit nombre d'administrateurs généraux^{Note en bas de page 51} et de chefs de l'évaluation ainsi qu'une minorité de gestionnaires de programmes et d'évaluateurs ont suggéré de revenir à l'ancien modèle de planification de l'évaluation fondé sur le risque, c'est-à-dire de tenir compte des risques pour décider s'il y a lieu ou non d'évaluer des programmes. Cette suggestion a été assortie de plusieurs mises en garde, notamment que les approches fondées sur les risques ne constituaient pas une panacée; que des directives claires de l'administration centrale seraient nécessaires pour assurer la cohérence de l'évaluation des risques; que l'importance relative seule ne devait pas servir à définir le risque; et qu'au moins un cycle complet d'application de l'exigence de portée complète pourrait être nécessaire pour fournir l'assurance que les niveaux de risque des programmes sont évalués avec précision.

Un certain nombre d'autres approches en matière de portée ont été suggérées dans le cadre des études de cas et des consultations, y compris :

• Une portée complète sur une période plus longue (fréquence espacée);
• Une portée axée sur le risque, avec une calibration des évaluations individuelles;
• Des évaluations ciblées (évaluations qui ont une étendue plus étroite ou qui portent sur des enjeux ou des thèmes particuliers);
• Des évaluations axées sur les priorités et les intérêts du ministère;
• Des évaluations où le gain potentiel en information est le plus élevé.

En revanche, certains répondants d'organismes centraux et chefs de l'évaluation ont recommandé que la politique soit élargie pour exiger l'évaluation de types de dépenses de programmes qu'elle n'évalue pas actuellement. Parmi les types de programmes mentionnés en particulier, il y avait les programmes temporisés ou à durée limitée, les services internes et les programmes législatifs (au-delà des seuls aspects administratifs). Les organismes centraux en particulier ont signalé que les programmes temporisés ou à durée limitée sont parfois renouvelés, et que les évaluations sont utiles pour éclairer le processus de renouvellement.

3.2.2 Évaluations quinquennales (question 2)

11. Constatation : Le fait de procéder à des évaluations quinquennales a eu du pour et du contre, selon la nature des programmes et les besoins des utilisateurs. Pour optimiser l'utilité de l'évaluation d'un programme donné, des évaluations plus ou moins fréquentes, ou à fréquence réglable, pourraient être nécessaires.

12. Constatation : Combinée avec l'exigence de portée complète, la fréquence quinquennale a restreint la marge de manœuvre dont disposent les services d'évaluation pour satisfaire aux besoins de renseignements émergents ou plus prioritaires.

Au sein de l'ensemble des groupes d'intervenants, différents points de vue ont été exprimés au sujet de la pertinence et de l'utilité de l'exigence de fréquence quinquennale inscrite dans la politique. Même si la fréquence quinquennale des évaluations a été perçue comme routinière et insensible aux besoins et préférences de la direction, tous les groupes d'intervenants ont signalé des aspects à la fois positifs et négatifs.

Comparativement à d'autres groupes d'intervenants, les organismes centraux ont plus fortement appuyé l'exigence de fréquence quinquennale. Ce soutien peut s'expliquer par la nature du travail des organismes centraux, qui exige souvent de conseiller le Conseil du Trésor au sujet des renouvellements de financement, qui se produisent généralement tous les cinq ans et qui peuvent être éclairés par des évaluations.

Les chefs de l'évaluation ont souligné le pour et le contre de l'exigence de fréquence quinquennale avec autant d'importance, alors que les gestionnaires de programme^{Note en bas de page 52} et les évaluateurs^{Note en bas de page 53} ont été plus nombreux à favoriser d'autres fréquences. Par exemple, 63 % des évaluateurs interrogés ont estimé qu'une autre fréquence que tous les cinq ans devrait être utilisée pour évaluer les programmes, sauf les programmes permanents de subventions et de contributions. Il convient également de signaler que les expériences des ministères au chapitre de la mise en œuvre de la politique de 2009 ont pu varier largement selon la nature de leurs programmes, leur historique d'évaluation et les expériences de leurs administrateurs généraux et chefs de l'évaluation^{Note en bas de page 54}.

Parmi les aspects positifs de l'exigence de fréquence quinquennale soulignés par une majorité de groupes d'intervenants, mentionnons les suivants :

Disponibilité et large soutien à la prise de décisions :

L'exigence a créé et assuré une base constante d'information sur l'ensemble des dépenses de programmes directes à l'appui de tous les domaines de la prise de décisions – par exemple, les besoins en gestion des dépenses, les examens des dépenses et la reddition de comptes.

Informations récentes :

L'exigence a permis de faire en sorte que les informations tirant leurs sources d'évaluations ne remontent pas à plus de cinq ans. Les organismes centraux ^{Note en bas de page 55} et les cadres supérieurs ont dit qu'ils ne tenaient pas compte des évaluations de plus de cinq ans et ont estimé que celles qui avaient été menées dans les deux ou trois dernières années étaient les plus utiles – par exemple, pour éclairer les présentations au Conseil du Trésor.

Renforcement global de la fonction d'évaluation :

L'exigence a soutenu une culture d'évaluation, de mesure du rendement et d'apprentissage; elle a rehaussé la visibilité des fonctions d'évaluation; favorisé la planification de l'évaluation; et accru la participation des gestionnaires de programme, notamment au chapitre de la mesure du rendement.

Parmi les aspects négatifs de l'exigence de fréquence quinquennale signalés par la plupart des groupes d'intervenants, mentionnons les suivants :

Calendrier d'évaluation qui ne correspond pas toujours aux besoins :

L'exigence a donné lieu à un calendrier routinier qui n'a pas toujours permis de produire une évaluation au moment le plus opportun – par exemple, lorsque le contexte du programme avait été stabilisé; quand il n'y avait pas de décision particulière à éclairer; lorsque des informations récentes étaient disponibles dans d'autres sources ou activités d'examen; lorsque d'importants changements récents du programme avaient rendu une évaluation prématurée; ou quand une évaluation plus rapide aurait fourni des informations utiles et formatrices sur un nouveau programme.

Capacité d'évaluation surchargée et réactivité réduite :

L'exigence a atténué la réactivité de certaines fonctions d'évaluation aux besoins en information nouveaux et émergents, ou elle a limité leur capacité de se concentrer sur les vrais problèmes, les activités stratégiques ou les projets d'évaluation de plus grande valeur, puisque les ressources étaient entièrement consacrées à l'exécution des plans ministériels d'évaluation. Dans certains cas, cette exigence a mené à la hiérarchisation des évaluations de faible risque ou de faible intérêt pour les administrateurs généraux. Il a également été signalé que le délai d'exécution des évaluations modifie la façon dont les évaluations peuvent facilement être intégrées à un cycle de cinq ans ^{Note en bas de page 56}.

Effets des larges étendues d'évaluation :

Comme indiqué précédemment, l'exigence a donné lieu à des stratégies visant à évaluer les programmes en groupes ou en tant qu'entités plus importantes. Cette approche a réduit l'utilité des évaluations pour certains utilisateurs, mais elle a abouti à une utilité accrue pour d'autres.

Mauvaise utilisation des ressources :

Comme précisé par le vérificateur général au printemps de 2013 ^{Note en bas de page 57}, l'exigence avait limité la capacité des ministères à utiliser au mieux leurs ressources en matière d'évaluation. La majorité des groupes d'intervenants ont exprimé des préoccupations semblables.

Valeur perçue de la fonction d'évaluation à la baisse :

Certains ont déclaré un effet combiné négatif de ce qui précède (calendrier ne correspondant pas aux besoins, faible réactivité et mauvaise utilisation des ressources) sur la valeur perçue de la fonction d'évaluation dans son ensemble.

En outre, les chefs de l'évaluation et les évaluateurs ont signalé un aspect négatif de l'exigence de fréquence quinquennale comme un fardeau pour certains programmes de subir des évaluations répétées. Malgré ce fardeau, les trois quarts (77 %) des gestionnaires de programme interrogés dont les programmes avaient été évalués depuis 2009 ont estimé qu'il était assez utile (41 %) ou très utile (36 %) d'avoir une évaluation de leur programme tous les cinq ans, afin de soutenir leur prise de décisions et leurs besoins en gestion de programmes.

Même si une approche d'évaluation régulière et cyclique a souvent été préférée à une approche ad hoc, l'opinion dominante était que la fréquence quinquennale n'était pas à propos dans certaines situations. Beaucoup ont favorisé l'idée de bénéficier d'une plus grande souplesse au chapitre de la fréquence d'évaluation afin que les évaluations puissent être programmées pour assurer une utilité maximale, notamment en retardant une évaluation afin d'en faciliter une autre. Lorsque la fréquence quinquennale ne convenait pas, les intervenants ont proposé de nombreux autres facteurs de déclenchement et considérations pour le calendrier des évaluations. Selon les éléments de preuve provenant de nombreuses sources^{Note en bas de page 58}, les autres approches relevaient de trois grandes catégories :

• L'adoption d'une fréquence d'évaluation plus grande, comme sept, huit ou même dix ans;
• Le maintien d'une fréquence quinquennale tout en permettant aux ministères de cibler les évaluations sur des domaines de programmes particuliers ou de plus petites composantes de programme, plutôt que sur des programmes complets;
• Déterminer le calendrier des évaluations en fonction des besoins.

À l'échelle internationale, les politiques d'évaluation font le plus souvent concorder le moment des évaluations avec la prise de décisions et les exigences ou les processus redditionnels. La présente évaluation a permis de constater que l'on fait de plus en plus concorder le moment des évaluations avec les présentations au Conseil du Trésor, ce qui contribue à l'utilisation et à l'utilité des évaluations.

Dans tous les groupes d'intervenants, une proportion des intervenants ont indiqué que l'importance du programme et le niveau de risque devraient être les principaux facteurs à examiner pour déterminer la fréquence d'évaluation, et que le cycle de vie ou l'état d'avancement du programme devraient également être considérés. Pour mieux harmoniser le calendrier d'évaluation avec les besoins, plusieurs facteurs ont été cernés dans la plupart des groupes d'intervenants, y compris :

• Le risque;
• Les facteurs de programme comme l'importance absolue ou relative, ainsi que le type de financement;
• L'avancement ou le cycle de vie du programme;
• Les besoins décisionnels;
• Les problèmes de programme connus;
• Une restructuration prévue;
• La disponibilité d'informations ou de données de mesure du rendement provenant d'autres sources.

Selon des données d'études de cas, les ministères ont exprimé leur soutien à l'idée de choisir eux-mêmes la fréquence d'évaluation à privilégier pour leurs programmes, car cela pourrait les aider à répondre aux besoins courants et émergents (y compris les leurs, et ceux des organismes centraux); coordonner le calendrier d'évaluation avec d'autres activités de supervision (par exemple, les audits et les examens); et alléger le fardeau des programmes. Certains éléments de preuve ont indiqué que les organismes centraux (notamment, le Secrétariat du Conseil du Trésor du Canada) pourraient avoir un rôle à jouer pour éclairer les décisions ministérielles de planification des évaluations concernant la fréquence ou le calendrier afin de s'assurer de satisfaire aux besoins en matière de gestion des dépenses; aucune suggestion n'a toutefois été avancée sur la façon de mettre cette solution en pratique.

3.2.3 Questions fondamentales (question 1)

13. Constatation : De façon générale, les cinq questions fondamentales ont couvert un éventail adéquat de questions et établissent un cadre cohérent qui a permis de comparer et d'analyser les évaluations au sein et à l'échelle des ministères au fil du temps. La pertinence perçue de certaines questions fondamentales a toutefois varié selon l'évaluation et le type d'utilisateur de l'évaluation.

Le fait de préciser les questions fondamentales est conforme aux pratiques observées dans les autres administrations examinées. En outre, les questions fondamentales soulevées dans la Directive sur la fonction d'évaluation de 2009 sont largement compatibles avec les catégories de questions traitées dans d'autres administrations (pertinence, efficacité et efficience), même si la ventilation des questions en composantes (par exemple, la ventilation de la pertinence en besoins de programme, priorité gouvernementale et rôle du gouvernement) est moins fréquente.

Chacune des cinq questions fondamentales de la politique compte un ou plusieurs utilisateurs intéressés au sein des ministères et des organismes centraux, ainsi qu'aux niveaux politique et public. En termes d'utilité de l'évaluation, les organismes centraux ont généralement bénéficié davantage que les ministères de l'application cohérente de toutes les questions fondamentales^{Note en bas de page 59}. Des documents du Secrétariat du Conseil du Trésor du Canada ont indiqué que les cinq questions fondamentales visaient à axer les évaluations sur l'examen de la façon dont les programmes permettent d'optimiser les ressources publiques. Dans le cadre de l'analyse des études de cas, les évaluateurs, les gestionnaires de programme et la haute direction (y compris les membres des comités ministériels d'évaluation) ont perçu les questions fondamentales comme étant appropriées et utiles. Les gestionnaires de programme, en particulier, ont perçu les questions fondamentales comme étant les bonnes. De façon générale, les organismes centraux ont favorisé l'application cohérente des cinq questions fondamentales à l'ensemble des évaluations, car elles correspondent aux types de questions que posent les ministres et aux questions que posent les organismes centraux dans le cadre de leur fonction de remise en question. En outre, le cadre cohérent des questions d'évaluation pourrait appuyer les utilisations émergentes des organismes centraux de l'information sur le rendement – par exemple, à des fins d'analyses horizontales ou de synthèses des données d'évaluation. Aucune question n'a été régulièrement identifiée comme manquant à l'ensemble des questions fondamentales.

L'exigence des questions fondamentales a eu des conséquences à la fois positives et négatives sur l'utilité des évaluations^{Note en bas de page 60}.

Les exemples qui suivent illustrent des conséquences positives :

• Elle a appuyé l'amélioration des programmes.
• Elle a fourni un cadre cohérent permettant de focaliser les évaluations et de comparer les programmes – par exemple, au regard des questions systématiques, des chevauchements et des possibilités de synergie. Cette cohérence a soutenu le travail des analystes du Secrétariat et a permis d'éviter les lacunes au chapitre de l'information^{Note en bas de page 61}.
• Elle a permis de focaliser les évaluations de manière à ce qu'elles fournissent les informations nécessaires à l'appui de la gestion des dépenses (par exemple, en soutenant les présentations au Conseil du Trésor et les mémoires au Cabinet), des examens des dépenses et des programmes, des besoins des décideurs et des autres utilisateurs d'évaluations, et d'une saine gestion.
• Elle a contribué à s'assurer que les programmes ne contournent pas les problèmes présumés de rendement.
• Elle a mis en évidence des problèmes concernant les données de mesure du rendement.

Comme l'illustre la figure 4, les gestionnaires de programme interrogés ont perçu, de façon générale, toutes les questions fondamentales comme étant assez utiles ou très utiles^{Note en bas de page 62}.

Figure 4 - Version textuelle

La figure montre le pourcentage des 115 gestionnaires de programme interrogés qui ont coté chacune des cinq questions fondamentales comme étant assez utile ou très utile au chapitre du soutien des besoins décisionnels des cadres supérieurs, et la proportion de gestionnaires ayant coté chaque question fondamentale comme étant assez utile ou très utile quant au soutien de leurs propres besoins décisionnels. Pour la première question fondamentale, la « nécessité continue », 73 % des gestionnaires de programme ont coté la question comme étant assez utile ou très utile au chapitre du soutien des besoins décisionnels des cadres supérieurs, et 80 % ont coté la question comme étant assez utile ou très utile quant au soutien de leurs propres besoins décisionnels. Pour la deuxième question fondamentale, « harmonisation avec les priorités », 75 % des gestionnaires de programme ont coté la question comme étant assez utile ou très utile au chapitre du soutien des besoins décisionnels des cadres supérieurs, et 79 % ont coté la question comme étant assez utile ou très utile quant au soutien de leurs propres besoins décisionnels. Pour la troisième question fondamentale, « harmonisation avec les rôles du gouvernement fédéral », 73 % des gestionnaires de programme ont coté la question comme étant assez utile ou très utile au chapitre du soutien des besoins décisionnels des cadres supérieurs, et 78 % ont coté la question comme étant assez utile ou très utile quant au soutien de leurs propres besoins décisionnels. Pour la quatrième question fondamentale, « obtention des résultats attendus », 87 % des gestionnaires de programme ont coté la question comme étant assez utile ou très utile au chapitre du soutien des besoins décisionnels des cadres supérieurs, et 87 % ont coté la question comme étant assez utile ou très utile quant au soutien de leurs propres besoins décisionnels. Pour la cinquième question fondamentale, « démonstration de fonctionnalité et de rentabilité », 68 % des gestionnaires de programme ont coté la question comme étant assez utile ou très utile au chapitre du soutien des besoins décisionnels des cadres supérieurs, et 75 % ont coté la question comme étant assez utile ou très utile quant au soutien de leurs propres besoins décisionnels.

Comme l'illustre la figure 5, la majorité des évaluateurs interrogés ont déclaré que l'exigence des questions fondamentales avait eu les conséquences les plus positives sur l'utilité des évaluations pour ce qui est d'éclairer l'amélioration des programmes, la reddition de comptes et les rapports destinés au public.

Figure 5 - Version textuelle

La figure montre le pourcentage d'évaluateurs participants ayant déclaré que l'exigence relative aux questions fondamentales avait eu une incidence positive sur l'utilité des évaluations pour chacun des trois objets. Sur les 153 évaluateurs interrogés, 84 % ont déclaré une incidence positive sur l'utilité des évaluations aux fins de l'amélioration des politiques et des programmes; 77 % ont déclaré une incidence positive sur l'utilité des évaluations à des fins de reddition de comptes; et 72 % ont déclaré une incidence positive sur l'utilité des évaluations aux fins des rapports destinés au public.

Les conséquences négatives associées aux questions fondamentales^{Note en bas de page 63} avaient trait à la marge de manœuvre réduite qu'ont déclaré les ministères relativement à la conception d'évaluations faisant état des priorités et des besoins des utilisateurs (y compris ceux des administrateurs généraux^{Note en bas de page 64} et des gestionnaires de programme) ainsi que du contexte et des caractéristiques des programmes^{Note en bas de page 65}.

L'appui général à l'égard de l'examen des questions fondamentales a été accompagné par des observations selon lesquelles, de façon périodique et dans des circonstances particulières, certaines questions fondamentales pourraient ne pas être applicables à une évaluation donnée. La plupart des groupes d'intervenants ont reconnu que les trois questions fondamentales suivantes étaient importantes ou essentielles, et qu'elles doivent être appliquées à toutes les évaluations :

• La démonstration de l'efficience et de l'économie, qui examine la façon dont un programme utilise les ressources pour obtenir des résultats, a été signalée par certains intervenants comme étant de la plus haute importance pour les parlementaires;
• L'obtention des résultats attendus, qui examine l'efficacité d'un programme et revêt un grand intérêt pour les gestionnaires de programme, les cadres supérieurs et les administrateurs généraux;
• Le besoin continu du programme, qui, semble-t-il, fournit des informations utiles pour les gestionnaires de programme et les cadres supérieurs.

Les deux premières sont des questions fondamentales de rendement et sont celles qui préoccupent le plus les administrateurs généraux, les gestionnaires de programme et les autres utilisateurs d'évaluations^{Note en bas de page 66}, et la troisième est une question fondamentale de pertinence.

En outre, comme le montre la figure 6, la plupart des évaluateurs ont estimé que ces mêmes questions fondamentales doivent être appliquées à toutes les évaluations (il convient de préciser que l'enquête a divisé la question fondamentale de la « démonstration d'efficience et d'économie » en deux parties, afin de mesurer les perceptions des évaluateurs de chacune d'elles).

Figure 6 - Version textuelle

Pour chacune des cinq questions fondamentales, la figure montre le pourcentage d'évaluateurs interrogés qui ont estimé que la question devait être traitée dans toutes les évaluations. Fait à noter : l'enquête a divisé la question fondamentale de la « démonstration d'efficience et d'économie » en deux parties. Du pourcentage le plus élevé au plus faible, 99 % des 153 évaluateurs ont estimé que la question fondamentale « obtention des résultats attendus » doit être traitée dans toutes les évaluations; 85 % des évaluateurs ont estimé que « l'efficience » (partie de la question fondamentale « démonstration d'efficience et d'économie ») doit être traitée dans toutes les évaluations; 75 % des évaluateurs ont estimé que la question fondamentale « nécessitée continue des programmes » doit être traitée dans toutes les évaluations; 73 % des évaluateurs ont estimé que « l'économie » (partie de la question fondamentale « démonstration d'efficience et d'économie ») doit être traitée dans toutes les évaluations; 37 % des évaluateurs ont estimé que la question fondamentale « harmonisation avec les rôles du gouvernement fédéral » doit être traitée dans toutes les évaluations; et 36 % des évaluateurs ont estimé que la question fondamentale « harmonisation avec les priorités » doit être traitée dans toutes les évaluations.

Dans tous les groupes d'intervenants, certains intervenants ont déclaré que deux des trois questions de pertinence, soit l'harmonisation avec les rôles et les responsabilités du gouvernement fédéral, et l'harmonisation avec les priorités du gouvernement, s'appliquaient uniquement à un sous-ensemble de programmes, ou seulement dans certaines conditions^{Note en bas de page 67} D'autres intervenants ont déclaré que les trois questions fondamentales de pertinence étaient essentielles ou revêtaient la plus haute importance, en particulier pour éclairer la haute direction. La haute direction et les répondants des organismes centraux ont indiqué que les questions de pertinence ont permis de répondre à des questions dans le cadre de l'examen de la gestion des dépenses et, en particulier, à la question de l'abordabilité.

Lorsque l'harmonisation avec les rôles et les responsabilités du gouvernement fédéral et l'harmonisation avec les priorités gouvernementales ont été perçues comme étant inapplicables^{Note en bas de page 68}, les intervenants ont estimé que les aborder constituerait un exemple d'utilisation inefficace des ressources d'évaluation et aurait peu d'intérêt pour les cadres supérieurs. Les questions de pertinence n'étaient toutefois pas les seules questions ayant été perçues comme inapplicables pour certaines évaluations; par exemple, l'applicabilité de chaque question fondamentale pourrait dépendre de facteurs liés au programme et à son environnement. Des études de cas ont indiqué que, dans de grandes et de petites organisations, l'exigence des questions fondamentales a pu conduire à des évaluations moins utiles qui étaient plus complexes, et prenaient plus de temps et de ressources que nécessaire.

Les administrateurs généraux consultés en 2014 ont plaidé en faveur d'une plus grande souplesse quant à l'application des questions fondamentales d'évaluation, afin de permettre aux organisations de se concentrer sur des domaines d'intérêt et de produire des rapports concis en vue d'éclairer la prise de décisions. Par ailleurs, les administrateurs généraux ont reconnu qu'une souplesse accrue obligerait la haute direction à participer davantage à la conception des évaluations.

La plupart des groupes d'intervenants ont préconisé l'ajout d'une certaine souplesse à l'exigence des cinq questions fondamentales^{Note en bas de page 69}. Même si les résultats de la consultation ont montré que les organismes centraux sont généralement favorables à l'application cohérente des cinq questions fondamentales à l'ensemble des évaluations, ces organismes, ainsi que les gestionnaires de programme et les évaluateurs, ont convenu que la souplesse doit être envisagée. Les chefs de l'évaluation ont exprimé le souhait de mesures de souplesse qui variaient du fait de ne pas appliquer une question fondamentale, au fait d'atténuer la portée de l'examen d'une question fondamentale, ou d'appliquer une ou plusieurs questions fondamentales moins fréquemment – par exemple, toutes les deux évaluations d'un programme ou tous les dix ans.

Parmi les petits ministères examinés dans le cadre des études de cas, les questions fondamentales ont été perçues comme alourdissant le fardeau des évaluations sans demande interne d'information correspondante, menant ces organisations à exercer leur option de ne pas toutes les appliquer^{Note en bas de page 70}.

Il a été généralement signalé par les intervenants que l'article 42.1 de la Loi sur la gestion des finances publiques exige un examen de la pertinence et de l'efficacité tous les cinq ans, sans toutefois préciser les cinq questions fondamentales. L'exigence supplémentaire de la Politique sur les paiements de transfert et de la Politique sur l'évaluation voulant que ces évaluations appliquent les cinq questions fondamentales a été perçue par les services d'évaluation comme alourdissant le fardeau. Par ailleurs, les analystes des organismes centraux, qui sont les principaux utilisateurs des évaluations pour conseiller le Conseil du Trésor au sujet des propositions de dépenses comme les renouvellements de programmes de subventions et de contributions, appuient de manière générale la nécessité d'appliquer les cinq questions fondamentales.

Dans l'ensemble, les questions fondamentales ont été perçues comme étant de nature très générale. Même si aucune autre question n'a été régulièrement identifiée comme devant être ajoutée à l'ensemble existant de questions fondamentales, les administrateurs généraux et les cadres supérieurs ont parfois exprimé le souhait que les évaluations individuelles abordent des questions supplémentaires^{Note en bas de page 71}. Comme la Directive sur la fonction d'évaluation le permet expressément, les évaluations ont souvent abordé des questions supplémentaires pour répondre aux besoins des utilisateurs ministériels^{Note en bas de page 72}. Par exemple, 61 % des évaluateurs interrogés ont indiqué que des questions autres que les cinq questions fondamentales ont été posées dans les évaluations au moins la moitié du temps. Lorsque les évaluateurs ont été invités à préciser quelles questions, autres que les cinq questions fondamentales, avaient été considérées pour inclusion dans les évaluations depuis 2009, la question la plus fréquente avait trait à la conception et à l'exécution des programmes. Des consultations auprès des évaluateurs et des organismes centraux ont révélé que les questions de conception et d'exécution avaient parfois été abordées dans l'une ou l'autre des deux questions fondamentales de rendement; par exemple, la description que fait la Directive sur la fonction d'évaluation de la question fondamentale de l'obtention des résultats attendus renvoie expressément à l'évaluation de la conception des programmes rattachée à cette question. Les autres questions non fondamentales qui ont été relevées^{Note en bas de page 73} auraient pu normalement^{Note en bas de page 74} ou parfois^{Note en bas de page 75} être incorporées aux questions fondamentales.

Dans l'application de leurs ressources d'évaluation disponibles, les services d'évaluation ont dû parfois choisir entre appliquer une question non fondamentale pour satisfaire aux besoins en matière d'information de leur administrateur général ou se conformer à l'exigence des questions fondamentales. Des consultations ont révélé qu'ils avaient eu tendance à considérer les besoins de l'administrateur général comme étant plus importants.

Comme indiqué lors de l'examen de la mise en œuvre, même si une certaine souplesse permettait d'aborder les questions fondamentales moyennant un effort d'évaluation moindre ou pour justifier le fait de ne pas appliquer une question, il est probable que cette souplesse n'ait pas été entièrement communiquée aux ministères ou utilisée par ceux-ci. Cette constatation peut s'expliquer en partie par leur préoccupation de ne pas nuire aux cotes d'évaluation du Cadre de responsabilisation de gestion^{Note en bas de page 76}. Les administrateurs généraux ont mentionné cette justification lors de consultations, tout en précisant que, même si de nouvelles mesures d'assouplissement pourraient être nécessaires aux fins de l'exigence des questions fondamentales, les mesures existantes n'avaient peut-être pas été entièrement appliquées. Même si les intervenants connaissaient ces mesures d'assouplissement, certains les ont perçues comme étant largement théoriques et n'y ont pas vu une véritable occasion de se prévaloir de leur pouvoir discrétionnaire lors de l'application des questions fondamentales dans certaines évaluations, et surtout pas une véritable occasion de justifier qu'une question ne soit pas abordée. Selon de nombreux intervenants, l'effort requis pour démontrer que l'évaluation n'a pas besoin de répondre à certaines questions de pertinence (harmonisation avec les rôles et responsabilités du gouvernement fédéral et harmonisation avec les priorités du gouvernement fédéral) pourrait être équivalent à l'effort nécessaire pour effectivement les évaluer. De nombreuses organisations ont toutefois calibré les efforts^{Note en bas de page 77} qu'elles consacrent à ces questions de pertinence.

14. Constatation : Des lacunes de longue date au chapitre de la disponibilité et de la qualité des données de mesure du rendement des programmes et des données financières structurées de façon incompatible ont continué de contraindre les évaluateurs sur le plan de la fourniture d'évaluations de l'efficacité, de l'efficience (y compris le rapport coût-efficacité) et de l'économie des programmes. Les organismes centraux et les cadres supérieurs ont exprimé le souhait d'obtenir, en particulier, des renseignements plus nombreux et de meilleure qualité sur l'efficience et l'économie des programmes.

Même si l'évaluation ne portait pas expressément sur cet élément, l'incidence des données de mesure du rendement sur le succès d'une évaluation est l'un des thèmes communs ressortis. Il a été signalé dans le Rapport de l'automne 2009 de la vérificatrice générale du Canada que bon nombre d'évaluations n'ont pas permis d'évaluer comme il se doit l'efficacité des programmes parce que l'analyse avait été limitée par des données de mesure du rendement insuffisantes. Cette constatation figure également dans le Rapport du printemps 2013 du vérificateur général du Canada, dans lequel il a été signalé que, dans 14 des 20 évaluations échantillonnées dans trois ministères, des lacunes des données de mesure du rendement des programmes ont continué à limiter les évaluateurs dans la détermination de l'efficacité des programmes et les ont souvent obligés à s'appuyer sur des données plus subjectives ou à recueillir des données supplémentaires pour combler les lacunes. Même si l'examen de la mise en œuvre a permis de constater que la situation s'est améliorée dans une certaine mesure en 2012-2013, environ 50 % des organisations ont continué de signaler des difficultés liées à des données de mesure du rendement insuffisantes. Même si l'enquête auprès des gestionnaires de programme a révélé que 90 % des programmes comportaient une stratégie de mesure du rendement, la même enquête a révélé qu'environ 50 % des indicateurs étaient seulement assez utiles, pas très utiles ou pas du tout utiles pour les évaluateurs. La nature continue de cette difficulté a été en outre reflétée dans l'enquête d'évaluation des capacités de 2013-2014 du Secrétariat, où 30 des 33 évaluations approuvées entre avril et septembre 2013 ont connu des limites importantes en raison de données de mesure du rendement insuffisantes, malgré un taux de 70 % déclaré au regard de la mise en œuvre des stratégies de mesure du rendement. L'exigence de la Directive sur la fonction d'évaluation qui oblige les services d'évaluation à produire annuellement des rapports à l'intention des comités ministériels d'évaluation sur l'état de la mesure du rendement a fait en sorte que ces problèmes soient signalés dans un certain nombre de ministères.

Les études de cas et les consultations auprès des intervenants ont révélé un consensus selon lequel, malgré la question fondamentale qui exige que des évaluations portent sur l'efficience et l'économie des programmes, les évaluations répondent rarement aux besoins en matière d'information des utilisateurs à cet égard. Par exemple, l'information financière insuffisante limite la capacité qu'ont les évaluateurs d'analyser le rapport coût-efficacité des programmes. Même si les données financières disponibles n'étaient pas inexactes ou incomplètes, elles n'étaient pas structurées en fonction de l'entité en cours d'évaluation, c'est-à-dire que les ressources n'étaient pas rattachées à des résultats ou à des activités de programme. Les intervenants craignaient que les documents d'orientation du Secrétariat aient fourni trop peu d'exemples concrets de la façon d'évaluer l'efficience et l'économie, et n'aient pas traité assez des difficultés structurelles sous-jacentes des données financières.

Une exigence d'évaluation inscrite dans la loi en 2006

En juin 2006, le président du Conseil du Trésor a chargé un groupe d'experts indépendants de « recommander les mesures à prendre pour rendre l'exécution des programmes de subventions et de contributions plus efficace, tout en assurant une plus grande responsabilisation ». À la suite de la publication du rapport du groupe^{Note en bas de page 90}, la Loi fédérale sur la responsabilité de décembre 2006 a modifié la Loi sur la gestion des finances publiques de manière à exiger que tous les programmes permanents de subventions et de contributions soient examinés tous les cinq ans sous l'angle de la pertinence et de l'efficacité. La Politique sur les paiements de transfert de 2008 et la Politique sur l'évaluation de 2009 ont plus tard défini ces examens comme étant des évaluations, et la Politique sur l'évaluation de 2009 a fait état de l'exigence législative dans ses propres exigences de portée. Avant 2006, l'exigence d'examen ou d'évaluation des programmes permanents de subventions et de contributions n'était contenue que dans la Politique sur les paiements de transfert, où elle demeure inscrite encore aujourd'hui.

Changement d'accent pour une évaluation à l'appui de la gestion des dépenses

Le renouvellement du système de gestion des dépenses en 2007 a placé un accent accru sur l'utilisation de l'évaluation comme intrant des décisions en matière de dépenses. Conformément aux engagements énoncés dans le budget de 2006, le système de gestion des dépenses renouvelé est fondé sur les principes clés suivants :

• les programmes fédéraux sont axés sur des résultats et sur l'optimisation des ressources;
• les programmes fédéraux concordent avec les responsabilités du gouvernement fédéral;
• les programmes qui ne servent plus les fins pour lesquelles ils ont été établis sont éliminés.

Le renouvellement du système de gestion des dépenses a donné suite aux recommandations de novembre 2006 de la vérificatrice générale, selon lesquelles les décisions en matière de dépenses devaient prendre appui sur des informations fiables au sujet du rendement des programmes. En février 2008, le Comité permanent des comptes publics^{Note en bas de page 91} a recommandé « que le Secrétariat du Conseil du Trésor renforce l'importance de l'évaluation en ajoutant une évaluation des programmes à titre d'exigence clé du système de gestion des dépenses ».

Dans le contexte du système de gestion des dépenses renouvelé, l'évaluation est positionnée comme une importante source de données probantes, neutres et dignes de foi sur l'optimisation des ressources des programmes, à l'appui des décisions de dépenses pour chacun des trois piliers du système, comme suit :

Gestion axée sur les résultats :

Les ministères utilisent les évaluations sur une base continue de façon à assurer une gestion axée sur les résultats, c'est-à-dire déterminer si les programmes permettent d'obtenir les résultats attendus et éclairer les décisions quant à la poursuite, à la modification ou à la résiliation des dépenses de programmes.

Discipline initiale :

Les données d'évaluation sont utilisées dans les nouvelles propositions de dépenses (comme dans le processus des mémoires au Cabinet) pour faciliter la comparaison des dépenses proposées avec les résultats des programmes existants ou antérieurs.

Évaluation continue :

Les évaluations fournissent des intrants aux fins des examens des dépenses (complets ou ciblés) à l'appui des analyses visant à déterminer si les programmes sont efficaces et efficients, s'ils sont axés sur les résultats, s'ils font une utilisation optimale des deniers publics, et s'ils sont harmonisés avec les priorités du gouvernement.

Chefs de l'évaluation

L'examen de la mise en œuvre a révélé que, à mesure que les ministères ont mis en œuvre la politique, il y a eu un virage vers la désignation de chefs de l'évaluation à des niveaux plus élevés de la haute direction, ce qui leur a permis d'assumer des rôles consultatifs plus stratégiques dans le processus décisionnel ministériel. Près des deux tiers des chefs de l'évaluation (64 %) ont été désignés aux niveaux EX-3 et EX-4 en 2012-2013, contre moins d'un tiers (30 %) en 2009-2010.

L'examen a révélé que, au cours de la même période de quatre ans, le jumelage de la fonction d'évaluation avec d'autres fonctions est devenu une pratique courante dans les grandes et petites organisations, comme la pratique consistant à combiner le rôle du chef d'évaluation avec d'autres rôles de leadership. En 2012-2013, environ les trois quarts des chefs de l'évaluation ont exercé des rôles de leadership dans deux ou plusieurs autres fonctions; en particulier, 61 % des chefs de l'évaluation ont exercé le rôle de dirigeant principal de l'audit, comparativement à 39 % en 2009-2010. La prévalence des services d'audit et d'évaluation jumelés a également augmenté, passant de 41 % des ministères en 2009-2010 à 67 % des ministères en 2011-2012. Cette tendance au jumelage de l'évaluation avec d'autres fonctions et au jumelage du rôle des chefs de l'évaluation avec d'autres rôles semble principalement avoir découlé de l'exigence inscrite dans la politique selon laquelle les chefs de l'évaluation sont tenus de disposer d'un libre accès l'administrateur général. Cette tendance a peut-être été renforcée par la restructuration organisationnelle consécutive aux exercices de compressions budgétaires dans l'ensemble du gouvernement.

Comités ministériels d'évaluation

L'examen de la mise en œuvre a permis de constater que, à la fin de la période de transition vers la politique, tous les grands ministères ont mis sur pied des comités ministériels d'évaluation, en grande majorité présidés par des administrateurs généraux. De plus en plus, les membres des comités d'évaluation étaient des décideurs principaux représentant la totalité ou la plupart des divisions organisationnelles. Dans la plupart des cas, les membres des comités étaient des cadres supérieurs qui étaient également membres du comité de la haute direction. Dans le tiers des ministères en 2011-2012, la composition des comités ministériels d'évaluation correspondait à celle du comité de la haute direction. Les comités ministériels d'évaluation ont également participé de plus en plus à des activités comme le suivi des recommandations d'évaluations individuelles et la formulation de conseils sur les ressources dont la fonction a besoin.

Plans d'évaluation des ministères

La politique de 2009 exige que les administrateurs généraux approuvent chaque année un plan d'évaluation ministériel quinquennal qui est harmonisé avec la Structure de la gestion, des ressources et des résultats et qui soutient celle-ci, qui appuie le système de gestion des dépenses, et qui permet d'évaluer tous les programmes de subventions et de contributions, comme l'exige l'article 42.1 de la Loi sur la gestion des finances publiques. Le plan d'évaluation est un outil qui favorise la communication au sein des ministères et avec le Secrétariat du Conseil du Trésor du Canada, en particulier avec les analystes prenant part aux processus de gestion des dépenses.

L'examen de la mise en œuvre a permis de constater que, depuis 2009, plus de 90 % des grands ministères et organismes avaient présenté des plans chaque année au Secrétariat. La majorité des ministères avaient élaboré leurs plans en fonction de l'orientation du Secrétariat, en consultant globalement les secteurs de programme et en discutant des besoins en matière de mesure du rendement à l'appui de l'évaluation.

Affectation des ressources

Au moment où la politique de 2009 est entrée en vigueur, le Secrétariat du Conseil du Trésor du Canada avait prévu que les ministères devraient accroître les investissements dans la fonction d'évaluation pour atteindre et maintenir une portée d'évaluation complète tous les cinq ans. Malgré une augmentation temporaire des ressources en 2009-2010, la surveillance du Secrétariat a montré que les ressources financières gouvernementales affectées à la fonction étaient stables, à environ 60 millions de dollars annuellement jusqu'en 2011-2012.

Même si les ressources financières affectées à la fonction d'évaluation ont été relativement stables au cours de la période de transition vers la politique, le nombre d'équivalents temps plein affectés à la fonction en 2011-2012 a été un peu plus élevé (500^{Note en bas de page 98}) qu'en 2009-2010 (474^{Note en bas de page 99}). Cette augmentation au chapitre des ressources humaines a semblé découler de la réduction des budgets des services professionnels et de la réaffectation de ces fonds aux salaires.

Renforcement des capacités des ressources humaines

Après l'engagement permanent du Secrétariat à l'égard des fonctions d'évaluation des ministères jusqu'en 2011-2012 et une enquête auprès des évaluateurs fédéraux visant à déterminer leurs besoins en matière de perfectionnement professionnel, il a été conclu que la formation en évaluation au niveau débutant n'était plus un besoin prioritaire. Cependant, lorsque les chefs de l'évaluation ont été consultés un an plus tard relativement à l'examen de la mise en œuvre, ils ont indiqué que certains évaluateurs ayant récemment adhéré à la fonction manquaient d'expertise en évaluation, ce qui a fait resurgir la formation de niveau débutant au nombre besoins à court terme.

En outre, un certain nombre de chefs de l'évaluation et de directeurs de l'évaluation ont estimé que les besoins en évaluateurs plus chevronnés ont augmenté en vertu de la politique de 2009 parce que les ministères ont choisi des modèles d'évaluation plus complexes. Plus précisément, ils ont noté que le groupement des programmes à des fins d'évaluation avait fait augmenter la demande d'expertise et d'expérience normalement détenus par des évaluateurs principaux.

Stratégies utilisées aux fins de la mise en œuvre des exigences de portée

L'examen de la mise en œuvre a permis de constater que les ministères avaient utilisé une ou plusieurs des stratégies suivantes pour étendre leur portée d'évaluation tout en respectant leurs ressources budgétisées.

Études de cas

Consultations avec les intervenants

Des consultations auprès des intervenants ont été menées dans le cadre du dialogue stratégique continu, ainsi que pour éclairer l'évaluation de la Politique sur l'évaluation et l'examen de la Politique sur la structure de la gestion, des ressources et des résultats. Le sous-secrétaire adjoint du Secteur de la gestion des dépenses du Secrétariat du Conseil du Trésor du Canada a mené des entretiens semi-structurés auprès de 15 administrateurs généraux, administrateurs généraux délégués et administrateurs généraux adjoints de grands et petits ministères, et auprès de six autres informateurs clés, y compris des hauts fonctionnaires d'organismes centraux et d'anciens fonctionnaires fédéraux.

Enquêtes

Analyse de données

Les experts-conseils de l'extérieur ont utilisé le logiciel SPSS pour procéder à des analyses statistiques descriptives et déductives des données de surveillance de la politique recueillies antérieurement par le Centre d'excellence en évaluation ainsi que des données issues des enquêtes menées auprès des gestionnaires de programme, des gestionnaires de l'évaluation et des évaluateurs. Les données de surveillance incluaient ce qui suit :

• Données des enquêtes annuelles d'évaluation de la capacité des fonctions ministérielles d'évaluation menées entre 2004-2005 et 2013-2014;
• Cotes d'évaluation des fonctions ministérielles d'évaluation accordées selon le Cadre de responsabilisation de gestion entre 2007-2008 et 2011-2012, y compris les cotes globales et les cotes attribuées au regard de chacun des quatre sous-critères (qualité des rapports d'évaluation, gouvernance et soutien de la fonction d'évaluation, portée d'évaluation, et utilisation de l'évaluation), ainsi que les cotes globales attribuées en 2006-2007.

L'orientation de l'enquête d'évaluation des capacités a changé chaque année, et les indicateurs du Cadre de responsabilisation de gestion ont évolué au fil des ans. Pour effectuer des analyses longitudinales dans l'optique d'illustrer les changements qui étaient potentiellement attribuables à la politique, seuls les indicateurs stables de ces deux sources de données ont été utilisés.

Des données ouvertes des enquêtes auprès des gestionnaires de programme et de la collectivité fédérale de l'évaluation ont été codées par l'équipe d'évaluation interne, puis transférées à l'équipe externe.

Schématisation des processus

Une schématisation des processus (voir l'annexe D) a été mise au point par les experts-conseils de l'extérieur, au moyen de l'examen de documents et des données des études de cas. La schématisation a fourni un survol du mode de fonctionnement de la fonction d'évaluation dans les ministères, y compris des processus de planification, de réalisation et d'utilisation des évaluations.

Examen des documents

L'équipe d'évaluation interne a effectué un examen des documents afin d'éclairer les questions sur la pertinence des questions fondamentales et de la portée complète, sur les méthodes utilisées pour mesurer le rendement de la politique, sur les données de référence des résultats de la politique, et sur les facteurs influant l'obtention de résultats. Une soixantaine de documents internes et externes ont été examinés, y compris des rapports du vérificateur général au Parlement, des rapports du Comité permanent des comptes publics, des publications du Secrétariat du Conseil du Trésor du Canada, et d'autres documents.

Examen de documents spécialisés

L'équipe d'évaluation interne a effectué un examen de documents spécialisés afin de comparer les politiques et les pratiques d'évaluation d'autres administrations avec celles du Canada, et en particulier, celles qui ont trait à la portée et à la fréquence des évaluations, ainsi qu'aux questions fondamentales appliquées aux évaluations. L'examen a permis de synthétiser les documents spécialisés disponibles les plus récents dans les catégories suivantes :

• Publications officielles de gouvernements (nationaux et infranationaux) et d'organisations internationales (organismes), y compris des politiques d'évaluation, des documents d'orientation, des plans d'évaluation, une constitution gouvernementale, des textes législatifs, des rapports d'information, des normes d'évaluation, des compétences, des glossaires et d'autres rapports;
• Pages Web;
• Articles universitaires et documents de travail;
• Information tirée de présentations au Secrétariat du Conseil du Trésor du Canada.

Un échantillon de neuf pays et de trois organisations internationales a été établi en fonction de plusieurs critères décrits ci-après :

• Pertinence et comparabilité avec le contexte canadien : États-Unis, Royaume-Uni et Australie;
• Comparabilité des niveaux d'activité en évaluation, de l'état des politiques d'évaluation, ou d'autres facteurs : Suisse, Japon et Inde – d'après un rapport de 2013 d'EvalPartners, Mapping the Status of National Evaluation Policies;
• Par souci de continuité, les pays examinés au cours de l'examen de 2013 de la mise en œuvre de la Politique sur l'évaluation : Afrique du Sud, Mexique, Espagne, États-Unis, Royaume-Uni et Australie;
• Organismes ou groupes d'évaluation de trois organisations internationales ayant des orientations ou des politiques d'évaluation établies : le Groupe de l'évaluation des Nations Unies, le Comité d'aide au développement de l'Organisation de coopération et de développement économiques, et le Groupe d'évaluation indépendant de la Banque mondiale;
• Disponibilité et fiabilité des sources et des documents en ligne en français et en anglais.