Rapport annuel sur l'état de la fonction d'évaluation 2013

1.1 Objet du présent rapport

Le Rapport annuel de 2013 sur l'état de la fonction d'évaluation permet au Secrétariat du Conseil du Trésor du Canada (Secrétariat) de s'acquitter d'une responsabilité clé : surveiller les priorités d'évaluation du gouvernement et l'état de la fonction d'évaluation, et en rendre compte dans un rapport annuel.

Le rapport fait état de l'efficacité des grands ministères et organismes visés par la Politique sur l'évaluation; il n'est donc pas question dans ces lignes des petits ministères et organismes.^{Voir la note de bas de page 1} Le rapport expose les changements observés de 2011–2012 à 2012–2013 et fait le bilan de l'état de la fonction d'évaluation à l'échelle gouvernementale durant la période transition de quatre ans que prévoyait la politique, soit de 2009–2010 à 2012–2013.

1.2 Sujets traités dans le présent rapport

Le présent rapport couvre six grands domaines :

• les ressources d'évaluation,
• la portée de l'évaluation,
• la gouvernance et le soutien,
• la qualité des évaluations,
• l'utilisation des évaluations, et
• le soutien apporté par le Secrétariat.

1.3 Sources d'information consultées pour la préparation du présent rapport

Le rapport tire ses renseignements de la surveillance constante de la fonction qu'effectue le Secrétariat, notamment grâce aux plans et aux rapports d'évaluation qu'approuvent et lui présentent les ministères, à son Enquête d'évaluation de la capacité de la fonction d'évaluation des ministères réalisée en fin d'exercice, à différents autres documents qui lui sont soumis et à ses interactions périodiques avec les unités d'évaluation des ministères. L'information versée au présent rapport reflète les renseignements tels qu'ils étaient déclarés après la clôture de l'exercice financier.

2.1 Ressources financières

Les dépenses d'évaluation ont augmenté consécutivement à la mise en œuvre de l'actuelle Politique sur l'évaluation, atteignant un sommet de 61,2 millions de dollars en 2009–2010. Quand la période de transition a pris fin, les dépenses se chiffraient à 56,2 millions de dollars. Globalement, ce niveau de dépenses était légèrement inférieur par fonction d'évaluation à ce qu'il était avant l'entrée en vigueur de la politique renouvelée de 2009.

Comme l'indique le tableau 1, les dépenses annuelles au titre de la fonction d'évaluation en 2012–2013 ont reculé par rapport à 2011–2012 :

• Les dépenses totales des fonctions d'évaluations s'établissaient à 56,2 millions de dollars en 2012–2013, ce qui représente une baisse d'environ 3 p. 100 par rapport à 2011–2012. Cette baisse des dépenses d'évaluation est compatible avec la baisse globale des dépenses de fonctionnement des ministères au cours de la même période. La médiane des dépenses consacrées à la fonction d'évaluation était de 1,1 million de dollars en 2012–2013. Cela représente une diminution relativement à la médiane de 1,3 million de dollars de 2011–2012.
• En 2012–2013, la somme consacrée à l'évaluation à l'échelle du gouvernement du Canada correspondait à 0,5 p. 100 de la valeur totale de tous les programmes évalués en 2012–2013.
• Les dépenses des fonctions d'évaluations de fonctionnement et d'entretien en 2012–2013 ont diminué de 17 p. 100 (ou 0,8 million de dollars) par rapport à 2011–2012.
• En 2012–2013, les dépenses salariales ont augmenté de 4,6 p. 100 par rapport à 2011–2012. Les salaires ont continué de représenter la plus grande part des ressources totales consacrées à la fonction d'évaluation, soit 73 p. 100.

Les dépenses en matière de services professionnels ont diminué de près de 44 p. 100, passant de 20,5 millions de dollars en 2008–2009 à 11,6 millions de dollars en 2012–2013. En termes de pourcentage des dépenses totales, cela signifie que les services professionnels représentaient 36 p. 100 de ces dépenses en 2008–2009, contre 21 p. 100 en 2012–2013.

En revanche, toujours en termes de pourcentage des dépenses totales, les dépenses salariales ont augmenté de 56 à 73 p. 100 entre 2008–2009 et 2012–2013. Depuis la mise en œuvre de la Politique sur l'évaluation de 2009, la somme dépensée pour payer les dépenses salariales a gagné en importance, alors que les dépenses en matière de services professionnels ont reculé.

2.2 Ressources humaines

Le nombre de salariés affectés à l'évaluation était supérieur en moyenne d'environ 12 p. 100 durant la période de transition de la politique par rapport aux niveaux de ressources en place avant sa mise en œuvre, en 2009. Comme il a été mentionné, les ministères ont davantage utilisé leurs budgets pour des ressources humaines internes que pour des services professionnels durant la période de transition.

Comme l'indique le tableau 2, le nombre d'ETP affectés à la fonction d'évaluation a fluctué durant la période de transition, puis a quelque peu diminué de 2011–2012 à 2012–2013 :

• De 2011–2012 à 2012–2013, le nombre d'ETP est passé de 477 à 459, ce qui représente une baisse de 18 ETP.
• La valeur médiane au chapitre des ETP par ministère ou organisme était de 10,7, ce qui correspond à une baisse de 13,3 ETP par rapport à 2011–2012.
• Même si le nombre absolu d'ETP a diminué en 2012–2013, il y a eu une augmentation marginale des dépenses salariales à la même période.

2.3 Ressources contractuelles

Le terme « ressources contractuelles » s'entend de tout service imparti pour la planification ou la réalisation d'une évaluation. Elles sont un sous–ensemble de services professionnels, mais correspondent plus spécifiquement au fait de recourir à des entrepreneurs externes pour planifier et exécuter une évaluation.

En 2012–2013, seulement 51 p. 100 des projets d'évaluation (62 sur 122) faisaient appel à des entrepreneurs pour exécuter au moins une partie de la tâche, alors que le reste du mandat n'était pas imparti. À titre comparatif, des entrepreneurs avaient participé à 73 p. 100 et à 64 p. 100 des projets d'évaluation en 2010–2011 et en 2011–2012, respectivement.

En 2012–2013, les dépenses totales associées aux services contractuels déclarées par les ministères pour la réalisation des évaluations se sont élevées à 8,1 millions de dollars, soit 14 p. 100 de l'ensemble des ressources affectées à la fonction d'évaluation au cours de l'exercice. En guise de comparaison, c'est un montant total de 12,4 millions de dollars qui avait été consacré aux ressources contractuelles en 2011–2012, soit 21 p. 100 de la totalité des ressources d'évaluation de cet exercice.

3.1 Portée de l'évaluation des programmes permanents de subventions et de contributions

Le rapport de cette année est le deuxième à couvrir une période quinquennale depuis que la loi exige d'évaluer tous les programmes permanents de subventions et de contributions tous les cinq ans. Cette obligation est en vigueur depuis le 12 décembre 2006, moment où la Loi fédérale sur la responsabilité de 2006 venait modifier la Loi sur la gestion des finances publiques.

Durant l'exercice 2012–2013, le Secrétariat a vérifié la conformité aux exigences en matière de portée de la Loi sur la gestion des finances publiques grâce à différents mécanismes, notamment : examen de la déclaration ministérielle de données financières, examen des plans et rapports des évaluations exécutées durant l'exercice par les ministères, et analyse des données contenues dans le budget principal des dépenses.

Ce processus de vérification a permis de conclure que 22 des 31 grands ministères et organismes qui administraient des programmes permanents de subventions et de contributions de 2008–2009 à 2012–2013 avaient évalué tous leurs programmes, et que 9 ne l'avaient pas fait. De ces 9 grands ministères et organismes, 5 avaient partiellement évalué ces programmes représentant moins de 5 p. 100 du montant total de leurs dépenses au titre des programmes de subventions et contributions permanentes, tandis que les 4 autres avaient également évalué partiellement ces programmes représentant plus de 5 p. 100 du montant total de leurs dépenses en subventions et contributions permanentes.

Le Centre d'excellence en évaluation (CEE) a également pu établir une proportion entre les dépenses de programmes permanents de subventions et de contributions évalués par rapport aux dépenses globales de ces programmes figurant dans le budget principal des dépenses.^{Voir la note de bas de page 2} Ces données sont présentées dans le tableau 4. Parmi les constats, il convient de citer que :

• La portée cumulative de l'évaluation des programmes permanents de subventions et de contributions dans l'ensemble de l'administration fédérale, au cours de la période quinquennale de 2008–2009 à 2012–2013, a été estimée à 88 p. 100.^{Voir la note de bas de page 3}
• La proportion des dépenses consacrées aux programmes permanents de subventions et de contributions évalués en 2012–2013 était de 11,9 p. 100. À titre comparatif, la portée de l'évaluation en 2011–2012 était de 18,5 p. 100. Les variations de la portée sont prévisibles d'une année à l'autre étant donné la variabilité du calendrier de renouvellement du financement des programmes de subventions et de contributions.
• Durant la période de transition, la portée de l'évaluation des dépenses des programmes permanents de subventions et de contributions était en moyenne de 17,6 p. 100.

3.2 Portée de l'évaluation des dépenses de programme directes

De 2009–2010 à 2012–2013, les ministères ont eu le temps d'adapter leur capacité de façon à pouvoir évaluer l'ensemble de leurs dépenses de programme directes tous les cinq ans à compter du 1^er avril 2013.^{Voir la note de bas de page 4} En effet, pour respecter pleinement la Politique sur l'évaluation, les ministères devront être en mesure d'évaluer toutes leurs dépenses de programme directes dans un délai de cinq ans, c'est–à–dire d'ici la fin de l'exercice 2017–2018.

La portée cumulative de l'évaluation au cours des quatre années ayant suivi l'entrée en vigueur de la Politique sur l'évaluation a été estimée à 49,4 p. 100. La portée annuelle moyenne se chiffrait par ailleurs à 12,4 p. 100 (voir le tableau 4).

La portée annuelle de l'évaluation des dépenses de programme directes a beaucoup varié durant la période de transition. De 2011–2012 à 2012–2013, une baisse de 30 p. 100 de la portée d'évaluation de ces dépenses a effectivement été constatée. Or, de telles augmentations ou diminutions ont déjà été observées au cours des années précédentes.

Les résultats du processus de surveillance de 2012–2013 montrent aussi que les ministères ont fait du chemin durant la période de transition pour être en mesure de pleinement évaluer ces dépenses à compter de 2013–2014 et d'ici 2017–2018. En 2012–2013, 97 p. 100 des ministères avaient reçu la cote « Acceptable » ou « Fort » (voir figure 1) de cet élément de leur performance, ce qui correspond à une augmentation par rapport à 2011–2012, où la proportion de ministères ayant obtenu ces cotes s'élevait à 90 p. 100.^{Voir la note de bas de page 5}

En ce qui concerne l'avenir, un examen des plans d'évaluation ministériels de 2013–2014 à 2017–2018 démontre que presque tous les ministères envisagent d'évaluer l'ensemble de leurs dépenses de programme directes au cours de la période de cinq ans. Il s'agit d'une augmentation considérable par rapport à l'année précédente, où 62 p. 100 des ministères prévoyaient évaluer l'ensemble de ces dépenses. Voilà qui marque probablement l'entrée en vigueur en 2013–2014 de l'exigence concernant l'évaluation complète.

Figure 1 – version textuelle

Ce diagramme à barres montre le pourcentage des ministères ayant reçu chacune des quatre cotes possibles sous « Couverture de l'évaluation en 2012–2013 ». Ainsi, 43,8 p. 100 des ministères et organismes ont obtenu la cote « Fort », 53,1 p. 100 la cote « Acceptable », aucun (0 p. 100) la cote « Possibilité d'amélioration » et 3,1 p. 100 la cote « Attention requise ».

Source : Surveillance du Secrétariat : Portée de l'évaluation – Résultats d'évaluation

À l'instar de 2011–2012, les données de 2012–2013 indiquent toujours que les ministères ont élargi la portée des dépenses de programme directes qui ne sont pas visées par l'évaluation des programmes permanents de subventions et de contributions. En outre, les ministères ont augmenté ce niveau d'évaluation, tout en continuant d'évaluer leurs programmes permanents de subventions et de contributions, tel que le prévoit l'article 42.1 de la Loi sur la gestion des finances publiques (voir la figure 2).

• Les dépenses de programme directes sont évaluées en moyenne à 12,4 p. 100 par année pour la période de transition de quatre ans (2009–2010 à 2012–2013), comparativement à 7,4 p. 100 pour l'année précédant la mise en œuvre de la politique de 2009.
• Le pourcentage des dépenses qui sont consacrées aux programmes permanents de subventions et de contributions et qui ont été évaluées, par rapport aux autres dépenses de programme directes évaluées, varie au fil du temps, bien qu'il soit demeuré relativement stable de 2011–2012 à 2012–2013.
• En 2012–2013, les dépenses évaluées autres que celles consacrées aux subventions et aux contributions représentaient 60 p. 100 du total des dépenses de programme directes évaluées, et les dépenses en subventions et contributions représentaient 40 p. 100 de ce total.

Figure 2 – version textuelle

Ce diagramme à barres montre la proportion de dépenses de programmes permanents de subventions et de contributions, et de dépenses autres. On s'aperçoit, dans chaque cas, que la proportion change de 2008-2009 à 2012–2013. On s'aperçoit aussi que les ministères ont augmenté le niveau de couverture pour les dépenses de programmes directes qui ne sont pas couvertes par l'évaluation des programmes permanents de subventions et de contributions.

Source : Surveillance par le Secrétariat des plans et des rapports d'évaluation des ministères

Comme le montre le tableau 4, l'information sur le nombre de rapports d'évaluation approuvés indique ceci :

• Le niveau annuel moyen d'évaluations approuvées était plus élevé durant la période de transition de quatre ans (2009–2010 à 2012–2013) qu'avant l'adoption de la politique.
• Au cours de la période de transition de quatre ans, les rapports d'évaluation couvraient en moyenne un montant approximatif de 78 millions de dollars en dépenses de programme directes. Ce chiffre représente une augmentation par rapport aux niveaux constatés avant la mise en œuvre, alors que la moyenne des dépenses de programme directes couvertes était d'environ 44 millions de dollars (voir le tableau 4).
• En 2012–2013, chaque rapport d'évaluation approuvé couvrait une somme estimée à 86 millions de dollars en dépenses de programme directes. Cela traduit une baisse par rapport aux chiffres de 2011–2012, alors qu'en moyenne, chaque évaluation couvrait une somme d'environ 104 millions de dollars en dépenses de programme directes^{Voir la note de bas de page 6}.

8.1 Résumé

Les rapports annuels sur l'état de la fonction d'évaluation ont permis de faire le suivi des changements apportés à la fonction d'évaluation dans l'ensemble de l'administration fédérale depuis l'entrée en vigueur de l'actuelle Politique sur l'évaluation, le 1^er avril 2009.

Malgré les diminutions observées pour plusieurs mesures entre 2011–2012 et 2012–2013 (finances, ressources humaines, taux de couverture, etc.), les renseignements contenus dans le présent rapport indiquent que les fonctions d'évaluation du gouvernement fédéral démontrent actuellement une capacité à couvrir plus de dépenses de programme directes qu'avant la mise en place de la Politique sur l'évaluation de 2009.

La plupart des grands ministères et organismes continuent à satisfaire entièrement à l'exigence énoncée dans la Loi sur la gestion des finances publiques qui consiste à évaluer tous les programmes permanents de subventions et de contributions sur une période de cinq ans.

Les ministères ont maintenu une solide gouvernance de la fonction d'évaluation. Bien que la qualité des rapports d'évaluation soit généralement acceptable, il est possible de les améliorer grâce à un meilleur accès aux données sur la mesure du rendement, à une plus grande rigueur de la conception de l'évaluation, et à une meilleure mise en correspondance des constatations et des conclusions et recommandations.

Enfin, l'utilisation de l'évaluation pour faciliter la prise de décisions a été jugée amplement acceptable, l'exploration de l'utilisation et de l'incidence des résultats d'évaluation étant prévue pour les prochaines rondes de surveillance.

8.2 Prochaines étapes

Les données de surveillance de 2012–2013 ont été prises en considération dans le cadre de l'évaluation de la Politique sur l'évaluation conduite en 2013-14. L'évaluation donne suite à la recommandation inscrite au chapitre 1 du « Rapport Le Point sur l'évaluation de l'efficacité des programmes », du Rapport du vérificateur général du Canada, du printemps 2013, pour examiner, en concertation avec les ministères, l'obligation d'évaluer toutes les dépenses de programmes directes selon un cycle quinquennal et de prendre en compte les cinq questions fondamentales lors de ces évaluations.

À l'avenir, le CEE :

• continuera d'améliorer les critères utilisés pour évaluer la fonction d'évaluation. Le cadre de surveillance de 2013–2014 a été modifié afin de mettre davantage l'accent sur les secteurs de la mesure du rendement à l'appui de l'utilité et de l'utilisation des données d'évaluation dans le cadre de la prise de décisions, et de l'amélioration continue de la fonction;
• continuera à améliorer l'utilisation de l'évaluation pour éclairer la prise de décisions et la gestion des dépenses;
• consultera les ministères en vue de répondre à leurs besoins liés aux initiatives de renforcement de la capacité.

Portée :

• Couverture des dépenses directes continues du programme
• Couverture des programmes permanents de subventions et de contributions

Gouvernance et soutien :

• Gouvernance – Un comité d'évaluation ministériel appuie la fonction d'évaluation.
• Indépendance – Le chef de l'évaluation agit comme conseiller stratégique auprès de l'administrateur général.
• Planification et amélioration – La capacité est suffisante pour planifier et mener l'évaluation ainsi que pour surveiller les activités, s'il y a lieu.
• Ressources – Des ressources suffisantes sont attribuées pour que la fonction d'évaluation puisse être efficace dans l'optique de satisfaire aux exigences énoncées dans la Politique sur l'évaluation du Conseil du Trésor et de répondre aux besoins en matière d'évaluation de l'organisation.

Qualité :

• Pertinence des rapports d'évaluation et capacité de ceux–ci à répondre aux exigences des Normes d'évaluation pour le gouvernement du Canada, notamment :
  • Présentation des questions – Les rapports d'évaluation traitent toujours des cinq grandes questions de l'annexe A de la Directive sur la fonction d'évaluation du Conseil du Trésor (2009) en ce qui concerne la pertinence et le rendement.
  • Méthode – Les rapports d'évaluation comprennent toujours les éléments suivants pour expliquer la méthode employée :
    • Une approche et une conception d'évaluation claires et adéquates sont définies, y compris une description de la façon dont les risques ont été examinés relativement à la conception.
    • Le contexte est expliqué par la description de l'objectif de l'évaluation, du moment de cette dernière, de la place qu'elle occupe dans les opérations globales de l'organisation, et de sa justification.
    • Les méthodes de collecte des données sont décrites.
    • Une description de l'échantillonnage est présentée (p. ex., justification de la sélection, taille de l'échantillon, méthode d'échantillonnage, limites de l'échantillon, etc.).
    • Les outils de collecte des données (p. ex., sondages, listes de vérification, etc.) figurent dans les annexes ou sont clairement mentionnés dans le rapport, et sont accessibles sur demande.

Limites :

• Les rapports d'évaluation expliquent les contraintes et les limites de l'évaluation en ce qui concerne la conception, les méthodes et les consultations.
• La subjectivité et la fiabilité réelles et possibles des données sont expliquées sur le plan de l'incidence de ces dernières sur les constatations de l'évaluation.
• Le rapport décrit en quoi l'évaluation tente de surmonter les limites.

Constatations et conclusions

• Les rapports d'évaluation présentent toujours des constatations qui sont étayées par l'analyse des données qualitatives et quantitatives.
• Les rapports d'évaluation présentent des conclusions claires et valides quant à la pertinence et au rendement, et ces conclusions découlent logiquement des constatations centrales des rapports.

Recommandations

• Les rapports d'évaluation contiennent des recommandations qui découlent logiquement des constatations et des conclusions des évaluations, qui sont clairement énoncées et applicables, et dont la mise en œuvre s'avère pratique et réaliste.

Utilisation :

• L'utilisation de l'évaluation appuie l'amélioration des politiques et des programmes ainsi que la gestion des dépenses de l'organisation, comme l'indique ce qui suit :
  • la qualité de la réponse et des plans d'action de la direction;
  • le niveau de mise en œuvre de la réponse et des plans d'action de la direction.
• L'utilisation de l'évaluation appuie la gestion des dépenses, la prise de décisions du Cabinet et l'établissement de rapports publics, comme l'indique ce qui suit :
  • la mesure dans laquelle les résultats de l'évaluation sont utilisés aux fins des présentations au Conseil du Trésor, des mémoires au Cabinet, des rapports ministériels sur le rendement et des examens des dépenses.
• Diffusion des rapports au Secrétariat du Conseil du Trésor du Canada.
• Diffusion des rapports aux Canadiens.