Rapport annuel de 2012 sur l'état de la fonction d'évaluation

ISSN 1928-3482

Table des matières

Message de la secrétaire du Conseil du Trésor

Le Rapport annuel de 2012 sur l'état de la fonction d'évaluation constitue le troisième de ces rapports annuels. Il fournit au Conseil du Trésor et aux Canadiens des renseignements sur les tendances observées à l'égard de la fonction d'évaluation du gouvernement du Canada de 2007-2008 à 2011-2012.

En , la Politique sur l'évaluation a été renouvelée. Cette politique prévoyait une période de transition de quatre ans afin de donner aux ministères le temps de développer la capacité nécessaire pour appliquer pleinement les exigences d'ici . Le présent rapport annuel fournit un aperçu à l'échelle gouvernementale des trois premières années de la mise en œuvre de la Politique. Au cours de cette période, on a constaté que :

  • les ministères et les organismes ont renforcé leurs fonctions d'évaluation dans l'ensemble tout en maintenant les coûts d'évaluation stables à l'échelle gouvernementale;
  • les ministères et les organismes ont participé activement à la mise en œuvre de la Politique et ont enregistré des succès initiaux au chapitre de l'établissement de solides structures de gouvernance, de l'élargissement de la portée de l'évaluation des programmes gouvernementaux et de l'utilisation des évaluations pour éclairer un éventail de décisions;
  • certains grands ministères et organismes n'ont pas entièrement satisfait à l'exigence énoncée dans la Loi sur la gestion des finances publiques d'évaluer tous les programmes permanents de subventions et de contributions chaque cinq ans;
  • la mise en œuvre de la mesure du rendement visant à soutenir efficacement l'évaluation est demeurée un aspect à améliorer.

En 2013-2014, la Politique sur l'évaluation fera l'objet d'une évaluation. Des renseignements provenant de sources variées, y compris la rétroaction des intervenants ministériels et les rapports annuels sur l'état de la fonction d'évaluation, appuieront l'évaluation de la Politique et les recommandations ultérieures.

Yaprak Baltacioğlu
Secrétaire du Conseil du Trésor

1. Introduction

1.1 Objet du présent rapport

Le Rapport annuel de 2012 sur l'état de la fonction d'évaluation permet au Secrétariat de s'acquitter d'une responsabilité clé qui consiste à surveiller les priorités en matière d'évaluation du gouvernement et l'état de la fonction d'évaluation, et à présenter un rapport annuel à ce sujet.

1.2 Sujets visés dans le présent rapport

Le présent rapport continue de couvrir les six domaines visés dans les précédents rapports annuels, à savoir les ressources consacrées à l'évaluation, la portée de l'évaluation, la gouvernance et le soutien, la qualité des évaluations, l'utilisation des évaluations, et le soutien fourni par le Secrétariat du Conseil du Trésor du Canada (le Secrétariat).

1.3 Sources d'information consultées pour la préparation du présent rapport

L'information fournie dans le présent rapport porte principalement sur les 35 grands ministères et organismes.

Le rapport tire des renseignements de la surveillance continue de la fonction effectuée par le Secrétariat, notamment grâce à son Enquête sur l'évaluation de la capacité des fonctions d'évaluation des ministères, à la surveillance annuelle de la qualité et de l'utilisation de l'évaluation ministérielle, à ses interactions régulières avec les unités d'évaluation des ministères, ainsi qu'aux plans et aux rapports d'évaluation des ministères présentés au Secrétariat.

2. Ressources de l'évaluation

2.1 Ressources financières

Les ressources financières consacrées à l'évaluation sont demeurées relativement stables dans l'ensemble de la fonction.

Comme l'indique le tableau 1, les ressources financières consacrées à la fonction d'évaluation du gouvernement fédéral ont été relativement stables depuis 2007-2008, ayant atteint un sommet en 2009-2010. En 2011-2012, pour les grands ministères et organismes :

  • Les ressources annuelles consacrées à l'évaluation ont été d'environ 60,2 millions de dollars, ce qui ne représente aucun changement par rapport à 2010-2011. La somme consacrée à l'évaluation à l'échelle du gouvernement du Canada correspondait à 0,4 p. 100 de la valeur totale de tous les programmes évalués en 2011-2012.
  • Comme dans les exercices antérieurs, les salaires ont représenté la majeure partie des ressources totales consacrées à la fonction d'évaluation, à savoir 65 p. 100.
  • Alors que les ressources pour les salaires et les dépenses de fonctionnement et d'entretien ont augmenté légèrement par rapport aux niveaux de 2010-2011, celles destinées aux services professionnelsVoir la note en bas de page 1 ont diminué pour une quatrième année consécutive.
  • La valeur médiane des ressources affectées par les ministères à la fonction d'évaluation s'est établie à 1,3 million de dollars, ce qui représente une diminution par rapport à 1,6 million de dollars en 2010-2011.
Tableau 1. Ressources financières consacrées aux fonctions d'évaluation des grands ministères et organismes du gouvernement du Canada entre 2007–2008 et 2011–2012
Catégorie de ressource 2007–2008Voir la note * du tableau 1
(M$)
2008–2009
(M$)
2009–2010
(M$)
2010–2011
(M$)
2011–2012
(M$)

Notes du tableau 1

Source : Enquête sur l'évaluation de la capacité

Les totaux peuvent différer de la somme des composantes en raison de l'arrondissement. Sont incluses les organisations définies comme étant des grands ministères et organismes aux termes de la Politique sur l'évaluation, comme il est déterminé chaque exercice. La liste des grands ministères et organismes peut varier légèrement d'un exercice à l'autre.

Note 1 du tableau 1

Les chiffres de 2007-2008 au titre des salaires, des services professionnels et des dépenses de F et E ne représentent que les ressources permanentes. Les chiffres pour tous les autres exercices représentent une combinaison des ressources permanentes et du financement ponctuel.

Retour à la référence de la note * du tableau 1

Note 2 du tableau 1

Pour les exercices 2008-2009 à 2011-2012, la catégorie « Autres » désigne d'autres ressources d'évaluation non gérées par le chef de l'évaluation.

Retour à la référence de la note du tableau 1

Note 3 du tableau 1

La catégorie « Autres » pour 2007-2008 comprend les autres ressources d'évaluation qui ne sont pas gérées par le chef de l'évaluation, ainsi que le financement ponctuel des salaires, des services professionnels et des dépenses de F et E.

Retour à la référence de la note du tableau 1

Salaires 28,4 32,3 37,1 38,2 39,0
Services professionnels 17,9 20,5 19,1 17,6 14,3
Fonctionnement et entretien (F et E) 4,2 4,4 5,0 4,3 4,6
AutresVoir la note du tableau 1 6,7Voir la note du tableau 1 3,7 5,8 0,3 2,2
Total des ressources 57,3 60,9 66,9 60,2 60,2
Hausse annuelle (%) s.o. 6,3 9,8 -10,0 0,0

2.2 Ressources humaines

Les ressources humaines affectées à la fonction d'évaluation ont augmenté depuis 2007-2008.

Comme l'indique le tableau 2, les ressources humaines affectées à l'évaluation ont fluctué au fil des ans, mais elles ont augmenté globalement pour les grands ministères et organismes. En 2011-2012 :

  • Une hausse de 8,9 p. 100 par rapport à 2010-2011 a fait passer à 500 le nombre d'équivalents temps plein (ETP).
  • La valeur médiane au chapitre des ETP s'est chiffrée à 13,3, soit à peu près la même qu'en 2010-2011 (13,4).
Tableau 2. ETP affectés aux fonctions d'évaluation des grands ministères et organismes du gouvernement du Canada entre 2007-2008 et 2011-2012
  2007–2008 2008–2009 2009–2010 2010–2011 2011–2012

Notes du tableau 2

Source : Enquête sur l'évaluation de la capacité

Les ETP indiqués représentent une combinaison des ressources permanentes et du financement ponctuel déclarés par les ministères après la fin de chaque exercice.

Sont incluses les organisations définies comme étant des grands ministères et organismes aux termes de la Politique sur l'évaluation, comme il est déterminé chaque exercice. La liste des grands ministères et organismes peut varier d'un exercice à l'autre.

Équivalents temps plein (ETP) 409 418 474 459 500
Hausse annuelle (%) s.o. 2,2 13,4 -3,2 8,9

2.3 Ressources contractuelles

Il y a eu diminution au chapitre de l'utilisation des ressources contractuelles en 2011-2012.

Les aspects suivants ont été répertoriés au sein des grands ministères et organismes :

  • En 2011-2012, 94 des 146 évaluations (64 p. 100) se caractérisaient par la participation de ressources contractuelles pour l'exécution d'au moins une partie du travail, tandis que le reste des évaluations n'ont pas nécessité de recourir à de telles ressources. En comparaison, des ressources contractuelles avaient participé à 73 p. 100 des évaluations en 2010-2011.
  • Le coût total des services contractuels retenus pour la réalisation des évaluations s'est élevé à 12,4 millions de dollars, ce qui constitue un peu moins de 21 p. 100 de l'ensemble des ressources affectées à la fonction d'évaluation au cours de l'exercice. En guise de comparaison, il convient de préciser qu'en 2010-2011, un montant total de 13,8 millions avait été consacré à de tels services, soit l'équivalent de 23 p. 100 de la totalité des ressources consacrées à l'évaluation au cours de cet exercice.
  • Selon les grands ministères et organismes, le recours à des ressources contractuelles s'expliquait le plus souvent par la nécessité de faire face à des contraintes de capacité préétablies ou par des problèmes de charge de travail (rapportés par 68 p. 100 des organisations), pour satisfaire à des besoins d'expertise technique spécialisée qui n'était pas disponible au ministère (50 p. 100), et pour accéder à des services de collecte de données rentables (41 p. 100). Pour plus de détails sur les raisons de recourir à des ressources contractuelles aux fins de l'évaluation, voir l'annexe A.

3. Portée de l'évaluation

3.1 Portée des subventions et des contributions permanentes

La portée de l'évaluation des programmes de subventions et de contributions a augmenté en 2011-2012; ce ne sont toutefois pas tous les ministères qui ont entièrement satisfait aux exigences de la Loi sur la gestion des finances publiques.

Le présent Rapport annuel de 2012 sur l'état de la fonction d'évaluation est le premier rapport qui couvre une période de cinq ans depuis l'instauration de l'exigence législative d'évaluer tous les programmes permanents de subventions et de contributions chaque cinq ans. Dans l'ensemble des grands ministères et organismes :

  • La proportion des dépenses consacrées aux subventions et contributions permanentes qui a été évaluée en 2011-2012 s'est chiffrée à 18,5 p. 100, en comparaison à 7,4 p. 100 en 2010-2011 (voir le tableau 3).
  • Au cours de la période quinquennale entre le et le , environ 16,5 p. 100 des dépenses consacrées aux subventions et contributions ont été évalués annuellement en moyenne.
  • La portée cumulative de l'évaluation dans l'ensemble de l'administration fédérale, au cours de la période quinquennale de 2007-2008 à 2011-2012, a été estiméeVoir la note en bas de page 2 par le Secrétariat à 82,4 p. 100 des dépenses consacrées aux subventions et contributions.

Exigence clé de l'évaluation des subventions et contributions permanentes :

Tableau 3. Évaluation des programmes de subventions et de contributions (S et C) entre 2007-2008 et 2011-2012
Exercice Dépenses consacrées aux programmes de S et C visées par les évaluations (M$) Montant total des dépenses de programmes de S et C tiré du budget principal des dépenses (M$) Portée annuelle des S et C (%)

Notes du tableau 3

Source : Surveillance par le SCT des plans et des rapports d'évaluation des ministères

Note 1 du tableau 3

Seules les évaluations qui tiennent compte des exigences concernant la portée énoncées au paragraphe 6.1.8 de la Politique sur l'évaluation de 2009 sont incluses.

Retour à la référence de la note * du tableau 3

2007–2008 1 579 25 469 6,2
2008–2009 4 662 27 311 17,1
2009–2010Voir la note * du tableau 3 10 167 30 605 33,2
2010–2011Voir la note * du tableau 3 2 903 39 145 7,4
2011–2012Voir la note * du tableau 3 6 190 33 505 18,5

Afin d'approfondir l'examen de l'observation des exigences concernant la portée de la Loi sur la gestion des finances publiques, le Secrétariat a suscité la participation des grands ministères et organismes au processus de confirmation après la fin de l'exercice 2011-2012Voir la note en bas de page 3. Les résultats de ce processus de confirmation ont indiqué que, parmi les 27 ministères ayant administré des programmes permanents de subventions et de contributions au cours de la période de 2007-2008 à 2011-2012 :

  • 16 ministères avaient entièrement évalué ces programmes;
  • 8 ministères avaient partiellement évalué ces programmes; les programmes non évalués représentaient moins de 5 p. 100 du montant total de leurs dépenses en subventions et contributions permanentes;
  • 3 ministères avaient partiellement évalué ces programmes; les programmes non évalués représentaient plus de 5 p. 100 du montant total de leurs dépenses en subventions et contributions permanentes.

Le Secrétariat a mené un projet pilote mettant à l'essai une nouvelle démarche en matière de surveillance, avec la participation des ministères, afin de confirmer la portée de l'évaluation des subventions et des contributions permanentes.

  • En 2012-2013, le Secrétariat a procédé à un examen de ses méthodes de surveillance aux fins du suivi de l'évaluation des programmes permanents de subventions et de contributions et d'autres dépenses de programmes directesVoir la note en bas de page 4. À la suite de l'examen, le Secrétariat a amorcé le projet pilote mettant à l'essai une approche rajustée aux fins du suivi.
  • L'approche rajustée englobait l'inclusion dans chaque plan d'évaluation ministériel d'un inventaire complet des programmes de subventions et de contributions administrés par le ministère et un rapport sur les évaluations achevées au cours des cinq années précédentes qui correspondent à chaque programme dans l'inventaire.

3.2 Portée globale des dépenses de programmes directes

Le taux annuel de la portée de toutes les dépenses de programmes directes a augmenté considérablement dans les grands ministères et organismes en 2011-2012.

Un examen de la portée de l'évaluation de l'ensemble des dépenses de programmes directes (incluant à la fois les programmes permanents de subventions et de contributions et toutes les autres dépenses de programmes directes) dans les grands ministères et organismes a révélé ce qui suit :

  • Entre 2010-2011 et 2011-2012, la valeur en dollars des dépenses évaluées a plus que doublé (voir le tableau 4). Dans l'ensemble, la portée de tous les types de dépenses de programmes directes a grimpé rapidement de 2010-2011 à 2011-2012, avec des taux annuels de portée de 6,7 p. 100 et de 16,8 p. 100, respectivement.
  • L'estimation de la portée cumulative au cours des trois années ayant suivi l'entrée en vigueur de la Politique sur l'évaluation en s'est chiffrée à 37,7 p. 100, et la portée annuelle s'est établie en moyenne à 12,6 p. 100.
  • En ce qui concerne les cinq prochaines années, 62 p. 100 des grands ministères et organismes qui ont soumis des plans ministériels d'évaluation au Secrétariat prévoyaient l'évaluation de tous les types de dépenses de programmes directes au cours de la période de cinq ans de 2012-2013 à 2016-2017. Ce ratio est demeuré inchangé par rapport à l'exercice précédent.
  • Plus des deux tiers des grands ministères et organismes qui n'anticipaient pas une portée complète des dépenses de programmes directes pendant la période de 2012-2013 à 2016-2017 prévoyaient évaluer au moins 90 p. 100 de leurs dépenses.
  • Même si plusieurs prévoyaient déjà une portée complète de l'évaluation, la première période quinquennale au cours de laquelle les grands ministères et organismes seront tenus d'évaluer la totalité de ces dépenses sera de 2013-2014 à 2017-2018.

Principales exigences concernant la portée des évaluations inscrites dans la Politique sur l'évaluation de 2009 :

  • Tous les programmes permanents de subventions et contributions sont évalués chaque cinq ans, conformément au paragraphe 42.1 de la Loi sur la gestion des finances publiques (la mise en œuvre a débuté en ).
  • L'aspect administratif des principales dépenses législatives est évalué chaque cinq ans (la mise en œuvre a débuté en ).
  • Toutes les dépenses de programmes directes, à l'exception des subventions et contributions, sont évaluées chaque cinq ans (la mise en œuvre a débuté en ).
Tableau 4. Évaluations des dépenses de programmes directes dans les grands ministères et organismes entre 2007-2008 et 2011-2012
Exercice Nombre total d'évaluations Dépenses de programmes directes visées par les évaluations (M$) Dépenses de programmes directes totalesVoir la note * du tableau 4
tirées du budget principal des dépenses (M$)
Portée de l'évaluation annuelle (%)

Notes du tableau 4

Source : Surveillance par le SCT des plans et des rapports d'évaluation ministériels

Note 1 du tableau 4

Les dépenses de programmes directes totales comprennent les dépenses prévues des programmes permanents de S et C; les dépenses des programmes de S et C constituent un type particulier de dépenses de programmes directes.

Retour à la référence de la note * du tableau 4

Note 2 du tableau 4

Seules les évaluations qui tiennent compte des exigences concernant la portée énoncées au paragraphe 6.1.8 de la Politique sur l'évaluation de 2009 sont incluses.

Retour à la référence de la note du tableau 4

2007–2008 121 5 041 77 617 6,5
2008–2009 134 5 879 79 327 7,4
2009–2010Voir la note du tableau 4 164 11 999 84 665 14,2
2010–2011Voir la note du tableau 4 136 6 607 99 325 6,7
2011–2012Voir la note du tableau 4 146 15 202 90 710 16,8

En 2010-2011, plusieurs ministères avaient déjà fait des progrès importants quant à l'évaluation de leurs programmes de subventions et contributions pour satisfaire aux exigences de la Loi sur la gestion des finances publiques. Comme le montre la figure 1, après cette période, il y a eu à l'échelle de l'administration fédérale un changement d'orientation, l'accent étant passé de l'évaluation des dépenses en subventions et en contributions à l'évaluation des dépenses autres que celles consacrées aux subventions et aux contributions.

Figure 1 : Valeur des dépenses de programmes directes (DPD) évaluées entre 2007-2008 et 2011-2012 pour des S et C et des dépenses autres que celles de S et C
Ce diagramme à barres montre une période de cinq ans s'échelonnant de 2007-2008 à 2011-2012. Version textuelle ci-dessous :
Figure 1 - Version textuelle

Ce diagramme à barres montre la valeur monétaire relative des dépenses de programmes directes évaluées dans deux catégories, à savoir les dépenses liées aux subventions et aux contributions et les autres dépenses de programmes directes, celles-ci non liées aux subventions et contributions, sur une période de cinq ans s'échelonnant de 2007-2008 à 2011-2012. On constate qu'en 2007-2008, le montant des dépenses non liées aux subventions et aux contributions évaluées était plus de deux fois plus élevé que celui des dépenses liées aux subventions et aux contributions évaluées. La tendance s'est inversée en 2008-2009 et en 2009‑2010. Ainsi, en 2008-2009, le montant des dépenses liées aux subventions et aux contributions évaluées a été près de quatre fois plus élevé que celui des dépenses non liées aux subventions et aux contributions évaluées. Cette tendance a persisté en 2009-2010 et le montant des dépenses liées aux subventions et aux contributions évaluées a été plus de cinq fois et demie plus élevé que celui des dépenses non liées aux subventions et aux contributions évaluées. La tendance s'est inversée de nouveau en 2010-2011 et le montant des dépenses non liées aux subventions et aux contributions évaluées a dépassé de plus de 25 p. 100 celui des dépenses liées aux subventions et aux contributions évaluées. En 2011-12, le montant des dépenses non liées aux subventions et aux contributions évaluées a dépassé de plus de 45 p. 100 celui des dépenses liées aux subventions et aux contributions évaluées.

Source : Surveillance par le SCT des plans et des rapports d'évaluation ministériels

La surveillance qu'effectue le Secrétariat de la portée de l'évaluation comprend l'examen et l'évaluationVoir la note en bas de page 5 des plans d'évaluation des ministères et le suivi des évaluations réalisées qui correspondent à ces plans (voir l'annexe B pour obtenir des renseignements sur les critères d'évaluation). En 2011-2012, 90 p. 100 des ministères ont obtenu la cote « Acceptable » ou « Fort » (voir la figure 2).

Figure 2 : Cote globale de portée de l'évaluation en 2011-2012 (31 grands ministères et organismes)
Ce diagramme à barres présente les cotes de portée des grands ministères et organismes. Version textuelle ci-dessous :
Figure 2 - Version textuelle

Ce diagramme à barres présente le pourcentage des 31 grands ministères et organismes ayant obtenu chacune des quatre cotes d'évaluation possibles pour Couverture de l'évaluation en 2011–2012. Ainsi, 41,9 p. 100 des grands ministères et organismes ont obtenu la cote « Fort », 48,4 p. 100 la cote « Acceptable », 3,2 p. 100 la cote « Possibilité d'amélioration » et 6,5 p. 100 la cote « Attention requise ».

Source : Surveillance annuelle effectuée par le SCT

Certains grands ministères ont choisi de consacrer une partie de leur effort d'évaluation en 2011-2012 à des tâches qui n'étaient pas précisées aux termes des exigences de la portée de la Politique, mais qui étaient nécessaires à leurs propres fins. Pour obtenir plus de renseignements, consulter l'annexe C.

4. Gouvernance et soutien

La plupart des grands ministères et organismes ont mis en place les structures, les rôles et les responsabilités requis pour régir efficacement la fonction d'évaluation et planifier les activités de la fonction, avec une plus grande participation des administrateurs généraux dans l'ensemble de la fonction.

La Politique sur l'évaluation oblige les ministères à mettre en place des structures de gouvernance afin d'assurer la neutralité de la fonction d'évaluation. En 2011-2012, tous les grands ministères et organismes avaient un comité ministériel d'évaluation. Ces comités présentaient les caractéristiques suivantes :

  • Quatre-vingt-cinq pour cent étaient présidés par un administrateur général, ce qui constitue une augmentation par rapport à 74 p. 100 enregistrés l'exercice précédent.
  • Soixante-quatre pour cent des comités servaient uniquement la fonction d'évaluation.
  • Dans plus du quart des ministères (27 p. 100), certains membres des comités ministériels provenaient de l'extérieur.

De plus, aux termes de la Politique sur l'évaluation, les chefs de l'évaluation doivent disposer d'un accès direct et sans entrave à l'administrateur général de leurs organisations respectives.

  • En 2011-2012, les chefs de l'évaluation dans tous les grands ministères et organismes avaient accès à leur administrateur général, et la plupart avaient plus d'un mode d'accès.
  • La plupart des chefs de l'évaluation (88 p. 100) ont déclaré qu'ils avaient un accès direct d'au moins une des deux façons suivantes : réunions bilatérales régulières sans intermédiaire (67 p. 100) et réunions bilatérales ad hoc (70 p. 100).

La plupart des chefs de l'évaluation (76 p. 100) ont assumé plus d'un rôle au sein de leurs organisations respectives :

  • Soixante et un pour cent ont aussi agi à titre de dirigeant principal de la vérification.
  • Certains autres rôles communs de leadership consistaient à diriger la mesure du rendement (12 p. 100) et la gestion des risques (9 p. 100).

Parmi les fonctions d'évaluation ministérielles, 91 p. 100 étaient colocaliséesVoir la note en bas de page 6 avec une ou plusieurs fonctions, y compris, par exemple, l'audit interne (67 p. 100), la mesure du rendement (18 p. 100), la planification stratégique (18 p. 100) ou les finances (3 p. 100).

L'information recueillie par le Secrétariat aux fins de la surveillance des structures de gouvernance et le soutien fourni à l'évaluation par la mesure du rendement des programmes sont analysés et évalués annuellement (voir l'annexe B pour plus de détails sur les critères d'évaluation). En 2011-2012, 94 p. 100 des ministères ont obtenu une cote « Fort » ou « Acceptable » (voir la figure 3).

Figure 3 : Cote globale de gouvernance et soutien en 2011-2012 (31 grands ministères et organismes)
Ce diagramme à barres présente les cotes de gouvernance et soutien des grands ministères et organismes. Version textuelle ci-dessous :
Figure 3 - Version textuelle

Ce diagramme à barres présente le pourcentage des 31 grands ministères et organismes ayant obtenu chacune des quatre cotes d'évaluation possibles pour Gouvernance et soutien en 2011-2012. Ainsi, 51,6 p. 100 des grands ministères et organismes ont obtenu la cote « Fort », 41,9 p. 100 la cote « Acceptable », 6,5 p. 100 la cote « Possibilité d'amélioration » et aucun (0 p. 100) la cote « Attention requise ».

Source : Surveillance annuelle effectuée par le SCT

La disponibilité et la qualité des données recueillies sur la mesure du rendement dans le cadre des programmes n'ont pas permis de fournir un soutien uniforme aux évaluations.

La collecte de données sur le rendement par programme est indispensable pour que les évaluateurs puissent effectuer l'analyse de deux questions fondamentales de l'évaluation (l'efficience et la rentabilité d'un programme; la réalisation des résultats escomptés d'un programme) établies dans la Directive sur la fonction d'évaluation.

La surveillance des ministères par le Secrétariat en 2011-2012 a révélé que 55 p. 100 des grands ministères et organismes ont indiqué que la disponibilité ou la qualité des données sur le rendement à l'appui de l'évaluation étaient suffisantes. Aussi, 29 p. 100 ont déclaré que les données sur le rendement étaient partiellement suffisantes pour appuyer l'évaluation, et 13 p. 100 ont indiqué qu'elles étaient insuffisantes.

5. Qualité

Dans l'ensemble des grands ministères, la qualité des rapports d'évaluation a été globalement élevée en 2011-2012.

Le Secrétariat a évalué la qualité des évaluations ministérielles en fonction des critères définis qui avaient aussi été appliqués dans le cadre des deux rapports annuels précédents. Ces critères portaient principalement sur la qualité méthodologique des évaluations, notamment la pertinence des méthodes d'évaluation utilisées, les enjeux examinés, la mesure dans laquelle les constatations, les conclusions et les recommandations sont appuyées par les éléments de preuve de l'évaluation, et la déclaration transparente des limitations encourues durant l'évaluation (voir l'annexe B pour plus de détails).

En 2011-2012, 84 p. 100 des ministères ont obtenu une cote « Acceptable » ou « Fort » pour la qualité des évaluations (voir la figure 4).

Figure 4 : Cote globale de qualité en 2011-2012 (31 grands ministères et organismes)
Ce diagramme à barres présente les cotes de qualité des grands ministères et organismes. Version textuelle ci-dessous :
Figure 4 - Version textuelle

Ce diagramme à barres présente le pourcentage des 31 grands ministères et organismes ayant obtenu chacune des quatre cotes d'évaluation pour Qualité des rapports d'évaluation en 2011-2012. Ainsi, 48,4 p. 100 des grands ministères et organismes ont obtenu la cote « Fort », 35,5 p. 100 la cote « Acceptable », 6,5 p. 100 la cote « Possibilité d'amélioration » et 9,7 p. 100 la cote « Attention requise ».

Source : Surveillance annuelle effectuée par le SCT

Il est devenu évident pour le Secrétariat que, dans le contexte du présent rapport annuel, la méthode utilisée pour évaluer la qualité des rapports d'évaluation ne tenait pas compte de leur pertinence ou utilité pour la prise de décisions. En plus de renforcer ses critères pour évaluer la qualité méthodologique des évaluations, le Secrétariat examinera la possibilité d'élaborer des critères supplémentaires liés à la pertinence et l'utilité des évaluations pour la prise de décisions. De tels critères ne faisaient pas partie de la qualité des évaluations en 2011-2012.

6. Utilisation de l'évaluation

Les évaluations ont été largement utilisées, et à diverses fins, y compris pour la gestion des dépenses et les rapports publics.

Le Secrétariat a évalué l'utilisation des évaluations par les ministères en fonction de critères bien définis (voir l'annexe B pour plus de détails). En 2011-2012, 90 p. 100 des ministères ont obtenu une cote « Acceptable » ou « Fort » au titre de l'utilisation des résultats d'évaluation (voir la figure 5).

Figure 5 : Cote globale de 2011-2012 pour l'utilisation de l'évaluation (31 grands ministères et organismes)
Ce diagramme à barres présente les cotes de l'utilisation des grands ministères et organismes. Version textuelle ci-dessous :
Figure 5 - Version textuelle

Ce diagramme à barres présente le pourcentage des 31 grands ministères et organismes ayant obtenu chacune des quatre cotes possibles d'évaluation pour Utilisation de l'évaluation en 2011–2012. Ainsi, 45,2 p. 100 des grands ministères et organismes ont obtenu la cote « Fort », 45,2 p. 100 la cote « Acceptable », 6,5 p. 100 la cote « Possibilité d'amélioration » et 3,2 p. 100 la cote « Attention requise ».

Source : Surveillance annuelle effectuée par le SCT

Les ministères ont été invités à indiquer comment et dans quelle mesure les résultats des évaluations ont été utilisés en 2011-2012. Les taux d'utilisation étaient les suivants (voir la figure 6) :

  • Parmi les grands ministères et organismes, 81 p. 100 ont indiqué avoir pris en considération les constatations de la quasi-totalité (s'entend de 80 p. 100 ou plus) des évaluations pertinentes aux fins des présentations au Conseil du Trésor en 2011-2012. De plus, 3 p. 100 ont indiqué avoir tenu compte des constatations de plusieurs évaluations (s'entend de 50 à 79 p. 100) dans un but identique.
  • Parmi les grands ministères et organismes, 62 p. 100 ont indiqué avoir pris en considération les constatations de la quasi-totalité des évaluations pertinentes pour les mémoires au Cabinet préparés au cours de 2011-2012. En outre, 3 p. 100 ont mentionné que les constatations de plusieurs évaluations avaient été étudiées dans le même dessein.
  • Parmi les grands ministères et organismes, 72 p. 100 ont indiqué avoir tenu compte des constatations de la quasi-totalité des évaluations pertinentes en vue de produire les rapports sur les plans et les priorités. De plus, 6 p. 100 ont précisé avoir pris en compte les constatations de plusieurs évaluations dans un but identique.
  • Parmi les grands ministères et organismes, 88 p. 100 ont indiqué avoir tenu compte des constatations de la quasi-totalité des évaluations pertinentes en vue de produire leurs rapports ministériels sur le rendement.
  • Parmi les grands ministères et organismes, 78 p. 100 ont indiqué avoir tenu compte des constatations de la quasi-totalité des évaluations pertinentes dans le cadre de l'Examen stratégique et fonctionnel de 2011-2012.

Dans certains cas, les chefs ministériels de l'évaluation ont déclaré ne pas être au courant de toutes les utilisations des résultats d'évaluation, plus particulièrement dans le cadre de la préparation des mémoires au Cabinet et de l'Examen stratégique et fonctionnel.

Figure 6 : Fins auxquelles les grands ministères et organismes ont utilisé les évaluations en 2011-2012 (33 grands ministères et organismes)
Ce diagramme à barres empilées illustre la fréquence d'utilisation des évaluations des grands ministères et organismes. Version textuelle ci-dessous :
Figure 6 - Version textuelle

Ce diagramme à barres empilées illustre la fréquence d'utilisation des évaluations pour cinq fins différentes en 2011-2012. Ainsi, 81 p. 100 des grands ministères et organismes ont déclaré que les résultats de presque toutes les évaluations pertinentes ont été pris en compte dans les présentations au Conseil du Trésor et 3 p. 100 ont indiqué que les résultats de plusieurs évaluations ont été pris en compte dans les présentations au Conseil du Trésor (« presque toutes » correspondant à 80 p. 100 et plus et « plusieurs » correspondant à 50 à 79 p. 100); 62 p. 100 des grands ministères et organismes ont déclaré que les résultats de presque toutes les évaluations pertinentes ont été pris en compte dans les mémoires au Cabinet et 3 p. 100 ont indiqué que les résultats de plusieurs évaluations ont été pris en compte dans les mémoires au Cabinet; 72 p. 100 des grands ministères et organismes ont déclaré que les résultats de presque toutes les évaluations pertinentes ont été pris en compte en vue de produire les rapports sur les plans et les priorités et 6 p. 100 ont indiqué que les résultats de plusieurs évaluations ont été pris en compte dans les rapports sur les plans et les priorités; 88 p. 100 des grands ministères et organismes ont déclaré que les résultats de presque toutes les évaluations pertinentes ont été pris en compte dans les rapports ministériels sur le rendement; et 78 p. 100 des grands ministères et organismes ont déclaré que les résultats de presque toutes les évaluations pertinentes ont été pris en compte dans le cadre de l'Examen stratégique et fonctionnel de 2011–2012.

Source : Surveillance annuelle effectuée par le SCT

Les recommandations issues des évaluations ont été généralement mises en œuvre comme prévu.

Les caractéristiques suivantes ont été relevées en ce qui concerne la mise en œuvre des recommandations formulées dans les évaluations :

  • Parmi les grands ministères et organismes, 94 p. 100 ont déclaré assurer un suivi systématique et régulier des mesures énoncées dans les plans d'action de la direction découlant des recommandations des évaluations.
  • Parmi toute les mesures des plans d'action de la direction qui devaient être menés à bien en 2011-2012 (1 100 mesures), 51 p. 100 avaient été mis en œuvre entièrement à la fin de l'exercice, 21 p. 100 avaient été mis en œuvre partiellement, 4 p. 100 n'avaient toujours pas été commencés, 20 p. 100 avaient été reportés et 4 p. 100 avaient été jugés désuets.

7. Soutien fourni par le Secrétariat

Le Secrétariat a appuyé par divers moyens les fonctions d'évaluation des ministères au cours des trois premières années de la mise en œuvre de la Politique.

Avant le lancement de la Politique en 2009, le Secrétariat a présenté un plan pour la mise en œuvre réussie des politiques, en se concentrant sur les quatre premières années. Le plan décrivait les facteurs de réussite et les activités annuelles dans les domaines du leadership, du renforcement des capacités et du perfectionnement professionnel.

Après le lancement de la Politique, le Secrétariat a élaboré une gamme de documents d'orientation pour soutenir sa mise en œuvre. Les principaux documents d'orientation publiés depuis et ceux qui sont en cours d'élaboration figurent à l'annexe D. Outre les documents d'orientation publiés, le Centre d'excellence en évaluation du Secrétariat a surveillé et assuré une liaison périodique avec les unités ministérielles d'évaluation, a maintenu une communauté de pratique en ligne et en personne pour les chefs de l'évaluation, a organisé des ateliers de renforcement des capacités, et a exercé des activités fréquentes de sensibilisation, par exemple, dans le cadre de colloques et de conférences.

8. Résumé et prochaines étapes

8.1 Résumé

Les rapports annuels sur l'état de la fonction d'évaluation ont permis de faire le suivi des changements apportés à la fonction d'évaluation dans l'ensemble de l'administration fédérale depuis l'instauration de la Politique sur l'évaluation de 2009.

Les ministères ont réalisé de solides progrès au cours de la période de transition de quatre ans de la politique, en renforçant les capacités et l'infrastructure pour soutenir l'application complète des exigences de la politique à compter d'.

Même si les ressources financières consacrées à la fonction d'évaluation sont restées relativement stables, le nombre d'évaluateurs fédéraux a augmenté depuis 2009.

En 2011-2012, la portée de l'évaluation de tous les types de dépenses de programmes directes, et des programmes de subventions et de contributions en particulier, a considérablement augmenté. Ce ne sont pas tous les grands ministères et organismes qui ont pleinement satisfait à l'exigence inscrite dans la Loi sur la gestion des finances publiques d'évaluer tous les programmes permanents de subventions et de contributions chaque cinq ans. Toutefois, la proportion des dépenses non évaluées dans ces cas a été faible en général par rapport au montant total des dépenses ministérielles consacrées aux programmes de subventions et de contributions.

En général, les ministères ont mis sur pied des structures, des rôles et des responsabilités afin de régir la fonction d'évaluation et de planifier leurs activités. La disponibilité et la qualité des données sur la mesure du rendement à l'appui des évaluations sont des aspects qui nécessitent une amélioration.

Les évaluations ont été largement utilisées à diverses fins dans les ministères, et les recommandations issues des évaluations ont été généralement mises en œuvre comme prévu.

8.2 Prochaines étapes

Le Centre d'excellence en évaluation du Secrétariat continuera de soutenir la fonction d'évaluation en 2012-2013 et en 2013-2014 en menant une évaluation de la Politique sur l'évaluation afin :

  • d'évaluer le rendement (c.-à-d. l'efficacité, l'efficience et la rentabilité) de la Politique et d'établir un point de référence pour les résultats;
  • de trouver des occasions d'aider les ministères à mieux satisfaire à leurs besoins en matière d'évaluation;
  • de donner suite à la recommandation inscrite au chapitre 1, « Rapport Le Point sur l'évaluation de l'efficacité des programmes », du Rapport du vérificateur général du Canada, printemps 2013, pour examiner, en concertation avec les ministères, l'obligation d'évaluer toutes les dépenses de programmes directes selon un cycle quinquennal et de prendre en compte les cinq questions fondamentales lors de ses évaluations.

En outre, le Secrétariat :

  • examinera ses critères pour évaluer la qualité méthodologique des évaluations et envisagera la possibilité d'élaborer des critères supplémentaires pour évaluer la qualité quant à la pertinence et l'utilité des évaluations pour la prise de décisions;
  • fournira des orientations supplémentaires en 2013-2014 pour aider les administrateurs généraux à effectuer un suivi afin de déterminer s'ils s'acquittent de leurs responsabilités, en vertu de la Loi sur la gestion des finances publiques (article 42,1), d'évaluer tous les programmes permanents de subventions et de contributions chaque cinq ans;
  • continuera de consulter les ministères en vue d'appuyer leurs besoins en matière d'initiatives de renforcement des capacités.

Annexe A : Principales raisons du recours à des ressources contractuelles par les fonctions ministérielles d'évaluation en 2011-2012

Raisons du recours à des ressources contractuelles en 2011-2012 Pourcentage des grands ministères et organismesVoir la note * du tableau 5

Notes du tableau 5

Note 1 du tableau 5

Parmi les ministères ayant eu recours à des ressources contractuelles en 2011-2012

Retour à la référence de la note * du tableau 5

Contraintes de capacité préétablies 68
Expertise technique spécialisée 50
Collecte de données rentable 41
Pratique habituelle de l'unité d'évaluation 21
Contraintes de capacité imprévues 18
Assurance de la qualité 12
Autres 15

Annexe B : Critères appliqués par le Secrétariat aux fins de la détermination de la portée, de la gouvernance et du soutien, de la qualité et de l'utilisation de l'évaluation

Portée

Pour évaluer la portée de l'évaluation par les ministères en 2011-2012, le Secrétariat s'est fondé sur les critères suivants :

  • plan ministériel d'évaluation;
  • portée de l'évaluation des dépenses de programmes directes;
  • portée de l'évaluation des subventions et des contributions;
  • détermination des besoins d'évaluation.

Gouvernance et soutien

Pour évaluer la gouvernance et le soutien des fonctions d'évaluation des ministères en 2011-2012, le Secrétariat a examiné les critères suivants :

  • indépendance;
  • contrôle des ressources;
  • suffisance des ressources;
  • comité ministériel d'évaluation;
  • mesures du rendement qui soutiennent efficacement l'évaluation;
  • suivi de l'élaboration et de la mise en œuvre de stratégies de mesure du rendement.

Qualité

Aux fins de l'évaluation de la qualité des rapports d'évaluation soumis par les ministères en 2011-2012, le Secrétariat s'est fondé sur les critères suivants :

  • examen de l'optimalisation des ressources relativement à la pertinence, à l'efficacité, à l'efficience et à la rentabilité des programmes;
  • qualité de la méthodologie d'évaluation;
  • déclaration des limitations qui touchent la conduite des évaluations et incidence de ces limitations sur les résultats d'évaluation;
  • qualité et justification des constatations et des conclusions de l'évaluation;
  • qualité des recommandations;
  • qualité de la réponse et du plan d'action de la direction.

Utilisation

Pour déterminer dans quelle mesure les ministères ont bien utilisé les résultats d'évaluation en 2011-2012, le Secrétariat s'est fondé sur les critères suivants :

  • mesure dans laquelle les résultats des évaluations pertinentes ont été pris en considération dans les présentations au Conseil du Trésor, dans les mémoires au Cabinet, ainsi que dans le rapport sur les plans et les priorités et le rapport ministériel sur le rendement de l'organisation;
  • mesure dans laquelle les résultats pertinents des évaluations peuvent être pris en considération dans le cadre des examens des dépenses de l'organisation;
  • utilisation des résultats d'évaluation pour éclairer d'autres décisions ministérielles;
  • suivi systématique des plans d'action de la direction issus de l'évaluation et les rapports périodiques sur la mise en œuvre des recommandations de l'évaluation;
  • mesure dans laquelle les réponses et les plans d'action de la direction ont été mis en œuvre comme prévu;
  • mesure dans laquelle des rapports d'évaluation achevés ont été présentés au Secrétariat et affichés sur le site Web du ministère en temps opportun.

Dans le cadre de la surveillance de la fonction, le Secrétariat a appliqué les critères susmentionnés afin d'évaluer et de classer les ministères dans chacun de ces quatre domaines. Les critères et les notes accordées ont également été utilisés dans le processus d'évaluation du Cadre de responsabilisation de gestion en 2011-2012.

Annexe C : Produits d'évaluation de 2011-2012 non exigés aux termes de la Politique sur l'évaluation

Certains grands ministères et organismes ont choisi de consacrer une partie de leur effort d'évaluation en 2011-2012 à des tâches qui n'étaient pas précisées aux termes des exigences de la portée de la Politique, mais qui étaient nécessaires à leurs propres fins. En particulier :

  • Le nombre de produits d'évaluation soumis au Secrétariat qui n'entraient pas dans son calcul de la portée de l'évaluation a diminué de 38 p. 100 entre 2010-2011 et 2011-2012, alors que la totalité des fonds consacrés à la production de ces mêmes produits d'évaluation a régressé de plus de moitié, passant de 5,5 millions de dollars à 2,4 millions de dollars.
  • Ces produits d'évaluation comprenaient des études sur les leçons retenues, des évaluations de programmes à durée limitée, des évaluations de l'« évaluabilité », des évaluations exigées par des comités parlementaires ou du Cabinet, et d'autres produits.
Figure 7 : Nombre et coûts totaux des produits d'évaluation non inclus dans le calcul de la portée de l'évaluation entre 2009-2010 et 2011-2012
Ce diagramme combine un graphique en bâtons et une courbe. Version textuelle ci-dessous :
Figure 7 - Version textuelle

Ce diagramme, qui combine un graphique en bâtons et une courbe, montre que le nombre de produits d'évaluation présentés au Secrétariat, mais non compris de ses calculs de la couverture des évaluations, a progressé de 24 produits en 2009–2010 à 32 produits en 2010–2011, pour revenir ensuite à 20 produits en 2011–2012. De plus, les coûts globaux d'évaluation rattachés à ces produits ont aussi connu une hausse de 2,5 millions de dollars en 2009–2010 à 5,5 millions de dollars en 2010–2011, suivie d'un repli à 2,4 millions de dollars en 2011–2012.

Le tableau suivant résume les différents types de produits d'évaluation que les grands ministères et organismes ont déclarés en 2011-2012 et qui n'étaient pas exigés par la Politique sur l'évaluation :

Produits d'évaluation de 2011-2012 des grands ministères et organismes qui n'étaient pas exigés par la Politique sur l'évaluation
Type de produit d'évaluation Nombre de produits
Études des leçons retenues 5
Évaluations de programmes à durée limitée 4
Évaluations de l'« évaluabilité » 2
Évaluations exigées par des comités parlementaires ou du Cabinet 2
Autres 7

Annexe D : Soutien à la mise en œuvre de la Politique par le Centre d'excellence en évaluation du Secrétariat

Les principaux documents d'orientation mis au point par le Centre d'excellence en évaluation du Secrétariat et rendus publics depuis sont les suivants :

  • Guide pour l'élaboration d'un plan ministériel d'évaluation
  • Pour soutenir des évaluations efficaces : Guide d'élaboration de stratégies de mesure du rendement
  • Orientation concernant le Comité d'évaluation ministériel : Facteurs à prendre en considération au moment du choix des membres du Comité
  • Orientations générales sur la gouvernance et la gestion des évaluations des initiatives horizontales
  • Compétences en leadership des chefs de l'évaluation fédéraux
  • Approches d'évaluation axées sur la théorie : Concepts et pratiques
  • Examiner l'utilisation des ressources des programmes dans le cadre de l'évaluation des programmes fédéraux

Ces documents d'orientation ont été bien accueillis par les ministères, mais la collectivité fédérale de l'évaluation a demandé des orientations supplémentaires. Les documents d'orientation en cours d'élaboration par le Secrétariat sont les suivants :

  • Guide pour une évaluation neutre des fonctions d'évaluation ministérielles (diffusion prévue en 2013-2014)
  • Guide d'évaluation des petits organismes (diffusion prévue en 2013-2014)
  • Guide d'évaluation des programmes stratégiques (diffusion prévue en 2013-2014)
  • Guide sur les évaluations calibrées (date de diffusion à déterminer)

En plus des documents d'orientation publiés, le Centre d'excellence en évaluation du Secrétariat a organisé une série d'ateliers de renforcement des capacités (y compris des webdiffusions) et exercé de fréquentes activités de sensibilisation (p. ex., allocutions dans le cadre de colloques, conférences, ateliers de formation organisés par d'autres organisations et maintien d'une communauté de pratique en ligne pour les chefs de l'évaluation). Entre 2009-2010 et 2012-2013, le Centre d'excellence en évaluation a fait 78 présentations à divers publics, rejoignant un nombre estimatif de 2 348 participants.

Signaler un problème ou une erreur sur cette page
Veuillez cocher toutes les réponses pertinentes :

Déclaration de confidentialité

Merci de votre aide!

Vous ne recevrez pas de réponse. Pour toute question, contactez-nous.

Date de modification :