Document d’Information 101 sur l’evaluation

Sur cette page

La présente note vise à fournir aux personnes de tout niveau et poste, pour qui l’évaluation est une nouvelle expérience, un aperçu de haut niveau des exigences clés en matière de politiques, des principales approches, outils, méthodes et activités dans le cadre d’une évaluation au sein du gouvernement du Canada.

Remarque : Le présent document sera mis à jour régulièrement au fur et à mesure de l’élaboration des approches, des outils, des méthodes et des activités liés à l’évaluation.

Définition d’une évaluation au sein du gouvernement du Canada

Une évaluation est constituée d’une collecte et d’une analyse systématiques et neutres des données probantes en vue d’évaluer le bien-fondé, le mérite ou la valeur. Les évaluations :

  • guident la prise de décisions, les améliorations, l’innovation et la reddition de comptes;
  • portent sur les programmes, les politiques et les priorités, mais, selon les besoins de l’utilisateur, elles peuvent examiner également d’autres unités, thèmes et enjeux, y compris les solutions de rechange aux interventions existantes;
  • examinent des questions liées à la pertinence, à l’efficacité et à l’efficience;
  • ont recours aux méthodes de recherches des sciences sociales.

Principales exigences en matière d’évaluation, conformément à la Politique sur les résultats

La Politique sur les résultats énonce les exigences en matière d’évaluation auprès du gouvernement du Canada. Parmi les points marquants figurent les suivants :

  • toutes les dépenses organisationnelles doivent être évaluées régulièrement; toutefois, les ministères disposent d’une marge de manœuvre à cet égard, leur permettant de planifier leurs évaluations en fonction d’un besoin, d’un risque et d’une priorité;
  • les programmes de subventions et contributions (S et C) dont la moyenne quinquennale des dépenses réelles est inférieure à cinq millions de dollars doivent faire l’objet d’une évaluation au moins une fois tous les cinq ans (conformément à l’article 42.1 de la Loi sur la gestion des finances publiques [LGFP]);
  • les programmes de S et C qui se classent au-dessous de ce seuil ne sont pas assujettis à cette exigence, mais devraient être considérés aux fins d’une évaluation « périodique » fondée sur un besoin, un risque et une priorité.
  • Les évaluations sont planifiées en tenant compte de l’utilisation, de la pertinence, de l’efficacité et de l’efficience en tant que questions primaires d’évaluation, lorsque ces dernièressont pertinentes pour les buts de l’évaluation.
  • Les évaluations de S et C dont le seuil des dépenses est supérieur à cinq millions de dollars doivent toujours comprendre une évaluation de ces questions.
  • Les grands ministères et organismes doivent consulter les organismes centraux dans le cadre de l’élaboration de leur plan d’évaluation ministériel (PEM).Voir la note en bas de page 1
  • Les ministères doivent produire des sommaires d’évaluation en plus des versions intégrales de rapports d’évaluation. De plus, les sommaires et les versions intégrales des rapports doivent être publiés sur le site Web des ministères concernés, dans un délai de 120 jours suivant l’approbation des administrateurs généraux.
  • Pour obtenir une comparaison de la façon dont ont changé les exigences en matière d’évaluation en vertu de la Politique sur les résultats par rapport à celles qui étaient en vigueur précédemment en vertu de la Politique sur l’évaluation (2009), consultez l’annexe A.

Aperçu des approches d’évaluation

Il existe plusieurs types d’évaluation. Voici les deux types les plus utilisés au sein du gouvernement du Canada :

  • Évaluation de l’exécution (aussi appelés évaluation formative) : se concentre sur la mise en œuvre, la production d’extrants et l’efficacité.
  • Évaluation des résultats (aussi appelée évaluation sommative) : se concentre, d’une part, sur la réalisation des résultats, sur l’affectation d’activités liées à une intervention et la contribution de ces activités aux résultats attendus et, d’autre part, sur la détermination de méthodes d’exécution de rechange et des améliorations connexes.

Une approche d’évaluation peut reposer sur un seul type d’évaluation ou sur plusieurs (par exemple, une évaluation peut viser à la fois l’exécution et les résultats). Afin de connaître des exemples d’autres types d’évaluation, consultez l’annexe B.

Des évaluations peuvent avoir lieu à n’importe quel stade du cycle de vie d’une intervention. Parmi ces stades, on compte les suivants :

  • Ex-ante : Il s’agit des évaluations qui ont lieu avant la mise en œuvre d’une intervention. Celles-ci visent généralement à appuyer la conception en mettant à l’essai des hypothèses et des théories relatives à une intervention, y compris la faisabilité (en ce qui a trait à la pertinence et au rendement) de plusieurs scénarios.
  • Mi-parcours : Il s’agit d’évaluations qui ont lieu au cours de la mise en œuvre d’une intervention. Celles-ci visent à fournir une rétroaction pour appuyer des ajustements rapides en cours de route.
  • Ex-post: Il s’agit d’évaluations qui ont lieu après qu’une intervention ait été mise en œuvre pendant un certain temps ou lorsqu’elle arrive à terme. Celles-ci visent à évaluer le rendement et à déterminer les leçons apprises et les améliorations.

Pour obtenir un modèle logique, consultez l’Annexe D.

Aperçu des principaux produits qui appuient les évaluations

Un cadre d’évaluation, élaboré pendant la phase de planification d’une évaluation, présente un plan d’évaluation :

  • Il décrit l’initiative qui doit être évaluée, détermine les enjeux d’intérêt particulier ou la cible et précise l’approche d’évaluation globale, y compris les questions auxquelles il faut répondre, les données à analyser et les méthodes et méthodologies auxquelles il faut avoir recours afin de produire des résultats et formuler des conclusions et des recommandations.
  • Il est recommandé que les cadres d’évaluation soient pris en considération dans l’élaboration d’un « sommaire des besoins d’évaluation » du profil de l’information sur le rendement (PIR) et une fois élaborés qu’ils soient annexés au PIR.

Le cadre d’évaluation comporte deux principales composantes, soit :

  • Un modèle logique auquel est associée une théorie du changement. Il s’agit d’outils qui expliquent les mécanismes par lesquels une intervention devrait réaliser ses résultats attendus.
  • Un modèle logique est une représentation graphique des entrants, des activités, des extrants et des résultats d’une initiative ainsi que des liens logiques entre ces différents éléments.
  • La théorie du changement présente l’aspect théorique sur lequel repose le modèle logique. Celle-ci illustre les liens entre les différents éléments dans le modèle logique en décrivant ses hypothèses, ses risques internes et externes et ses principaux mécanismes, en exposant la façon dont chaque élément mènera à la réalisation des résultats souhaités dans le cadre de l’initiative.
  • Une matrice de l’évaluation.Il s’agit d’untableau qui résume les détails de l’approche d’évaluation adoptée pour évaluer l’intervention. Une matrice comprend, entre autres ce qui suit : les questions qu’il faut aborder dans le cadre de l’évaluation; les extrants ou les résultats liés à chaque question; les indicateurs liés à chaque extrant ou résultat; la méthode de collecte des données liées à chaque indicateur; une détermination de la façon dont les données seront utilisées et analysées; tout autre renseignement utile à l’évaluation (par exemple, la validation des données, les limitations, etc.).

Pour obtenir un modèle logique, consultez l’Annexe D.

Aperçu du processus d’évaluation

Un processus d’évaluation typique s’exécute comme suit :

  • Phase de la planification : Cette phase comprend l’élaboration ou la mise au point du cadre d’évaluation. Elle comprend généralement la mobilisation des intervenants dans le programme (par exemple, les représentants de programme, les cadres supérieurs responsables) et, parfois, la mise en place d’un comité directeur ou consultatif présidé par le chef de l’évaluation ou un délégué.
  • Phase d’exécution : Cette phase comprend la collecte et analyse des données. Elle se termine souvent par la présentation des constatations préliminaires de l’évaluation à l’égard du programme évalué.
  • Phase de la production du rapport : Cette phase comprend la rédaction d’un rapport d’évaluation et d’un sommaire d’évaluation; de plus elle comprend la rédaction des recommandations formulées par les évaluateurs ainsi que la rédaction de la réponse de la direction et du plan d’action (RDPA) de la part du responsable ou d’un ou plusieurs gestionnaires concernés du programme. Les rapports d’évaluation et les sommaires connexes sont examinés par le Comité de la mesure du rendement et de l’évaluation (CMRE) et, s’il y a lieu, ce dernier les recommande à l’administrateur général aux fins d’approbation. À la suite de l’approbation, le rapport et le sommaire d’évaluation sont présentés au Secrétariat du Conseil du Trésor (SCT). 
  • Phase de diffusion : Cette phase comporte la publication sur le Web du rapport d’évaluation et du sommaire connexe, dans un délai de 120 jours suivant l’approbation de l’administrateur général.

Un sommaire des rôles et responsabilités d’une unité d’évaluation, en plus des sommaires liés au processus d’évaluation habituel, se trouve à l’Annexe E.

Annexe A Comparaison entre les exigences en matière d’évaluation aux termes de la Politique sur l’évaluation (annulée) et celles de la Politique sur les résultats
Secteur Politique sur l’évaluation (2009) Politique sur les résultats (2016)

Champs d’application

  • Toutes les dépenses directes de programme, y compris tous les programmes permanents de S et C doivent être évalués au moins une fois tous les cinq ans et il faut en tenir compte dans le PEM.
  • Toutes les dépenses organisationnelles doivent être évaluées régulièrement.
  • Tous les programmes de S et C dont la moyenne quinquennale des dépenses réelles s’établit à 5 millions de dollars et plus par an (exigence en vertu de l’article 42.1 de la Loi sur la gestion des finances publiques) doivent faire l’objet d’une évaluation.
  • Sur un cycle de cinq ans, un PEM doit couvrir ce qui suit :
    • Tous les programmes de S et C dont la moyenne quinquennale des dépenses réelles est équivalente ou supérieure à 5 millions de dollars par an sur une période de cinq ans.
    • Toutes les évaluations prévues dans les  présentations au Conseil du Trésor.
    • Toutes les évaluations et les activités à l’appui – s’il y a lieu - dirigées par l'administration centrale
    • Les évaluations établies par les ministères basées sur un besoin, un risque, une priorité, en considérant les programmes dans le Répertoire des programmes, les cadres des résultats ministériels, les priorités, les politiques des ministères ou du gouvernement et les outils connexes, entre autres.

Portée

  • Chaque évaluation doit couvrir cinq questions de base, soit :
    • la pertinence (1. Besoin continu pour le programme; 2. Harmonisation avec les priorités du gouvernement; 3. Harmonisation avec les rôles et responsabilités du gouvernement fédéral);
    • le rendement (4. Réalisation des résultats attendus; 5. Démonstration d’efficience et d’économie).
  • Les évaluations devraient tenir compte de la pertinence, de l’efficacité et de l’efficience en tant que questions d’évaluation, lorsque cela est pertinent pour les buts de l’évaluation.
    • Tous les programmes de S et C dont la moyenne quinquennale des dépenses réelles est équivalente à 5 millions de dollars par an et plus sur une période de cinq ans doivent toujours tenir compte de ces trois questions.

Type

  • Une portée contraignante limite à deux approchesl’utilisation des types d’évaluation :
    • Exécution (formative)
    • Résultat (sommative)
La marge de manœuvre en matière de portée a donné lieu à la possibilité d’utiliser un vaste éventail de types d’évaluations :
  • Exécution (formative)
  • Incidence (résultat ou sommative)
  • Économique
  • Innovation
  • Théorie du changement
  • Préalable à l’évaluationAutre

Méthode

  • Multiples éléments probants, qualitatifs et quantitatifs.
  • Multiples éléments probants, qualitatifs et quantitatifs.

Annexe B Autres types d’évaluation

  • Évaluation économique : Évalue les incidences économiques d’une initiative ou de questions telles que la rentabilité, le rapport coûts-avantages, ou le coût des services, afin de soutenir les décisions en matière d’attribution des ressources.
  • Évaluation de l’innovation : Évalue les projets pilotes et les initiatives afin de déterminer leur efficacité et leur faisabilité (par exemple, aux fins d’une mise en œuvre et/ou de reproductions intégrales).
  • Évaluation d’une théorie du changement : Met à l’essai la logique de la chaîne des résultats et des mécanismes connexes (y compris les hypothèses, les risques internes et externes et d’autres facteurs) qui appuient la pertinence soutenue d’une intervention.
  • Évaluation préalable : Appuie la planification et l’élaboration d’une intervention.
  • Évaluation du développement : Comprend l’intégration d’une évaluation dans le cadre d’une intervention ou une évaluation afin de soutenir une intervention. Les évaluateurs participent du début à la fin du cycle de vie de l’intervention, à titre de conseiller, afin de fournir une rétroaction en temps quasi réel ou continu. Cette approche à l’égard de l’évaluation peut englober toute combinaison des types d’évaluation mentionnés précédemment.
Annexe C Types d’évaluation et contextes d’application dans le cycle de vie d’une intervention

La figure suivante présente les approches en évaluation, ainsi que les enjeux (pertinence, efficacité et efficience) et les divers types d’évaluation auxquels ces enjeux se rapportent. Les approches ex-ante, de mi-exercice et ex-post sont choisies en fonction du but recherché par l’évaluation. En effet, une évaluation ex-ante va inclure les intrants, les activités et les cibles de l’intervention. Une évaluation de mi-exercice va ajouter à cela les résultats immédiats, c’est-à-dire les premiers résultats observables. Finalement, une évaluation ex-post va également étudier les changements comportementaux à travers les résultats intermédiaires et ceux à long terme.

Les évaluations de type ex-ante permettent d’analyser la pertinence des interventions, alors que les évaluations de type ex-post, et dans une certaine mesure celle de mi-exercice, permettent d’analyser l’efficacité et l’efficience des interventions.

Annexe C Types d'évaluation et contextes  d'application dans le cycle de vie d'une intervention.
Annexe D Exemple d’un modèle logique générique

Le modèle logique, comme celui qui est illustré sert, comme son nom l’indique, à illustrer la logique d’une intervention, c’est-à-dire à décrire la relation qui existe entre les ressources ou intrants (1,2,3, etc.), les activités (1,2,3, etc.), les extrants (1,2,3, etc.) et les bénéficiaires (i,ii,iii, etc.). Les résultats immédiats font référence aux premiers résultats qui sont directement attribués à l’intervention elle-même. Les résultats intermédiaires et à long terme qui réfèrent respectivement au changement comportemental et systémique sont plutôt attribuables en partie à l’intervention. La flèche qui se dirige vers le bas à la droite de l’image démontre que les interventions initiales ont une influence décroissante à chaque étape subséquente du modèle logique.

Annexe D Exemple d'un modèle logique générique.

Annexe E Sommaire des rôles et responsabilités d’une

  1. unité d’évaluation
    • Élaborer un PEM quinquennal continu et le mettre à jour chaque année au moyen de ce qui suit :
      • Un exercice annuel qui évalue les besoins en consultation avec les ministères (responsables des initiatives et sous-ministres adjoints).
      • Dans le cadre des paramètres établis par la Politique sur les résultats.
      • Des évaluations prévues en premier lieu afin de respecter les exigences en matière de législation et de politique. D’autres évaluations prévues, basées sur une évaluation des risques liés aux besoins et au contexte (par exemple, calendrier des vérifications (audits), besoins en raison de changements au programme, etc.).
    • Pour chaque évaluation, l’approche et le niveau d’effort sont basés sur un exercice de calibrage mené par la fonction d’évaluation.
    • Consultation auprès du SCT.
    • Approbation de la mise à jour du PEM annuel, par le CMRE.
    • Approbation de la mise à jour du PEM annuel, par l’administrateur général.
    • Remise au SCT de la mise à jour du PEM annuel.
    • Publication des tableaux de couverture d’évaluation quinquennaux mis à jour chaque année.
  2. Mener des évaluations :
    • Élaboration des rapports d’évaluation, des sommaires d’une page et des éléments infographiques.
    • Faire le point avec les responsables de programme et les soutenir dans l’élaboration du plan d’action sur la réponse de la gestion (PARG).
    • Remettre des rapports d’évaluation et des sommaires d’une page, au SCT.
    • Publier les rapports d’évaluation (y compris les PARG), les sommaires d’une page et les éléments infographiques sur le Web, dans un délai de 120 jours suivant l’approbation du SCT.
  3. Surveiller et faire le suivi de la mise en œuvre du PARG.
  4. Fournir des conseils sur l’évaluation et les mesures du rendement, aux responsables de programme (par exemple, sur les types d’évaluation, de méthodes, etc.).
  5. Faire le point avec les responsables de programme et les soutenir dans l’élaboration des Mémoires au Cabinet et des présentations au Conseil du Trésor en ce qui concerne les plans pour la mesure du rendement et les évaluations ainsi qu’en ce qui concerne l’exactitude et le bilan des renseignements sur les évaluations antécédentes.
  6. Faire le point avec les responsables de programme et les soutenir dans l’élaboration du cadre ministériel des résultats (CMR).
  7. Faire le point avec les responsables de programme et les conseiller en ce qui concerne la disponibilité, la qualité, la validité et la fiabilité des indicateurs de PIR, y compris sur leurs utilités aux fins d’évaluation.
  8. Travailler avec les responsables de programme afin d’élaborer la section « Sommaire des besoins d’évaluation » du PIR.
  9. Conseiller le CMRE sur la validité et la fiabilité des indicateurs du CMR, y compris sur leur utilité aux fins de soutien aux évaluations.
  10. Établir des rapports à l’intention du CMRE au moins une fois par an, sur la mise en œuvre des PARG, les incidences des évaluations (les leçons apprises, les mesures correctives prises, l’incidence sur les décisions en matière d’attribution des ressources, etc.), l’état d’avancement du PEM (exécution d’évaluations conformément au plan; ponctualité dans les transmissions au SCT; ponctualité dans la diffusion au public), la disponibilité, la qualité, l’utilité, l’utilisation des mesures du rendement afin d’appuyer les évaluations.
  11. Mener une évaluation de la neutralité de la fonction d’évaluation au moins une fois tous les cinq ans.

Détails de la page

Date de modification :