Pour soutenir des évaluations efficaces : Guide d'élaboration de stratégies de mesure du rendement

Ce guide a été conçu pour aider les ministères, en particulier les gestionnaires de programme et les chefs de l'évaluation, dans des activités de mise en œuvre de stratégies de mesure du rendement qui appuient de manière efficace l'évaluation, tel que prescrit par la Politique sur l'évaluation et la Directive sur la fonction d'évaluation connexe. Ce guide décrit les éléments clés des stratégies de mesure du rendement, suggère un processus à suivre pour élaborer des stratégies de mesure du rendement claires et concises et donne des exemples d'outils et de cadres de travail pouvant s'avérer utiles à cette fin. Il explique le rôle des gestionnaires de programme et des chefs de l'évaluation dans l'élaboration des stratégies de mesure du rendement. En outre, ce guide établit les points clés à considérer lorsqu'il s'agit d'élaborer les stratégies de mesure du rendement, et il fournit des liens vers la Politique sur la structure de la gestion, des ressources et des résultats et la Politique sur les paiements de transfert.

Table des matières

1. Introduction
2. La stratégie de mesure du rendement : Aperçu
   • 2.1 Objet d'une stratégie de mesure du rendement
   • 2.2 Les programmes pour lesquels une stratégie de mesure du rendement est requise
   • 2.3 Rôles et responsabilités
   • 2.4 Quand élaborer une stratégie de mesure du rendement
   • 2.5 Définition d'un « programme » dans le contexte de la stratégie de mesure du rendement
3. Composantes de la stratégie de mesure du rendement
   • 3.1 Principales composantes d'une stratégie de mesure du rendement
   • 3.2 Détermination de la portée et de la complexité
4. Profil du programme
   • 4.1 Aperçu du profil du programme
   • 4.2 Contenu du profil du programme
   • 4.3 Points à prendre en considération au moment de l'élaboration d'un profil de programme
5. Le modèle logique
   • 5.1 Aperçu du modèle logique
   • 5.2 Contenu du modèle logique
   • 5.3 Exposé narratif du modèle logique (notamment les théories du changement)
   • 5.4 Points à prendre en considération au moment de l'élaboration d'un modèle logique
6. Cadre de stratégie de mesure du rendement
   • 6.1 Aperçu du cadre de stratégie de mesure du rendement
   • 6.2 Contenu du cadre de stratégie de mesure du rendement du programme
   • 6.3 Les cadres de mesure du rendement et le cadre de stratégie de MR
   • 6.4 Obligations redditionnelles et production de rapports
   • 6.5 Points à prendre en considération au moment d'élaborer le cadre de stratégie de mesure du rendement
7. Stratégie d'évaluation
   • 7.1 Aperçu de la stratégie d'évaluation
   • 7.2 Contenu de la stratégie d'évaluation
   • 7.3 Cadres d'évaluation
8. Conclusion

• Annexe 1 : Exemple de modèle logique
• Annexe 2 : Modèle d'examen et outil d'auto-évaluation
• Annexe 3 : Glossaire
• Annexe 4 : Bibliographie

1.0 Introduction

Le présent Guide a pour objet d'aider les gestionnaires de programmes et les chefs de l'évaluation à satisfaire aux exigences se rapportant aux stratégies de mesure du rendement (MR) qui sont stipulées dans la Politique sur l'évaluation (2009), la Directive sur la fonction d'évaluation (2009) et les Normes d'évaluation pour le gouvernement du Canada (2009). Le présent Guide est également conçu pour appuyer les pratiques de gestion axée sur les résultats au sein des ministères et des organismes¹ en favorisant une approche simplifiée et uniforme de la surveillance et de l'évaluation du rendement.

Le présent Guide se conforme et complète la Politique sur les paiements de transfert (2008), la Directive sur les paiements de transfert (2008) et le Guidance on Guide d'élaboration d'une stratégie de mesure du rendement du Bureau du contrôleur général du Canada aux termes de la Politique sur les paiements de transfert. ² Alors que ces instruments de politique et que le Guide du Bureau du contrôleur général du Canada établissent les attentes générales à l'égard d'une stratégie de MR, le présent Guide fournit un processus plus en détail, étape par étape, pour son élaboration. Le présent Guide permet également de s'assurer que toute stratégie de MR soit conforme à la Politique sur la structure de la gestion, des ressources et des résultats (2008) .³

Au moment d'élaborer ce Guide, le Centre d'excellence en évaluation (CEE) a examiné les leçons tirées de près d'une décennie de collaboration avec les ministères pour l'élaboration, l'examen et la mise en œuvre des cadres de gestion et de responsabilisation axés sur les résultats (CGRR) requis en vertu de l'ancienne Politique sur les paiements de transfert. Le présent Guide s'inspire aussi du rapport du Groupe d'experts indépendants sur les programmes de subventions et de contributions intitulé « Des lourdeurs administratives à des résultats clairs »(2006).

2.0 La stratégie de mesure du rendement : Aperçu

2.1 Objet d'une stratégie de mesure du rendement

La stratégie de mesure du rendement (MR) est un outil de gestion reposant sur les résultats qui est utilisé pour orienter le choix, l'élaboration et l'utilisation systématique de mesures du rendement. Son objet est d'aider les gestionnaires de programmes et les administrateurs généraux:

• à surveiller et à évaluer systématiquement les résultats du programme ainsi que l'économie et l'efficacité des modes de gestion du programme;
• à prendre des décisions éclairées et à adopter des mesures appropriées et en temps opportun en ce qui a trait au programme;
• à produire des rapports ministériels utiles et pertinents sur le programme;
• à veiller à ce qu'une information crédible et fiable soit recueillie pour appuyer efficacement une évaluation.

Il est important de se souvenir que la surveillance et l'évaluation du rendement jouent des rôles complémentaires qui se renforcent mutuellement. Le gouvernement du Canada définit l'évaluation comme « la collecte et l'analyse systématiques de données probantes sur les résultats des programmes afin d'en évaluer la pertinence et le rendement et de trouver d'autres modes de prestation ou d'autres façons d'obtenir les mêmes résultats » (section 3.1 de la Politique sur l'évaluation). La mise en œuvre d'une fonction efficace de mesure du rendement, en plus de soutenir la surveillance d'un programme en cours, peut également soutenir et faciliter l'évaluation. Cette dernière peut contribuer à déterminer si les résultats sont attribuables (en entier ou en partie) à l'intervention de programme et à expliquer en détail les raisons pour lesquelles le programme a atteint (ou n'a pas atteint) les résultats escomptés.

2.2 Les programmes pour lesquels une stratégie de mesure du rendement est requise

2.3 Rôles et responsabilités

2.4 Quand élaborer une stratégie de mesure du rendement

S'agissant de nouveaux programmes, il convient d'élaborer une stratégie de MR à l'étape dela conception du programme, au moment où se prennent les principales décisions relatives au modèle de programmation, aux approches en matière d'exécution, aux obligations (des tiers) en matière de rapports et aux évaluations⁶. S'agissant de programmes existants pour lesquels il n'existe pas de stratégie de MR, il convient d'élaborer rapidement une telle stratégie pour veiller à ce que des données sur le rendement soient disponibles pour les activités de surveillance et d'évaluation des programmes.

L'élaboration de la stratégie de MR est seulement la première étape du processus de mesure du rendement. Tout au long de la mise en œuvre, il convient de réexaminer périodiquement la stratégie de MR et de la modifier (au besoin) pour en préserver la pertinence à l'appui d'activités efficaces de surveillance et d'évaluation du programme.

2.5 Définition d'un "programme" dans le contexte de la stratégie de mesure du rendement

Selon la Politique sur l'évaluation et de la Politique sur les paiements de transfert et en conformité à la Politique sur la structure de la gestion, des ressources et des résultats, un programme se définit comme un « groupe d'activités connexes conçues et gérées de manière à répondre à un besoin particulier du public, qui est souvent considéré comme un élément du budget ». Il peut s'agir, par exemple, d'un programme établi grâce au financement fourni par l'entremise d'une présentation au Conseil du Trésor, un programme de paiements de transfert ou d'autres regroupements d'activités de programmation.

Ainsi, il est aussi important de se rappeler qu'aux fins d'évaluation, il est possible que les « unités » évaluées ne correspondent pas à un seul « programme » comme le représente l'AAP. Les unités d'évaluation peuvent être :

• un seul programme de l'AAP
• un groupement de plusieurs programmes de l'AAP
• un sous-élément ⁷ d'un seul programme de l'AAP
• un groupement de sous-éléments de plusieurs programmes de l'AAP
• une fonction, une politique ou un thème général intégré à plusieurs programmes de l'AAP
• d'autres configurations

Selon l'unité d'évaluation, il est possible de réaliser des économies en élaborant des mesures et des systèmes de mesure du rendement communs entre les unités de programmation. Par conséquent, il est important de consulter le chef de l'évaluation et le plan d'évaluation ministériel lors de l'élaboration de votre stratégie de MR à l'appui de l'évaluation.

3.0 Composantes de la stratégie de mesure du rendement

3.1 Principales composantes d'une stratégie de mesure du rendement

La Politique sur l'évaluation (annexe A) définit la stratégie de MR en ces termes: « sélection, élaboration et utilisation continue des mesures de rendement pour guider la gestion des programmes ou la prise des décisions ». Afin d'orienter le processus de la stratégie de MR et de l'harmoniser avec les évaluations qui suivront, il est recommandé d'intégrer une stratégie de MR à un document comprenant les éléments suivants:

• un profil du programme
• un modèle logique
• un cadre de stratégie de mesure du rendement
• une stratégie d'évaluation⁸

Ces composantes, qui constituent le fondement de la stratégie de MR, permettront de veiller à ce que les mesures du rendement sélectionnées ou élaborées produisent des renseignements complets et utiles aux fins de la surveillance et de l'évaluation du programme.

3.2 Détermination de la portée et de la complexité

Le profil du programme, le modèle logique, le cadre de stratégie de MR et la stratégie d'évaluation devraient être le plus succincts et concis possible. Leur longueur de même que leur niveau de détails devraient refléter la complexité du programme, les défis que pose la production de données de qualité aux fins de la surveillance et de l'évaluation et les risques rattachés au programme. Voici quelques exemples de risques dont il peut être pertinent de tenir compte dans la définition de la portée et de la complexité de la stratégie de MR:

• les risques pour la santé et la sécurité du public ou de l'environnement (y compris le niveau et l'ampleur des conséquences liées à un échec de la politique, du programme ou de l'initiative, de même que la probabilité d'occurrence du risque);
• les risques rattachés à la confiance du public ou à la mesure dans laquelle le dossier est politiquement délicat (risques réels et éventuels), y compris les risques rattachés à l'intérêt manifesté par les médias, les parlementaires ou les ministères;
• les risques liés à la taille de la population touchée ou ciblée par le programme;
• les faiblesses, problèmes ou enjeux connus du programme (qui, en principe, seront ressortis d'une évaluation antérieure);
• l'importance relative du programme;
• la complexité du programme (p. ex. les composantes et les mécanismes d'exécution);
• le temps dont on dispose pour empêcher les risques de se produire ou les atténuer;
• d'autres facteurs d'importance pour un programme en particulier.

Dans l'introduction de la stratégie de MR, expliquer comment la complexité du programme, les défis rattachés à la production de données de qualité aux fins de la surveillance et de l'évaluation et les risques liés au programme ont été pris en considération au moment d'élaborer la stratégie de MR.

4.0 Profil du programme

4.1 Aperçu du profil du programme

La section du profil du programme devrait être concise et ciblée et conçue de manière à fournir aux personnes qui la liront (p. ex. les chefs de l'évaluation, les intervenants du programme) l'information fondamentale nécessaire pour comprendre le programme. Le profil du programme a pour objet:

• d'appuyer l'élaboration du modèle logique, de la stratégie de MR et de la stratégie d'évaluation;
• de servir de document de référence pour les évaluateurs qui feront les évaluations ultérieures;
• de faciliter la communication au sujet du programme avec le personnel du programme et d'autres parties intéressées.

4.2 Contenu du profil du programme

Le profil du programme devrait comprendre les éléments illustrés au tableau 1

4.3 Points à prendre en considération au moment de l'élaboration d'un profil de programme

L'élaboration d'un profil de programme ne doit pas demander une somme de travail importante. Habituellement, la majorité de l'information requise pour élaborer le programme devrait déjà avoir été réunie au moment de la rédaction des documents initiaux de planification. Les sources d'information pour orienter le profil du programme, comprennent habituellement la présentation au Conseil du Trésor, les modalités et conditions, les plans d'activités ou le protocole d'entente.

5.0 Le modèle logique

5.1 Aperçu du modèle logique

Le modèle logique constitue la feuille de route du programme. Il décrit les résultats escomptés du programme de même que les activités qui seront entreprises dans le cadre du programme, et les extrants et les résultats attendus. Le modèle logique a pour but:

• d'aider les gestionnaires de programmes à s'assurer que la théorie sur laquelle repose le programme est solide et que les résultats sont réalistes et logiques;
• de s'assurer que le cadre de stratégie de MR et que la stratégie d'évaluation correspondent clairement à la logique du programme, pour ainsi générer des renseignements utiles pour la surveillance et l'évaluation du programme, et en bout de ligne, le processus décisionnel;
• d'aider les gestionnaires de programmes à interpréter les données recueillies aux fins de la surveillance du programme et à en établir les répercussions pour la conception du programme ou les activités sur une base systématique;
• de servir de point de référence pour les évaluateurs en prévision des évaluations ultérieures;
• de faciliter la communication au sujet du programme avec le personnel du programme et d'autres parties intéressées.

5.2 Contenu du modèle logique

Il existe bien des façons de présenter les modèles logiques (on en trouvera un exemple à l'annexe 1) et chaque ministère utilisera le format qui convient le mieux à son auditoire. Toutefois, pour être utile à une évaluation, tout modèle logique doit comporter une série d'éléments standard (que l'on désigne parfois « chaîne de résultats ») comme les intrants, les activités, les extrants et les résultats du programme (y compris les trois types de résultats-immédiats, intermédiaires et ultimes), entre lesquels il existe un lien logique (voir la figure 1 ci-dessous). Le tableau 2 ci-dessous définit les termes clés correspondant aux différentes composantes.

Figure 1 - Version textuelle

Principales composantes d'un modèle logique :

• Intrants
• Activités
• Extrants
• Résultats immédiats
• Résultats intermédiaire
• Résultats ultimes

Un critère important d'un modèle logique est qu'il doit idéalement tenir en une seule page. Le modèle logique est une représentation graphique du programme. Il devrait être suffisamment détaillé pour décrire adéquatement le programme, mais en même temps assez schématique pour saisir les détails clés en une seule page.

5.3 Exposé narratif du modèle logique (notamment les théories du changement)

Le modèle logique est un moyen graphique d'illustrer la raison d'être d'un programme. Toutefois, seul, il ne renferme pas suffisamment de détails sur la façon dont les activités de programme vont contribuer à la réalisation des résultats prévus et sur la façon dont les résultats de niveau inférieur entraîneront des résultats de niveau supérieur. C'est pourquoi le modèle logique devrait s'accompagner d'un bref exposé narratif expliquant la façon dont certaines activités ou mesures se traduiront par les résultats prévus. Dans ce contexte, on parle aussi de « théorie du changement » ou de « théorie du programme ». Un bon exposé narratif décrit les maillages entre les activités, les extrants et les résultats en décrivant les hypothèses sur lesquelles repose le programme, les risques et les facteurs externes qui se répercuteront sur la réalisation des résultats

5.4 Points à prendre en considération au moment de l'élaboration d'un modèle logique

On peut retenir diverses approches au moment d'élaborer le modèle logique. Un processus participatif⁹ est recommandé car il contribuera à améliorer la précision du modèle logique et donnera aux intervenants des définitions communes de ce que le programme est censé accomplir et de la façon dont il est censé l'accomplir. Il est important de se souvenir qu'un modèle logique n'est pas statique. C'est un outil itératif - à mesure que le programme change, il convient de réviser le modèle logique pour refléter ces changements, et ces révisions devraient s'appuyer sur de la documentation.

Voici certaines questions clés à poser une fois établi le modèle logique d'un programme:

• Est-ce que toutes les activités, tous les extrants et tous les résultats sont inclus?
• Est-ce que chaque résultat énonce un changement escompté?
• Est-il raisonnable de s'attendre à ce que les activités du programme donnent lieu aux résultats souhaités?
• Les liens de causalité sont-ils plausibles et justifiés par la théorie du programme?
• Les éléments sont-ils tous clairement énoncés?
• Les résultats sont-ils mesurables?
• Les activités et les résultats visent-ils un besoin démontré?
• Le résultat final se situe-t-il à un niveau inférieur aux résultats attendus de l'AAP?

6.0 Cadre de stratégie de mesure du rendement

6.1 Aperçu du cadre de stratégie de mesure du rendement

Le cadre de stratégie de MR définit les indicateurs nécessaires aux fins de la surveillance et de l'évaluation d'un programme. Son objet est d'aider les gestionnaires de programmes:

• à surveiller et à évaluer systématiquement les résultats du programme, de même que l'efficacité de la gestion du programme;
• à prendre des décisions éclairées et à adopter des mesures appropriées en temps voulu par rapport au programme;
• à fournir des rapports ministériels utiles et pertinents sur le programme;
• à s'assurer que l'information réunie permettra bel et bien d'appuyer une évaluation.

Les gestionnaires de programmes doivent consulter les chefs de l'évaluation sur la sélection des indicateurs afin de s'assurer que les indicateurs choisis permettront effectivement d'évaluer le programme. On trouve à la section 2.3 du présent guide davantage d'information sur les rôles et les responsabilités des gestionnaires de programmes et des chefs de l'évaluation.

6.2 Contenu du cadre de stratégie de mesure du rendement du programme

Le table 3 résume les principaux éléments du cadre de stratégie de MR. Le cadre devrait comprendre les éléments de l'AAP qui sont directement liés au programme, notamment l'activité de programme, la sous-activité ou la sous-sous-activité ainsi que le titre du programme (comme il apparaît dans la case correspondante de l'AAP). Le tableau devrait également indiquer les extrants, les résultats immédiats et les résultats intermédiaires du programme (comme ils sont définis dans le modèle logique) de même qu'un ou plusieurs indicateurs pour chaque extrant et chaque résultat. Pour chaque indicateur, fournir:

• les données de référence;
• les cibles;
• les échéances pour atteindre la cible;
• la ou les sources de données;
• les méthodes de collecte de données;
• la fréquence de la collecte des données;
• les responsabilités pour la collecte et l'analyse des données;
• le système de gestion des données utilisées.

6.3 Les cadres de mesure du rendement et le cadre de stratégie de MR

La Politique sur la structure de la gestion, des ressources et des résultats (SGRR) exige l'élaboration d'un cadre de mesure du rendement (CMR) ministériel établissant les résultats attendus et les mesures de rendement qui feront l'objet d'un rapport pour les programmes relevés dans l'AAP. Le CMR ministériel sert à communiquer le cadre général à l'aide duquel un ministère entend recueillir et surveiller les renseignements sur le rendement qui sont associés aux résultats attendus du ministère et de ses programmes. Les indicateurs du CMR ministériel sont limités en nombre et ont pour objet de soutenir la surveillance et la production de rapports au sein du ministère.

Le cadre de stratégie de MR sert à déterminer l'information sur le rendement qui servira à assurer de façon systématique la surveillance et l'évaluation du programme et à planifier la collecte de cette information. Il a pour objectif de soutenir plus efficacementla surveillance et l'exécution d'un programme au quotidien, ainsi que l'évaluation finale de ce programme. Par conséquent, le cadre de stratégie de MR peut être assorti de résultats attendus, d'extrants et d'indicateurs de rendement connexes au-delà des limites fixées pour les résultats attendus et les indicateurs de rendement du CMR de la SGRR (voir la figure 2 ci-dessous). Contrairement au CMR de la SGRR, il n'y a pas de limites imposées au nombre d'indicateurs qui peuvent être inclus dans un cadre de stratégie de MR; toutefois, la stratégie de MR est plus susceptible d'être mise en oeuvre si le nombre d'indicateurs est raisonnable.

Comme l'indique la figure 2, les indicateurs définis dans le cadre de stratégie de MR ont pour objet de soutenir systématiquement les activités de surveillance et d'évaluation du programme. Par conséquent, ils s'harmonisent aux indicateurs figurant dans le CMR ministériel de la SGRR du ministère, en plus de venir les compléter. Dans les cas où le programme figure comme un programme distinct dans l'AAP et que des indicateurs ont été définis dans le CMR, le cadre de stratégie de MR devrait inclure au moins les indicateurs du CMR ministériel. Lorsqu'une stratégie de MR est élaborée pour un nouveau programme qui ne figure pas dans l'AAP du ministère, il conviendrait d'envisager d'inclure dans la SGRR du ministère les résultats, les extrants et les indicateurs connexes élaborés pour le cadre de stratégie de MR.¹⁰

6.4 Obligations redditionnelles et production de rapports

Le cadre de stratégie de MR devrait être accompagné d'un court texte qui décrit:

• les exigences en matière de rapports et la façon dont elles seront respectées, y compris qui analysera les données et rédigera les rapports, à qui les rapports seront destinés, à quelle(s) date(s) ils seront présentés, les renseignements qu'ils comprendront, leur objet et la façon dont ils seront utilisés pour améliorer le rendement;
• si cela est pertinent, les défis que pourraient représenter les activités de collecte des données et de production de rapports, de même que les stratégies pour relever ces défis (p. ex. il est possible qu'il n'y ait pas de système pouvant être utilisé pour la gestion des données).

6.5 Points à prendre en considération au moment d'élaborer le cadre de stratégie de mesure du rendement

Le tableau ci-dessous montre comment le cadre de stratégie de MR peut être élaboré.¹¹

7.0 Stratégie d'évaluation

7.1 Aperçu de la stratégie d'évaluation

Le gouvernement du Canada définit l'évaluation comme « la collecte et l'analyse systématiques de données probantes sur les résultats des programmes afin d'en évaluer la pertinence et le rendement et de trouver d'autres modes de prestation ou d'autres façons d'obtenir les mêmes résultats » (section 3.1 de la Politique sur l'évaluation). Les évaluations peuvent être effectuées de diverses façons à différentes fins et par conséquent, elles peuvent être conçues de manière à examiner une diversité d'enjeux.

La stratégie d'évaluation est un aperçu précis de haut niveau des plans d'évaluation d'un programme. Il est important d'intégrer une stratégie d'évaluation à la stratégie de MR pour permettre aux gestionnaires de programmes et aux chefs de l'évaluation:

• de s'assurer que les données générées par le cadre de stratégie de MR sont suffisantes pour appuyer l'évaluation et disponibles rapidement. Ce processus permet de relever des données supplémentaires qui devront peut-être être recueillies afin d'appuyer l'évaluation;
• de déterminer la raison d'être et la nécessité d'entreprendre une évaluation bien avant les délais prescrits à cet égard par la loi ou par des politiques (p. ex. la LGFP,la Politique sur l'évaluation, etc.). Cela est fait en partie pour contribuer à l'élaboration du plan d'évaluation ministériel que les administrateurs généraux doivent appuyer annuellement tout comme la Politique sur l'évaluation (section 6.1.7).¹⁵
• de participer à la planification préliminaire des évaluations et d'élaborer des méthodes et des conceptions d'évaluation rigoureuses et économiques (qui ne seront peut-être pas disponibles si la planification de l'évaluation est effectuée plus tard dans le cycle de programmation).

La consultation entre les gestionnaires de programmes et les chefs de l'évaluation concernant la stratégie d'évaluation a permis d'appuyer les chefs de l'évaluation dans l'élaboration d'un rapport annuel sur l'état de la mesure du rendement des programmes à l'appui de l'évaluation, lequel est présenté au Comité d'évaluation ministériel (Directive sur la fonction d'évaluation, section 6.1.4).

7.2 Contenu de la stratégie d'évaluation

Il est recommandé que la stratégie d'évaluation comprenne des renseignements sur:

• les moteurs et raisons d'être de l'évaluation (p. ex. besoins en matière d'information des administrateurs généraux, renouvellement des programmes, soutien à la gestion des dépenses, exigences en vertu de la LGFP) ou les engagements décrits dans les présentations au Conseil du Trésor, les engagements stratégiques (p. ex. la Politique sur l'évaluation, la Directive du Cabinet sur la rationalisation de la réglementation, etc.);
• les ressources engagées à l'appui de l'évaluation, notamment les ressources qui sont décrites dans les présentations au Conseil du Trésor et d'autres ressources engagées;
• un cadre d'évaluation initial ou les responsabilités et le calendrier pour l'élaboration du cadre d'évaluation (de même que les motifs justifiant que le cadre d'évaluation ne figure pas dans la stratégie de MR);
• Autres détails reliés à l'évaluation.

Il est important de souligner que le gestionnaire de programmes doit élaborer et mettre en oeuvre la stratégie de MR et consulter le chef de l'évaluation à cet égard (Directive sur la fonction d'évaluation, section 6.2.3). Toutefois, le cadre d'évaluation est en fin de compte un outil qui relève du chef de l'évaluation. Par conséquent, bien qu'on encourage fortement les ministères à élaborer un cadre d'évaluation initial (même à l'échelle rudimentaire) dès le début du programme, il peut arriver que le chef de l'évaluation décide (en collaboration avec le gestionnaire de projet), en fonction des risques et d'autres caractéristiques du programme, d'élaborer un cadre d'évaluation initial qui ne peut être appliqué au moment de la création de la stratégie de MR. Par exemple, le chef de l'évaluation peut décider que dans un programme à faibles risques, les données que propose de recueillir le gestionnaire de programmes pour mettre en oeuvre la stratégie de MR sont suffisantes pour appuyer une évaluation qui porte sur les cinq questions fondamentales à prendre en compte dans l'évaluation (voir tableau 5). Dans ce cas, il n'est pas nécessaire d'intégrer un cadre d'évaluation initial à la stratégie d'évaluation. Toutefois, les raisons qui motivent la décision du chef de l'évaluation de renoncer à l'élaboration hâtive d'un cadre d'évaluation provisoire au début du programme doivent être documentées dans la stratégie d'évaluation. En outre, la stratégie d'évaluation doit définir clairement un plan visant à élaborer le plus rapidement possible un cadre d'évaluation initial.

7.3 Cadres d'évaluation

Il est important d'intégrer le cadre d'évaluation provisoire à la stratégie d'évaluation. Ce cadre décrit les questions d'évaluation proposées ainsi que le type de données requises pour répondre à ces questions (tableau 4). L'élaboration du cadre d'évaluation revient finalement au chef de l'évaluation, et le cadre constitue un outil préparatoire important dans le processus d'évaluation. Il permet au chef de l'évaluation d'envisager à l'avance une méthode d'évaluation, de déterminer les données nécessaires aux fins de l'évaluation et la façon dont ces besoins seront satisfaits. Certaines des données requises pour répondre aux questions du cadre d'évaluation seront recueillies à l'aide des indicateurs relevés dans le cadre de stratégie de MR (voir la section 6.0 du présent document). D'autres données requises en vertu du cadre d'évaluation peuvent nécessiter des ajustements et des ajouts aux données recueillies aux fins de la surveillance du programme. Dans certains cas, les évaluateurs devront recueillir des données supplémentaires lors du processus d'évaluation.

Un cadre d'évaluation initial doit comprendre les éléments suivants:

• les questions d'évaluation initiales couvrant les cinq questions fondamentales à prendre en compte dans l'évaluation et d'autres enjeux relevés par le gestionnaire de programmes et d'autres intervenants (p. ex. l'administrateur général);
• des indicateurs;
• des sources de données et des méthodes de collecte de données (nota : dans certains cas, la source de données peut être les données recueillies aux fins de la surveillance du programme au moment de la mise en oeuvre de la stratégie de MR);
• s'il y a lieu, des renseignements sur les données de référence qui doivent être rassemblées ainsi que le calendrier de collecte des données;
• au besoin, une description des changements mineurs qui peuvent être apportés aux protocoles et aux procédures administratives (p. ex. modèles de présentation de rapports que les tiers rempliront, tenue de dossier financiers) par le secteur de programme pour s'assurer que soient satisfaites les exigences en matière de données nécessaires aux fins de l'évaluation.

Le chef de l'évaluation doit collaborer avec le gestionnaire de programmes pour examiner et modifier (au besoin) le cadre d'évaluation (p. ex. annuellement) et pour élaborer un cadre d'évaluation définitif en tant que point de départ du processus d'évaluation.

8.0 Conclusion

Le présent Guide a pour objet d'appuyer l'élaboration des stratégies de MR et de veiller à ce que ces stratégies appuient efficacement l'évaluation. Afin de jeter de solides bases à l'établissement d'une stratégie de MR et de l'harmoniser aux évaluations futures, il est important que le document qui renferme la stratégie de MR renferme aussi un profil de programme, un modèle logique, un cadre de stratégie de MR et une stratégie d'évaluation.

Le Guide sera régulièrement mis à jour, selon les besoins. Veuillez adresser toute demande de renseignements à son sujet à l'adresse suivante:

Centre d'excellence en évaluation
Division de la gestion axée sur les résultats
Secrétariat du Conseil du Trésor
222 Nepean Street
Ottawa, Ontario
K1A 0R5

Courriel : evaluation@tbs-sct.gc.ca

Annexe 1: Exemple de modèle logique

Comme il a été mentionné à la section 5.2, il existe plusieurs façons de présenter les modèles logiques. En voici un exemple.

Figure 3 - Version textuelle

L'exemple de l'annexe 1 illustre l'une des nombreuses façons de présenter un modèle logique. Comme on l'explique en détail à la section 5.2 Contenu du modèle logique, le modèle logique constitue l'un des quatre volets de la stratégie de MR. Il devrait être suffisamment détaillé pour décrire adéquatement le programme, mais en même temps assez schématique pour saisir les détails clés en une seule page. L'annexe 1 illustre le modèle logique d'un programme de soins de santé en particulier, notamment les intrants, les activités, les extrants et les résultats du programme (y compris les trois types de résultats – immédiats, intermédiaires et ultimes).

Annexe 2: Modèle d'examen et outil d'auto-évaluation

Les gestionnaires de programmes, les spécialistes de la mesure du rendement et les spécialistes de l'évaluation peuvent se servir du modèle d'examen et de l'outil d'auto-évaluation qui suit pour élaborer et revoir la stratégie de MR.

Stratégie de mesure du rendement - Modèle d'examen

Annexe 3: Glossaire

Activité

Opération ou démarche exécutée par une organisation et destinée à produire des intrants et des extrants, p. ex. formation, recherche, construction, négociation, enquête.

Analyse comparative

Répertorier, comparer, comprendre et adapter les pratiques en cours, à l'intérieur ou à l'extérieur d'une organisation. L'analyse comparative est fondée principalement sur des mesures communes et la comparaison de résultats obtenus à l'interne et à l'externe. Ces renseignements aident une organisation à savoir où elle se situe en termes de rendement et à prendre des mesures pour l'améliorer en fonction d'une organisation axée sur des pratiques exemplaires.

Approche fondée sur les risques pour déterminer l'approche d'évaluation et le niveau d'effort

Méthode permettant d'évaluer le risque afin de déterminer l'approche en matière d'évaluation qui sera adoptée pour les évaluations individuelles. Au besoin, les ministères doivent déterminer les critères de risque spécifiques applicables à leur situation particulière. Les critères de risque spécifiques peuvent comprendre la taille de la population susceptible d'être touchée par une inexécution du programme, la probabilité d'inexécution, la gravité des conséquences, l'importance relative du programme et son importance pour les Canadiens. Les critères supplémentaires peuvent comprendre le caractère récent et la qualité de la dernière évaluation ou des autres études, leurs constatations, le moment où elles ont été menées et la portée du changement dans l'environnement du programme ou d'autres critères.

Architecture des activités des programmes (AAP)

Répertoire structuré de l'ensemble des programmes et des activités de programme d'une organisation. Ils y sont présentés en fonction de leurs relations logiques les uns par rapport aux autres et le résultat stratégique auquel ils contribuent. L'AAP comprend un cadre de mesure du rendement (CMR) à l'appui.

Cadre de mesure du rendement (CMR)

Exigence de la Politique sur la structure de la gestion, des ressources et des résultats (SGRR). Le CMR jette une base objective pour la collecte de données liées aux programmes d'une organisation. Un CMR comprend les résultats stratégiques d'une organisation, les résultats attendus des programmes, les indicateurs de rendement, les cibles connexes, les sources de données, la fréquence de la collecte des données et les données réelles recueillies pour chaque indicateur.

Cible

Comité de cadres supérieurs présidé par l'administrateur général ou une personne de haut niveau désignée par celui-ci. Il donne à l'administrateur général des conseils relatifs au plan d'évaluation ministériel, à l'affectation des ressources et aux rapports d'évaluation finaux, et il peut également prendre les décisions ultimes concernant toutes les autres activités d'évaluation du ministère. On trouvera à l'annexe B de la Politique sur l'évaluation une description complète des rôles et responsabilités du Comité d'évaluation ministériel.

Coût

Ressource utilisée en vue d'atteindre un objectif.

Données de référence

Point de départ auquel les changements subséquents sont comparés et les cibles sont fixées.

Économie

Utilisation minimale des ressources. L'économie est atteinte lorsque le coût des ressources utilisées est équivalent à peu près au montant minimal des ressources requises pour obtenir les résultats attendus.

Efficacité

Mesure dans laquelle un programme permet d'atteindre les résultats prévus.

Efficience

Mesure dans laquelle les ressources sont utilisées de manière à produire plus d'extrants à partir d'un niveau d'intrants donné ou le même niveau d'extrants avec moins d'intrants. Le niveau des intrants ou des extrants peut augmenter ou diminuer en quantité, en qualité ou les deux.

Évaluation

La collecte et l'analyse systématiques de données probantes sur les résultats obtenus des politiques et des programmes permettant de prendre des décisions quant à leur pertinence, à leur rendement et à d'autres modes d'exécution des programmes ou d'autres façons d'obtenir les mêmes résultats.

Évaluation des besoins

Instrument stratégique utilisé pour structurer un nouveau programme. Une évaluation des besoins comporte la collecte des données primaires permettant de cerner le besoin du programme, de même qu'une description préliminaire des mesures requises pour y répondre. On détermine également si les gouvernements fédéral ou provinciaux ou les administrations municipales, ou le secteur privé, offrent déjà des services compris dans la portée du programme proposé.

Extrant

Produits ou services directs provenant des activités d'une organisation, d'une politique, d'un programme ou d'une initiative, et habituellement contrôlés par l'organisation elle-même, par exemple, brochure, étude de recherche, station de traitement d'eau, séance de formation.

Fiabilité

Mesure dans laquelle les résultats obtenus dans le cadre d'une mesure ou d'une procédure peuvent être reproduits.

Indicateur

Moyen quantitatif ou qualitatif de mesurer un extrant ou un résultat en vue de déterminer le rendement d'un programme.

Intrant

Ressources financières et non financières utilisées par des organisations, des politiques, des programmes et des initiatives pour produire des extrants et atteindre des résultats (p. ex., fonds, ressources humaines, équipement, fournitures).

Mesure du rendement

Voir indicateur.

Modèle logique

Représentation des relations logiques ou des liens de cause à effet entre les intrants, les activités, les extrants et les résultats d'une politique, d'un programme ou d'une initiative donnés.

Objectif

L'avantage durable et général pour lequel l'effort est déployé.

Optimisation des ressources

Mesure dans laquelle un programme est pertinent et performant.

Partenaire d'exécution

Organisation du secteur public ou privé qui aide le gouvernement du Canada à exécuter le programme.

Pertinence

Mesure dans laquelle une politique ou un programme répond à un besoin tangible, approprié au contexte du gouvernement fédéral et aux besoins des Canadiens.

Plan d'évaluation ministériel

Cadre clair et concis qui établit les évaluations ministérielles à entreprendre sur une période de cinq ans, conformément à la Politique sur l'évaluation ainsi qu'à la directive et aux normes connexes.

Population cible

Le groupe de personnes qu'un programme vise à influencer et qui profiteront du programme.

Portée

Les personnes et les organisations ciblées et directement touchées par une politique, un programme ou une initiative.

Programme

Groupe d'activités connexes qui sont conçues et gérées de manière à répondre à un besoin public particulier et qui sont souvent considérées comme une unité budgétaire.

Programme de subventions et contributions/Programme de paiements de transfert

Se reporter au paragraphe 42.1 de la Loi sur la gestion des finances publiques où on peut lire que ...« programme s'entend de tout programme de versement de subventions ou de contributions à un ou plusieurs bénéficiaires sur des sommes affectées par une loi de crédits et dont la gestion vise la réalisation d'un objectif commun ».

Rendement

Mesure de l'économie, de l'efficience et de l'efficacité d'un programme ou d'une politique.

Résultat

Conséquence externe attribuable en partie aux activités d'une organisation, d'une politique, d'un programme ou d'une initiative. Les résultats ne relèvent pas du contrôle d'une organisation, d'une politique, d'un programme ou d'une initiative unique, mais ils s'inscrivent dans la sphère d'influence de l'organisation. Ils peuvent être qualifiés d'immédiat, d'intermédiaire ou d'ultime (final), d'attendu, de direct, etc. Trois types de résultats liés au modèle logique sont définis comme suit:

1. Résultat immédiat : résultat directement attribuable aux extrants d'une politique, d'un programme ou d'une initiative. En termes d'échéancier et de niveau, il s'agit d'un résultat à court terme qui se manifeste souvent par une sensibilisation accrue de la population cible.
2. Résultat intermédiaire : résultat auquel on s'attend logiquement une fois que l'on atteint un ou des résultats immédiats. En termes d'échéancier et de niveau, il s'agit d'un résultat à moyen terme qui se manifeste par un changement de comportement au sein de la population cible.
3. Résultat ultime (final) : résultat se situant au plus haut niveau parmi les résultats pouvant être raisonnablement attribués à une politique, un programme ou une initiative selon un lien de causalité, et qui est la conséquence d'un ou de plusieurs résultats intermédiaires déjà atteints. Il s'agit d'un résultat à long terme qui se manifeste par un changement dans situation d'une population cible. Des résultats ultimes attribués à des programmes, des politiques ou des initiatives individuels contribuent à l'obtention de résultats stratégiques de haut niveau dans les ministères.

Résultat attendu

Résultat pour lequel un programme, une politique ou une initiative est créé.

Résultat stratégique

Avantage durable à long terme pour la population canadienne qui découle du mandat et de la vision et des efforts d'un ministère ou d'un organisme. Il s'agit d'un résultat qu'un ministère ou un organisme entend obtenir au profit de la population canadienne, qui devrait être mesurable et s'inscrire dans la sphère d'influence du ministère ou de l'organisme.

Stratégie de mesure du rendement

Sélection, élaboration et utilisation continue des mesures du rendement pour orienter un programme ou le processus décisionnel du ministère. Dans le présent Guide, les composantes qu'il convient d'inclure dans la stratégie de mesure du rendement sont le profil de programme, le modèle logique et la stratégie d'évaluation.

Structure de la gestion, des ressources et des résultats (SGRR)

La structure de la gestion, des ressources et des résultats offre une approche pangouvernementale commune à l'égard de la collecte, de la gestion et de la publication des renseignements financiers et non financiers. La SGRR comprend les résultats stratégiques, l'architecture des activités des programmes (AAP), le cadre de mesure du rendement à l'appui et la structure de gouvernance d'une organisation.

Théorie de programme

Théorie explicite de la façon dont un programme produit le résultat observé ou prévu, y compris les hypothèses au sujet des ressources et des activités et de la façon dont celles-ci permettent de réaliser les résultats prévus.

Annexe 4 : Bibliographie

Législation

• Loi sur la gestion des finances publiques

Instruments de politique du Conseil du Trésor

• Politique sur l'évaluation
• Directive sur la fonction d'évaluation
• Normes d'évaluation pour le gouvernement du Canada
• Politique sur les paiements de transfert
• Directive sur les paiements de transfert

Documents-guides

• Guide d'évaluation des petits organismes
• Guide sur les stratégies de mesure du rendement en vertu de la Politique sur les paiements de transfert
• Guide d'établissement des coûts
• Élaboration et utilisation des cadres de gestion et de responsabilisation axés sur les résultats

Autres publications connexes

• Des lourdeurs administratives à des résultats clairs - Rapport du Groupe d'experts indépendant sur les programmes de subventions et de contributions
• Lexique de la gestion axée sur les résultats