Pour soutenir des évaluations efficaces : Guide d'élaboration de stratégies de mesure du rendement



Ce guide a été conçu pour aider les ministères, en particulier les gestionnaires de programme et les chefs de l'évaluation, dans des activités de mise en œuvre de stratégies de mesure du rendement qui appuient de manière efficace l'évaluation, tel que prescrit par la Politique sur l'évaluation et la Directive sur la fonction d'évaluation connexe. Ce guide décrit les éléments clés des stratégies de mesure du rendement, suggère un processus à suivre pour élaborer des stratégies de mesure du rendement claires et concises et donne des exemples d'outils et de cadres de travail pouvant s'avérer utiles à cette fin. Il explique le rôle des gestionnaires de programme et des chefs de l'évaluation dans l'élaboration des stratégies de mesure du rendement. En outre, ce guide établit les points clés à considérer lorsqu'il s'agit d'élaborer les stratégies de mesure du rendement, et il fournit des liens vers la Politique sur la structure de la gestion, des ressources et des résultats et la Politique sur les paiements de transfert.

Table des matières

  1. Introduction
  2. La stratégie de mesure du rendement : Aperçu
  3. Composantes de la stratégie de mesure du rendement
  4. Profil du programme
  5. Le modèle logique
  6. Cadre de stratégie de mesure du rendement
  7. Stratégie d'évaluation
  8. Conclusion


1.0 Introduction

Le présent Guide a pour objet d'aider les gestionnaires de programmes et les chefs de l'évaluation à satisfaire aux exigences se rapportant aux stratégies de mesure du rendement (MR) qui sont stipulées dans la Politique sur l'évaluation (2009), la Directive sur la fonction d'évaluation (2009) et les Normes d'évaluation pour le gouvernement du Canada (2009). Le présent Guide est également conçu pour appuyer les pratiques de gestion axée sur les résultats au sein des ministères et des organismes1 en favorisant une approche simplifiée et uniforme de la surveillance et de l'évaluation du rendement.

Le présent Guide se conforme et complète la Politique sur les paiements de transfert (2008), la Directive sur les paiements de transfert (2008) et le Guidance on Guide d'élaboration d'une stratégie de mesure du rendement du Bureau du contrôleur général du Canada aux termes de la Politique sur les paiements de transfert. 2 Alors que ces instruments de politique et que le Guide du Bureau du contrôleur général du Canada établissent les attentes générales à l'égard d'une stratégie de MR, le présent Guide fournit un processus plus en détail, étape par étape, pour son élaboration. Le présent Guide permet également de s'assurer que toute stratégie de MR soit conforme à la Politique sur la structure de la gestion, des ressources et des résultats (2008) .3

Au moment d'élaborer ce Guide, le Centre d'excellence en évaluation (CEE) a examiné les leçons tirées de près d'une décennie de collaboration avec les ministères pour l'élaboration, l'examen et la mise en œuvre des cadres de gestion et de responsabilisation axés sur les résultats (CGRR) requis en vertu de l'ancienne Politique sur les paiements de transfert. Le présent Guide s'inspire aussi du rapport du Groupe d'experts indépendants sur les programmes de subventions et de contributions intitulé « Des lourdeurs administratives à des résultats clairs »(2006).



2.0 La stratégie de mesure du rendement : Aperçu

2.1 Objet d'une stratégie de mesure du rendement

La stratégie de mesure du rendement (MR) est un outil de gestion reposant sur les résultats qui est utilisé pour orienter le choix, l'élaboration et l'utilisation systématique de mesures du rendement. Son objet est d'aider les gestionnaires de programmes et les administrateurs généraux:

  • à surveiller et à évaluer systématiquement les résultats du programme ainsi que l'économie et l'efficacité des modes de gestion du programme;
  • à prendre des décisions éclairées et à adopter des mesures appropriées et en temps opportun en ce qui a trait au programme;
  • à produire des rapports ministériels utiles et pertinents sur le programme;
  • à veiller à ce qu'une information crédible et fiable soit recueillie pour appuyer efficacement une évaluation.

Il est important de se souvenir que la surveillance et l'évaluation du rendement jouent des rôles complémentaires qui se renforcent mutuellement. Le gouvernement du Canada définit l'évaluation comme « la collecte et l'analyse systématiques de données probantes sur les résultats des programmes afin d'en évaluer la pertinence et le rendement et de trouver d'autres modes de prestation ou d'autres façons d'obtenir les mêmes résultats » (section 3.1 de la Politique sur l'évaluation). La mise en œuvre d'une fonction efficace de mesure du rendement, en plus de soutenir la surveillance d'un programme en cours, peut également soutenir et faciliter l'évaluation. Cette dernière peut contribuer à déterminer si les résultats sont attribuables (en entier ou en partie) à l'intervention de programme et à expliquer en détail les raisons pour lesquelles le programme a atteint (ou n'a pas atteint) les résultats escomptés.

2.2 Les programmes pour lesquels une stratégie de mesure du rendement est requise


Tous les programmes, y compris les programmes de paiements de transfert, doivent comporter une stratégie de MR.
En vertu de la Politique sur l'évaluation, il incombe aux administrateurs généraux de veiller « à ce que des mesures permanentes du rendement soient en place à l'échelle du ministère afin de recueillir suffisamment d'information pour appuyer efficacement l'évaluation des programmes » ( Politique sur l'évaluation, section 6.1.10). La Directive sur la fonction d'évaluation exige que tous les programmes, y compris les programmes de paiements de transfert, soient assortis d'une stratégie de MR ( Directive sur la fonction d'évaluation, section 6.2.1). 4

2.3 Rôles et responsabilités


Il incombe aux gestionnaires de programmes d'élaborer, de mettre en œuvre et de mettre à jour la stratégie de MR.

Il incombe aux chefs de l'évaluation d'examiner toutes les stratégies de mesure du rendement et de formuler des conseils à cet égard.

Les chefs de l'évaluation devront également préparer un rapport annuel à l'intention du Comité d'évaluation ministérielle au sujet de l'état de la mesure du rendement des programmesà l'appui de l'évaluation.

La Directive sur la fonction d'évaluation attribue aux gestionnaires de programmes la responsabilité d'élaborer des stratégies de MR pour leurs programmes (section 6.2.1)5 et de consulter le chef de l'évaluation au sujet des stratégies de MR (section 6.2.3). Les gestionnaires de programmes sont aussi responsables de la mise en œuvre et de la mise à jour des stratégies de MR pour veiller à ce qu'elles demeurent pertinentes par rapport aux programmes et pour s'assurer que des données crédibles et fiables sur le rendement sont recueillies pour appuyer efficacement l'évaluation (section 6.2.1 de la Directive sur la fonction d'évaluation).

Il incombe aux chefs de l'évaluation « d'examiner les stratégies de mesure du rendement pour toutes les dépenses de programmes directes nouvelles et en cours, y compris tous les programmes de subventions et de contributions permanents, pour s'assurer que ces stratégies appuient efficacement l'évaluation de la pertinence et du rendement, et fournir des conseils à ce sujet » et de « présenter au Comité d'évaluation ministériel un rapport annuel sur l'état de la mesure du rendement des programmes à l'appui de l'évaluation »(section 6.1.4 de la Directive sur la fonction d'évaluation).

2.4 Quand élaborer une stratégie de mesure du rendement

S'agissant de nouveaux programmes, il convient d'élaborer une stratégie de MR à l'étape dela conception du programme, au moment où se prennent les principales décisions relatives au modèle de programmation, aux approches en matière d'exécution, aux obligations (des tiers) en matière de rapports et aux évaluations6. S'agissant de programmes existants pour lesquels il n'existe pas de stratégie de MR, il convient d'élaborer rapidement une telle stratégie pour veiller à ce que des données sur le rendement soient disponibles pour les activités de surveillance et d'évaluation des programmes.

L'élaboration de la stratégie de MR est seulement la première étape du processus de mesure du rendement. Tout au long de la mise en œuvre, il convient de réexaminer périodiquement la stratégie de MR et de la modifier (au besoin) pour en préserver la pertinence à l'appui d'activités efficaces de surveillance et d'évaluation du programme.

2.5 Définition d'un "programme" dans le contexte de la stratégie de mesure du rendement

Selon la Politique sur l'évaluation et de la Politique sur les paiements de transfert et en conformité à la Politique sur la structure de la gestion, des ressources et des résultats, un programme se définit comme un « groupe d'activités connexes conçues et gérées de manière à répondre à un besoin particulier du public, qui est souvent considéré comme un élément du budget ». Il peut s'agir, par exemple, d'un programme établi grâce au financement fourni par l'entremise d'une présentation au Conseil du Trésor, un programme de paiements de transfert ou d'autres regroupements d'activités de programmation.


L' AAP est un inventaire structuré des programmes d'un ministère. Ces programmes sont présentés suivant une hiérarchie visant à illustrer la relation logique entre chaque programme et les résultats stratégiques ministériels auxquels ils contribuent.
D'après la Politique sur la structure de la gestion, des ressources et des résultats, tous les programmes d'un ministère sont censés se refléter dans son Architecture des activités des programmes (AAP). La Politique sur l'évaluation exige l'évaluation de toutes les dépenses de programme directes d'un ministère telles qu'elles sont représentées dans l'AAP. La stratégie de MR devrait donc se baser sur la façon dont tel ou tel « programme » est défini (ou reflété) dans l'AAP.

Ainsi, il est aussi important de se rappeler qu'aux fins d'évaluation, il est possible que les « unités » évaluées ne correspondent pas à un seul « programme » comme le représente l'AAP. Les unités d'évaluation peuvent être :

  • un seul programme de l'AAP
  • un groupement de plusieurs programmes de l'AAP
  • un sous-élément 7 d'un seul programme de l'AAP
  • un groupement de sous-éléments de plusieurs programmes de l'AAP
  • une fonction, une politique ou un thème général intégré à plusieurs programmes de l'AAP
  • d'autres configurations

Selon l'unité d'évaluation, il est possible de réaliser des économies en élaborant des mesures et des systèmes de mesure du rendement communs entre les unités de programmation. Par conséquent, il est important de consulter le chef de l'évaluation et le plan d'évaluation ministériel lors de l'élaboration de votre stratégie de MR à l'appui de l'évaluation.



3.0 Composantes de la stratégie de mesure du rendement

3.1 Principales composantes d'une stratégie de mesure du rendement

La Politique sur l'évaluation (annexe A) définit la stratégie de MR en ces termes: « sélection, élaboration et utilisation continue des mesures de rendement pour guider la gestion des programmes ou la prise des décisions ». Afin d'orienter le processus de la stratégie de MR et de l'harmoniser avec les évaluations qui suivront, il est recommandé d'intégrer une stratégie de MR à un document comprenant les éléments suivants:

  • un profil du programme
  • un modèle logique
  • un cadre de stratégie de mesure du rendement
  • une stratégie d'évaluation8

Ces composantes, qui constituent le fondement de la stratégie de MR, permettront de veiller à ce que les mesures du rendement sélectionnées ou élaborées produisent des renseignements complets et utiles aux fins de la surveillance et de l'évaluation du programme.

3.2 Détermination de la portée et de la complexité

Le profil du programme, le modèle logique, le cadre de stratégie de MR et la stratégie d'évaluation devraient être le plus succincts et concis possible. Leur longueur de même que leur niveau de détails devraient refléter la complexité du programme, les défis que pose la production de données de qualité aux fins de la surveillance et de l'évaluation et les risques rattachés au programme. Voici quelques exemples de risques dont il peut être pertinent de tenir compte dans la définition de la portée et de la complexité de la stratégie de MR:

  • les risques pour la santé et la sécurité du public ou de l'environnement (y compris le niveau et l'ampleur des conséquences liées à un échec de la politique, du programme ou de l'initiative, de même que la probabilité d'occurrence du risque);
  • les risques rattachés à la confiance du public ou à la mesure dans laquelle le dossier est politiquement délicat (risques réels et éventuels), y compris les risques rattachés à l'intérêt manifesté par les médias, les parlementaires ou les ministères;
  • les risques liés à la taille de la population touchée ou ciblée par le programme;
  • les faiblesses, problèmes ou enjeux connus du programme (qui, en principe, seront ressortis d'une évaluation antérieure);
  • l'importance relative du programme;
  • la complexité du programme (p. ex. les composantes et les mécanismes d'exécution);
  • le temps dont on dispose pour empêcher les risques de se produire ou les atténuer;
  • d'autres facteurs d'importance pour un programme en particulier.

Dans l'introduction de la stratégie de MR, expliquer comment la complexité du programme, les défis rattachés à la production de données de qualité aux fins de la surveillance et de l'évaluation et les risques liés au programme ont été pris en considération au moment d'élaborer la stratégie de MR.



4.0 Profil du programme

4.1 Aperçu du profil du programme

La section du profil du programme devrait être concise et ciblée et conçue de manière à fournir aux personnes qui la liront (p. ex. les chefs de l'évaluation, les intervenants du programme) l'information fondamentale nécessaire pour comprendre le programme. Le profil du programme a pour objet:

  • d'appuyer l'élaboration du modèle logique, de la stratégie de MR et de la stratégie d'évaluation;
  • de servir de document de référence pour les évaluateurs qui feront les évaluations ultérieures;
  • de faciliter la communication au sujet du programme avec le personnel du programme et d'autres parties intéressées.

4.2 Contenu du profil du programme

Le profil du programme devrait comprendre les éléments illustrés au tableau 1

Tableau 1: Éléments du profil de programme
Éléments Exigences
1.1  Besoin du programme
  • Expliquer la raison d'être passée et actuelle du programme, avec des éléments de preuve comme des études démographiques, des recherches ou des évaluations des besoins.
1.2  Conformité aux priorités du gouvernement
  • Démontrer les objectifs du programme avec des maillages explicites aux priorités du gouvernement fédéral et aux résultats stratégiques connexes du ministère.
1.3  Population(s) cible(s)
  • Indiquer la ou les populations cibles (les groupes que le programme compte influencer et qui sont censés profiter du programme) et leurs caractéristiques qui sont pertinentes pour l'exécution du programme (p. ex. secteur géographique, groupe d'âge, sexe).
1.4  Intervenants
  • Inclure une liste des intervenants clés (p. ex. les partenaires d'exécution, d'autres ministères) et une brève description de leur rôle et de leurs responsabilités dans le cadre du programme.
1.5  Gouvernance
  • Indiquer le rôle et les responsabilités du gouvernement fédéral au chapitre de l'exécution du programme;
  • Inclure les rôles et les responsabilités d'autres parties (p. ex. partenaires) dans l'exécution du programme;
  • Lorsqu'il y a des partenaires, décrire leurs rôles et leurs responsabilités respectifs en matière de surveillance du rendement, de production de rapports et d'évaluation.

Nota: Les responsabilités plus expressément liées à la mesure du rendement et à l'évaluation devraient être incluses dans les sections ultérieures de la stratégie de MR.

1.6  Ressources
  • Résumer (dans un tableau) les ressources de programme annuelles attribuées au ministère et à chaque partenaire d'exécution, ventilées de la façon suivante: salaires, frais de fonctionnement et entretien, transferts aux partenaires et coûts d'immobilisations.
  • Ce tableau devrait également indiquer séparément les ressources nécessaires à la mise en œuvre de la surveillance du rendement du programme et les coûts estimés de l'évaluation.

4.3 Points à prendre en considération au moment de l'élaboration d'un profil de programme

L'élaboration d'un profil de programme ne doit pas demander une somme de travail importante. Habituellement, la majorité de l'information requise pour élaborer le programme devrait déjà avoir été réunie au moment de la rédaction des documents initiaux de planification. Les sources d'information pour orienter le profil du programme, comprennent habituellement la présentation au Conseil du Trésor, les modalités et conditions, les plans d'activités ou le protocole d'entente.



5.0 Le modèle logique

5.1 Aperçu du modèle logique

Le modèle logique constitue la feuille de route du programme. Il décrit les résultats escomptés du programme de même que les activités qui seront entreprises dans le cadre du programme, et les extrants et les résultats attendus. Le modèle logique a pour but:

  • d'aider les gestionnaires de programmes à s'assurer que la théorie sur laquelle repose le programme est solide et que les résultats sont réalistes et logiques;
  • de s'assurer que le cadre de stratégie de MR et que la stratégie d'évaluation correspondent clairement à la logique du programme, pour ainsi générer des renseignements utiles pour la surveillance et l'évaluation du programme, et en bout de ligne, le processus décisionnel;
  • d'aider les gestionnaires de programmes à interpréter les données recueillies aux fins de la surveillance du programme et à en établir les répercussions pour la conception du programme ou les activités sur une base systématique;
  • de servir de point de référence pour les évaluateurs en prévision des évaluations ultérieures;
  • de faciliter la communication au sujet du programme avec le personnel du programme et d'autres parties intéressées.

5.2 Contenu du modèle logique

Il existe bien des façons de présenter les modèles logiques (on en trouvera un exemple à l'annexe 1) et chaque ministère utilisera le format qui convient le mieux à son auditoire. Toutefois, pour être utile à une évaluation, tout modèle logique doit comporter une série d'éléments standard (que l'on désigne parfois « chaîne de résultats ») comme les intrants, les activités, les extrants et les résultats du programme (y compris les trois types de résultats-immédiats, intermédiaires et ultimes), entre lesquels il existe un lien logique (voir la figure 1 ci-dessous). Le tableau 2 ci-dessous définit les termes clés correspondant aux différentes composantes.

Figure 1 : Principales composantes d'un modèle logique
Les six principales composantes d'un modèle logique. Version textuelle ci-dessous:
Figure 1 - Version textuelle

Principales composantes d'un modèle logique :

  • Intrants
  • Activités
  • Extrants
  • Résultats immédiats
  • Résultats intermédiaire
  • Résultats ultimes

Un critère important d'un modèle logique est qu'il doit idéalement tenir en une seule page. Le modèle logique est une représentation graphique du programme. Il devrait être suffisamment détaillé pour décrire adéquatement le programme, mais en même temps assez schématique pour saisir les détails clés en une seule page.

Tableau 2: Descriptions des éléments du modèle logique
Éléments Description Exemples
Intrants
  • Ressources financières et non financières utilisées pour exécuter des activités, produire des extrants et atteindre des résultats.
  • Fonds
  • Personnel
  • Équipement, fournitures
  • Locaux et installations
Activités
  • Mesure(s) interne(s) que le ministère met en œuvre pour produire un ou plusieurs extrants du programme;
  • Elles démontrent le « comment » du programme;
  • On parle aussi des activités en tant que « processus », « stratégies » ou « mesures de suivi »;

Nota : Pour les programmes de subventions et de contributions, il est recommandé de faire une distinction entre les mesures mises en oeuvre par le ministère et les mesures mises en oeuvre par le ou les récipiendaires des fonds.

  • Faire des recherches ou des analyses
  • Offrir des séances de formation
  • Consulter les intervenants et obtenir leurs opinions
  • Faire des inspections
Extrants
  • Produits ou services découlant directement des activités d'un ministère, d'une politique, d'un programme ou d'une initiative;
  • Ils relèvent généralement du contrôle du ministère;
  • Ce sont habituellement des éléments tangibles qui peuvent être comptés;
  • Ils démontrent le « quoi » du programme;
  • On parle aussi dans le même contexte de « produits livrables » ou d' « unités de service ».
  • Brochure
  • Usine d'épuration d'eau
  • Séances de formation données, nombre de personnes formées
  • Exposés de principe, rapports de recherche, études
Résultats
  • Les changements ou les différences résultant des extrants du programme;
  • Ils démontrent le « pourquoi » du programme;
  • Les résultats de haut niveau (les résultats ultimes) ne relèvent pas toujours du contrôle d'un programme unique; ils se situent plutôt dans la sphère d'influence du ministère;
  • On parle aussi dans le même contexte d' « impacts » ou de « retombées ».

Nota : Dans certains cas, les résultats indiqués pour le programme seront peut-être identiques aux « résultats attendus » dans l'Architecture des activités des programmes du ministère, auquel cas il convient d'ajouter une note en bas de page pour expliquer cette correspondance.

  • Collaboration et coordination améliorées entre les partenaires
  • Visibilité accrue de l'enjeu
  • Politiques améliorées
Résultats immédiats
  • Résultats directement attribuable aux extrants;
  • En termes d'échéancier, il s'agira de résultats à court terme.
  • Changement au niveau de la sensibilisation, des connaissances, des compétences ou de l'accès d'une population cible (p. ex. connaissance accrue de la question X)
Résultats intermédiaires
  • Résultats qui devraient logiquement suivre, une fois qu'au moins un résultat immédiat a été atteint;
  • Souvent, les résultats intermédiaires décrivent des changements de comportement générés par des améliorations dans les compétences, les connaissances, la sensibilisation ou l'accès dans la population cible;
  • Le changement peut se manifester au niveau des particuliers, du groupe, d'une organisation ou de la collectivité.
  • Changement de comportement dans la population cible
Résultats ultimes
  • Résultats se situant au plus haut niveau parmi les résultats pouvant raisonnablement être attribués à une politique, à un programme ou à une initiative selon un lien de causalité;
  • Le résultat ultime est la conséquence d'un ou de plusieurs résultats intermédiaires qui ont été atteints;
  • Un résultat ultime contribue souvent à la réalisation des résultats stratégiques de haut niveau du ministère;

Nota : Le résultat ultime ne devrait pas se situer à un niveau plus élevé que les résultats attendus de l'élément de l'AAP du ministère auquel le programme contribue.

  • Changement d'état dans la population cible, p. ex. impact social

5.3 Exposé narratif du modèle logique (notamment les théories du changement)


La théorie du changement

Chaque programme repose sur une théorie du changement - une série d'idées décrivant comment et pourquoi le programme donnera les résultats escomptés. La théorie permet de faire le lien entre les activités et les buts du programme. Elle peut se baser sur la connaissance et l'expérience du programme, une recherche ou une évaluation ou des pratiques exemplaires.

Le modèle logique est un moyen graphique d'illustrer la raison d'être d'un programme. Toutefois, seul, il ne renferme pas suffisamment de détails sur la façon dont les activités de programme vont contribuer à la réalisation des résultats prévus et sur la façon dont les résultats de niveau inférieur entraîneront des résultats de niveau supérieur. C'est pourquoi le modèle logique devrait s'accompagner d'un bref exposé narratif expliquant la façon dont certaines activités ou mesures se traduiront par les résultats prévus. Dans ce contexte, on parle aussi de « théorie du changement » ou de « théorie du programme ». Un bon exposé narratif décrit les maillages entre les activités, les extrants et les résultats en décrivant les hypothèses sur lesquelles repose le programme, les risques et les facteurs externes qui se répercuteront sur la réalisation des résultats

5.4 Points à prendre en considération au moment de l'élaboration d'un modèle logique

On peut retenir diverses approches au moment d'élaborer le modèle logique. Un processus participatif9 est recommandé car il contribuera à améliorer la précision du modèle logique et donnera aux intervenants des définitions communes de ce que le programme est censé accomplir et de la façon dont il est censé l'accomplir. Il est important de se souvenir qu'un modèle logique n'est pas statique. C'est un outil itératif - à mesure que le programme change, il convient de réviser le modèle logique pour refléter ces changements, et ces révisions devraient s'appuyer sur de la documentation.

Voici certaines questions clés à poser une fois établi le modèle logique d'un programme:

  • Est-ce que toutes les activités, tous les extrants et tous les résultats sont inclus?
  • Est-ce que chaque résultat énonce un changement escompté?
  • Est-il raisonnable de s'attendre à ce que les activités du programme donnent lieu aux résultats souhaités?
  • Les liens de causalité sont-ils plausibles et justifiés par la théorie du programme?
  • Les éléments sont-ils tous clairement énoncés?
  • Les résultats sont-ils mesurables?
  • Les activités et les résultats visent-ils un besoin démontré?
  • Le résultat final se situe-t-il à un niveau inférieur aux résultats attendus de l'AAP?


6.0 Cadre de stratégie de mesure du rendement

6.1 Aperçu du cadre de stratégie de mesure du rendement

Le cadre de stratégie de MR définit les indicateurs nécessaires aux fins de la surveillance et de l'évaluation d'un programme. Son objet est d'aider les gestionnaires de programmes:

  • à surveiller et à évaluer systématiquement les résultats du programme, de même que l'efficacité de la gestion du programme;
  • à prendre des décisions éclairées et à adopter des mesures appropriées en temps voulu par rapport au programme;
  • à fournir des rapports ministériels utiles et pertinents sur le programme;
  • à s'assurer que l'information réunie permettra bel et bien d'appuyer une évaluation.

Les gestionnaires de programmes doivent consulter les chefs de l'évaluation sur la sélection des indicateurs afin de s'assurer que les indicateurs choisis permettront effectivement d'évaluer le programme. On trouve à la section 2.3 du présent guide davantage d'information sur les rôles et les responsabilités des gestionnaires de programmes et des chefs de l'évaluation.

6.2 Contenu du cadre de stratégie de mesure du rendement du programme

Le table 3 résume les principaux éléments du cadre de stratégie de MR. Le cadre devrait comprendre les éléments de l'AAP qui sont directement liés au programme, notamment l'activité de programme, la sous-activité ou la sous-sous-activité ainsi que le titre du programme (comme il apparaît dans la case correspondante de l'AAP). Le tableau devrait également indiquer les extrants, les résultats immédiats et les résultats intermédiaires du programme (comme ils sont définis dans le modèle logique) de même qu'un ou plusieurs indicateurs pour chaque extrant et chaque résultat. Pour chaque indicateur, fournir:

  • les données de référence;
  • les cibles;
  • les échéances pour atteindre la cible;
  • la ou les sources de données;
  • les méthodes de collecte de données;
  • la fréquence de la collecte des données;
  • les responsabilités pour la collecte et l'analyse des données;
  • le système de gestion des données utilisées.
Tableau 3 : Exemple de tableau illustrant le cadre de stratégie de mesure du rendement - Éléments de l'AAP liés au programme:
Extrants et résultats du programme Indicateur Données de référence Cible Échéances pour atteindre la cible Source de données Méthodes de collecte de données Fréquence de la collecte des données Responsa-bilité pour la collecte des données Système de gestion des données

Extrant 1

Indicateur 1                

Extrant 2

D'autres extrants peuvent être insérés plus bas

Indicateur 2                
Indicateur 3                

Résultat 1

Indicateur 4                
Indicateur 5                

Résultat 2

D'autres extrants peuvent être insérés plus bas

Indicateur 6                
Indicateur 7                
Indicateur 8                

6.3 Les cadres de mesure du rendement et le cadre de stratégie de MR

La Politique sur la structure de la gestion, des ressources et des résultats (SGRR) exige l'élaboration d'un cadre de mesure du rendement (CMR) ministériel établissant les résultats attendus et les mesures de rendement qui feront l'objet d'un rapport pour les programmes relevés dans l'AAP. Le CMR ministériel sert à communiquer le cadre général à l'aide duquel un ministère entend recueillir et surveiller les renseignements sur le rendement qui sont associés aux résultats attendus du ministère et de ses programmes. Les indicateurs du CMR ministériel sont limités en nombre et ont pour objet de soutenir la surveillance et la production de rapports au sein du ministère.

Le cadre de stratégie de MR sert à déterminer l'information sur le rendement qui servira à assurer de façon systématique la surveillance et l'évaluation du programme et à planifier la collecte de cette information. Il a pour objectif de soutenir plus efficacementla surveillance et l'exécution d'un programme au quotidien, ainsi que l'évaluation finale de ce programme. Par conséquent, le cadre de stratégie de MR peut être assorti de résultats attendus, d'extrants et d'indicateurs de rendement connexes au-delà des limites fixées pour les résultats attendus et les indicateurs de rendement du CMR de la SGRR (voir la figure 2 ci-dessous). Contrairement au CMR de la SGRR, il n'y a pas de limites imposées au nombre d'indicateurs qui peuvent être inclus dans un cadre de stratégie de MR; toutefois, la stratégie de MR est plus susceptible d'être mise en oeuvre si le nombre d'indicateurs est raisonnable.

Figure 2 : Comparaison des exigences de mesure du rendement du CMF de la SGRR et du cadre de stratègie de MR
Comparaison des exigences. Détails dans le texte qui suit l'image :

Comme l'indique la figure 2, les indicateurs définis dans le cadre de stratégie de MR ont pour objet de soutenir systématiquement les activités de surveillance et d'évaluation du programme. Par conséquent, ils s'harmonisent aux indicateurs figurant dans le CMR ministériel de la SGRR du ministère, en plus de venir les compléter. Dans les cas où le programme figure comme un programme distinct dans l'AAP et que des indicateurs ont été définis dans le CMR, le cadre de stratégie de MR devrait inclure au moins les indicateurs du CMR ministériel. Lorsqu'une stratégie de MR est élaborée pour un nouveau programme qui ne figure pas dans l'AAP du ministère, il conviendrait d'envisager d'inclure dans la SGRR du ministère les résultats, les extrants et les indicateurs connexes élaborés pour le cadre de stratégie de MR.10

6.4 Obligations redditionnelles et production de rapports

Le cadre de stratégie de MR devrait être accompagné d'un court texte qui décrit:

  • les exigences en matière de rapports et la façon dont elles seront respectées, y compris qui analysera les données et rédigera les rapports, à qui les rapports seront destinés, à quelle(s) date(s) ils seront présentés, les renseignements qu'ils comprendront, leur objet et la façon dont ils seront utilisés pour améliorer le rendement;
  • si cela est pertinent, les défis que pourraient représenter les activités de collecte des données et de production de rapports, de même que les stratégies pour relever ces défis (p. ex. il est possible qu'il n'y ait pas de système pouvant être utilisé pour la gestion des données).

6.5 Points à prendre en considération au moment d'élaborer le cadre de stratégie de mesure du rendement

Le tableau ci-dessous montre comment le cadre de stratégie de MR peut être élaboré.11

Étape Description Commentaires
1.

Commencer par le CMR de la SGRR : Examiner le cadre de mesure du rendement (CMR de la SGRR) du ministère élaboré à l'appui de la Politique sur la structure de la gestion, des ressources et des résultats. S'il y a lieu, inclure les indicateurs de rendement dans le cadre de stratégie de MR.

Le cadre de stratégie de MR ne devrait pas être élaboré isolément. Conformément à la Politique sur la structure de la gestion, des ressources et des résultats, tous les programmes d'un ministère doivent contribuer aux résultats stratégiques définis dans l'AAP ministérielle. À ce titre, au moment de l'élaboration du cadre de stratégie de MR, les indicateurs de rendement devraient venir compléter ceux qui sont déjà prévus dans le CMR ministériel.

2.

Définir les indicateurs de rendement : élaborer ou sélectionner au moins un indicateur pour chaque extrant et chaque résultat (immédiat, intermédiaire et ultime) figurant dans le modèle logique du programme.

Ne pas oublier qu'en plus de servir à la surveillance du programme au quotidien, les indicateurs de rendement seront également utilisés aux fins de l'évaluation. Il est donc recommandé que les gestionnaires de programmes envisagent aussi les questions fondamentales12 à prendre en compte dans les évaluations (c'est-à-dire pertinence et rendement) et qu'ils consultent les chefs de l'évaluation au moment d'établir les indicateurs de rendement.

Il y a deux genres d'indicateurs, les indicateurs qualitatifs et les indicateurs quantitatifs.

  • Les indicateurs quantitatifs se composent d'un nombre et d'une unité. Le nombre fournit la magnitude (combien) et l'unité fournit au nombre sa signification (quoi), par exemple, le nombre de plaintes reçues par écrit.
  • Les indicateurs qualitatifs prennent la forme d'un énoncé, par exemple une évaluation de la qualité de la recherche. Dans la mesure du possible, les indicateurs qualitatifs devraient être résumés à l'aide d'une échelle de notation, par exemple la qualité de la recherche est cotée « excellente », « moyenne » ou « inférieure à la moyenne ». On pourra ainsi effectuer des comparaisons dans le temps.

Il est essentiel de choisir les bons indicateurs de rendement si on veut évaluer et surveiller efficacement les progrès d'un programme. Les bons indicateurs devraient être:

  • valables - les indicateurs mesurent ce qu'ils sont censés mesurés;
  • fiables - les données recueillies doivent être les mêmes si elles ont été recueillies de façon répétée, dans les mêmes conditions et au même moment;
  • abordables - des méthodes de collecte (et d'analyse) des données d'un bon rapport coût efficacité peuvent être élaborées;
  • accessibles - les données sont facilement et systématiquement accessibles pour suivre les changements dans l'indicateur;
  • pertinents - l'indicateur est clairement relié aux résultats du programme.

Limiter la quantité d'indicateurs à un nombre gérable - un petit nombre de bons indicateurs de rendement sera plus vraisemblablement mis en oeuvre qu'une longue liste d'indicateurs.

3.

Déterminer les sources des données : indiquer les sources des données et le système qui servira à la gestion des données.

Les données peuvent provenir de diverses sources possibles:

  • données administratives - information déjà recueillie par le biais des dossiers du programme ou de bases de données, ou qui pourrait être recueillie moyennant des rajustements aux processus réguliers de programmation ou aux ententes de financement;
  • données sur le rendement primaires - information recueillie dans le cadre d'exercices spécialisés de collecte de données, comme les groupes de discussion, les panels d'experts ou des enquêtes dans le cadre desquelles de l'information doit être recueillie;
  • données secondaires - information recueillie par d'autres organismes, comme des statistiques nationales sur la santé ou la situation économique (p. ex. Statistique Canada).

Utiliser de l'information facilement accessible. Tirer profit de toutes les sources d'information disponibles.

4.

Définir la fréquence et responsabilité de la collecte des données: Indiquer la fréquence à laquelle les données seront recueillies et la ou les personnes ou le bureau responsable de cette activité.

Indiquez à quelle fréquence l'information sur le rendement sera recueillie. Selon l'indicateur de rendement, il peut être avantageux de recueillir des données systématiquement, mensuellement, trimestriellement, annuellement ou sur une base différente.

Au moment de planifier la fréquence et le calendrier de la collecte des données, le besoin de la direction en matière d'information rapide à des fins de prise de décisions représentent un important facteur à prendre en considération.

Au moment d'attribuer les responsabilités, il est important de prendre en considération non seulement les parties qui ont accès plus facilement aux données ou aux sources de données, mais également les capacités et les systèmes qui devront être mis en place pour faciliter la collecte de données.

5.

Établir les données de référence, les cibles et l'échéancier

Les données sur le rendement ne peuvent être utilisées à des fins de surveillance et d'évaluation que s'il existe des points de comparaison. Un plan de référence sert de point de départ à la comparaison. Les cibles de rendement sont nécessaires pour évaluer la contribution relative du programme et de veiller à ce que l'information appropriée soit recueillie.

Des données de référence pour chacun des indicateurs devraient être fournies par le programme au moment de l'élaboration du cadre de stratégie de MR. Généralement, et selon des indicateurs associés à des résultats de niveau supérieur, cette information aura déjà été recueillie par les gestionnaires de programmes à titre d'évaluation initiale de leurs besoins et pour soutenir l'élaboration de leur plan de mise en oeuvre.

Les cibles peuvent être qualitatives ou quantitatives, selon l'indicateur. Voici des sources utiles pour la définition de cibles et de données de référence:

  • des données de référence basées sur le rendement antérieur ou des itérations précédentes du programme;
  • les réalisations d'autres programmes qui accomplissent un travail semblable et qui sont considérés comme des leaders dans le domaine (analyse comparative);
  • les normes généralement acceptées de l'industrie ou du champ d'activité;
  • des cibles publiquement énoncées (p. ex. établies par le gouvernement, annoncées dans le budget).

S'il n'y a pas moyen d'établir une cible ou si le programme n'est pas en mesure dès le départ d'établir des données de référence, il conviendrait d'indiquer des échéances explicites au moment où les cibles et les données de référence seront établies ainsi que la personne ou les personnes responsables de leur établissement.

6.

Consulter et vérifier.

À la dernière étape, les gestionnaires de programmes devraient tenir des consultations13 , faire valider les indicateurs de rendement auprès de chefs de l'évaluation ou d'autres spécialistes de la mesure du rendement et s'assurer que les ressources requises pour la collecte des données sont prévues au budget. Des consultations avec d'autres intervenants intéressés (p. ex. le personnel de la gestion de l'information) sont aussi encouragées.

  • Cette étape est conforme à la Directive sur la fonction d'évaluation, selon laquelle les chefs de l'évaluation doivent « examiner les stratégies de mesure du rendement pour toutes les dépenses de programmes directes nouvelles et en cours, y compris tous les programmes de subventions et de contributions permanents, pour s'assurer que ces stratégies appuient efficacement l'évaluation de la pertinence et du rendement, et fournir des conseils à ce sujet » (section 6.1.4, alinéa a).
  • Il est fortement recommandé que les gestionnaires de programmes travaillent avec le chef de l'évaluation du ministère pour veiller à ce que les indicateurs de rendement qui seront recueillis soient adéquats pour soutenir une évaluation du programme. Le choix du mécanisme de consultation revient au gestionnaire de programmes et au chef de l'évaluation.

Voici des questions clés à prendre en considération pendant le stade de consultation et de confirmation:

  • Les indicateurs choisis s'harmonisent-ils aux indicateurs figurant dans le CMR ministériel, en plus de venir les compléter?
  • Les indicateurs sont-ils des mesures valables des extrants et des résultats (c'est-à-dire mesurent-ils ce qu'ils sont censés mesurer)?
  • Les indicateurs sont-ils fiables (c'est-à-dire les données seraient-elles notées de la même façon si elles étaient recueillies de façon répétée, dans les mêmes conditions et au même moment)?
  • Est-il probable que les données nécessaires soient fournies en temps opportun?
  • Le coût est-il raisonnable et est-il clairement prévu dans le budget?

Si la réponse à l'une de ces questions est « non », des rajustements doivent être apportés aux indicateurs ou aux ressources attribuées à la mise en oeuvre de la stratégie de MR.


Mise en oeuvre

Les pleins avantages du cadre de stratégie de mesure du rendement ne pourront se concrétiser que si le cadre est mis en oeuvre14 . À ce titre, les gestionnaires de programmes devraient veiller à ce que les ressources nécessaires (financières et humaines) et l'infrastructure nécessaire (p. ex. des systèmes de gestion des données) soient en place pour la mise en oeuvre. Dès l'étape de conception du programme, les gestionnaires de programmes devraient commencer à travailler à la création de bases de données, de modèles concis pour les rapports et d'autres outils de soutien nécessaires pour une mise en oeuvre efficace. Au cours de la première année suivant l'élaboration de la stratégie de mesure du rendement, ils devraient entreprendre un examen pour confirmer que l'information appropriée est recueillie et saisie afin de répondre aux besoins du programme et en vue de l'évaluation.

N'oubliez pas que selon la (Directive sur la fonction d'évaluation (section 6.1.4d.)), le chef de l'évaluation doit « présenter au Comité d'évaluation ministériel un rapport annuel sur l'état de la mesure du rendement des programmes à l'appui de l'évaluation ». La mise en oeuvre du cadre de stratégie de mesure du rendement revêt d'autant plus d'importance qu'il représente une source de premier plan d'éléments probants dans le rapport annuel destiné à l'administrateur général.



7.0 Stratégie d'évaluation

7.1 Aperçu de la stratégie d'évaluation

Le gouvernement du Canada définit l'évaluation comme « la collecte et l'analyse systématiques de données probantes sur les résultats des programmes afin d'en évaluer la pertinence et le rendement et de trouver d'autres modes de prestation ou d'autres façons d'obtenir les mêmes résultats » (section 3.1 de la Politique sur l'évaluation). Les évaluations peuvent être effectuées de diverses façons à différentes fins et par conséquent, elles peuvent être conçues de manière à examiner une diversité d'enjeux.

La stratégie d'évaluation est un aperçu précis de haut niveau des plans d'évaluation d'un programme. Il est important d'intégrer une stratégie d'évaluation à la stratégie de MR pour permettre aux gestionnaires de programmes et aux chefs de l'évaluation:

  • de s'assurer que les données générées par le cadre de stratégie de MR sont suffisantes pour appuyer l'évaluation et disponibles rapidement. Ce processus permet de relever des données supplémentaires qui devront peut-être être recueillies afin d'appuyer l'évaluation;
  • de déterminer la raison d'être et la nécessité d'entreprendre une évaluation bien avant les délais prescrits à cet égard par la loi ou par des politiques (p. ex. la LGFP,la Politique sur l'évaluation, etc.). Cela est fait en partie pour contribuer à l'élaboration du plan d'évaluation ministériel que les administrateurs généraux doivent appuyer annuellement tout comme la Politique sur l'évaluation (section 6.1.7).15
  • de participer à la planification préliminaire des évaluations et d'élaborer des méthodes et des conceptions d'évaluation rigoureuses et économiques (qui ne seront peut-être pas disponibles si la planification de l'évaluation est effectuée plus tard dans le cycle de programmation).

La consultation entre les gestionnaires de programmes et les chefs de l'évaluation concernant la stratégie d'évaluation a permis d'appuyer les chefs de l'évaluation dans l'élaboration d'un rapport annuel sur l'état de la mesure du rendement des programmes à l'appui de l'évaluation, lequel est présenté au Comité d'évaluation ministériel (Directive sur la fonction d'évaluation, section 6.1.4).

7.2 Contenu de la stratégie d'évaluation

Il est recommandé que la stratégie d'évaluation comprenne des renseignements sur:

  • les moteurs et raisons d'être de l'évaluation (p. ex. besoins en matière d'information des administrateurs généraux, renouvellement des programmes, soutien à la gestion des dépenses, exigences en vertu de la LGFP) ou les engagements décrits dans les présentations au Conseil du Trésor, les engagements stratégiques (p. ex. la Politique sur l'évaluation, la Directive du Cabinet sur la rationalisation de la réglementation, etc.);
  • les ressources engagées à l'appui de l'évaluation, notamment les ressources qui sont décrites dans les présentations au Conseil du Trésor et d'autres ressources engagées;
  • un cadre d'évaluation initial ou les responsabilités et le calendrier pour l'élaboration du cadre d'évaluation (de même que les motifs justifiant que le cadre d'évaluation ne figure pas dans la stratégie de MR);
  • Autres détails reliés à l'évaluation.

Le cadre d'évaluation qui relève de la stratégie d'évaluation constitue un « document de travail » qui s'appuie sur les meilleurs renseignements disponibles au début du programme. Le chef de l'évaluation et le gestionnaire de programmes doivent travailler conjointement afin de l'examiner et de le mettre à jour au besoin. En fin de compte, le chef de l'évaluation devra collaborer avec le gestionnaire de programmes pour élaborer un cadre d'évaluation définitif (parfois appelé la matrice d'évaluation) afin d'orienter le processus d'évaluation.

Il est important de souligner que le gestionnaire de programmes doit élaborer et mettre en oeuvre la stratégie de MR et consulter le chef de l'évaluation à cet égard (Directive sur la fonction d'évaluation, section 6.2.3). Toutefois, le cadre d'évaluation est en fin de compte un outil qui relève du chef de l'évaluation. Par conséquent, bien qu'on encourage fortement les ministères à élaborer un cadre d'évaluation initial (même à l'échelle rudimentaire) dès le début du programme, il peut arriver que le chef de l'évaluation décide (en collaboration avec le gestionnaire de projet), en fonction des risques et d'autres caractéristiques du programme, d'élaborer un cadre d'évaluation initial qui ne peut être appliqué au moment de la création de la stratégie de MR. Par exemple, le chef de l'évaluation peut décider que dans un programme à faibles risques, les données que propose de recueillir le gestionnaire de programmes pour mettre en oeuvre la stratégie de MR sont suffisantes pour appuyer une évaluation qui porte sur les cinq questions fondamentales à prendre en compte dans l'évaluation (voir tableau 5). Dans ce cas, il n'est pas nécessaire d'intégrer un cadre d'évaluation initial à la stratégie d'évaluation. Toutefois, les raisons qui motivent la décision du chef de l'évaluation de renoncer à l'élaboration hâtive d'un cadre d'évaluation provisoire au début du programme doivent être documentées dans la stratégie d'évaluation. En outre, la stratégie d'évaluation doit définir clairement un plan visant à élaborer le plus rapidement possible un cadre d'évaluation initial.

7.3 Cadres d'évaluation

Il est important d'intégrer le cadre d'évaluation provisoire à la stratégie d'évaluation. Ce cadre décrit les questions d'évaluation proposées ainsi que le type de données requises pour répondre à ces questions (tableau 4). L'élaboration du cadre d'évaluation revient finalement au chef de l'évaluation, et le cadre constitue un outil préparatoire important dans le processus d'évaluation. Il permet au chef de l'évaluation d'envisager à l'avance une méthode d'évaluation, de déterminer les données nécessaires aux fins de l'évaluation et la façon dont ces besoins seront satisfaits. Certaines des données requises pour répondre aux questions du cadre d'évaluation seront recueillies à l'aide des indicateurs relevés dans le cadre de stratégie de MR (voir la section 6.0 du présent document). D'autres données requises en vertu du cadre d'évaluation peuvent nécessiter des ajustements et des ajouts aux données recueillies aux fins de la surveillance du programme. Dans certains cas, les évaluateurs devront recueillir des données supplémentaires lors du processus d'évaluation.

Un cadre d'évaluation initial doit comprendre les éléments suivants:

  • les questions d'évaluation initiales couvrant les cinq questions fondamentales à prendre en compte dans l'évaluation et d'autres enjeux relevés par le gestionnaire de programmes et d'autres intervenants (p. ex. l'administrateur général);
  • des indicateurs;
  • des sources de données et des méthodes de collecte de données (nota : dans certains cas, la source de données peut être les données recueillies aux fins de la surveillance du programme au moment de la mise en oeuvre de la stratégie de MR);
  • s'il y a lieu, des renseignements sur les données de référence qui doivent être rassemblées ainsi que le calendrier de collecte des données;
  • au besoin, une description des changements mineurs qui peuvent être apportés aux protocoles et aux procédures administratives (p. ex. modèles de présentation de rapports que les tiers rempliront, tenue de dossier financiers) par le secteur de programme pour s'assurer que soient satisfaites les exigences en matière de données nécessaires aux fins de l'évaluation.

Le chef de l'évaluation doit collaborer avec le gestionnaire de programmes pour examiner et modifier (au besoin) le cadre d'évaluation (p. ex. annuellement) et pour élaborer un cadre d'évaluation définitif en tant que point de départ du processus d'évaluation.

Tableau 4: Modèle de cadre d'évaluation
Questions Indicateurs Sources de données et méthodes Données de référence nécessaires Calendrier de collecte des données Ajustements à apporter aux protocoles et aux procédures administratives

Nota : On s'attend à ce qu'en abordant les questions fondamentales 4 et 5 (qui sont indiquées dans le Tableau 5 ci-dessous), des questions d'évaluation seront élaborées relativement à des objectifs de programme particuliers de même que des questions plus générales sur le rendement du programme.

Pertinence
Question 1 Indicateur 1 à        
Question 2 Indicateur 1 à        
Question 3 Indicateur 1 à        
Question n Indicateur 1 à n        
Rendement (efficacité, efficience et économie)
Question 1 Indicateur 1 à        
Question 2 Indicateur 1 à        
Question 3 Indicateur 1 à        
Question n Indicateur 1 à n        

Tableau 5: Questions fondamentales à prendre en compte dans l'évaluation (source: Annexe A de la Directive sur la fonction d'évaluation)
Pertinence
Question 1 : Besoin continu du programme

Évaluation de la mesure dans laquelle le programme continue de répondre à un besoin démontrable et est réceptif aux besoins des Canadiens

Question 2 : Conformité aux priorités du gouvernement

Évaluation des liens entre les objectifs du programme et (i) les priorités du gouvernement fédéral et (ii) les résultats ministériels stratégiques

Question 3 : Harmonisation avec les rôles et responsabilités du gouvernement

Évaluation du rôle et des responsabilités du gouvernement fédéral relativement à l'exécution du programme

Rendement (efficacité, efficience et économie)
Question 4 : Réalisation des résultats escomptés

Évaluation des progrès réalisés dans l'atteinte des résultats escomptés (y compris les résultats immédiats, intermédiaires et ultimes) par rapport aux cibles et à la portée du programme, à la conception du programme, ce qui comprend les liens et la contribution des extrants aux résultats

Question 5 : Démonstration d'efficience et d'économie

Évaluation de l'utilisation des ressources relativement à la production des extrants et aux progrès réalisés concernant l'atteinte des résultats escomptés



8.0 Conclusion

Le présent Guide a pour objet d'appuyer l'élaboration des stratégies de MR et de veiller à ce que ces stratégies appuient efficacement l'évaluation. Afin de jeter de solides bases à l'établissement d'une stratégie de MR et de l'harmoniser aux évaluations futures, il est important que le document qui renferme la stratégie de MR renferme aussi un profil de programme, un modèle logique, un cadre de stratégie de MR et une stratégie d'évaluation.

Le Guide sera régulièrement mis à jour, selon les besoins. Veuillez adresser toute demande de renseignements à son sujet à l'adresse suivante:

Centre d'excellence en évaluation
Division de la gestion axée sur les résultats
Secrétariat du Conseil du Trésor
222 Nepean Street
Ottawa, Ontario
K1A 0R5

Courriel : evaluation@tbs-sct.gc.ca



Annexe 1: Exemple de modèle logique

Comme il a été mentionné à la section 5.2, il existe plusieurs façons de présenter les modèles logiques. En voici un exemple.

Figure 3 : Annexe 1 - Exemple de modèle logique
Annexe 1 - Exemple de modèle logique. Version textuelle ci-dessous:
Figure 3 - Version textuelle

L'exemple de l'annexe 1 illustre l'une des nombreuses façons de présenter un modèle logique. Comme on l'explique en détail à la section 5.2 Contenu du modèle logique, le modèle logique constitue l'un des quatre volets de la stratégie de MR. Il devrait être suffisamment détaillé pour décrire adéquatement le programme, mais en même temps assez schématique pour saisir les détails clés en une seule page. L'annexe 1 illustre le modèle logique d'un programme de soins de santé en particulier, notamment les intrants, les activités, les extrants et les résultats du programme (y compris les trois types de résultats – immédiats, intermédiaires et ultimes).



Annexe 2: Modèle d'examen et outil d'auto-évaluation

Les gestionnaires de programmes, les spécialistes de la mesure du rendement et les spécialistes de l'évaluation peuvent se servir du modèle d'examen et de l'outil d'auto-évaluation qui suit pour élaborer et revoir la stratégie de MR.

Stratégie de mesure du rendement - Modèle d'examen

Gestionnaire de programmes :

Responsable de l'évaluation au ministère :

Titre du programme :

État du programme (nouveau, renouvelé, autre) :

Ministère :

Valeur globale et période du financement :

Examen mené par :

Date :


Section Commentaires de l'examinateur Appréciation de l'examinateur
Fort Acceptable À améliorer
Introduction        
1. Profil du programme
1.1 Besoin du programme        
1.2 Correspondance avec les priorités du gouvernement du Canada        
1.3 Population(s) cible(s)        
1.4 Intervenants        
1.5 Gouvernance        
1.6 Ressources        
2. Modèle logique
2.1 Modèle logique        
2.2 Exposé narratif        
3. Cadre de stratégie de MR
3.1 Cadre de stratégie de MR        
3.2 Reddition des comptes et production de rapports        
4. Stratégie d'évaluation
4.1 Exigences, calendrier et responsabilités        
4.2 Version préliminaire du cadre d'évaluation et exigences en matière de données        

 
Stratégie de mesure du rendement - Outil d'auto-évaluation : Introduction
Introduction Critères d'examen Commentaires sur les points à améliorer
Introduction
  • Brève explication indiquant comment la complexité du programme, les défis de la production de données de qualité aux fins de la surveillance et de l'évaluation ainsi que les risques rattachés au programme ont été pris en considération au moment de l'élaboration de la stratégie de MR.
 

 
Stratégie de mesure du rendement - Outil d'auto-évaluation : Profil du programme
1. Profil du programme Critères d'examen Commentaires sur les points à améliorer
1.1 Besoin du programme
  • Raison d'être actuelle et raison d'être antérieure du programme clairement énoncées et démontrées.
  • Des recherches, des évaluations des besoins, des études démographiques détaillées, des résultats d'évaluations antérieures, etc., sont cités à l'appui de l'analyse.
 
1.2 Correspondance avec les priorités du gouvernement
  • Objectifs clairement énoncés.
  • Objectifs explicitement liés à l'AAP et aux résultats stratégiques connexes du ministère.
  • Objectifs liés aux priorités du gouvernement, p. ex. extraits du discours du Trône, du Budget, etc.).
 
1.3 Population(s) cible(s)
  • Populations cibles clairement décrites (celles que l'on désire influencer et qui profiteront du programme) ainsi que leurs caractéristiques par rapport à la prestation du programme (p. ex. secteur géographique, groupe d'âge, sexe).
 
1.4 Intervenants
  • Une liste des principaux intervenants accompagnée d'une brève description de leur rôle et de leurs responsabilités à l'égard du programme.
 
1.5 Gouvernance
  • Description claire du rôle et des responsabilités du gouvernement fédéral au chapitre de l'exécution du programme.
  • Description claire des rôles et des responsabilités d'autres intervenants (p. ;ex. des partenaires de l'exécution du programme) dans la prestation du programme.
  • S'il y a des partenaires, leurs rôles et responsabilités respectives en matière de surveillance du rendement, de rapports et d'évaluation.
 
1.6 Ressources
  • Le tableau des coûts présente les ressources annuelles affectées au ministère et à chaque partenaire d'exécution.
  • Tous les coûts suivants sont ventilés: salaires, fonctionnement et entretien, transferts aux partenaires, coûts d'immobilisations, coûts de mise en oeuvre de la surveillance du rendement et coûts rattachés à la mise en oeuvre des activités d'évaluation.
 

 
Stratégie de mesure du rendement - Outil d'auto-évaluation : Modèle logique
2. Modèle logique Critères d'examen Commentaires sur les points à améliorer
2.1 Modèle logique
  • Toutes les étapes du modèle logique sont établies et présentées clairement (intrants, activités, extrants, résultats immédiats, intermédiaires et finaux).
  • Le résultat final ne se situe pas à un niveau supérieur aux résultats attendus de l'élément de l'AAP du ministère auquel le programme contribue.
  • Les résultats du programme qui seront identiques aux « résultats attendus » dans l'AAP du ministère sont accompagnés d'une note en bas de page pour expliquer cette correspondance.
 
2.2 Exposé narratif
  • Les liens entre les activités, les extrants et les résultats sont clairement expliqués.
  • Les facteurs externes qui influencent la concrétisation des résultats sont expliqués.
  • L'exposé narratif est rédigé de telle façon qu'une personne peu familière avec le programme puisse comprendre ce en quoi il consiste.
 

 
Stratégie de mesure du rendement - Outil d'auto-évaluation : Stratégie de mesure du rendement
3. Stratégie de mesure du rendement Critères d'examen Commentaires
3.1 Cadre de stratégie de MR
  • Toutes les composantes requises sont incluses dans le tableau:
  • les éléments de l'AAP qui sont directement liés au programme, y compris l'activité de programme, la sous-activité ou la sous-sous-activité et le nom du programme (tel qu'il figure dans la case);
  • les extrants et les résultats du programme;
  • les indicateurs (de chaque extrant et de chaque résultat);
  • les cibles;
  • les échéances pour atteindre;
  • les sources de données;
  • les méthodesde collecte de données;
  • la fréquence de la collecte des données;
  • la responsabilité de la collecte et de l'analyse des données;
  • le système de gestion des données utilisé.
  • Si une information est manquante, une explication valide est fournie et le moment où l'information sera recueillie est indiqué.
  • Les différentes composantes sont cohérentes par rapport aux définitions figurant dans ce guide de stratégie de MR et les indicateurs sont valables, fiables et pertinents.
  • La sélection des indicateurs et le plan de mesure sont réalistes par rapport au calendrier d'exécution et aux ressources disponibles.
 
3.2 Responsabilités et rapports
  • Les engagements en matière de rapports et la façon dont ils seront respectés sont décrits clairement, et les éléments suivants sont clairement indiqués: qui analysera les données, qui rédigera les rapports, à qui ceux-ci seront destinés, pour quelle date et quelles données ils contiendront, leur objectif et la façon dont ils seront utilisés pour améliorer le rendement.
  • Au besoin, les défis que pourraient présenter la collecte des données et la production de rapports sont indiqués, de même que les stratégies prévues pour les relever.
 

 
Stratégie de mesure du rendement - Outil d'auto-évaluation : Stratégie d'évaluation
4. Stratégie d'évaluation Critères d'examen Commentaires
4.1 Exigences, calendrier et responsabilités
  • Les composantes suivantes sont incluses et exactes:
  • s'il y a lieu, les engagements en matière d'évaluation tels qu'ils sont décrits dans les présentations au Conseil du Trésor, la politique ou d'autres documents;
  • le calendrier et les responsabilités de l'élaboration du cadre d'évaluation, de l'exécution de l'évaluation ainsi que d'autres activités d'évaluation, s'il y a lieu.
 
4.2 Version préliminaire du cadre (ou de la matrice) d'évaluation et exigences en matière de données (s'il y a lieu)
  • Les questions à prendre en compte dans l'évaluation couvrent la pertinence et le rendement (efficacité, efficience et économie) lorsque c'est approprié.
  • La sélection des indicateurs est en harmonie avec les indicateurs de mesure du rendement figurant dans la stratégie de MR, lorsque c'est approprié.
  • La version préliminaire du cadre (ou de la matrice) d'évaluation renferme des questions d'évaluation concrètes, des indicateurs, des sources de données et des méthodes.
  • S'il y a lieu, la version préliminaire du cadre (ou de la matrice) d'évaluation indique les indicateurs pour lesquels le chef de l'évaluation rassemblera des données de référence avant l'évaluation et le calendrier de collecte de données.
  • Au besoin, la version préliminaire du cadre (ou de la matrice) d'évaluation renferme une description des ajustements simples qui peuvent être apportés aux protocoles et aux procédures administratives (p. ex. modèles de rapports à remplir par les tiers, tenue de dossiers financiers) à l'appui des activités d'évaluation.
 


Annexe 3: Glossaire

Activité

Opération ou démarche exécutée par une organisation et destinée à produire des intrants et des extrants, p. ex. formation, recherche, construction, négociation, enquête.

Analyse comparative

Répertorier, comparer, comprendre et adapter les pratiques en cours, à l'intérieur ou à l'extérieur d'une organisation. L'analyse comparative est fondée principalement sur des mesures communes et la comparaison de résultats obtenus à l'interne et à l'externe. Ces renseignements aident une organisation à savoir où elle se situe en termes de rendement et à prendre des mesures pour l'améliorer en fonction d'une organisation axée sur des pratiques exemplaires.

Approche fondée sur les risques pour déterminer l'approche d'évaluation et le niveau d'effort

Méthode permettant d'évaluer le risque afin de déterminer l'approche en matière d'évaluation qui sera adoptée pour les évaluations individuelles. Au besoin, les ministères doivent déterminer les critères de risque spécifiques applicables à leur situation particulière. Les critères de risque spécifiques peuvent comprendre la taille de la population susceptible d'être touchée par une inexécution du programme, la probabilité d'inexécution, la gravité des conséquences, l'importance relative du programme et son importance pour les Canadiens. Les critères supplémentaires peuvent comprendre le caractère récent et la qualité de la dernière évaluation ou des autres études, leurs constatations, le moment où elles ont été menées et la portée du changement dans l'environnement du programme ou d'autres critères.

Architecture des activités des programmes (AAP)

Répertoire structuré de l'ensemble des programmes et des activités de programme d'une organisation. Ils y sont présentés en fonction de leurs relations logiques les uns par rapport aux autres et le résultat stratégique auquel ils contribuent. L'AAP comprend un cadre de mesure du rendement (CMR) à l'appui.

Cadre de mesure du rendement (CMR)

Exigence de la Politique sur la structure de la gestion, des ressources et des résultats (SGRR). Le CMR jette une base objective pour la collecte de données liées aux programmes d'une organisation. Un CMR comprend les résultats stratégiques d'une organisation, les résultats attendus des programmes, les indicateurs de rendement, les cibles connexes, les sources de données, la fréquence de la collecte des données et les données réelles recueillies pour chaque indicateur.

Cible

Comité de cadres supérieurs présidé par l'administrateur général ou une personne de haut niveau désignée par celui-ci. Il donne à l'administrateur général des conseils relatifs au plan d'évaluation ministériel, à l'affectation des ressources et aux rapports d'évaluation finaux, et il peut également prendre les décisions ultimes concernant toutes les autres activités d'évaluation du ministère. On trouvera à l'annexe B de la Politique sur l'évaluation une description complète des rôles et responsabilités du Comité d'évaluation ministériel.

Coût

Ressource utilisée en vue d'atteindre un objectif.

Données de référence

Point de départ auquel les changements subséquents sont comparés et les cibles sont fixées.

Économie

Utilisation minimale des ressources. L'économie est atteinte lorsque le coût des ressources utilisées est équivalent à peu près au montant minimal des ressources requises pour obtenir les résultats attendus.

Efficacité

Mesure dans laquelle un programme permet d'atteindre les résultats prévus.

Efficience

Mesure dans laquelle les ressources sont utilisées de manière à produire plus d'extrants à partir d'un niveau d'intrants donné ou le même niveau d'extrants avec moins d'intrants. Le niveau des intrants ou des extrants peut augmenter ou diminuer en quantité, en qualité ou les deux.

Évaluation

La collecte et l'analyse systématiques de données probantes sur les résultats obtenus des politiques et des programmes permettant de prendre des décisions quant à leur pertinence, à leur rendement et à d'autres modes d'exécution des programmes ou d'autres façons d'obtenir les mêmes résultats.

Évaluation des besoins

Instrument stratégique utilisé pour structurer un nouveau programme. Une évaluation des besoins comporte la collecte des données primaires permettant de cerner le besoin du programme, de même qu'une description préliminaire des mesures requises pour y répondre. On détermine également si les gouvernements fédéral ou provinciaux ou les administrations municipales, ou le secteur privé, offrent déjà des services compris dans la portée du programme proposé.

Extrant

Produits ou services directs provenant des activités d'une organisation, d'une politique, d'un programme ou d'une initiative, et habituellement contrôlés par l'organisation elle-même, par exemple, brochure, étude de recherche, station de traitement d'eau, séance de formation.

Fiabilité

Mesure dans laquelle les résultats obtenus dans le cadre d'une mesure ou d'une procédure peuvent être reproduits.

Indicateur

Moyen quantitatif ou qualitatif de mesurer un extrant ou un résultat en vue de déterminer le rendement d'un programme.

Intrant

Ressources financières et non financières utilisées par des organisations, des politiques, des programmes et des initiatives pour produire des extrants et atteindre des résultats (p. ex., fonds, ressources humaines, équipement, fournitures).

Mesure du rendement

Voir indicateur.

Modèle logique

Représentation des relations logiques ou des liens de cause à effet entre les intrants, les activités, les extrants et les résultats d'une politique, d'un programme ou d'une initiative donnés.

Objectif

L'avantage durable et général pour lequel l'effort est déployé.

Optimisation des ressources

Mesure dans laquelle un programme est pertinent et performant.

Partenaire d'exécution

Organisation du secteur public ou privé qui aide le gouvernement du Canada à exécuter le programme.

Pertinence

Mesure dans laquelle une politique ou un programme répond à un besoin tangible, approprié au contexte du gouvernement fédéral et aux besoins des Canadiens.

Plan d'évaluation ministériel

Cadre clair et concis qui établit les évaluations ministérielles à entreprendre sur une période de cinq ans, conformément à la Politique sur l'évaluation ainsi qu'à la directive et aux normes connexes.

Population cible

Le groupe de personnes qu'un programme vise à influencer et qui profiteront du programme.

Portée

Les personnes et les organisations ciblées et directement touchées par une politique, un programme ou une initiative.

Programme

Groupe d'activités connexes qui sont conçues et gérées de manière à répondre à un besoin public particulier et qui sont souvent considérées comme une unité budgétaire.

Programme de subventions et contributions/Programme de paiements de transfert

Se reporter au paragraphe 42.1 de la Loi sur la gestion des finances publiques où on peut lire que ...« programme s'entend de tout programme de versement de subventions ou de contributions à un ou plusieurs bénéficiaires sur des sommes affectées par une loi de crédits et dont la gestion vise la réalisation d'un objectif commun ».

Rendement

Mesure de l'économie, de l'efficience et de l'efficacité d'un programme ou d'une politique.

Résultat

Conséquence externe attribuable en partie aux activités d'une organisation, d'une politique, d'un programme ou d'une initiative. Les résultats ne relèvent pas du contrôle d'une organisation, d'une politique, d'un programme ou d'une initiative unique, mais ils s'inscrivent dans la sphère d'influence de l'organisation. Ils peuvent être qualifiés d'immédiat, d'intermédiaire ou d'ultime (final), d'attendu, de direct, etc. Trois types de résultats liés au modèle logique sont définis comme suit:

  1. Résultat immédiat : résultat directement attribuable aux extrants d'une politique, d'un programme ou d'une initiative. En termes d'échéancier et de niveau, il s'agit d'un résultat à court terme qui se manifeste souvent par une sensibilisation accrue de la population cible.
  2. Résultat intermédiaire : résultat auquel on s'attend logiquement une fois que l'on atteint un ou des résultats immédiats. En termes d'échéancier et de niveau, il s'agit d'un résultat à moyen terme qui se manifeste par un changement de comportement au sein de la population cible.
  3. Résultat ultime (final) : résultat se situant au plus haut niveau parmi les résultats pouvant être raisonnablement attribués à une politique, un programme ou une initiative selon un lien de causalité, et qui est la conséquence d'un ou de plusieurs résultats intermédiaires déjà atteints. Il s'agit d'un résultat à long terme qui se manifeste par un changement dans situation d'une population cible. Des résultats ultimes attribués à des programmes, des politiques ou des initiatives individuels contribuent à l'obtention de résultats stratégiques de haut niveau dans les ministères.
Résultat attendu

Résultat pour lequel un programme, une politique ou une initiative est créé.

Résultat stratégique

Avantage durable à long terme pour la population canadienne qui découle du mandat et de la vision et des efforts d'un ministère ou d'un organisme. Il s'agit d'un résultat qu'un ministère ou un organisme entend obtenir au profit de la population canadienne, qui devrait être mesurable et s'inscrire dans la sphère d'influence du ministère ou de l'organisme.

Stratégie de mesure du rendement

Sélection, élaboration et utilisation continue des mesures du rendement pour orienter un programme ou le processus décisionnel du ministère. Dans le présent Guide, les composantes qu'il convient d'inclure dans la stratégie de mesure du rendement sont le profil de programme, le modèle logique et la stratégie d'évaluation.

Structure de la gestion, des ressources et des résultats (SGRR)

La structure de la gestion, des ressources et des résultats offre une approche pangouvernementale commune à l'égard de la collecte, de la gestion et de la publication des renseignements financiers et non financiers. La SGRR comprend les résultats stratégiques, l'architecture des activités des programmes (AAP), le cadre de mesure du rendement à l'appui et la structure de gouvernance d'une organisation.

Théorie de programme

Théorie explicite de la façon dont un programme produit le résultat observé ou prévu, y compris les hypothèses au sujet des ressources et des activités et de la façon dont celles-ci permettent de réaliser les résultats prévus.



Annexe 4 : Bibliographie

Législation

Instruments de politique du Conseil du Trésor

Documents-guides

Autres publications connexes


Signaler un problème ou une erreur sur cette page
Veuillez cocher toutes les réponses pertinentes :

Déclaration de confidentialité

Merci de votre aide!

Vous ne recevrez pas de réponse. Pour toute question, contactez-nous.

Date de modification :