Examiner l'utilisation des ressources des programmes dans le cadre de l'évaluation des programmes fédéraux

Table des matières

• Introduction
• 1.0 L'optimisation des ressources dans le cadre d'évaluations fédérales
• 2.0 Comprendre la question fondamentale 5 : Démonstration d'efficience et d'économie
  • 2.1 Pourquoi examiner l'utilisation des ressources de programme dans le cadre d'évaluations?
  • 2.2 Perspectives flexibles relatives à la question fondamentale 5
    • 2.2.1 Définir la question fondamentale 5
    • 2.2.2 Démonstration d'efficience
    • 2.2.3 Démonstration d'économie
• 3.0 Définir la portée de la question fondamentale 5 dans les évaluations : Choisir une perspective
• 4.0 Aperçu de diverses approches analytiques permettant d'examiner la question fondamentale 5
• 5.0 Modèles logiques, théorie du programme, information sur les coûts et question fondamentale 5
  • 5.1 Modèles logiques et théorie du programme
  • 5.2 Détermination proactive de l'information sur les coûts
  • 5.3 Détermination rétrospective de l'information sur les coûts
• 6.0 Les prochaines étapes pour la collectivité fédérale de l'évaluation
• 7.0 Suggestions et demandes de renseignements
• Annexe A : Évolution des enjeux dans les évaluations au gouvernement fédéral de 1977 à 2009
• Annexe B : Le rendement dans les évaluations des programmes fédéraux
• Annexe C : L'état de préparation des programmes en vue de l'examen de la question fondamentale 5
• Annexe D : Rôles et responsabilités en ce qui concerne la question fondamentale 5
• Annexe E : Optimisation des intrants et des extrants
• Annexe F : Analyse de l'efficience opérationnelle
• Annexe G : Analyse de l'économie
• Annexe H : Bibliographie

Introduction

1.0  L'optimisation des ressources dans le cadre d'évaluations fédérales

Dans le contexte de l'évaluation, l'optimisation des ressources, telle que le Conseil du Trésor la définit dans la Politique sur l'évaluation (Canada, 2009c), est la mesure dans laquelle un programme est pertinent et affiche un bon rendement. Cette définition table sur les définitions traditionnelles de l'optimisation des ressources, qui, de façon générale, mettent seulement l'accent sur l'efficacité, l'efficience ou l'économie des programmes (Bhatta, 2006, pp. 185 à 187, 662). Aux fins de l'évaluation, l'intégration de la pertinence au concept de l'optimisation des ressources permet aux évaluateurs de présenter des conclusions sur le rendement qui sont mieux contextualisées (c'est-à-dire que les données sur le rendement peuvent être interprétées par rapport à des enjeux comme le besoin sociétal auquel le programme répond ou la priorité que le gouvernement élu accorde au programme). En présentant des constatations et des conclusions plus contextualisées, les évaluations permettront de mieux soutenir le processus décisionnel concernant l'amélioration des programmes et la gestion des dépenses (y compris l'examen des dépenses).

L'annexe A de la Directive sur la fonction d'évaluation offre un cadre analytique qui permet de tirer des conclusions sur la pertinence et le rendement des programmes selon cinq questions fondamentales (QF) que doivent aborder toutes les évaluations entreprises en conformité de la Politique sur l'évaluation⁵. Parmi ces cinq QF, trois portent sur la pertinence du programme et deux sur le rendement du programme :

Questions fondamentales concernant le rendement (efficacité, efficience et économie)

• Question 4 : Réalisation des résultats escomptés : Évaluation des progrès réalisés dans l'atteinte des résultats escomptés (y compris les résultats immédiats, intermédiaires et ultimes) par rapport aux cibles de rendement, ainsi qu'à la portée et à la conception du programme, ce qui comprend les liens et la contribution des extrants aux résultats.
• Question 5 : Démonstration d'efficience et d'économie : Évaluation de l'utilisation des ressources relativement à la production des extrants et aux progrès réalisés concernant l'atteinte des résultats escomptés.

Ces cinq QF constituent les secteurs d'intérêt clés que les évaluateurs doivent explorer (mais auxquels ils ne sont pas tenus de se limiter) pour tirer des constatations significatives à l'appui des conclusions sur la pertinence et le rendement des programmes.

Figure 1 - Version textuelle

La Figure 1 représente une déconstruction du concept d'optimisation des ressources qui démontre à son tour de quelle façon les cinq questions fondamentales à être examinées dans l'évaluation des programmes fédéraux cadrent dans le concept.

Selon la Figure 1, l'optimisation des ressources est définie comme comprenant a) une démonstration de la pertinence du programme et b) une démonstration du rendement du programme.

La démonstration de la pertinence du programme est définie comme comprenant et étant abordée par trois questions fondamentales : Question fondamentale 1 – Besoin démontré et réceptivité; Question fondamentale 2 – Conformité aux priorités du gouvernement; et Question fondamentale 3 – Harmonisation avec les rôles et responsabilités du gouvernement fédéral.

La démonstration du rendement du programme est définie comme comprenant et étant abordée par deux autres questions fondamentales : Question fondamentale 4 – Réalisation des résultats escomptés (efficacité) et Question fondamentale 5 – Démonstration d'efficience et d'économie.

On trouvera à l'annexe B une analyse plus détaillée du concept du rendement dans les évaluations des programmes fédéraux.

2.0  Comprendre la question fondamentale 5 : Démonstration d'efficience et d'économie

2.2  Perspectives flexibles relatives à la question fondamentale 5

2.2.1  Définir la question fondamentale 5

Selon la Directive sur la fonction d'évaluation (Canada, 2009a), la QF5 (Démonstration d'efficience et d'économie) se définit comme une « évaluation de l'utilisation des ressources relativement à la production des extrants et aux progrès réalisés concernant l'atteinte des résultats escomptés. »

En ne se concentrant pas strictement sur le rapport coût-efficacité, comme c'était le cas dans le cadre de la Politique d'évaluation (Canada, 2001) de 2001, la QF5 offre aux évaluateurs une certaine flexibilité pour définir la portée et déterminer les aspects de l'utilisation des ressources qu'il convient d'explorer dans le contexte de telle ou telle évaluation.

Au sens le plus large, l'examen de l'utilisation des ressources s'intéresse à la mesure dans laquelle le programme fait preuve d'efficience ou d'économie dans l'utilisation des ressources. Il importe toutefois de préciser que ces deux concepts – l'efficience et l'économie – représentent un vaste éventail d'axes et d'approches possibles en ce qui concerne l'examen de l'utilisation des ressources de programme.

Rendement du programme

=

Réalisation des résultats escomptés

+

Démonstration d'efficience et d'économie

Il est également important de préciser que les examens de l'efficience et de l'économie sont liés à l'examen de l'efficacité du programme (c'est-à-dire de la mesure dans laquelle les résultats escomptés sont réalisés), comme on le voit dans la QF4 (Réalisation des résultats escomptés). Ensemble, la QF4 et la QF5 représentent une analyse du rendement global des programmes.

2.2.2  Démonstration d'efficience

Axe prioritaire de l'analyse

Efficience allocative :

se concentre généralement sur la relation entre les ressources et les  résultats

Efficience opérationnelle :

se concentre généralement sur la relation entre les ressources et les  extrants

De façon générale, la démonstration d'efficience dans les programmes fédéraux peut être abordée selon deux perspectives : l'efficience « allocative » et l'efficience « opérationnelle ».

Efficience allocative :

Cette façon d'aborder l'efficience s'intéresse généralement à la vue d'ensemble, c'est-à-dire à la question de savoir si les ressources consommées pour atteindre les résultats étaient raisonnables, compte tenu d'enjeux comme le degré de réalisation des résultats, le contexte du programme et les solutions de rechange au programme. Les genres de questions posées et d'analyses employées aux fins de l'examen de l'efficience allocative reposent généralement sur une comparaison des coûts et des résultats d'interventions qui ont des buts identiques ou semblables (p. ex., deux programmes ou deux éléments du même programme) ou sur une comparaison d'un programme existant et d'une solution de rechange réelle ou hypothétique. Souvent, l'examen de l'efficience allocative peut se faire par le biais d'approches propres à l'analyse des coûts ou à l'analyse économique (p. ex., analyse du rapport coût-efficacité). Cependant, dans certains cas, on peut aussi avoir recours à des approches plus qualitatives (p. ex., des approches reposant sur l'utilité).

Efficience opérationnelle

(Eureval/Centre européen d'expertise en évaluation, 2006, p. 2) : L'efficience opérationnelle, qui revêt divers autres noms (y compris efficience technique [de Salazar et coll., 2007, p. 12], efficience transformationnelle [M. Palenberg et coll., 2011, p. 7.], efficience de la gestion et efficience de la mise en œuvre), s'intéresse avant tout à la façon dont les intrants sont utilisés et convertis en extrants qui soutiennent la réalisation des résultats escomptés. Les questions posées et les analyses employées aux fins de l'examen de l'efficience opérationnelle sont communes, mais non exclusives, aux évaluations formatives, aux évaluations des processus, aux évaluations de la mise en œuvre et aux évaluations de la conception et de l'exécution. Comme on le verra dans la partie qui suit, cet examen comprend souvent une analyse de la mesure dans laquelle les extrants ont été optimisés par rapport aux ressources consommées pour leur production et de la façon dont ils appuient la réalisation des résultats.

2.2.3  Démonstration d'économie

Selon la Politique sur l'évaluation (Canada, 2009c), les évaluations du gouvernement fédéral axent leurs examens de l'économie sur la mesure dans laquelle l'utilisation des ressources a été minimisée dans la mise en œuvre et l'exécution des programmes. Il y a économie lorsque le coût des ressources utilisées se rapproche de la quantité minimale de ressources requises pour obtenir les résultats escomptés. Il ne s'agit pas ici d'un minimum absolu, mais plutôt d'un minimum conceptualisé et contextualisé que l'on détermine en analysant la mesure dans laquelle les coûts des intrants ont été minimisés par rapport au contexte du programme, aux caractéristiques des intrants (comme leur qualité, leur quantité, leur caractère opportun et leur caractère approprié), à la portée des répercussions sur la réalisation des résultats et aux solutions de rechange disponibles. Ce point est abordé plus loin.

La figure 2 illustre la relation qui existe entre les perspectives exposées ci-dessus et les chaînes de résultats des programmes (et donc les modèles logiques).

Figure 2 - Version textuelle

La Figure 2 représente la relation qui existe entre les perspectives analytiques proposées de la Question fondamentale 5 et les éléments d'un modèle logique. À titre d'illustration, on utilise un modèle logique général simplifié. Dans ce modèle, on énumère une liste d'éléments successifs de modèle logique. Ce sont les intrants, les activités, les extrants, les résultats immédiats, les résultats intermédiaires et les résultats ultimes du programme. Ces éléments sont successifs, ce qui signifie que chacun d'eux mène au prochain dans la chaîne (c.-à-d. que les intrants mènent aux activités, les activités mènent aux extrants, les extrants mènent aux résultats immédiats, etc.).

Selon la Figure 2, l'efficience allocative est démontrée comme analyse qui examine principalement la relation entre les intrants et les résultats obtenus d'un programme (au niveau immédiat, intermédiaire ou ultime). L'efficience opérationnelle est présentée comme une analyse qui examine principalement la façon dont les intrants de programmes sont utilisés pour entreprendre des activités qui produisent des extrants. On précise que l'analyse de l'efficience opérationnelle tire son information secondaire des résultats obtenus du programme. Dernièrement, l'économie est présentée comme une analyse qui met principalement l'accent sur les intrants fournis à un programme. On souligne que l'analyse de l'économie tire son information secondaire des extrants et des résultats obtenus du programme.

Dans certains cas, lorsqu'il s'agit d'examiner la QF5, on peut considérer comme étant appropriées des perspectives de rechange qui ne cadrent pas nécessairement dans les catégories énumérées ci-dessus. Si une perspective de rechange est retenue, les évaluateurs devraient présenter une justification appropriée de la sélection de cette approche pour examiner la QF5.

3.0  Définir la portée de la question fondamentale 5 dans les évaluations : Choisir une perspective

Les programmes du gouvernement du Canada sont très diversifiés (p. ex., en ce qui a trait aux modèles d'exécution, aux résultats escomptés, aux bénéficiaires, aux priorités gouvernementales, aux cycles de vie et aux niveaux de maturité). Les évaluateurs devront travailler avec les usagers des évaluations et avec les parties intéressées pour déterminer quelles perspectives pour l'examen de la QF5 peuvent et doivent être incluses dans l'évaluation de tel ou tel programme. Voici des exemples de questions susceptibles d'aider les évaluateurs à cet égard :

• À quelles fins l'évaluation servira-t-elle (p. ex., comment sera-t-elle utilisée)? Quels sont les besoins en matière d'information des destinataires? Quelle information et quelles perspectives concernant la QF5 permettront le mieux de soutenir une utilisation significative de l'évaluation?
• À quel stade de développement le programme en est-il (p. ex., en est-il à un stade de son cycle de vie où un examen de l'efficience allocative est faisable)? Ou encore, le programme est-il le plus récent d'une série de programmes qui ont pour objet de régler le même problème?
• Quels sont les principaux mécanismes d'exécution du programme? Y a-t-il des activités et des extrants précis qui contribuent à des résultats particuliers? Ou s'agit-il d'un programme complexe dont les activités et les extrants contribuent à de multiples résultats?
• Quels sont les principaux intrants du programme? S'agit-il principalement de ressources humaines (équivalents temps plein [ETP])? Des biens ou des services sont-ils achetés à titre d'intrants du programme?
• Quel est le profil de risque du programme? Le ministère l'a-t-il désigné comme un programme à risque élevé (p. ex., grande importance relative et grand impact sur la population canadienne)?
• À quand remonte la dernière évaluation? Celle-ci a-t-elle examiné adéquatement la QF5 et permis de tirer des constatations qui suggéraient un rendement acceptable dans ce domaine?
• Y a-t-il des préoccupations connues ou soupçonnées au sujet de l'efficience ou de l'économie du programme? Dans l'affirmative, quelles sont-elles?
• Quelle est la situation des données sur la mesure du rendement disponibles pour soutenir l'évaluation? Les gestionnaires de programme ont-ils mis efficacement en œuvre une stratégie de mesure du rendement qui recueille des données financières et non financières susceptibles d'appuyer un examen de la QF5? Dans la négative, que faudrait-il faire pour recueillir ou formater ces données de façon appropriée, avant ou pendant l'évaluation?⁶

En explorant ces questions (et d'autres), les évaluateurs peuvent mieux déterminer la ou les perspectives de l'utilisation des ressources qui pourraient être prises en considération dans l'évaluation. Dans plusieurs cas, les évaluations pourraient traiter des trois perspectives. Toutefois, dans certains cas, les évaluations pourraient examiner seulement un sous-ensemble de ces perspectives, afin de soutenir les utilisations prévues de l'évaluation. Le tableau 1 donne des exemples de cas où les trois perspectives pourraient se révéler utiles.

À l'appui de l'exercice de définition de la portée exposé ci-dessus, l'annexe C présente une liste de contrôle permettant de déterminer si un programme est prêt à subir un examen au regard de la QF5. L'annexe D, quant à lui, donne un aperçu des rôles et des responsabilités connexes à la préparation et à l'exécution des examens de la QF5.

Comme pour toute évaluation en général, les évaluateurs devront calibrer leur approche de l'examen de la QF5 en fonction des besoins en matière d'information de leurs cadres supérieurs et des risques associés au programme.

4.0  Aperçu de diverses approches analytiques permettant d'examiner la question fondamentale 5

Dès lors que l'exercice de définition de la portée a permis de déterminer les perspectives à examiner pendant l'évaluation et que les questions sur lesquelles portera l'évaluation ont été établies, les évaluateurs doivent choisir une ou plusieurs approches analytiques pour procéder à l'examen de la QF5.

On peut considérer que les approches permettant d'examiner l'utilisation des ressources de programme dans le cadre d'évaluations se situent sur un continuum qui comprend les éléments suivants⁷ :

Les approches comparatives axées sur les coûts :

Ces approches à l'examen de la QF5 consistent généralement à comparer les ressources utilisées pour un aspect du programme (p. ex., le coût par résultat, le coût par extrant, le coût des intrants) aux ressources utilisées dans le cadre d'autres programmes (souvent des programmes de rechange) dont les résultats escomptés sont identiques ou semblables, ou à une autre norme connue (p. ex., une norme de référence ou une cible en matière de coûts).

Les approches qualitatives ou mixtes :

Ces approches nécessitent généralement que l'évaluateur porte un jugement appuyé sur des données qualitatives et quantitatives concernant l'utilisation des ressources dans le cadre du programme, pour en tirer des constatations et des conclusions. Ces approches vont d'examens et de comparaisons d'ordre qualitatif hautement structurés à des solutions de rechange théoriques, en passant par des jugements d'experts et des examens de l'optimisation.

Les approches descriptives :

Il s'agit d'approches qui ne comportent pas de critiques et qui se limitent à rapporter des faits au sujet de l'utilisation des ressources dans le cadre d'un programme (p. ex., énoncé des budgets réels, coût par extrant, coût par résultat). Aucune analyse n'est fournie et l'évaluateur ne porte pas de jugement. Même si les analyses descriptives sont généralement insuffisantes pour examiner la QF5 de manière significative, elles peuvent constituer le fondement des approches qualitatives ou mixtes et des approches comparatives axées sur les coûts décrites ci-dessus.

Sur ce continuum, diverses approches peuvent être utilisées à l'appui d'une analyse de la QF5. Certaines des approches les plus fréquentes sont exposées au tableau 2⁸. Il est important de savoir qu'il ne s'agit là que d'un petit échantillon des approches que les évaluateurs voudront peut-être retenir pour l'examen de la QF5.

Voici des résumés de ces différentes approches.

Analyse coût-efficacité (ACE) : De façon générale, l'ACE consiste en un examen comparatif des coûts par « unité » de résultat (rapport coût-efficacité) entre deux ou plusieurs éléments de programme (p. ex., le programme dans son ensemble, les éléments de son exécution ou des solutions de rechange réelles ou hypothétiques) qui a) ont des résultats escomptés identiques (ou très semblables) et b) peuvent être évalués au moyen des mêmes mesures ou des mêmes critères (Levin et McEwan, 2001, pp. 10 à 11). Par exemple, l'évaluation d'un programme de renoncement au tabac peut faire appel à une ACE pour comparer le coût relatif par participant ayant cessé de fumer selon deux approches, à savoir les groupes de soutien et les méthodes individuelles de remplacement de la nicotine (gomme à mâcher, pastilles ou timbres) (Herman et coll., 2009, pp. 56 à 57).

Analyse coût-avantage (ACA) : Au sens classique du terme, l'ACA (parfois appelée analyse avantage-coût) renvoie à des approches analytiques qui ont pour objet de monétiser (c'est-à-dire attribuer une valeur monétaire) tous les coûts et tous les avantages d'un programme (p. ex., le programme dans son ensemble, les éléments de son exécution) et de comparer leurs valeurs actualisées nettes, habituellement exprimées sous la forme d'un rapport coût-avantage. Ainsi, l'ACA permet aux évaluateurs de comparer les avantages (réels ou possibles) de programmes (ou d'éléments de programme) dont les résultats escomptés sont différents (Brent, 2002, pp. 144 à 146; Levin et McEwan, 2001, pp. 11 à 19). Par exemple, l'ACA peut être utilisée comme outil d'évaluation qui aide les décideurs à choisir entre deux programmes sans rapport l'un avec l'autre (p. ex., investir dans un programme de renoncement au tabac ou investir dans l'éducation de la petite enfance). Toutefois, et peut-être plus fréquemment, l'ACA peut être utilisée pour comparer des programmes plus ou moins connexes (p. ex., comparer les avantages nets d'un programme de détournement des eaux en cas d'inondation conçu pour lutter contre les inondations moyennes et ceux d'un programme conçu pour affronter les pires inondations).

L'une des caractéristiques distinctives de l'ACA est que, en principe, elle aborde les coûts et les avantages d'un point de vue sociétal plus vaste (que d'autres approches comme l'ACE, qui tend à se concentrer sur le programme) (Herman et coll., 2009, p. 56). Ainsi, l'ACA peut être utile, en particulier pour examiner les enjeux connexes à l'efficience allocative. L'ACA peut aussi être utile pour repérer les résultats ou les issues imprévus des programmes. Compte tenu de sa sensibilité, l'ACA peut être moins utile pour éclairer les examens concernant les perspectives de l'efficience opérationnelle ou l'économie des intrants, selon le niveau auquel les coûts et les avantages sont déterminés⁹.

L'un des défis de l'ACA est celui de la quantification et de la monétisation des coûts et des avantages. Pour relever ce défi, plusieurs auteurs ont proposé des approches permettant d'intégrer des éléments qualitatifs à l'ACA, ce qui a donné lieu à l'émergence de l'analyse qualitative coût-avantage, qui a pour objet de rendre compte des avantages et des coûts des programmes de façon plus exhaustive (Rogers, Stevens et Boymal, 2009, pp. 84, 89; van den Bergh, 2004, pp. 389 à 392).

Analyse coût-utilité (ACU) : L'ACU, qui est apparentée à l'ACE, compare l'utilité d'un programme (c'est-à-dire l'intérêt du programme, sa valeur, son mérite ou le degré de satisfaction vis-à-vis de ses résultats, habituellement du point de vue des bénéficiaires) en fonction de ses coûts (Levin et McEwen, 2001, pp. 19 à 22; White et coll., 2005, pp. 7 à 8). Dans le cadre de certaines ACU, « l'utilité » est un concept hautement structuré (p. ex., dans le secteur de la santé, l'utilité est mesurée du point de vue de l'espérance de vie ajustée selon la qualité de vie ou de l'équivalent d'années en bonne santé). Toutefois, selon de nouvelles indications, on dispose d'une certaine latitude pour élaborer d'autres « unités » quantitatives ou qualitatives de l'utilité (p. ex., des unités construites au niveau des résultats immédiats ou intermédiaires) dans le cadre de ce qu'on pourrait qualifier d'approche réaliste ou calibrée de l'analyse du caractère raisonnable des coûts par rapport aux résultats. L'ACU peut être particulièrement utile pour examiner l'efficience allocative. Parallèlement, l'ACU peut donner des pistes de réflexion au sujet de préoccupations possibles concernant l'efficience opérationnelle ou l'économie selon la perspective des usagers du programme (c'est-à-dire les bénéficiaires) ou des perspectives autres.

Analyse de l'efficience opérationnelle (AEO) : Aux fins des évaluations des programmes fédéraux, l'AEO (qui renvoie directement à la perspective de l'efficience opérationnelle relative à l'examen de la QF5 dont il a été question ci-dessus) réunit une vaste gamme d'approches analytiques qui peuvent être utilisées pour examiner la façon dont les programmes sont gérés et organisés à l'appui de la réalisation des résultats. Ces approches peuvent inclure des modèles fondés sur les coûts qui se concentrent sur l'examen des coûts d'extrants particuliers par rapport à des facteurs de comparaison (p. ex., coûts prévus, normes de comparaison), des examens de l'optimisation des extrants ou des enjeux connexes à l'efficience, et des occasions à exploiter au niveau des activités de programme. Ces analyses sont entreprises sur la base de la pertinence du programme et d'autres enjeux contextuels (Eureval/Centre européen d'expertise en évaluation, 2006, p. 14). Toutefois, même si certaines approches de l'AEO peuvent faire appel à des données de vérification, l'analyse n'est pas conçue pour reproduire ou recouper les vérifications internes qui portent sur la conception et le fonctionnement des processus de gestion des risques, de contrôle et de gouvernance – souvent au niveau de l'organisation (plutôt qu'au niveau du programme) (Canada, 2009d, paragraphe 3.3). Voici quelques exemples d'approches analytiques pour l'analyse de l'efficience opérationnelle :

• Analyse par rapport à une norme de référence : Comparaisons du coût réel par unité d'extrant de programme par rapport à une norme connue ou à une pratique exemplaire (McDavid et Hawthorn, 2006). Lorsque le coût réel par unité d'extrant s'éloigne beaucoup de la norme de référence, l'évaluateur peut chercher une justification raisonnable pour expliquer l'écart et déterminer quel effet, le cas échéant, cet écart a eu sur la production des extrants ou sur la réalisation des résultats.
• Comparaison et analyse des coûts prévus par rapport aux coûts réels/suivi et analyse des dépenses : Comparaisons des coûts prévus du programme (p. ex., par unité d'extrant, par poste budgétaire) avec les coûts réels ou avec une tendance des coûts des extrants au fil du temps. En présence d'écarts significatifs au niveau des coûts, l'évaluateur peut chercher une justification raisonnable pour expliquer l'écart et déterminer quel effet, le cas échéant, cet écart a eu sur la production des extrants ou sur la réalisation des résultats.
• Cartographie et analyse des processus opérationnels : De façon générale, la cartographie et l'analyse des processus opérationnels renvoient à une gamme d'activités qui consistent à repérer les processus clés d'exécution et analyser ces mêmes processus pour déterminer si des défis (p. ex., goulots d'étranglement) entravent la production des extrants et la réalisation des résultats ou si les processus sont inefficaces pour d'autres raisons. Ces processus opérationnels peuvent être cartographiés au moyen de modèles logiques ou de théories de programme. Dans certains cas, on peut chiffrer les processus cartographiés pour pouvoir faire une analyse des coûts. Dans d'autres cas, l'approche pourrait être davantage qualitative (p. ex., reposer sur l'observation des processus opérationnels, des entrevues avec des intervenants de premier plan).
• Examen de fidélité (O'Connor, Small et Cooney, 2007)/mise à l'essai de la théorie d'exécution : Les examens de fidélité, ou la mise à l'essai d'une théorie de l'exécution, représentent généralement des approches qualitatives de l'examen de l'efficience opérationnelle. Ces approches se concentrent sur la détermination de la mesure dans laquelle l'exécution du programme respecte les plans initiaux, la détermination des écarts au chapitre de l'exécution et l'examen de ces écarts pour établir les motifs qui les justifient et l'effet qu'ils ont eu sur les coûts ou sur la production des extrants, la réalisation des résultats ou les coûts. Ces approches permettent également de réaliser un examen des changements apportés par le programme dans son approche d'exécution et de l'incidence de ces changements sur les coûts ou sur la production d'extrants ou la réalisation de résultats. Lorsque c'est possible, ces approches peuvent être combinées avec des approches comparatives basées sur les coûts.
• Appréciation participative : L'appréciation participative est une approche à prédominance qualitative qui repose sur la collaboration avec des intervenants ayant pour objet de déterminer les inefficiences possibles qui consomment peut-être des ressources inutilement ou qui entravent la production des extrants ou la réalisation des résultats. Des outils comme la cartographie des résultats peuvent se révéler utiles à cet égard ¹⁰.
• Analyse de l'optimisation¹¹/opinion d'experts : L'analyse de l'optimisation renvoie à l'examen de la mesure dans laquelle on peut dire que les extrants ont été optimisés lorsque certains facteurs, comme le coût, la quantité, la qualité, le caractère actuel et le caractère adéquat des extrants produits, ont été mis en balance par les gestionnaires de programme d'une manière rationnelle défendable en tenant compte de la théorie du programme (c'est-à-dire les hypothèses, les risques, les mécanismes et le contexte), de la pertinence (c'est-à-dire les QF1, QF2 et QF3) et des issues observées (c'est-à-dire les résultats) du programme (QF4). On peut dire qu'il y a des inefficiences lorsqu'un ou plusieurs facteurs d'optimisation n'ont pas été mis en balance adéquatement et que la production des extrants ou la réalisation des résultats en ont subi les conséquences. De la même façon, l'opinion d'experts renvoie à d'autres approches de l'examen de l'optimisation basées sur les connaissances et l'expérience d'un observateur expert. Les approches reposant sur l'opinion d'experts peuvent être formelles (c'est-à-dire recourir à des critères précis) ou informelles. Toutefois, les approches informelles ne devraient être utilisées que rarement et pour des programmes dont le niveau de risque et de complexité ne nécessite qu'une rigueur minimale. On trouvera plus de détails sur le concept de l'optimisation à l'annexe E.
• Comparaison avec des modèles de programme de rechange : Lorsque c'est possible, l'efficience opérationnelle des programmes peut être comparée à celle des programmes de rechange réels ou hypothétiques. Un tel examen peut se baser sur les coûts ou être de nature plus qualitative.

On trouvera à l'annexe F un examen plus poussé de l'analyse de l'efficience opérationnelle, y compris une liste de secteurs d'intérêt courants.

Analyse de l'économie : Aux fins des évaluations des programmes fédéraux, l'analyse de l'économie renvoie à des approches analytiques utilisées pour examiner comment ont été choisis les intrants des programmes¹² à l'appui de la production d'extrants et de la réalisation de résultats. Ces approches peuvent comprendre l'analyse des coûts des intrants par rapport à divers facteurs de comparaison (p. ex., les intrants de rechange pour le même modèle d'exécution ou les modèles d'exécution utilisant d'autres intrants) ou un examen des intrants de nature plus qualitative (comme l'analyse de l'incidence des configurations des ressources humaines sur l'exécution du programme et les résultats observés). Ces analyses sont menées sous l'angle de la pertinence du programme et d'autres enjeux contextuels. Comme c'est le cas avec l'analyse de l'efficience opérationnelle, l'analyse de l'économie n'est pas conçue pour reproduire ou recouper les vérifications internes, mais plutôt, lorsque c'est approprié et lorsque de telles données sont disponibles, pour tirer profit de certaines des données produites par les vérifications internes. Exemples d'approches analytiques de l'analyse de l'économie :

• Analyse par rapport à une norme de référence : Semblable à l'analyse par rapport à une norme de référence telle qu'elle est utilisée pour l'analyse de l'efficience opérationnelle (voir ci-dessus), à la différence qu'elle porte ici sur le coût des intrants.
• Comparaison et analyse des coûts prévus par rapport aux coûts réels : Semblable à l'analyse par rapport à une norme de référence telle qu'elle est utilisée pour l'analyse de l'efficience opérationnelle (voir ci-dessus), à la différence qu'elle porte ici sur le coût des intrants.
• Coût comparatif par intrant : Semblable aux comparaisons par rapport à des modèles de programme de rechange dont il a été question ci-dessus. Lorsque c'est possible, l'économie des intrants peut être comparée à celle de solutions de rechange réelles ou hypothétiques.
• Analyse de l'optimisation ou opinion d'experts : Semblable à l'analyse de l'optimisation ou à l'opinion d'experts pour les extrants, à la différence qu'elle porte ici sur les intrants.

On trouvera à l'annexe G un examen plus poussé de l'analyse de l'économie, y compris une liste de secteurs d'intérêt courants.

Cette liste d'approches à l'examen de l'efficience et de l'économie n'est pas exhaustive. D'autres approches analytiques (p. ex., analyse des coût-faisabilité, analyse de la minimisation des coûts, processus décisionnels reposant sur de multiples attributs, etc.) dont nous ne discuterons pas en détail ici peuvent aussi servir de base à l'examen de la QF5.

Un grand nombre des approches exposées ci-dessus nécessitent des connaissances et une expérience précises sur les plans technique et méthodologique. Les chefs de l'évaluation et les gestionnaires de l'évaluation devraient veiller à ce que les personnes ou les équipes qui travaillent à l'examen de la QF5 possèdent (individuellement ou collectivement) les connaissances, les aptitudes et la compétence nécessaires pour exécuter adéquatement les activités et l'analyse requises pour un examen efficace de la QF5.

Comme dans le cas des évaluations en général, les évaluateurs devront calibrer leur approche de l'examen de la QF5 en fonction des besoins en matière d'information de leurs cadres supérieurs et des risques associés au programme.

5.0  Modèles logiques, théorie du programme, information sur les coûts et question fondamentale 5

6.0  Les prochaines étapes pour la collectivité fédérale de l'évaluation

Les évaluateurs des programmes du gouvernement fédéral trouveront dans ce guide un aperçu de l'examen de la QF5 et des consignes pour le mener à bien. Comme on l'a vu ci-dessus, il existe une vaste gamme d'approches plus traditionnelles pour examiner l'utilisation des ressources, comme l'analyse coût-efficacité et l'analyse coût-avantage, sur lesquelles les évaluateurs peuvent s'appuyer, le cas échéant. La collectivité de l'évaluation est encouragée à renforcer ses capacités de faire ces genres d'analyses.

Parallèlement, des approches nouvelles et novatrices voient le jour (comme l'analyse qualitative des coûts-utilité et la mise à l'essai de théories de l'exécution). Ces approches pourraient constituer des solutions de rechange dans les cas où les approches traditionnelles axées sur les coûts ne conviennent pas ou sont impossibles à mettre en œuvre. La collectivité fédérale de l'évaluation, y compris le Centre d'excellence en évaluation et les fonctions d'évaluation dans les ministères et organismes, devrait mettre à l'essai ces approches de rechange qui semblent prometteuses pour différents programmes et contextes.

7.0  Suggestions et demandes de renseignements

Les suggestions et les demandes de renseignements concernant le présent guide doivent être acheminées au :

Centre d'excellence en évaluation
Secteur de la gestion des dépenses
Secrétariat du Conseil du Trésor du Canada
Courriel : evaluation@tbs-sct.gc.ca

Pour en savoir plus sur les évaluations et des sujets connexes, consultez la section du Centre d'excellence en évaluation du site Web du Secrétariat du Conseil du Trésor du Canada.

Annexe A : Évolution des enjeux dans les évaluations au gouvernement fédéral de 1977 à 2009

Pour faire en sorte que la fonction d'évaluation au gouvernement fédéral continue d'être adaptée aux besoins de ses clients (c'est-à-dire les usagers des évaluations), la Politique sur l'évaluation de 2009 table sur les questions d'évaluation recensées dans la Politique d'évaluation de 2001 (c'est-à-dire pertinence, résultats et rentabilité) et clarifie celles-ci comme suit :

• en définissant clairement le concept de l'optimisation des ressources aux fins de l'évaluation;
• en désignant clairement la pertinence et le rendement comme sous-composantes de l'optimisation des ressources;
• en présentant aux évaluateurs trois questions fondamentales sur lesquelles axer l'évaluation pour orienter l'examen de la pertinence du programme;
• en regroupant les résultats et le rapport coût-efficacité à titre d'éléments du rendement du programme;
• en présentant aux évaluateurs deux questions fondamentales sur lesquelles axer l'évaluation pour orienter l'examen du rendement du programme.

L'ensemble de cinq questions fondamentales concernant l'évaluation, s'il est utilisé uniformément au fil du temps, aidera le gouvernement à mettre en place une base fiable de preuves tirées des évaluations à l'appui de l'amélioration des politiques et des programmes, de la gestion des dépenses, du processus décisionnel du Cabinet et des rapports publics, individuellement au niveau des programmes et horizontalement à l'échelle du gouvernement.

Annexe B : Le rendement dans les évaluations des programmes fédéraux

Comme on le voit dans l'annexe A de la Politique sur l'évaluation, le rendement s'entend de la mesure de l'efficacité, de l'efficience et de l'économie d'un programme du gouvernement fédéral.

Annexe C : L'état de préparation des programmes en vue de l'examen de la question fondamentale 5

L'évaluation de la mesure dans laquelle un programme est prêt à faire l'objet d'un examen de son économie et de son efficience se base en grande partie sur une évaluation de la logique et de la théorie du programme, ainsi que sur la disponibilité, l'accessibilité et le formatage des données permettant d'éclairer l'examen. La liste de contrôle du tableau C1 a été conçue pour aider les évaluateurs à travailler avec les gestionnaires de programme et les gestionnaires des finances pour déterminer les points forts et les points faibles concernant l'état de préparation du programme pour un examen de la QF5. En remplissant cette liste de contrôle bien avant les évaluations, les évaluateurs pourront signaler aux gestionnaires des programmes les lacunes de leurs systèmes de mesure du rendement aux fins des évaluations. La liste de contrôle peut également être utilisée par les gestionnaires de programme et les gestionnaires des finances pour éclairer l'élaboration et l'exécution de leurs stratégies de mesure du rendement.

Annexe D : Rôles et responsabilités en ce qui concerne la question fondamentale 5

Les rôles et responsabilités énumérés ci-dessous ont pour objet d'aider les évaluateurs (y compris les chefs de l'évaluation des ministères) à communiquer avec les gestionnaires de programme et les gestionnaires des finances au sujet des besoins, des rôles et des responsabilités concernant l'examen de la question fondamentale 5 (QF5).

Les gestionnaires de programme, les gestionnaires des finances, les chefs de l'évaluation et les gestionnaires de l'évaluation ont tous des rôles de premier plan à jouer lorsqu'il s'agit de veiller à ce qu'un programme soit prêt à être évalué dans l'optique de la QF5. Ils doivent assumer leurs rôles dès l'étape de la conception d'un programme et pendant toute sa durée.

Étant donné que les rôles et responsabilités des gestionnaires de programme, des gestionnaires des finances, des chefs de l'évaluation et des gestionnaires de l'évaluation sont étroitement reliés les uns aux autres, les outils – comme la stratégie de mesure du rendement (MR), la stratégie d'évaluation, le cadre d'évaluation et le rapport annuel sur l'état de la mesure du rendement – sont des plateformes importantes qui donnent à ces intervenants de premier plan l'occasion d'interagir régulièrement pour traiter des besoins en matière d'évaluation et de mesure du rendement.

Annexe E : Optimisation des intrants et des extrants

Dans les évaluations des programmes fédéraux qui ont recours à une analyse de l'efficience opérationnelle et à une analyse de l'économie pour examiner la question fondamentale 5, l'analyse ne porte pas uniquement sur le coût par unité d'extrant ou d'intrant, mais aussi sur la mesure dans laquelle les extrants ou les intrants ont été optimisés.

Les intrants ou les extrants sont réputés avoir été optimisés lorsque certains facteurs, y compris le coût, la quantité, la qualité, l'opportunité et le caractère approprié des extrants produits ou des intrants acquis, ont été mis en balance par les gestionnaires de programme d'une manière rationnelle défendable sur la base de la théorie du programme (c'est-à-dire hypothèses, risques, mécanismes et contexte), de la logique, de la pertinence (c'est-à-dire QF1, QF2 et QF3) et des résultats observés (c'est-à-dire la QF4). Les évaluateurs doivent examiner plus en profondeur la façon dont la mise en balance des attributs s'est répercutée sur la réalisation des résultats. On trouvera dans le tableau E1 un complément d'information sur les facteurs d'optimisation des intrants et des extrants.

Annexe F : Analyse de l'efficience opérationnelle

L'efficience opérationnelle a essentiellement trait à la question ayant comme objet de déterminer de quelle façon les ressources sont converties en extrants qui appuient la réalisation des résultats escomptés. L'analyse de l'efficience opérationnelle (AEO) ne représente pas une approche analytique unique ou un processus formalisé comme l'analyse coût-avantage. Elle renvoie plutôt à une gamme d'approches, de modèles et de méthodes analytiques qui peuvent être utilisés (lorsque c'est justifié de le faire et selon diverses combinaisons) pour examiner l'efficience des programmes de façon détaillée. De cette façon, les évaluateurs peuvent, entre autres choses :

• calibrer les évaluations en faisant une analyse plus approfondie de chaînes de résultats, d'extrants ou d'activités particuliers dont on juge qu'ils présentent des risques plus élevés;
• réaliser des examens de l'efficience de programmes qui ne sont pas encore au stade de leur cycle de vie ou de leur maturité où une analyse intégrale coût-efficacité ou coût-avantage est justifiée (p. ex., évaluations formatives).

Annexe G : Analyse de l'économie

L'analyse de l'économie se rapporte essentiellement à la mesure dans laquelle l'utilisation des ressources a été réduite au minimum lors de la mise en œuvre ou de l'exécution des programmes. De façon générale, cela peut comprendre notamment, mais non pas exclusivement, des examens :

• du coût d'intrants particuliers par rapport à des facteurs de comparaison (p. ex., les coûts prévus, des normes de référence, des solutions de rechange);
• de l'optimisation des intrants;
• des effets du contexte du programme sur l'optimisation des intrants et la sélection des intrants par la direction du programme.

L'analyse de l'économie (AE) ne représente pas une approche analytique unique ou un processus formalisé comme l'analyse coût-avantage. Elle renvoie plutôt à une gamme d'approches analytiques, de modèles et de méthodes qui peuvent être utilisés (lorsque c'est justifié de le faire et selon diverses combinaisons) pour examiner l'économie des programmes de façon détaillée. De cette façon, les évaluateurs peuvent, entre autres choses, calibrer les évaluations en entreprenant des analyses ciblées d'intrants précis.

Annexe H : Bibliographie

• Aucoin, P. (2005). Le processus décisionnel au gouvernement : le rôle de l'évaluation des programmes, Ottawa, Secrétariat du Conseil du Trésor du Canada.
• Bhatta, G. (2006). International dictionary of public management and governance, New York, M.E. Sharpe Inc.
• Brent, Robert J. (2002). A simple method for converting a cost-effectiveness analysis into a cost-benefit analysis with an application to state mental health expenditures, Public Finance Review, 30(2), pp. 144 à 160.
• Canada. (1977). Conseil du Trésor. Circulaire Évaluation des programmes effectuée par les ministères et organismes. Ottawa, Conseil du Trésor.
• Canada. (1992). Conseil du Trésor. Évaluation et vérification, Manuel du Conseil du Trésor. Ottawa, Conseil du Trésor.
• Canada. (1994). Conseil du Trésor. Examen, vérification interne et évaluation, Manuel du Conseil du Trésor. Ottawa, Conseil du Trésor.
• Canada. (2001). Conseil du Trésor. Politique d'évaluation, Ottawa, Conseil du Trésor.
• Canada. (2004a). Agence canadienne de développement international. Guide de l'évaluation à l'ACDI, Ottawa, Agence canadienne de développement international.
• Canada. (2004b). Bureau du vérificateur général du Canada. Manuel de vérification de gestion. Ottawa, ministère des Travaux publics et des Services gouvernementaux.
• Canada. (2008). Secrétariat du Conseil du Trésor du Canada. Guide d'établissement des coûts, Ottawa, Secrétariat du Conseil du Trésor du Canada.
• Canada. (2009a). Secrétariat du Conseil du Trésor du Canada. Directive sur la fonction d'évaluation, Ottawa, Secrétariat du Conseil du Trésor du Canada.
• Canada. (2009b). Secrétariat du Conseil du Trésor du Canada. Consignes aux ministères sur la préparation d'une structure de gestion, des ressources et des résultats, Ottawa, Secrétariat du Conseil du Trésor du Canada.
• Canada. (2009c). Conseil du Trésor. Politique sur l'évaluation, Ottawa, Conseil du Trésor.
• Canada. (2009d). Conseil du Trésor. Politique sur la vérification interne, Ottawa, Conseil du Trésor.
• Canada. (2009e). Secrétariat du Conseil du Trésor du Canada. Normes d'évaluation pour le gouvernement du Canada, Ottawa, Secrétariat du Conseil du Trésor du Canada.
• Canada. (2010). Secrétariat du Conseil du Trésor du Canada. Pour soutenir des évaluations efficaces : Guide d'élaboration de stratégies de mesure du rendement, Ottawa, Secrétariat du Conseil du Trésor du Canada.
• Chen, H. T. (2005). Practical program evaluation: Assessing and improving planning, implementation, and effectiveness, Thousand Oaks, Californie, Sage.
• de Salazar, L. et coll. (2007). Guide to economic evaluation in health promotion, Washington, D. C., Organisation panaméricaine de la santé.
• Earl S., Carden F. et Smutylo, T. (2001). Outcome mapping: Building learning and reflection into development programs. Ottawa, Centre de recherches pour le développement international.
• Eureval/Centre européen d'expertise en évaluation. (2006). Study on the use of cost-effectiveness analysis in EC's evaluations, Eureval/Commission européenne.
• Griffiths, B., C. Emery et R. Akehurst. (1995). Economic evaluation in rheumatology: A necessity for clinical studies, Annals of the Rheumatic Diseases, 54(11) pp. 863 à 864.
• Herman, P. M. et coll. (2009). Are cost-inclusive evaluations worth the effort? Evaluation and Program Planning, 1(32:1). pp. 55 à 61.
• Levin, Henry M. et Patrick J. McEwan. (2001). Cost-effectiveness analysis: Methods and applications. Thousand Oaks, Californie, Sage Publications Inc. (deuxième édition).
• Lusthaus, C. et coll. (2002). Évaluation organisationnelle – Cadre pour l'amélioration de la performance, Ottawa, Centre de recherche pour le développement international.
• McDavid, J. C. et L. R. L Hawthorn. (2006). Program evaluation and performance measurement: An introduction to practice, Thousand Oaks, Californie, Sage Publications Inc.
• Nagel, S.S. (2002). Handbook of public policy evaluation, ouvrage collectif publié sous la direction de S.S. Nagel, Thousand Oaks, Californie, Sage Publications Inc.
• Newman, I. et C.R. Benz. (1998). Qualitative and quantitative research methodology: Exploring the interactive continuum, Université de Southern Illinois.
• O'Connor, Cailin, Stephen A. Small et Siobhan M. Cooney. (2007). Program fidelity and adaptation: Meeting local needs without compromising program effectiveness. What works, Wisconsin – Research to Practice Series, numéro 4, Université de Wisconsin-Madison et Université de Wisconsin–Extension.
• Palenberg, M. et coll. (2011). Tools and methods for evaluating the efficiency of development interventions, Berlin, Ministère fédéral de la Coopération économique et du Développement.
• Rogers, Patricia J., Kaye Stevens et Jonathan Boymal. (Février 2009). Qualitative cost-benefit evaluation of complex, emergent programs. Evaluation and program planning, Elsevier, 32(1), pp. 83 à 90.
• Shaw, I., J. Greene et M. Mark (2006). The Sage Handbook of Evaluation, Thousand Oaks, Californie, Sage Publications Inc.
• van den Bergh, J. C. J. M. (2004). Optimal climate policy is a utopia: From quantitative to qualitative cost-benefit analysis, Ecological Economics 48(1), pp. 385 à 393.
• Weiss, C.H. (1977). Using social research in public policy making, ouvrage collectif publié sous la direction de C.H. Weiss, Lexington (Massachusetts), D.C. Heath.
• White, Jennifer L. et coll. (March 2005). Cost analysis in educational decision making: Approaches, procedures, and case examples, WCER Working Paper No. 2005-1, Wisconsin Centre for Education Research.
• Yates, B. T. (1998). Formative evaluation of costs, cost-effectiveness, and cost-benefit: Toward cost → procedure → process → outcome analysis. Dans Handbook of applied social research methods, ouvrage collectif publié sous la direction de L. Bickman et D.J. Rog, Thousand Oaks, Californie, Sage, pp. 285 à 314.