Approches d'évaluation axées sur la théorie : Concepts et pratiques

ISBN : 978-1-100-99137-5
No de catalogue BT22-131/2012F-PDF

© Sa Majesté la Reine du chef du Canada,
représentée par le président du Conseil du Trésor, 2012

Ce document est disponible en médias substituts sur demande.

Nota : Pour ne pas alourdir le texte français, le masculin est utilisé pour désigner tant les hommes que les femmes.

Table des matières

Préface

Pourquoi des approches d'évaluation axées sur la théorie?

Au cours des 20 dernières années, les approches axées sur la théorie, qui portent diverses appellations, se sont de plus en plus glissées parmi les réflexions et pratiques courantes concernant la conception, la description, la mesure et l'évaluation des interventions (p. ex., programmes, politiques, initiatives ou projets). Durant cette période, ces approches se sont révélées prometteuses pour ce qui est d'aider les évaluateurs à relever une panoplie de défis, notamment la complexité inhérente de certains types d'interventions et les limitations liées aux modèles d'évaluation expérimentaux.

Pour veiller à ce que l'évaluation continue de jouer un rôle clé en fournissant une appréciation neutre fondée sur des éléments probants de l'optimisation des ressources (c.‑à‑d. la pertinence et le rendement) affectées aux programmes fédéraux, le Secrétariat du Conseil du Trésor du Canada reconnaît qu'il importe d'enrichir le « coffre à outils » mis à la disposition des évaluateurs fédéraux. Les approches d'évaluation axées sur la théorie représentent un outil potentiellement puissant.

Utilisation du présent document

Le présent document explique quelques‑uns des principaux concepts inhérents aux approches d'évaluation axées sur la théorie. Les lecteurs seront, espérons‑le, encouragés par les renseignements et conseils figurant dans le présent document et, à la longue, envisageront des applications (p. ex., projets pilotes) en milieu fédéral. Dans cette optique, les sections 1.0 à 8.0 du document décrivent l'application générale d'évaluation axées sur la théorie et les sections 9.0 et 10.0 traitent de l'application possible aux fins de divers programmes fédéraux.

Toutefois, il n'est aucunement question ici d'un programme exhaustif de formation en évaluation axée sur la théorie, ni d'un guide détaillé sur la réalisation d'une telle évaluation. Les évaluateurs qui souhaitent intégrer ces approches à leurs pratiques sont encouragés à lire des ouvrages spécialisés, y compris ceux qui sont mentionnés dans le présent document, voire à demander une aide supplémentaire pour mener à bien ce genre d'évaluation.

Remerciements

Le présent document a été préparé par le Centre d'excellence en évaluation du Secrétariat du Conseil du Trésor du Canada, avec l'aide de M. John Mayne.

Le Centre d'excellence en évaluation souhaite remercier les ministères et organismes qui ont révisé et commenté les ébauches du présent document.

1. Introduction

1.1  Le défi des modèles d'évaluation expérimentaux

Comme mentionné dans les Méthodes d'évaluation des programmes : Mesures et attribution des résultats des programmes (Secrétariat du Conseil du Trésor du Canada, chap. 3), les évaluateurs font face à deux grands défis : mesurer les résultats prévusVoir la note en bas de page 1d'une intervention et attribuer ces résultats aux activités de l'intervention.

Les modèles d'évaluation expérimentaux visent à répondre à ces deux défis (chap. 3). Ces modèles mesurent habituellement tant les résultats de référence que les résultats finaux associés à une intervention. De plus, en intégrant un élément contre‑factuel (p. ex., un groupe témoin), ils permettent l'évaluation du lien de causalité entre l'intervention et les résultats observés.

Les modèles d'évaluation expérimentaux et quasi expérimentaux peuvent être relativement puissants et devraient être utilisés au besoin (p. ex., lorsque les interventions s'appuient sur une approche nouvelle ou différente visant à régler un problème et que le but de l'évaluation consiste à déterminer si l'intervention fonctionne). Ces modèles comportent cependant plusieurs lacunes, plus particulièrement les deux points suivants :

  • Les modèles manquent de pragmatisme : Dans de nombreux contextes, les modèles expérimentaux, surtout les plus avancés, ne peuvent être mis en œuvre. Il arrive souvent que l'élaboration d'un élément contre‑factuel soit difficile ou indésirable, notamment pour des motifs d'ordre éthique. Dans certains cas, il n'est peut‑être pas possible de traiter l'exécution de l'intervention de manière à démontrer l'attribution. Dans d'autres cas, les ressources et le temps nécessaires pour élaborer des modèles expérimentaux ne sont peut‑être pas disponibles.
  • Les interventions sont perçues comme des « boîtes noires » : Les modèles expérimentaux, même lorsqu'ils sont pratiques, n'ont pas pour objectif d'expliquer pourquoi et comment les résultats observés ont été obtenus. Ces modèles ne visent pas à répondre à des questions du genre : « Quel élément de l'intervention ou du contexte est la cause des résultats? » Ils ne visent pas non plus, dans les cas où les résultats prévus n'ont pas été observés, à répondre aux questions suivantes : « Quel élément de l'intervention n'a pas fonctionné? », « L'hypothèse sous‑jacente de l'intervention était‑elle fausse? » ou « Le problème représente‑t‑il un cas de mise en œuvre déficiente? ». Les modèles expérimentaux, parce qu'ils ne posent pas ces questions, sont souvent décrits comme des études « boîtes noires » qui permettent peut‑être d'évaluer si les résultats prévus ont été obtenus et si l'intervention a joué un rôle, mais qui ne cherchent pas à expliquer pourquoi l'intervention a fonctionné ou non.

Une approche d'évaluation axée sur la théorie peut aider à corriger ces lacunes. En l'absence d'un modèle expérimental général, ce genre d'approche fournit un moyen d'évaluer dans quelle mesure une intervention a produit les résultats observés ou influé sur ces résultats. Cette approche consiste à ouvrir la « boîte noire » et à examiner précisément comment l'intervention entraîne les résultats observés.

1.2  En quoi consistent les approches d'évaluation axées sur la théorie?

Les approches d'évaluation axées sur la théorie utilisent une théorie du changement explicite pour formuler des conclusions quant à la contribution d'une intervention eu égard aux résultats observés. Les approches axées sur la théorie constituent une « logique d'enquête » qui complète la plupart des modèles d'évaluation et techniques de collecte de données examinées dans les Méthodes d'évaluation des programmes : Mesures et attribution des résultats des programmes, et qui peut être utilisée conjointement avec ces modèles et techniques.

Il est important de souligner que l'évaluation « axée sur la théorie » est une approche d'évaluation (c. à d., un modèle analytique conceptuel) et non une méthode ou une technique précise. Il s'agit d'une façon de structurer et d'effectuer une analyse dans le cadre d'une évaluation.

Une théorie du changement explique de quelle façon l'intervention devrait produire ses résultats prévus. Cette théorie définit la séquence des événements (extrants, résultats immédiats, résultats intermédiaires, résultats finaux) qui devraient avoir lieu conséquemment à l'intervention. Cette séquence est habituellement appelée la « logique du programme » ou le « modèle logique ». La théorie du changement va toutefois plus loin : elle décrit les mécanismes du changement, formule les hypothèses et définit les risques et le contexte qui pourraient appuyer la théorie ou l'empêcher de se concrétiser sous la forme de résultats observés. La « boîte noire » du changement s'ouvre et les évaluateurs peuvent mieux examiner le lien de causalité entre les extrants de l'intervention et les résultats observés. La théorie du changement peut être utilisée pour comparer, au moyen d'éléments probants, la présumée chaîne causale des résultats avec les observations, en vérifiant chacun des liens et des hypothèses du processus, afin de confirmer la théorie.

Les théories du changement peuvent être considérées comme l'histoire de ce qui devrait « arriver » dans les flèches qui relient les encadrés d'un modèle logique traditionnel.

La théorie du changement peut aussi être vue comme un modèle logique qui a été décrit et expliqué, en particulier dans l'optique des liens de causalité entre les extrants et les divers niveaux des résultats.

Les approches axées sur la théorie font l'objet d'études depuis de nombreuses années (voir Weiss 1997, Rogers 2007 et Funnell et Rogers 2011). Les chercheurs ne s'entendent pas sur la terminologie, ni même sur les concepts. Toutefois, il y a cohérence des messages clés et consensus quant à la valeur des approches axées sur la théorie.

Bibliographie

  • Chen, H.‑T. (1990). Theory‑driven evaluations. Newbury Park, CA: Sage Publications Inc.
  • Chen, H.‑T. (1994). Theory‑driven evaluations: Need, difficulties and options. Evaluation Practice, 15(1), 79‑82.
  • Funnell, S. et Rogers, P. (2011). Purposeful program theory: Effective use of theories of change and logic models. San Francisco, CA: Jossey Bass.
  • Rogers, P. (2007). Theory‑based evaluations: Reflections ten years on. New Directions for Evaluation, 114, 63‑67.
  • Weiss, C. H. (1997). Theory‑based evaluation: Past, present, and future. New Directions for Evaluation, 76, 41‑55.
  • Weiss, C. H. (1997). How can theory‑based evaluation make greater headway? Evaluation Review, 21, 501‑524.
  • Weiss, C. H. (2000). Which links in which theories shall we evaluate? New Directions for Evaluation, 87, 35‑45.
  • Weiss, C. H. (2003). On theory‑based evaluation winning friends and influencing people. The Evaluation Exchange, IX(4), 1‑5.

2. Contexte et causalité des approches d'évaluation axées sur la théorie

Deux notions maîtresses distinguent les approches axées sur la théorie des approches d'évaluation traditionnelles : (1) l'influence du contexte sur les résultats des programmes et (2) l'utilisation d'une approche mécaniste, plutôt que contre‑factuelle, pour déterminer la causalité.

Importance du contexte

Les approches axées sur la théorie, plus que toute autre approche d'évaluation, s'intéressent explicitement au contexte de l'intervention. Il est reconnu que des facteurs contextuels peuvent aider une intervention à réaliser ses objectifs ou nuire à l'efficacité de celle‑ci. Par exemple, dans une intervention visant à diminuer le tabagisme dans la population, les facteurs contextuels peuvent comprendre l'enthousiasme des personnes chargées de faire respecter l'interdiction de fumer, la composition sociale des populations ciblées et les mesures législatives à l'appui. Ces facteurs sont souvent essentiels pour établir des inférences de causalité et doivent donc faire partie du modèle d'évaluation.

Dans l'élaboration d'une théorie du changement, le contexte peut être explicitement déterminé (c. à d., comme une description autonome) ou peut être représenté dans le cadre d'une explication des hypothèses sous tendant le programme.

Causalité mécaniste

Dans la plupart des interventions, il existe habituellement plusieurs causes pour un résultat observé. Divers autres facteurs socio‑économiques, outre les interventions d'autres ordres de gouvernement, peuvent aussi entrer en jeu. Par exemple, la réussite d'un programme d'incitatifs sous forme d'indemnités visant à encourager les infirmières à s'établir dans les régions rurales et à y travailler peut être fonction non seulement de l'offre et de l'importance de l'indemnité, mais également des taux d'emploi dans le domaine des sciences infirmières, des agglomérations rurales précises dans lesquelles les infirmières sont placées et des antécédents personnels de ces infirmières. Dans ces cas, il n'est pas possible de trouver un seul lien de cause à effet pouvant être attribué intégralement à un mécanisme (c.‑à‑d. de trouver la cause exacte). Les questions qu'il convient plutôt de se poser dans le cadre de l'évaluation sont les suivantes : « Étant donné le grand nombre de facteurs qui influent sur un résultat, l'intervention a‑t‑elle contribué de façon remarquable à un résultat observé? Si oui, de quelle façon? » L'objectif devient la compréhension de la contribution, plutôt que la preuve de l'attribution.

Les approches d'évaluation axées sur la théorie visent à comprendre la contribution d'une intervention eu égard aux résultats observés au moyen d'une interprétation mécaniste ou d'une interprétation axée sur le processus de la causalité plutôt qu'à établir la causalité en faisant une comparaison avec un élément contre‑factuel. Dans les approches axées sur la théorie, les étapes précises de la chaîne de causalité, chacun des mécanismes de causalité, sont mises à l'essai. S'ils sont confirmés au moyen de preuves empiriques, il y a donc fondement pour établir une inférence de causalité. De plus, il est important de définir et d'évaluer les facteurs déterminants clés externes (c.‑à‑d. les facteurs contextuels) qui pourraient aussi jouer un rôle dans la chaîne de causalité et influer sur l'affirmation de contribution.

3. Théories du changement et modèles logiques

Les gestionnaires des programmes fédéraux utilisent régulièrement des modèles logiques pour décrire les résultats attendus d'une intervention.Voir la note en bas de page 2 Dans les cas où les gestionnaires de programme n'ont pas élaboré leur propre modèle logique, les évaluateurs le font souvent pour appuyer leur démarche d'évaluation. Les chaînes de résultats intégrées dans les modèles logiques constituent des éléments de base pour l'élaboration de théories du changement. Ces dernières s'appuient sur une chaîne de résultats pour expliquer les raisons pour lesquelles on s'attend à une séquence de résultats donnée. Les modèles logiques s'attardent quant à eux souvent uniquement aux « résultats » visés par un programme (c.‑à‑d. les encadrés que contient habituellement un modèle logique visuel). L'approche axée sur la théorie soutient que « la logique de la logique » constitue l'élément important des modèles logiques : elle s'intéresse aux liens (que l'on pourrait associer à la logique du cycle court) entre les encadrés d'un modèle logique visuel plutôt qu'à la logique du cycle long de la chaîne de résultats (figure 1). Bref, les théories du changement expliquent en quoi l'intervention devrait produire les résultats désirés plutôt que se limiter à décrire les résultats proprement dits.

Figure 1. Logique de court terme contre logique de long terme (Théorie du changement contre logique du programme)
Figure 1. Logique de court terme contre logique de long terme (Théorie du changement contre logique du programme). Version textuelle ci-dessous:
Figure 1. Logique de court terme contre logique de long terme (Théorie du changement contre logique du programme) - Version textuelle

Cette figure illustre la différence entre la logique de court terme de la théorie du changement - c’est-à-dire, les différences qui existent entre les niveaux d’une chaîne de résultats ou d’un modèle logique et la logique de long terme de la chaîne de résultats, - des activités aux résultats finaux du modèle logique. Au centre de la figure, on trouve un ensemble de cinq cases disposées à la verticale, qui représentent la chaîne de résultats. Les cases correspondent aux éléments qu’on trouve habituellement dans une chaîne de résultats ou un modèle logique et sont étiquetées de la façon suivante (de bas en haut) : activités, résultats, résultats immédiats, résultats intermédiaires et résultats ultimes. Elles sont reliées par des flèches pointant vers le haut, des cases inférieures aux cases supérieures, et représentent le mouvement dans la chaîne de résultats (activités, extrants, résultats immédiats, résultats intermédiaires et résultats finaux.

À la droite de la chaîne de résultats, il y a une grande boucle ovale qui commence à la case du bas, qui est étiquetée « activités », et se termine à la case du haut, qui est étiquetée « résultats ultimes ». La boucle est composée de deux lignes, chacune se terminant par une flèche, et représente le processus de « rétroaction ». Cette boucle est étiquetée « logique de long terme », aussi appelée logique du programme.

À la gauche de la figure, on trouve quatre petites boucles disposées à la verticale et comprenant deux lignes courbes, chacune se terminant par une flèche. Les boucles représentent la rétroaction et sont placées de sorte à s’aligner vis-à-vis les espaces libres séparant les cinq cases de la chaîne de résultats. Ces boucles sont étiquetées « logique de court terme », aussi appelée théorie du changement.

En règle générale, une théorie du changement comporte :

  • Un modèle logique ou une chaîne de résultats
  • Des hypothèses et une définition des risques et, parfois, des mécanismes associés à chaque lien du modèle logique ou de la chaîne de résultats;
  • Un exposé des facteurs externes qui peuvent influer sur les résultats prévus;
  • Les preuves empiriques à l'appui des hypothèses et la définition des risques et des facteurs externes.

Les théories du changement sont parfois désignées par les termes « théories des programmes », « voies des effets », « voies du changement » et autres.

Les hypothèses sont les événements ou conditions clés qui doivent se concrétiser pour que le lien de causalité se manifeste. Les risques sont les influences ou les événements externes à l'intervention qui peuvent inhiber la manifestation du lien de causalité. Les mécanismes sont les processus casuels qui permettent au programme de produire les résultats. Les facteurs externes désignent les circonstances indépendantes du contrôle du programme (p. ex., le contexte social, politique ou économique) qui pourraient avoir un effet sur la capacité de ce programme d'atteindre un objectif précis.

Dans certains cas, les théories du changement se subdivisent en deux volets : la théorie de l'intervention, qui décrit les hypothèses béhavioristes sous‑jacentes, à savoir les mécanismes, motivant l'intervention, et la théorie de la mise en œuvre, qui définit précisément la façon dont l'intervention particulière devrait fonctionner et déclencher ces mécanismes. Ces deux théories peuvent être élaborées séparément, mais sont souvent intégrées sous la forme d'une théorie du changement. Il n'existe malheureusement pas de terminologie uniforme dans le domaine des théories du changement; il peut donc arriver que des auteurs utilisent les mêmes termes pour désigner des concepts différents. Blamey et Mackenzie (2007) ont étudié cette confusion terminologique.

Bibliographie

Blamey, A. et Mackenzie, M. (2007). Theories of change and realistic evaluation: Peas in a pod or apples and oranges. Evaluation, 13(4), 439‑455.

4. Approches d'évaluation axées sur la théorie

Il n'existe pas de classification convenue des approches axées sur la théorie. En fait, au cours des dernières années, il y a eu prolifération de ce genre d'approche et de nombreuses variations ont été recensées pour chaque approche. Deux grandes catégories d'évaluations axées sur la théorie, soit l'évaluation réaliste et la théorie du changement, sont examinées dans la présente section. Il faut toutefois souligner que ces descriptions sont de nature générale et ne s'appliquent peut‑être pas à tous les cas. Pour obtenir un complément d'information sur les ressemblances et les différences entre les approches axées sur la théorie, le lecteur est invité à consulter les études de Blamey et Mackenzie (2007) ou de Stame (2004).

Évaluation réaliste

L'évaluation réaliste est une forme d'évaluation axée sur la théorie élaborée par Pawson et Tilley (1997, 2006). Ces deux chercheurs soutiennent que l'efficacité des interventions dépend des mécanismes sous‑jacents à l'œuvre dans un contexte donné. Pour Pawson et Tilley,

résultat = mécanisme + contexte

Les mécanismes décrivent les éléments de l'intervention qui déclenchent le changement. Par exemple, dans un processus de lutte contre le tabagisme, les mécanismes pourraient englober la pression exercée par les pairs, la crainte de risques pour la santé et les considérations économiques. Pour les évaluateurs réalistes, les principales questions à poser sont les suivantes : « Qu'est‑ce qui fonctionne? », « Pour quelle personne? », « Quelles sont les circonstances? », « Sur quels plans » et « De quelle façon? ». Les évaluateurs réalistes ne s'intéressent moins à la question des résultats, à savoir si l'intervention a fonctionné à un macro‑niveau.

L'évaluation réaliste consiste à élaborer et à mettre à l'essai de façon empirique les hypothèses inhérentes aux résultats produits, aux mécanismes en jeu et aux contextes visés. L'approche réaliste est souvent plus axée sur la recherche; elle porte principalement sur l'examen de la théorie d'intervention sous‑jacente et ses hypothèses comportementales à l'œuvre ainsi que sur les conditions favorisant l'intervention. L'attention est surtout axée sur les contextes, les mécanismes et les configurations des tendances liées aux résultats (CMCTR) qui sont les plus prometteurs et qui montrent comment les interventions sont censées fonctionner, dans quelles populations et dans quelles conditions. Ces derniers facteurs peuvent être perçus comme des « mini‑théories du changement » ou comme des liens dans la théorie du changement générale d'une intervention. Chaque facteur CMCTR est, en effet, assujetti à une évaluation et est étudié en fonction des données disponibles.

Blamey et Mackenzie (2007, p. 444) décrivent de la façon suivante un processus d'évaluation réaliste, utilisant à titre d'exemple une intervention de lutte contre le tabagisme :

  • Étape 1 : L'évaluateur, en échangeant avec les responsables de la mise en œuvre du programme, essaie de comprendre la nature du programme : « Quel est le but du programme de lutte contre le tabagisme? », « Quelle est la nature de la population cible? », « Dans quels genres de contextes et de milieux le programme sera‑t‑il exécuté? » « Quelles sont les théories prédominantes sur l'efficacité des services de renonciation au tabagisme pour certains clients dans certaines circonstances? ».

  • Étape 2 : L'évaluateur définit une série de mini‑théories potentielles qui mettent en corrélation les divers contextes d'un programme et les multiples mécanismes permettant la mise en œuvre du programme en vue de l'obtention de différents résultats. Par exemple, les connaissances des praticiens et les éléments probants existants peuvent suggérer qu'il sera plus efficace d'axer le volet éducatif d'un programme de lutte contre le tabagisme, dirigé par une sage‑femme auprès de femmes enceintes dans l'attente de leur premier enfant, sur les effets néfastes potentiels du tabagisme pour le bébé in utero. Par contre, les jeunes fumeuses non enceintes seront moins réceptives que les femmes enceintes aux dangers pour la santé d'un bébé à naître. Elles seront plutôt susceptibles de réagir à des interventions anti‑tabac visant à les interpeller sur le plan de leur image personnelle.

  • Étape 3 : À ce stade, l'évaluateur mène une enquête sur les résultats liés à ces mini‑théories. L'exercice consiste à dresser un portrait qualitatif et quantitatif du programme en action. Il peut, par exemple, s'agir d'étudier comment différents genres de fumeurs se comportent pour rompre leur habitude après que divers services de renonciation leur ont été fournis selon divers modes. Ce portrait englobe une évaluation de la mesure dans laquelle différentes motivations implicites et différents mécanismes psychologiques sous‑jacents ont été déclenchés par un genre particulier de services chez des fumeurs donnés.

  • Étape 4 : Dans le cadre d'une étude sur les effets des facteurs CMCTR dans un programme, l'évaluateur formule des théories provisoires sur ce qui fonctionne pour des fumeurs donnés dans des circonstances précises.

L'un des principaux points forts de l'approche réaliste est l'importance qu'elle accorde au contexte. Selon cette approche, le contexte doit faire partie du cadre d'évaluation et les contextes donnés, qu'ils se situent à l'intérieur ou à l'extérieur du contrôle de l'intervention, peuvent améliorer le fonctionnement de l'intervention ou exercer un effet négatif.

Le lecteur trouvera des exemples d'évaluation réaliste dans les études de Byng, Norman et Redfern (2005), de Leeuw, Gilse et Kreft (1999), et de Leone (2008).

Théorie du changement : approches

Ces approches consistent à élaborer une théorie du changement pour l'intervention indiquant le fonctionnement prévu de l'intervention et exposant les hypothèses qui sous‑tendent la théorie. Souvent, elles portent sur les questions d'évaluation traditionnelles visant à déterminer si l'intervention a fonctionné et, le cas échéant, dans quelle mesure (« L'intervention a‑t‑elle eu un effet sur les résultats désirés? »). La théorie du changement est habituellement élaborée en fonction d'un éventail de points de vue d'intervenants et de sources d'information. Parmi les approches dont il est question, mentionnons l'évaluation axée sur la théorie (Weiss 1995, 2000), l'évaluation fondée sur la théorie (Chen 1990) et l'analyse de la contribution (Mayne 2001). Ces chercheurs élaborent tous une théorie du changement pour l'intervention, puis vérifient la mesure dans laquelle leur théorie correspond à ce qui est observé.

Selon une approche de la théorie du changement, soit l'analyse de la contribution, si un évaluateur peut confirmer une théorie du changement au moyen de preuves empiriques et expliquer les principaux facteurs déterminants externes, il est raisonnable de conclure que l'intervention en question a eu un effet. La théorie du changement appuie l'argument selon lequel l'intervention change le cours des choses; elle définit les points faibles de cet argument et, du coup, cerne les zones où des données pour renforcer l'affirmation s'avèrent le plus nécessaires. Une inférence causale est établie à partir des faits suivants :

  • L'intervention est fondée sur une théorie du changement raisonnée : la chaîne des résultats et les hypothèses sous‑jacentes quant au bon fonctionnement de l'intervention sont solides et plausibles, et les principaux intervenants y adhèrent.
  • Les activités de l'intervention ont été mises en œuvre.
  • La théorie du changement est confirmée au moyen de preuves : la chaîne des résultats prévus s'est réalisée, les hypothèses ont tenu et les résultats finaux ont été observés.
  • Les facteurs externes (c.‑à‑d. le contexte) influant sur l'intervention ont été évalués et il a été démontré qu'ils ne contribuaient pas largement aux résultats ou que, dans les cas où leur contribution était importante, cette contribution était reconnue.

En fin de compte, une conclusion (affirmation de contribution) est formulée et indique si l'intervention a changé le cours des choses. En somme :

affirmation de contribution = théorie du changement confirmée + autres facteurs déterminants clés pris en compte

Le lecteur trouvera des exemples d'évaluation de théories du changement dans les études de Carvalho et White (2004), de Weiss (1995) et de White (2009). Patton (2008) fournit un exemple d'évaluation qui utilise une analyse de la contribution.

Bibliographie

  • Blamey, A., et Mackenzie, M. (2007). Theories of change and realistic evaluation: Peas in a pod or apples and oranges. Evaluation, 13(4), 439‑455.
  • Byng, R., Norman, I. et Redfern, S. (2005). Using realistic evaluation to evaluate a practice‑level intervention to improve primary healthcare for patients with long‑term mental illness. Evaluation, 11(1), 69‑93.
  • Carvalho, S. et White, H. (2004). Theory‑based evaluation: The case of social funds. American Journal of Evaluation, 25(2), 141‑160.
  • Chen, H.‑T. (1990). Theory‑driven evaluations. Newbury Park, CA: Sage Publications Inc.
  • Leeuw, F. l., Gilse, G. H. et Kreft, C. (1999). Evaluating anti‑corruption initiatives: Underlying logic and mid‑term impact of a World Bank Program. Evaluation, 5(2), 194‑219.
  • Leone, L. (2008). Realistic evaluation of an illicit drug deterrence programme. Evaluation, 14(1), 9–28.
  • Mayne, J. (2001). Addressing attribution through contribution analysis: Using performance measures sensibly. Canadian Journal of Program Evaluation, 16(1), 1‑24.
  • Mayne, J. (2008). Contribution analysis: An approach to exploring cause and effect (PDF – 130 Ko, seulement en anglais) (ILAC Brief No. 16). Rome, Italy: The Institutional Learning and Change Initiative (ILAC).)
  • Mayne, J. (2011). Contribution analysis: Addressing cause and effect. In K. Forss, M. Marra et R. Schwartz, (Eds.), Evaluating the complex: Attribution, contribution and beyond (p. 53–96). New Brunswick, NJ: Transaction Publishers.
  • Patton, M. Q. (2008). Utilization‑focused evaluation (4th ed.), Thousands Oaks, CA: Sage Publications Inc.
  • Pawson, R. et Tilley, N. (1997). Realistic evaluation. Thousands Oaks, CA: Sage Publications Inc.
  • Pawson, R. et Tilley, N. (2006). Realist evaluation. Development Policy Review Network Thematic Meeting, Report on Evaluation, Amsterdam, Netherlands.
  • Pawson, R., Greenhalgh, T., Harvey, G. et Walshe, K. (2004). Realist synthesis: An introduction (PDF – 475 Ko, seulement en anglais) (Research Methods Paper 2). Manchester, UK: University of Manchester, Economic and Social Research Council Research Methods Programme.
  • Stame, N. (2004). Theory‑based evaluation and varieties of complexity. Evaluation, 10(1), 58‑76.
  • Weiss, C. H. (1995). Nothing as practical as good theory: Exploring theory‑based evaluation for comprehensive community initiatives for children and families. In J. P. Connell, A. C. Kubisch, L. B. Schorr et C. H. Weiss (Eds.), New approaches to evaluating community initiatives: Vol. 1, Concepts, methods, and contexts. Washington, DC: The Aspen Institute.
  • Weiss, C. H. (2000). Which links in which theories shall we evaluate? New Directions for Evaluation, 87, 35–45
  • White, H. (2009). Theory‑based impact evaluation: Principles and Practice (Working Paper 3). International Initiative for Impact Evaluation (3ie).

5. Examiner les questions fondamentales des évaluations fédérales au moyen des approches d'évaluation axées sur la théorie

Dans sa Directive sur la fonction d'évaluation, le Conseil du Trésor définit les cinq enjeux fondamentaux (trois portent sur la pertinence des programmes et deux sur le rendement des programmes) qui devraient être examinés dans toutes les évaluations fédérales effectuées aux termes de la Politique sur l'évaluation.

Pertinence

  1. Besoin continu du programme
  2. Conformité aux priorités du gouvernement
  3. Harmonisation avec les rôles et responsabilités du gouvernement

Rendement (efficacité, efficience et économie)

  1. Réalisation des résultats escomptés
  2. Démonstration d'efficience et d'économie

Les approches axées sur la théorie peuvent être particulièrement utiles eu égard aux
enjeux 1, 4 et 5.

Le volet besoin continu du programme consiste à évaluer dans quelle mesure l'intervention continue de répondre à un besoin démontrable et est adaptée aux besoins des Canadiens. L'élaboration et l'évaluation de la théorie du changement relative à l'intervention peuvent aider à établir si, compte tenu des connaissances actuelles au sujet de ce genre d'intervention, la structure et le modèle de l'intervention en cours conviennent toujours. L'intervention est‑elle toujours pertinente? Le modèle actuel est‑il le bon? Le programme cible‑t‑il les bonnes personnes de la bonne façon? Enfin, une théorie du changement qui contient des renseignements sur le contexte initial du programme ou sur les changements survenus peut être comparée avec le contexte actuel. Il sera ainsi possible de déterminer les changements qui influent sur le rendement du programme ou de déterminer la capacité d'adaptation du programme à ces changements.

Le volet réalisation des résultats escomptés est une évaluation des progrès réalisés en vue de l'obtention des résultats prévus (immédiats, intermédiaires et finaux) qui fait référence aux objectifs de rendement, à la portée de l'intervention ainsi qu'au modèle d'intervention, y compris au lien entre les extrants et les résultats et à la contribution des extrants aux résultats. Grâce à une approche axée sur la théorie, l'évaluation peut mener à des conclusions quant à la contribution de l'intervention par rapport aux résultats observés. De plus, ce genre d'approche peut fournir de l'information sur les éléments de l'intervention qui ont bien fonctionné et sur les circonstances ainsi que sur les autres facteurs qui influent sur les résultats d'intérêt.

Le volet démonstration d'efficience et d'économie consiste à évaluer l'utilisation des ressources relativement à la production des extrants et aux progrès réalisés concernant l'atteinte des résultats escomptés. Les approches axées sur la théorie consistent notamment à isoler les chaînes des résultats et à préciser les mécanismes et les processus permettant à l'intervention de se réaliser. Dans le cadre des évaluations s'appuyant sur une approche d'évaluation opérationnelle de l'enjeu fondamental 5 (p. ex., évaluation de type formatif ou évaluation des processus), ces théories axées sur les programmes ou les interventions peuvent aider à déterminer les unités d'analyse aux fins de l'évaluation de l'utilisation des ressources.

6. Élaboration de théories du changement

Il existe une documentation abondante sur l'élaboration d'une théorie du changement (voir la bibliographie). La plupart des publications ont été rédigées par et pour des évaluateurs, qui ont souvent besoin de concevoir une théorie lorsqu'ils entreprennent une évaluation. Dans le cadre d'un scénario privilégié de plus en plus répandu, les concepteurs et les gestionnaires de l'intervention élaborent une théorie du changement à l'étape de la conception initiale de l'intervention et à titre d'aide à la planification de l'intervention et à la planification de la mesure du rendement. Il s'agit d'une pratique exemplaire de gestion axée sur les résultats qui doit être encouragée s'il y a lieu. Ces utilisations des théories du changement sont examinées à la section 10.0.

Dans les cas où les évaluateurs élaborent une théorie du changement rétroactivement, ils devraient consulter à tout le moins les sources d'information que voici :

  • Documents clés relatifs à l'intervention (p. ex., mémoires au Cabinet, modalités de l'intervention, documents de planification, etc.);
  • Études bibliographiques pertinentes (p. ex., évaluations antérieures, publications de chercheurs en sciences sociales, etc.);
  • Gestionnaires de l'intervention;
  • Bénéficiaires;
  • Spécialistes du domaine;
  • Modèle logique du programme.

L'élaboration d'une théorie du changement comporte habituellement trois étapes, à savoir :

  1. L'élaboration d'un modèle logique avec des chaînes de résultats claires et des liens de causalité explicites (une théorie du changement de base).
  2. La définition des hypothèses et des risques sous‑tendant la théorie du changement.
  3. La détermination des autres facteurs contextuels associés à la chaîne de résultats; il en découle une théorie du changement améliorée.

Élaboration d'une théorie du changement de base

Pour élaborer une théorie de changement de base, il faut définir les activités de l'intervention, les extrants et la séquence de résultats nécessaires à l'obtention des résultats prévus. Il s'agit souvent de mettre au point un modèle logique doté de chaînes de résultats raisonnables et de décrire explicitement ce que signifient au juste les flèches ou d'autres liens dans chaque chaîne de résultats.

Par exemple, la figure 2 présente une théorie du changement de base pour une intervention visant à instaurer un processus de gestion axée sur les résultats (GAR) efficace dans une organisation. La partie gauche de la figure 2 contient une chaîne de résultats pour l'intervention, à savoir fournir de la formation et des conseils sur la mesure et la surveillance des résultats, d'où des systèmes et une capacité de GAR améliorés ainsi que l'institutionnalisation de la GAR, d'où l'utilisation des données sur les résultats pour prendre des décisions avisées, d'où enfin un meilleur rendement des programmes de l'organisation. La partie droite de la figure 2 décrit les liens de causalité entre les extrants et les résultats (c.‑à‑d. ce qui s'est produit dans les flèches en gris qui relient les extrants et les résultats). Une définition ou un résumé de la théorie du changement de base pour l'intervention est fourni au bas de la figure 2.

Les flèches en bleu, qui apparaissent à l'envers partant des résultats finaux jusqu'aux extrants, indiquent que, même si la chaîne de résultats est illustrée sous forme de processus linéaire, il y aurait normalement de la rétroaction entre les différentes étapes de cette chaîne. Par exemple, la disponibilité de données sur les résultats de meilleure qualité et plus nombreuses pourrait entraîner un besoin accru de formation et de conseils. De même, si l'utilisation des données sur les résultats augmentait, il y aurait probablement une demande accrue d'une information de qualité dans le domaine.

Dans l'élaboration de théories du changement, il y a également lieu de déterminer le degré d'influence de l'intervention au plan de son lien de causalité et le degré de contrôle de l'intervention pour garantir que le lien de causalité se réalise. À la figure 2, le processus commence par l'étiquetage de chaque lien de causalité : « directement influencé » [DI], « influencé » [I] ou largement « à l'extérieur de la zone d'influence » [E] de l'intervention.

Figure 2. Théorie du changement de base l’amélioration de la gestion axée sur les résultats dans les organisations
Figure 2. Théorie du changement de base l’amélioration de la gestion axée sur les résultats dans les organisations. Version textuelle ci-dessous:
Figure 2. Théorie du changement de base l’amélioration de la gestion axée sur les résultats dans les organisations - Version textuelle

La deuxième figure illustre une chaîne de résultats d’un modèle logique et la théorie du changement de base correspondante.

À la gauche de la figure, on trouve un ensemble de cinq cases disposées à la verticale, qui représentent la chaîne des résultats. Les cases correspondent aux éléments qu’on trouve habituellement dans une chaîne de résultats ou un modèle logique et sont étiquetées de la façon suivante (de bas en haut) : extrants, résultats immédiats, premiers résultats intermédiaires, deuxièmes résultats intermédiaires et résultats ultimes. Elles sont reliées par des flèches pointant vers le haut (des cases inférieures aux cases supérieures), qui représentent le mouvement dans la chaîne de résultats, à savoir : extrants, résultats immédiats, premiers résultats intermédiaires, deuxièmes résultats intermédiaires et résultats ultimes. Les cases sont également reliées par un deuxième ensemble de flèches pointant vers le bas (des cases supérieures aux cases inférieures), afin d’illustrer la nature itérative des différents niveaux de la chaîne de résultats. Chaque case renferme un énoncé de résultats correspondant au lien existant dans la chaîne de résultats.

À la droite de la figure, on trouve quatre cases de lien de causalité, qui représentent la théorie du changement de base. Ces cases sont disposées à la verticale et sont placées de sorte à s’aligner vis-à-vis les espaces libres séparant les cinq cases de la chaîne de résultats. Elles sont également reliées par des flèches pointant vers le haut de la chaîne de résultats, afin de montrer que les liens de causalité représentent les changements qui se produisent entre les différentes cases ou les différents niveaux de la chaîne de résultats. Chaque case de lien de causalité renferme une description du changement qui s’opère entre les différents niveaux de la chaîne de résultats. Une description des liens de causalité, étiquetée « Théorie du changement pour les organisations », est également fournie.

Chaque lien de causalité est étiqueté afin d’illustrer le degré d’influence que le programme peut avoir sur le lien. Le premier lien de causalité (entre les extrants et les résultats immédiats) est étiqueté « D », ce qui signifie que le programme a une influence directe sur le lien. Les deux liens de causalité suivants (entre les résultats immédiats et le premier résultat intermédiaire, et entre le premier et le deuxième résultat intermédiaire) sont étiquetés « I », ce qui signifie que le programme a un certain degré d’influence. Le dernier lien de causalité (entre le deuxième résultat intermédiaire et les résultats ultimes) est étiqueté « E », ce qui signifie qu’il n’est pas soumis à l’influence du programme.

Théorie du changement pour les organisations : En fournissant de l'information, de la formation et de l'aide pratique en GAR, les organisations renforceront leur capacité de GAR et créeront les systèmes connexes. Elles utiliseront les données sur les résultats pour éclairer le processus décisionnel, cette pratique entraînera une augmentation de l'efficacité et de l'efficience des programmes.

Légende:

  • [C] - sous contrôle
  • [DI] - directement influencé
  • [I] - influencé
  • [E] - à l'extérieur de la zone d'influence

Théorie du changement plus précise : Définir les hypothèses, les risques et les facteurs externes

La théorie du changement plus précise va au‑delà de la théorie de base pour ce qui est de la définition des hypothèses sous‑tendant les divers liens de causalité de la chaîne de résultats et des risques associés à ces hypothèses. Cela contribue à garantir que la théorie du changement explique les conditions qui doivent exister pour que chaque lien de causalité puisse se concrétiser (c.‑à‑d. pour que A mène à B). La figure 3 établit une théorie du changement plus précise pour l'exemple de la GAR, montrant les hypothèses et les risques qui sous‑tendent les liens de causalité cernés dans la théorie du changement de base. Par ailleurs, plutôt que de représenter les hypothèses comme c'est le cas dans la figure 3, les hypothèses peuvent être présentées comme une liste de prémisses qui doivent être vérifiées. C'est l'approche que Leeuw, Gilse et Kreft (1999) ont utilisée.

Tout comme dans la théorie du changement de base, il y a lieu dans la théorie du changement plus précise de déterminer le degré d'influence d'une intervention à l'égard de ces hypothèses et risques. Cependant, comme illustré à la figure 3, il y a un nouveau niveau d'influence (contrôle [C]) pour signaler les zones où l'intervention devrait être en mesure de contrôler efficacement une condition en particulier (p. ex., la production d'extrants).

Il est aussi important de définir les autres facteurs externes significatifs, soit les facteurs contextuels, qui pourraient influer sur les résultats désirés. Ces facteurs externes sont généralement considérés comme des situations ou des événements qui ne relèvent pas du contrôle direct de l'intervention aux fins d'influence, de gestion ou de prévention. Ces facteurs peuvent être illustrés comme faisant partie de la théorie du changement. Par exemple, à la figure 3, les influences externes, qui figurent à la gauche de la chaîne des résultats, peuvent englober les besoins des organismes de financement, les expériences antérieures négatives d'initiatives de gestion ou certaines tendances des pairs en matière de gestion qui consistent à améliorer la surveillance et l'évaluation des interventions.

Le fait de formuler des hypothèses et de définir les risques et les influences externes aide à décrire l'intervention proprement dite et son contexte. La formulation des hypothèses et la définition des risques et des facteurs externes à l'étape de la conception de l'intervention peuvent aider à cerner les activités additionnelles que l'intervention pourrait englober dans le cadre de sa gestion du risque. L'exercice pourrait entraîner la transformation d'un facteur déterminant externe défini, sur lequel l'intervention n'influait auparavant pas, en un risque interne pouvant être atténué dans une certaine mesure. Cette chaîne de résultats et cette théorie du changement élargies peuvent être utiles comme cadre pour l'évaluation (quand la théorie du changement serait mise à l'essai au moyen de données empiriques issues de l'intervention afin de déterminer si la théorie est efficace) et pour l'amélioration du mécanisme d'établissement de rapports sur le rendement de l'intervention (se reporter à la section 10).

Le lecteur trouvera des exposés sur l'élaboration d'une théorie du changement et des exemples connexes en visitant le site Web de Theory of Change Community.

Figure 3. Théorie du changement améliorée pour l’amélioration de la gestion axée sur les résultats dans les organisations
Figure 3. Théorie du changement améliorée pour l’amélioration de la gestion axée sur les résultats dans les organisations. Version textuelle ci-dessous:
Figure 3. Théorie du changement améliorée pour l’amélioration de la gestion axée sur les résultats dans les organisations - Version textuelle

La troisième figure illustre la chaîne de résultats d’un modèle logique et la théorie du changement améliorée correspondante.

Au centre de la figure, on trouve un ensemble de six cases disposées à la verticale, qui représentent la chaîne de résultats. Les cases correspondent aux éléments qu’on trouve habituellement dans une chaîne de résultats ou un modèle logique et sont étiquetées de la façon suivante (de bas en haut) : premiers extrants, deuxième extrants, résultats immédiats, premiers résultats intermédiaires, deuxièmes résultats intermédiaires et résultats ultimes. Les cases sont reliées par des flèches pointant vers le haut (des cases inférieures aux cases supérieures), qui représentent le mouvement dans la chaîne de résultats, à savoir : premiers résultats, deuxièmes résultats, résultats immédiats, premiers résultats intermédiaires, deuxièmes résultats intermédiaires et résultats ultimes. Les cases sont également reliées par un deuxième ensemble de flèches pointant vers le bas (des cases supérieures aux cases inférieures), afin d’illustrer la nature itérative des différents niveaux de la chaîne de résultats. Chaque case renferme un énoncé de résultats, c’est-à-dire un énoncé des extrants, des résultats immédiats, etc.).

À la droite de la figure, on trouve cinq cases de lien de causalité, qui représentent la théorie du changement améliorée pour le programme. Ces cases sont disposées à la verticale et sont placées de sorte à s’aligner vis-à-vis les espaces séparant les six cases de la chaîne de résultats. Elles sont également reliées par des flèches pointant vers le haut dans la chaîne de résultats, afin d’illustrer que les liens de causalité représentent les changements qui se produisent entre les différentes cases (ou niveaux) de la chaîne de résultats. Chaque case de lien de causalité renferme une description des risques qui existent et des hypothèses en vigueur entre les différents niveaux de la chaîne de résultats.

À la gauche de la figure, on trouve une case étiquetée « influences externes » représentant les facteurs externes ou contextuels pouvant avoir une incidence sur le rendement du programme. Cette case est centrée par rapport aux six cases représentant la chaîne de résultats. À la droite de la case, on trouve une flèche pointant vers la chaîne de résultats. Cette flèche représente l’incidence que les influences externes peuvent avoir sur les différents éléments de la chaîne de résultats.

Les risques et les hypothèses relatifs aux liens de causalité sont étiquetés pour illustrer le degré d’influence que le programme a sur ceux-ci. La mention « C » signifie sous contrôle, la mention « DI » signifie directement influencé, la mention « I » représente un certain degré d’influence et la mention « E » signifie que le risque ou l’hypothèse n’est pas soumis à l’influence du programme. Même s’il n’existe pas de ligne de démarcation claire, les risques et les hypothèses relatifs aux liens de causalité qui existent entre les niveaux inférieurs de la chaîne de résultats (p. ex., entre les cases « extrants » ou entre les cases « extrants » et les cases « résultats immédiats ») sont généralement étiquetés « C », « DI » ou « I », ce qui signifie qu’aux niveaux inférieurs de la chaîne de résultats, le niveau de contrôle ou d’influence des programmes tend à augmenter. Aux niveaux supérieurs de la chaîne de résultats, les liens de causalité sont généralement étiquetés « I » ou « E », ce qui signifie que le niveau de contrôle ou d’influence des programmes tend à diminuer au niveau supérieur de la chaîne de résultats.

Légende:

  • [C] - sous contrôle
  • [DI] - directement influencé
  • [I] - influencé
  • [E] - à l'extérieur de la zone d'influence

Bibliographie

  • Chen, H.‑T. (2003). Theory‑driven approach for facilitation of planning health promotion or other programs. Canadian Journal of Program Evaluation, 18(2), 91‑113.
  • Connell, J. P. et Kubisch, A. C. (1998). Applying a theory of change approach to the evaluation of comprehensive community initiatives: Progress, prospects, and problems. In K. Fulbright‑Anderson, A. C. Kubisch et J. P. Connell (Eds.), New approaches to evaluating community initiatives: Vol. 2, Theory, measurement, and analysis. Washington, DC: The Aspen Institute.
  • Funnell, S. (2000). Developing and using a program theory matrix for program evaluation and performance monitoring. New Directions for Evaluation, 87, 91‑101.
  • Funnell, S. et Rogers, P. (2011). Purposeful program theory: Effective use of theories of change and logic models. San Francisco, CA: Jossey Bass.
  • Goertzen, J. R., Hampton, M. R. et Jeffery, B. L. (2003). Creating logic models using grounded theory: A case example demonstrating a unique approach to logic model development. Canadian Journal of Program Evaluation, 18(2), 115‑138.
  • Hatry, H. (2006). Performance measurement: Getting results (2nd ed.). Washington, DC: The Urban Institute Press.
  • Leeuw, F. L. (2003). Reconstructing program theories: Methods available and problems to be solved. American Journal of Evaluation, 24(1), 5‑20.
  • Leeuw, F. L., Gilse, G. H. et Kreft, C. (1999). Evaluating anti‑corruption initiatives: Underlying logic and mid‑term impact of a World Bank Program. Evaluation, 5(2), 194‑219.
  • Mason, P. et Barnes, M. (2007). Constructing theories of change. Evaluation, 13(2), 151‑170.
  • Organizational Research Services. (2004). Theory of change: A practical tool for action, results and learning (PDF – 369 Ko, seulement en anglais). Seattle, WA: Annie E. Casey Foundation.
  • Patton, M. Q. (2008). Utilization‑focused evaluation (4th ed.). Thousand Oaks, CA: Sage Publications Inc.
  • Rogers, P. (2008). Using program theory to evaluate complicated and complex aspects of interventions. Evaluation, 14(1), 29‑48.
  • Weiss, C. (1995). Nothing as practical as good theory: Exploring theory‑based evaluation for comprehensive community initiatives for children and families. J. P. Connell, A. C. Kubisch, L. B. Schorr et C. H. Weiss (Eds.), New approaches to evaluating community initiatives: Vol. 1, Concepts, methods, and contexts (pp. 65–92). Washington, DC: The Aspen Institute.

7. Utilisation des théories du changement pour établir des inférences causales

Les inférences causales (affirmations à propos des causes et effets) peuvent être effectuées en vérifiant la théorie du changement aux fins d'une intervention par rapport à ce qui a été observé, et en évaluant l'influence d'autres facteurs externes. L'analyse de la contribution, dont il est question dans la présente section, est au nombre de ces approches.

La figure 4 présente sept étapes itératives qui interviennent durant une analyse de la contribution. Chacune des étapes établit l'affirmation sur la contribution et tient compte des faiblesses dégagées à l'étape précédente. À la fin du processus, on obtient une description de la contribution raisonnablement crédible (c.‑à‑d. une description sous forme narrative de la théorie du changement et des éléments probants qui l'appuient).

Figure 4. Processus d’analyse de la contribution
Figure 4. Processus d’analyse de la contribution. Version textuelle ci-dessous:
Figure 4. Processus d’analyse de la contribution - Version textuelle

La quatrième figure illustre les sept étapes du processus permettant d’effectuer une analyse des contributions.

Les étapes du processus sont les suivantes :

  • Étape 1 : Définir les cas de cause à effet à examiner.
  • Étape 2 : Élaborer la théorie du changement.
  • Étape 3 : Évaluer la description de la contribution.
  • Étape 4 : Recueillir les éléments probants existants sur la théorie du changement.
  • Étape 5 : Réévaluer la description de la contribution et les défis qui s’y rattachent.
  • Étape 6 : Chercher de l’information probante supplémentaire.
  • Étape 7 : Réviser et renforcer la description de la contribution.

À l’étape 7, il y a une flèche qui pointe vers l’espace séparant les étapes 4 et 5. Cette flèche indique que le processus, bien que comprenant sept étapes distinctes, n’est pas conçu pour être linéaire. Certaines de ces étapes sont itératives et exigent de l’évaluateur qu’il retourne à une étape antérieure, tout dépendant des nouvelles informations ou connaissances qui peuvent être obtenues dans le cadre du processus.

Il convient de souligner qu'il est plus efficace d'exécuter les étapes 1 à 5 pendant la phase de la conception de l'intervention (se reporter à la section 10.0) que pendant la phase de la planification de l'évaluation. Les cinq premières étapes forment le cadre d'analyse de la contribution.

Les sept étapes sont présentées et examinées successivement. Toutefois, comme il est mentionné ci‑dessous, ces étapes font habituellement et constamment l'objet d'un examen et d'une révision.

Étape 1 : Définir les cas de cause à effet à examiner

Dans une analyse de la contribution, il faut tout d'abord définir la portée de l'évaluation ainsi que les questions d'évaluation à aborder.

  • Formuler soigneusement le cas de cause à effet à examiner, en employant les formulations usuelles suivantes :
    • L'intervention a‑t‑elle contribué à régler le problème?
    • Quels sont des aspects de l'intervention ou du contexte qui ont donné lieu à une contribution?
  • En tenant compte du contexte de l'évaluation et de la nature des décisions auxquelles contribuera l'évaluation, déterminer le niveau de confiance exigé au regard des constatations. Dans le cas des interventions comportant un faible risque, le niveau de confiance requis est généralement bas et, de ce fait, l'étendue des éléments probants et la profondeur de l'analyse suivent la même tendance.
  • Explorer la nature et la portée de la contribution attendue de l'intervention. Déterminer les éléments qui montreraient que l'intervention a contribué de façon notable aux résultats attendus.
  • Déterminer si, d'une manière générale, la contribution prévue est plausible compte tenu de la nature de l'intervention (c.‑à‑d. déterminer si le problème peut raisonnablement être réglé grâce à l'intervention). Si une contribution n'est pas plausible, la valeur d'une analyse ultérieure pourrait être limitée.

Étape 2 : Élaborer la théorie du changement

La deuxième étape consiste à élaborer la théorie du changement.

  • Concevoir la théorie initiale et la théorie plus précise du changement sur laquelle se fonde l'intervention (se reporter à la section 6.0).
  • Déterminer le niveau de détail requis. L'analyse de la contribution requiert des chaînes de résultats raisonnablement simples, sans détails excessifs, en particulier au début. Aux étapes subséquentes, on pourrait décider que des détails et des précisions supplémentaires s'imposent afin d'examiner certains aspects de la théorie du changement, mais cette information peut aussi être ajoutée ultérieurement.

Étape 3 : Évaluer la description de la contribution formulée

À cette étape, il est utile d'examiner d'un œil critique la description de la contribution issue de la théorie du changement.

  • Évaluer la logique des liens et vérifier la plausibilité des hypothèses utilisées dans la théorie du changement. La théorie comporte‑t‑elle des écarts significatifs? Ces écarts peuvent‑ils être comblés si l'on précise la théorie du changement? Dans la négative, quelles sont les mesures à prendre pour produire une évaluation crédible?
  • Cerner les éléments probants requis pour renforcer la description de la contribution. Déterminer les liens de causalité qui requièrent peu ou pas d'éléments probants. Déterminer les facteurs externes qui ne sont pas bien compris.
  • Déterminer dans quelle mesure la théorie du changement est contestée. Est‑elle généralement admise? Certains aspects sont‑ils contestés? Y a‑t‑il plus d'une théorie du changement en cause?

Une partie de cette réflexion et de cette analyse a déjà été amorcée à l'étape de l'élaboration de la théorie du changement (étape 2). C'est pourquoi il se produira souvent une itération entre ces deux étapes. À cette étape du processus, il peut être utile d'effectuer un examen critique indépendant de la théorie du changement (par ex., l'intervention d'un expert externe). À ce moment‑là, la théorie du changement est la théorie hypothétique préalable sur l'action prévue par les concepteurs de l'intervention. On peut alors la confronter aux éléments probants.

Étape 4 : Rassembler les éléments probants existants sur la théorie du changement

Avant de recueillir de nouvelles données, il est utile et rentable de chercher les données et les renseignements pertinents disponibles liés à la théorie du changement.

  • Recueillir les éléments probants existants (évaluations et recherches antérieures, surveillance continue et analyse de l'environnement, et rapports sur les programmes) afin de fournir des preuves empiriques à propos de la description de la contribution qu'est censée fournir l'intervention (p. ex., les éléments probants des activités mises en œuvre, les résultats observés, les hypothèses, les facteurs externes pertinents et la manifestation du risque).
  • Recueillir de l'information sur les influences externes (c.‑à‑d. des données qui aident à déterminer la plausibilité de leur effet sur la théorie du changement). Dans certains cas, les évaluateurs voudront élaborer des « théories » sur l'incidence possible des influences externes sur le programme.

À cette étape de l'analyse, la théorie du changement relative à l'intervention est formulée et les éléments probants disponibles qui l'appuient ont été rassemblés. Dans une certaine mesure, la théorie du changement a été vérifiée. On a également dégagé les facteurs externes significatifs, ainsi que les éléments probants qui s'y rattachent.

Étape 5 : Réévaluer la description de la contribution et les défis qui s'y rattachent

Il est maintenant possible de procéder à l'évaluation critique de la description de la contribution issue de la théorie du changement en tenant compte de l'information probante existante.

  • Évaluer d'un œil critique la description de la contribution.
    • Parmi les liens de causalité établis dans la théorie du changement, lesquels sont solides (logique solide, éléments probants suffisants pour démontrer que les hypothèses se sont vérifiées, faible risque ou acceptation générale) et lesquels sont faibles?
    • Évaluer la crédibilité globale de la description. Le schéma des résultats observés et les liens valident‑ils la chaîne de résultats?
    • Les intervenants sont‑ils en accord avec la description de la contribution établie?
    • Est‑il probable que l'un ou l'autre des facteurs externes significatifs aient eu un effet notable sur les résultats observés?
    • Quelles sont les principales faiblesses de la description? Par exemple, les liens de causalité établis dans la théorie du changement doivent être notés en fonction de la probabilité de leur réalisation.Voir la note en bas de page 3 Il peut être utile de mentionner les points faibles qui requièrent des données ou de l'information supplémentaire.
  • Ajuster la théorie du changement, en désagrégeant les éléments, s'il y a lieu, et réévaluer la description de la contribution.

Jusqu'à cette étape du processus d'évaluation, aucune donnée nouvelle n'a été recueillie. Le processus d'évaluation s'est plutôt appuyé sur les documents sur l'intervention, les discussions avec la direction et, dans certains cas, avec des experts, et le dépouillement de la documentation. Toutefois, à l'étape 5, l'évaluateur détermine les aspects de l'évaluation qui requièrent des éléments probants supplémentaires pour appuyer la description de la contribution. Ces éléments probants peuvent servir de moteur principal pour préparer ou préparer à nouveau le cadre d'évaluation et mettre à jour les méthodes de collecte des données connexes. Ce cadre d'évaluation doit tenir compte des cinq enjeux fondamentaux énoncés dans la Directive sur la fonction d'évaluation ainsi que des questions supplémentaires soulevées par les utilisateurs de l'évaluation et cernées aux étapes 1 à 5 décrites ci‑dessus.

Étape 6 : Chercher de l'information probante supplémentaire

C'est à cette étape que les évaluateurs devraient commencer à recueillir de nouvelles données primaires fondées sur les étapes précédentes en vue de l'évaluation.

  • Recueillir les éléments probants nécessaires pour renforcer la description de la contribution, au moyen des méthodes de collecte de données appropriées présentées dans les Méthodes d'évaluation des programmes : Mesures et attribution des résultats des programmes (p. ex., sondages, entrevues et examen et analyse de données administratives). Il s'agit de chercher des données démontrant les résultats produits, la validité des hypothèses et des risques compris dans la théorie du changement et des facteurs externes significatifs susceptibles d'avoir influé sur les résultats obtenus.
  • Certains modèles quasi expérimentaux ou expérimentaux qui font appel à des groupes de comparaison pourront être utilisés pour explorer les éléments de la théorie du changement. Weitzman, Silver et Dillman (2002) présentent un exemple du renforcement de la théorie du changement sur laquelle repose une intervention au moyen d'un groupe de comparaison quasi expérimental.
  • D'un point de vue théorique, l'évaluateur peut utiliser plusieurs méthodes de collecte de données courantes pour renforcer la vérification de la théorie.
    • Les entrevues auprès des personnes clés peuvent servir à tester la théorie du changement qui a été développée, à obtenir des théories du changement différentes de celle de l'évaluateur et à discuter d'autres facteurs déterminants. Une fois les réponses des personnes interrogées recueillies, il est utile de déterminer clairement sur quels éléments probants se base leur opinion.
    • Les groupes de discussion et les ateliers sont des méthodes intéressantes pour explorer la théorie du changement, car ils donnent lieu à des discussions et à des débats sur les différences de perception des intervenants quant à l'action de l'intervention. Ce genre d'approche peut déboucher sur des théories du changement différentes et permettre de cerner d'autres facteurs déterminants. Les groupes de discussion et les ateliers sont des moyens d'élaborer ou de perfectionner la théorie du changement et de déterminer et établir des éléments probants pour démontrer dans quelle mesure la théorie du changement s'est vérifiée dans les faits.
    • Les études de cas peuvent être utilisées de la même manière que les groupes de discussion et les ateliers. Dans le contexte de la théorie du changement, les études de cas sont des outils de collecte de données plus efficaces pour confirmer ou réfuter une théorie du changement, ou les très brèves étapes de la conception d'une théorie du changement, de façon à démontrer que la théorie du changement est effectivement plausible et pas seulement fondée sur des croyances sans fondement.

Étape 7 : Réviser et renforcer la description de la contribution

Au moyen des nouveaux éléments probants recueillis ci‑dessus, les évaluateurs peuvent maintenant concevoir une description de la contribution plus crédible, qui s'appuie sur de solides conclusions relatives aux liens de causalité établis dans la théorie du changement. Il vaut la peine de répéter que le processus itératif convient mieux à la réalisation de l'analyse de la contribution. À cette étape, l'évaluateur peut envisager un retour à l'étape 5 ou même à des étapes précédentes afin de réévaluer les forces et les faiblesses de la théorie du changement et de la description de la contribution, et de déterminer si une analyse supplémentaire sera utile ou possible.

Bibliographie

Weitzman, B. C., Silver, D. et Dillman, K.‑N. (2002). Integrating a comparison group design into a theory of change evaluation: The case of the urban health initiative. American Journal of Evaluation, 23(4), 371‑386.

8. Forces et faiblesses des approches d'évaluation axées sur la théorie

Les approches d'évaluation axées sur la théorie ne sont pas une panacée pour attribuer clairement les résultats aux programmes. Toutefois, elles comportent plusieurs aspects positifs.

  • Elles peuvent souvent être utilisées dans des cas où d'autres approches ne peuvent l'être (p. ex., les modèles expérimentaux).
  • Elles donnent la possibilité aux évaluateurs et aux gestionnaires de l'intervention de formuler une description de la contribution qui a du sens pour les personnes concernées.
  • Elles ouvrent la « boîte noire » de l'intervention du programme, ce qui permet aux évaluateurs de comprendre pourquoi certaines interventions fonctionnent et d'autres pas.
  • Elles permettent de formuler des conclusions sur les liens de cause à effet démontrés par une intervention.
  • Elles peuvent contribuer à tirer davantage profit des données actuelles et à centrer la collecte de nouvelles données sur des aspects présentant des lacunes importantes, d'où une utilisation plus efficiente efficace des ressources d'évaluation.

En revanche, les approches d'évaluation axées sur la théorie comportent certaines lacunes manifestes.

  • Elles ne fournissent pas nécessairement une mesure quantitative de l'étendue de la contribution d'une intervention. Le cas échéant, il peut parfois s'avérer nécessaire d'effectuer une analyse qui soutient la mesure de l'étendue des résultats observés.
  • Parce qu'il demande de faire la synthèse d'une vaste gamme de points de vue et de sources d'information et d'obtenir l'accord de tous les intervenants, le développement d'une théorie du changement est parfois difficile.
  • L'élaboration d'une théorie du changement peut demander passablement de temps ou exiger tout un lot de données. Toutefois, l'évaluateur peut, dans certains cas (p. ex., les programmes à faible risque ou les programmes peu complexes où la tolérance à l'égard de l'incertitude de l'attribution est plus élevée), recourir à une approche « plus souple » calibrée (p. ex., une théorie du changement moins étoffée exigeant une vérification moins rigoureuse). En procédant de cette façon, l'évaluateur peut augmenter la rigueur et rehausser la crédibilité de ces évaluations (y compris les évaluations dont la méthodologie comprend des échantillons de petite taille (White et Phillips, 2011) ou des avis d'experts).
  • Il est possible que plus d'une théorie du changement soit avancée. Si plusieurs théories du changement sont produites et solidement soutenues, il faudra peut‑être mettre chacune d'elles à l'essai afin de déterminer celle qui correspond le plus à la réalité. Le cas échéant, les évaluateurs voudront peut‑être cibler leurs efforts sur les aspects où les théories diffèrent et explorer les raisons et les répercussions.

Weiss (1997) et Mackenzie et Blamey (2005) présentent des analyses plus détaillées sur les défis que posent les approches d'évaluation axées sur la théorie.

Pour intégrer les approches d'évaluation axées sur la théorie au coffre à outils d'évaluation de leur organisation, les évaluateurs du gouvernement fédéral voudront peut‑être commencer avec des interventions de moindre envergure, c'est‑à‑dire relativement simples, et acquérir de l'expérience qui pourra les aider à régler certaines des difficultés énoncées ci‑dessus. Les ouvrages cités dans le présent document renferment maints exemples et exposés inhérents à l'utilisation des approches axées sur la théorie.

Bibliographie

  • Bureau d'évaluation du Fonds pour l'environnement mondial. (2009). Review of outcomes to impact (ROtl): Practitioner's handbook: (PDF 1420 Ko, anglais seulement) Washington, DC: Global Environmental Facility.
  • Mackenzie, M. et Blamey, A. (2005). The practice and the theory: Lessons from the application of a theories of change approach. Evaluation, 11(2), 151‑168.
  • Mayne, J. (2001). Addressing attribution through contribution analysis: Using performance measures sensibly. Canadian Journal of Program Evaluation, 16(1), 1‑24.
  • Mayne, J. (2008). Contribution analysis: An approach to exploring cause and effect (PDF – 130 Ko, en anglais seulement) (Brief No. 16). The Institutional Learning and Change (ILAC) Initiative.
  • Weiss, C. H. (1997). How can theory‑based evaluation make greater headway? Evaluation Review, 21(4), 501‑524.
  • Weitzman, B. C., Silver, D. et Dillman, K.‑N. (2002). Integrating a comparison group design into a theory of change evaluation: The case of the urban health initiative. American Journal of Evaluation, 23(4), 371‑386.
  • White, H. and Phillips, D. (2011). Small n Impact Evaluations (PDF – 979 Ko, en anglais seulement). International Initiative for Impact Evaluation, London Seminar Series. November 17, 2011.

9. Utilisation des approches axées sur la théorie pour évaluer des problèmes de cause à effet dans divers types d'interventions

La collectivité de l'évaluation du gouvernement fédéral cherche sans cesse des moyens novateurs d'évaluer différents types d'interventions, et il lui incombe de le faire. Il s'agit notamment de l'évaluation des politiques, des initiatives horizontales, des programmes à faibles risques, des subventions et des contributions, et de groupes d'interventions. La présente section examine comment les approches d'évaluation axées sur la théorie peuvent contribuer à soutenir ces efforts. Dans certains cas, comme celui de l'évaluation des politiques, l'évaluateur doit mettre à profit son expérience, tandis que dans d'autres, des suggestions sont formulées et doivent être explorées de façon concrète.

Évaluation des politiques

L'évaluation des politiques du gouvernement peut être complexe. Habituellement, les politiques gouvernementales comprennent un certain nombre d'interventions différentes au sein du programme (ou d'autres activités) ayant pour but de réaliser les objectifs de la politique. Les interventions relatives au programme peuvent prendre diverses formes, ce qui témoigne de l'utilisation des différents instruments de politiques comme les dépenses directes, la législation, la réglementation et la fiscalité, et des types particuliers d'activités exécutées à l'intérieur de ces grands groupes. En outre, les interactions possibles entre les différentes interventions de programme ou entre les politiques sont susceptibles d'accroître les difficultés associées à l'évaluation de ces politiques.

Dans ces cas, les approches axées sur la théorie peuvent être appliquées de diverses façons, y compris, sans s'y limiter, les façons suivantes :

  • Pour chaque politique, on peut développer une théorie du changement, qui décrit l'action attendue de la politique, montre la série d'interventions de programme à l'appui et indique comment ces dernières sont censées concourir à la réalisation des résultats que la politique doit produire. Cette théorie peut fournir une base pour décider de la meilleure façon de procéder à l'évaluation de la politique.
  • On peut développer des théories du changement pour chaque intervention de programme afin d'évaluer la contribution faite au chapitre de la politique générale (p. ex., une analyse de la contribution). Ensuite, on pourra regrouper et synthétiser les conclusions tirées des évaluations pour formuler des constatations et des conclusions sur la politique à proprement parler. À partir des différentes théories du changement ainsi élaborées, les autres interventions de programme, qui représentent les autres interventions de programme à l'appui de la politique, peuvent être traitées comme s'il s'agissait de facteurs externes. On peut donc évaluer les indices qui témoignent de la présence d'interactions entre les interventions.
  • Au lieu de se concentrer sur les interventions de programme, il peut être utile de recenser les différents types de stratégiesVoir la note en bas de page 4 utilisées pour mettre en œuvre la politique et employer ces mêmes stratégies comme point central de l'évaluation axée sur la théorie. En adoptant cette perspective, l'évaluateur tente de cerner les instruments de politique qui fonctionnent bien, et dans quelles circonstances et avec quelles personnes ils sont efficaces. L'utilité de cette façon de procéder devient manifeste lorsque les différentes interventions de programme utilisent des instruments de politique différents. En outre, si chaque intervention de programme a recours à un instrument de politique différent, chaque intervention de programme pourrait être évaluée individuellement, comme il est expliqué ci‑dessus. Toutefois, en pareils cas, il faudra peut‑être analyser la cohésion des politiques de façon à obtenir un portrait intégré des répercussions de l'instrument de politique.

Dans tous les cas, il convient de se rappeler que les théories du changement sont un concept abstrait visant à donner une vue d'ensemble de l'effet d'une intervention. Dans certains cas, et plus particulièrement dans des cadres plus complexes, il pourrait aussi être utile d'effectuer des études de cas détaillées pour vérifier des théories, des aspects des théories ou les multiples théories du changement élaborées.

Stame (2004) et Vaessen et Todd (2007, 2008) examinent une approche d'évaluation des interventions sous forme de politiques.

Bibliographie

  • Bemelmans‑Videc, M.‑L., Rist, R. C. et Vedung, E. (Eds.). (1998). Carrots, sticks and sermon: Policy instruments and their evaluation. Piscataway, NJ: Transaction Publishers.
  • Stame, N. (2004). Theory‑based evaluation and types of complexity. Evaluation, 10(1): 58‑76.
  • Vaessen, J. et Todd, D. (2007). Methodological challenges in impact evaluation: The case of the Global Environment Facility (GEF). Anvers, Belgique: Institute of Development Policy and management, University of Antwerp.
  • Vaessen, J. et Todd, D. (2008). Methodological challenges of evaluating the impact of the Global Environment Facility's Biodiversity Program. Evaluation and Program Planning, 31(3), 231‑240.

Initiatives horizontales

D'un point de vue méthodologique, les initiatives horizontales ressemblent passablement à l'évaluation des politiques présentée ci‑dessus. Autrement dit, l'initiative horizontale peut être considérée comme la politique générale et les éléments de programme comme l'équivalent des interventions de programme mises en œuvre pour atteindre les objectifs de la politique. Les initiatives horizontales posent une difficulté supplémentaire, puisque les composantes de l'intervention sont gérées par différents ministères. Par conséquent, les initiatives horizontales requièrent une gouvernance et une coordination des activités d'envergure, ce qui comprend la gestion de programmes et la mesure du rendement. Cela s'applique aussi à la planification et à l'exécution des évaluations des initiatives horizontales.

Tout comme le cas d'évaluation des politiques, l'approche axée sur la théorie pour évaluer une initiative horizontale peut se concentrer sur la théorie générale du programme (c.‑à‑d. la théorie horizontale), sur les théories liées aux interventions de programme entreprises par les ministères partenaires (c.‑à‑d. les différentes stratégies ministérielles employées), ou, idéalement, sur les deux. La dernière option permet de réaliser une analyse de la contribution fondée sur les théories du changement combinées. Également semblables au cas d'évaluation des politiques axée sur la théorie décrite ci‑dessus, les interactions théorisées entre les interventions (c.‑à‑d., les interventions des autres ministères) pourraient être considérées comme de possibles facteurs externes comportant une incidence sur les théories du changement en cause dans d'autres parties de l'initiative horizontale. Parallèlement, il n'est pas exclu que certaines interventions précises contribuent à d'autres théories du changement au sein du ministère concerné.

Dans certains types d'initiatives horizontales, les ministères concernés peuvent utiliser différents mécanismes d'intervention dans le cadre de l'effort collectif. Une telle approche est susceptible de fournir une expérience naturelle sur l'apprentissage de l'utilisation des approches d'évaluation axées sur la théorie et la comparaison des expériences en la matière.

Interventions à faibles risques

Les interventions à faibles risques sont des interventions où l'ensemble des risques (p. ex., une faible importance, des répercussions négligeables de l'échec d'un programme, des éléments probants issus d'une évaluation antérieure qui semblent indiquer que le programme a eu un excellent rendement, aucune question significative quant à la pertinence du programme et d'autres facteurs [c.‑à‑d. stabilité contextuelle]) indiquent qu'il n'est pas nécessaire, pour le moment, d'effectuer une évaluation approfondie ou que l'évaluation devrait accorder une plus grande place à certains éléments du programme et moins d'importance à d'autres. Dans de tels cas, une option possible consiste à personnaliser la méthode d'évaluation et à calibrer les méthodes de collecte de données en fonction du coefficient de confiance requis. En adoptant une approche axée sur la théorie « plus souple » l'équipe d'évaluation pourra établir, avec une plus grande rigueur que celle des approches qualitatives habituelles, des inférences causales sur l'efficacité du programme, tout en continuant à utiliser une quantité limitée de ressources. Cela pourrait nécessiter les actions suivantes :

  • Utilisation d'une chaîne de résultats simplifiée, appuyée d'une théorie du changement de base.
  • Détermination d'un petit nombre d'hypothèses et de risques critiques.
  • Confirmation du caractère raisonnable de la conception de l'intervention (c.‑à‑d. que la théorie du changement est logique).
  • Confirmation que les activités prévues dans le cadre de l'intervention ont été accomplies et ont produit les extrants prévus.
  • Confirmation, le cas échéant, au moyen des données de suivi disponibles, que certains des résultats immédiats et des résultats intermédiaires ont été obtenus.
  • Entrevues ciblées auprès des principaux intervenants afin de confirmer que la théorie du changement fonctionne comme prévu et que les autres facteurs mis en cause n'ont pas joué un grand rôle.
  • Conclusions quant à la mesure dans laquelle les activités du programme font une différence.

Selon le cas, chacune de ces étapes pourrait être améliorée pour augmenter le niveau de confiance par rapport aux conclusions tirées. La conception de l'intervention sera personnalisée pour tenir compte du risque perçu et du coefficient de confiance requis.

Programmes de subventions et de contributions

L'évaluation des programmes de subventions et de contributions (S et C) présente des difficultés que l'approche axée sur la théorie peut surmonter. Voici en quoi consistent quelques‑unes de ces difficultés :

  • Capacité limitée des organisations bénéficiaires de recueillir des données et d'évaluer leurs services ou projets.
  • Contextes opérationnels ou limites sur le plan des capacités des organisations bénéficiaires, ce qui rend impossible l'utilisation de modèles d'évaluation expérimentaux ou quasi expérimentaux.
  • Collecte de données donnant parfois lieu à de la rétroaction positive uniquement (« oui, tout va bien ») de la part des bénéficiaires, qui espèrent que cela les aidera à obtenir l'approbation de leur prochaine demande de financement.

Pour plusieurs S et C, il peut être utile d'élaborer deux théories du changement : une pour le ministère et l'autre pour les organismes destinataires. La théorie du ministère comportera des hypothèses et des opinions qui expliqueront pourquoi l'organisme destinataire sera capable, avec des fonds supplémentaires et un potentiel renforcement des capacités, de fournir aux Canadiens les services améliorés prévus et d'offrir les avantages attendus. La théorie du changement de l'organisme destinataire sous‑tend la prestation des services aux bénéficiaires visés (c.‑à‑d. pourquoi l'organisme destinataire croit que, en fournissant les services élargis, il aidera les bénéficiaires). Ces deux théories du changement apportent un cadre que l'évaluateur pourra utiliser pour trier, clarifier et isoler les intérêts directs du ministère et les obligations découlant des intérêts de l'organisme destinataire.

En outre, l'organisme destinataire peut se servir de la théorie du changement comme point de départ pour exposer de manière crédible sa description du rendement (p. ex., en encourageant le destinataire à recueillir des éléments probants pour étoffer sa description du rendement et à en améliorer la formulation). Cela pourrait inclure la collecte, auprès de sa clientèle, des expériences qui ont produit les changements les plus significatifs (Dart et Davies, 2003), qui pourraient être utilisées pour confirmer la théorie du changement et cerner les principaux facteurs contextuels et les mécanismes du changement qui aideront l'organisation destinataire à fournir de meilleurs services.

En utilisant l'évaluation axée sur la théorie, les ministères seront capables de formuler des affirmations plus crédibles concernant les améliorations apportées grâce aux fonds reçus au moyen de la vérification des théories du changement en cause. De plus, lorsque la théorie du changement tient lieu de cadre, les entrevues, les groupes de discussion et les études de cas (présentés à la section 7) pourraient fournir des informations plus précises sur la robustesse des théories.

Bibliographie

Dart, J. et Davies, R. (2003). A dialogical, story‑based evaluation tool: The most significant change technique. American Journal of Evaluation, 24(2), 137‑155.

Évaluations de groupes ou de portefeuilles d'interventions

En vertu de la Politique sur l'évaluation, les ministères et les organismes doivent évaluer l'ensemble de leurs dépenses de programmes directes (DPD) au moins une fois tous les cinq ans. Comme on le mentionne dans le Guide de rédaction des plans d'évaluation ministérielle (Secrétariat du Conseil du Trésor du Canada, 2010), les ministères peuvent choisir leurs unités d'évaluation en fonction de configurations qui leur permettent a) d'évaluer des unités raisonnables d'effet qui satisfont aux besoins en matière d'information des utilisateurs des évaluations et b) d'honorer leurs obligations sur les plans juridique et politique. À ce titre, certains ministères décident de faire des évaluations qui incorporent plusieurs interventions de programme. Parfois, ils évaluent plusieurs éléments de niveau inférieur de l'Architecture d'alignement des programmes (AAP), habituellement au niveau de la sous‑sous‑activité ou de la sous‑activité. Dans d'autres cas, l'objet de l'évaluation est un portefeuille de sous‑éléments de programme (souvent des programmes définis dans des présentations au Conseil du Trésor) trouvés dans un seul élément de l'AAP de bas niveau (p. ex., une sous‑sous‑activité). Ces éléments sont souvent appelés évaluations regroupées ou évaluations de portefeuilles.

Un ministère peut, s'il le souhaite, évaluer séparément chaque élément de l'AAP de bas niveau, puis formuler des conclusions au sujet de l'activité de programme de haut niveau. Si le ministère décide de procéder ainsi, l'évaluation axée sur la théorie d'un groupe ou d'un portefeuille d'interventions lui permettra d'évaluer et comparer les contributions des interventions, et d'en exposer les différences, et, de ce fait, de dresser un portrait plus globalisant de la description du rendement pour les programmes de l'AAP de bas niveau. Un peu comme avec les initiatives d'évaluation des politiques et d'évaluation horizontale dont il a été question ci‑dessus, ces évaluations pourraient tirer profit de l'élaboration de théories du changement au niveau du programme et du sous‑programme, et de leur vérification dans le cadre du processus d'évaluation. Toutefois, il faut retenir que l'un des défis que posent les évaluations de groupes ou de portefeuilles d'interventions vient du fait qu'elles doivent s'harmoniser avec les stratégies de mesure du rendement à l'échelle des interventions de programme.

Autrement, une théorie du changement au niveau de l'activité de programme sera peut‑être utile pour préciser les thèmes qui se répètent dans différentes sous‑activités ou sous‑sous‑activités, lesquelles pourraient se révéler utiles pour l'évaluation. En effet, on pourrait, d'entrée de jeu, élaborer une stratégie de mesure du rendement et un plan d'évaluation pluriannuel pour le groupe d'interventions ou le portefeuille (p. ex. une activité de programme) et, durant une certaine période, on pourrait entreprendre l'évaluation de chacune des sous‑activités ou sous‑sous‑activités au moyen du cadre commun et de la théorie du changement établis.

De plus, si les sous‑activités ou les sous‑sous‑activités sont de nature similaire, on pourra, grâce à un cadre d'évaluation commun, réaliser des économies. Dans le cas d'une approche axée sur la théorie, il pourrait être question d'élaborer une théorie du changement générale pour le groupe ou le portefeuille et d'utiliser cette théorie pour déterminer les données de mesure et d'évaluation du rendement requises. En ce qui concerne les données d'évaluation, on pourra créer des guides d'entrevue communs et des outils de collecte de données, et déterminer les données qui doivent être recueillies en fonction du contexte et des facteurs externes. Puis, pour chacune des interventions évaluées dans le groupe ou le portefeuille, les évaluateurs pourront recueillir et analyser les données. Barley et Jennes (1993) ont examiné un modèle semblable à cette approche.

En outre, si la théorie générale du changement est confrontée aux différentes sous‑activités ou sous‑sous‑activités pour ce qui est de sa plausibilité et de sa logique, on pourra cerner, avant de procéder à la collecte de données, les sous‑activités ou les sous‑sous‑activités de programme qui ne cadrent pas avec l'activité de l'ensemble du programme, ce qui mènera, dans certains cas, à la restructuration de l'AAP.

En plus des évaluations effectuées pour des interventions particulières au sein du groupe ou du portefeuille, l'évaluateur disposerait de données et d'une analyse pour établir des comparaisons dans l'ensemble du groupe et tirer des conclusions plus générales sur les circonstances où ce type d'intervention fonctionne bien. L'approche axée sur la théorie convient tout particulièrement à ce type d'analyse et facilite l'apprentissage du groupe.

Bibliographie

Barley, Z. A. et Jennes, M. (1993). Cluster evaluation: A method to strengthen evaluation in smaller programs with similar purposes Evaluation Practice, 14(2), 141‑147.

10. Autres usages des approches axées sur la théorie

Comme on l'a évoqué ci‑dessus, les théories du changement font plus qu'aider les évaluateurs dans leurs activités. Les théories de programme et les théories de changement peuvent être utiles pour :

  • les concepteurs des interventions en ce qui concerne la planification et la conception des interventions;
  • les gestionnaires des interventions en ce qui concerne la conception des systèmes de mesure du rendement des interventions;
  • les personnes chargées de faire rapport en vue d'établir cadre d'établissement de rapports sur le rendement d'une intervention.

Planification et conception des interventions

Il n'est pas rare pour les évaluateurs de constater qu'un modèle logique, que des chaînes de résultats ou une théorie du changement n'ont pas été développés ou n'ont été développées que partiellement au regard de l'intervention à évaluer. L'établissement d'une théorie du changement élémentaire ou étoffée, possiblement avec l'aide des évaluateurs, dans le cadre de la conception préalable d'une intervention apporte de multiples avantages, notamment :

  • fournir un moyen d'amener les intervenants à s'entendre seulement sur la façon dont l'intervention est censée contribuer aux objectifs attendus. En outre, dans des situations plus compliquées, la théorie du changement aide à clarifier la contribution escomptée des différents sous‑éléments d'une intervention plus vaste;
  • préciser les aspects du modèle d'intervention dont il faut s'occuper, en particulier, veiller à ce que les principales hypothèses requises pour assurer la réussite de l'intervention puissent être influencées directement ou indirectement par l'intervention;
  • cerner les aspects qu'il faudra peut‑être approfondir pour mieux comprendre comment fonctionne l'intervention;
  • communiquer aux autres personnes les résultats qu'est censée produire l'intervention et la façon dont elle y parviendra.

Conception des stratégies de mesure du rendement

En plus d'aider à déterminer les résultats qui doivent faire l'objet d'un suivi, la théorie du changement permet de cerner les autres facteurs à suivre pour s'assurer que l'intervention se déroule comme prévu et que les progrès sont surveillés. L'examen de la théorie du changement aidera à déterminer les résultats, les hypothèses, les risques et les facteurs externes les plus susceptibles d'aider le gestionnaire à faire le suivi à l'aide des mesures du rendement. Mises en place correctement, les théories du changement sont intéressantes pour les gestionnaires. Elles améliorent grandement l'efficacité de la gestion des résultats (Mayne, 2009). Finalement, avec de bonnes données de suivi, il sera possible de réaliser des évaluations plus solides et plus efficaces.

Rapports sur le rendement

La théorie du changement sert de cadre pour la formulation de la description du rendement de l'intervention et, collectivement, du ministère. On peut présenter les données et l'information qui sont recueillies au regard de la théorie du changement de façon à montrer que l'intervention a apporté des améliorations concrètes. Le cadre fournit également des moyens rationnels et transparents pour produire des rapports sélectifs sur le rendement.

Bibliographie

  • Anderson, A. A. (2004). Theory of change as a tool for strategic planning: A report on early experiences, Washington, DC: The Aspen Roundtable on Community Change. (PDF – 231 Ko, en anglais seulement)
  • Chen, H.‑T. (2003). Theory‑driven approach for facilitation of planning health promotion or other programs. Canadian Journal of Program Evaluation, 18(2), 91‑113.
  • Funnell, S. C. et Rogers, P. J. (2011). Purposeful program theory: Effective use of theories of change and logic models. San Francisco, CA: Jossey Bass.
  • Mayne, J. (2009). Results management: Can results evidence gain a foothold in the public sector? In O. Reiper, F. Leeuw and T. Ling (Eds.), The evidence book. Piscataway, NJ: Transaction Publishers.

11. Du concept à la pratique

La façon dont est menée une évaluation axée sur la théorie varie d'un cas à l'autre. Le présent document met en évidence le fait que les approches axées sur la théorie sont des façons de voir et de concevoir le problème de cause à effet dans les évaluations. Il n'est pas conçu pour fournir des instructions détaillées aux évaluateurs; il présente, plutôt, une série de principes et de lignes directrices sur les façons d'utiliser les approches axées sur la théorie.

À l'origine, les approches axées sur la théorie ont été élaborées dans le but d'aider les évaluateurs à analyser des interventions caractérisées par un haut niveau de complexité. La documentation examine, en grande partie, cette expérience. Évidemment, ces approches s'appliquent aux cas plus simples et sont particulièrement utiles lorsque les modèles expérimentaux sont théoriques. Elles sont à même de renforcer des modèles d'évaluations comportant des faiblesses et de fournir des éléments probants quant à la perpétuelle question d'évaluation qu'est l'attribution, à savoir établir si l'intervention a apporté des améliorations concrètes.

Les évaluateurs du gouvernement fédéral ont comme défi de développer une expérience pratique de l'utilisation des approches axées sur la théorie.

12. Renseignements supplémentaires

Pour en savoir davantage sur les évaluations et les sujets connexes, veuillez visiter la section du site Web du Secrétariat du Conseil du Trésor du Canada qui porte sur l'évaluation.

Vous pouvez aussi contacter le :

Centre d'excellence en évaluation
Division de la gestion des dépenses
Secrétariat du Conseil du Trésor du Canada
Courriel : evaluation@tbs-sct.gc.ca


Signaler un problème ou une erreur sur cette page
Veuillez sélectionner toutes les cases qui s'appliquent :

Merci de votre aide!

Vous ne recevrez pas de réponse. Pour toute question, contactez-nous.

Date de modification :