Calibrage des évaluations - Facteurs à prendre en considération
Avis aux lecteurs
La Politique sur les résultats est entrée en vigueur le 1er juillet 2016 et elle a remplacé la Politique sur l’évaluation et ses instruments.
Depuis 2016, le Centre d’excellence en évaluation a été remplacé par la Division des résultats.
Pour de plus amples renseignements sur les évaluations et les sujets connexes, veuillez consulter la section Évaluation du site Web du Secrétariat du Conseil du Trésor du Canada.
Remerciements
Le Centre d'excellence en évaluation tient à remercier les ministères et organismes qui ont contribué à l'élaboration du présent document, de même que les évaluateurs fédéraux ayant participé aux travaux du Groupe de travail sur le calibrage des évaluations.
No BT53-20/2011E-PDF au catalogue
ISBN 978-1-100-18884-3
© Sa Majesté la Reine du chef du Canada,
représentée par le président du Conseil du Trésor, 2015
Table des matières
1.0 Introduction
Le calibrage est le processus visant à ajuster un outil, un instrument, etc., afin qu'il remplisse une fonction donnée. Dans le présent document, ce terme désigne le processus d'ajustement des modalités d'exécution des évaluations – à la lumière de différents facteurs – de manière à effectuer des évaluations de qualité, et ce, de façon économique. En fonction de l'évaluation, le calibrage peut englober des ajustements ayant pour effet d'accroître ou de réduire la quantité d'efforts requis ainsi que la portée des travaux et le degré d'analyse.
Le présent document a pour objet d'aider les ministères et organismes à planifier et à exécuter des évaluations calibrées. De telles évaluations permettent de faire un usage efficace des ressources d'évaluation tout en préservant la crédibilité des résultats des évaluations ainsi que leur utilité. L'orientation fournie est destinée aux gestionnaires de l'évaluation ainsi qu'aux évaluateurs et aux directeurs de l'évaluation. Elle est plus particulièrement destinée aux personnes participant aux activités d'évaluation dans les ministères et organismes fédéraux.
2.0 Marge de manœuvre dans le contexte des exigences de la Politique
Pour qu'il soit possible d'exercer une gestion efficace des dépenses, les ministères doivent produire et utiliser des données détaillées, crédibles et à jour sur les programmes gouvernementaux. Il incombe aux administrateurs généraux de veiller à ce que ces renseignements soient disponibles pour appuyer les ministres et le Cabinet dans leurs processus décisionnels. La Directive sur la fonction d'évaluation (2009) énonce cinq questions fondamentales devant être examinées dans le cadre des évaluations afin de recueillir des données probantes sur la pertinence et le rendement des programmes gouvernementaux, comme l'exige l'article 5.2 de la Politique sur l'évaluation. Toutes les évaluations devant être prises en compte dans l'optique des exigences relatives à la portée des évaluations à l'article 6.1.8 de la Politique sur l'évaluation doivent traiter chacune de ces questions.
Questions fondamentales à prendre en compte dans l'évaluation
De manière à recueillir des données probantes sur la mesure dans laquelle les programmes font une utilisation optimale des ressources qui leur sont affectées, les évaluations doivent aborder un ensemble de questions d'évaluation fondamentales telles qu'énoncées à l'annexe A de la Directive sur la fonction d'évaluation.
- Besoin continu du programme :
- Évaluation de la mesure dans laquelle le programme continue de répondre à un besoin démontrable et répond aux besoins des Canadiens.
- Harmonisation avec les priorités du gouvernement :
- Évaluation des liens qui existent entre les objectifs du programme et (i) les priorités du gouvernement fédéral et (ii) les résultats stratégiques du ministère.
- Harmonisation avec les rôles et les responsabilités du gouvernement fédéral :
- Évaluation des rôles et des responsabilités du gouvernement fédéral dans le cadre de l'exécution du programme.
- Réalisation des résultats attendus :
- Évaluation des progrès réalisés dans l'atteinte des résultats attendus (y compris les résultats immédiats, intermédiaires et finaux) en fonction des cibles, de la portée et de la conception du programme, ce qui comprend les liens et la contribution des extrants aux résultats.
- Démonstration de l'efficience et de l'économie :
- Évaluation de l'utilisation des ressources comparativement aux extrants produits et aux progrès réalisés dans l'atteinte des résultats attendus.
À l'intérieur de ces paramètres, l'annexe A de la Directive sur la fonction d'évaluation (2009) accorde aux ministères « la possibilité de choisir la méthode d'évaluation et le niveau d'effort qu'ils souhaitent y consacrer, compte tenu des risques et des caractéristiques des programmes ainsi que de la qualité de l'information disponible sur le rendement de chaque programme». Les chefs de l'évaluation peuvent ainsi utiliser les ressources d'évaluation de façon économique.
Le ministère qui décide de calibrer une évaluation doit veiller à préserver la crédibilité et l'utilité de cette dernière. À cette fin, il doit s'assurer de ce qui suit :
- Les différents aspects liés au calibrage ne remettent pas en question l'atteinte des objectifs de l'évaluation et le respect des exigences énoncées dans les lois et les politiques pertinentes (par exemple la Loi sur la gestion des finances publiques, la Politique sur l'évaluation, la Directive sur la fonction d'évaluation et les Normes d'évaluation pour le gouvernement du Canada);
- En cas de calibrage d'une évaluation donnée, il y a lieu de fournir des justifications claires et raisonnables, surtout en cas de réduction des ressources concernant un volet particulier de l'évaluation;
- Le cas échéant, les conséquences du calibrage doivent être mentionnées dans une section du rapport d'évaluation qui traite des limites de l'évaluation.
3.0 En préparation du calibrage – Évaluation des risques
Il est précisé dans la Directive sur la fonction d'évaluation que les chefs de l'évaluation doivent « déterminer et recommander à l'administrateur général et au Comité d'évaluation ministériel une approche fondée sur les risques pour déterminer l'approche d'évaluation et le niveau d'effort devant s'appliquer aux évaluations individuelles comprises dans le plan d'évaluation ministériel quinquennal, ainsi que le niveau de ressources nécessaires pour réaliser chacune des évaluations prévues dans le plan».
Il existe différents facteurs de risque dont les ministères doivent tenir compte lors du calibrage d'une évaluation. Voici certains des facteurs à prendre en compte lors de l'évaluation des risques :
- Les risques touchant la santé et la sécurité du public ou de l'environnement, ce qui comprend à la fois le degré et l'ampleur des répercussions négatives à prévoir en cas d'échec du programme, de même que la probabilité que ce risque se concrétise;
- L'information dont ont besoin les utilisateurs, ce qui inclut la question de savoir si l'évaluation vise à alimenter la réflexion sur le processus de renouvellement du programme ou si la haute direction a un besoin considérable de renseignements;
- L'importance relative du programme, par exemple le pourcentage du budget principal des dépenses du ministère qui est associé à ce programme;
- Les intérêts du public ou des parties prenantes, de même que le caractère délicat des enjeux entourant le programme sur le plan politique, sous l'angle aussi bien des médias que des parlementaires et du ministère;
- La taille de la population touchée ou visée par le programme;
- Les problèmes connus, les défis ou les lacunes du programme, idéalement à la lumière d'évaluations antérieures ou du rendement observé;
- La complexité du programme, sous l'angle notamment de sa conception, de son exécution et des résultats attendus, de même que la complexité des activités de mesure du rendement. Par exemple, lorsqu'un programme est exécuté de façon décentralisée, à partir de plusieurs régions ou emplacements, les résultats peuvent varier selon l'endroit, tandis qu'un programme faisant intervenir un grand nombre de partenaires peut être plus complexe à exécuter – dans l'un et l'autre cas, il peut être nécessaire d'affecter davantage de ressources à l'évaluation du programme;
- La qualité et l'étendue des données sur le rendement et des données d'évaluation et d'examen dont on dispose sur le programme.
Lors de la conception initiale d'une évaluation, il convient d'examiner les renseignements dont on dispose déjà sur la probabilité et l'incidence éventuelle des risques associés au programme. Il peut s'agir des renseignements contenus dans un profil d'évaluation du risque organisationnel, dans la stratégie de mesure du rendement, dans le plan d'évaluation ministériel, etc. En l'absence d'information, ou du moins d'information suffisante, une évaluation des risques doit être incorporée à la planification de l'évaluation.
On trouvera à l'annexe E du Guide d'évaluation d'un plan d'évaluation ministériel de plus amples renseignements sur l'évaluation des risques.
4.0 Calibrage de l'évaluation
Une fois le degré de risque établi, l'évaluateur doit déterminer la meilleure façon de calibrer l'évaluation. Le calibrage peut conduire à l'ajustement de différentes composantes du processus d'évaluation, à savoir :
- portée de l'évaluation;
- approche et conception;
- méthodes de collecte de données;
- rapport;
- gouvernance et gestion du projet.
On trouvera dans les sections qui suivent une description de ces composantes, assortie d'exemples de facteurs à prendre en compte pour chacune d'entre elles ainsi que d'un descriptif des différentes manières de calibrer l'évaluation. L'annexe A présente ces renseignements sous forme de liste de contrôle.
4.1 Portée de l'évaluation
La portée de l'évaluation comprend les paramètres applicables à l'objet de l'évaluation, c'est-à-dire : 1) les paramètres du programme visé; 2) les questions abordées lors de l'évaluation.
Lors du calibrage d'une évaluation en fonction de sa portée, il est possible de prendre en considération les points suivants :
- Renseignements requis/intérêts de la direction :
-
Comment les renseignements recueillis lors de l'évaluation seront-ils utilisés (p. ex. pour alimenter la réflexion sur le processus de renouvellement du programme, pour répondre à des questions précises de la haute direction, pour se conformer aux exigences de la
Loi sur la gestion des finances publiques ou de la
Politique sur l'évaluation)? Y a-t-il des questions fondamentales qui sont moins pertinentes en l'espèce et qu'il serait justifié d'examiner tout en y affectant moins de ressources?
- Lorsque l'on cherche à limiter le volume de ressources à affecter à une évaluation, il peut être utile d'évaluer l'importance relative des différents enjeux et questions qui sous-tendent l'évaluation, dans l'optique des utilisateurs des données d'évaluation. Le fait de limiter le nombre de questions examinées peut permettre de réduire le volume de ressources à prévoir ou donner aux évaluateurs la possibilité d'examiner plus en profondeur un nombre plus restreint de questions.
- L'évaluateur peut, à la lumière de certains facteurs, décider de consacrer moins d'efforts à certaines des questions fondamentales (par exemple la question 1, à savoir si le programme demeure nécessaire, lorsque le contexte entourant ce dernier est demeuré pratiquement inchangé).
- Points mis en lumière lors d'évaluations antérieures :
-
Est-ce que les évaluations antérieures ont mis en lumière des points nécessitant un examen complémentaire? Est-ce que ces évaluations ont abouti à des recommandations et, le cas échéant, est-ce que la direction a donné suite à ces dernières comme il se doit (autrement dit, est-ce que les mesures recommandées ont bien été mises en œuvre)? Quelle a été l'incidence des mesures prises en réponse aux recommandations, le cas échéant (en d'autres termes, est-ce que les mesures recommandées ont donné les résultats attendus)?
Comme l'ont fait valoir Pawson et Tilley, il est utile dans le cadre d'une évaluation de s'appuyer sur les connaissances recueillies lors d'évaluations antérieures et d'autres travaux de recherche, selon un principe de cumul Note de bas de page 1.
- Lorsque l'évaluation porte sur un programme ayant suscité des questions ou donné lieu à des recommandations importantes lors d'évaluations antérieures, on pourra juger bon de porter une attention particulière à la question de savoir si les problèmes décelés existent encore ou si les mesures recommandées ont permis de les corriger.
- Éléments/composantes du programme
-
Á inclure dans l'évaluation : Est-ce que le degré de risque varie selon l'élément ou la composante de l'initiative que l'on évalue? A-t-on apporté à l'Architecture d'alignement des programmes certaines modifications qui ont une incidence sur la portée des éléments évalués?
- L'évaluateur peut décider de porter une attention particulière à l'évaluation des résultats rattachés aux composantes du programme qui mobilisent la plus grande partie du financement.
- Éléments de la chaîne de résultats (modèle logique) à évaluer :
-
Est-ce que le programme repose sur un modèle logique et une assise théorique robustes et bien au point? Quels sont les éléments de la chaîne de résultats/du modèle logique qu'il convient d'évaluer?
- Le recours à des méthodes d'évaluation axées sur la théorie, par exemple les analyses de la contribution, peut être utile pour le calibrage, les questions et la collecte de données pouvant cibler des mécanismes de changement précis.
- Il peut être judicieux de consacrer plus de ressources à l'examen des extrants et des résultats immédiats dans le cas des programmes récents, tandis que l'évaluation de programmes mieux établis pourra porter davantage sur l'atteinte de résultats à plus long terme.
- Période visée par l'évaluation :
-
Quelle période à l'intérieur de la durée de vie du programme examine-t-on? Est-ce que l'on doit inclure des années ayant précédé l'actuel cycle de financement?
- L'examen des résultats sur une longue période peut exiger davantage de ressources, mais cela peut aussi être important afin d'évaluer l'incidence globale d'un programme. Le fait de se limiter constamment au cycle de financement le plus récent peut conduire à des évaluations multiples portant uniquement sur des résultats à court et à moyen terme.
- Longévité du programme et stabilité du contexte :
-
Est-ce que le programme existe depuis longtemps? Est-ce qu'il a récemment produit des résultats pertinents? Est-ce que le contexte
Note de bas de page 2 qui sous-tend le programme a sensiblement changé, ce qui pourrait influer sur le rendement et la pertinence de ce dernier?
- Dès lors qu'un programme a déjà été évalué, certains aspects des évaluations subséquentes peuvent exiger moins de travail – par exemple, lorsque l'on a établi les paramètres de base et que la méthode de mesure du rendement a été testée et ajustée.
- Il est tout à fait possible de consacrer moins de ressources à l'évaluation du rendement pour les programmes ayant produit de bons résultats pendant une longue période.
- Lorsque le contexte rattaché à un programme n'a pas beaucoup évolué, l'évaluation peut viser à établir si la précédente analyse de la pertinence est encore valide ou s'il convient d'évaluer certains aspects reliés à la pertinence du programme.
- Dans le cas d'un programme dont le contexte a évolué, il peut être nécessaire de prévoir plus de ressources afin d'étudier ces changements ainsi que leurs répercussions éventuelles sur le programme.
4.2 Approche et modèle d'évaluation
En matière d'évaluation, l'approche correspond au modèle conceptuel général utilisé pour procéder à l'évaluation. Il existe un large éventail d'approches possibles (évaluation axée sur la théorie, évaluation participative, analyse de la contribution, évaluation axée sur l'utilisation, etc.); il faut envisager chacune d'entre elles et choisir en fonction des besoins et des circonstances entourant le programme à évaluer. La quantité d'efforts et de ressources variera selon l'approche – dans un contexte de restriction des coûts, la disponibilité de ressources (temps, personnes possédant l'expérience et les compétences requises, ressources financières) peut être un facteur déterminant lorsqu'il faut choisir une approche d'évaluation.
Il convient également de tenir compte du modèle de recherche le plus approprié, par exemple un modèle expérimental, quasi expérimental ou non expérimental.
Voici certains facteurs que l'on pourra prendre en compte lors du calibrage d'une évaluation en fonction de l'approche et du modèle d'évaluation :
- Pertinence de l'approche d'évaluation dans l'optique de la portée de l'évaluation et des caractéristiques du programme à évaluer :
-
Est-ce qu'il y a une approche ou un modèle d'évaluation en particulier qui s'impose, étant donné la portée de l'évaluation et des caractéristiques du programme examiné?
- Il sera souvent utile à l'évaluateur de collaborer avec les responsables des programmes à l'étape de la détermination du modèle, ou du moins bien avant l'évaluation, de manière à déterminer une approche et un modèle appropriés. On sera ainsi plus à même d'assurer une mesure du rendement efficace et une collecte de données adéquate (par exemple, des données longitudinales), et ce, de façon économique.
- En fonction des caractéristiques du programme, il est possible d'utiliser différentes approches et modèles variés qui exigent moins de ressources, à savoir :
- Lorsque la nature du programme et les risques connexes le justifient, le groupe cible peut lui-même servir de groupe de comparaison selon un modèle « avant/après ».
- Lorsque l'on dispose de données secondaires sur des programmes ou groupes similaires à des fins de comparaison, il peut devenir moins important, voire inutile, de recourir à des groupes de contrôle ou à des repères Note de bas de page 3.
- Dans les cas où les activités et les extrants sont relativement uniformes et cohérents, l'évaluation pourra porter sur un petit nombre d'études de cas représentatives Note de bas de page 4.
- Pertinence de la combinaison de sources de données utilisées dans le cadre de l'évaluation :
-
Est-ce que l'on dispose d'une combinaison appropriée de données primaires et secondaires, quantitatives et qualitatives, étant donné la portée de l'évaluation et les questions et enjeux examinés? Quel serait l'équilibre idéal entre données subjectives (impressions personnelles, attitudes et perceptions) et données objectives (factuelles)? Est-ce que le nombre de sources de données utilisées est justifié?
- Ainsi que cela est précisé dans les Normes d'évaluation pour le gouvernement du Canada, l'évaluateur doit s'assurer que de « multiples sources de données, y compris des éléments probants découlant de l'analyse quantitative et de l'analyse qualitative, sont utilisées pour veiller à ce que les éléments probants soient fiables et défendables » (disposition 6.2.2.c).
- Contexte et préférences du point de vue de l'organisation/du programme :
-
Est-ce qu'une approche d'évaluation en particulier pourrait présenter des avantages du point de vue de l'organisation ou du programme? Quelles sont les préférences de l'organisation concernant le niveau et le degré de détail de l'information?
- Lors de la planification de l'évaluation, il convient d'examiner si les avantages associés à l'approche d'évaluation préconisée par l'organisation justifient des coûts plus élevés, le cas échéant.
4.3 Méthodes de collecte de données
La méthode de collecte de données est la technique utilisée pour recueillir des données (enquêtes, interviews, etc.).
Voici certains facteurs à prendre en considération lors du calibrage d'une évaluation sous l'angle des méthodes de collecte de données :
- Information existante :
-
Dans quelle mesure peut-on répondre à chaque question d'évaluation au moyen des données existantes? Jusqu'à quel point la stratégie de mesure du rendement est-elle mise en œuvre efficacement, et est-ce que les données recueillies sont fiables, crédibles et pertinentes? Quelles sont les nouvelles sources de données requises pour répondre aux questions d'évaluation ou pour servir de complément aux données existantes?
- Avant de prévoir la collecte de données additionnelles, l'évaluateur doit examiner les données existantes et en faire un usage maximal. Si l'on tire tout le parti possible des données existantes, la collecte de nouvelles données pourra souvent se limiter à combler les lacunes dans l'information disponible.
- L'information recueillie lors d'évaluations antérieures peut être utile, surtout si le contexte entourant le programme n'a pas changé.
- Les renseignements recueillis lors d'audits et d'autres travaux de recherche peuvent servir de complément d'information ou enrichir les constatations faites dans le cadre de l'évaluation.
- Point de saturation :
-
Dans quelle mesure peut-on limiter la quantité de données à recueillir tout en étant en mesure de répondre aux questions d'évaluation? Est-ce qu'une source de données particulière tend à produire constamment les mêmes résultats?
- Tout au long de l'étape de la collecte de données, l'évaluateur doit analyser l'information recueillie afin de déterminer s'il lui faut obtenir des données additionnelles pour pouvoir formuler des conclusions valides et crédibles.
- Un point de saturation peut être atteint aussi bien pour les données secondaires que pour les données primaires. Par exemple, dans le cadre d'une revue de la littérature, il n'est pas toujours nécessaire d'examiner des documents additionnels une fois que l'on dispose de suffisamment de données probantes sur un point particulier à partir d'un certain nombre de documents clés.
- L'évaluateur peut envisager de réduire la taille globale des échantillons lorsque les parties prenantes (même celles dont les intérêts sont antagonistes) semblent être globalement d'accord sur un point donné.
Il peut cependant être difficile de déterminer le point de saturation, et l'évaluateur ne doit pas interrompre trop tôt la collecte de données, en particulier dans le cas de programmes dont le degré de risque ou de complexité est élevé.
- Stratégies d'échantillonnage :
-
Est-ce que la stratégie d'échantillonnage est appropriée (par exemple, en vue de l'organisation d'enquêtes ou d'interviews)?
La stratégie d'échantillonnage employée dans le cadre d'une évaluation aura une incidence sur la quantité d'efforts qu'exigera cette dernière. Dans le cas d'enquêtes, la taille de l'échantillon sera idéalement déterminée en fonction de l'ampleur de l'effet et de la puissance statistique que l'on vise Note de bas de page 5.
Il existe différents moyens de réduire la quantité d'efforts requis dans le contexte de la stratégie d'échantillonnage :
- Échantillonnage stratégique ou déterministe : Approche consistant à échantillonner uniquement les sujets les plus pertinents, à la lumière des renseignements requis ou de la capacité des sujets à formuler des commentaires faisant autorité sur un thème particulier.
- Échantillonnage en grappes : Le fait de concentrer l'échantillonnage sur des groupements inhérents (p. ex. personnes vivant dans une région géographique proche) peut réduire les coûts associés aux déplacements.
- La réduction du degré de désagrégation des données peut limiter la taille des échantillons et diminuer la quantité d'efforts à prévoir pour traiter et interpréter les données Note de bas de page 6.
- Interviews/enquêtes – Approches possibles :
-
Il existe différentes approches d'interview ou d'enquête pouvant permettre de réduire la quantité d'efforts et de ressources nécessaires pour procéder à une évaluation :
- L'utilisation d'instruments de collecte plus courts (questionnaires d'enquête, guides d'interview) peut réduire le temps nécessaire pour la collecte des données.
- Interviews collectives : Dans certains cas (par exemple lorsque l'on peut raisonnablement s'attendre à ce que les personnes interviewées donnent leurs vraies opinions dans le cadre de discussions en groupe sans craindre de conséquences négatives), les interviews collectives réunissant un petit nombre de personnes (deux ou trois) peuvent constituer une alternative économique et efficiente aux interviews individuelles.
- Groupes de discussion : Lorsque la collecte de données peut être circonscrite à un petit nombre de questions, les groupes de réflexions constitueront parfois une méthode de collecte à la fois économique et efficiente.
- Interviews téléphoniques : Cette méthode peut aider à réduire les coûts et le volume de travail associés aux déplacements pour mener des interviews en personne.
- Questionnaires à remplir soi-même : Bien qu'ils ne conviennent pas à toutes les évaluations, ces questionnaires peuvent permettre d'économiser temps et efforts aux fins de la collecte de données.
- Technologies :
-
Est-ce qu'il serait possible de recourir à des moyens technologiques pour accroître l'efficience de la collecte et de l'analyse des données?
- La collecte de données par des moyens technologiques (enquêtes en ligne, interface vidéo en ligne pour la tenue d'interviews) – lorsque cela est possible – peut aider à réduire considérablement le temps, les efforts et les coûts associés à la collecte et au regroupement des données.
- Les logiciels de gestion et d'analyse de données quantitatives et qualitatives peuvent aussi réduire la quantité de temps et de travail nécessaire pour traiter et analyser les données Note de bas de page 7.
- L'utilisation d'information sur vidéo ou sur support photographique peut être un moyen efficace de recueillir et de présenter des données probantes.
- Consultation de spécialistes :
-
Serait-il possible de réduire la quantité d'efforts en vue de recueillir les données en consultant des spécialistes?
De telles consultations peuvent prendre différentes formes – communications informelles, interviews en bonne et due forme ou participation de spécialistes à titre de membres de l'équipe d'évaluation ou du comité consultatif.
- Par exemple, la consultation d'un spécialiste lors de la planification de l'évaluation peut aider à déterminer les documents essentiels à examiner, ce qui exigera moins de travail que l'examen d'un volume important et exhaustif d'information.
- Rapports de projet à titre d'outils de collecte :
-
Serait-il possible de recourir aux rapports de projet pour la collecte de données sur les résultats?
- Lorsque la planification de l'évaluation est amorcée très tôt, par exemple au moment de la mise en œuvre du programme, certains renseignements sur les résultats peuvent être recueillis auprès des clients du programme dans le cadre de la préparation des rapports de projet. La compilation de renseignements à partir de différents rapports de projet peut toutefois exiger beaucoup de temps et de travail.
- Il convient de tenir compte du fait que les rapports de programme à l'interne peuvent comporter un biais et présenter un degré de fiabilité relatif.
4.4 Rapport
Ainsi que cela est précisé dans les Normes d'évaluation pour le gouvernement du Canada, les rapports d'évaluation doivent présenter les constatations, les conclusions et les recommandations d'une manière claire et neutre. Ils doivent être rédigés de façon que les cadres supérieurs et les lecteurs de l'extérieur puissent facilement se concentrer sur les points importants signalés et les comprendre.
Voici certains facteurs à prendre en considération lors du calibrage d'une évaluation en fonction des exigences de rapport :
- Adéquation du degré de détail de l'information :
-
Est-ce que le rapport fournit des renseignements adéquatement détaillés pour informer les destinataires du rapport (organismes centraux, administrateurs généraux, parlementaires, Canadiens) au sujet de la méthodologie, du contenu, des limites et des constatations de l'évaluation? Est-ce que les données probantes à l'appui des constatations sont exposées de façon succincte?
- Dans certains cas, il peut être possible de simplifier ou de raccourcir le rapport d'évaluation en présentant uniquement les constatations clés reliées aux questions ou aux points mentionnés dans le cadre ou la matrice d'évaluation, et en fournissant des renvois à d'autres rapports de surveillance ou de méthodologie.
- Choix du moment pour commencer la rédaction du rapport :
-
Quand est-il approprié de commencer à rédiger le rapport d'évaluation?
- Lors du processus d'évaluation, il peut être utile de rapidement mettre au point le schéma du rapport, c'est-à-dire la structure, les en-têtes, les parties et une courte description de l'information à présenter Note de bas de page 8. Un schéma de rapport ainsi annoté évite de gaspiller des ressources à la collecte de données qui ne sont pas nécessaires, et permet de s'assurer que l'on dispose de suffisamment de données probantes pour répondre aux questions d'évaluation.
- Certaines sections du rapport peuvent être rédigées avant la fin de l'analyse, par exemple l'introduction ainsi que l'exposé de la méthodologie et du profil du programme.
Il importe de s'assurer que le rapport d'évaluation est conforme aux exigences énoncées à l'article 6.4 des Normes d'évaluation pour le gouvernement du Canada. En outre, il importe, dans le rapport, de présenter, de façon claire, les raisons pour lesquelles l'on a choisi de procéder à un calibrage et d'exposer toute conséquence que ce dernier est susceptible d'avoir.
4.5 Gouvernance et gestion du projet
La gestion de projet consiste à mettre en pratique des connaissances, des compétences et des techniques afin d'assurer une exécution efficace et efficiente des projets Note de bas de page 9. Le principal défi associé à la gestion d'une évaluation consiste à atteindre tous les buts et objectifs de l'évaluation tout en respectant les contraintes usuelles en termes de temps et de ressources.
Voici certains facteurs à prendre en considération lors du calibrage d'une évaluation sous l'angle de la gestion du projet :
- Complexité de la gestion du projet :
-
Quelle connaissance doit-on avoir de l'environnement entourant le programme? Quel devrait être le degré de participation approprié des parties prenantes et des responsables du programme lors de l'évaluation?
- Une planification exhaustive de l'évaluation, incluant une participation importante des parties prenantes, peut exiger beaucoup de ressources, et peut s'avérer secondaire dans le cas des programmes dont la dernière évaluation remonte à peu de temps.
- Ressources humaines :
-
A-t-on optimisé l'affectation des ressources humaines aux fins du projet d'évaluation? Est-ce que l'on a tenu compte des points forts et des points faibles des membres de l'équipe d'évaluation lors de l'attribution des tâches? Faudra-t-il prévoir de réaffecter les ressources à différents stades de l'évaluation?
- Des évaluateurs plus chevronnés seront mieux à même de mener à terme les évaluations lorsque l'on dispose de moins de temps ou de moins de données pour tirer des conclusions.
- Il peut s'avérer plus judicieux et plus économique de recourir davantage à des évaluateurs de rang subalterne pour les évaluations à faible risque.
- Pour certaines évaluations, il y aura lieu de faire appel à des spécialistes externes en raison de la complexité du sujet; il conviendra alors de prévoir plus de temps et de travail afin de procéder à l'impartition, ce qui peut entraîner une hausse du volume de ressources requises pour l'évaluation.
- Parfois, il peut être possible de faire appel à des personnes qui ne sont pas des spécialistes du domaine afin de recueillir des données; cela peut constituer une solution économique. Toutefois, cela peut aussi nécessiter beaucoup de formation, de surveillance et de validation de données, de sorte que les économies au chapitre des coûts peuvent ultimement être minimes, voire nulles.
- Dans certains cas, il peut être judicieux de confier la collecte de données à des ressources externes, de sorte que les évaluateurs internes se concentrent sur l'analyse et le rapport.
- Structure de gouvernance du projet :
-
Comment l'évaluation est-elle gérée? S'agit-il d'une évaluation horizontale dirigée par le ministère ou par une autre organisation? Est-ce qu'un comité consultatif ou un autre organe prend part à l'examen et à l'approbation des produits livrables? Si tel est le cas, à quelles étapes et en vue de la réalisation de quelles tâches doivent-ils intervenir?
- En fonction du nombre d'organisations concernées, la gestion d'évaluations horizontales peut exiger beaucoup de travail. Lors de leur planification, les gestionnaires doivent prendre en compte la quantité de temps et de travail à prévoir pour les consultations, la rétroaction et les approbations dans le cadre des évaluations horizontales – quantité qui est souvent considérable.
- Produits livrables :
-
Est-ce que le nombre de produits livrables est adéquat? Est-ce que les évaluateurs peuvent limiter au strict minimum les activités nécessaires en vue de leur production?
- Le nombre de produits livrables doit être calibré à la lumière des risques associés au programme. Dans certains cas, il peut ne pas être nécessaire de produire un rapport distinct pour chaque élément de preuve, de tels rapports pouvant exiger beaucoup de ressources.
- Surveillance du projet :
-
Quel degré de surveillance du projet doit-on prévoir durant l'évaluation?
- Le fait de limiter l'objet de la surveillance (temps et volume de travail) et la fréquence de surveillance des variables pertinentes peut servir à réduire la quantité d'efforts à prévoir pour la surveillance du projet. Par exemple, la production de rapports d'étape fréquents peut exiger beaucoup de ressources.
- Communications :
-
Comment l'information relative à l'évaluation est-elle communiquée aux principales parties prenantes?
- Il peut être important d'indiquer aux parties prenantes (notamment les cadres supérieurs) les cas où l'on a limité le volume de travail consenti pour certains aspects et d'expliquer les raisons ayant motivé cette décision de façon à éviter les surprises lors de l'examen du rapport d'évaluation.
5.0 Renseignements supplémentaires
Gains d'efficience au niveau de la fonction d'évaluation
Il peut être possible de réaliser des gains d'efficience découlant des pratiques au niveau de la fonction d'évaluation. Par exemple :
- Si les évaluateurs aident les responsables des programmes à définir et à tester des stratégies de mesure du rendement, cela peut permettre de réduire le volume de travail requis pour la collecte de données lors des évaluations.
- L'élaboration de modèles génériques d'outils d'évaluation pouvant être adaptés en fonction de chaque évaluation aidera à économiser temps et efforts. Il peut s'agir notamment de modèles de plans d'évaluation, d'enquêtes, de guides d'interview, de rapports et d'autres documents.
On trouvera de plus amples renseignements sur les évaluations et sur des sujets connexes en visitant les sites Web du Centre d'excellence en évaluation (CEE) et de la Structure de gestion, des ressources et des résultats du Secrétariat.
Vous pouvez également communiquer avec le CEE à l'adresse suivante :
Centre d'excellence en évaluation
Division de la gestion des dépenses
Secrétariat du Conseil du Trésor du Canada
Courriel : evaluation@tbs-sct.gc.ca
Annexe A: Calibrage – Liste de contrôle
Composante | Exemples de facteurs à prendre en considération | Exemples de calibrage |
---|---|---|
Renseignements requis/intérêts de la direction | Comment les renseignements recueillis lors de l'évaluation seront-ils utilisés? Y a-t-il des questions fondamentales qui sont moins pertinentes en l'espèce et qu'il serait justifié d'examiner tout en y affectant moins de ressources? |
|
Points mis en lumière lors d'évaluations antérieures | Est-ce que les évaluations antérieures ont mis en lumière des points nécessitant un examen complémentaire? Est-ce que les évaluations antérieures ont abouti à des recommandations et, le cas échéant, est-ce que la direction a donné suite à ces dernières comme il se doit? Quelle a été l'incidence des mesures prises en réponse aux recommandations, le cas échéant? |
|
Éléments/composantes du programme à inclure dans l'évaluation | Est-ce que le degré de risque varie selon l'élément ou la composante de l'initiative que l'on évalue? A-t-on apporté à l'Architecture d'alignement des programmes certaines modifications qui ont une incidence sur la portée des éléments évalués? |
|
Éléments du modèle logique à évaluer | Quels sont les éléments de la chaîne de résultats qu'il convient d'évaluer? |
|
Période visée par l'évaluation | Quelle période à l'intérieur de la durée de vie du programme examine t-on? Est-ce que l'on doit inclure des années ayant précédé l'actuel cycle de financement? |
|
Longévité du programme et stabilité du contexte | Est-ce que le programme existe depuis longtemps? Est-ce qu'il a récemment produit des résultats pertinents? Est-ce que le contexte qui sous-tend le programme a sensiblement changé, ce qui pourrait influer sur le rendement et la pertinence de ce dernier? |
|
Composante | Exemples de facteurs à prendre en considération | Exemples de calibrage |
---|---|---|
Pertinence de l'approche d'évaluation dans l'optique de la portée de l'évaluation et des caractéristiques du programme à évaluer | Est-ce qu'il y a une approche ou un modèle d'évaluation en particulier qui s'impose, étant donné la portée de l'évaluation et des caractéristiques du programme examiné? Est-ce qu'une approche d'évaluation en particulier pourrait présenter des avantages du point de vue de l'organisation, et est-ce que les avantages en question justifient l'affectation de ressources accrues à l'évaluation? |
|
Combinaison de sources de données | Est-ce que l'on dispose d'une combinaison appropriée de données primaires et secondaires, quantitatives et qualitatives, aux fins de l'évaluation? Quel serait l'équilibre idéal entre données objectives et données subjectives? Est-ce que le nombre de sources de données utilisées est justifié? |
|
Contexte et préférences du point de vue de l'organisation | Est-ce qu'une approche d'évaluation en particulier pourrait présenter des avantages du point de vue de l'organisation? Quelles sont les préférences de l'organisation concernant le niveau et le degré de détail de l'information? |
|
Composante | Exemples de facteurs à prendre en considération | Exemples de calibrage |
---|---|---|
Information existante | Dans quelle mesure peut-on répondre à chaque question d'évaluation au moyen des données existantes? Est-ce que l'on recueille des données de mesure à la fois fiables, crédibles et pertinentes? Quelles sont les nouvelles sources de données requises pour répondre aux questions d'évaluation ou pour servir de complément aux données existantes? |
|
Point de saturation | Dans quelle mesure peut-on limiter la quantité de données à recueillir tout en étant en mesure de répondre aux questions d'évaluation? Est-ce qu'une source de données particulière tend à produire constamment les mêmes résultats? |
|
Stratégies d'échantillonnage | Est-ce que la stratégie d'échantillonnage est appropriée? |
|
Interviews/enquêtes : Approches possibles | Est-ce que les interviews et enquêtes sont menées comme il se doit? |
|
Technologies | Est-ce qu'il serait possible de recourir à des moyens technologiques pour accroître l'efficience de la collecte et de l'analyse des données? |
|
Consultation de spécialistes | Serait-il possible de réduire le volume de travail à prévoir en consultant des spécialistes du domaine rattaché à l'évaluation? |
|
Rapports de projet à titre d'outils de collecte | Serait-il possible de recourir aux rapports de projet pour la collecte de données sur les résultats? |
|
Composante | Exemples de facteurs à prendre en considération | Exemples de calibrage |
---|---|---|
Il importe, dans le rapport, de présenter, de façon claire, les raisons pour lesquelles l'on a choisi de procéder à un calibrage et d'exposer toute conséquence que ce dernier est susceptible d'avoir. | ||
Degré de détail du rapport d'évaluation | Est-ce que le rapport fournit des renseignements adéquatement détaillés pour informer les destinataires du rapport au sujet de la méthodologie, des limites et des constatations de l'évaluation? Est-ce que les données probantes à l'appui des constatations sont exposées de façon succincte et adéquate? |
|
Choix du moment pour la rédaction du rapport | Quand est-il approprié de commencer à rédiger le rapport d'évaluation? |
|
Composante | Exemples de facteurs à prendre en considération | Exemples de calibrage |
---|---|---|
Complexité de la gestion du projet | Quelle connaissance doit-on avoir de l'environnement entourant le programme? Quel devrait être le degré de participation approprié des parties prenantes lors de l'évaluation? |
|
Ressources humaines | Quel devrait être le degré de participation approprié des parties prenantes lors de l'évaluation? Est-ce que l'on a tenu compte des points forts et des points faibles des membres de l'équipe d'évaluation lors de l'attribution des tâches? Faudra-t-il prévoir des réaffecter les ressources à différents stades de l'évaluation? Pour certaines évaluations, il y aura lieu de recourir à des spécialistes externes en raison de la complexité du sujet; il conviendra alors de prévoir plus de temps et de travail Faudra t-il prévoir de réaffecter les ressources à différents stades de l'évaluation? |
|
Structure de gouvernance du projet | Comment l'évaluation est-elle gérée? S'agit-il par exemple d'une évaluation horizontale dirigée par le ministère ou par une autre organisation? Est-ce qu'un comité consultatif ou un autre organe prend part à l'examen et à l'approbation des produits livrables? Si tel est le cas, à quelles étapes et en vue de la réalisation de quelles tâches doivent-ils intervenir? |
|
Produits livrables | Est-ce que le nombre de produits livrables est adéquat? Est-ce que les évaluateurs peuvent limiter au strict minimum les activités requises pour les obtenir? |
|
Surveillance du projet | Quel degré de surveillance du projet doit-on prévoir durant l'évaluation? |
|
Communications | Comment l'information relative à l'évaluation est-elle communiquée aux principales parties prenantes? |
|
Annexe B: Bibliographie
- Bamberger, Michael, Jim Rugh et Linda Mabry. Real World Evaluation: Working Under Budget, Time, Data, and Political Constraints . Thousand Oaks, California: Sage Publications, 2006.
- Davidson, Jane. « AEA365: A Tip-a-Day by and for Evaluators ». Consulté le .
- Pawson, Ray et Nick Tilley. Realistic Evaluation. 1997. Los Angeles: Sage Publications .
- Project Management Institute. « What is Project Management? » . Consulté le .
- Secrétariat du Conseil du Trésor du Canada. Politique sur l'évaluation 2009. Consulté le .
- Secrétariat du Conseil du Trésor du Canada. Approches d'évaluation axées sur la théorie : Concepts et pratiques 2012. Consulté le .
Détails de la page
- Date de modification :