Calibrage des évaluations - Facteurs à prendre en considération

4.1 Portée de l'évaluation

La portée de l'évaluation comprend les paramètres applicables à l'objet de l'évaluation, c'est-à-dire : 1) les paramètres du programme visé; 2) les questions abordées lors de l'évaluation.

Lors du calibrage d'une évaluation en fonction de sa portée, il est possible de prendre en considération les points suivants :

Renseignements requis/intérêts de la direction :

Comment les renseignements recueillis lors de l'évaluation seront-ils utilisés (p. ex. pour alimenter la réflexion sur le processus de renouvellement du programme, pour répondre à des questions précises de la haute direction, pour se conformer aux exigences de la Loi sur la gestion des finances publiques ou de la Politique sur l'évaluation)? Y a-t-il des questions fondamentales qui sont moins pertinentes en l'espèce et qu'il serait justifié d'examiner tout en y affectant moins de ressources?

• Lorsque l'on cherche à limiter le volume de ressources à affecter à une évaluation, il peut être utile d'évaluer l'importance relative des différents enjeux et questions qui sous-tendent l'évaluation, dans l'optique des utilisateurs des données d'évaluation. Le fait de limiter le nombre de questions examinées peut permettre de réduire le volume de ressources à prévoir ou donner aux évaluateurs la possibilité d'examiner plus en profondeur un nombre plus restreint de questions.
• L'évaluateur peut, à la lumière de certains facteurs, décider de consacrer moins d'efforts à certaines des questions fondamentales (par exemple la question 1, à savoir si le programme demeure nécessaire, lorsque le contexte entourant ce dernier est demeuré pratiquement inchangé).

Points mis en lumière lors d'évaluations antérieures :

Est-ce que les évaluations antérieures ont mis en lumière des points nécessitant un examen complémentaire? Est-ce que ces évaluations ont abouti à des recommandations et, le cas échéant, est-ce que la direction a donné suite à ces dernières comme il se doit (autrement dit, est-ce que les mesures recommandées ont bien été mises en œuvre)? Quelle a été l'incidence des mesures prises en réponse aux recommandations, le cas échéant (en d'autres termes, est-ce que les mesures recommandées ont donné les résultats attendus)?

Comme l'ont fait valoir Pawson et Tilley, il est utile dans le cadre d'une évaluation de s'appuyer sur les connaissances recueillies lors d'évaluations antérieures et d'autres travaux de recherche, selon un principe de cumul ^{Note de bas de page 1}.

• Lorsque l'évaluation porte sur un programme ayant suscité des questions ou donné lieu à des recommandations importantes lors d'évaluations antérieures, on pourra juger bon de porter une attention particulière à la question de savoir si les problèmes décelés existent encore ou si les mesures recommandées ont permis de les corriger.

Éléments/composantes du programme

Á inclure dans l'évaluation : Est-ce que le degré de risque varie selon l'élément ou la composante de l'initiative que l'on évalue? A-t-on apporté à l'Architecture d'alignement des programmes certaines modifications qui ont une incidence sur la portée des éléments évalués?

• L'évaluateur peut décider de porter une attention particulière à l'évaluation des résultats rattachés aux composantes du programme qui mobilisent la plus grande partie du financement.

Éléments de la chaîne de résultats (modèle logique) à évaluer :

Est-ce que le programme repose sur un modèle logique et une assise théorique robustes et bien au point? Quels sont les éléments de la chaîne de résultats/du modèle logique qu'il convient d'évaluer?

• Le recours à des méthodes d'évaluation axées sur la théorie, par exemple les analyses de la contribution, peut être utile pour le calibrage, les questions et la collecte de données pouvant cibler des mécanismes de changement précis.
• Il peut être judicieux de consacrer plus de ressources à l'examen des extrants et des résultats immédiats dans le cas des programmes récents, tandis que l'évaluation de programmes mieux établis pourra porter davantage sur l'atteinte de résultats à plus long terme.

Période visée par l'évaluation :

Quelle période à l'intérieur de la durée de vie du programme examine-t-on? Est-ce que l'on doit inclure des années ayant précédé l'actuel cycle de financement?

• L'examen des résultats sur une longue période peut exiger davantage de ressources, mais cela peut aussi être important afin d'évaluer l'incidence globale d'un programme. Le fait de se limiter constamment au cycle de financement le plus récent peut conduire à des évaluations multiples portant uniquement sur des résultats à court et à moyen terme.

Longévité du programme et stabilité du contexte :

Est-ce que le programme existe depuis longtemps? Est-ce qu'il a récemment produit des résultats pertinents? Est-ce que le contexte ^{Note de bas de page 2} qui sous-tend le programme a sensiblement changé, ce qui pourrait influer sur le rendement et la pertinence de ce dernier?

• Dès lors qu'un programme a déjà été évalué, certains aspects des évaluations subséquentes peuvent exiger moins de travail – par exemple, lorsque l'on a établi les paramètres de base et que la méthode de mesure du rendement a été testée et ajustée.
• Il est tout à fait possible de consacrer moins de ressources à l'évaluation du rendement pour les programmes ayant produit de bons résultats pendant une longue période.
• Lorsque le contexte rattaché à un programme n'a pas beaucoup évolué, l'évaluation peut viser à établir si la précédente analyse de la pertinence est encore valide ou s'il convient d'évaluer certains aspects reliés à la pertinence du programme.
• Dans le cas d'un programme dont le contexte a évolué, il peut être nécessaire de prévoir plus de ressources afin d'étudier ces changements ainsi que leurs répercussions éventuelles sur le programme.

4.2 Approche et modèle d'évaluation

En matière d'évaluation, l'approche correspond au modèle conceptuel général utilisé pour procéder à l'évaluation. Il existe un large éventail d'approches possibles (évaluation axée sur la théorie, évaluation participative, analyse de la contribution, évaluation axée sur l'utilisation, etc.); il faut envisager chacune d'entre elles et choisir en fonction des besoins et des circonstances entourant le programme à évaluer. La quantité d'efforts et de ressources variera selon l'approche – dans un contexte de restriction des coûts, la disponibilité de ressources (temps, personnes possédant l'expérience et les compétences requises, ressources financières) peut être un facteur déterminant lorsqu'il faut choisir une approche d'évaluation.

Il convient également de tenir compte du modèle de recherche le plus approprié, par exemple un modèle expérimental, quasi expérimental ou non expérimental.

Voici certains facteurs que l'on pourra prendre en compte lors du calibrage d'une évaluation en fonction de l'approche et du modèle d'évaluation :

Pertinence de l'approche d'évaluation dans l'optique de la portée de l'évaluation et des caractéristiques du programme à évaluer :

Est-ce qu'il y a une approche ou un modèle d'évaluation en particulier qui s'impose, étant donné la portée de l'évaluation et des caractéristiques du programme examiné?

• Il sera souvent utile à l'évaluateur de collaborer avec les responsables des programmes à l'étape de la détermination du modèle, ou du moins bien avant l'évaluation, de manière à déterminer une approche et un modèle appropriés. On sera ainsi plus à même d'assurer une mesure du rendement efficace et une collecte de données adéquate (par exemple, des données longitudinales), et ce, de façon économique.
• En fonction des caractéristiques du programme, il est possible d'utiliser différentes approches et modèles variés qui exigent moins de ressources, à savoir :
  • Lorsque la nature du programme et les risques connexes le justifient, le groupe cible peut lui-même servir de groupe de comparaison selon un modèle « avant/après ».
  • Lorsque l'on dispose de données secondaires sur des programmes ou groupes similaires à des fins de comparaison, il peut devenir moins important, voire inutile, de recourir à des groupes de contrôle ou à des repères ^{Note de bas de page 3}.
  • Dans les cas où les activités et les extrants sont relativement uniformes et cohérents, l'évaluation pourra porter sur un petit nombre d'études de cas représentatives ^{Note de bas de page 4}.

Pertinence de la combinaison de sources de données utilisées dans le cadre de l'évaluation :

Est-ce que l'on dispose d'une combinaison appropriée de données primaires et secondaires, quantitatives et qualitatives, étant donné la portée de l'évaluation et les questions et enjeux examinés? Quel serait l'équilibre idéal entre données subjectives (impressions personnelles, attitudes et perceptions) et données objectives (factuelles)? Est-ce que le nombre de sources de données utilisées est justifié?

• Ainsi que cela est précisé dans les Normes d'évaluation pour le gouvernement du Canada, l'évaluateur doit s'assurer que de « multiples sources de données, y compris des éléments probants découlant de l'analyse quantitative et de l'analyse qualitative, sont utilisées pour veiller à ce que les éléments probants soient fiables et défendables » (disposition 6.2.2.c).

Contexte et préférences du point de vue de l'organisation/du programme :

Est-ce qu'une approche d'évaluation en particulier pourrait présenter des avantages du point de vue de l'organisation ou du programme? Quelles sont les préférences de l'organisation concernant le niveau et le degré de détail de l'information?

• Lors de la planification de l'évaluation, il convient d'examiner si les avantages associés à l'approche d'évaluation préconisée par l'organisation justifient des coûts plus élevés, le cas échéant.

4.3 Méthodes de collecte de données

La méthode de collecte de données est la technique utilisée pour recueillir des données (enquêtes, interviews, etc.).

Voici certains facteurs à prendre en considération lors du calibrage d'une évaluation sous l'angle des méthodes de collecte de données :

Information existante :

Dans quelle mesure peut-on répondre à chaque question d'évaluation au moyen des données existantes? Jusqu'à quel point la stratégie de mesure du rendement est-elle mise en œuvre efficacement, et est-ce que les données recueillies sont fiables, crédibles et pertinentes? Quelles sont les nouvelles sources de données requises pour répondre aux questions d'évaluation ou pour servir de complément aux données existantes?

• Avant de prévoir la collecte de données additionnelles, l'évaluateur doit examiner les données existantes et en faire un usage maximal. Si l'on tire tout le parti possible des données existantes, la collecte de nouvelles données pourra souvent se limiter à combler les lacunes dans l'information disponible.
• L'information recueillie lors d'évaluations antérieures peut être utile, surtout si le contexte entourant le programme n'a pas changé.
• Les renseignements recueillis lors d'audits et d'autres travaux de recherche peuvent servir de complément d'information ou enrichir les constatations faites dans le cadre de l'évaluation.

Point de saturation :

Dans quelle mesure peut-on limiter la quantité de données à recueillir tout en étant en mesure de répondre aux questions d'évaluation? Est-ce qu'une source de données particulière tend à produire constamment les mêmes résultats?

• Tout au long de l'étape de la collecte de données, l'évaluateur doit analyser l'information recueillie afin de déterminer s'il lui faut obtenir des données additionnelles pour pouvoir formuler des conclusions valides et crédibles.
• Un point de saturation peut être atteint aussi bien pour les données secondaires que pour les données primaires. Par exemple, dans le cadre d'une revue de la littérature, il n'est pas toujours nécessaire d'examiner des documents additionnels une fois que l'on dispose de suffisamment de données probantes sur un point particulier à partir d'un certain nombre de documents clés.
• L'évaluateur peut envisager de réduire la taille globale des échantillons lorsque les parties prenantes (même celles dont les intérêts sont antagonistes) semblent être globalement d'accord sur un point donné.

Il peut cependant être difficile de déterminer le point de saturation, et l'évaluateur ne doit pas interrompre trop tôt la collecte de données, en particulier dans le cas de programmes dont le degré de risque ou de complexité est élevé.

Stratégies d'échantillonnage :

Est-ce que la stratégie d'échantillonnage est appropriée (par exemple, en vue de l'organisation d'enquêtes ou d'interviews)?

La stratégie d'échantillonnage employée dans le cadre d'une évaluation aura une incidence sur la quantité d'efforts qu'exigera cette dernière. Dans le cas d'enquêtes, la taille de l'échantillon sera idéalement déterminée en fonction de l'ampleur de l'effet et de la puissance statistique que l'on vise ^{Note de bas de page 5}.

Il existe différents moyens de réduire la quantité d'efforts requis dans le contexte de la stratégie d'échantillonnage :

• Échantillonnage stratégique ou déterministe : Approche consistant à échantillonner uniquement les sujets les plus pertinents, à la lumière des renseignements requis ou de la capacité des sujets à formuler des commentaires faisant autorité sur un thème particulier.
• Échantillonnage en grappes : Le fait de concentrer l'échantillonnage sur des groupements inhérents (p. ex. personnes vivant dans une région géographique proche) peut réduire les coûts associés aux déplacements.
• La réduction du degré de désagrégation des données peut limiter la taille des échantillons et diminuer la quantité d'efforts à prévoir pour traiter et interpréter les données ^{Note de bas de page 6}.

Interviews/enquêtes – Approches possibles :

Il existe différentes approches d'interview ou d'enquête pouvant permettre de réduire la quantité d'efforts et de ressources nécessaires pour procéder à une évaluation :

• L'utilisation d'instruments de collecte plus courts (questionnaires d'enquête, guides d'interview) peut réduire le temps nécessaire pour la collecte des données.
• Interviews collectives : Dans certains cas (par exemple lorsque l'on peut raisonnablement s'attendre à ce que les personnes interviewées donnent leurs vraies opinions dans le cadre de discussions en groupe sans craindre de conséquences négatives), les interviews collectives réunissant un petit nombre de personnes (deux ou trois) peuvent constituer une alternative économique et efficiente aux interviews individuelles.
• Groupes de discussion : Lorsque la collecte de données peut être circonscrite à un petit nombre de questions, les groupes de réflexions constitueront parfois une méthode de collecte à la fois économique et efficiente.
• Interviews téléphoniques : Cette méthode peut aider à réduire les coûts et le volume de travail associés aux déplacements pour mener des interviews en personne.
• Questionnaires à remplir soi-même : Bien qu'ils ne conviennent pas à toutes les évaluations, ces questionnaires peuvent permettre d'économiser temps et efforts aux fins de la collecte de données.

Technologies :

Est-ce qu'il serait possible de recourir à des moyens technologiques pour accroître l'efficience de la collecte et de l'analyse des données?

• La collecte de données par des moyens technologiques (enquêtes en ligne, interface vidéo en ligne pour la tenue d'interviews) – lorsque cela est possible – peut aider à réduire considérablement le temps, les efforts et les coûts associés à la collecte et au regroupement des données.
• Les logiciels de gestion et d'analyse de données quantitatives et qualitatives peuvent aussi réduire la quantité de temps et de travail nécessaire pour traiter et analyser les données ^{Note de bas de page 7}.
• L'utilisation d'information sur vidéo ou sur support photographique peut être un moyen efficace de recueillir et de présenter des données probantes.

Consultation de spécialistes :

Serait-il possible de réduire la quantité d'efforts en vue de recueillir les données en consultant des spécialistes?

De telles consultations peuvent prendre différentes formes – communications informelles, interviews en bonne et due forme ou participation de spécialistes à titre de membres de l'équipe d'évaluation ou du comité consultatif.

• Par exemple, la consultation d'un spécialiste lors de la planification de l'évaluation peut aider à déterminer les documents essentiels à examiner, ce qui exigera moins de travail que l'examen d'un volume important et exhaustif d'information.

Rapports de projet à titre d'outils de collecte :

Serait-il possible de recourir aux rapports de projet pour la collecte de données sur les résultats?

• Lorsque la planification de l'évaluation est amorcée très tôt, par exemple au moment de la mise en œuvre du programme, certains renseignements sur les résultats peuvent être recueillis auprès des clients du programme dans le cadre de la préparation des rapports de projet. La compilation de renseignements à partir de différents rapports de projet peut toutefois exiger beaucoup de temps et de travail.
• Il convient de tenir compte du fait que les rapports de programme à l'interne peuvent comporter un biais et présenter un degré de fiabilité relatif.

4.4 Rapport

Ainsi que cela est précisé dans les Normes d'évaluation pour le gouvernement du Canada, les rapports d'évaluation doivent présenter les constatations, les conclusions et les recommandations d'une manière claire et neutre. Ils doivent être rédigés de façon que les cadres supérieurs et les lecteurs de l'extérieur puissent facilement se concentrer sur les points importants signalés et les comprendre.

Voici certains facteurs à prendre en considération lors du calibrage d'une évaluation en fonction des exigences de rapport :

Adéquation du degré de détail de l'information :

Est-ce que le rapport fournit des renseignements adéquatement détaillés pour informer les destinataires du rapport (organismes centraux, administrateurs généraux, parlementaires, Canadiens) au sujet de la méthodologie, du contenu, des limites et des constatations de l'évaluation? Est-ce que les données probantes à l'appui des constatations sont exposées de façon succincte?

• Dans certains cas, il peut être possible de simplifier ou de raccourcir le rapport d'évaluation en présentant uniquement les constatations clés reliées aux questions ou aux points mentionnés dans le cadre ou la matrice d'évaluation, et en fournissant des renvois à d'autres rapports de surveillance ou de méthodologie.

Choix du moment pour commencer la rédaction du rapport :

Quand est-il approprié de commencer à rédiger le rapport d'évaluation?

• Lors du processus d'évaluation, il peut être utile de rapidement mettre au point le schéma du rapport, c'est-à-dire la structure, les en-têtes, les parties et une courte description de l'information à présenter ^{Note de bas de page 8}. Un schéma de rapport ainsi annoté évite de gaspiller des ressources à la collecte de données qui ne sont pas nécessaires, et permet de s'assurer que l'on dispose de suffisamment de données probantes pour répondre aux questions d'évaluation.
• Certaines sections du rapport peuvent être rédigées avant la fin de l'analyse, par exemple l'introduction ainsi que l'exposé de la méthodologie et du profil du programme.

Il importe de s'assurer que le rapport d'évaluation est conforme aux exigences énoncées à l'article 6.4 des Normes d'évaluation pour le gouvernement du Canada. En outre, il importe, dans le rapport, de présenter, de façon claire, les raisons pour lesquelles l'on a choisi de procéder à un calibrage et d'exposer toute conséquence que ce dernier est susceptible d'avoir.

4.5 Gouvernance et gestion du projet

La gestion de projet consiste à mettre en pratique des connaissances, des compétences et des techniques afin d'assurer une exécution efficace et efficiente des projets ^{Note de bas de page 9}. Le principal défi associé à la gestion d'une évaluation consiste à atteindre tous les buts et objectifs de l'évaluation tout en respectant les contraintes usuelles en termes de temps et de ressources.

Voici certains facteurs à prendre en considération lors du calibrage d'une évaluation sous l'angle de la gestion du projet :

Complexité de la gestion du projet :

Quelle connaissance doit-on avoir de l'environnement entourant le programme? Quel devrait être le degré de participation approprié des parties prenantes et des responsables du programme lors de l'évaluation?

• Une planification exhaustive de l'évaluation, incluant une participation importante des parties prenantes, peut exiger beaucoup de ressources, et peut s'avérer secondaire dans le cas des programmes dont la dernière évaluation remonte à peu de temps.

Ressources humaines :

A-t-on optimisé l'affectation des ressources humaines aux fins du projet d'évaluation? Est-ce que l'on a tenu compte des points forts et des points faibles des membres de l'équipe d'évaluation lors de l'attribution des tâches? Faudra-t-il prévoir de réaffecter les ressources à différents stades de l'évaluation?

• Des évaluateurs plus chevronnés seront mieux à même de mener à terme les évaluations lorsque l'on dispose de moins de temps ou de moins de données pour tirer des conclusions.
• Il peut s'avérer plus judicieux et plus économique de recourir davantage à des évaluateurs de rang subalterne pour les évaluations à faible risque.
• Pour certaines évaluations, il y aura lieu de faire appel à des spécialistes externes en raison de la complexité du sujet; il conviendra alors de prévoir plus de temps et de travail afin de procéder à l'impartition, ce qui peut entraîner une hausse du volume de ressources requises pour l'évaluation.
• Parfois, il peut être possible de faire appel à des personnes qui ne sont pas des spécialistes du domaine afin de recueillir des données; cela peut constituer une solution économique. Toutefois, cela peut aussi nécessiter beaucoup de formation, de surveillance et de validation de données, de sorte que les économies au chapitre des coûts peuvent ultimement être minimes, voire nulles.
• Dans certains cas, il peut être judicieux de confier la collecte de données à des ressources externes, de sorte que les évaluateurs internes se concentrent sur l'analyse et le rapport.

Structure de gouvernance du projet :

Comment l'évaluation est-elle gérée? S'agit-il d'une évaluation horizontale dirigée par le ministère ou par une autre organisation? Est-ce qu'un comité consultatif ou un autre organe prend part à l'examen et à l'approbation des produits livrables? Si tel est le cas, à quelles étapes et en vue de la réalisation de quelles tâches doivent-ils intervenir?

• En fonction du nombre d'organisations concernées, la gestion d'évaluations horizontales peut exiger beaucoup de travail. Lors de leur planification, les gestionnaires doivent prendre en compte la quantité de temps et de travail à prévoir pour les consultations, la rétroaction et les approbations dans le cadre des évaluations horizontales – quantité qui est souvent considérable.

Produits livrables :

Est-ce que le nombre de produits livrables est adéquat? Est-ce que les évaluateurs peuvent limiter au strict minimum les activités nécessaires en vue de leur production?

• Le nombre de produits livrables doit être calibré à la lumière des risques associés au programme. Dans certains cas, il peut ne pas être nécessaire de produire un rapport distinct pour chaque élément de preuve, de tels rapports pouvant exiger beaucoup de ressources.

Surveillance du projet :

Quel degré de surveillance du projet doit-on prévoir durant l'évaluation?

• Le fait de limiter l'objet de la surveillance (temps et volume de travail) et la fréquence de surveillance des variables pertinentes peut servir à réduire la quantité d'efforts à prévoir pour la surveillance du projet. Par exemple, la production de rapports d'étape fréquents peut exiger beaucoup de ressources.

Communications :

Comment l'information relative à l'évaluation est-elle communiquée aux principales parties prenantes?

• Il peut être important d'indiquer aux parties prenantes (notamment les cadres supérieurs) les cas où l'on a limité le volume de travail consenti pour certains aspects et d'expliquer les raisons ayant motivé cette décision de façon à éviter les surprises lors de l'examen du rapport d'évaluation.