ARCHIVÉE - Évaluation formative de l’Initiative canadienne de vaccin contre le VIH

Méthodologie

La présente section décrit la raison d’être de l’évaluation, ses objectifs, les questions examinées et la méthodologie, ainsi que les limites de cette méthodologie.

Les programmes réalisés par l’ASPC, dont celui de l’ICVV, sont assujettis à une évaluation afin de faire état de leurs réussites et des résultats obtenus à titre de rendement sur l’investissement (dans le cas présent, en termes de bénéfices pour la santé). Le document intégrant le Cadre de gestion et de responsabilisation axé sur les résultats et le Cadre de vérification axé sur les risques (CGRR/CVAR) requiert une évaluation d’étape (formative) avant la fin du troisième exercice de l’Initiative (soit avant le mois de mars 2010). Cette évaluation doit être réalisée « afin d’évaluer le degré d’efficacité de la mise en œuvre de l’Initiative et si des modifications s’avèrent nécessaires »¹. Les résultats de l’évaluation formative doivent également servir “de données de référence pour l’évaluation sommative finale »².

La demande de propositions (DP) précisait en outre que les résultats de l’évaluation devaient notamment servir à trois fins particulières :

• Fournir une évaluation préliminaire des progrès réalisés durant les deux premiers exercices de la mise en œuvre du programme : dans quelle mesure l’ICVV contribue à l’avancement de la découverte d’un vaccin et de la recherche sociale, au renforcement de la capacité de procéder à des essais cliniques et réseaux, à la prise en compte des questions stratégiques et réglementaires et des dimensions sociale et communautaire; le fonctionnement despartenariats, des comités et des modalités de partage des connaissances sera également examiné.
• Contribuer à favoriser les meilleures décisions sur la meilleure façon d’assurer la prestation du programme de l’ICVV et formuler des stratégies en vue de l’amélioration continue de ces processus.
• Évaluer la pertinence de l’ICVV et des projets qu’elle soutient, en fournissant un éclairage objectif sur l’opportunité des projets financés et du programme dans son ensemble en regard des besoins et des priorités que le programme est censé satisfaire. Cette évaluation éclairera le processus décisionnel sur l’avenir du programme (notamment en ce qui a trait aux orientations stratégiques, à l’envergure du programme et à l’affectation des ressources, et aux priorités du programme), et contribuera à assurer la pertinence des interventions en regard des objectifs des politiques publiques dans ce domaine³.

3.1 Objectifs de l’évaluation

Les objectifs de cette évaluation formative étaient d’évaluer les progrès réalisés au cours des deux premiers exercices de la mise en œuvre de l’ICVV et d’établir s’il y lieu d’apporter des correctifs au niveau de la conception, de la prestation et de l’orientation des activités réalisées.

Les questions auxquelles il s’agissait de répondre dans le cadre de cette évaluation selon les directives énoncées à la DP étaient les suivantes :

Progrès dans la mise en œuvre du programme

1. Le financement est-il employé dans sa totalité, de manière efficace et conformément aux plans et aux autorisations?

2. Quelles activités ont été financées dans le cadre de ce programme?

3. Quels groupes de clients et d’organismes ont reçu des fonds dans le cadre de ce programme?

4. Quels domaines de recherche et priorités de recherche ont reçu des fonds dans le cadre de ce programme?

5. Quels modes de prestation ont servi à la réalisation de ce programme?

6. Est-ce que la prestation et la mise en œuvre du programme sont réalisées selon les plans établis à cet effet?

7. Le cadre de gouvernance est-il efficace?

8. Dans quelle mesure les accords de collaboration entre les ministères, les organismes gouvernementaux et la Fondation Bill et Melinda Gates sont-ils efficaces?

9. Y a-t-il des chevauchements dans certains domaines?

Atteinte des premiers résultats du programme

10. Quels progrès ont été accomplis en vue de l’atteinte des résultats escomptés?

11. Quelle est l’incidence du programme sur les bénéficiaires?

12. A-t-on observé des résultats inattendus, qu’ils soient positifs ou négatifs?

13. Est-ce qu’il existe un mécanisme de mesure du rendement pouvant être

appliqué à l’ensemble des ministères et organismes gouvernementaux participants?

Rôle de l’ICVV et pertinence du programme

14. Quels sont les programmes et les services nécessaires dans le contexte actuel de la recherche de vaccin contre le VIH?

15. Y a-t-il convergence entre le mandat, les objectifs et les priorités des ministères et organismes partenaires et des autres ministères et organismes participants?

16. Y a-t-il convergence du programme avec les besoins et les priorités des principaux bénéficiaires et groupes cibles?

Pratiques et leçons porteuses

17. Est-ce que l’ICVV bénéficierait d’une réaffectation des fonds et d’un changement de cible entre les diverses activités?

18. Qu’est-ce qui a bien fonctionné dans la prestation des programmes de recherche et d’initiatives communautaires?

19. Quels problèmes ont été décelés dans la réalisation du programme d’initiatives communautaires?

20. Qu’est-ce qui a bien fonctionné dans la réalisation du volet Installation pilote de fabrication à petite échelle de vaccins contre le VIH en vue d’essais cliniques par lots?

21. Quels problèmes ont été décelés dans la réalisation du volet Installation pilote de fabrication à petite échelle de vaccins contre le VIH en vue d’essais cliniques par lots?

22. Est-ce qu’il y a un bon maillage entre l’ICVV et les principaux intervenants qui s’intéressent au domaine de la recherche de vaccin contre le VIH?

23. Est-ce qu’il y a un bon maillage entre l’ICVV et les principaux intervenants qui s’intéressent à d’autres secteurs du volet technologique de la prévention du VIH?

24. Comment pourrait-on améliorer la prestation du programme, que ce soit sur le plan de l’efficacité ou de l’efficience du programme?

Dès le début du processus d’évaluation, il est devenu évident qu’il ne serait pas possible d’apporter des réponses à certaines de ces questions. Compte tenu des retards pris dans la mise en œuvre de certains volets de l’ICVV, il a été proposé d’exclure ces questions de la présente évaluation formative et de les aborder à l’occasion de la réalisation de l’évaluation sommative. Le Secrétariat de l’ICVV a acquiescé à cette proposition et cela a été avalisé dans la version révisée de la grille d’évaluation. Par conséquent, les questions suivantes ont été exclues de l’évaluation formative :

11. Quelle est l’incidence du programme sur les bénéficiaires?

12. A-t-on observé des résultats inattendus, qu’ils soient positifs ou négatifs?

18. Qu’est-ce qui a bien fonctionné dans la prestation des programmes de recherche et d’initiatives communautaires?

21. Quels problèmes ont été décelés dans la réalisation du volet Installation pilote de fabrication à petite échelle de vaccins contre le VIH en vue d’essais cliniques par lots?

Le tableau à l’annexe B illustre la corrélation entre les questions d’évaluation et les sections correspondantes du rapport d’évaluation.

3.2 Méthodologie

La méthodologie utilisée dans le cadre de cette évaluation était essentiellement de nature qualitative et a fait appel à deux sources d’information : la documentation et les principaux répondants.

Examen de la documentation

L’équipe chargée de l’évaluation a procédé à un examen exhaustif des principaux éléments de la documentation se rapportant au programme, consultant notamment les documents suivants :

• le document intégré CGRR/CVAR de l’ICVV;
• les présentations de l’ICVV, le site Internet de l’ICVV, les rapports annuels et d’autres documents contextuels ayant trait au programme de l’ICVV;
• les renseignements financiers se rapportant à l’ICVV;
• des documents se rapportant au financement de l’ICVV (annonces, lettres d’invitation à présenter une proposition de financement, etc.);
• les procès-verbaux du Comité de direction interministériel.

La liste complète des documents consultés figure à l’annexe C du présent rapport.

Un examen préalable de la documentation a été effectué afin d’établir une correspondance provisoire entre la documentation disponible et les questions d’évaluation. Par la suite, l’équipe a scruté attentivement les documents pertinents afin de répondre à des questions d’évaluation ayant un lien avec ces documents. L’équipe d’évaluation a aussi consulté d’autres documents pertinents à mesure qu’ils ont été mis à sa disposition de l’équipe au cours de son mandat d’évaluation.

Entrevues réalisées auprès des répondants clés

Les entrevues ont été réalisées auprès de deux groupes distincts de répondants clés, soit des intervenants internes au sein du gouvernement du Canada et des intervenants externes. Les entrevues ont été réalisées en faisant appel à un questionnaire structuré à cette fin, suivant les modalités ci-après :

• entrevues réalisées au téléphone ou en personne auprès de 20 intervenants internes travaillant au Secrétariat de l’ICVV et aux divers ministères fédéraux participant à l’Initiative (ACDI, IC, IRSC, ASPC, SC), en juin et en juillet 2009;
• entrevues téléphoniques auprès de 20 intervenants externes du Canada ou de l’étranger possédant une expertise particulière dans des domaines connexes à l’ICVV; les répondants sont des représentants d’organisations internationales intéressées à la mise au point d’un vaccin contre le VIH et dans le développement de connaissances connexes dans les PFR-PRI; des représentants d’ONG canadiennes actives dans le domaine de la lutte contre le VIH/sida; des chercheurs du Canada actifs dans le domaine de la recherche sur le VIH/sida; des experts des installations pilotes de fabrication de vaccins à petite échelle; et des représentants du secteur privé (industrie biomédicale); les entrevues ont été réalisées en juillet et en début août 2009.

La description détaillée de la méthodologie des entrevues réalisées auprès des répondants clés figure aux annexes D à F :

• Annexe D : Résumé des entrevues avec les informateurs clés
• Annexe E : Guide d’entrevue avec les intervenants internes
• Annexe F : Guide d’entrevue avec les intervenants externes

3.3 Limites de l’évaluation

Comme c’est le cas dans toute évaluation, il y a certaines limites à l’interprétation des constats obtenus dans le cadre de l’évaluation liées à la méthodologie employée. Compte tenu de la mise en œuvre de l’ICVV, de la forte proportion de renseignements de nature qualitative, et de la diversité des répondants clés, bon nombre des constats de cette évaluation formative sont fondés sur un champ relativement restreint de réponses obtenues lors des entrevues. Cette contrainte est sensiblement mitigée par la consultation de documents ayant permis de valider les constats tirés des entrevues avec les répondants clés.

Forte proportion de renseignements de nature qualitative

Le concept de départ de cette évaluation formative comportait notamment un sondage préliminaire auprès des bénéficiaires visant à mesurer les retombées initiales de l’Initiative. Or, il est vite devenu apparent qu’en raison des retards pris dans la mise en œuvre de l’ensemble des volets, un tel sondage auprès des bénéficiaires serait prématuré. Par conséquent, l’évaluation formative s’est plutôt concentrée sur l’évaluation des activités de programme de l’ICVV et ses divers processus, au lieu de mesurer comme tels les résultats de l’Initiative. Puisque les intervenants externes ne sont généralement pas les mêmes pour chacun des volets de l’ICVV, il a été convenu que le moyen le plus efficace d’évaluer les éléments des divers processus avec un groupe aussi diversifié d’intervenants était de réaliser des entrevues avec des répondants clés. Bien que les entrevues aient été réalisées en se référant à un guide d’entrevue structuré à cette fin, aucun indicateur prédéterminé n’avait été établi pour caractériser certains concepts abordés dans les questions d’évaluation (par exemple, le concept d’accord de collaboration), les répondants clés définissant souvent par eux-mêmes leurs propres attentes à ce sujet. Il en résulte la possibilité que les répondants aient interprété différemment ces divers concepts et que les renseignements recueillis à cet égard ne soient pas nécessairement uniformes sous cet aspect pour l’ensemble des répondants.

De plus, en raison des retards dans la mise en œuvre de l’Initiative, le processus de sélection pour certaines subventions était toujours en cours au moment de cette évaluation formative. L’équipe chargée de l’évaluation n’a donc pas été en mesure d’apprécier la question d’évaluation portant sur le processus de demande de subvention. Ceci étant, les constats posés à cet égard ne sont parfois fondés que sur des informations provenant de répondants n’ayant qu’une connaissance générale, voire indirecte, du processus de demande ayant trait à certains types de subventions.

Par ailleurs, puisqu’il n’était pas possible d’évaluer les retombées initiales du programme, l’évaluation formative ne pourra pas fournir les données de référence pour l’évaluation suivante de l’ICVV.

Connaissances limitées des répondants

L’équipe chargée de l’évaluation a interviewé divers répondants possédant une expertise variée des divers volets de l’ICVV. Étant donné la nature même de l’Initiative, comportant notamment divers volets, il a été difficile pour l’équipe d’interviewer des intervenants, à part quelques intervenants internes, possédant une connaissance suffisamment approfondie de l’ensemble des éléments de l’Initiative. Puisque l’équipe chargée de l’évaluation a eu de la difficulté à trouver un groupe suffisamment large de répondants ayant une certaine connaissance de chacun des volets de l’ICVV, l’équipe a dû souvent se fonder sur un nombre restreint de réponses à des questions d’évaluation particulières afin de dresser des constats à cet égard. Cela a restreint l’analyse de certains volets particuliers, ce qui a pu entraîner un portrait sensiblement fragmenté de l’Initiative dans son ensemble. L’équipe a tenté de valider les perspectives différentes formulées par les divers intervenants de l’ICVV en consultant la documentation pouvant s’y rapporter, le cas échéant, ou en validant les constats établis au préalable par des entrevues réalisées ultérieurement (lorsque cela était effectivement réalisable).

Accès limité à certains répondants clés

Le Secrétariat de l’ICVV a sélectionné les répondants clés pour l’évaluation en fonction de ceux qui étaient le plus au courant des divers éléments de l’Initiative. On a ainsi remis à l’équipe chargée de l’évaluation une liste de participants éventuels, au lieu que l’équipe puisse dresser elle-même une telle liste en consultant l’ICVV et des répondants clés. Ceci est devenu problématique lorsque des répondants clés signalaient d’autres intervenants externes qu’il aurait, à leur avis, été opportun de consulter mais dont le nom n’apparaissait pas à la liste établie par le Secrétariat de l’ICVV. En outre, certains participants potentiels ont refusé de participer à l’entrevue.

Cela a pu nuire au degré de précision des résultats de l’évaluation car, comme il a été signalé précédemment, seul un nombre limité de répondants était en mesure de formuler des commentaires sur des éléments de chacun des volets. Puisque des entrevues de suivi n’ont pu être réalisées alors que des répondants suggéraient d’y procéder, cela a pu restreindre la fourchette des perspectives observées par l’équipe chargée de l’évaluation mais, plus probablement, le degré de précision permettant de valider les opinions formulées au sujet de certains enjeux.

1. Demande de propositions, Énoncé des travaux
2. Ibid.
3. Ibid.