ARCHIVÉE - Évaluation formative du programme des centres de collaboration nationale en santé publique (CCNSP)

Chapitre 2 : Objectif de l’évaluation et méthodes utilisées

Objectif et portée de l’évaluation 

L’évaluation formative avait officiellement pour objectif « évaluer l’obtention des résultats en fonction des objectifs, buts et résultats intermédiaires établis, en mettant particulièrement l’accent sur les activités et les extrants depuis la création du programme des CNCSP^{Note de bas de page 14}». L’évaluation devait permettre de déterminer les lacunes et les enjeux, en plus de veiller à assurer la documentation, la justification et le partage des réalisations et des réussites des CCNSP. Les conclusions étaient censées orienter les recommandations concernant la préparation et la mise en œuvre des prochaines activités des CCNSP, contribuer au renouvellement des conditions du Programme et fournir des données de référence en vue d’une évaluation sommative.

En février 2008, l’ASPC a élaboré un cadre d’évaluation des progrès en collaboration avec les six CCN^{Note de bas de page 15}.  Les grandes questions d’évaluation se regroupaient dans les quatre domaines suivants :

1. Conception et exécution du Programme : Dans quelle mesure la conception et l’exécution du Programme des CCNSP sont-elles appropriées?
2. Réalisations et réussites : Quelle est la situation du Programme des CCNSP par rapport à l’atteinte des buts et des objectifs immédiats?
3. Convenance des ressources : Dans quelle mesure la quantité des ressources humaines et financières convient-elle à l’exécution efficace du Programme des CCNSP?
4. Pertinence : Dans quelle mesure le Programme permet-il de répondre aux priorités du gouvernement fédéral et de l’ASPC?

Structure de l’évaluation et méthodes utilisées

Un modèle logique des CCNSP a été conçu dans le cadre du CGRR de 2005 (figure 1)^{Note de bas de page 16}. Le CGRR comprenait les questions détaillées et les indicateurs connexes, qui ont été précisés dans le cadre d’évaluation des progrès de février 2008.^{Note de bas de page 17}

L’équipe chargée de l’évaluation formative a adopté le cadre d’évaluation en février 2008, mais elle a perfectionné légèrement la matrice de données (annexe A).

Voici certaines sources de données et méthodes utilisées :

• examen des documents;
• entrevues ou groupes de discussion sur place, avec le secrétariat du Programme des CCNSP, le personnel et la direction des CCN ainsi que les représentants d’organismes hôtes;
• entretiens téléphoniques avec les principaux répondants, y compris les membres du personnel des CCN avec lesquels il a été impossible de discuter au cours des visites sur place;
• observations et confirmation des conclusions à l’occasion de la séance de planification stratégique des CCNSP.

Figure 1. Modèle logique des CCNSP^{Note de bas de page 18}

Quelque 600 documents ont été examinés dans le cadre de cette évaluation, dont des documents en provenance du secrétariat du Programme des CCNSP, des CCN, des sites Web des CCNSP et de la documentation générale. En voici quelques exemples :

• documentation sur le Programme des CCNSP (environ 85 documents), y compris, non exclusivement, les premiers documents concernant sa création, les documents relatifs au cadre de gestion et de responsabilisation axé sur les résultats (CGRR) présentant les attentes en matière de responsabilisation, les rapports annuels ainsi que les procès-verbaux de réunions importantes, comme celles du Conseil consultatif;
• documents relatifs à chaque CCN individuellement (environ 425), y compris, non exclusivement, leur accord de contribution, les principaux documents concernant les attentes des CCNSP (p. ex., plans de travail, rapports d’étape, documents d’évaluation des besoins, plans d’évaluation et plans stratégiques) ainsi que d’autres documents jugés importants en fonction des questions d’évaluation;
• documents concernant les efforts de collaboration des CCN (environ 85), comme les procès‑verbaux des réunions de direction des CCN, les plans de communication et la documentation de l’atelier d’été;
• documents produits par les CCNSP ou les CCN qui comprennent des renseignements utiles en fonction des questions d’évaluation (p. ex., sondage mené auprès des médecins hygiénistes concernant leur connaissance des CCN) ainsi que la documentation pertinente (environ 20 documents).

Le secrétariat du Programme des CCNSP a conçu un modèle d’examen des documents et chaque CCN utilise une méthode de compilation de tous les renseignements nécessaires à l’évaluation (annexe B). Les évaluateurs ont par la suite inscrit dans le modèle les données que le secrétariat du Programme de CCNSP avait compilées et leur avait transmises. Une fois remplis, les modèles ont été soumis à l’approbation du directeur général ou du personnel des CCN au cours des visites sur place. Les évaluateurs ont profité de l’occasion pour demander aux CCN ou à l’ASPC les éléments manquants, le cas échéant. Les outils d’examen des documents approuvés ont servi à produire des rapports sur les activités et les réalisations de chaque groupe.

Les évaluateurs ont effectué 63 entrevues auprès des principaux répondants et discussions en groupe, de sorte qu’ils ont sondé 87 personnes (annexe C). À l’aide des listes de personnes‑ressources mises à leur disposition et des recommandations du secrétariat du Programme des CCNSP et du personnel des CCN, les évaluateurs ont dressé une liste de 200 personnes qu’ils pourraient interroger. Le choix final est revenu à l’équipe d’évaluation, qui a décidé d’interroger les personnes suivantes :

• les personnes occupant des postes d’une grande importance, dont des représentants de l’ASPC, des gestionnaires supérieurs et des employés des CCN, des représentants d’organismes hôtes, des membres actuels ou anciens du Conseil consultatif, des présidents et des membres des comités consultatifs, des personnes participant aux premières étapes de conception des CCNSP;
• les personnes qui ont participé le plus aux CCNSP, comme celles qui ont assumé différents rôles ou pris part aux activités organisées par plus d’un CCN;
• des représentants des six différents sujets;
• des représentants provenant de partout au pays;
• des représentants de différents domaines liés à la santé publique, c.-à-d. l’ASPC, les gouvernements provinciaux, les médecins hygiénistes, des praticiens en santé publique, des chercheurs;
• les parties intéressées et les bénéficiaires prévus qui représentent les utilisateurs possibles des produits offerts par les CCN.

Le tableau 1 illustre le nombre de répondants interrogés, divisés par groupe. Certaines personnes interrogées représentent plus d’un groupe de répondants. Par exemple, une personne qui fait à la fois faire partie du personnel d’un CCN et qui est membre du comité consultatif d’un autre CCN représente deux groupes de répondants.

Les questions d’entrevue de chaque grand groupe de répondants étaient préparées afin d’orienter les entrevues et les groupes de discussion (annexe D). À partir des réponses à ces questions générales, les évaluateurs ont préparé des questions précises. Les questions d’entrevue étaient axées sur les quatre sujets d’évaluation, soit la conception et l’exécution du programme, les réalisations et les réussites, la convenance des ressources et la pertinence.

Les évaluateurs ont pris des notes détaillées au cours des entrevues et des réunions des groupes de discussion. Dans la mesure du possible, les séances ont été enregistrées  et les enregistrements ont servi à la rédaction des notes. Lorsque plus d’un évaluateur participait à l’entrevue ou au groupe de discussion, chaque membre de l’équipe a validé les notes utilisées dans le cadre de l’analyse.

Les notes ont été compilées par question, pour être ensuite codées et analysées en fonction des éléments suivants :

• Dix groupes de répondants :
  • les représentants de CCN, y compris des représentants d’organismes hôtes, qui composent six groupes de répondants;
  • les membres du Conseil consultatif, qui composent un groupe de répondants;
  • les membres des comités consultatifs des CCN, qui composent un groupe de répondants;
  • les représentants de l’ASPC et d’autres organismes nationaux, qui composent un groupe de répondants;
  • les parties intéressées ou impliquées, qui composent un groupe de répondants;
• thème et sous-thème.

Deux évaluateurs ont participé à une séance de planification stratégique d’un CCNSP, où ils ont présenté les résultats préliminaires de l’évaluation formative. Grâce au temps écoulé entre, d’une part, l’événement et, d’autre part, les entrevues et les discussions en groupe, les évaluateurs ont eu la possibilité de confirmer les suggestions et les problèmes mis de l’avant de même que d’observer la relation entre les principaux représentants des CCNSP ainsi que les processus décisionnels qu’ils utilisent. Cette séance réunissait des membres du Conseil consultatif, des représentants de l’ASPC (y compris du secrétariat du Programme des CCNSP) et des dirigeants de CCN.

Réserves

Les évaluateurs soulèvent plusieurs réserves au sujet de l’évaluation et invitent les lecteurs à en interpréter les résultats avec prudence. Certaines réserves relatives à des méthodes bien précises sont atténuées par le fait que de nombreuses sources de données ont servi à la confirmation des conclusions. Toutefois, malgré ces réserves, les évaluateurs sont convaincus que le rapport représente fidèlement les activités des CCNSP et l’avis des principales parties.

D’abord, en raison du calendrier et des contraintes financières de l’évaluation, il a été impossible d’examiner en profondeur les activités et les produits de chaque CCN. Il faut souligner que l’évaluation couvre les activités de huit organismes; ceux du secrétariat du Programme des CCNSP, du projet de collaboration des CCN et de six CCN. Ainsi, comme les activités se sont déroulées sur une période de quatre ans, il a fallu les résumer et produire des rapports à un niveau élevé.

Deuxièmement, bien que les évaluateurs aient tenté de consulter tous les documents pertinents, il se peut qu’ils en aient oubliés certains par inadvertance. Ils ont utilisé les documents dont ils disposaient en novembre 2008.

Troisièmement, compte tenu du grand nombre de répondants qui auraient pu participer à l’évaluation, les évaluateurs étaient en quelque sorte soumis aux recommandations du secrétariat du Programme de CCNSP, des directeurs scientifiques des CCN et des directeurs généraux concernant les personnes dont la participation aux CCNSP était la plus importante. Ainsi, il est possible que les CCNSP bénéficient d’un préjugé favorable. Les évaluateurs ont tenté d’atténuer ce risque en choisissant des représentants qui ne faisaient pas partie des suggestions du secrétariat du Programme des CCNSP ni des CCN, comme d’anciens membres du Conseil consultatif ou des comités consultatifs des CCN.

Quatrièmement, les évaluateurs ont tenté de communiquer avec les principaux répondants ayant participé à la conceptualisation, à la conception et aux premières étapes de mise en œuvre des CCNSP, mais de nombreux avaient changé de poste, certains étaient impossibles à trouver et d’autres ont même refusé de participer à l’entrevue.

Finalement, malgré les notes prises au cours des entrevues et des réunions, en raison du manque de temps et de ressources, il a été impossible de les transcrire et de les faire confirmer par les participants.