ARCHIVÉE - Évaluation 2008 du fonds pour la santé de la population - Rapport final

2. MÉTHODE D'ÉVALUATION

2.1 Collecte des données

L'évaluation 2008 est fondée sur 116 projets réalisés entre le 1eroctobre 2005 et le 31 octobre 2008. De ces projets, 95 étaient financés par l'entremise de processus réguliers de sollicitation et d'invitation à l'échelle nationale et régionale. Les 21 autres projets étaient financés à l'échelle nationale afin de répondre aux priorités de l'ASPC. Ceux-ci seront considérés comme des projets dirigés à l'échelle nationale. Le nombre de projets terminés dans chaque région et l'exercice financier au cours duquel ils ont reçu des fonds pour la première fois figure dans le tableau 2.1.

Comme le nombre de projets dans certaines régions était restreint, il est impossible d'établir des comparaisons entre ces régions. Les comparaisons concerneront donc les projets régionaux, sollicités à l'échelle nationale et dirigés à l'échelle nationale.

Chacun des 116 dossiers a été examiné en utilisant le même modèle que pour l'évaluation 2006 (voir annexe A). De plus, un échantillon aléatoire comprenant 50% des projets sollicités, stratifié par région, a été choisi pour participer à une entrevue, qui a été effectuée au moyen du même protocole d'entrevue que lors de l'évaluation précédente (voir annexe B). Les principales personnes-ressources attitrées aux projets ont été contactées afin de participer à l’entrevue. Une copie du calendrier des entrevues a été envoyée par courriel aux répondants avant leur tenue. Celles-ci étaient menées en anglais ou en français selon la langue préférée du répondant. Des associés en recherche avaient la responsabilité de procéder aux entrevues dans le bureau national de l'ASPC. Sur les 50 responsables de projets choisis dans le cadre du processus d'entrevue, 44 ont été interrogés avec succès, ce qui représente un taux de réponse de 88%.

Les projets dirigés à l'échelle nationale étaient exclus de l'échantillon interrogé en raison de leur nature différente. Cependant, quatre entrevues ont été menées auprès des principaux répondants représentant l'ensemble des projets dirigés à l'échelle nationale. Elles ont été analysées séparément.

Chaque région, le Secrétariat du Nord et le Bureau national ont dû fournir une étude de cas pour un projet démontrant la portée et les conséquences à long terme que pouvaient avoir les projets. Trois régions ont présenté des études de cas et l'une d'entre elles en a présenté deux. Le Secrétariat du Nord et le Bureau national en ont également présenté une. Ces études de cas ont fait l'objet d'une analyse afin de montrer l'optimisation des ressources ou l'incidence continue des projets après leur réalisation.

La déclaration systématique uniforme des produits du FSP et des résultats liés à la direction du programme conformément aux modèles logiques et structurels du FSP ne faisait pas partie de la stratégie d'évaluation du Fonds. Afin d'essayer de recueillir de l'information au sujet des produits et des résultats, le personnel et les gestionnaires responsables du FSP dans chaque région (sauf pour le Bureau national) se sont vu demander de remplir un questionnaire régional résumant leurs activités en matière de direction du programme dans leur région depuis 2005, de même que les résultats perçus de ces activités (voir annexe C). Quatre des six régions ont répondu au questionnaire ainsi que le Secrétariat du Nord.

2.2 Limites

Cette évaluation englobe de multiples sources de données ainsi qu'un ensemble de mesures quantitatives et qualitatives assurant une analyse équilibrée des questions d'évaluation. Toutefois, certaines limites doivent être prises en compte:

Biais de déclaration : Un tiers évaluateur s'est occupé de l'analyse des données. Le personnel de l'ASPC à l'interne a obtenu et transmis les données relatives à l'examen des dossiers et des entrevues. Certaines de ces personnes ont collaboré avec le personnel du programme et étaient très impliquées dans le programme. Des efforts ont été faits afin de compenser les biais possibles en formant le personnel, en utilisant des protocoles normalisés et en apportant un soutien tout au long de la collecte de données.  

Sources de données: La plupart des données ont été recueillies à partir des dossiers de projet conservés par l'ASPC. Étant donné que les exigences en matière de rapports ne précisaient pas en détail les renseignements à consigner, il est possible que certaines variables, comme la participation des bénévoles, soient sous-déclarées. Les questionnaires régionaux remplis par le personnel régional demandaient l'inscription de données rétrospectives observées au cours des trois années précédentes. La validité de ces données peut être remise en question à cause de facteurs comme le roulement du personnel et les caprices de la mémoire. Les entrevues étaient également rétrospectives et leur précision peut aussi être remise en question.

Effets sur les déterminants de la santé et l'état de santé: Ces effets ne faisaient pas partie des modèles logiques et structurels pour le FSP. Bon nombre des facteurs les plus importants ayant une incidence sur la santé de la population du Canada dépassent les limites du FSP. En outre, la taille du programme est telle qu'il serait déraisonnable d'espérer obtenir des effets mesurables sur l'état de santé de l'ensemble de la population canadienne. Le fait d'insister sur les indicateurs à long terme choisis occulterait certaines réussites significatives du FSP et présenterait un portrait trompeur des réalisations. Les preuves montrant que certains projets ont eu un effet sur l'état de santé de la population peuvent être attribuables en partie à d'autres facteurs que lesdits projets.

Financement incertain: Le programme a rencontré des obstacles dans le cadre de la conception et de la mise en application de certaines de ses composantes pendant la période à l'étude; notamment les incertitudes entourant le financement liées au transfert de la Direction générale de la santé de la population et de la santé publique de Santé Canada vers l'ASPC.