ARCHIVÉE - Stratégie intégrée en matière de modes de vie sains et de maladies chroniques - composante fonctionnelle « développement et échange de connaissances »

Méthodologie

2.0 Méthodologie ou conception

La présente évaluation formative recourt à diverses méthodes, y compris des méthodes et des données qualitatives et quantitatives, pour aborder des questions de convergence des résultats, de même que l’exhaustivité et la valeur explicative de l’analyse.Note de bas de page 3 L’évaluation repose sur quatre sources de données : 1) une étude des dossiers relatifs aux projets de DEC; 2) des entrevues menées auprès d’informateurs clés internes de l’ASPC; 3) des entrevues menées auprès d’intervenants externes; et 4) le rapport d’évaluation du Portail canadien des pratiques exemplaires (PCPE). Chacune de ces sources de données est décrite ci-dessous.

1. Étude des dossiers relatifs aux projets de DEC : Des rapports et d’autres documents relatifs aux projets de l’ASPC ont été examinés en tant que source primaire de données sur les activités du volet fonctionnel du DEC, de même que sur les progrès accomplis dans l’atteinte des extrants et des résultats attendus, et en tant que source secondaire de données sur la pertinence et le besoin du volet fonctionnel du DEC.^{Note de bas de page 4} Des gestionnaires et des fonctionnaires de la DPER concernés par les initiatives de DEC ont été consultés lors du processus de sélection des documents pertinents. Des documents et des rapports de projets couvrant la période de l’automne 2005 à l’automne 2008, ainsi que des documents relatifs à tous les projets financés dans le cadre du volet fonctionnel du DEC, ont été choisis pour être analysés. Au total, 61 dossiers ont été examinés aux fins de la présente évaluation tels que des synthèses d’initiatives dirigées ou financées par l’ASPC, des rapports d’analyses de risques, des articles de journaux, des contrats de subventions ou de contributions, des procès-verbaux d’intervenants et des comptes rendus de décisions. Tous ces documents relatifs au volet fonctionnel du DEC ont été examinés. Les informations ont été codées à l’aide d’un manuel de codage élaboré en consultation avec un consultant externe afin de catégoriser les principales données extraites des rapports dans une base de données en format Excel. Ce manuel de codage a facilité l’analyse du contenu quantitatif et le résumé des éléments clés des rapports et des autres documents.

2. Entrevues menées auprès d’informateurs clés internes : Des entrevues menées auprès d’employés de l’ASPC ont été une source principale de données sur les questions relatives à la pertinence ou à la nécessité des activités de DEC. Les exemples de progrès ou de succès ont été au centre des questions sur la conception, la prestation et le fonctionnement global des initiatives.,^{Note de bas de page 5}

   Au total, dix entrevues semi-structurées en profondeur et une entrevue de groupe ont été réalisées auprès d’employés de l’ASPC actifs dans le cadre du volet fonctionnel du DEC. Ces entrevues ont été menées par un ou deux analystes de l’évaluation en janvier et février 2009. Les informateurs clés choisis étaient des gestionnaires ou des analystes principaux, dont un spécialiste régional du développement et de l’échange des connaissances, et représentaient tous les projets financés dans le cadre du volet fonctionnel du DEC ou les programmes de la Division de la surveillance et de l’évaluation des risques, de la Division de la prévention des maladies chroniques ou de la Division du contrôle et de la gestion des maladies chroniques du CPCMC. L’entrevue de groupe a été menée auprès de cinq gestionnaires et du directeur de la Division de la surveillance et de l’évaluation des risques du CPCMC.

   Les entrevues ont duré en moyenne une heure. Les notes d’entrevues ont été transcrites et codées par deux analystes de l’évaluation de l’ASPC, puis analysées par thème et par fréquence à l’aide du guide d’entrevues et d’un examen d’un sous-ensemble d’entrevues formant la base du schéma de codage. Les résultats des entrevues ont été résumés dans un rapport détaillé préparé en concomitance avec la présente évaluation formative.

3. Entrevues menées auprès d’intervenants externes : Des entrevues ont été réalisées avec des intervenants externes pour obtenir un ensemble de données supplémentaires qui reflètent des perspectives différentes de celles des intervenants ayant travaillé étroitement à la réalisation des projets dans le cadre du volet fonctionnel du DEC. Les entrevues ont surtout porté sur des questions concernant la pertinence, les succès ou les progrès, la conception et la prestation des projets.

   Une stratégie d’échantillonnage par choix raisonné^{Note de bas de page 6} a été utilisée par l’ASPC pour choisir les informateurs clés externes devant être interviewés pour obtenir leurs points de vue sur les initiatives de DEC de l’ASPC en matière de modes de vie sains et de maladies chroniques. Le but de cet échantillonnage par choix raisonné était de sélectionner des individus le plus susceptibles de discuter de manière éclairée, de manière productive et en profondeur des observations et des résultats obtenus jusqu’alors dans le cadre des initiatives de DEC. Au total, neuf entrevues d’environ une heure ont été réalisées en janvier et février 2009 par un consultant externe. Les critères de sélection ont été élaborés en consultation avec des employés de l’ASPC et le consultant. Ces critères de sélection ont été utilisés à partir des réactions fournies par des gestionnaires de programmes qui connaissaient le mieux les groupes d’intervenants concernés par leurs projets. Un ou deux informateurs clés externes ont été choisis pour représenter chaque initiative de DEC (l’Initiative canadienne des pratiques exemplaires, le Groupe d'étude canadien sur les soins de santé préventifs, le Comité consultatif externe sur le développement et l’échange des connaissances, ainsi que des groupes consultatifs sur des maladies particulières), à partir des exigences suivantes :

   • participer à l’initiative en question depuis plus d’un an; et
   • agir présentement à titre de président ou de directeur du groupe d’experts ou du groupe consultatif associé à cette initiative.

   Les informateurs clés externes ont été les suivants : des universitaires (n=3), des praticiens (n=3), des représentants d’ONG provinciales ou nationales (n=2) et un représentant d’un gouvernement P/T. Les entrevues ont été enregistrées et transcrites aux fins d’une analyse par thème et par fréquence.

4. Rapport d’évaluation du Portail canadien des pratiques exemplaires : Le PCPE est l’initiative de DEC la plus avancée. L’évaluation a permis de mesurer l’accomplissement de trois résultats : une sensibilisation accrue à l’égard du PCPE, une amélioration du réseautage et de la communication relativement aux pratiques exemplaires, et un meilleur accès à des informations fondées sur des données probantes. En particulier, des extraits de l’évaluation du PCPE ont été utilisés comme principale source de données sur les progrès accomplis dans l’atteinte des résultats immédiats et à court terme. Parmi les méthodes de cueillette des données, mentionnons des statistiques disponibles sur le Web sur les utilisateurs et l’utilisation du portail depuis 2007, un sondage Web auprès d’utilisateurs actuels et potentiels du portail, de même qu’un sondage Web auprès des intervenants. L’outil d’analyse des statistiques Web est Google Analytics, adopté au début de novembre 2007 pour produire les rapports mensuels sur l’utilisation du portail à partir de certains paramètres, comme le nombre et le type de visiteurs, la durée de chaque visite, les pages Web visitées, etc.

   Étant donné qu’aucune inscription officielle n’était requise pour permettre aux utilisateurs d’accéder au PCPE au moment de l’étude, une stratégie d’échantillonnage par choix raisonné a été utilisée pour identifier les utilisateurs actuels et potentiels en demandant aux organisations et aux autres intervenants actifs dans le domaine de la prévention des maladies chroniques et de la promotion de la santé, qui pouvaient distribuer efficacement des informations à leur clientèle (par exemple, au moyen de bulletins d’information ou de LISTSERV) d’afficher un avis au sujet du sondage à l’attention de leurs clients, dont beaucoup de praticiens ciblés par le PCPE. En tout, 239 personnes ont rempli le questionnaire de sondage sur les utilisateurs; 46 % de ces répondants se sont définis comme des praticiens qui élaborent et mettent en place des interventions axées sur la promotion de la santé. L’invitation à participer au sondage sur les intervenants a été envoyée aux 156 organisations inscrites sur une liste de l’ASPC représentant un éventail pancanadien d’organisations clés qui soutiennent les décideurs dans le domaine de la prévention des maladies chroniques et de la promotion de la santé. Ces organisations clés incluent des partenaires actuels et potentiels du PCPE, comme des ONG provinciales, territoriales et nationales actives dans le secteur de la santé, des ministères de la Santé, des alliances P/T et nationales en matière de modes de vie sains et de maladies chroniques, ainsi que des associations P/T et nationales de santé publique. Au total, 58 individus ont répondu au sondage sur les intervenants (ce qui correspond à un taux de réponse de 37 %). La grande majorité des organisations ont déclaré participer à des activités de renforcement des capacités et d’échange des connaissances visant à intégrer des données probantes à leur processus de prise de décisions en matière de programmes et de politiques (86,2 %). Les répondants étaient répartis à travers le Canada. Les deux sondages Web, qui ont été réalisés en mai et juin 2009 (dans le cas du sondage sur les utilisateurs) et en juin et juillet (dans le cas du sondage sur les intervenants), incluaient des questions sur le niveau de sensibilisation à l’égard du PCPE, son utilisation et ses effets potentiels, les besoins perçus de services et de mesures de soutien permettant d’intégrer des données probantes au processus de prise de décisions en matière de programmes et de politiques, de même que sur les caractéristiques propres aux répondants. Les données des sondages Web ont été codées et analysées de manière descriptive dans le SPSS (Ensemble des programmes statistiques relatif aux sciences sociales). Pour obtenir de plus amples informations sur les méthodes d’évaluation et les résultats du PCPE, veuillez consulter le rapport.Note de bas de page 7

2.1 Considérations et limites méthodologiques

1. L’étude des dossiers relatifs aux projets de l’ASPC a été limitée par la disponibilité et la nature des rapports au moment de l’étude. Il faut garder à l’esprit que l’intention des rapports, à l’origine, n’était pas d’aborder les questions de l’évaluation, mais bien les lacunes dans les connaissances. Un grand nombre de rapports et d’autres types de documents ont été examinés (par exemple, des articles de journaux, des procès-verbaux de comités consultatifs, etc.) à partir de toutes les initiatives de développement et d’échange des connaissances (DEC). L’éventail des produits de connaissance a été reflété fidèlement.

2. Des entrevues ont été menées par le personnel d’évaluation de l’ASPC auprès d’employés de l’organisation. Les résultats des entrevues ont été analysés par deux analystes de l’évaluation de l’ASPC pour assurer une cohérence dans leur codage, leur analyse et leur interprétation. L’approche utilisée pour analyser les entrevues menées auprès des intervenants internes a consisté en une analyse thématique des réponses aux questions et des commentaires émis par les personnes interviewées. Son avantage a été de conserver toute la « saveur » des données qualitatives.

   Les limites des entrevues avec les intervenants internes pourraient être attribuables au fait qu’elles ont été réalisées par le personnel d’évaluation de l’ASPC. Cela pourrait avoir influencé les réponses aux questions. De plus, les résultats de ces entrevues pourraient être biaisés positivement en raison des intérêts des personnes interviewées dans les initiatives de DEC. Bien qu’un petit nombre d’entrevues aient été menées auprès d’intervenants internes, ces derniers étaient des responsables d’initiatives de DEC. Puisqu’ils représentaient toutes les initiatives financées dans le cadre du volet fonctionnel du DEC, les répondants ont pu fournir des réactions sur les activités réalisées à ce jour, les extrants et les problèmes, ainsi que suggérer des améliorations. Des efforts ont été faits pour aborder les limites au moyen d’une double vérification des notes, de lignes directrices claires relativement à la transcription, de vérifications du codage des données et de l’utilisation de protocoles d’analyse systématiques.

3. Les entrevues avec les intervenants externes ont réalisées par un consultant externe. À partir du contenu des entrevues menées auprès d’intervenants externes sélectionnés, il est apparu clairement au consultant que ces personnes étaient bien informées. Plusieurs répondants ont fourni des perspectives autres que canadiennes, tout en démontrant une connaissance approfondie de la situation qui a cours au pays. Une limite, toutefois, est le fait que les personnes interviewées ne constituaient pas un échantillonnage représentatif. Une autre limite tient au fait qu’elles aient pu représenter des perceptions biaisées en raison de leurs intérêts dans les initiatives de DEC. En revanche, parce qu’ils étaient concernés de près par les activités de DEC de l’ASPC, les répondants en connaissaient très bien le contenu et étaient en bonne position pour fournir des perspectives éclairées sur les progrès et les problèmes relatifs au DEC.

   Parmi les stratégies entreprises pour assurer la rigueur de la collecte et de l’analyse des données, soulignons celles-ci : le recours à un interviewer externe pour réduire les possibilités de partialité; des lignes directrices claires relatives aux comptes rendus textuels; l’utilisation de protocoles d’analyse systématiques; l’utilisation d’extraits d’entrevues pour appuyer l’analyse dans la présentation des résultats détaillés (document distinct); et la production d’un historique d’expertise des résultats des entrevues aux fins d’une analyse de confirmation, au besoin.

4. Afin de compenser les limites inhérentes à chaque source de données, il y a eu une validation planifiée des données probantes. Par exemple, un recoupement dans le calendrier des entrevues a été planifié lors de la collecte des données pour tenir compte des perspectives internes et externes sur certaines questions cruciales relatives à l’évaluation. En outre, l’évaluation a combiné une étude des dossiers afin de documenter les produits de connaissance, les sources de financement et les publics cibles, ainsi que des approches qualitatives et approfondies pour recueillir des données probantes sur les processus, les progrès, la conception ou le fonctionnement et les résultats immédiats. L’évaluation a eu recours à des analystes internes et externes pour apporter des perspectives multiples et établir un consensus relativement à l’analyse et à l’interprétation des résultats. Toutes les données relatives à la présente évaluation sont accessibles à des fins de vérification.

5. Lacunes dans les données – Il aurait été souhaitable d’inclure dans la présente évaluation formative des données de suivi sur les produits et les extrants du DEC, la diffusion des connaissances et l’atteinte des publics cibles. Mais, à ce jour, aucun ensemble courant ou comparable d’indicateurs clés permettant le suivi des activités n’a été élaboré dans le volet fonctionnel du DEC ou la SIMVSMC. Par ailleurs, quand on a demandé aux responsables des initiatives du volet fonctionnel du DEC s’ils ont recueilli ces informations ou s’ils en ont fait le suivi, seulement quelques-uns ont indiqué avoir obtenu des informations partielles. Parce qu’elles n’ont pas été recueillies de manière cohérente, ces informations incomplètes n’ont pas été facilement accessibles aux fins du présent rapport d’évaluation. Aussi, la complexité des activités et des concepts associés au DEC a rendu difficile la préparation des questions d’entrevues, elles-mêmes assez complexes. Ainsi, il a été difficile d’aborder les questions d’entrevues dans un format d’entrevue limité et en raison des contraintes de temps dues au roulement du personnel de l’évaluation au sein de l’ASPC. Les prochaines évaluations devraient utiliser des entrevues multiples avec les répondants ou prévoir une plus longue durée des entrevues, des groupes de discussion ou des entrevues de groupe pour tenir compte de l’approfondissement de questions complexes.