ARCHIVÉE - Stratégie intégrée en matière de modes de vie sains et de maladies chroniques - composante fonctionnelle « programmes communautaires »

 

Méthodologie

2.1 Méthodologie ou approche

Quatre sources de données ont été utilisées dans le présent rapport d’évaluation : 1-) un examen des données relatives à la surveillance du rendement recueillies par les projets financés en 2006-2007 à l’aide de l’Outil de cueillette de données de projets (OCDP); 2-) une étude des documents pertinents; 3-) un examen de l’Évaluation des résultats préliminaires du rapport sur les projets communautaires axés sur le diabète; et 4-) des entrevues avec trois représentants de programmes. Comme l’illustre le Tableau 2, la plupart des sources incluent des données quantitatives et des données qualitatives.

Tableau 2 : Type de données par sources de données
Sources de données Données quantitatives Données qualitatives
Examen des données relatives à la surveillance du
rendement
Oui Oui
Étude des documents et des dossiers pertinents Oui Oui
Évaluation des résultats préliminaires du rapport sur les projets communautaires axés sur le diabète Oui Oui
Entrevues avec des représentants de programmes Non Oui

Les quatre sources de données utilisées dans l’évaluation sont décrites ci-dessous.

Examen des données relatives à la surveillance du rendement recueillies par les projets financés en 2006-2007

L’Outil de cueillette de données de projets (OCDP) est un questionnaire de déclaration volontaire élaboré pour surveiller et documenter l’efficacité des projets financés par l’Agence de la santé publique du Canada (ASPC), de même que pour évaluer leurs répercussions. L’OCDP a été utilisé pour des projets en matière de diabète financés (à l’exception du Québec)Note de bas de page 1 durant l’exercice 2006-2007. L’OCDP contient des questions sur les processus entrepris, les extrants et les résultats des projets. Les projets financés ont rempli le questionnaire OCDP deux fois durant le cycle de financement, soit six mois après le début des projets et à la fin des projets (Agence de la santé publique du Canada, 2007e; Agence de la santé publique du Canada, 2007d; Agence de la santé publique du Canada, 2008d).

Sur les 41 projets financés en 2006-2007, 35 ont utilisé l’OCDP ou l’outil de présentation de rapports du Québec. Les données soumises ont été examinées et analysées pour évaluer les succès et les progrès des projets en regard de l’atteinte des résultats. Il faut noter qu#8217;aucune donnée n’a été recueillie à l’aide de l’OCDP dans le cas des projets financés en 2005-2006.Note de bas de page 2

Étude des documents

Un examen approfondi des documents pertinents, y compris les documents de la recherche, a été réalisé :

  • des documents d’information, y compris le CGRR élaboré par la SIMVSMC et divers rapports et présentations sur la SIMVSMC et le volet fonctionnel des programmes communautaires;
  • des documents relatifs aux projets financés durant l’exercice 2006-2007;
  • des données administratives relatives au processus d’invitation à soumissionner relatif aux subventions et aux contributions;
  • d’autres sources de données, y compris des rapports du premier examen et du deuxième examen de la mise en oeuvre de la SIMVSMC en janvier 2007 et en mars 2008 (Performance Management Network Inc., 2007; Agence de la santé publique du Canada, 2008c).

En outre, les documents produits à partir de l’Examen des politiques sur le diabète,Note de bas de page 3 entrepris par un groupe de cinq experts nommés par le ministre de la Santé en octobre 2007, ont été examinés pour extraire des informations pertinentes aux questions faisant l’objet de la présente évaluation (Comité d’examen des politiques sur le diabète, présidé par l'honorable Brian Peckford, 2008a; Comité d'examen des politiques sur le diabète, présidé par l'honorable Brian Peckford, 2008b). Les informations ont inclus un examen des documents des programmes et de la documentation récente, une étude environnementale internationale des stratégies et des approches en matière de diabète, ainsi qu’une série de consultations qui ont eu lieu entre avril et juin 2008 avec les intervenants suivants :

  • des intervenants concernés par la Stratégie canadienne sur le diabète initiale (9);Note de bas de page 4
  • des chercheurs spécialisés en diabète (7);
  • des Canadiens ayant le diabète (30);
  • des gouvernements P/T (sept provinces et un territoire);
  • des professionnels de la santé (11);
  • des éducateurs spécialisés en diabète (52);
  • des compagnies pharmaceutiques axées sur la recherche (2); et
  • des organisations non gouvernementales (ONG) associées à la santé (3).

Une liste complète des documents étudiés est présentée à l’Annexe D.

Évaluation des résultats préliminaires du rapport sur les projets communautaires axés sur le diabète (2006-2007)

L’Évaluation des résultats préliminaires a porté sur 17 projets financés. Elle a permis d’évaluer les succès et les progrès accomplis en regard de l’atteinte des résultats par des projets financés dans le cadre des PCD. Les responsables des projets ont été invités à répondre à des questions d’évaluation en utilisant l’OCDP. À l’aide d’un cadre de travail commun préparé par le consultant, ils ont complété un rapport d’évaluation particulier. La collecte des données a eu lieu dans les six mois suivant la fin des activités des projets financés par l’ASPC. Le rapport résume des conclusions à partir d’un cadre de travail commun pour établir les domaines où les résultats préliminaires ont pu être déclarés.

Les 17 projets participants ont été choisis selon les critères d’admissibilité et de sélection suivants :

  • Critères d’admissibilité : possibilité du projet d’être reproduit; capacité organisationnelle de satisfaire aux exigences d’évaluation additionnelles; satisfaction par les responsables du projet des exigences en matière de présentation de rapports telles qu’elles sont définies par l’accord de subventions; bonnes relations de travail entre les responsables du projet financé et l’ASPC; démonstration de la mobilisation des intervenants et de la population cible.
  • Critères de sélection : représentation à partir de diverses populations cibles; combinaison de milieux urbains et ruraux; prévention et gestion du diabète; projets pour chaque région.

Les 17 projets participants ont consisté en 15 subventions allouées en 2006-2007 et deux contributions allouées au Québec durant l’exercice 2007-2008. En tout, quatre projets communautaires nationaux et 13 projets communautaires régionaux ont reçu un financement oscillant entre 45 000 $ et 300 000 $. Des fonds additionnels ont été alloués, selon une révision ascendante, aux projets participants pour soutenir leur capacité de participer à l’exercice d’évaluation.

Entrevues avec des représentants de programmes

Afin d’obtenir des réactions sur les questions relatives à l’évaluation, des entrevues ont été menées auprès du directeur responsable du diabète, du directeur de la coordination en matière de diabète du CPCMC au bureau national et du gestionnaire qui supervise la mise en oeuvre des PCD dans les régions. Chaque entrevue a duré moins de deux heures, et les questions ont porté sur la pertinence des programmes, les rôles et les responsabilités, la coordination, la conception et la prestation des programmes, de même que sur les succès ou les progrès. Les trois entrevues ont eu lieu en novembre 2008, et les réponses ont été transcrites par un preneur de notes.

2.2 Limites méthodologiques

Il existe des préjugés possibles quant aux approches utilisées dans le présent rapport. Bien qu’une évaluation objective ait été effectuée par un tiers, des employés qui travaillent dans le cadre des PCD et des individus ayant des intérêts dans les programmes ont fourni des données aux fins de l’évaluation. Il faut admettre la possibilité de préjugés dans l’autoévaluation, puisqu’il est difficile de les compenser.

D’autres limites sont liées à la difficulté d’appliquer de manière cohérente des protocoles communs d’utilisation des outils d’évaluation dans de tels projets communautaires. Des tentatives ont été faites pour contourner cette difficulté en formant le personnel, en élaborant des méthodologies normalisées adaptées au milieu communautaire et en fournissant un soutien continu tout au long de la cueillette des données.

Les principales limites découlant de chacune des sources de données utilisées aux fins de la présente évaluation sont décrites ci-dessous.

Limites des données de l’Outil de cueillette de données de projets

Aux fins de la présente évaluation, des données sur la surveillance du rendement des projets de 2006-2007 ont été utilisées pour établir un profil des projets financés, ainsi que pour évaluer les succès et les progrès associés aux extrants et aux résultats préliminaires des projets.

Les données disponibles aux fins de la présente évaluation ont une portée limitée en raison du manque de données relatives aux PCD recueillies de manière systématique. L’OCDP ayant été utilisé pour la première fois durant l’exercice 2006-2007, aucune donnée sur les projets financés en 2005-2006 n’a été recueillie à l’aide d’un outil de présentation de rapports normalisé. Par ailleurs, les projets financés durant l’année 2007-2008, pour lesquels un OCDP amélioré a été utilisé, n’étaient pas disponibles au moment où la présente évaluation est effectuée. Conséquemment, l’évaluation formative porte sur des données de projets financés au cours d’une seule année financière.

En raison des retards au niveau de l’obtention des approbations de financement dans le cadre du processus d’invitation à soumissionner relatif aux subventions et aux contributions, le bureau national de l’ASPC a encouragé l’utilisation de subventions pour permettre aux projets financés de reporter le financement au delà de la fin de l’année financière. Puisque la présentation de rapports à l’aide de l’OCDP n’est pas obligatoire dans le cas des projets financés au moyen de subventions, des données n’ont pas été recueillies sur des projets financés au Québec (5), dans le Nord (2), en Colombie-Britannique (2) et en Ontario (1) qui n’ont pas rempli le questionnaire OCDP en 2006-2007.

Pour quatre de ses projets, le Québec a fourni des données à l’aide d’un outil de présentation de rapports similaire à l’OCDP durant la période cumulative de financement de 12 mois. Ces données ont été incorporées à l’analyse des données de 2006-2007 recueillies à l’aide de l’OCDP, de même qu’à l’Évaluation des résultats préliminaires.

Une autre limite est liée à la validité des données recueillies à l’aide de l’OCDP. Le personnel de l’ASPC a rempli le questionnaire OCDP six mois après le début des projets et à la fin des projets, mais certaines incohérences ont persisté. Par exemple, des données soumises par projet financé en 2006-2007 ont peutêtre fait l’objet d’un comptage double en raison de la répétition des questions aux deux moments de l’évaluation. L’étendue de tout dédoublement possible est inconnue, puisqu’il n’existe aucun mécanisme officiel permettant de vérifier les données. Ainsi, les ensembles de données combinées sont susceptibles de gonfler les résultats de certains projets à un niveau inconnu.

Limites de l’étude des documents pertinents

La présente évaluation n’inclut pas les consultations avec les intervenants externes. Toutefois, les réactions pertinentes des intervenants consultés lors de l’Examen des politiques sur le diabète ont été examinées et utilisées afin d’appuyer la présente évaluation (Comité d’examen des politiques sur le diabète, présidé par l'honorable Brian Peckford, 2008a; Comité d'examen des politiques sur le diabète, présidé par l'honorable Brian Peckford, 2008b). Ces intervenants ont été choisis par un groupe d’experts pour appuyer leur évaluation de la nouvelle SCD; ils n’ont pas été invités à réagir aux questions particulières abordées dans la présente évaluation. Ainsi, les réactions de ces intervenants pourraient ne pas être totalement pertinentes en regard des PCD à l’intérieur de la SIMVSMC – qui sont au centre du présent rapport.

Limites de l’Évaluation des résultats préliminaires du rapport sur les projets communautaires axés sur le diabète

L’Évaluation des résultats préliminaires a examiné les données de 17 des 41 projets financés. Ces 17 projets ne représentent pas, cependant, un échantillon représentatif des 41 projets financés durant l’exercice 2006- 2007. Les critères de sélection mentionnés précédemment ayant été utilisés plutôt qu’un échantillon véritablement représentatif, ces projets ont démontré probablement un plus grand succès dans l’atteinte des résultats. Étant donné la nature non représentative de l’échantillon, les données de l’Évaluation des résultats préliminaires ne peuvent pas être généralisées à d’autres projets.

Les données de l’Évaluation des résultats préliminaires ont indiqué différentes approches dans les évaluations entreprises par projet, ainsi qu’un degré de rigueur différent dans les méthodes utilisées. Certaines des limites méthodologiques des projets participants sont peut-être dues au fait que les projets ont été invités à participer à l’exercice d’évaluation à mi-mandat. Aussi, il existe la possibilité de préjugés dans l’autoévaluation inhérente aux approches utilisées par les projets.

Limites des données des entrevues auprès des trois représentants de programmes

La présente évaluation formative comporte des données d’entrevues limitées pour soutenir l’évaluation de chaque question d’évaluation. Des entrevues approfondies ont été menées auprès de trois représentants de programmes. En conséquence, les points de vue et les opinions contenus dans le présent rapport d’évaluation pourraient ne pas refléter les points de vue et les opinions de la majorité des employés responsables de la prestation des PCD.

Malgré le fait que la plupart des employés concernés par les programmes en matière de diabète ont été exclus du processus d’entrevues, les opinions de gestionnaires clés des PCD – le directeur responsable du diabète, le directeur de la coordination en matière de diabète du CPCMC au bureau national et le gestionnaire responsable de la mise en oeuvre des PCD dans les régions – ont été incluses dans l’évaluation globale des questions d’évaluation.


Détails de la page

Date de modification :