ARCHIVÉE - Stratégie intégrée en matière de modes de vie sains et de maladies chroniques - composante fonctionnelle « modes de vie sains »

Méthodologie/conception

Cette évaluation est de nature formative et est axée sur les domaines de la pertinence et de la réussite ainsi que de l’efficacité de la conception et de l’exécution du programme. On a déterminé les questions relatives à l’évaluation dans chaque domaine d’intérêt s’y rapportant. On avait déjà élaboré un cadre d’évaluation relativement à ce programme, et on a examiné et mis à jour le cadre comme première étape. L’évaluation couvrait la période allant de novembre 2006 à septembre 2008, certains renseignements financiers s’échelonnant jusqu’à janvier 2009. On a recueilli les données de l’OCDP à mi-programme (six mois) dans le cas des projets nationaux financés en 2008 grâce au FPMVS. La collecte de données s’est échelonnée de septembre 2008 à février 2009.

2.1 Objectifs

L’évaluation formative du Programme des modes de vie sains vise :

• à évaluer la conception du programme et sa mise en oeuvre;
• à évaluer la réussite/le progrès et l’amélioration continue;
• à évaluer les systèmes de mesure du rendement utilisés, dont l’OCDP;
• à déterminer les leçons apprises;
• à formuler des recommandations à l’égard de questions importantes.

2.2 Questions d’évaluation

On a élaboré la liste de questions d’évaluation susmentionnée sur le fondement de la Politique d’évaluation du CT et des objectifs de l’évaluation. On a confirmé et précisé les questions grâce à des consultations auprès du personnel. Le cadre d’évaluation de l’annexe B a orienté l’évaluation. Le cadre énonce les principales questions d’évaluation qui suscitent des questions d’évaluation plus précises. Afin de faciliter la collecte de renseignements pour répondre aux questions, on a établi des indicateurs, des sources de données et des méthodes de collecte. Il est à noter qu’on a abordé toutes les questions d’évaluation dans la portée du présent rapport.

Voici les principales questions d’évaluation déterminées par le client :

• Pertinence – le volet cadre-t-il toujours avec les priorités ministérielles et gouvernementales, et aborde-t-il de façon réaliste un besoin réel?
• Réussite/progrès – le volet est-il efficace dans les limites du budget et sans résultats non désirés?
• Conception et exécution – utilise-t-on les moyens les plus appropriés et efficaces afin d’atteindre les objectifs, par rapport aux solutions de rechange en matière de conception et d’exécution des stratégies?

2.3 Méthodes

Dans le cadre de l’évaluation, on a eu recours à des démarches d’évaluation multiples. Les principales sources de données se composaient des éléments suivants, d’autres détails étant présentés plus loin :

• l’examen de documents et du Web;
• des rapports et de la documentation du système de l’OCDP;
• des entrevues auprès du personnel et de la direction de l’ASPC;
• des entrevues auprès d’intervenants;
• un sondage en ligne auprès d’abonnés au bulletin électronique du Réseau intersectoriel depromotion des modes de vie sains.

L’examen de documents portait principalement sur trois grandes catégories, soit les documents stratégiques sur le Programme des modes de vie sains, la documentation sur la stratégie et la planification de l’ASPC (plan stratégique quinquennal de l’ASPC, Stratégie intégrée en matière de modes de vie sains et de maladies chroniques) ainsi que la documentation du Programme sur les quatre volets (FPMVS, Marketing social, RIPMVS et DEC). La liste des documents examinés se trouve à l’annexe C. On a également examiné les principaux sites Web, au besoin.

Les rapports et les documents des systèmes de mesure du rendement examinés comprenaient les rapports de l’Outil de cueillette de données de projets (OCDP), un rapport d’analyse et de synthèse couvrant une période de six mois de l’OCDP, le Guide de l’utilisateur de l’OCDP, ainsi que le Manuel d’orientation du consultant du Programme.

On a effectué des entrevues auprès du personnel et de la direction internes. Les responsables du projet ont présenté les listes d’entrevue et l’équipe de consultants a réalisé les entrevues à l’aide de guides d’entrevues semi-structurées (annexe D) que les responsables du projet ont approuvés. On a réalisé des entrevues auprès de 18 employés et cadres supérieurs, comme le démontre le tableau suivant.

On a également effectué des entrevues auprès d’intervenants externes. Au total, l’équipe de consultants a interrogé 22 intervenants externes, comme le démontre le tableau ci-dessous. On a réalisé des entrevues semi-structurées à l’aide des guides (annexe D) approuvés par les responsables du projet. Les responsables du projet ont présenté les listes d’entrevue à tous les candidats à l’exception de ceux dont la demande avait été rejetée et qui avaient été sélectionnés au hasard à partir du fichier de lettres de candidats dont la demande a été rejetée. On a estimé la durée des entrevues à environ une heure chacune.

On a réalisé un sondage en ligne afin de recueillir des renseignements qualitatifs auprès des abonnés au RIPMVS. On a envoyé une invitation aux 700 abonnés au bulletin électronique de promotion des modes de vie sains. De ce nombre, 124 abonnés ont commencé à répondre au sondage, ce qui représente un taux de début de réponse de 17,7 p. 100. De ce groupe, 71 ont répondu à toutes les questions du sondage, ce qui représente un taux d’achèvement de 10,1 p. 100. Si l’on tient compte des 124 abonnés qui ont commencé à répondre au sondage, on obtient un intervalle de confiance de 8 p. 100 à un niveau de confiance de 95 p. 100. Si l’on prend en considération les 71 abonnés qui ont répondu à toutes les questions du sondage, on obtient un intervalle de confiance de 11 p. 100 à un niveau de confiance de 95 p. 100.

2.4 Restrictions

On a choisi les résultats d’entrevue pour présenter des données qualitatives sur des sujets précis. Dans le cadre du volet national du FPMVS, on a intégré plusieurs dimensions d’entrevue (bénéficiaires d’un financement, entrevues internes et externes) afin de permettre la corroboration des résultats. On a également comparé les résultats d’entrevue avec les résultats d’examens de documents et de sondages, dans la mesure du possible.

Du point de vue du volet régional, on a effectué un très petit nombre d’entrevues (3) découlant d’un processus bilatéral auprès de représentants provinciaux et territoriaux. On a effectué neuf autres entrevues auprès d’employés régionaux et de l’Administration centrale de l’ASPC. Le petit nombre de consultations à l’échelle provinciale/territoriale a limité la fiabilité des conclusions.

Les données de l’OCDP ne couvraient que les six premiers mois de la mise en oeuvre du projet et n’offraient pas une représentation complète des résultats, car bon nombre de ces questions devaient être couvertes ultérieurement ou à la fin du projet. Les renseignements qualitatifs obtenus durant les entrevues ont partiellement compensé l’absence de ce type de données.

Même s’il est évident qu’il existe certains rapports sur le rendement en ce qui concerne les quatre volets, on n’a établi aucune cible permettant de mesurer le rendement. Par conséquent, une grande quantité de renseignements détaillés à l’égard du rendement ne peuvent être admissibles sans les cibles/références nécessaires permettant de pleinement mesurer le rendement.