Annexe 3 : Évaluation de la fonction de surveillance au sein de l’Agence de la santé publique du Canada – Description de l'évaluation

Annexe 3 – Description de l'évaluation

Portée de l'évaluation

L'évaluation a porté sur les activités menées par les ONG bénéficiaires à l'aide du financement accordé par l'Initiative Actif et en sécurité. Les autres travaux réalisés par les ONG dans le domaine de la prévention des blessures qui dépassent le cadre des projets financés par l'ASPC sont exclus de l'évaluation.

L'évaluation a été menée de 2011 (date du début de l'Initiative) à 2013 (date de la fin de l'Initiative).

Questions d'évaluation

L'évaluation a porté sur les cinq éléments fondamentaux décrits dans la Politique sur l'évaluation du SCT (2009). Ces éléments sont présentés dans le tableau qui suit.

**Tableau 5 : Éléments fondamentaux et questions d'évaluation**
Éléments fondamentaux	Questions d'évaluation
Pertinence
Élément 1 : Nécessité de poursuivre l'Initiative	Évaluation de la mesure dans laquelle l'Initiative continue de répondre à un besoin manifeste et est adaptée aux besoins des Canadiens. Quels besoins relatifs à la santé et à la société ont contribué à la nécessité de mener cette initiative? Quels sont les besoins actuels en matière de prévention des blessures au Canada?
Élément 2 : Harmonisation avec les priorités du gouvernement fédéral	Évaluation des liens entre les objectifs de l'Initiative et i) les priorités du gouvernement fédéral et ii) les résultats ministériels stratégiques. Quelles sont les priorités du gouvernement fédéral et de l'ASPC en matière de prévention des blessures? Les activités cadrent-elles avec ces priorités?
Élément 3 : Harmonisation avec les rôles et les responsabilités du gouvernement fédéral	Évaluation du rôle et des responsabilités du gouvernement fédéral relativement à l'exécution de l'Initiative. Quels sont les rôles du gouvernement fédéral et de l'ASPC en matière de prévention des blessures? Existe-t-il d'autres initiatives ou programmes FPT qui complètent le rôle de l'ASPC en ce qui concerne l'Initiative Actif et en sécurité ou qui sont de même nature?
Rendement (efficacité, économie et efficience)
Élément 4 : Atteinte des résultats attendus (efficacité)	Évaluation des progrès réalisés vers l'atteinte des résultats attendus (résultats immédiats, intermédiaires et ultime) par rapport aux cibles de rendement ainsi qu'à la portée et à la conception du programme, ce qui comprend les liens et la contribution des extrants aux résultats. Résultat immédiat 1 : Des intervenants ciblés de plusieurs secteurs ont l'occasion de collaborer dans le cadre d'initiatives pancanadiennes visant à prévenir les blessures dans les sports et les loisirs. Résultat immédiat 2 : Des intervenants ciblés de plusieurs secteurs ont accès aux connaissances fondées sur des données probantes nécessaires pour sensibiliser davantage le public à la prévention des blessures dans les sports et les loisirs. Résultat immédiat 3 : Les publics cibles ont accès à des produits de sensibilisation et d'information sur la prévention des blessures dans les sports et les loisirs.
	Résultats attendus plus de deux ans après la fin de l'Initiative. Résultat intermédiaire 1 : Des intervenants ciblés de plusieurs secteurs sont outillés pour concevoir et élaborer des politiques, des programmes et des pratiques de prévention des blessures qui favorisent la sécurité et contribuent à prévenir et à réduire les blessures. Résultat intermédiaire 2 : Les publics cibles savent comment prévenir les blessures et prennent des mesures pour accroître leur sécurité. Résultat intermédiaire 3 : Les publics cibles sont en mesure de promouvoir la sécurité et de prévenir les blessures dans les sports.
Élément 5 : Démonstration d'économie et d'efficience	Évaluation de l'utilisation des ressources relativement à la production des extrants et aux progrès réalisés concernant l'atteinte des résultats attendus. L'Initiative Actif et en sécurité a-t-elle été exécutée de la façon la plus efficiente possible? L'Initiative Actif et en sécurité a-t-elle été exécutée de la façon la plus économique possible? Des mesures du rendement appropriées ont-elles été mises en place? Si tel est le cas, est-ce que les décideurs de la haute direction se servent de cette information?

Méthodes de collecte et d'analyse des données

Les évaluateurs ont recueilli et analysé de multiples sources afin d'orienter l'évaluation. Les sources de données utilisées dans la présente évaluation englobaient les méthodologies suivantes : revue de la littérature, examen des documents, étude de cas et entrevues auprès d'informateurs clés.

Revue de la littérature

La revue de la littérature a porté sur la documentation universitaire ainsi que sur la documentation parallèle provenant de sources fiables et visait à recueillir des renseignements sur la nécessité de poursuivre l'Initiative.

Des critères d'inclusion ont été utilisés pour évaluer les sources et pour s'assurer que l'on utilise l'information la plus adéquate, crédible, fiable et pertinente possible pour répondre à des questions d'évaluation précises. Les services de bibliothèque de Santé Canada et de l'ASPC ont été mis à profit pour la revue de la littérature. Les critères d'inclusion exacts comportaient les mots clés « blessures accidentelles », mettaient l'accent sur les populations que forment les enfants, les adolescents, les jeunes et les jeunes adultes et visaient les publications s'appliquant au Canada et publiées entre 2009 et 2013. Au total, 37 articles ont été tirés de la documentation universitaire. Une recherche sur le Web a permis de compléter la revue de la littérature. Les critères utilisés étaient les mêmes que pour la revue de la littérature.

Examen des documents

Dans le cadre de l'examen des documents, les évaluateurs ont analysé des documents du gouvernement et du programme (y compris de sites Web) à partir desquels ils ont tiré les données convenant aux bons indicateurs suivant la matrice de collecte de données. L'équipe chargée de l'évaluation s'est occupée de la coordination avec le programme pour faciliter l'obtention de documents, notamment les suivants :

documents du gouvernement, comme des demandes de financement, des documents d'information à l'intention du ministre, des budgets du gouvernement du Canada et des sites Web gouvernementaux. Ces documents ont permis d'obtenir un contexte et de l'information sur la pertinence du programme;
documents produits par le programme, y compris des rapports d'étape et des plans de travail, des rapports de projet (OCDP), des données financières, des politiques et des plans . Ces documents ont permis d'obtenir de l'information sur l'exécution du programme, les données sur le rendement, l'atteinte des résultats, l'efficience et l'économie. Le programme a également fourni une analyse du contexte des programmes provinciaux et territoriaux en place.

Entrevues auprès d'informateurs clés

Des entrevues auprès d'informateurs clés ont été réalisées en vue de recueillir des renseignements détaillés, y compris des points de vue personnels, des explications, des exemples et des faits, ce qui a permis de répondre à bon nombre des questions d'évaluation touchant la pertinence et le rendement. Les guides d'entrevue étaient basés sur les indicateurs contenus dans la matrice de collecte de données et comportaient des questions ouvertes et fermées. Les entrevues ont été réalisées dans la langue officielle choisie par les répondants.

Dans le cadre de la présente évaluation, trente (30) entrevues ont été menées auprès des groupes suivants d'informateurs clés :

direction de l'ASPC (n = 3);
personnel du programme de l'ASPC (n = 2);
ONG ou intervenants (n = 25).

L'évaluateur a réalisé les entrevues en utilisant des approches adéquates et réalisables selon le budget et le calendrier de l'évaluation, notamment les approches suivantes : entrevues en personne; entrevues téléphoniques; deux entrevues de groupe. Des entrevues en personne ont été menées dans les locaux des ONG de la région d'Ottawa lorsque cela était possible.

Étude de cas

En novembre et en décembre 2013, une étude de cas a été réalisée en vue d'examiner la conception et la prestation et de mettre en évidence les pratiques exemplaires tirées des Partenariats plurisectoriels pour promouvoir les modes de vie sains et prévenir les maladies chroniques de l'ASPC. Ce programme a été choisi pour faire l'objet d'une étude de cas puisqu'il a réussi à obtenir rapidement des fonds auprès du secteur privé en vue de promouvoir la santé et de prévenir les maladies.

En ce qui a trait à la collecte de données, on a demandé à des informateurs clés du Centre de prévention des maladies chroniques de l'ASPC de donner leur point de vue; des documents et des dossiers internes ont également été examinés.

Évaluation de l'économie et de l'efficience

En ce qui a trait à l'économie et à l'efficience, les évaluateurs ont :

réalisé un examen de l'affectation et de l'utilisation des ressources au niveau du programme en évaluant les données financières disponibles (p.ex. niveaux de dépenses, tendances, problèmes, etc.);
mené des entrevues auprès d'informateurs clés concernant la façon dont les ressources ont été utilisées, l'efficacité de la gestion du programme et l'efficience des processus opérationnels;
examiné des données qualitatives obtenues des principaux intervenants relativement à l'efficience et à l'économie du programme (p. ex. points de vue sur des approches d'amélioration de l'efficience, les économies de coûts, l'optimisation des ressources, la qualité des extrants par rapport aux ressources dépensées, etc.);
vérifié le caractère suffisant et l'utilisation des données sur le rendement pour accroître l'économie et l'efficience.

Analyse des données

Les données ont été analysées en effectuant une triangulation des renseignements recueillis à partir de différentes sources et méthodes énumérées précédemment, à l'aide du logiciel NVivo pour l'analyse qualitative. Les données recueillies ont été analysées au moyen des méthodes suivantes :

compilation, examen et synthèse systématiques des données afin d'illustrer les principales constatations du rapport;
analyse statistique des données quantitatives provenant des bases de données;
analyse thématique des données qualitatives;
analyse comparative des données provenant de diverses sources afin de valider les constatations générales.

Les analyses sommaires des données recueillies ont été consignées en fonction des questions d'évaluation au moyen du modèle de la Direction de l'évaluation et en faisant mention des sources ou des méthodes utilisées pour recueillir les données.

Détails de la page

Date de modification :: 2014-05-06

Sélection de la langue

Recherche