Section 1 : Évaluation du programme du Service de santé publique du Canada offert par l’Agence de la santé publique du Canada – Introduction

1. Introduction

1.1But et portée

La présente évaluation vise à établir la pertinence et le rendement du programme du Service de santé publique du Canada, offert au Centre du renforcement des capacités en santé publique (CRCSP) de l’Agence de la santé publique du Canada. L’évaluation donne suite aux exigences énoncées dans la Politique sur l’évaluation du Conseil du Trésor (2009), selon laquelle tous les programmes doivent être évalués aux cinq ans. La haute direction a demandé cette évaluation afin d’appuyer la planification du programme et la prise de décisions connexes. Il s’agit de la première évaluation du programme du Service de santé publique du Canada.

L’évaluation permettra d’établir la pertinence du programme, y compris la nécessité de maintenir ce programme et la mesure dans laquelle il cadre avec les rôles et les priorités du gouvernement fédéral et de l’Agence de la santé publique du Canada. Elle porte aussi sur le rendement du programme, y compris les progrès réalisés en vue de l’atteinte des résultats attendus ainsi que l’efficience et la rentabilité de ce dernier. L’évaluation englobe la période d’avril 2006 à octobre 2012.

Les questions qui suivent ont orienté la collecte des données nécessaires pour la présente évaluation. Toutes ces questions ont été abordées dans le cadre de l’évaluation. Les principales constatations découlant de chaque question ont été synthétisées de manière à produire des conclusions de portée plus générale.

1.1.1Pertinence

• Besoin continu :
  • Quel est l’état de l’effectif et des capacités en santé publique au Canada?
  • Les activités offertes par le Service de santé publique du Canada de l’Agence de la santé publique du Canada répondent-elles aux besoins du système de santé publique canadien? Les buts et objectifs du programme du Service de santé publique du Canada sont-ils clairs et bien compris par l’ensemble des intervenants du programme?
• Compatibilité avec les rôles et responsabilités du gouvernement fédéral et de l’Agence de la santé publique du Canada :
  • Quel est le rôle du gouvernement fédéral dans le renforcement et le maintien de l’effectif et des capacités en santé publique au Canada?
  • Quels sont les liens entre les activités offertes par le Service de santé publique du Canada de l’Agence de la santé publique du Canada et le rôle du gouvernement fédéral en ce qui concerne le renforcement et le maintien de l’effectif et des capacités en santé publique au Canada?
  • En quoi l’Agence de la santé publique du Canada est-elle la mieux placée pour répondre aux besoins liés à l’effectif et aux capacités du système de santé publique canadien? Le rôle de l’Agence de la santé publique du Canada est-il complémentaire à celui des autres intervenants (autres ministères, provinces et territoires, organismes locaux de santé publique, organisations non gouvernementales) ou fait-il double emploi avec le rôle de ces derniers?
• Compatibilité avec les priorités du gouvernement et de l’Agence de la santé publique du Canada :
  • Les activités actuellement menées par le Service de santé publique du Canada cadrent-elles avec les priorités du gouvernement fédéral et de l’Agence de la santé publique du Canada? Quelles sont les lacunes à cet égard, le cas échéant?

1.1.2Rendement

• Atteinte des résultats attendus :
  • Le programme a-t-il été mis en œuvre comme prévu?
  • Le programme du Service de santé publique du Canada permet-il d’atteindre les objectifs attendus? Qu’ont permis de réaliser les activités du Service de santé publique du Canada?
  • Quelles sont les priorités et la vision en ce qui concerne les activités qui seront éventuellement menées dans le cadre du Service de santé publique du Canada de l’Agence de la santé publique du Canada? De quelle façon les activités actuelles pourraient-elles être adaptées ou améliorées afin de mieux répondre aux besoins liés à l’effectif et aux capacités du système de santé publique canadien?
• Preuves d’efficience et d’économie
  • Y a-t-il des écarts entre les dépenses prévues et les dépenses réelles? Quelles en sont les conséquences, le cas échéant?
  • Les activités du Service de santé publique du Canada permettent-elles d’atteindre les résultats escomptés le plus économiquement possible? Comment les ressources actuelles ont-elles été mises à profit pour favoriser l’atteinte des résultats escomptés?
  • Dans quelle mesure des mécanismes de mesure du rendement ont-ils été mis en place? De quelle manière le programme utilise-t-il la mesure du rendement pour améliorer la conception et la réalisation des activités?

Le présent rapport décrit les mesures prises par les responsables du programme du Service de santé publique du Canada pour aider à renforcer et à maintenir les capacités en santé publique au Canada. Le rapport est fondé sur une revue de la littérature et des documents disponibles, des entrevues, des études de cas et des sondages. Il évalue les enjeux et les possibilités, présente les principales constatations et des conclusions qui, à leur tour, donnent lieu à trois recommandations.

Dans cette évaluation ne sont pas comprises les activités liées aux autres programmes de services sur le terrain offerts par l’Agence de la santé publique du Canada, dont le Programme canadien d’épidémiologie de terrain, le Programme des agents techniques de liaison avec les laboratoires, le programme du Bureau des services de quarantaine et le programme de surveillance du VIH/sida sur le terrain.

1.2Méthodologie

1.2.1Approche et conception

La présente évaluation a été réalisée par la Direction de l’évaluation, un groupe interne de l’Agence de la santé publique du Canada qui ne fait pas partie du secteur de programme responsable de l’administration du programme du Service de santé publique du Canada.

L’utilisation de données qualitatives et quantitatives a permis d’effectuer une analyse équilibrée de la pertinence et du rendement du programme du Service de santé publique du Canada.

1.2.2Méthodes

Cette évaluation a été réalisée à partir de plusieurs sources de données, y compris une revue de la littérature et des documents pertinents ainsi que des entrevues avec les informateurs clés, des sondages et des études de cas. Les données sur la mesure du rendement recueillies en vue de rendre compte des activités liées au programme du Service de santé publique du Canada ont également été utilisées comme source de données probantes dans le cadre de la présente évaluation. Enfin, une analyse du contexte des programmes internationaux en lien avec les capacités en santé publique a été entreprise.

Examen de la littérature

Les évaluateurs ont procédé à un exam de la littérature afin d’explorer l’ampleur de l’effectif et des capacités en santé publique au Canada. Cette revue visait à recueillir des renseignements permettant de déterminer si les activités menées par l’Agence de la santé publique du Canada sont nécessaires au renforcement de l’effectif et des capacités en santé publique à l’échelle du Canada.

Les articles examinés comprenaient des ouvrages (publiés et non publiés) suggérés par le personnel du programme, de même que des documents recensés grâce à des recherches sur Internet. Des recherches d’articles publiés uniquement en anglais après 2007 ont également été effectuées dans les bases de données PubMed. Ces recherches étaient axées sur les articles traitant des besoins et des capacités en santé publique au Canada pour chaque province et à l’échelle internationale. La bibliographie contient la liste complète de la littérature examinée.

Examen de fichiers et de documents

La Direction de l’évaluation a examiné les fichiers et les documents disponibles au sujet du programme du Service de santé publique du Canada offert par l’Agence de la santé publique du Canada afin d’analyser les enjeux liés à la pertinence et au rendement du programme. Les fichiers et les documents ont d’abord été recensés par le personnel du programme, puis au moyen d’une recherche sur Internet. Enfin, une recherche sur le site Web de l’Agence de la santé publique du Canada a permis de récupérer les rapports dans lesquels le nom du Service de santé publique du Canada était mentionné. Les évaluateurs ont examiné 79 documents en tout, sans compter les sites Web.

Les types de documents examinés comprenaient les suivants :

• autorisations de programme et réglementation pertinente;
• documents fondamentaux;
• plans stratégiques;
• rapports d’audit et autres rapports d’évaluation;
• notes d’information et présentations;
• renseignements sur la mesure du rendement;
• données financières.

Entrevues menées auprès des principaux cadres supérieurs et de membres du personnel de l’Agence de la santé publique ainsi que d’intervenants clés du programme

Des entrevues structurées ont été menées auprès d’anciens agents de santé publique, d’anciens superviseurs des organismes d’accueil, d’employés du Bureau de la santé publique, anciens et actuels, de membres du personnel des Opérations régionales et de cadres supérieurs de l’Agence de la santé publique du Canada afin d’analyser les enjeux liés à la pertinence et au rendement du programme. Des entrevues ont aussi été menées auprès des principaux responsables provinciaux et territoriaux de la santé publique (principalement des médecins hygiénistes en chef), entrevues qui se concentraient davantage sur les questions relatives à l’effectif fédéral, provincial et territorial en santé publique. Enfin, des entrevues ont été menées auprès d’organismes approuvés qui n’ont pas réussi à être jumelés à un agents de santé publique. Les guides d’entrevue se trouvent dans le rapport technique.

Après six entrevues d’orientation initiales menées à la fin septembre 2012 et en octobre 2012 auprès de personnes-ressources principales du programme, le personnel du programme a fourni les noms d’autres personnes à interroger. De octobre à décembre 2012, 33 entrevues ont été réalisées, chacune durant environ une heure. Le tableau 1 présente la répartition des personnes interrogées par type d’informateur clé.

Remarque : D’autres superviseurs des organismes d’accueil, agents de santé publique, actuels et anciens, et anciens étudiants ont été interrogés dans le cadre des études de cas.

Sondages

La Direction de l’évaluation a réalisé deux sondages en ligne auprès d’agents de santé publique et de superviseurs travaillant actuellement dans des organismes d’accueil (qu’elle ne pouvait interroger dans le cadre des études de cas) afin de leur poser des questions au sujet de la pertinence et du rendement du programme. Ces sondages employaient une technique d’échantillonnage dirigé. Après les premières entrevues d’orientation réalisées avec les principales personnes‑ressources du Bureau de la pratique en santé publique, les noms de personnes travaillant actuellement à titre d’agents de santé publique et de superviseurs des organismes d’accueil ont été fournis et utilisés pour créer des échantillons aux fins du sondage. La taille des échantillons et les taux de réponse étaient les suivants :

• 11 agents de santé publique ont été invités à participer à un sondage et 10 ont accepté;
• 16 superviseurs des organismes d’accueil ont été invités à participer au sondage et 5 ont accepté.

Avant le lancement des sondages, le personnel du programme a envoyé un message aux répondants potentiels pour les informer de l’évaluation et les encourager à participer. Les sondages ont été menés simultanément entre le 27 novembre et le 7 décembre 2012. Le logiciel Fluid Surveys a été utilisé pour administrer le sondage et appuyer l’analyse des données. Les questionnaires utilisés se trouvent dans le rapport technique.

Études de cas

En novembre et décembre 2012, trois études de cas ont été réalisées afin de recueillir, auprès des organismes d’accueil, des renseignements sur la mise œuvre et l’impact du programme du Service de santé publique du Canada. Les études ont été effectuées auprès d’un organisme de Terre-Neuve-et-Labrador, d’un organisme du Nunavut et d’un organisme de l’Ontario.

Les méthodes suivantes ont été employées pour recueillir des données :

• examen de documents internes et de données sur la mesure du rendement (p. ex. demandes de stagiaire présentées par les organismes, évaluations périodiques des agents de santé publique et organismes d’accueil réalisées à 6, 12 et 18 mois durant l’affectation);
• examen des documents des organismes d’accueil concernant les activités menées par les agents de santé publique (recueillis durant les visites de l’organisme) (p. ex. rapports, publications);
• observations sur place;
• entrevues semi-dirigées réalisées sur place ou par téléphone (un ancien agents de santé publique) auprès, notamment, des personnes suivantes : coordonnateurs des organismes (3), agents de santé publique actuellement en poste (3), anciens agents de santé publique (2) et ancien étudiant (1).

Le choix des organismes d’accueil qui allait participer aux études de cas s’est fait en fonction des recommandations formulées par le personnel du programme de l’Agence de la santé publique du Canada. À partir d’un échantillon représentatif, trois organismes d’accueil ont été invités à participer selon leurs caractéristiques géographiques (un organisme du Nord, un de l’Est ou de l’Ouest du Canada et un du Centre du pays); cet échantillon comptait des organismes d’accueil offrant des affectations depuis peu et d’autres, depuis plus longtemps. L’échantillon d’organismes d’accueil représentait également les antécédents variés des agents de santé publique, anciens et actuels : un épidémiologiste, une infirmière en santé publique et un analyste des politiques relatives à la santé publique. La participation des organismes était volontaire; cependant, tous les organismes contactés ont accepté de participer à l’étude.

1.2.3Limites

La plupart des évaluations sont assujetties à des contraintes susceptibles d’avoir des répercussions sur la validité et la fiabilité de leurs résultats, de leurs conclusions et des recommandations. La présente section énumère les limites concernant la conception et les méthodes de la présente évaluation en particulier. Elle précise également les stratégies d’atténuation que l’équipe d’évaluation a mises en place pour faire en sorte que les constatations de l’évaluation puissent être utilisées en toute confiance afin de guider la planification du programme et la prise de décisions connexe (tableau 2).