Section 1 : Évaluation de la fonction de surveillance au sein de l’Agence de la santé publique du Canada – Introduction

1. Introduction

L’objet de la présente évaluation consiste à évaluer la pertinence et le rendement de la fonction de surveillance de l’Agence de la santé publique. La haute direction a exigé que l’évaluation soutienne la prise de décisions en ce qui a trait à l’initiative menée par l’Agence de la santé publique en vue de transformer la fonction de surveillance de la santé publique et à l’élaboration du plan stratégique de surveillance pour la période de 2013‑2016^{Note de bas de page 17}. Elle a également exigé que les renseignements découlant de l’évaluation donnent suite aux documents suivants :

• La Politique sur l’évaluation^{Note de bas de page 18} du Secrétariat du Conseil du Trésor de 2009, qui exige que toutes les dépenses de programmes directs sur une période de cinq ans soient visées par une évaluation exhaustive.
• Le Rapport de la vérificatrice générale du Canada de mai 2008^{Note de bas de page 19}, qui comprend un examen de la surveillance des maladies infectieuses et qui recommande que l’Agence évalue périodiquement ses systèmes de surveillance.

L’évaluation porte sur la pertinence de la fonction de surveillance de l’Agence de la santé publique, y compris le besoin continu de cette fonction et la mesure dans laquelle elle cadre avec les priorités du gouvernement du Canada et de l’Agence de la santé publique et avec les rôles et les responsabilités du gouvernement fédéral. L’évaluation porte également sur l’efficacité de l’établissement des priorités en matière de surveillance, les progrès réalisés par l’Agence en ce qui a trait à la réalisation des objectifs énoncés dans son Plan stratégique de surveillance de 2007^{Note de bas de page 20} et les possibilités d’accroître son efficience et son rendement économique. La période visée par l’évaluation s’étend de 2006‑2007 à 2011‑2012.

1.1 Qu’est‑ce que la fonction de surveillance de l’Agence de la santé publique du Canada?

La surveillance de la santé publique est l’une des six fonctions fondamentales liée à la santé publique. Le Plan stratégique de surveillance de l’Agence de la santé publique est le principal document de planification qu’utilise la fonction de surveillance de l’Agence. Selon la définition énoncée dans ce plan, la surveillance consiste en ce qui suit :

[…] le suivi et la prévision de tout évènement de santé ou de tout déterminant de la santé par le biais de la collecte continue de données, ainsi que l’intégration, l’analyse et l’interprétation des données pour en faire des produits de la surveillance, et la diffusion des produits de surveillance à ceux qui ont besoin de connaître la situation pour agir en conséquence. Le but général de la surveillance est de produire de l’information et des connaissances permettant des mesures de santé publique à court et à long terme ^{Note de bas de page 21}.

La surveillance de la santé publique englobe l’élaboration et la tenue des systèmes de surveillance qui fournissent de l’information sur les statistiques et les tendances à l’échelle canadienne et des signaux d’alerte permettant de repérer rapidement les événements liés à la santé publique qui présentent un caractère d’urgence. La surveillance de la santé publique est un élément essentiel d’une pratique efficace en santé publique puisqu’elle procure les éléments probants qui orientent les gouvernements et les intervenants (p. ex. les résidents du Canada, les professionnels et les experts du secteur de la santé publique et les organisations non gouvernementales) au moment où ils prennent des décisions liées à des politiques ou des programmes qui assurent la promotion et la protection de la santé des Canadiens. La fonction de surveillance soutient le ministre de la Santé en orientant les mesures prises relativement aux priorités ministérielles et fédérales.

Au sein de l’Agence de la santé publique, la surveillance est considérée comme une activité intersectorielle puisque les initiatives en matière de surveillance sont réparties dans l’ensemble des principaux secteurs de programme et visent un éventail de questions relatives à la santé, y compris les maladies transmissibles et non transmissibles, les blessures, le développement sain des enfants et la salubrité de l’environnement.

L’Agence de la santé publique dispose d’environ 50 systèmes de surveillance et fonds de données qui sont utilisés aux fins de l’élaboration de rapports, de bulletins et d’avis de santé publique et pour orienter la conception des programmes et des politiques (annexe A). Un système doit comprendre le cycle complet des activités énoncées dans la définition ci‑dessus pour être considéré comme un système de surveillance. En plus des secteurs de programme, certains groupes organisationnels jouent un rôle important au moment d’appuyer les activités de surveillance de la santé publique, par exemple les équipes du secteur des communications, de la gestion de l’information et de la technologie de l’information.

Le Groupe de travail sur le cadre de surveillance et l’évaluation, qui relève de l’Équipe d’intégration de la surveillance, a créé le modèle conceptuel de la fonction de surveillance de la santé publique de l’Agence pour illustrer l’interaction complexe des divers éléments qui contribuent à l’obtention des résultats attendus (figure 1).

Comme le montre le modèle conceptuel, la fonction de surveillance de la santé publique comporte un certain nombre d’éléments fondamentaux liés à l’infrastructure de surveillance, lesquels soutiennent les processus et les structures requises aux fins de la surveillance de la santé publique. Ces éléments sont les suivants :

• Cadre habilitant : Renvoie aux sources de légitimité de la fonction de surveillance.
• Capacité opérationnelle (éléments fondamentaux et renforcés) : Renvoie aux ressources et aux capacités liées à la surveillance de la santé publique, et englobe les activités essentielles liées à la surveillance (à savoir la collecte, l’intégration, l’analyse, l’interprétation et la diffusion de données).
• Catalyseurs de la capacité opérationnelle : Renvoie à la formation et au perfectionnement professionnel, de même qu’aux éléments liés à la technologie de l’information en matière de santé publique, y compris les exigences opérationnelles, les plateformes matérielles, les logiciels, les normes de données et la conception, l’entretien et le soutien des systèmes.
• Gestion, contrôle et évaluation : Renvoie à la capacité de gestion, aux mécanismes de gouvernance et aux instruments redditionnels permettant de veiller à ce que la fonction et les divers systèmes de surveillance fonctionnent de la façon voulue.
• Mobilisation et collaboration des intervenants : Renvoie aux activités de collaboration et de coordination menées auprès des intervenants internes et externes, de même qu’aux activités de mobilisation et de consultation menées auprès d’eux en vue de l’élaboration, de la mise en œuvre et du maintien des activités et des systèmes de surveillance.

Les résultats attendus de la fonction de surveillance de la santé publique sont l’information et les connaissances, lesquelles éclairent les politiques de santé publique et orientent les interventions visant à améliorer les résultats en matière de santé publique. La théorie à l’origine du modèle est essentiellement celle selon laquelle des décisions orientées par la surveillance se traduiront par des mesures qui contribueront à l’amélioration des résultats des Canadiens dans le domaine de la santé.

Une description détaillée des éléments constitutifs du modèle conceptuel est fournie à l’annexe B.

Figure 1 : Modèle conceptuel de la fonction de surveillance l’Agence de la santé publique^{Note de bas de page 22}

Agrandir la Figure 1

Source : Agence de la santé publique du Canada. Groupe de travail sur le cadre de surveillance et l’évaluation. (2009). Towards a Surveillance Results Model for Public Health Agency of Canada: Integrated Framework for Surveillance – A Conceptual Model.

1.2 Portée de l’évaluation

La présente évaluation comporte notamment un examen des activités de surveillance essentielles, à savoir la collecte de données, l’intégration, l’analyse et l’interprétation des données en produits de surveillance et la diffusion de ces produits aux publics cibles appropriés. L’évaluation comprend également un examen de l’infrastructure qui soutient et facilite les activités de surveillance essentielles.

Au cours de la période où l’évaluation a été menée, l’Agence de la santé publique comptait environ 50 systèmes de surveillance. Un schéma des systèmes de surveillance des directions générales et des centres de l’Agence de la santé publique est fourni à l’annexe A. L’évaluation des activités et du rendement de ces systèmes de surveillance n’entrait pas dans le cadre de la présente évaluation. Chacun de ces systèmes sera examiné dans le cadre d’une évaluation ultérieure des programmes dont ils relèvent.

1.3 Thèmes et questions d’évaluation

Le tableau 2 énonce les thèmes et les questions d’évaluation qui ont orienté la conception des instruments de collecte de données et la collecte de données proprement dites. Toutes les questions énoncées ont été abordées dans le cadre de l’évaluation. Les constatations clés découlant de chaque question ont été synthétisées de manière à produire des conclusions de portée plus générale.

1.4 Méthode d’évaluation

L’évaluation a été conçue et menée par la Direction de l’évaluation de l’Agence de la santé publique du Canada et de Santé Canada, organisation interne qui ne joue aucun rôle dans les secteurs de programme responsables des activités de surveillance.

La méthode d’évaluation est décrite de manière plus détaillée dans le rapport intitulé Évaluation de la fonction de surveillance au sein de l’Agence de la santé publique du Canada: méthode d’évaluation− rapport technique ^{Note de bas de page 23}.

1.4.1 Planification de l’évaluation

Un exercice de grande ampleur de planification et d’établissement de la portée de l’évaluation a été mené d’avril à décembre 2011. Voici une liste non exhaustive des activités qui ont été menées :

• un examen des plans, des stratégies et des documents de l’Agence et des documents et des rapports en matière de surveillance propres aux programmes;
• un examen préliminaire de la documentation publiée en ce qui concerne la surveillance;
• un examen des évaluations passées et actuelles du Bureau du vérificateur général;
• un examen du modèle conceptuel (modèle logique) de la fonction de surveillance;
• des entrevues semi‑structurées auprès de 23 informateurs clés, à savoir quatre sous‑ministres adjoints et des sous‑ministres délégués, dix-sept directeurs généraux, gestionnaires de la surveillance et gestionnaires et membres du personnel des groupes de service organisationnels soutenant les activités de surveillance et deux intervenants externes;
• élaboration d’un cadre d’évaluation.

1.4.2 Méthodes d’évaluation

Pour mener l’évaluation, on a eu recours à de multiples sources de données de nature qualitative et quantitative pour faire en sorte que l’analyse de la pertinence et du rendement de la fonction de surveillance soit équilibrée (voir le tableau 3).

Les données provenant de chaque source ont été synthétisées et imputées au thème et aux questions d’évaluation appropriés, et ont ensuite été triangulées afin que l’on puisse corroborer les conclusions et les constatations.

1.4.3 Conseiller technique

En raison de la complexité de la fonction de surveillance, l’équipe d’évaluation a recouru, au besoin, aux services d’un conseiller indépendant possédant une expérience en la matière, et ce, durant toutes les étapes de l’évaluation. Le conseiller retenu possède une formation universitaire dans le domaine de la surveillance et une vaste expérience professionnelle dans le secteur. Il a examiné le cadre d’évaluation, les principaux manuels d’entrevue, le rapport sur la fonction de surveillance dans d’autres pays et dans l’Union européenne de même que le rapport d’évaluation final.

1.5 Limites

La présente section fournit une description des problèmes survenus durant l’évaluation et des limites relatives à la conception et aux méthodes qui peuvent avoir des répercussions sur la validité et la fiabilité des constatations, des conclusions et des recommandations de l’évaluation. La section mentionne également les stratégies d’atténuation que l’équipe d’évaluation a utilisées pour veiller à ce que les constatations de l’évaluation puissent servir à orienter la planification des programmes et la prise de décisions.

1.5.1 Élargissement de la portée de l’évaluation de manière à ce qu’elle englobe le rendement

À l’origine, l’évaluation ne devait pas aborder de questions relatives au rendement. Au moment où la collecte de données était presque terminée, on a élargi la portée de l’évaluation de manière à ce qu’elle englobe le rendement, et ce, pour faire en sorte que l’Agence réponde aux exigences énoncées dans la Politique sur l’évaluation^{Note de bas de page 25}.

Au moment où la portée de l’évaluation a été élargie, le sondage était en cours d’exécution, et la plupart des entrevues auprès d’informateurs clés avaient été menées, et bon nombre d’entre eux avaient mentionné des lacunes au chapitre de la mise en œuvre des objectifs énoncés dans le Plan stratégique de surveillance de 2007^{Note de bas de page 26} et d’autres problèmes de rendement. L’équipe d’évaluation a utilisé ces renseignements pour mesurer le rendement, et les a étoffés au moyen des données sur le rendement provenant des examens de la documentation et des dossiers administratifs.

1.5.2 Absence de données relatives à la mesure du rendement

Au moment de l’évaluation, un cadre de mesure du rendement de la surveillance était en cours d’élaboration, mais n’avait pas été mise en œuvre.

Par conséquent, l’équipe d’évaluation ne disposait pas de données exhaustives relatives à la mesure du rendement de la fonction de surveillance.

En dépit de l’absence de données liées au rendement, l’équipe d’évaluation a mesuré le rendement en examinant les progrès réalisés par l’Agence de la santé publique en ce qui a trait à la réalisation des objectifs énoncés dans le Plan stratégique de surveillance de 2007^{Note de bas de page 27}. En outre, des données liées au rendement ont été recueillies durant les entrevues et l’examen de la documentation. Les renseignements découlant de ces multiples sources d’information ont été triangulés afin que l’on puisse valider les constatations touchant le rendement.

1.5.3 Absence d’une définition claire et cohérente de la surveillance

La nature décentralisée de la surveillance au sein de l’Agence de la santé publique a rendu l’analyse plus compliquée. Aucune définition claire et cohérente de la surveillance n’était en vigueur, et les renseignements relatifs à l’affectation de ressources aux activités de surveillance n’étaient pas systématiquement consignés. Par conséquent, l’équipe d’évaluation n’a pas été en mesure d’accéder à des données fiables touchant l’affectation des ressources durant la période pertinente (de 2006‑2007 à 2011‑2012). Vu le caractère variable de la définition de surveillance, l’obtention de données fiables sur l’affectation des ressources aux activités de surveillance demeure problématique.

1.5.4 Modifications en cours de la fonction de surveillance

Au cours de la période d’évaluation, l’Agence de la santé publique faisait l’objet d’un certain nombre de changements ayant une incidence sur quelques activités de surveillance et structures de gouvernance et sur certaines affectations de ressources. Ainsi, l’un des principaux défis qu’a dû relever l’équipe d’évaluation consistait à faire en sorte que ses conclusions et ses recommandations demeurent pertinentes à mesure que la fonction de surveillance évoluait.

En raison de ce contexte évolutif, l’évaluation planifiée et menée était une évaluation en cours d’exécution, à savoir une évaluation qui s’adapte aux réalités d’une dynamique non linéaire complexe plutôt que de tenter de plaquer un ordre et une certitude sur une réalité désordonnée et incertaine^{Note de bas de page 28}. La principale utilité d’une telle démarche est de favoriser la rétroaction en temps réel, l’apprentissage et les changements d’orientation. L’aspect évolutif de l’évaluation a contribué activement à façonner l’initiative de surveillance en cours.

En outre, pour aplanir la difficulté liée à ces changements, on a tenu régulièrement des réunions de « mise à jour » auxquelles a participé le personnel du programme responsable de la transformation de la fonction de surveillance et des initiatives de planification stratégique. De plus, un membre de l’équipe d’évaluation a assisté, à titre d’observateur, aux réunions du groupe de référence d’experts en la matière.