Section 1 : Évaluation des activités de l’Agence de la santé publique du Canada liées à la prévention et au contrôle des infections acquises dans la collectivité – Introduction

1. Introduction

1.1 But et portée de l'évaluation

L'évaluation a pour objectif d'évaluer la pertinence et le rendement des activités de prévention et de contrôle des infections acquises dans la collectivité à l'Agence de la santé publique, y compris l'information en matière d'évaluation nécessaire pour satisfaire aux exigences de la Loi sur la gestion des finances publiques concernant l'examen d'activités de lutte contre l'hépatite C au Canada. Cette évaluation devrait également aider les cadres supérieurs à planifier des programmes et à prendre des décisions.

L'évaluation aborde la pertinence de ces activités, y compris le bien‑fondé de ce programme ainsi que sa compatibilité avec les rôles et les priorités du gouvernement fédéral. Elle touche également au rendement de l'Agence de la santé publique en ce qui concerne l'atteinte des résultats anticipés ainsi que la démonstration d'efficience et d'économies. La période examinée s'étend des mois d'avril 2008 à octobre 2012.

Les questions suivantes ont guidé la collecte de données. Toutes ces questions sont couvertes dans l'évaluation. Les constatations clés découlant de chaque question ont été synthétisées de manière à produire des conclusions de portée plus générale.

Pertinence

• Besoin continu
  • Quelle est l'importance des infections acquises dans la collectivité au Canada?
  • Le problème a‑t‑il changé au fil du temps?
• Harmonisation avec les rôles et les responsabilités du gouvernement fédéral et de l'Agence
  • Quel rôle le gouvernement fédéral joue‑t‑il dans la prévention et le contrôle des infections acquises dans la collectivité?
  • Quel est le rôle actuel de l'ASPC dans la prévention et le contrôle des infections acquises dans la collectivité? En quoi ce rôle est‑il compatible avec le rôle et les responsabilités de l'administration fédérale?
  • En quoi diffère‑t‑il de celui des autres ministères, des provinces et territoires et des organismes non gouvernementaux? Quelles sont les lacunes? L'Agence de la santé publique fait‑elle ce que d'autres ministères devraient faire?
• Conformité aux priorités du gouvernement et de l'Agence de la santé publique
  • Notre rôle actuel est‑il compatible avec les priorités de l'administration fédérale et de l'Agence? 
• Quelle est l'approche stratégique de l'ASPC dans la prévention et le contrôle des infections acquises dans la collectivité?

Rendement

• Atteinte des résultats escomptés
  • Dans quelle mesure les activités de l'ASPC ont‑elles favorisé la collaboration avec les provinces, les territoires et les intervenants dans le dossier des infections acquises dans la collectivité?
  • Dans quelle mesure les activités menées ou appuyées par l'ASPC ont‑elles augmenté la sensibilisation et les connaissances au sujet de ces infections?
  • Quelles sont les données probantes sur les risques et l'incidence de ces infections? Dans quelle mesure les provinces, les territoires et les intervenants les utilisent‑ils pour concevoir ou améliorer leurs politiques et leurs programmes?
• Démonstration d'efficience et d'économie
  • Y a‑t‑il des écarts entre dépenses prévues et dépenses réelles? Quelles en sont les conséquences, le cas échéant?
  • Les activités communautaires permettent‑elles d'atteindre les résultats escomptés de la manière la plus économique possible?
  • Les activités menées et les produits livrés le sont‑ils de la façon la plus efficiente possible?
  • Dans quelle mesure des mécanismes sont‑ils en place pour évaluer le rendement? Comment le secteur de programme utilise­t­il la mesure du rendement pour améliorer la conception et l'exécution des activités? Comment l'efficience des activités pourrait-elle être améliorée? Existe­t­il d'autres moyens, plus efficients, d'exécuter les activités?

Le présent rapport décrit ce que l'Agence de la santé publique fait pour prévenir et contrôler la tuberculose, les hépatites B et C ainsi que les infections transmissibles sexuellement, notamment la promotion de la santé sexuelle. Il évalue les liens, décrit les difficultés et les possibilités et se termine par les principaux résultats et les conclusions, qui donnent lieu, à leur tour, à trois recommandations.

La portée de la présente évaluation ne comprend pas l'Initiative fédérale de lutte contre le VIH-sida au Canada. Une évaluation de cette initiative sera réalisée de façon distincte, tout comme l'évaluation des activités de l'Agence de la santé publique dans le cadre de l'Initiative canadienne de vaccin contre le VIH. De la même façon, les activités de l'Agence de la santé publique relativement à la santé dans le cadre de voyages et aux frontières ainsi qu'aux infections acquises en milieu de soins de santé, de même que les activités en cas de pandémie et de grippe aviaire menées par le Centre de la lutte contre les maladies transmissibles et les infections seront également examinées dans le cadre d'évaluations distinctes de l'Agence de la santé publique.

Initiative Entente sur l'hépatite C

L'Initiative sur l'hépatite C verse des paiements aux provinces et aux territoires pour que les personnes infectées par le virus de l'hépatite C à cause du système d'approvisionnement en sang avant 1986 et après 1990 aient un meilleur accès aux services de soins de santé et de traitement. Cette initiative fédérale fournit 300 millions $ en paiements de transfert sur une période de 20 ans pour aider les provinces et les territoires à offrir des services de soins de santé aux personnes infectées par le virus de l'hépatite C.

En 2009, l'Agence de la santé publique a effectué une évaluation de l'Initiative Entente sur l'hépatite C. Le rapport d'évaluation a révélé que l'Initiative répondait aux besoins évidents et qu'il y avait un lien entre les objectifs de celle-ci et les priorités du gouvernement fédéral ainsi que le résultat stratégique de l'Agence. L'évaluation a permis de constater que le gouvernement fédéral a assumé ses responsabilités relatives à l'Initiative. Les éléments fondamentaux de l'Initiative n'ont pas changé, et aucun autre financement n'a été fourni aux provinces et territoires depuis 2009. Par conséquent, il n'est pas nécessaire d'évaluer l'Initiative dans le cadre de la présente évaluation.

1.2 Façon de procéder

Approche et conception

La présente évaluation a été réalisée par la Direction de l'évaluation, un groupe interne de l'Agence de la santé publique qui n'est pas concerné par les secteurs de programme responsables de l'administration des activités liées aux infections acquises dans la collectivité.

L'utilisation de plusieurs sources de données et de mesures qualitatives et quantitatives a permis d'analyser objectivement la pertinence et le rendement des activités liées aux infections acquises dans la collectivité.

Méthodes

La présente évaluation a fait appel à plusieurs sources de données, y compris une revue de la littérature et des documents pertinents ainsi que des entrevues avec les principaux informateurs et des sondages. Les données sur la mesure du rendement recueillies en vue de rendre compte des activités liées aux subventions et contributions du Programme de prévention, de soutien et de recherche concernant l'hépatite C ont également été utilisées comme une source de résultats.

La matrice de l'évaluation, qui met en lumière les questions et les sources de données de l'évaluation, se trouve dans un rapport technique, disponible sur demande. Les évaluateurs ont mené des entrevues à l'aide de guides d'entrevue structurés qui s'inspiraient des questions d'évaluation indiquées dans le cadre d'évaluation. Les outils de l'évaluation, comme les guides d'entrevue, sont également disponibles dans le rapport technique.

1. Recension des écrits

Les évaluateurs ont procédé à une recension des écrits afin d'explorer l'ampleur des infections acquises dans la collectivité au Canada et de déterminer si leur incidence ou leur prévalence a changé au fil du temps. Cet examen avait pour but d'obtenir de l'information en vue de déterminer la nécessité de poursuivre les activités actuelles de l'Agence de la santé publique en matière de prévention et de contrôle des infections, comme la tuberculose, l'hépatite C et d'autres infections transmissibles sexuellement, comme la syphilis.

Les 67 documents examinés comprenaient des ouvrages (publiés et non publiés) que le personnel du programme du Centre de la lutte contre les maladies transmissibles et les infections avait suggérés ainsi que des documents cernés par l'intermédiaire de recherches sur Internet. En outre, des recherches d'articles publiés uniquement en anglais après 2007 ont également été effectuées dans les bases de données Medline, Embase, Global Health et EconLit. Les recherches étaient axées sur les articles sur la résistance aux antimicrobiens des infections acquises dans la collectivité, des hépatites B et C, des infections transmissibles sexuellement et de la tuberculose.

2. Examen des fichiers et des documents de programmes

La Direction de l'évaluation a examiné les fichiers et les documents de programme portant sur les activités liées aux infections acquises dans la collectivité disponibles à l'Agence de la santé publique. Les fichiers et les documents ont d'abord été recensés par le personnel du programme du Centre de la lutte contre les maladies transmissibles et les infections et par l'intermédiaire d'une recherche sur des sites Web pertinents. Cet examen s'est penché sur les questions d'évaluation liées à la pertinence et au rendement. Les évaluateurs ont examiné 109 documents en tout, sans compter les sites Web. Parmi les types de documents examinés, mentionnons les suivants :

• autorisations de programmes, lois, protocoles et ententes
• information sur la mesure du rendement (le cas échéant)
• rapports de surveillance
• plans stratégiques
• rapports d'évaluation externes
• documents de base
• notes d'information et présentations
• recherches sur l'opinion publique
• données financières.

3. Entrevues menées auprès des principaux cadres supérieurs de l'Agence de la santé publique, du personnel du domaine des infections acquises dans la collectivité ainsi que d'autres intervenants externes clés

Les entrevues portaient sur des questions d'évaluation précises liées à la pertinence et au rendement, y compris les rôles et les responsabilités, la description des activités liées aux infections acquises dans la collectivité à l'Agence de la santé publique et leur rendement. Les entrevues ont également permis de cerner les points à améliorer et les lacunes existantes (difficultés).

Les personnes ayant contribué à lutter contre les infections acquises dans la collectivité ou ayant une expérience connexe, soit au sein de l'Agence de la santé publique ou à l'externe, ont été ciblées pour les entrevues. Après une première entrevue destinée à déterminer la portée des incidences réalisée avec les principales personnes‑ressources du programme, d'autres noms, à l'intérieur et à l'extérieur de l'Agence de la santé publique, ont été suggérés pour une entrevue. Entre les mois de juillet et de novembre 2012, 34 entrevues d'une heure (en moyenne) ont été menées. La plupart d'entre elles ont été transcrites (textuellement) et utilisées pour des analyses. 

Voici la ventilation des personnes interrogées selon le type d'informateur clé.

4. Sondages

La Direction de l'évaluation a également réalisé quatre sondages en ligne auprès de divers groupes afin de leur poser des questions au sujet des rôles et des activités de l'Agence de la santé publique relativement aux infections acquises dans la collectivité. Quatre sondages différents ont été réalisés.

• Le Comité directeur sur les maladies transmissibles et infectieuses du Réseau fédéral/provincial/territorial de santé publique : Le sondage a été envoyé à 14 répondants potentiels, c'est‑à‑dire tous les membres du Comité directeur qui ne relevaient pas de l'Agence de la santé publique. Les membres du Comité ont été invités à faire suivre le sondage à d'autres répondants potentiels au sein de leur administration, le cas échéant. Dix-sept répondants ont rempli le questionnaire en ligne. (Le taux de réponse n'est pas approprié puisqu'on a utilisé l'approche « boule de neige ». Comme l'échantillon est de petite taille et concentré, on n'utilisera pas les pourcentages pour présenter les résultats.)

Dans le cadre des trois sondages suivants, on a employé une technique d'échantillonnage dirigé. Après les premières entrevues destinées à déterminer la portée réalisées avec les principales personnes‑ressources du programme, on a fourni des noms d'intervenants qui ne font pas partie de l'Agence de la santé publique pour créer des échantillons aux fins du sondage. Souvent, il s'agissait de listes de gens qui avaient été embauchés par l'Agence pour faire partie de groupes techniques ou de travail ou qui avaient demandé de l'information à l'Agence au sujet de ses produits.

Les sondages ont été menés selon une approche progressive entre le 29 septembre et le 2 novembre 2012 et ont été disponibles (ouverts) pendant au moins trois semaines. Chaque liste d'échantillon a été confirmée par le Centre de la lutte contre les maladies transmissibles et les infections.

• Le secteur sans but lucratif : Le sondage a été envoyé à 145 répondants potentiels, et on leur demandait de le faire suivre à d'autres répondants potentiels au sein de leur administration, le cas échéant. Quarante et un répondants ont rempli le questionnaire en ligne.
• Chercheurs du domaine : Le sondage a été envoyé à 45 répondants potentiels. Vingt et un répondants ont rempli le questionnaire en ligne.
• Autres ministères fédéraux : Le sondage a été envoyé à 36 répondants potentiels, et on leur demandait de faire suivre le sondage à d'autres répondants potentiels au sein de leur administration, le cas échéant. Dix-neuf répondants ont rempli le questionnaire en ligne.

Le logiciel Fluid Surveys a été utilisé pour mener le sondage et analyser les données.

D'autres informations sur les techniques de collecte de données figurent dans le rapport technique, qui est disponible sur demande. L'Évaluation des activités liées aux infections acquises dans la collectivité à l'Agence de la santé publique : Rapport technique contient les questionnaires ainsi qu'une ventilation plus détaillée des résultats du sondage.

Limites

La plupart des évaluations sont assujetties à des contraintes susceptibles d'avoir des répercussions sur la validité et la fiabilité de leurs résultats, de leurs conclusions et de leurs recommandations. La présente section énumère les limites concernant la conception et les méthodes de cette évaluation en particulier. Elle précise également les stratégies d'atténuation que l'équipe d'évaluation a mises en place pour faire en sorte que les constatations de l'évaluation puissent être utilisées en toute confiance pour guider la planification du programme et la prise de décisions connexe.