Section 1 : Évaluation des activités de prévention, de détection et de lutte contre les maladies entériques d'origine alimentaire à l'Agence de la santé publique du Canada – Introduction

1. Introduction

1.1 But et portée de l'évaluation

L'évaluation vise à déterminer la pertinence et le rendement des activités de prévention, de détection et de lutte contre les maladies entériques d'origine alimentaire à l'Agence de la santé publique. La haute direction a demandé cette évaluation afin de faciliter la planification du programme et la prise de décisions. Des renseignements évaluatifs s'avéraient également nécessaires pour éclairer les contributions de l'Agence de la santé publique dans le cadre de l'intervention du gouvernement du Canada afin de mettre en œuvre les recommandations formulées par l’enquêteure indépendante qui s'est penchée sur l'éclosion de listériose en 2008, Sheila Weatherill.

L'évaluation aborde la pertinence de ces activités, y compris le bien-fondé de ce programme ainsi que sa compatibilité avec les rôles et les priorités du gouvernement fédéral. Elle touche également au rendement de l'Agence de la santé publique en ce qui concerne l'atteinte des résultats anticipés ainsi que la démonstration d'efficience et d'économies. La période de temps examinée s'étend des mois d'avril 2006 à décembre 2011.

Les questions suivantes ont orienté la création d’outils de collecte de données aux fins de l’évaluation ainsi que la collecte des données. Toutes les questions ont été abordées dans le cadre de l’évaluation. Les principales conclusions tirées relativement à chaque question ont été synthétisées en conclusions plus générales.

Pertinence

• Quelle est l'ampleur des maladies entériques d'origine alimentaire au Canada?
• A-t-elle changé au fil du temps? L'Agence de la santé publique s'est-elle adaptée à ces besoins changeants? Quelles sont les lacunes qui restent à combler?
• Quel devrait être le rôle de l'Agence de la santé publique pour prévenir, détecter et combattre les maladies entériques d'origine alimentaire? En quoi concorde-t-il avec le rôle des provinces et des territoires?
• De quelles façons le rôle de l'Agence de la santé publique cadre-t-il avec celui des autres ministères? L'Agence fait-elle ce que les autres devraient ou pourraient faire?
• Le rôle actuel de l'Agence de la santé publique est-il compatible avec ses propres priorités et avec celles du gouvernement fédéral? Quelles sont les lacunes? Y a-t-il des chevauchements?
• L'Agence de la santé publique possède-t-elle une approche stratégique à long terme pour prévenir, détecter et combattre les maladies entériques d'origine alimentaire?

Rendement

• L'Agence de la santé publique peut-elle améliorer ses activités liées aux maladies entériques d'origine alimentaire afin de mieux servir les Canadiennes et les Canadiens?
  • Quelles sont les données probantes sur les incidences des maladies entériques d'origine alimentaire? Dans quelle mesure l'Agence de la santé publique et les autres ministères et organismes gouvernementaux se servent-ils de ces données probantes pour revoir leurs politiques et leurs programmes?
  • Dans quelle mesure y a-t-il une évaluation coordonnée des résultats de laboratoire et épidémiologiques ainsi qu'une bonne coordination interne et externe de l'utilisation des données probantes?
  • Quelles sont les activités entreprises pour aborder les connaissances et la sensibilisation de la population à l'égard de la prévention des maladies entériques d'origine alimentaire?
• L'Agence de la santé publique est-elle susceptible d'être confrontée aux mêmes défis que ceux qui ont dû être relevés lors des éclosions précédentes de maladies entériques d'origine alimentaire comme la listériose? Dans l'affirmative, comment l'Agence de la santé publique peut-elle surmonter ces difficultés?
• Dans quelle mesure y a-t-il une évaluation du rendement en place?
• Y a-t-il des écarts entre les dépenses prévues et les dépenses réelles? Dans l'affirmative, quelles sont les conséquences? Dans quelle mesure ces fonds ont-ils été ciblés adéquatement?

La portée de cette évaluation n'englobe pas la sécurité alimentaire, les allergènes, les produits chimiques ou les maladies d'origine hydrique et zoonotique et ne comprend pas, non plus, les autres maladies non entériques d'origine alimentaire.

Le présent rapport décrit les gestes posés par l'Agence de la santé publique pour prévenir, détecter et combattre les maladies entériques d'origine alimentaire. Il évalue les liens, il décrit les difficultés et les possibilités et finit par les principaux résultats et les conclusions qui donnent lieu, à leur tour, à quatre recommandations.

1.2 Méthodologie

Approche et conception

Cette évaluation a été réalisée par les Services d'évaluation, un groupe interne de l'Agence de la santé publique qui n'est pas concerné par les secteurs de programme responsables de l'administration des activités liées aux maladies entériques d'origine alimentaire.

Un modèle fondé sur des objectifs a été utilisé afin d'examiner les activités liées aux maladies entériques d'origine alimentaire dans l'ensemble de l'Agence de la santé publique. L'évaluation a également permis de déterminer si l'Agence possède un système efficace en place pour lutter contre les éclosions de maladies entériques d'origine alimentaire.

Comme l'évaluation avait aussi pour but de comprendre les lacunes et les difficultés des activités liées aux maladies entériques d'origine alimentaire à l'Agence, un modèle fondé sur des processus a également été utilisé. En outre, pendant l'examen des activités de détection et d'intervention après l'éclosion de listériose de 2008, la haute direction a demandé une évaluation des améliorations apportées à l'Agence de la santé publique à la suite de l'examen.

Cette évaluation intègre plusieurs sources de données ainsi qu'une combinaison de mesures qualitatives et quantitatives afin d'assurer une analyse équilibrée de la pertinence et du rendement des activités de prévention, de détection et de lutte contre les maladies entériques d'origine alimentaire.

Méthodes

La présente évaluation a fait appel à plusieurs sources de données, y compris une revue de la littérature et des documents pertinents ainsi que des entrevues avec les informateurs clés. Afin de déterminer la place de la santé publique dans la prévention, la détection et la lutte contre les maladies entériques d'origine alimentaire, les évaluateurs ont étudié les activités réalisées aux États-Unis, par l’entremise des Centers for Disease Control and Prevention (annexe A). Ils ont également étudié les leçons tirées de l'éclosion de la bactérie E. coli O157 en Allemagne (annexe B) et déterminé les progrès accomplis depuis l'éclosion de listériose de 2008 (annexe C).

La matrice d'évaluation, qui décrit les questions d'évaluation et les sources de données, figure à l'annexe D. Les évaluateurs ont eu des entretiens à l'aide de guides d'entrevue structurés qui s'inspiraient des questions d'évaluation indiquées dans le cadre d'évaluation. Les outils d'évaluation, comme les guides d'entrevue, sont disponibles sur demande.

1. Revue de la littérature

Les évaluateurs ont procédé à une revue de la littérature afin d'explorer l'ampleur des maladies entériques d'origine alimentaire au Canada et de déterminer si leur incidence ou leur prévalence a changé au fil du temps. Cette analyse avait pour but d'obtenir de l'information sur le bien-fondé des activités de l'Agence de la santé publique qui visent à prévenir, à détecter et à combattre les maladies entériques d'origine alimentaire.

Les 56 documents examinés comprenaient des ouvrages, y compris des ouvrages non publiés, suggérés par les membres du personnel du programme, ainsi que des documents repérés au fil des recherches sur Internet. Des recherches d'articles publiés uniquement en anglais après 2005 ont également été effectuées dans les bases de données Medline, Embase, Global Health et EconLit. Les recherches ont surtout porté sur la prévention, la détection, l'intervention et le contrôle à l'égard des maladies entériques d'origine alimentaire à l'échelle nationale et internationale.

2. Examen des fichiers et des documents

Les Services d'évaluation ont examiné les fichiers et les documents disponibles sur les activités de prévention, de détection et de lutte contre les maladies entériques d'origine alimentaire à l'Agence de la santé publique. Les fichiers et les documents ont été déterminés, dans un premier temps, par les membres du personnel du programme et d'autres ministères et à l'aide de recherches sur des sites Web pertinents. Cet examen s'est penché sur les questions d'évaluation liées à la pertinence et au rendement. Les évaluateurs ont examiné 115 documents en tout, sans compter les sites Web.

Les sortes de documents examinés étaient notamment :

• des autorisations de programmes, des lois, des protocoles et des ententes
• des rapports annuels et des rapports d'étape
• des rapports sur les exercices et la formation
• des plans stratégiques
• des rapports d'évaluation externe et des rapports de vérification interne et externe
• des examens des leçons tirées
• des notes d'information et des dossiers de présentation
• des données financières
• des recherches sur l'opinion publique.

3. Entrevues avec les principaux cadres supérieurs et membres du personnel de l'Agence de la santé publique, les cadres supérieurs et les membres du personnel d'autres ministères et organismes fédéraux et des experts externes dans le domaine de la salubrité des aliments

Les entrevues portaient sur des questions d'évaluation précises associées à la pertinence et au rendement, y compris les rôles et les responsabilités, la description des activités liées aux maladies entériques d'origine alimentaire à l'Agence de la santé publique et leur rendement. Les entrevues ont également permis de cerner les points à améliorer et les lacunes existantes.

En plus des perspectives d'un vaste échantillon de gestionnaires et de membres du personnel du programme de l'Agence de la santé publique, l'évaluation a également pris en compte les points de vue de quelques intervenants importants, notamment de membres du personnel sélectionnés dans d'autres ministères et organismes.

L'échantillonnage dirigé s'appuyait sur une approche en boule de neige. Après une première entrevue destinée à déterminer la portée des incidences réalisée avec les principales personnes-ressources du programme, d'autres noms, à l'intérieur et à l'extérieur de l'Agence de la santé publique, ont été suggérés pour une entrevue. Entre les mois de septembre et de décembre 2011, 47 entrevues d'une heure (en moyenne) ont été menées. Ces entrevues ont été enregistrées. La plupart d'entre elles ont été transcrites (textuellement) et utilisées pour des analyses. Lorsqu'une transcription était impossible, faute de temps, ce sont les notes qui avaient été prises au cours des entrevues qui ont été utilisées pour les analyses.

Voici la répartition des personnes questionnées par type d'informateur clé.

4. Études de cas

Trois études de cas ont été réalisées afin de recueillir plus de détails sur la démarche d'un pays à l'égard des maladies entériques d'origine alimentaire, sur une éclosion d'origine alimentaire internationale importante ainsi que sur les progrès accomplis en suivant l'éclosion d'origine alimentaire la plus grave du Canada. Les études de cas ont permis d'examiner les questions d'évaluation qui touchaient à la pertinence et au rendement.

Pour commencer, les évaluateurs ont procédé à un examen comparatif de la démarche des Centers for Disease Control and Prevention aux États-Unis pour prévenir, détecter et combattre les maladies entériques d'origine alimentaire. Ils ont également mené des entrevues avec des cadres supérieurs des Centers for Disease Control and Prevention.

La deuxième étude de cas visait à déterminer si l'éclosion d'E. coli en Allemagne pourrait se produire au Canada. En ce qui concerne la collecte de données, les informateurs clés de l'Agence de la santé publique ont été invités à donner leurs points de vue et les documents clés ont été examinés.

Enfin, une étude de cas a porté sur les progrès accomplis par l'Agence de la santé publique après l'éclosion de listériose en 2008 afin d'aborder les recommandations formulées par l’enquêteure indépendante Sheila Weatherill. En plus de l'examen des fichiers et des documents, cinq entrevues ont été réalisées avec les responsables des secteurs de programme. Ces personnes questionnées n'ont pas été incluses dans le tableau ci-dessus.

Limites

La plupart des évaluations sont confrontées à des contraintes qui peuvent avoir des incidences sur la validité et la fiabilité des résultats, les conclusions et les recommandations de l'évaluation. La présente section aborde les limites en ce qui concerne la conception et les méthodes pour cette évaluation particulière. Elle traite également des stratégies d'atténuation mises en place par l'équipe d'évaluation afin de s'assurer que les résultats de l'évaluation puissent être utilisés en toute confiance pour orienter la planification et la prise de décisions.