Section 2 : Évaluation du Programme de subventions internationales à la santé(de 2008-2009 à 2012-2013) – Méthodologie de l’évaluation

• des autorisations de programmes, des lois, des protocoles et des ententes;
• de l’information sur la mesure du rendement (le cas échéant);
• des plans stratégiques;
• des rapports d’évaluation externe (menée par d’autres organismes, notamment l’ACDI, le ministère des Affaires étrangères et du Commerce international et l’OPS)
• des documents de base, des notes d’information et des dossiers de présentation;
• des données financières;
• des documents internationaux sur des organisations multilatérales;
• des exposés de principes;
• des présentations, dont celles au ministre et au comité exécutif.

De janvier au début mars 2013, 16 entrevues ont été réalisées. Une liste de répondants clés a été dressée avec l’aide du secteur de programme. D’autres contacts ont été déterminés pendant les entrevues pour obtenir des renseignements sur des éléments plus précis du programme.

Les entrevues ont été réalisées avec des membres clés de la haute direction et du personnel de programme de Santé Canada et de l’Agence de la santé publique du Canada ainsi qu’avec d’autres intervenants externes clés du ministère des Affaires étrangères et du Commerce international, de l’ACDI, de la Mission permanente du Canada auprès de l’Organisation des États américains, des centres collaborateurs de l’OPS et de l’OMS et des Instituts de recherche en santé du Canada. Les répondants clés ciblés aux fins des entrevues étaient des personnes ayant participé à des activités liées aux affaires internationales et aux subventions et contributions relatives au Programme au sein de Santé Canada ou de l’Agence de la santé publique du Canada ou d’un organisme externe, ou possédant de l’expérience dans le domaine. Après la présentation au Comité de l’évaluation, et compte tenu de l’intérêt à étudier davantage l’engagement avec l’OPS, il a été jugé nécessaire de mener des entrevues supplémentaires, tant à l’interne qu’à l’externe.

Les entrevues ont permis de traiter de questions d’évaluation ayant trait à la pertinence et au rendement, y compris les rôles et les responsabilités; les avantages que la participation à des organisations internationales procure au Canada; les activités liées à l’engagement du Canada; et leurs opinions quant à l’engagement du Canada avec ces organisations et son rendement. Les entrevues ont également permis de cerner les points à améliorer et les lacunes existantes (difficultés) et de recueillir des suggestions sur la façon d’ajuster l’engagement à la suite de la fusion du bureau des affaires internationales de Santé Canada et de celui de l’Agence de la santé publique du Canada.

Deux projets et un centre collaborateur de l’OMS et de l’OPS ont été choisis pour les études de cas en raison de leur succès. Ces derniers ne visaient pas à fournir un échantillon représentatif, mais plutôt à illustrer les pratiques exemplaires et comment un petit investissement peut générer des retombées importantes pour le Canada.

Les études de cas portaient sur les questions suivantes :

• contexte : renseignements généraux, climat, préoccupations, enjeux
• stratégies : approches adoptées, organismes et intervenants concernés
• difficultés : préoccupations soulevées, diverses perspectives
• résultats : réalisations, changements, leçons tirées.

Voici sur quoi les études de cas ont porté :

• Centre collaborateur de l’OMS et de l’OPS sur les politiques relatives aux maladies non transmissibles
• Exposition prénatale au manganèse associée à l’utilisation de mancozèbe : accroître les connaissances provenant d’une étude de cohortes de naissance sur les pesticides et le développement des enfants
• Établissement de relations de collaboration entre la province de Tierra del Fuego, en Argentine, et le Nunavut, au Canada.

Lorsque des données de sources secondaires sont utilisées, il y a toujours un risque que l’information fournie ne soit pas complète ou nuancée.

Par exemple, les examens de l’adhésion menés par le MAECI en 2006 et en 2009 ne couvraient pas de façon intégrale les questions fondamentales de pertinence et de rendement de la Politique sur l’évaluation.

L’évaluation sommative (2008) et l’examen de mi-parcours (2010) ne portaient pas sur l’adhésion aux organisations multilatérales, mais l’examen de mi-parcours mentionnait que 95 % du budget total du programme était utilisé pour couvrir les droits d’adhésion aux organisations internationales^{Notes de fin de document 29} .

• L’information provenant de sources secondaires a été confirmée par d’autres sources de données, et des renseignements supplémentaires ont été recueillis afin de combler les lacunes cernées dans les sources secondaires et de s’assurer que l’évaluation traitait de toutes les questions fondamentales relatives à la pertinence et au rendement.
• L’équipe de l’évaluation a confirmé que l’évaluation sommative et l’examen de mi‑parcours ont été examinés et approuvés par l’unité d’évaluation centralisée de Santé Canada.
• La majeure partie du budget du Programme appuie l’adhésion aux organisations multilatérales. Par conséquent, l’évaluation portait principalement sur la pertinence et le rendement des adhésions. Pour le volet des projets, l’évaluation s’inspirait principalement de l’examen de mi‑parcours 2010 pour évaluer la pertinence et le rendement du volet des projets.

• Triangulation des entrevues avec d’autres sources de données :
  • une vaste analyse de documents et de dossiers appuyée par des entrevues internes pour mettre en évidence l’information et les points de vue les plus pertinents de l’information secondaire sur les subventions internationales à la santé obtenue au moyen d’autres évaluations, vérifications et examens

L’absence de mesure du rendement uniforme a rendu difficile la comparaison des activités ou des produits au fil du temps. L’absence de collecte de données périodique sur le rendement et d’évaluation des progrès vers l’atteinte des objectifs du Programme a limité la capacité à examiner le rendement et les gains d’efficacité au sein du secteur de programmes. De plus, le modèle logique du Programme s’appliquait uniquement au volet des projets. Il n’y avait aucun modèle logique pour le volet de l’OPS.

Dans l’ensemble, cela a rendu difficile de définir ce que le gouvernement du Canada voulait retirer de son adhésion à l’OPS.

• Les données sur le rendement recueillies au moyen du Rapport ministériel sur le rendement et des entrevues ont été utilisées, lorsque disponibles.
• Le recours aux données sur le rendement secondaires, aux entrevues et à la triangulation de l’information provenant des différentes sources de données a permis de valider les résultats.
• L’efficacité de l’adhésion a été évaluée en examinant comment les activités ont été menées et comment les stratégies ont été mises en place pour atteindre les buts et les objectifs.