Section 2 : Évaluation du Programme de subventions internationales à la santé(de 2008-2009 à 2012-2013) – Méthodologie de l’évaluation
2. Méthodologie de l’évaluation
2.1.Objet et portée de l’évaluation
Le but de l’évaluation était de fournir à la haute direction du portefeuille de la Santé une analyse objective et fondée sur des données probantes de la pertinence et du rendement du Programme. L’évaluation devait également servir de fondement pour le renouvellement du Programme, qui est en voie d’être conclu, et visait à donner l’orientation future du Programme au sein du Bureau des affaires internationales du portefeuille de la Santé, qui est le fruit d’une récente fusion.
Les questions qui suivent ont servi à guider la collecte de données. Toutes ces questions sont abordées dans l’évaluation. Une synthèse des principales constatations découlant de chaque question a ensuite été réalisée afin de produire des conclusions générales.
Pertinence
- Besoin toujours présent
- Le volet des projets est-il toujours pertinent?
- Le besoin est-il toujours présent pour le Canada d’être membre de l’OPS et du CIRC?
- Harmonisation avec les priorités du gouvernement du Canada
- L’adhésion à l’OPS et au CIRC cadre-t-elle avec les priorités du gouvernement?
- Les activités du volet des projets correspondent-elles aux priorités et aux résultats stratégiques du portefeuille de la Santé?
- Conformité avec les rôles et les responsabilités du gouvernement fédéral
- Les activités et les objectifs du Programme cadrent-ils avec le rôle en matière de compétence, établi par mandat ou prescrit par la loi, du portefeuille de la Santé (2008-2013)?
Rendement
- Atteinte des résultats escomptés
- Dans quelle mesure le Programme a-t-il permis d’orienter les politiques du gouvernement du Canada liées aux enjeux de santé mondiale en vue d’améliorer la santé des Canadiens?
- Dans quelle mesure les projets financés dans le cadre du Programme ont‑ils contribué à l’atteinte des objectifs du Programme?
- Quelles sont les leçons tirées qui permettraient de déterminer l’orientation future du Programme?
- Démonstration de l’efficience et de la rentabilité
- Est-il possible de réaliser des gains d’efficience à l’égard de la gestion du Programme?
- Les deux volets du Programme constituent-ils la meilleure approche pour atteindre les objectifs du Programme?
- Y a-t-il un cadre de mesure du rendement en place? De quelle manière le Programme utilise-t-il la mesure du rendement pour améliorer la conception et la réalisation des activités et la production de rapports?
La dernière évaluation remonte à 2007-2008Notes de fin de document 24 et un examen de mi-parcours du Programme a été réalisé en juillet 2010Notes de fin de document 25 . L’évaluation et l’examen ne portaient pas sur l’adhésion à l’OPS.
L’évaluation actuelle couvrait les activités liées à l’adhésion à l’OPS ainsi que les activités liées au volet des projets, dont les engagements auprès d’organisations internationales.
L’évaluation ne portait pas sur la Convention-cadre de l’OMS pour la lutte antitabac puisqu’elle a déjà été évaluée dans le cadre de l’évaluation horizontale de la Stratégie fédérale de lutte contre le tabagismeNotes de fin de document 26 en 2012. De plus, étant donné que les centres collaborateurs de l’OPS et de l’OMS n’ont pas été financés dans le cadre du Programme, ils ne sont pas visés par l’évaluation.
2.2.Conception de l’évaluation
Une approche fondée sur les objectifs a été utilisée afin d’évaluer les progrès réalisés envers l’atteinte des résultats escomptés, de déterminer si des conséquences inattendues se sont manifestées et de déterminer les leçons tirées.
L’évaluation a été conçue, et les méthodes de collecte de données déterminées, de façon à respecter les objectifs et les exigences de la Politique sur l’évaluation du Conseil du Trésor (2009).
L’évaluation a été conçue et menée par la Direction de l’évaluation de l’Agence de la santé publique du Canada et de Santé Canada, organisation interne qui ne joue aucun rôle dans les secteurs de programme responsables des activités internationales. L’évaluation a été dirigée par le comité d’évaluation de l’Agence de la santé publique du Canada.
2.3.Collecte de données
2.3.1.Cadre d’évaluation
Un exercice de planification et d’établissement de la portée de l’évaluation a été mené de novembre 2012 à février 2013. Cet exercice comprenait :
- un examen des plans et des stratégies de Santé Canada et des documents et rapports propres aux programmes;
- un examen préliminaire de la documentation publiée;
- un examen des évaluations antérieures et actuelles;
- un examen du modèle logique;
- des entrevues semi-structurées auprès de répondants clés.
L’exercice a guidé l’élaboration d’un cadre d’évaluation, la détermination des méthodes d’évaluation et l’élaboration des guides d’entrevue pour l’étape de la collecte des données de l’évaluation.
2.3.2.Sources de données
Cette évaluation intégrait plusieurs sources de données ainsi qu’une combinaison de mesures qualitatives et quantitatives. Les sources de données comprenaient une analyse de la littérature et des documents pertinents ainsi que des entrevues avec les principaux informateurs. Les évaluateurs ont mené les entrevues à l’aide de guides d’entrevues semi-dirigées qui s’inspiraient des questions d’évaluation. Les résultats ont été triangulés pour assurer une analyse équilibrée de la pertinence et du rendement du Programme.
En 2006Notes de fin de document 27 puis de nouveau en 2009Notes de fin de document 28 , le ministère des Affaires étrangères et du Commerce international a dirigé et coordonné l’examen horizontal de toutes les adhésions à des organisations internationales afin de cerner l’adhésion de plus faible priorité ou valeur et celle de priorité ou de valeur la plus élevée. L’efficacité de l’engagement du Canada avec l’OPS et le CIRC a été examinée dans les deux cas, en étroite collaboration avec Santé Canada. L’évaluation actuelle s’appuie sur les constatations de ces examens de 2006 et 2009.
D’autres sources de données importantes comprenaient l’examen de mi-parcours (2010) et l’évaluation sommative (2008) du Programme réalisés par Santé Canada. D’autres données ont été recueillies à l’aide d’entrevues, de documents récents et d’un examen de la littérature.
Les sources de données pour l’évaluation sont décrites en détail dans le tableau 3.
Source de données | Description |
---|---|
Examen de la littérature | Les évaluateurs ont procédé à un bref examen ciblé de la littérature afin d’étudier les façons dont les autres pays évaluent leurs relations avec les organisations internationales et mesurent leur engagement afin de tirer le maximum d’avantages à l’appui de leurs priorités nationales. Une recherche sur Internet a révélé que plusieurs pays s’adonnent actuellement à l’examen de leur contribution à des organisations multilatérales, principalement pour évaluer la pertinence d’utiliser ces organisations pour exécuter leur programme officiel d’aide au développement. |
Examen de dossiers et de documents administratifs | Les évaluateurs ont examiné 250 documents en tout, sans compter les sites Web. Voici les types de documents examinés :
|
Entrevues avec des répondants clés | De janvier au début mars 2013, 16 entrevues ont été réalisées. Une liste de répondants clés a été dressée avec l’aide du secteur de programme. D’autres contacts ont été déterminés pendant les entrevues pour obtenir des renseignements sur des éléments plus précis du programme. Les entrevues ont été réalisées avec des membres clés de la haute direction et du personnel de programme de Santé Canada et de l’Agence de la santé publique du Canada ainsi qu’avec d’autres intervenants externes clés du ministère des Affaires étrangères et du Commerce international, de l’ACDI, de la Mission permanente du Canada auprès de l’Organisation des États américains, des centres collaborateurs de l’OPS et de l’OMS et des Instituts de recherche en santé du Canada. Les répondants clés ciblés aux fins des entrevues étaient des personnes ayant participé à des activités liées aux affaires internationales et aux subventions et contributions relatives au Programme au sein de Santé Canada ou de l’Agence de la santé publique du Canada ou d’un organisme externe, ou possédant de l’expérience dans le domaine. Après la présentation au Comité de l’évaluation, et compte tenu de l’intérêt à étudier davantage l’engagement avec l’OPS, il a été jugé nécessaire de mener des entrevues supplémentaires, tant à l’interne qu’à l’externe. Les entrevues ont permis de traiter de questions d’évaluation ayant trait à la pertinence et au rendement, y compris les rôles et les responsabilités; les avantages que la participation à des organisations internationales procure au Canada; les activités liées à l’engagement du Canada; et leurs opinions quant à l’engagement du Canada avec ces organisations et son rendement. Les entrevues ont également permis de cerner les points à améliorer et les lacunes existantes (difficultés) et de recueillir des suggestions sur la façon d’ajuster l’engagement à la suite de la fusion du bureau des affaires internationales de Santé Canada et de celui de l’Agence de la santé publique du Canada. |
Études de cas | Deux projets et un centre collaborateur de l’OMS et de l’OPS ont été choisis pour les études de cas en raison de leur succès. Ces derniers ne visaient pas à fournir un échantillon représentatif, mais plutôt à illustrer les pratiques exemplaires et comment un petit investissement peut générer des retombées importantes pour le Canada. Les études de cas portaient sur les questions suivantes :
Voici sur quoi les études de cas ont porté :
|
2.4.Difficultés et limites
La présente section fournit une description des problèmes survenus durant l’évaluation et des limites relatives à la conception et aux méthodes qui peuvent avoir des répercussions sur la validité et la fiabilité des résultats, des conclusions et des recommandations de l’évaluation. L’équipe d’évaluation a mis en place des stratégies d’atténuation pour faire en sorte que les constatations puissent être utilisées en toute confiance pour orienter la planification des programmes et la prise de décisions. Le tableau 4 présente les difficultés, les limites et les stratégies d’atténuation.
Limite | Difficulté | Stratégie d’atténuation |
---|---|---|
Dépendance sur des sources d’information secondaires pour les organisations multilatérales | Lorsque des données de sources secondaires sont utilisées, il y a toujours un risque que l’information fournie ne soit pas complète ou nuancée. Par exemple, les examens de l’adhésion menés par le MAECI en 2006 et en 2009 ne couvraient pas de façon intégrale les questions fondamentales de pertinence et de rendement de la Politique sur l’évaluation. L’évaluation sommative (2008) et l’examen de mi-parcours (2010) ne portaient pas sur l’adhésion aux organisations multilatérales, mais l’examen de mi-parcours mentionnait que 95 % du budget total du programme était utilisé pour couvrir les droits d’adhésion aux organisations internationalesNotes de fin de document 29 . |
|
Peu de consultations avec les autres ministères fédéraux qui participent aux efforts internationaux ou directement avec des partenaires internationaux en raison de délais serrés, de la détermination de l’évaluation comme présentant un faible risque dans le plan d’évaluation ministériel et de la disponibilité des données secondaires | Le recours aux perceptions des intervenants clés internes et aux sources de données secondaires, lesquelles ne peuvent être systématiques et impartiales. |
|
Mesure du rendement systématique ou données financières limitées | L’absence de mesure du rendement uniforme a rendu difficile la comparaison des activités ou des produits au fil du temps. L’absence de collecte de données périodique sur le rendement et d’évaluation des progrès vers l’atteinte des objectifs du Programme a limité la capacité à examiner le rendement et les gains d’efficacité au sein du secteur de programmes. De plus, le modèle logique du Programme s’appliquait uniquement au volet des projets. Il n’y avait aucun modèle logique pour le volet de l’OPS. Dans l’ensemble, cela a rendu difficile de définir ce que le gouvernement du Canada voulait retirer de son adhésion à l’OPS. |
|
Détails de la page
- Date de modification :