Section 3 : Évaluation de l'Initiative fédérale de lutte contre le VIH/sida au Canada De 2008-09 à 2012-13 – Description de l'évaluation

3. Description de l'évaluation

3.1 Portée de l'évaluation

Il s'agit d'une évaluation prévue aux termes du plan d'évaluation quinquennal approuvé de l'Agence de la santé publique du Canada et de Santé Canada 2013-2014 à 2017-2018 en vue de satisfaire aux exigences de la Loi sur la gestion des finances publiques.

L'évaluation portait principalement sur les activités financées par l'Initiative fédérale. Par conséquent, les activités suivantes n'ont pas été abordées : les activités liées à la tuberculose, aux hépatites B et C, et aux infections transmissibles sexuellement; l'Initiative canadienne de vaccin contre le VIH; et tous les gains d'efficience réalisés grâce à la combinaison des activités reliées au VIH/sida avec celles liées à d'autres maladies transmissibles.

Les activités de collecte de données se sont échelonnées d'avril à août 2013. L'évaluation se penchait sur les activités menées par les quatre partenaires concernés par l'Initiative fédérale pour la période allant de 2008 à 2013, y compris les activités mises en œuvre par les bureaux régionaux des ministères partenaires.

3.2 Questions relatives à l'évaluation

Les questions relatives à l'évaluation étaient en harmonie avec la Politique sur l'évaluation (2009) du Conseil du Trésor du Canada et tenaient compte des cinq éléments fondamentaux sous les thèmes de la pertinence et du rendement, comme l'indique l'annexe 3. Pour chaque élément fondamental, des questions précises ont été formulées à partir d'éléments du programme, et c'est ce qui a guidé le processus d'évaluation.

3.3 Approche et modèle de l'évaluation

Une approche fondée sur les résultats a été utilisée pour évaluer les progrès réalisés quant à l'atteinte des résultats attendus et déterminer les leçons apprises.

La Politique sur l'évaluation (2009) du Conseil du Trésor du Canada décrit les éléments fondamentaux en matière de pertinence et de rendement qui seront examinés dans les évaluations des programmes fédéraux. L'évaluation a été conçue de sorte que les méthodes de collecte de données répondent aux objectifs et aux exigences de la Politique. Un concept non expérimental a été appliqué, c'est-à-dire qu'aucun groupe d'échantillonnage n'a été désigné au hasard pour participer à l'évaluation et qu'aucun groupe de contrôle n'a été formé aux fins de comparaison. Parce qu'elle repose sur un concept non expérimental, l'évaluation s'est appuyée sur la corrélation pour démontrer les effets et ne comprenait pas de lien de causalité. L'évaluation a donc été conçue pour démontrer les contributions possibles du programme à l'atteinte des résultats prévus plutôt que des liens directs de causalité entre le programme et les résultats.

3.4 Collecte de données et méthodes d'analyse

Les évaluateurs ont recueilli et analysé les données provenant de différentes sources :

  • Données sur le rendement du programme
  • Examen des documents et des dossiers
  • Examen de la documentation
  • Examen de données financières
  • Entrevues réalisées avec des informateurs clés (voir l'annexe 4 pour obtenir des renseignements détaillés).

Les données, qui ont été recueillies à partir de diverses sources et selon diverses méthodes énumérées ci-dessus, ont été soumises à la triangulation. Voici une liste non exhaustive des activités qui ont été menées :

  • la compilation, l'examen et la synthèse systématiques des données afin d'établir les principaux résultats du rapport
  • analyse thématique des données qualitatives
  • analyse chronologique des données comparables au fil des années
  • analyse chronologique des données provenant de diverses sources afin de valider le sommaire des résultats.

3.5 Limites et stratégies d'atténuation

Les évaluations sont limitées par des difficultés qui peuvent avoir des conséquences sur les constatations de l'évaluation. Des stratégies d'atténuation ont donc été utilisées pour s'assurer que les données recueillies permettaient la production d'un rapport d'évaluation fiable comprenant des conclusions et des recommandations reposant sur des données probantes. 

Le tableau suivant souligne les limites, leurs incidences réelles ou éventuelles sur l'évaluation ainsi que les stratégies d'atténuation utilisées dans l'évaluation pour limiter ces incidences.

Tableau 1 : Limites et stratégies d'atténuation
Limites Incidence réelle ou possible Stratégie d'atténuation

Collecte de données brutes restreinte

  • On a dû se fier à l'examen des documents du programme et aux données secondaires. La collecte de données brutes s'est limitée aux entrevues réalisées avec des informateurs clés.
  • Les bénéficiaires directs du financement n'ont pas été consultés dans le cadre de la collecte de données brutes. Plus d'entrevues réalisées avec ces intervenants auraient permis de se faire une meilleure idée quant au rendement de l'Initiative.
  • Des méthodes de triangulation ont été utilisées pour corroborer les principales conclusions (examen de la documentation et entrevues réalisées avec des informateurs clés).
  • L'Initiative fédérale a évalué les activités à différents moments, notamment grâce aux renseignements obtenus directement des personnes participant aux activités qu'elle finance. Ces données ont été utilisées par l'équipe d'évaluation.
  • Grâce aux analyses documentaires et aux entrevues réalisées avec des informateurs clés, les évaluateurs sont parvenus à une compréhension générale de ces questions.

Qualité et disponibilité réduites de données financières

  • Capacité restreinte à évaluer l'efficacité et l'économie.
  • D'autres méthodes de collecte de données ont contribué à l'évaluation de l'économie et de l'efficacité.

Données restreintes sur le rendement :

  • Absence de repères, de données de référence et de cibles
  • Données de sortie plus solides que les données sur les résultats
  • Sans repères ni cibles, il a été difficile d'évaluer l'atteinte des résultats.
  • Dans de nombreux cas, même si une quantité considérable de renseignements étaient disponibles sur la mesure du rendement, il a été difficile d'évaluer l'atteinte des résultats. Il y avait moins d'indicateurs disponibles sur les résultats que sur les données et les activités, réduisant ainsi la capacité, par moment, à démontrer l'atteinte des résultats.
  • Les rapports sur le rendement ont été exploités pleinement et ont permis d'obtenir des indications quant à l'atteinte des résultats. En l'absence de renseignements, la triangulation des données provenant de l'examen de la documentation et des informateurs clés a permis de valider les conclusions et de fournir d'autres données sur l'atteinte des résultats.

Peu importe les limites décrites ci‑dessus, la Direction de l'évaluation est sûre que les conclusions reflètent et évaluent avec exactitude les activités de l'Initiative fédérale au cours des cinq dernières années.

Détails de la page

Date de modification :