ARCHIVÉE - Initiative fédérale de lutte contre le VIH/sida au Canada Rapport d’évaluation de l’implémentation

 

II. Méthodologie

A. Approche

La présente étude d’évaluation s’intéressait :

  • au besoin continu d’un rôle fédéral dans la lutte contre le VIH/sida au Canada;
  • à l’état de l’implémentation des programmes;
  • à la gouvernance et à la gestion du rendement de l’Initiative fédérale;
  • aux preuves de succès.

L’Initiative fédérale est une approche globale de la lutte contre le VIH/sida à laquelle participent quatre ministères et agences qui exécutent un vaste éventail d’activités pour contribuer à améliorer la prévention du VIH/sida et l’accès au diagnostic, aux soins, aux traitements et au soutien. La présente étude a pour but de fournir un plan directeur afin de mieux harmoniser la gamme complexe des activités actuelles en améliorant l’efficience et l’efficacité afin d’obtenir les résultats escomptés des programmes.

Stratégie d’évaluation

L’évaluation a porté sur la façon dont l’initiative globale interagit avec les activités de ses différents programmes. La méthodologie a été conçue de manière à transmettre aux principaux utilisateurs des constatations l’information nécessaire pour qu’ils améliorent la gestion et l’exécution de l’Initiative fédérale. L’approche a aussi aidé à préciser les exigences relatives à l’évaluation sommative. Certains évènements arrivés pendant la période de la préparation de l’évaluation (2007-2008) ont été ajoutés aux analyses afin de mieux diriger les conclusions et recommandations. Chaque programme a utilisé des outils d’évaluation qui sont inclus dans l’annexe II – Outils. Les données d’évaluation ont été recoupées avec le contenu des rapports ministériels et de programmes et avec les indications obtenues par observation directe. Les résultats sont résumés dans les tableaux annexés au présent rapport (annexe I -1 à I-7 - Tableaux analytiques connexes).

Pertinence

Pour statuer sur la pertinence des programmes, une vaste recension des écrits a été exécutée, y compris les plus récents rapports d’épidémiologie et de surveillance. Deux recherches sur l’opinion publique, qui ont évalué la sensibilisation des Canadiens au VIH/sida, ont fourni des indications sur la pertinence. Des documents internes ont été examinés pour déterminer si les activités exécutées par les programmes demeurent dans les rôles qui relèvent du gouvernement fédéral. Les documents les plus pertinents sont mentionnés dans la bibliographie.

Conception et exécution

Les quatre principales méthodes d’examen suivantes ont servi à répondre aux trois questions sur la conception et l’exécution :

  1. Examen de la documentation ministérielle. Les documents les plus pertinents étaient les suivants : les documents des différents programmes de l’Initiative fédérale, les rapports ministériels sur le rendement (RMR, y compris les annexes horizontales); les rapports annuels (SCVS 2004, Initiative fédérale 2005 et ébauche 2006). Les études suivantes ont été examinées sur les différents volets des programmes de subventions et contributions de l’ASPC pour relever les indications de la transition des priorités de la SCVS à celles de l’Initiative fédérale : Rapport sur la Stratégie canadienne sur le VIH/sida – Examen des subventions et contributions de quatre programmes de financement nationaux (juin 2005) et les demandes de propositions qui ont été affichées par la suite sur le site de l’ASPC; Programme d’action communautaire sur le sida (PACS) – Projet d’affectation des subventions et contributions (San Patten and Associates, mars 2006) et affectations subséquentes du financement régional du PACS; Rapport final sur l’examen du Programme d’action communautaire sur le sida (PACS) (The Alder Group, septembre 2006) et réponse de la direction; Examen du Fonds pour les projets sur le VIH/sida des communautés hors-réserve des Premières nations, des Inuits et des Métis, rapport final (janvier 2006) et demande de propositions qui a été affichée sur le site de l’ASPC par suite de cet examen; Cadre d’évaluation du PACS (PACS 2007).
  2. Une recension des écrits sur les approches visant à améliorer l’efficacité des programmes sur le VIH/sida dans les domaines suivants : exécution du programme, pratiques exemplaires, gouvernance et gestion du risque. Aussi, un examen a été exécuté des cadres d’évaluation sommative et de la capacité des organisations en matière d’évaluation.
  3. Entrevues auprès d’informateurs clés
    • Dix informateurs provenant des CR ont été sélectionnés en fonction de leurs connaissances de l’histoire organisationnelle et de leurs responsabilités à l’égard de la gestion et de la coordination de l’Initiative fédérale. Ils ont fourni des conseils, facilité le processus d’évaluation et participé à la révision des ébauches du rapport de l’évaluation de 2008.
    • Des entrevues auprès de représentants de chacun des CR ont été menées par des experts-conseils externes dans deux exercices distincts en 2006 pour collecter des données sur les responsabilités et les contributions aux résultats de l’Initiative fédérale. En tout, 21 informateurs ont été interviewés (12 pour le projet du Cadre de mesure du rendement ((Annexe II-4) et 9 pour le Rapport annuel (Annexe II-2)). Les annexes II-1 à II-4 – Outils renferment les guides d’entrevue.
  4. Renseignements sur les programmes s’inscrivant dans l’Initiative fédérale, recueillis au moyen de gabarits et d’outils normalisés.
    • Un gabarit d’autoévaluation a été créé pour recenser les problèmes relatifs à la conception et à l’implémentation des programmes et vérifier l’harmonisation des CR avec le modèle logique de l’Initiative fédérale (voir l’annexe II-3). Tous les CR ont rempli ce gabarit (juillet à octobre 2008).
    • Un gabarit a été créé pour collecter des données sur le rendement (été 2007). Voir l’annexe II-4.

L’implémentation de nouvelles activités

Pour déterminer si les programmes ont été implantés comme prévu, les questions suivantes ont été analysées :

  • De quelle façon les nouvelles activités de programme ont-elles été incorporées dans les cinq domaines d’action de l’Initiative fédérale? (annexe I-2)
  • Les nouvelles activités de programme ont-elles été mises en oeuvre et financées comme prévu? (annexes I-2 et I-3)
  • Les jalons importants ont-ils été atteints comme prévu? (annexe I-3)

Pour évaluer le degré d’implémentation des activités prévues, les documents suivants ont été analysés: documents financiers, RPP et RMR (2005 à 2007), rapports annuels de l’Initiative fédérale, rapports des entrevues auprès des informateurs clés et gabarits des programmes. L’annexe I-3 – État de l’implémentation de l’Initiative fédérale – résume les contributions fondées sur les renseignements collectés sur les nouvelles activités financées et leur degré de mise en oeuvre. Les mesures suivantes ont été utilisées :

  1. implémentation intégrale – Données satisfaisantes collectées sur les nouvelles activités. Les principaux extrants ou projets spéciaux sont achevés ou pleinement opérationnels et les résultats sont bien documentés.
  2. implémentation avancée – Des plans sont développés; les activités sont entièrement décrites; des données sur le rendement et quelques extrants clés sont disponibles; tandis que les résultats sont moins bien décrits.
  3. implémentation en cours – Des plans sont développés et, en général, les activités sont décrites; des données sur le rendement sont disponibles; absence d’extrants clés.
  4. Non implémentation – Absence de renseignements sur les activités ou sur les plans.

Gouvernance et rendement

Les indicateurs suivants ont été utilisés pour déterminer si l’initiative horizontale a satisfait aux attentes à l’égard de la gouvernance de l’ensemble du système:

  • autorisation convenable des programmes et des activités;
  • objectifs et attentes à l’égard du rendement définis clairement pour l’Initiative globale et les programmes qui la composent;
  • bonne compréhension des objectifs par les gestionnaires et le personnel des programmes;
  • processus de gestion et de planification concertés, coordonnés et transparents;
  • responsabilités convenues et clairement définies de l’organisme responsable et des organismes partenaires;
  • compilation régulière de données sur le rendement et établissement de rapports – couvrant les activités, la portée, les principaux extrants et les résultats stratégiques;
  • utilisation de l’information sur le rendement pour faciliter la planification et la gestion de l’ensemble des éléments du programme ou un groupement de programmes interdépendants;
  • intégration des rapports de rendement dans les cycles de planification et d’établissement de rapports sur le rendement des ministères et agences participants.

Ces renseignements ont été réunis au moyen d’entrevues, de mécanismes d’observation, de documents provenant des réunions des CCR et du GTR (procès-verbaux, mandats) et de documents ministériels (RMR, rapports annuels de l’Initiative fédérale).

Stratégies de mesure du succès

L’approche employée est décrite sous « Stratégies de mesure de la conception et de l’exécution » dans cette section. Les annexes I-1 à I-7 : Tableaux analytiques connexes, renferment les renseignements collectés et leur analyse.

Validation des partenaires

  • Les rapports provisoires ont été transmis au Groupe de travail sur la responsabilisation de l’Initiative fédérale pour valider l’exactitude de l’information et obtenir des renseignements sur les prochaines étapes prévues pour les programmes de l’Initiative fédérale.
  • Le Comité directeur de l’évaluation a été formé pour mettre en commun le savoir-faire des partenaires de l’Initiative fédérale en matière d’évaluation. Des évaluateurs principaux de SC, des IRSC, de SCC et de l’ASPC ont été nommés à ce comité. Ils avaient pour principale responsabilité de déterminer l’exactitude, la faisabilité et l’utilité de l’évaluation.

Les données ont été analysées et les constats résumés dans des rapports techniques qui ont servi de documents de travail aux fins de la rédaction du rapport d’évaluation. Les encadrés et diagrammes analytiques inclus dans la présente étude sont tirés de ces rapports techniques. Ceux-ci sont classés dans les dossiers de la Section de la responsabilisation et de l’évaluation, Division des politiques, de la coordination et des programmes sur le VIH/sida (ASPC).

B. Limites

Financement – incidences des majorations et des réductions. La majoration du financement sur cinq ans, conjuguée à l’affectation de nouveaux crédits (5 millions de dollars) au cours de la première année pour les travaux et activités de première ligne à l’appui des populations cibles ont imposé un fardeau au personnel en place pour réaliser les objectifs de soutenir et de renforcer les activités courantes. Des ressources pour l’ajout de personnel ont été accordées dans la deuxième année (2005-2006). Les retards dans la dotation de ces nouveaux postes ont reporté le début des nouvelles activités, y compris l’implémentation complète du système de mesure et de gestion du rendement, ce qui a eu des conséquences qui seront abordées dans la discussion de la stratégie de gestion du rendement. Les compressions imposées au financement de l’Initiative fédérale en 2007-2008 ont aussi touché des postes de soutien de l’évaluation et de rédaction de rapports, dont la présente étude. Par exemple, le poste prévu de coordonnateur panrégional de la responsabilisation sur le VIH/sida (PACS) à l’ASPC n’a pas été comblé et le travail est réparti entre les évaluateurs régionaux en poste.

Suivi financier non homogène. Les fonds de l’Initiative fédérale ont été répartis par domaines d’action. Les dépenses des programmes sont rapportées en fonction des salaires, des opérations et de la gestion (O et G) et des subventions et contributions (S et C) et par domaine d’action, mais les dépenses ne sont pas toujours déclarées selon le domaine d’action par l’intermédiaire duquel les fonds ont été reçus. Ce manque d’homogénéité des rapports a limité la capacité d’établir des liens entre les investissements et les éléments du modèle logique de l’Initiative fédérale.

Absence de données de base. Un autre obstacle a été le manque de données de base permettant de mesurer et d’illustrer les progrès des programmes. Sans données de base ou l’identification de pratiques exemplaires, il est extrêmement difficile de mesurer les améliorations apportées aux programmes.

Détails de la page

Date de modification :