Annexe C – Précisions sur la méthode d’évaluation

Nous décrivons ci-après les méthodes de recherche^{Note de bas de page 1} utilisées pour recueillir des données probantes aux fins de l’évaluation.

Examen de la documentation et des publications

Nous avons étudié la documentation et les publications afin de recueillir des données probantes pour mieux répondre à chacune des questions d’évaluation. Il a fallu examiner la documentation et les rapports du programme, par exemple les rapports sur les indicateurs environnementaux de l’état des Grands Lacs, les mises à jour des plans d’action et d’aménagement panlacustres et les rapports d’étape de l’ACO. De plus, nous avons aussi examiné les documents appropriés des ministères et du gouvernement fédéral, notamment le Rapport sur les plans et priorités (RPP) d’ECCC et les Rapports ministériels sur le rendement (RMR); les évaluations antérieures, les discours du Trône et les budgets fédéraux. Nous avons étudié certaines publications portant sur des études pertinentes liées aux besoins courants du programme et certains aspects de l’analyse de l’efficacité. Les preuves ont été résumées dans un gabarit, en fonction de chaque question d’évaluation.

Examen des données financières et de rendement

Nous avons examiné les données financières et de rendement et celles des projets afin de mieux analyser les questions d’évaluation liées à l’efficacité/à l’économie et à l’efficience du programme. À ce titre, nous avons examiné les renseignements financiers (afin de discerner toute lacune entre les budgets et les dépenses, ainsi que les coûts administratifs liés aux décaissements des S et C) et les données de rendement disponibles dans les mises à jour, les rapports d’étape, les RMR et la base de données de l’ACO 2007-2012.

Examen des dossiers de projet de subventions et contributions

Dans ce volet de la méthode, nous avons examiné un échantillon de 40 dossiers de projets. Tous étaient subventionnés au titre du Fonds de durabilité des Grands Lacs (FDGL) dans le cadre du Plan d’action des Grands Lacs (PAGL). Nous avons fait un examen des formulaires d’approbation, des accords de contribution, des rapports d’activités de projet, des dossiers financiers (p. ex. demandes de paiement, états des flux de trésorerie, comptabilité des dépenses des bénéficiaires), rapports annuels ou provisoires et rapports finaux de projets. Les données recueillies dans les dossiers de projets ont été consignées dans un gabarit normalisé d’examen de dossier.

Au cours de la période d’évaluation, 167 projets subventionnés ont été terminés. Nous avons sélectionné un échantillon aléatoire de projets terminés, stratifiés par critères comme la valeur en dollars du financement par contribution et l’exercice où le financement a commencé, de façon à englober dans l’examen un nombre représentatif de types de projets différents.

Entrevues auprès des informateurs clés

Pour obtenir de la rétroaction sur toutes les questions d’évaluation, nous avons mené des entrevues en profondeur auprès d’informateurs clés. À partir d’une liste brute de candidats à l’entrevue compilée avec l’aide des représentants du programme, nous avons sélectionné un nombre représentatif d’intervenants pertinents de types différents, tant internes qu’externes à ECCC. Au total, nous avons mené des entrevues auprès de 43 informateurs clés qui faisaient partie des catégories suivantes :

• Gestionnaires de programmes, fonctionnaires et partenaires internes d’ECCC (n=14)
• Partenaires fédéraux dans d’autres ministères (n=3)
• Partenaires au gouvernement provincial (n=4)
• Promoteurs de projets et candidats non subventionnés (n=12)
• Autres intervenants externes, notamment des représentants de la CMI, des offices de protection de la nature, des organisations des Premières Nations et des experts universitaires (n=10)

Nous avons conçu des guides d’entrevue assortis de questions à réponse libre pour chaque grand type d’informateurs clés. Nous avons effectué les entrevues par téléphone ou en personne (dans la Région de la Capitale nationale), et elles duraient de 45 à 90 minutes, selon le type de répondants. Les constatations d’entrevues ont été consignées dans des gabarits structurés en fonction de chaque question d’évaluation.

Études de cas

Nous avons exécuté des études de cas pour analyser en profondeur deux aspects particuliers du Programme des Grands Lacs :

1. mise en œuvre de l’Accord Canada-États-Unis relatif à la qualité de l’eau dans les Grands Lacs de 2012, en insistant sur l’efficacité de la structure de gouvernance et des processus, et
2. le processus scientifique par lequel les cibles de phosphore sont fixées pour le lac Ontario. La méthode, dans chaque étude de cas, comportait un petit nombre d’entrevues auprès d’intervenants et un examen de la documentation et des données, et enfin, la préparation d’un bref rapport.

Sondage en ligne auprès des intervenants

Nous avons mené un sondage en ligne afin d’obtenir des réponses quantifiables d’un grand groupe d’intervenants au-delà de ceux consultés dans le cadre des entrevues des informateurs clés. Nous avons préparé un questionnaire de sondage composé surtout de questions orientées, pour éclaircir un certain nombre de questions d’évaluation liées à la pertinence et au rendement. Tous les intervenants des listes fournies par le programme (sauf ceux consultés au cours des entrevues) ont reçu le questionnaire. Des 193 intervenants invités à participer, nous 108 ont répondu, soit un taux de réponse de 55,9 %^{Note de bas de page 2} . En ce qui a trait à certaines questions du sondage, par exemple celles concernant l’atteinte des résultats pour tel et tel programme, seul un sous-ensemble de ces intervenants a fourni des réponses (c.-à-d. ceux ayant une connaissance et une expérience suffisantes pour répondre, d’après leur rôle dans le cadre du Programme des Grands Lacs).

Les répondants au sondage étaient des représentants de divers comités liés au programme, notamment le Comité exécutif des Grands Lacs, le Comité de gestion de l’ACO, les sous-comités des annexes de l’AQEGL et les comités élargis, ainsi que les groupes de travail des AUB. Voici la répartition des 108 répondants :

• ECCC (n=16)
• Autres ministères fédéraux (n=13)
• Gouvernements provincial et régionaux (n=20)
• Gouvernement fédéral américain (n=12)
• Gouvernements d’États américains (n=18)
• Autres intervenants externes, par exemple ONG, organismes internationaux et organisations des Premières Nations (n=29)

Dans l’analyse des données du sondage, nous avons calculé les données statistiques globales par question et tabulations en croix afin d’évaluer les différences par types d’organismes d’intervenants.