3. Conception de l’évaluation

3.1. Portée

L’évaluation porte sur les questions pertinentes et de rendement (notamment l’efficacité, l’efficience et l’économie) du sous-programme des Grands Lacs et plus particulièrement les activités de programme découlant de l’INGL. Nous avons accordé moins d’efforts à l’évaluation du PAGL, car il avait été évalué antérieurement, tandis que l’évaluation du PASGL a été plus limitée et a porté sur les progrès à ce jour car, tel que mentionné, il était trop tôt pour en évaluer les résultats. L’évaluation répond aux exigences de la Loi sur la gestion des finances publiques et à la Politique du Conseil du Trésor du Canada sur l’évaluation, qui dispose qu’il faut évaluer tous les programmes courants de subventions et contributions et les dépenses directes des programmes au moins aux cinq ans.

L’évaluation a surtout porté sur la période quinquennale s’étendant de 2010-2011 à 2014-2015 et a également englobé certains renseignements à jour de 2015-2016. L’évaluation a tenu compte, tout en en tirant parti, des évaluations antérieures de la phase IV du Plan d’action des Grands Lacs (2010) et des programmes sur l’eau douce découlant du Plan d’action pour l’assainissement de l’eau (2011).

3.2. Approche et méthode d’évaluation

Nous décrivons brièvement ici les méthodes de recherche^{Note de bas de page 1} utilisées pour recueillir des données probantes aux fins de l’évaluation et les exposons plus en détail à l’annexe C.

Examen de la documentation et des publications : Nous avons examiné la documentation et les publications pour recueillir des éléments de preuve afin de mieux répondre à chacune des questions d’évaluation. Mentionnons à ce titre la documentation des programmes (p. ex. rapports sur l’état des Grands Lacs, rapports d’étape de l’ACO), les documents ministériels et gouvernementaux fédéraux (p. ex. rapports ministériels sur le rendement d’ECCC (RMR), les évaluations précédentes, les budgets fédéraux) et certaines publications de recherche.

Examen des données financières et de rendement : Nous avons examiné les données financières et les données de rendement disponibles pour faciliter la validation des questions d’évaluation concernant l’efficacité/l’économie du programme (p. ex., coûts administratifs associés au décaissement des S et C) et à leur efficacité.

Examen des dossiers de projet des subventions et contributions : Nous avons mené un examen des dossiers d’un échantillon aléatoire de 40 projets du PAGL terminés (sur un total de 167 projets terminés subventionnés dans la période évaluée).

Entrevues auprès d’informateurs clés : Afin d’obtenir de la rétroaction sur toutes les questions d’évaluation, nous avons effectué des entrevues en profondeur auprès d’un échantillon de 43 informateurs clés, notamment des représentants des divers types d’intervenants pertinents, internes et externes à ECCC.

Études de cas : Nous avons mené deux études de cas afin d’analyser deux aspects spécifiques du Programme des Grands Lacs : 1) mise en œuvre de l’Accord Canada-États-Unis de 2012 sur la qualité de l’eau des Grands Lacs, en insistant sur l’efficacité de la structure et des processus de gouvernance et 2) les processus scientifiques régissant l’établissement des cibles de phosphore pour le lac Érié.

Sondage en ligne auprès des intervenants : Nous avons mené un sondage en ligne afin d’obtenir des réponses quantifiables d’un grand groupe d’intervenants, en plus de ceux consultés dans le cadre des entrevues auprès des informateurs clés. Des 193 intervenants invités à participer, nous avons reçu des réponses de 108 d’entre eux, soit un taux de réponse de 56 %. Figuraient parmi les répondants au sondage des représentants de divers comités liés aux programmes, notamment le Comité exécutif des Grands Lacs, le Comité de gestion de l’ACO, les sous-comités des annexes de l’AQEGL et les sous-comités élargis, ainsi que les groupes de travail sur les AUB.

3.3. Difficultés et limites

Nous décrivons ci-dessous les difficultés rencontrées dans la tenue de l’évaluation, de même que les limites connexes et les stratégies retenues pour en atténuer les effets.

• Les renseignements sur la mesure du rendement étaient incomplets, car le sous-programme ne dispose actuellement pas d’une stratégie globale de mesure du rendement et des mécanismes correspondants de collecte des données pour chacun des secteurs de résultats analysés aux présentes. De plus, il était difficile d’obtenir des renseignements sur les résultats à partir des rapports finaux des projets subventionnés, au cours de l’examen des dossiers, car les rapports de projets portaient surtout sur les activités et les extrants. Pour ces motifs, l’information sur l’atteinte des résultats était incomplète. Dans la mesure du possible, les lacunes concernant les données probantes sur les résultats ont été comblées grâce aux données du Cadre de mesure du rendement du Ministère, d’autres renseignements de haut niveau sur le rendement (p. ex. dans les rapports touchant l’AQEGL et la CMI) et les données probantes obtenues d’autres sources, par exemple l’analyse documentaire et les entrevues auprès des informateurs clés.
• Là où la documentation et les données de rendement ne fournissaient pas de données probantes suffisantes, nous avons utilisé les observations des intervenants consultés dans les entrevues et le sondage. Il existe un risque de partialité découlant du choix des intervenants, étant donné qu’il n’a pas été possible d’interviewer chacun des intervenants pertinents. Ce risque a été atténué par les moyens suivants : choix soigné de l’échantillon de 80 personnes interviewées pour veiller à réunir tous les points de vue pertinents, tant à l’intérieur qu’à l’extérieur d’ECCC était adéquatement couvert par des répondants compétents de chaque groupe d’interviewés; en demandant aux interviewés de fournir des données probantes ou des exemples concrets appuyant les points de vue exprimés et en corroborant les conclusions de l’entrevue par des preuves fiables tirées de la documentation et des données, dans la mesure du possible. De la même façon, le sondage en ligne englobait un éventail de 108 intervenants pertinents représentant divers points de vue et le taux de réponse global, de 56 %, était élevé.
• Il était difficile de mesurer l’atteinte des résultats à long terme du Programme des Grands Lacs liés au rétablissement et à l’assainissement des lacs et des SP et pour évaluer la contribution du programme aux résultats observés. Les problèmes écologiques dans les Grands Lacs sont complexes et en constante évolution. Par conséquent, l’atténuation ou le rétablissement de nombre de ces secteurs se produira à long terme et subira l’influence de facteurs échappant au contrôle du programme. En l’absence de données empiriques ou de données de rendement à jour, les données probantes d’évaluations liées aux résultats à long terme du programme reposaient fortement sur des constatations qualitatives, par exemple les observations des informateurs clés et les opinions des répondants au sondage. Nous n’avons tiré aucune conclusion à partir d’une seule ligne de données probantes et toutes les preuves pertinentes pour chaque résultat ont été triangulées de façon à parvenir à une conclusion. Dans les cas où il n’y avait tout simplement pas suffisamment de preuves ou qu’il était prématuré de tirer une conclusion, nous le soulignons.