3. Conception de l’évaluation

3.1. But et portée

L’évaluation a été réalisée conformément aux exigences de la Loi sur la gestion des finances publiques et de la Politique sur l’évaluation du Conseil du Trésor, selon lesquelles les dépenses de tous les programmes courants de subventions et contributions (S et C) et de tous les programmes directs doivent être évaluées au moins une fois tous les cinq ans.

L’évaluation a d’abord porté sur la période de cinq ans allant de 2010–2011 à 2014–2015, mais une mise à jour a été faite à l’aide des données récentes disponibles pour les exercices 2015–2016 et 2016–2017. La portée de l’évaluation englobe les activités d’ECCC liées à la surveillance de la qualité de l’eau, les activités de recherche et le soutien aux laboratoires, notamment les activités qui obtiennent une aide sous forme de S et C. Les activités suivantes ont été exclues de la portée de l’évaluation :

• les activités liées au cadre de recherche sur l’adaptation aux changements climatiques, parce que ces travaux sont évalués dans le contexte de l’évaluation du thème Adaptation du Programme sur la qualité de l’air;
• les activités d’ECCC liées à l’hébergement et au soutien du GEMS du PNUE, parce qu’elles sont terminées et que la direction n’a pas déterminé la nécessité d’évaluer les « leçons apprises » de ces travaux;
• les activités transférées du sous-programme 1.2.1 en 2015–2016 et qui sont au cœur d’autres évaluations particulières (p. ex., le Programme des Grands Lacs, l’Initiative du bassin du lac Winnipeg et le Programme du Saint-Laurent).

De plus, les activités liées à la surveillance des sables bitumineux ont reçu une importance limitée dans l’évaluation, puisqu’elles ont été examinées récemment par la commissaire à l’environnement et au développement durable (CEDD)^{Note de bas de page 9} et le Conseil d’experts sur l’évaluation de l’intégrité scientifique du programme conjoint Canada-Alberta pour la surveillance visant les sables bitumineux^{Note de bas de page 10}.

3.2. Approche et méthodologie de l’évaluation

On a utilisé les méthodes suivantes pour recueillir les données probantes destinées à l’évaluation.

Examen de la documentation. La documentation pertinente sur la gestion, l’exécution et les résultats des principales activités inhérentes à la qualité de l’eau et à la santé des écosystèmes aquatiques a été examinée et les grands points liés aux questions de l’évaluation ont été déterminés et résumés. Cela comprend les documents fondamentaux, les évaluations précédentes et la vérification des composantes du programme, les ententes avec des partenaires, les documents de politique, les stratégies, les plans de travail, les rapports sur le rendement et d’autres documents stratégiques.

Analyse bibliométrique. Une analyse des publications du programme ayant trait à la qualité de l’eau et à la santé des écosystèmes aquatiques a été menée aux fins d’évaluation de la productivité et de l’harmonisation avec les principales activités visées par le programme. Étant donné que les scientifiques de la DSTE sont des membres actifs de la communauté scientifique plus large, la collaboration et les liens à l’échelle nationale et au niveau international ont également été évalués à titre d’indicateurs de l’effet. L’analyse bibliométrique a porté sur des publications spéciales de 2010 à 2014 et fournit une analyse des données brutes par année, du nombre d’auteurs, du nombre de revues spéciales, de la diversité des établissements et des collaborations externes.

Examen des dossiers de S et C^{Note de bas de page 11}. Un échantillon de 17 dossiers de 40 projets de S et C qui ont été financés entre 2010 et 2014 a été examiné. Cet échantillon comprenait : des ententes annuelles et pluriannuelles; une multitude de catégories de recherche; une foule d’instituts de recherche et d’universités bénéficiaires de toutes les régions du Canada; ainsi qu’un éventail de montants de financement. Cette méthode de collecte des données a permis de répondre aux questions de l’évaluation portant sur les résultats attendus, le caractère approprié de la conception, l’efficacité et les données sur le rendement.

Entrevues avec des personnes clés. Au total, on a réalisé 41 entrevues avec des représentants du programme, des partenaires provinciaux et territoriaux ainsi que d’autres intervenants externes afin d’obtenir un éventail de points de vue. La ventilation des entrevues par catégorie de répondants est présentée au tableau 2.

Études de cas. La réalisation de deux études de cas a fourni des renseignements supplémentaires en vue de l’évaluation. Il s’agit des suivantes :

• le projet pilote sur la mise en œuvre de l’outil de l’approche axée sur le risque (AR) (analyse de puissance) portant sur les données sur la qualité de l’eau du REPP – cette étude de cas a permis d’examiner le projet pilote de 2011–2012 qui a cherché à savoir dans quelle mesure les stratégies d’échantillonnage actuelles dans le bassin hydrographique pouvaient déceler les tendances à long terme et offrir des stratégies de surveillance optimisées;
• l’approche de « réseau de réseaux » du RCBA pour le partage des données et la collaboration entre organismes – cette étude de cas a permis d’examiner l’utilisation du RCBA pour la collaboration et l’échange de données entre intervenants.

La méthode adoptée pendant les études de cas comprenait des entrevues ciblées avec cinq représentants d’ECCC et trois intervenants externes, ainsi que l’examen de la documentation pertinente.

3.3. Défis et limites

Les défis survenus pendant l’évaluation, ainsi que les limites afférentes et les stratégies utilisées pour atténuer leur incidence, sont décrits ci-dessous :

• le programme a subi une transition importante pendant l’évaluation, ce qui a été un défi lors de l’évaluation de son rendement au fil du temps^{Note de bas de page 12} – pour relever ce défi, les intervieweurs ont reçu une formation qui leur a permis d’obtenir des éclaircissements sur l’échéancier applicable aux commentaires des personnes interviewées; par ailleurs, les constatations ont été présentées de manière à tenir compte des changements qui sont survenus et à se concentrer sur les plus récents résultats et activités du programme;
• puisque ce programme est étroitement interrelié avec de nombreux autres programmes et qu’il joue un rôle de soutien à leur égard, il est difficile d’en attribuer les répercussions uniquement à ce programme – les évaluateurs ont admis qu’il existait une interdépendance entre les divers programmes et ils ont essayé de définir clairement les constatations et les liens pertinents, dans la mesure du possible; ils ont insisté sur l’examen de la contribution du programme à l’atteinte générale des résultats prévus au lieu de lui attribuer la réalisation de ces résultats.