3. Conception de l’évaluation

3.1. Objet et portée

L’évaluation a été définie dans le Plan de vérification et d’évaluation axé sur les risques de 2015 du Ministère et a été menée afin d’éclairer les décisions futures relatives au financement du programme puisque le financement actuel prend fin en mars 2017. L’évaluation satisfait également aux exigences de la Loi sur la gestion des finances publiques et de la Politique sur l’évaluation de 2009 du Conseil du Trésor^{Footnote 1} , d’évaluer tous les programmes de subventions et de contributions en cours ainsi que les dépenses de programmes directes au moins une fois tous les cinq ans.

L’évaluation vise la période de 2012-2013 à 2015-2016, qui englobe quatre des cinq années de la deuxième phase de l’IBLW^{Footnote 2} . La portée de l’évaluation couvre les activités liées à chacun des trois piliers du programme : science (recherche, modélisation et surveillance), intendance et partenaires transfrontaliers.

L’évaluation reposait sur une évaluation antérieure de l’IBLW réalisée en 2011-2012, lorsque le programme constituait un volet des programmes sur l’eau douce dans le cadre du Plan d’action pour l’assainissement de l’eau^{Footnote 3} , ainsi que des évaluations récentes d’autres programmes de gestion de l’eau et sur l’eau douce d’ECCC. La commissaire à l’environnement et au développement durable (CEDD) n’a pas effectué de vérifications récemment, et ECCC n’a pas réalisé de vérifications internes directement pertinentes à la présente évaluation.

3.2. Approche et méthode d’évaluation

Les constations présentées dans ce document reposent sur cinq méthodes de collecte de données. Les données tirées de ces méthodes ont contribué aux constatations et aux conclusions^{Footnote 4} .

• Examen de documents : L’examen de documents réalisé comprenait des documents de base, des renseignements descriptifs sur le programme, les publications du Ministère et du gouvernement du Canada liées aux politiques et aux priorités, ainsi que d’autres documents internes stratégiques et opérationnels et des évaluations antérieures. Les données liées à la mesure du rendement du programme ont aussi été examinées.
• Examen des dossiers de S et C : Un examen de 29 rapports finaux des projets financés aux termes du FIBLW a été réalisé afin d’analyser les activités du projet, les extrants, les résultats et les leçons retenues. Les rapports des projets examinés englobaient tous les projets de la deuxième phase qui étaient terminés au 31 mars 2016.
• Entrevues auprès d’informateurs clés : Au total, 30 personnes ont été interrogées dans le cadre de l’évaluation. La ventilation des informateurs par catégorie de répondants est présentée ci-après :
• Représentants de programme internes et direction d’ECCC (n=10);
• Intervenants externes (n=20)^{Footnote 5} .
• Sondage en ligne mené auprès des demandeurs de financement aux termes du FIBLW : Un sondage en ligne a été mené auprès de toutes les organisations qui ont présenté une demande en vue d’obtenir du financement aux termes du FIBLW, y compris ceux qui ont reçu des fonds et ceux qui n’en ont pas reçus. Le sondage a recueilli les points de vue des demandeurs concernant la connaissance du programme, la satisfaction à l’égard des critères d’admissibilité et du processus de demande, les partenariats, l’exactitude et la pertinence de la production de rapports sur le rendement, l’incidence d’assurer ou non du financement aux termes du FIBLW, les répercussions continues du projet et la viabilité. Au total, 74 organisations ont été sollicitées par courriel pour répondre au sondage et 45 d’entre elles y ont répondu (taux de réponse de 61 %). Parmi les organisations qui ont répondu au sondage, 28 d’entre elles ont reçu des fonds et 17 n’en ont jamais reçus. Cette méthode de collecte des données répond aux questions de l’évaluation liées au rendement.
• Études de cas : Trois études de cas ont été entreprises pour donner une perspective supplémentaire liée à la pertinence et au rendement de l’IBLW, notamment :
  • le financement du LWRC pour l’exploitation du navire de recherche MV Namao;
  • le RIBLW;
  • une analyse comparative de l’IBLW et de trois autres programmes de financement sur l’eau douce d’ECCC.
  Les méthodes utilisées pour mener à bien les études de cas comprenaient un examen de documents et des entrevues auprès d’informateurs clés (n=1 ou 2 pour les études de cas du LWRC et du RIBLW). Les entrevues réalisées dans le cadre des études de cas ont été menées séparément et s’ajoutent aux entrevues auprès d’informateurs clés dont il a été fait mention précédemment.

3.3. Défis et limites

Les défis survenus pendant l’évaluation, ainsi que les limites afférentes et les stratégies utilisées pour atténuer leur incidence, sont décrits ci-dessous.

• Les problèmes de qualité de l’eau touchant le lac Winnipeg se sont développés au cours des dernières décennies et exigent des solutions à long terme. Même si la science a permis de mieux comprendre l’état du lac et les sources d’éléments nutritifs qui contribuent à la détérioration de la qualité de l’eau, les résultats escomptés, comme la réduction de l’ampleur et de la portée des algues bleues nocives et la restauration de l’intégrité écologique du lac Winnipeg, sont complexes et devraient seulement être mesurables à long terme, au-delà de la période d’évaluation. Le cas échéant, des mesures de substitution ont été utilisées pour évaluer les résultats intermédiaires et des facteurs externes clés qui ont une incidence sur l’obtention des résultats à plus long terme ont été ciblés.
• Les mesures de certains des résultats escomptés du programme, comme la réduction d’éléments nutritifs, ne sont pas précises à cause de la méthode de calcul utilisée et des défis associés à la mesure de la réduction des éléments nutritifs qui survient à la suite de mesures individuelles. De plus, les résultats escomptés liés à l’établissement d’objectifs visant les éléments nutritifs relèvent d’autres compétences et, par conséquent, sont hors du contrôle du programme. Ces enjeux ont été définis et expliqués dans les constatations, le cas échéant.
• L’invitation au sondage a été envoyée par courriel aux 74 organisations qui ont présenté une demande de financement aux termes du FIBLW, y compris ceux qui ont reçu des fonds et ceux qui n’en ont jamais reçu. Même si le taux de réponse raisonnable de 61 % a été atteint, le petit nombre total de sondages remplis limite l’analyse au-delà de la désagrégation des réponses des demandeurs qui ont obtenu du financement et qui n’en ont pas obtenu.

• Précédent
• Table des matières
• Suivant