Évaluation du programme de gestion et d'utilisation des ressources en eau : chapitre 6

3. Conception de l’évaluation

3.1 Objet et portée

Ayant pour objectif de mesurer la pertinence et le rendement du programme de GURE, la présente évaluation était prévue au Plan de vérification et d’évaluation axé sur les risques de 2013, qui a été approuvé par le sous-ministre. Elle a été menée afin de répondre aux exigences de la Politique sur l’évaluation de 2009 du Conseil du Trésor, qui exige que toutes les dépenses de programme directes, à l’exclusion des subventions et des contributions, soient évaluées tous les cinq ans^{Note 20}.

L’évaluation porte sur une période de cinq ans, soit de l’exercice 2009-2010 à l’exercice 2013-2014. Ont toutefois été exclues toutes les activités qui n’étaient plus financées en 2013-2014. Les activités suivantes ont donc été exclues de la portée de l’évaluation :

• les activités de promotion précédemment menées par la DGIE relativement à la gestion de la conservation de l’eau et de la demande en eau qui ont été abandonnées en 2012-2013;
• les activités liées à l’hébergement et au soutien du programme de l’eau du GEMS du PNUE, qui se sont terminées à la fin de 2013-2014 et pour lesquelles la direction n’a demandé aucune évaluation des « leçons tirées »;
• les subventions et contributions dont la responsabilité a été transférée à un autre programme (p. ex., Fonds du lac Winnipeg).

L’évaluation met principalement l’accent sur les activités d’EC qui ont trait aux conseils de gestion de l’eau, bien qu’il convienne de noter qu’elle ne porte pas sur les conseils eux-mêmes. Toutefois, dans les cas où il a été impossible de faire la distinction entre les activités d’EC et les travaux des conseils auxquels le Ministère participe, le rendement de ces conseils a également été examiné, le cas échéant.

Dans une moindre mesure, l’évaluation portait également sur les activités d’EC qui sont liées à l’application de la Loi sur les ouvrages destinés à l’amélioration des cours d’eau internationaux (LOACEI). Cet intérêt limité pour les activités concernant la LOACEI a été jugé approprié étant donné le caractère peu significatif du travail d’EC dans ce domaine^{Note 21}, ainsi que la surveillance et la reddition de comptes périodiques dont cet aspect fait l’objet aux fins de la préparation des rapports annuels qui sont mis à la disposition du public.

3.2    Approche et méthodologie de l’évaluation

La méthodologie et le niveau d’effort déployés pour cette évaluation ont été déterminés au moyen d’une approche fondée sur le risque. Les méthodes de collecte de données ci-dessous ont été établies de manière à répondre adéquatement à toutes les questions et à tous les enjeux de l’évaluation. Les preuves ainsi recueillies ont ensuite été analysées de manière à élaborer les constatations et conclusions générales de l’évaluation^{Note 22}.

• Examen de la documentation.
• Sondage en ligne auprès de membres externes des conseils de gestion de l’eau et de conseillers de la CMI :
  • les données ont été recueillies du 17 mars au 4 avril 2014;
  • des invitations à participer au sondage ont été envoyées à 130 intervenants de l’extérieur d’EC, dont 51 ont répondu au sondage, ce qui représente un taux de réponse de 39,2 %;
  • comme plusieurs de ces 51 répondants ont donné des réponses concernant plus d’un conseil de gestion de l’eau, 91 réponses portant sur des conseils particuliers ont été reçues.
• Entrevues avec des intervenants clés :
  • des entrevues approfondies ont été menées auprès de 31 intervenants clés, y compris 20 intervenants internes (cadres supérieurs et gestionnaires de programmes d’EC) et 11 intervenants externes (membres de conseils ne relevant pas d’EC et représentants de la CMI).

L’annexe 2 fournit une description détaillée de ces méthodes de collecte de données.

3.3    Limites

Chaque conseil de gestion de l’eau comporte des représentants de groupes nationaux et internationaux, assume un mandat qui lui est propre et examine des enjeux distincts. En outre, comme presque toutes les directions générales du Ministère participent d’une façon ou d’une autre à l’exécution des activités du programme, le rôle et les engagements d’EC varient également d’un conseil à l’autre. Cette situation a compliqué la réalisation de l’évaluation, car il a fallu veiller à ce que l’ensemble des points de vue et des contextes pertinents soient pris en compte, tout en s’assurant de brosser un tableau d’ensemble du programme.

De façon à relever ce défi et à réduire au minimum les limites qui pourraient en résulter, le comité qui a été mis sur pied pour encadrer l’évaluation était constitué d’un échantillon représentatif de groupes organisationnels, de conseils et de rôles. On a également maintenu une telle diversité dans le cadre de la collecte de données, au moment de constituer les échantillons aux fins des entrevues avec les intervenants clés et du sondage. Enfin, le présent rapport fait la distinction entre les différents contextes lorsque la situation l’exige, tout en s’efforçant de présenter un portrait global du programme.