Évaluation du programme de gestion et d'utilisation des ressources en eau : chapitre 11
Annexe 2Méthodologie de l’évaluation
Examen de la documentation
On a examiné les documents portant sur la participation d’EC aux conseils de gestion de l’eau, puis on en a cerné et synthétisé les principaux points pertinents pour les questions d’évaluation. Les documents examinés comprenaient notamment :
- l’évaluation de 2013 du programme des services et relevés hydrologiques et les récentes vérifications du CEDD portant sur les services de surveillance de l’eau;
- les plans de travail, les budgets et les présentations relatives aux rapports du programme;
- les présentations donnant un aperçu général du programme ou les documents stratégiques de celui-ci;
- les ordres du jour et les comptes rendus de décisions des réunions du Comité sur l’eau d’EC, y compris les présentations et documents pertinents;
- les accords conclus avec des partenaires provinciaux et territoriaux et la CMI;
- les sites Web des divers conseils de gestion de l’eau et de la CMI;
- les documents de politiques et les textes législatifs;
- les rapports annuels sur la Loi sur les ressources en eau du Canada;
- les rapports annuels sur la Loi sur les ouvrages destinés à l’amélioration des cours d’eau internationaux;
- les Rapports ministériels sur le rendement et les Rapports sur les plans et les priorités;
- les discours du Trône et les documents relatifs au budget fédéral.
On a ensuite préparé une fiche de travail récapitulative afin d’organiser les principaux points pertinents pour les questions d’évaluation qui ont été relevés dans les documents, de faire des recoupements et de cerner les enjeux devant faire l’objet d’un suivi lors des entrevues avec les intervenants clés. Des documents supplémentaires ont également été repérés, puis examinés au fil du déroulement de l’évaluation, plus particulièrement à la suite des entrevues avec les intervenants clés.
Sondage en ligne auprès des membres externes des conseils de gestion de l’eau et des conseillers de la CMI
L’évaluation prévoyait la réalisation d’un sondage en ligne auprès des membres des conseils ne relevant pas d’EC, ainsi que des agents de liaison œuvrant au sein des conseils de la CMI. Envoyé à tous les membres actuels ne relevant pas d’EC qui siègent aux conseils nationaux et internationaux de gestion de l’eau et aux conseillers en ingénierie et aux agents de liaison des conseils de la CMI, le questionnaire du sondage a été conçu pour recueillir les commentaires sur l’efficience et l’efficacité des services de secrétariat fournis par EC et le rendement du Ministère relativement à sa participation aux conseils et comités. Le sondage portait principalement sur les trois dernières années, de façon à accorder davantage d’importance aux plus récentes années incluses dans la période ciblée et à alléger le fardeau des répondants. Le sondage visait également à recueillir des données sur le rendement ayant trait à l’indicateur de satisfaction des clients établis dans le Cadre de mesure du rendement pour 2013-2014, tel que mentionné à la section 2.5. Au moment de l’élaboration du questionnaire, le sondage récemment mené auprès de la Table nationale des administrateurs (pour le compte des Relevés hydrologiques du Canada) a été passé en revue de manière à cerner toute question qu’il serait pertinent de poser dans le cadre de l’évaluation. L’échantillon de répondants, y compris leurs coordonnées, a été établi à partir des listes des membres des conseils, qui sont affichées sur les sites Web respectifs de ces conseils. On a ensuite analysé, puis trié l’échantillon afin d’identifier toute personne siégeant à plus d’un conseil, une possibilité dont le questionnaire tenait compte en demandant aux participants de fournir des réponses distinctes pour chacun des conseils dont ils sont membres, jusqu’à concurrence de trois conseils. Dans l’éventualité qu’un même répondant siège à plus de trois conseils, le questionnaire a été conçu de manière à sélectionner trois de ces conseils au hasard.
Au cours de la phase de conception, on s’est efforcé de limiter la longueur du questionnaire en y incluant seulement les questions importantes pour les enjeux d’évaluation. Il importait de minimiser le fardeau des répondants de manière à maximiser le taux de réponse et parce qu’un petit sous-ensemble des répondants ont également été sollicités pour participer à des entrevues de suivi. Le sondage en ligne a été mené avant les entrevues avec les intervenants clés, de sorte que les enjeux cernés dans le sondage puissent être abordés plus en profondeur à l’occasion des entrevues.
Entrevues avec des intervenants clés
Les entrevues approfondies menées auprès d’intervenants clés ont permis de recueillir des opinions et des observations éclairées à propos des questions d’évaluation, ainsi que de faciliter l’interprétation et la compréhension des données qualitatives et quantitatives recueillies grâce aux autres méthodes d’évaluation.
Au total, 31 entrevues ont été réalisées, dont un peu plus de la moitié avec des intervenants internes (c.-à-d., des employés d’EC) et le reste, avec des intervenants externes. Permettant de connaître les perspectives des répondants sur toutes les questions d’évaluation, ces entrevues portaient plus particulièrement sur les questions relatives à l’atteinte des résultats, l’efficience et l’économie. Les catégories de répondants et le nombre estimatif d’entrevues menées dans chaque catégorie sont décrits ci-dessous.
- Cadres supérieurs d’EC (DG, DGR, SMA) : n = 3.
- Gestionnaires de programmes d’EC, personnel affecté à la prestation des services de secrétariat et de soutien aux conseils et employés siégeant aux conseils : n = 17.
- Cette catégorie comprend des personnes des différentes directions générales qui participent à ce volet du travail du Ministère, des personnes qui œuvrent auprès des conseils nationaux et internationaux, ainsi que des personnes qui agissent à titre de présidents, de coprésidents ou de membres actifs des conseils ou des comités ou groupes de travail connexes.
- Membres externes des conseils de gestion de l’eau : n = 7.
- Cette catégorie comprend les membres externes des conseils nationaux et internationaux qui représentent le secteur privé et diverses instances gouvernementales, p. ex., le Army Corps of Engineers des États-Unis, les représentants des gouvernements provinciaux, les sociétés d’électricité et d’autres ministères du gouvernement fédéral. Les entrevues menées auprès de ces membres ont permis de compléter les données recueillies dans le cadre du sondage décrit précédemment.
- Représentants et personnel de la CMI : n = 4.
Cette catégorie comprend des secrétaires et des conseillers techniques (3 Canadiens et 1 Américain).
Un guide d’entrevue personnalisé a été élaboré pour chaque catégorie de répondants. Comme plusieurs des employés d’EC interrogés relevaient des catégories des membres de conseils et des gestionnaires de programmes, un seul guide d’entrevue a été conçu pour ces deux types de répondants. Les questions ont été posées ou omises, au besoin, selon le rôle de chaque répondant et son expérience au sein du programme de GURE. Les personnes interrogées ont reçu à l’avance un exemplaire du guide d’entrevue, ce qui leur a permis de passer les questions en revue et de réfléchir à leurs réponses. Aux fins d’analyse, les notes prises au cours des entrevues ont été classées en fonction des questions, des enjeux d’évaluation et des catégories de répondants, ce qui a facilité l’identification de tendances et de thèmes récurrents dans les réponses, ainsi que de toute similarité ou différence notable dans les attitudes et les opinions des différents sous-groupes de répondants.
Détails de la page
- Date de modification :