Évaluation du programme de gestion et d'utilisation des ressources en eau : chapitre 11


Annexe 2Méthodologie de l’évaluation

Examen de la documentation

On a examiné les documents portant sur la participation d’EC aux conseils de gestion de l’eau, puis on en a cerné et synthétisé les principaux points pertinents pour les questions d’évaluation. Les documents examinés comprenaient notamment :

On a ensuite préparé une fiche de travail récapitulative afin d’organiser les principaux points pertinents pour les questions d’évaluation qui ont été relevés dans les documents, de faire des recoupements et de cerner les enjeux devant faire l’objet d’un suivi lors des entrevues avec les intervenants clés. Des documents supplémentaires ont également été repérés, puis examinés au fil du déroulement de l’évaluation, plus particulièrement à la suite des entrevues avec les intervenants clés.

Sondage en ligne auprès des membres externes des conseils de gestion de l’eau et des conseillers de la CMI

L’évaluation prévoyait la réalisation d’un sondage en ligne auprès des membres des conseils ne relevant pas d’EC, ainsi que des agents de liaison œuvrant au sein des conseils de la CMI. Envoyé à tous les membres actuels ne relevant pas d’EC qui siègent aux conseils nationaux et internationaux de gestion de l’eau et aux conseillers en ingénierie et aux agents de liaison des conseils de la CMI, le questionnaire du sondage a été conçu pour recueillir les commentaires sur l’efficience et l’efficacité des services de secrétariat fournis par EC et le rendement du Ministère relativement à sa participation aux conseils et comités. Le sondage portait principalement sur les trois dernières années, de façon à accorder davantage d’importance aux plus récentes années incluses dans la période ciblée et à alléger le fardeau des répondants. Le sondage visait également à recueillir des données sur le rendement ayant trait à l’indicateur de satisfaction des clients établis dans le Cadre de mesure du rendement pour 2013-2014, tel que mentionné à la section 2.5. Au moment de l’élaboration du questionnaire, le sondage récemment mené auprès de la Table nationale des administrateurs (pour le compte des Relevés hydrologiques du Canada) a été passé en revue de manière à cerner toute question qu’il serait pertinent de poser dans le cadre de l’évaluation. L’échantillon de répondants, y compris leurs coordonnées, a été établi à partir des listes des membres des conseils, qui sont affichées sur les sites Web respectifs de ces conseils. On a ensuite analysé, puis trié l’échantillon afin d’identifier toute personne siégeant à plus d’un conseil, une possibilité dont le questionnaire tenait compte en demandant aux participants de fournir des réponses distinctes pour chacun des conseils dont ils sont membres, jusqu’à concurrence de trois conseils. Dans l’éventualité qu’un même répondant siège à plus de trois conseils, le questionnaire a été conçu de manière à sélectionner trois de ces conseils au hasard.

Au cours de la phase de conception, on s’est efforcé de limiter la longueur du questionnaire en y incluant seulement les questions importantes pour les enjeux d’évaluation. Il importait de minimiser le fardeau des répondants de manière à maximiser le taux de réponse et parce qu’un petit sous-ensemble des répondants ont également été sollicités pour participer à des entrevues de suivi. Le sondage en ligne a été mené avant les entrevues avec les intervenants clés, de sorte que les enjeux cernés dans le sondage puissent être abordés plus en profondeur à l’occasion des entrevues.

Entrevues avec des intervenants clés

Les entrevues approfondies menées auprès d’intervenants clés ont permis de recueillir des opinions et des observations éclairées à propos des questions d’évaluation, ainsi que de faciliter l’interprétation et la compréhension des données qualitatives et quantitatives recueillies grâce aux autres méthodes d’évaluation.

Au total, 31 entrevues ont été réalisées, dont un peu plus de la moitié avec des intervenants internes (c.-à-d., des employés d’EC) et le reste, avec des intervenants externes. Permettant de connaître les perspectives des répondants sur toutes les questions d’évaluation, ces entrevues portaient plus particulièrement sur les questions relatives à l’atteinte des résultats, l’efficience et l’économie. Les catégories de répondants et le nombre estimatif d’entrevues menées dans chaque catégorie sont décrits ci-dessous.

Un guide d’entrevue personnalisé a été élaboré pour chaque catégorie de répondants. Comme plusieurs des employés d’EC interrogés relevaient des catégories des membres de conseils et des gestionnaires de programmes, un seul guide d’entrevue a été conçu pour ces deux types de répondants. Les questions ont été posées ou omises, au besoin, selon le rôle de chaque répondant et son expérience au sein du programme de GURE. Les personnes interrogées ont reçu à l’avance un exemplaire du guide d’entrevue, ce qui leur a permis de passer les questions en revue et de réfléchir à leurs réponses. Aux fins d’analyse, les notes prises au cours des entrevues ont été classées en fonction des questions, des enjeux d’évaluation et des catégories de répondants, ce qui a facilité l’identification de tendances et de thèmes récurrents dans les réponses, ainsi que de toute similarité ou différence notable dans les attitudes et les opinions des différents sous-groupes de répondants.

Détails de la page

Date de modification :