Évaluation des Services et relevés hydrologiques : chapitre 4

3.0 Conception de l’évaluation

3.1 Objectif et portée

L'évaluation a évalué la pertinence et le rendement (efficacité, efficience et économie) du programme des Services et relevés hydrologiques sur cinq ans, notamment de 2008-2009 à 2012-2013. Une évaluation du programme des Services et relevés hydrologiques fait partie du Plan de vérification et d'évaluation axé sur les risques de 2012 d'Environnement Canada, qui a été approuvé par le sous-ministre. Elle a été menée afin de répondre aux exigences en matière de portée de la Politique sur l'évaluation du Conseil du Trésor du Canada, qui exige que toutes les dépenses de programme directes soient évaluées au moins une fois tous les cinq ans.

L'évaluation était principalement axée sur le programme des Services et relevés hydrologiques dans le contexte de la Division des relevés hydrologiques du Canada en tant qu'organisation nationale unique responsable de la collecte, de l'interprétation et de la diffusion de données hydrométriques au nom d'Environnement Canada, d'Affaires autochtones et Développement du Nord Canada et des gouvernements partenaires provinciaux et territoriaux participant au Programme hydrométrique national. Ces opérations de la Division des relevés hydrologiques du Canada sont conjointement financées par Environnement Canada et par des partenaires fédéraux, provinciaux et territoriaux. La portée incluait également le rôle de la Division des relevés hydrologiques du Canada dans la gouvernance du Programme hydrométrique national, mais elle excluait une évaluation détaillée de la gestion du Programme hydrométrique national exécuté principalement dans des compétences provinciales et territoriales. L'évaluation suit deux vérifications récentes : la Surveillance des ressources en eau (septembre 2010) menée par le commissaire à l'environnement et au développement durable (CEDD), et la Vérification du Programme hydrométrique national (mars 2010) menée par la Direction de la vérification interne, Direction générale de la vérification et de l'évaluation d'Environnement Canada. L'évaluation a pris en compte les constatations de ces vérifications afin d'éviter le dédoublement des activités de collecte de données et de minimiser le fardeau pour les répondants. Les neuf questions d'évaluation examinées ainsi que des indicateurs et des sources de données connexes sont présentés à l'annexe 1.

3.2 Approche d’évaluation et méthodologie

La collecte et l'analyse de données pour l'évaluation incluaient :

• Examen de documents : Un examen de la documentation liée à la pertinence et au rendement (efficacité, efficience et économie) du programme des Services et relevés hydrologiques, basé sur les documents contenus dans deux rapports de vérification antérieurs publiés par la Direction de la vérification interne, Direction générale de la vérification et de l'évaluation d'Environnement Canada et le Commissaire à l'environnement et au développement durable (CEED) en 2010. Les documents comprenaient des rapports annuels sur la Loi sur les ressources en eau du Canada, des rapports de planification et de rendement ministériels, des données financières, et une quantité limitée de données de rendement extraites de bases de données du programme, en plus des deux rapports de vérifications de 2010. L'examen des documents abordait les neuf questions d'évaluation.
• Analyse documentaire : Ouvrages publiés et littérature grise sur la justification, les avantages, la prestation des programmes hydrométriques par le secteur public, et la conception de programmes comparables dans d'autres territoires de compétence sélectionnés. L'analyse documentaire portait sur des aspects de la pertinence, de la conception et de l'efficacité du programme (questions d'évaluation 1, 3, 4 et 8).
• Entrevues avec des répondants clés : Au total, 50 entrevues individuelles et 4 entrevues conjointes ont été menées, incluant 58 participants, notamment :
  • des gestionnaires de programmes et du personnel des bureaux nationaux et régionaux d'Environnement Canada (15 entrevues avec 16 participants);
  • des partenaires du programme représentant des gouvernements provinciaux et territoriaux et Affaires autochtones et Développement du Nord Canada (11 entrevues avec 13 participants);
  • des représentants d'organismes de services hydrologiques aux États-Unis, en Australie et en Nouvelle-Zélande (3 entrevues avec 3 participants);
  • un échantillon d'utilisateurs secondaires de données hydrométriques de la Division des relevés hydrologiques du Canada (25 entrevues avec 26 participants) des secteurs public et privé).

  Les participants potentiels à ces entrevues ont été choisis sur la base de suggestions de gestionnaires de la Division des relevés hydrologiques du Canada ainsi que d'autres candidats proposés par les répondants eux-mêmes. Cette méthode de collecte de données prenait en compte les neuf questions d'évaluation, sauf pour les entrevues d'utilisateurs, qui étaient axées sur la pertinence et la conception du programme ainsi que les résultats attendus (questions d'évaluation 1 à 4, et 6). Les guides d'entrevue ont été personnalisés pour chaque type de participant et basés sur un ensemble de questions de référence.^{Note de bas de page9} Des entrevues ont été menées par téléphone ou, dans certains cas, en personne, et elles duraient entre 45 et 90 minutes. L'analyse quantitative des constatations des entrevues a été menée.^{Note de bas de page10}

• Analyse et production de rapports :Les constatations de chaque champ d'enquête étaient examinées et intégrées, et les renseignements liés à chaque question d'évaluation ont été compilés dans une synthèse. Cette synthèse utilisait un processus de triangulation dans lequel les constatations de chaque champ d'enquête ont été mises en correspondance avec chaque question d'évaluation et comparées afin de définir les points communs, les domaines affichant des constatations et des opinions divergentes, et les raisons possibles de ces variations.

3.3 Limites

Les entrevues de répondants clés constituaient la principale source de renseignements sur l'efficience et l'efficacité du programme. Même si le programme et les échantillons de partenaires étaient généralement représentatifs des populations associées, il est possible que l'échantillon d'utilisateurs n'était pas représentatif du mélange global et de la distribution de différents types d'utilisateurs secondaires. Cela était dû au manque de renseignements du programme sur les utilisateurs et au manque de données publiées ou de répertoires d'utilisateurs potentiels. Cependant, les réponses présentaient un haut degré d'uniformité et peuvent être considérées comme représentatives.