Évaluation du programme sur les aires protégées : chapitre 6

3.0 Conception de l'évaluation

3.1 Objectif et portée

En vertu de la Politique sur l'évaluation (2009) du Conseil du Trésor, l'évaluation a examiné la pertinence (c.-à-d. la nécessité permanente, l'alignement sur les priorités gouvernementales et les rôles et responsabilités à l'échelle fédérale) et le rendement (c.-à-d. l'atteinte des résultats attendus, la démonstration de l'efficience et de l'économie) des activités du programme sur les aires protégées d'Environnement Canada^{Notes de bas de page12}, sur une période de cinq ans, entre 2008-2009 et 2012-2013.

Cette évaluation faisait partie du Plan de vérification et d'évaluation axé sur les risques de 2012 d'Environnement Canada. Elle répond aux exigences de la Loi sur la gestion des finances publiques (c.-à-d. évaluer 100 % des programmes de subventions et contributions en cours tous les cinq ans^{Notes de bas de page13}) et de la Politique sur l'évaluation (c.-à-d. évaluer 100 % des dépenses de programmes directes tous les cinq ans^{Notes de bas de page14}).

L'évaluation porte sur le programme global des aires protégées et sur le programme de subventions et contributions de l'Entente  sur les répercussions et les avantages pour les Inuits. Toutefois, elle exclut l'initiative Santé des océans, la stratégie des zones protégées des Territoires du Nord-Ouest et l'Association canadienne des réserves de la biosphère ^{Notes de bas de page15}. L'intégration de l'Entente  sur les répercussions et les avantages pour les Inuits à l'évaluation respecte les engagements propres à l'évaluation, définis à la création de cette entente.

3.2 Approche d'évaluation et méthodologie

La présente section décrit la méthodologie d'évaluation, qui a été équilibrée pour respecter le calendrier et les exigences budgétaires, ainsi que pour garantir la triangulation des constatations pour chaque question de l'évaluation, à travers plusieurs éléments de preuve. Les six méthodes principales suivantes ont été utilisées pour l'évaluation, et divisées entre :

• les sources de données principales, y compris les entrevues auprès de répondants clés et les études de cas;
• les sources de données secondaires, y compris un examen de documents, un examen des dossiers, une étude des données sur le rendement ou des données financières, ainsi qu'une revue de littérature.

Examen des principales sources de données

Entrevues avec des répondants clés

Les entrevues auprès de répondants clés ont généré des données qualitatives sur les points de vue et les expériences des intervenants internes et externes du programme sur les aires protégées. Des guides d'entrevues semi-structurés, en français et en anglais, ont été élaborés afin de refléter les expériences de chaque groupe de répondants; ils ont permis d'aborder tous les problèmes ou questions pertinents, présentés dans le cadre de l'évaluation. Grâce à cette approche semi-structurée, des renseignements similaires ont été recueillis auprès de tous les répondants. Ces derniers ont néanmoins pu fournir des renseignements ou leur opinion à propos de questions qui n'apparaissaient pas précisément dans le protocole des entrevues. Des entrevues ont été réalisées auprès de :

• trente-deux intervenants internes, qui ont joué un rôle important dans la conception et la prestation du programme sur les aires protégées, y compris la haute direction d'Environnement Canada, des gestionnaires de programme et des intervenants régionaux, notamment des responsables régionaux et le personnel chargé du programme^{Notes de bas de page16};
• neuf intervenants externes, qui connaissent le programme sur les aires protégées, y compris des organisations non gouvernementales/experts en la matière, des intervenants de l'Entente  sur les répercussions et les avantages pour les Inuits (notamment des représentants des Premières Nations) et des représentants issus d'instances internationales.

Études de cas

Des examens de site dans les aires protégées ont été effectués à l'aide d'une étude de cas multiples^{Notes de bas de page17}, qui a permis de recueillir des données qualitatives et quantitatives très détaillées, pour des réserves nationales de faune ou des refuges d'oiseaux migrateurs précis. Dans le cadre de la collecte des données pour les études de cas, des dossiers et données à l'échelle des sites ont été examinés et des entrevues ont été réalisées auprès de trois à cinq intervenants internes et externes, pour un total de 19 entrevues pour les cinq études de cas^{Notes de bas de page18}.

Pour sélectionner les études de cas, le personnel chargé du programme a dû procéder à la désignation initiale de dix sites candidats. Ce chiffre a été réduit à cinq sites, qui reflétaient la plus grande diversité possible, selon des critères tels que le type, la région, l'âge et la taille^{Notes de bas de page19}. En fonction de ces critères, les cinq sites suivants ont été examinés :

• quatre aires protégées (deux refuges d'oiseaux migrateurs et deux réserves nationales de faune), c.-à-d. Cap-Tourmente (Québec), la base des Forces canadiennes Suffield (Alberta), le lac de la Dernière-Montagne (Saskatchewan) et Long Point (Ontario);
• une réserve nationale de faune établie en vertu de l'Entente  sur les répercussions et les avantages pour les Inuits : Akpait, au Nunavut^{Notes de bas de page20}.

L'examen des dossiers à l'échelle des sites a nécessité l'analyse systématique de tous les documents, fichiers et données générés par chaque site depuis sa création; il a d'ailleurs fallu se concentrer sur les sources plus récentes, produites pendant la période d'évaluation de quatre ans. Ces renseignements ont été obtenus auprès des représentants du programme à Environnement Canada. Les études de cas ont été analysées afin de déterminer des tendances et des différences au sein des types de sites et entre eux, et d'aider à déterminer les leçons retenues.

Examen des sources de données secondaires

L'examen de documents, l'examen des dossiers, l'étude des données sur le rendement ou des données financières et la revue de littérature ont tous suivi des approches semblables. Pour chaque méthode, les membres du comité d'évaluation ont d'abord désigné un inventaire, par l'intermédiaire d'entrevues visant à établir la portée, et dans le cadre du travail sur le terrain de l'évaluation. Ces documents, dossiers et données financières ou de rendement ont été examinés systématiquement pour en extraire et analyser les renseignements pertinents pour toutes les questions de l'évaluation. Ces renseignements ont alors été intégrés par indicateur ou question d'évaluation dans un tableau regroupant les éléments probants.

Examen de documents

Cet examen s'est concentré sur l'analyse des renseignements contenus dans une large gamme de documents de politiques et de planification, tels que des lois et des règlements, des politiques et des procédures, de la documentation de programmes, des documents de l'Entente  sur les répercussions et les avantages pour les Inuits, des documents issus d'organisations non gouvernementales et de la documentation provenant d'autres sources. Vous trouverez une liste détaillée des documents examinés à l'annexe 2.

Examen des dossiers

Un échantillonnage des dossiers de 20 % des aires protégées a été réalisé. Des aires protégées ont été sélectionnées pour fournir un échantillon représentatif à travers plusieurs variables : type (réserve nationale de faune ou refuge d'oiseaux migrateurs); région; taille en hectares; et année d'établissement. Les sites apparaissant dans l'examen des dossiers sont présentés à l'annexe 3. L'examen des dossiers a pris en compte les accords de contribution, les rapports annuels ou les rapports d'étape liés à ces accords (y compris les dossiers financiers, le cas échéant), les plans de gestion et d'autres dossiers relatifs à des sites individuels, tels que des permis, des inventaires des espèces et des rapports de visites sur les lieux.

Données financières ou de rendement

Les données de rendement et les données financières ont été utilisées pour évaluer le rendement du programme sur les aires protégées et ses volets, notamment son efficacité (p. ex. l'atteinte des extrants et des résultats), la gestion du rendement et l'efficience (p. ex. la production d'extrants en lien avec les coûts, l'optimisation des subventions et contributions). Parmi les principales sources externes de données relatives au rendement et de données financières pertinentes, citons le Système de rapport et de suivi pour les aires de conservation (SRSAC), entretenu par le Conseil canadien des aires écologiques (CCAE), les Plans directeurs de conservation de Conservation de la nature Canada et les rapports de Nature Canada.

Revue de littérature et comparaison à l'échelle internationale

La revue de littérature a examiné les articles et revues stratégiques pertinents, ainsi que les stratégies, activités et résultats des aires protégées dans deux instances internationales comparables : les États-Unis et l'Australie. Ces pays ont été sélectionnés suite à une analyse initiale, qui a pris en compte les similitudes dans l'engagement fédéral/national (p. ex. le rôle, l'autorité, le modèle de gouvernance) envers les aires protégées; les considérations liées aux droits fonciers des Autochtones (p. ex. les accords, les lois/politiques); et les similitudes géographiques ou environnementales (p. ex. taille de l'aire, habitats importants pour les oiseaux ou les espèces sauvages) ^{Notes de bas de page21}. Les renseignements analysés pendant la revue de littérature et la comparaison à l'échelle internationale ont appuyé une évaluation des modèles de programmes de rechange et de l'efficience du programme sur les aires protégées; pour ce faire, les activités et les produits ont été comparés à ceux livrés par d'autres initiatives similaires.

3.3 Limites

La présente section trace les grandes lignes des difficultés rencontrées durant le processus d'évaluation, ainsi que les limites et stratégies inhérentes adoptées pour atténuer leur incidence. Étant donné que chaque difficulté pourrait nuire à la fiabilité des constatations, des précautions ont été prises, dans la mesure du possible, pour aborder les questions et problèmes liés à l'évaluation à l'aide de plusieurs éléments de preuve afin d'améliorer la crédibilité des conclusions des recherches. Parmi les principales difficultés auxquelles a été confrontée l'évaluation du programme sur les aires protégées, citons :

L'incohérence dans les renseignements des dossiers et les renseignements financiers : Le contenu des dossiers et le niveau de détail ne sont pas uniformes d'une région ou d'un site à l'autre; en effet, aucune définition n'est appliquée de manière cohérente à ce qu'est un dossier pour une aire protégée. De même, les données financières sont limitées et ne sont pas uniformes d'une région ou d'un site à l'autre, en ce qui a trait au type d'information ou au niveau de détail. Les lacunes dans l'information, causées par un manque de données cohérentes, ont été atténuées ou réglées en partie grâce à des entrevues détaillées réalisées auprès du personnel régional du Service canadien de la faune.

Le manque de données sur le rendement : Le Cadre de gestion du rendement se limite à quatre indicateurs seulement et les sites ne présentaient aucune donnée concordante relative au rendement. Les seules données sur le rendement recueillies à partir de l'examen des dossiers étaient liées à la taille des sites et à la date de leur établissement. Pour atténuer les répercussions de la faible quantité de données sur le rendement, dans une certaine mesure, l'on a utilisé plusieurs sources de données de rechange.

La difficulté de comparaison avec d'autres organisations : Les données sur le rendement disponibles auprès de sources externes variaient quant à la date de publication. Il a donc été difficile de comparer, par exemple, des données de l'Organisation de coopération et de développement économiques (OCDE) avec des données du Système de rapport et de suivi pour les aires de conservation et avec des données issues d'organisations non gouvernementales. En outre, les données financières du programme sur les aires protégées ont été difficiles à comparer, aux fins d'efficience, avec les données issues d'autres organisations, telles que Parcs Canada. En effet, les différents intervenants engagés dans la protection des terres le font pour diverses raisons et sont soumis à des contraintes différentes. Par exemple, Conservation de la nature Canada et le National Wildlife Refuge System des États-Unis ont largement recours à des bénévoles; Parcs Canada gère un nombre bien plus grand de visiteurs sur ses sites, ce qui engage des coûts qui ne sont pas généralement associés aux aires protégées. Pour améliorer la comparabilité de ces sources, seules les dépenses liées à la gestion des sites ont été examinées et comparées. En outre, les lacunes éventuelles de cette analyse sont clairement définies à la présentation de ces résultats.

La difficulté à obtenir des données internationales : Les données de comparaison à l'échelle internationale, qui ne sont pas à la disposition du public, ont été difficiles à obtenir et se sont révélées clairsemées. Le dernier ensemble d'indicateurs environnementaux de l'Organisation de coopération et de développement économiques datait, par exemple, de 2008. Par ailleurs, il a été très difficile de déterminer les noms des personnes-ressources adéquates dans les instances sélectionnées. Une fois désignées, ces personnes ont été difficiles à joindre ou elles ne pouvaient pas fournir les renseignements/données nécessaires. L'utilisation de cet élément de preuve s'est révélée limitée, car les comparaisons directes avec des programmes aux États-Unis et en Australie étaient uniquement possibles à l'échelle nationale, plutôt qu'à l'échelle du programme examiné dans le cadre de cette évaluation. Pour atténuer, dans une certaine mesure, les limites rencontrées dans cet élément de preuve, l'on a présenté les limites de ces comparaisons, le cas échéant, par l'intermédiaire du rapport, et l'on a procédé à la triangulation de ces constatations avec d'autres éléments de preuve.

La difficulté à réaliser les entrevues dans le Nord : Il a été difficile d'atteindre les répondants clés du Norden raison de leur éloignement géographique et éventuellement de la fatigue générée par ces entrevues, car bon nombre des répondants éventuels du Nord avaient déjà été interrogés dans le cadre de l'examen quinquennal de l'Entente  sur les répercussions et les avantages pour les Inuits, en 2011-2012. Il a été impossible de mettre en place des solutions technologiques (p. ex. téléconférences en groupe), en raison de la disponibilité limitée de ces technologies et de la dispersion géographique des répondants éventuels. Les tentatives visant à recueillir des commentaires auprès des intervenants inuits, en personne, se sont révélées tout aussi inefficaces. En effet, un projet de groupe de discussion composé de tous les intervenants pertinents à la Réunion des Parties à Iqaluit a été sabordé lorsque la réunion a été reportée en dehors des délais de cette évaluation. Lors de la production des rapports regroupant ces résultats, l'on a pris soin de déterminer les limites dans le nombre de répondants du Nord.