Évaluation du programme des partenariats communautaires sur les écosystèmes : chapitre 3

3.0 Conception de l'évaluation

• 3.1 Objet et portée
• 3.2 Approche et méthodologie de l’évaluation
• 3.3 Limitations

3.1 Objet et portée

L'évaluation des partenariats communautaires sur les écosystèmes (sous-sous-programme 1.3.4.5 dans l'architecture d'alignement des programmes) a été déterminée dans le Plan ministériel de vérification et d'évaluation de 2013, qui a été approuvé par le sous-ministre au printemps de 2013. L'évaluation a été menée entre septembre 2013 et mars 2014 afin de respecter les exigences en matière d'évaluation de couverture de la Loi sur la gestion des finances publiques (pour les S et C) et la Politique sur l'évaluation du Conseil du Trésor (pour les dépenses directes du programme), qui exigent qu'une évaluation de toutes les S et C actives et des dépenses directes de programme, respectivement, soit menée une fois tous les cinq ans.

La présente évaluation visait à aborder la pertinence et le rendement (y compris l'efficacité, l'efficience et l'économie) du programme de PCE. Le programme de PCE représente 0,29 % des dépenses directes du programme (DPS) pour 2013-2014, y compris S et C. L'évaluation a couvert la période de cinq ans de 2008-2009 à 2012-2013 et s'est concentrée sur deux programmes régionaux au sein du programme de PCE : l'IEA et l'EP d'Okanagan-Similkameen. Il est à noter que l'évaluation n'a pas examiné toutes les S et C de la région de l'Ouest et du Nord, seulement celles liées à l'EP d'Okanagan-Similkameen (environ 28 % de toutes les S et C déboursées par le programme de PCE dans la région). Étant donné que les activités axées sur l'écosystème dans la région des Prairies et du Nord ont cessé en 2010-2011, celles-ci n'ont pas été examinées dans la présente évaluation.

3.2 Approche et méthodologie de l'évaluation

L'approche méthodologique et le niveau d'efforts pour la présente évaluation ont été déterminés au moyen d'une approche fondée sur les risques. Les méthodes de collecte de données suivantes ont été élaborées pour aborder de façon adéquate les enjeux et les questions liées à l'évaluation. Les éléments de preuve rassemblés ont ensuite été utilisés pour élaborer les constatations et les conclusions globales^{Note de bas de page11}.

Examen de documents

Un examen de documents a été mené dans le cadre de l'évaluation. Les principaux documents ont été rassemblés, énumérés dans un inventaire, puis chaque document a été évalué en fonction de sa contribution à chacune des questions de l'évaluation et des indicateurs correspondants. Les renseignements ont été recueillis aux fins d'analyse au moyen d'un modèle d'examen des documents. Les principaux documents examinés dans le cadre de la présente évaluation comprenaient des publications du gouvernement du Canada et des ministères (p. ex., discours du Trône, rapports ministériels sur le rendement), des documents internes de PCE sur les priorités, les processus, et la structure de gouvernance des programmes, les plans stratégiques pour l'IEA et les programmes d'Okanagan-Similkameen, et des aperçus de projets individuellement financés.

Examen des dossiers administratifs

L'examen des dossiers de contribution a compris des points tels que les accords de contribution, les rapports d'activités de projet, les dossiers financiers (p. ex., demandes de paiement, états des flux de trésorerie, comptabilité des dépenses des bénéficiaires), ainsi que les rapports finaux et d'étapes. L'examen des dossiers de projet et des données visait à combler les lacunes dans les documents, les dossiers et les données du programme. L'examen des dossiers a compris un échantillon de 24 (sur 101) accords de contribution dans le cadre de l'IEA et 8 (sur 8) dans le cadre de l'initiative Okanagan-Similkameen. L'examen a évalué dans quelle mesure les projets financés dans le cadre de ces initiatives de PCE ont obtenu les résultats escomptés et si leurs activités ont été entreprises de façon efficiente et économique.

Entrevues auprès des répondants clés

Des entrevues auprès des répondants clés ont été menées auprès de 33 répondants afin de rassembler des renseignements détaillés liés à toutes les questions et à tous les enjeux de l'évaluation. Les entrevues ont été menées par téléphone en utilisant un guide d'entrevue semi-structuré adapté au groupe particulier de répondants. Les renseignements ci-après fournissent la répartition des répondants : personnel et direction de programme (n=13); partenaires internes d'Environnement Canada (de l'Atlantique et du Québec, et de l'Ouest et du Nord) (n=5); partenaires fédéraux (n=1); partenaires provinciaux (n=4); bénéficiaires de financement de projet (p. ex., organisations non gouvernementales) (n=9); promoteurs non financés (n=2)^{Note de bas de page12}.

Tous les points de vue pertinents des intervenants ont été pris en considération. La méthodologie de l'évaluation a fourni un mélange équilibré d'opinions sur le rendement du programme, puisque plus de 60 % des répondants n'étaient pas directement responsables de la prestation du programme et que près de 50 % ne relevaient pas du ministère.

3.3 Limitations

Les difficultés rencontrées pendant la conduite de l'évaluation, les limitations et les stratégies utilisées pour atténuer leurs incidences sont présentées ci-dessous :

• Le Bureau de coordination en matière d'écosystèmes (BCE) de la région de l'Ouest et du Nord a été affecté par des réductions découlant du budget de 2012, qui a réduit le personnel de programme entre 3,4 et 4,5 ETP au cours des années précédentes à 0,9 ETP. Le programme d' IEA a connu des réductions de 6,2 ETP en 2008-2009 à 2,3 ETP en 2013-2014. Cela a limité le nombre de points de vue sur le programme du personnel actuel, compliqué davantage par le fait qu'une grande part de la responsabilité à l'égard du programme est portée par des personnes nouvellement arrivées dans le programme, et ne possédant donc qu'une mémoire opérationnelle limitée. Cette difficulté a été atténuée par des données récoltées lors de l'examen des documents et des dossiers.
• Comme mentionné précédemment dans la section 2.3, les données financières pour Okanagan-Similkameen et l'Initiative des écosystèmes de l'Atlantique ne sont pas clairement différenciées des dépenses provenant d'autres activités régionales en raison de la façon dont les dépenses sont encodées dans le système financier ministériel. Par conséquent, l'évaluation n'a pas été en mesure d'entreprendre une analyse financière pour évaluer l'efficience administrative de chaque initiative. Les données récoltées par l'examen de documents et les entrevues auprès des intervenants clés ont été utilisées pour évaluer l'efficience globale de chaque initiative.
• L'EP d'Okanagan-Similkameen PE n'a pas de mécanismes officiels pour évaluer le rendement qui peuvent être utilisés pour évaluer le niveau d'obtention des résultats attendus. L'évaluation a atténué cette limitation dans une certaine mesure en examinant les données sur le rendement à l'échelle du projet des projets financés, les données récoltées par l'examen de documents, et les données empiriques fournies lors des entrevues auprès des intervenants clés.