3. Conception de l’évaluation

3.1. Objet et portée

L’évaluation était inscrite dans le Plan ministériel de vérification et d’évaluation axé sur les risques d’ECCC de 2014. Elle a été réalisée au cours des exercices financiers de 2014-2015 et de 2015-2016 afin de remplir l’engagement d’évaluer l’initiative et de satisfaire aux exigences de la Politique sur l’évaluation du Conseil du Trésor qui demande à ce que toutes les dépenses programmatiques directes fassent l’objet d’une évaluation au moins tous les cinq ans.

Les données ont été recueillies et analysées pour les dix éléments de programme. Cependant, il s’agissait d’une évaluation du thème Adaptation du PQA dans son ensemble, et non pas d’une évaluation de chacun des éléments de programme. Ainsi, les résultats présentés reflètent les résultats globaux du thème, et les détails fournis au sujet de chaque programme sont limités.

La collecte de données relatives à neuf des 10 éléments a été réalisée par la société R.A. Malatest and Associates Ltd entre octobre 2014 et mars 2015. Les Services d’évaluation et de conseils de TC ont mené une évaluation distincte et indépendante de l’IATN de TC au cours de l’exercice financier de 2014-2015. Les résultats de cet examen ont été intégrés dans le présent rapport d’évaluation.

L’évaluation couvre la période allant de 2011-2012 jusqu’au milieu de l’exercice 2014-2015, ce qui représente environ les deux tiers de la période de financement.Toutefois, les activités pertinentes qui ne se sont terminées qu’à la fin de l’exercice 2014-2015 ont aussi été prises en considération. L’évaluation s’est penchée sur les questions de pertinence et de rendement (y compris l’efficacité, l’efficience et l’économie).

3.2. Approche et méthodologie de l’évaluation

Les méthodes suivantes de collecte de données ont été utilisées pour aborder les enjeux et les questions de l’évaluation. De plus amples renseignements sur l’évaluation et les méthodes sont fournis à l’annexe D.

Revue de la documentation

Les documents produits dans le cadre des éléments de programme et du thème Adaptation dans son ensemble ont fait l’objet d’un examen. Pour chacune des questions de l’évaluation, les informations contenues dans les documents ont été résumées au moyen d’une analyse thématique.

Examen des données

Cet examen s’appuyait principalement sur les données de rendement, en date de novembre 2014, fournies pour chacun des indicateurs contenus dans le Cadre de mesure du rendement (CMR) du thème Adaptation pour neuf des éléments de programme. Bien que l’évaluation ait mesuré le rendement du programme par rapport aux résultats énoncés dans le modèle logique révisé, le CMR contenait néanmoins des données de mesure de rendement pertinentes.

Entrevues avec des intervenants clés

Des entrevues ont été réalisées auprès de représentants du programme et de personnes ne faisant pas partie du programme. Puisque la collecte de données relative à l’IATN a été réalisée séparément dans le cadre de l’évaluation de ce programme par TC, les entrevues qui ont été menées ont couvert neuf des 10 éléments de programme. Au total, 90 entrevues ont été réalisées auprès de 89 intervenants clés (l’un des répondants a fourni une rétroaction sur deux éléments de programme). Trente-cinq (35) des répondants, soit deux personnes interviewées sur cinq, étaient des membres de la haute direction ou des gestionnaires d’un programme ayant pris directement part à la prestation des éléments de programme. Les 54 intervenants restants étaient des intervenants n’ayant pas pris directement part à la prestation du programme (représentants fédéraux, d'organismes provinciaux, territoriaux et municipaux, autochtones, des membres du milieu universitaire et des membres de l’industrie).

Sondage

Un sondage en ligne s’adressant aux intervenants externes a été effectué entre le 27 janvier 2015 et le 24 février 2015 afin de recueillir des commentaires sur la pertinence de l’initiative et l’atteinte des résultats. Des intervenants externes de huit des 10 éléments de programme ont été invités à répondre au sondage puisque le nombre peu élevé d’intervenants du PPSCC d’ECCC (moins de 20) était insuffisant pour générer des résultats fiables et que TC avait déjà terminé sa propre évaluation de l’IATN. Au total, 148 personnes sur un échantillon de 638 ont répondu au sondage, ce qui représente un taux de réponse de 23 %. Les répondants ont été invités à répondre à des questions portant au maximum sur les deux éléments de programme qu’ils connaissaient le mieux.^{Note de bas de page 1} 

Études de cas

Des études de cas ont été réalisées pour les quatre initiatives ci-dessous du thème Adaptation :

• SakKijanginnatuk Nunalik : Bâtir des communautés durables dans un contexte de changement climatique, en portant une attention particulière au sous-projet sur les eaux municipales (du PARCCCAN d’AANC).
• Indice de vulnérabilité des infrastructures côtières (du PSACCMA du MPO).
• Initiative sur l’évolution des forêts (du Programme d’adaptation de RNCan).
• Changements climatiques, adaptation et maladies gastro-intestinales aiguës^{Note de bas de page 2} dans le Nord canadien (du SPSPACC de l’ASPC).

Les données utilisées pour la réalisation des études de cas ont été recueillies à l’aide d’une revue de la documentation et des dossiers, et d’entrevues avec des intervenants clés.^{Note de bas de page 3}  L’objectif des études de cas n’était pas de généraliser les résultats à l’échelle des éléments de programme, mais plutôt de mettre de l’avant certaines observations relatives aux programmes, notamment les réalisations, certains facteurs externes, les pratiques exemplaires et les leçons retenues.

3.3. Défis et limites

Les défis survenus pendant l’évaluation, ainsi que les limites afférentes et les stratégies utilisées pour atténuer leur incidence, sont décrits ci-dessous.

1. Les résultats attendus et les stratégies de mesure du rendement n’ont pas été pleinement identifiés pour la moitié des éléments de programme, et la qualité des stratégies de mesure du rendement déjà en place variait grandement (pour une description plus détaillée, voir la section 4.2.4). En raison de la quantité limitée de données sur le rendement pour le thème Adaptation, les éléments probants de l’évaluation reposaient fortement sur les résultats des entrevues avec les intervenants clés. Pour compenser cette lacune, les données probantes obtenues dans le cadre des entrevues ont été triangulées avec celles obtenues par d’autres méthodes, notamment le sondage et, dans la mesure du possible, la revue de la documentation. Les études de cas ont également été utilisées pour recueillir des informations plus détaillées sur des projets précis à partir d’éléments de programme individuels, et pour cerner les idées susceptibles d’être utiles pour d’autres éléments de programme.
2. L’évaluation horizontale d’une gamme d’activités relativement homogènes portant sur différents domaines (c’est-à-dire, santé, environnement et infrastructure) constitue un véritable défi sur le plan de l’agrégation de données pour démontrer la contribution collective des activités des éléments de programme à l’atteinte des résultats thématiques. De plus, la diversité des activités thématiques a compliqué la prise de mesures (c’est-à-dire, la personnalisation des instruments de collecte de données pour refléter les 10 éléments de programme) et la mise au point des constatations à l’échelle du thème. Pour relever ce défi, l’analyse a tenu compte des aspects uniques des éléments de programme individuels, et elle a décrit les liens entre chacun des éléments uniques et la pertinence et le rendement du thème dans son ensemble. De plus, les guides de sondage et d’entrevue comprenaient des questions normalisées afin de recueillir une rétroaction au sujet des différents éléments de programme, dans le but de faciliter le regroupement des données. Bien que l’évaluation ait tenu compte de chacun des 10 éléments de programme, l’accent a été mis sur l’évaluation de l’ensemble du thème Adaptation.