Évaluation de services d'avertissement météorologique du Canada pour l'océan Arctique : chapitre 5

3.0 Conception de l'évaluation

• 3.1 Objectif et portée
• 3.2 Approche d'évaluation et méthodologie
• 3.3 Enjeux et Limites

3.1    Objectif et portée

Cette évaluation a pour objectif d'analyser la pertinence et le rendement (y compris l'efficacité, l'efficience et l'économie) de l'initiative METAREA, réalisant ainsi un engagement pour évaluer l'Initiative et répondre aux exigences de la Politique du CT sur l'évaluation afin d'analyser toutes les dépenses directes des programmes tous les cinq ans. Alors que les évaluations explorent généralement les questions liées à la gestion de programme, l'initiative METAREA est une initiative de durée limitée liée inextricablement  au démarrage ou à la mise en œuvre initiale de METAREA. En tant que tel, les enjeux de mise en oeuvre et de l’exécution continue sont traités de manière interchangeable dans le contexte de la présente évaluation.

Comme les résultats associés ne sont pas inclus dans la stratégie de mesure du rendement du programme, ils ne sont pas évalués dans l'évaluation actuelle. L'efficacité du programme est évaluée par rapport aux résultats escomptés principaux de l'initiative, comme il est décrit à la section 2.6 (ci-dessus) et à l'annexe 1.

L'évaluation couvre la période de quatre ans entre 2010-2011 et 2013-2014 et elle traite seulement des mesures prises dans le cadre de l'initiative METAREA, car en 2011 une évaluation parallèle du sous-programme 2.2.2, Services météorologiques et des glaces pour la navigation maritime, a déjà été complété. La portée de cette évaluation était plus étendue, mais elle ne contenait pas de données relatives aux zones météo, car l'initiative venait juste d'être financée. La présente évaluation se fonde sur l'évaluation de 2011.

3.2    Approche d'évaluation et méthodologie

La collecte de données pour l'évaluation a eu lieu entre novembre 2013 et février 2014.Les méthodes de collecte de données suivantes ont été employées et les données obtenues ont été triangulées afin de présenter des résultats et d'élaborer des conclusions.^Footnote 4

Revue de la littérature et des documents
Une revue de la littérature et des documents a été effectuée dans le cadre de l'évaluation. Une liste des principaux documents d'intérêt a été dressée et chacun a été évalué en fonction de sa contribution aux questions de l'évaluation et aux indicateurs correspondants à l'aide d'un modèle d'examen des documents. Ces documents comprennent des renseignements descriptifs portant sur le programme (p. ex. le mandat du projet), les publications ministérielles et du gouvernement du Canada relatives aux politiques et aux priorités, ainsi que d'autres documents de planification stratégique et opérationnelle interne. La revue de la littérature était en grande partie axée sur la littérature grise correspondant à l'activité maritime et économique dans le Nord. Cette méthode de collecte des données traitait les questions d'évaluation en lien avec la pertinence de l'initiative METAREA. Une liste des documents examinés est incluse à l'annexe 2.

Données administratives et de rendement du programme
Un aperçu des données du programme comprenait les données administratives et de rendement mises à jour sur le site Web ECollab de l'initiative METAREA ou fournies par les représentants du programme. Les rapports annuels de mesure du rendement relatifs à l'initiative (2011 et 2012) étaient importants pour comprendre la mesure de la réussite des différents jalons du projet. Les autres sources de données comprenaient les rapports d'étape et les documents financiers, y compris les ressources allouées et dépensées pour chaque élément par exercice. Cette méthode de collecte de données a traité les questions d'évaluation en lien avec l'efficacité générale et l'efficacité du programme.

Entrevues avec des répondants clés
On a effectué des entrevues en personne et par téléphone avec 23 intervenants internes et externes au total. Comme la mise en œuvre de l'initiative n'en est qu'à ses débuts et qu'il est difficile de communiquer avec des utilisateurs connaissant bien les services des zones météo, il a été difficile de recueillir des commentaires auprès d'intervenants externes. Il a donc fallu s'appuyer plus que d'habitude sur les opinions du personnel du programme pour l'évaluation. Cette question est abordée plus en détail dans le cadre des enjeux et des limites. Voici la répartition des répondants interrogés :

• Gestionnaires de programme et agents de projet d'Environnement Canada (n = 8)
• Partenaires de la mise en œuvre à l'échelle fédérale (n = 6)
• Utilisateurs potentiels de l'information (n = 5)
• Autres intervenants externes (partenaires internationaux) (n = 4).

Pour chaque catégorie de personne interrogée, un guide personnalisé et non limitatif a été mis sur pied, tenant compte des connaissances du répondant et de la nature de sa contribution attendue à l'évaluation. Les personnes interrogées ont reçu un exemplaire du guide d'entrevue avant la tenue de l'entrevue, ce qui leur a laissé le temps de se préparer. Les notes prises lors des entrevues ont été saisies dans une matrice et classées en fonction de la question d'entrevue ou de la question d'évaluation pour qu'il soit possible de classer l'information selon la catégorie de personnes interrogées et selon la question d'évaluation, à des fins d'analyse. Les constatations tirées des entrevues réalisées auprès de répondants clés ont trait à toutes les questions d'évaluation, mais sont particulièrement importantes pour la question relative au rendement.

3.3    Enjeux et Limites

Les difficultés rencontrées durant le processus d'évaluation ainsi que les limites liées à ces difficultés et les stratégies adoptées pour atténuer leur incidence sont décrites ci-dessous.

1. Obtenir des commentaires de la part d'utilisateurs finaux

   Les méthodes définies pour l'évaluation ne comprenaient pas la sollicitation à grande échelle des utilisateurs finaux des produits et services d'information de l'initiative METAREA car: le programme n'avait pas encore les moyens de rassembler des données sur les utilisateurs finaux réels ou potentiels; l'élaboration d'une liste de personnes-ressources afin de mener une enquête auprès des utilisateurs dépassait la portée du projet; et les efforts préalables visant à mener des enquêtes d'opinion auprès des utilisateurs ont remporté un succès très limité. Même si ces défis ont été relevés dans une certaine mesure par la collecte des commentaires d'un nombre limité d'utilisateurs par l'entremise d'entrevues avec des informateurs clés, les limites de la portée signifient que ce ne sont pas tous les groupes d'utilisateurs qui ont été inclus dans les entrevues des répondants clés, notamment les commentaires directs des représentants des secteurs économiques et des résidents du Nord, deux groupes de bénéficiaires secondaires de l'initiative, n'ont pas été recueillis. Par conséquent, on dispose de preuves limitées pour traiter des réussites du programme par rapport aux résultats associés attendus concernant ces deux groupes de bénéficiaires potentiels.

    

2. Étudier l'atteinte des résultats intermédiaires et finaux

   En raison de l'absence de données fiables provenant des utilisateurs finaux, il est difficile d'évaluer l'atteinte de certains résultats intermédiaires et finaux de l'initiative. Il convient également de noter qu'au moment de l'évaluation, la couverture des services n'était pas encore totale dans les zones météo, car l'initiative devrait être totalement mise en œuvre le 31 mars 2015. Le cas échéant, des données administratives et des renseignements d'entrevues qualitatives ont été utilisés le plus possible afin de résoudre ces enjeux.