Annexe E – Détails sur la méthodologie d’évaluation

Les méthodes de recherche^{Note de bas de page 36} employées pour recueillir des éléments probants aux fins de l’évaluation sont décrites ci-dessous.

Examen de la documentation

Les éléments probants documentaires consistaient principalement en des documents portant sur l’intention, la conception et la justification de la politique pour les MG. Les documents examinés comprenaient des documents du Ministère décrivant les MG (p. ex., les modalités pour chaque autorisation-cadre, un guide des subventions et contributions à ECCC, un plan d’action ministériel d’ECCC pour la réforme des S et C, des documents du gouvernement fédéral (p. ex., un plan d’action pour réformer l’administration des programmes de subventions et de contributions), et les anciennes vérifications et évaluations (c.-à-d., une vérification interne de 2013 des S et C et une évaluation de 2009 des anciennes catégories de S et C d’ECCC. Les constatations émanant des documents ont été saisies dans un modèle normalisé. L’examen des documents a fourni un aperçu à l’égard des questions d’évaluation ayant trait à la pertinence, à la conception et à l’efficience des MG.

Examen des données et des dossiers administratifs

La base de données des S et C élaborée et mise en œuvre par la Direction générale des services ministériels et des finances d’ECCC pour assurer un suivi de la distribution des ententes de financement en vertu des MG contient présentement des données administratives recueillies dans le cadre de la gestion globale des MG. Ces données comprennent la date d’approbation du projet; le but déclaré du projet au moment du financement; le nom de l’autorisation-cadre; le nom du gestionnaire d’ECCC responsable; la région et l’affectation globale des fonds. Ainsi, les informations ont servi à fournir des informations descriptives clés sur les MG, y compris les dépenses par programme (voir l’annexe B).

La base de données des S et C est limitée aux objectifs attendus déclarés des ententes^{Note de bas de page 37}. Afin d’évaluer dans quelle mesure les objectifs de projet attendus ont été atteints, l’évaluation a aussi examiné un échantillon de 85 dossiers de projet. L’échantillon d’examen des dossiers a été sélectionné à partir d’un total de 635 projets menés à terme entre 2010-2011 et 2014-2015. L’échantillon était stratifié en fonction de facteurs pertinents, comme l’exercice financier où le financement a commencé, la valeur en dollars de la contribution et le type de bénéficiaire de financement, et il comprenait un grand nombre de projets pour les MG les plus fréquemment utilisées pour la Biodiversité – Espèces sauvages et habitats.

La répartition des 85 dossiers de projet à l’échelle des six MG va comme suit :

• Biodiversité – Espèces sauvages et habitats (n=32)
• Ressources en eau (n=9)
• Écosystèmes durables (n=10)
• Services météorologiques et environnementaux pour les Canadiens (n=11)
• Gestion des substances et des déchets (n=13)
• Changements climatiques et qualité de l’air (n=10)

Les données des dossiers ont été recueillies à l’aide d’un modèle d’examen des dossiers normalisé. Les documents clés examinés étaient les accords de contribution et le rapport final de chaque projet. Le but premier de l’examen des dossiers était d’évaluer dans quelle mesure les projets financés selon les MG atteignaient les objectifs attendus du projet dans les délais impartis, ont été exécutés avec efficience (p. ex., en tirant profit des ressources des partenaires de projet) et ont contribué aux résultats attendus selon les MG.

Entrevues avec des intervenants clés

Des entrevues menées auprès d’intervenants clés ont servi à recueillir de l’information détaillée sur toutes les questions d’évaluation. Au total, 17 entrevues ont été menées auprès de représentants des deux groupes suivants :

• Des gestionnaires de programme ministériel expérimentés utilisant une des MG ou plus (n=15). Un échantillon représentatif des gestionnaires pour ces entrevues a été sélectionné à partir de la base de données de la Direction générale des services ministériels et des finances, qui contient le nom des gestionnaires. Des efforts ont été faits pour interroger des gestionnaires possédant une expérience de gestion de nombreuses ententes ou d’ententes dont la valeur en dollars est élevée. Sur les 19 gestionnaires invités, 15 ont pu participer à une entrevue. Les six MG ont été couvertes dans ces entrevues.
• Des représentants de la Direction générale des services ministériels et des finances ayant participé à la coordination de la gestion des contributions-cadres (n=2). Sur les trois représentants invités, deux ont pu participer à une entrevue.

Les entrevues se sont déroulées en personne dans la région de la capitale nationale ou par téléphone, en fonction des disponibilités et de la préférence du répondant, en utilisant des guides d’entrevue avec des questions ouvertes (un pour chacun des groupes de répondants ci-dessus). Les résultats des entrevues ont été résumés par question d’évaluation dans un modèle.

Sondages auprès de bénéficiaires de financement

Un sondage en ligne auprès de bénéficiaires de financement^{Note de bas de page 38} a été mené pour évaluer un certain nombre de questions d’évaluation ayant trait au rendement. En particulier, le sondage a évalué les opinions des bénéficiaires sur la prestation des MG par ECCC (p. ex., la demande de projet, le financement et les processus de production de rapports) et la contribution des projets financés aux résultats environnementaux, tant des résultats à court terme au niveau du projet que des résultats attendus selon les MG.

Au total, 493 projets ont été financés dans le cadre des six MG sur la période de quatre ans, de 2010-2011 à 2013-2014. Pour tous ces projets, on a demandé aux gestionnaires de programme d’ECCC responsables dont le nom figure dans la base de données des S et C administrée par la Direction générale des services ministériels et des finances de fournir les coordonnées des bénéficiaires de financement. Ces coordonnées ont été fournies pour 294 projets (60 %). Sur les 294 bénéficiaires de financement invités à participer au sondage, des réponses ont été reçues de 57 bénéficiaires pour un taux de réponse de 19 %.

La répartition des 57 répondants au sondage pour les six MG va comme suit :

• Biodiversité – Espèces sauvages et habitats (n=26)
• Ressources en eau (n=5)
• Écosystèmes durables (n=2)
• Services météorologiques et environnementaux pour les Canadiens (n=14)
• Gestion des substances et des déchets (n=4)
• Changements climatiques et qualité de l’air (n=6)

En raison du petit nombre de répondants, il n’a pas été possible de comparer les réponses du sondage pour les six MG. Par conséquent, les résultats du sondage ont été regroupés pour l’échantillon global des 57 bénéficiaires de financement. L’analyse des données a nécessité le calcul de statistiques descriptives pour les réponses à chaque question fermée et une analyse du contenu pour les réponses aux questions ouvertes.