3. Conception de l’évaluation

3.1. Portée

La présente évaluation avait pour but d’examiner la pertinence et le rendement des six modalités générales pour ce qui est de faciliter l’atteinte des résultats environnementaux au cours des cinq exercices de 2010-2011 à 2014-2015. Une évaluation des MG faisait partie du Plan de vérification et d’évaluation axé sur les risques de 2013 d’Environnement Canada^{Note de bas de page 6}, à la demande expresse du SCT. L’évaluation a d’abord examiné la pertinence et le rendement des projets financés dans le cadre des MG, où ces constatations ont été regroupées afin de tirer des conclusions sur les CC en général. En outre, l’évaluation a incorporé une évaluation de l’approche des MG en tant que mécanisme permettant le financement sous forme de S et C.

Cette évaluation complète des évaluations de nombreux programmes individuels de S et C, qui utilisent les six autorisations-cadres, afin de répondre aux exigences prévues dans la Loi sur la gestion des finances publiques d’évaluer tous les programmes de S et C en cours au moins une fois tous les cinq ans. Les programmes individuels de S et C sont évalués en continu dans le cadre d’examen de sous-programmes et de sous sous-programmes de l’AAP auxquels ils s’harmonisent. Les évaluations des programmes individuels de S et C assujettis à des MG sont énumérées à l’annexe D.

Un enjeu clé considéré dans la conception de l’évaluation était le fait que les MG ne constituent pas un seul « programme » typique. Les MG sont conçues expressément comme un mécanisme^{Note de bas de page 7} permettant d’allouer du financement pour soutenir un très vaste éventail de résultats associés à différents programmes individuels à l’échelle du Ministère. Par conséquent, il a été difficile d’établir des liens entre le grand nombre de projets financés et programmes connexes et un ensemble commun de résultats mesurables, et de rendre compte de ces résultats de manière cohérente. Pour résoudre cette difficulté, les éléments probants de progrès vers l’atteinte de résultats environnementaux positifs ont été regroupés pour toutes les MG et la contribution des projets financés aux résultats attendus des MG (voir l’annexe C) a été évaluée.

3.2. Approche et méthode d’évaluation

Les activités de recherche ayant été entreprises sont décrites brièvement dans cette section, et d’autres détails sur la méthodologie se trouvent à l’annexe E.

Examen des documents Les documents ayant trait à la pertinence, la conception et l’efficacité des MG ont été étudiés, par exemple, les modalités pour chaque autorisation-cadre, une vérification interne des S et C menée en 2013 et une évaluation des anciennes catégories de S et C d’ECCC.

Données administratives et examen des dossiers : La base de données des S et C conservée par la Direction générale des services ministériels et des finances d’ECCC a été étudiée pour fournir une information descriptive des projets financés selon les MG, y compris les dépenses par programme et direction générale (voir l’annexe B). L’évaluation a aussi porté sur un échantillon de 85 dossiers de projet et visait à déterminer la mesure dans laquelle les projets financés selon les MG avaient atteint les buts attendus du projet dans les délais impartis, tiré profit des ressources d’autres partenaires et contribué aux résultats attendus dans le cadre des MG. L’échantillon de l’examen des dossiers a été sélectionné à partir d’un total de 635 projets menés à terme au cours de la période de 2010-2011 à 2014-2015.

Entrevues avec des intervenants clés : Afin de recueillir des opinions et des observations touchant à l’ensemble des sujets abordés dans l’évaluation, 17 entrevues ont été menées avec des gestionnaires de programme d’ECCC ayant de l’expérience avec l’une ou plusieurs des MG (n=15) et des représentants de la Direction générale des services ministériels et des finances ayant participé à la coordination de la gestion des autorisations-cadres (n=2).

Sondage des bénéficiaires : Un sondage en ligne auprès des bénéficiaires de financement a été mené pour évaluer les opinions sur l’attribution des S et C d’ECCC selon les MG et la contribution des projets financés à l’atteinte des résultats environnementaux, tant les résultats de projet à court terme que les résultats attendus dans le cadre des MG. Le sondage était surtout concentré sur les projets achevés financés selon les six MG, de 2010-2011 à 2013-2014. Sur les 294 bénéficiaires de financement invités à participer au sondage, 57 ont répondu, pour un taux de réponse de 19 %.

3.3. Difficultés et limites

Les difficultés rencontrées pendant l’évaluation, ainsi que les limites et les stratégies d’atténuation afférentes, sont décrits ci-dessous.

• Comme les MG soutiennent un vaste éventail de résultats de programme qui s’étendent à toute l’AAP du Ministère, il a été difficile de transposer les nombreux accords de contribution en un ensemble limité de résultats environnementaux clairs sur lesquels se baser pour évaluer le rendement des programmes. Pour atténuer cette difficulté, les évaluateurs ont conçu les entrevues et le sondage de manière à utiliser une notation standard pour déterminer les progrès réalisés à l’égard des résultats de projet attendus à court terme, sans référence à des résultats environnementaux précis. Ainsi, il a été possible d’accumuler des éléments probants à l’échelle des six MG.
• Les données sont limitées sur le rendement, notamment en ce qui concerne les résultats attendus des MG. Même si les informations sur le rendement des programmes et sous programmes de l’AAP sont recueillies au moyen du cadre de mesure du rendement du Ministère, il n’existe pas de données sur le rendement centrées spécifiquement sur les résultats attendus des MG (et les indicateurs de rendement connexes), et aucun système d’information de gestion du Ministère ne consolide les données sur le rendement au niveau des projets. De plus, il y a peu de renseignements sur les résultats des projets à court terme dans les rapports de projet finaux, étant donné que ces rapports mettent surtout l’accent sur le degré d’achèvement des activités de projets financés et les extrants comme il est précisé dans l’accord de contribution. Pour contourner cette difficulté (comme indiqué ci-dessus), le degré d’atteinte des résultats de projet attendus à court terme a été noté selon les réponses fournies par les intervenants clés interrogés et les bénéficiaires qui ont répondu au sondage, tandis qu’une notation standard attribuée lors de l’examen des dossiers de projet et des réponses au sondage effectué auprès des bénéficiaires a servi à estimer la contribution des projets aux résultats attendus des MG applicables.