4. Constatations

Cette section présente les constatations de l’évaluation pour chaque enjeu (pertinence et rendement) et pour les questions d’évaluation connexes.

Une note est attribuée à chaque question d’évaluation, en fonction du jugement accordé aux constatations de l’évaluation. Les énoncés de notation et leur signification sont présentés ci‑dessous dans le tableau 1. Un résumé des notes attribuées aux questions d’évaluation est présenté à l’annexe F.

4.1. Pertinence

4.1.1 Besoin continu pour le programme

Il existe un besoin environnemental démontré dans chacun des secteurs de programme couverts par les six MG. Il y a aussi un besoin pour les S et C en général d’aider ECCC à respecter ses priorités.

• Il existe un besoin environnemental continu dans chacun des secteurs couverts par les six MG, notamment :
  • Biodiversité : Une baisse globale de la biodiversité (c.-à-d., la variété de plantes, d’animaux et d’autres formes de vie) est reconnue comme étant un problème environnemental grave en raison de l’importance de la biodiversité pour la santé, la prospérité, la sécurité et le bien-être des humains, et de sa contribution aux biens et services essentiels qui découlent de systèmes naturels sains et diversifiés.
  • Ressources en eau : Les écosystèmes aquatiques d’eau douce sont dégradés et subissent des pressions en raison de facteurs comme le développement urbain et les activités agricoles et industrielles, l’eutrophisation, la dégradation des terres humides et les niveaux d’eau inférieurs à la moyenne associés aux changements climatiques.
  • Écosystèmes durables : Les écosystèmes durables servent à protéger les espèces et leurs habitats, à préserver la biodiversité et à fournir des services écosystémiques essentiels, lesquels en retour ont des impacts sur l’économie et la santé, y compris la productivité agricole et la qualité de l’air et de l’eau améliorée.
  • Services météorologiques et environnementaux : Les phénomènes météorologiques violents ont d’importantes répercussions, tant sur le plan humain que sur le plan économique, par conséquent l’information sur les phénomènes météorologiques prévus est importante pour ce qui est de la planification, de la prise de décision et de l’atténuation des effets potentiels négatifs.
  • Gestion des substances et des déchets : Les substances chimiques ont des répercussions néfastes sur la santé humaine^{Note de bas de page 8} et l’environnement, et augmentent les coûts futurs associés au traitement de l’eau, à l’assainissement des sites contaminés et au traitement des maladies liées à l’exposition à des produits chimiques. En outre, les risques pour l’environnement et la santé humaine découlent d’une myriade de sources de déchets produits par les humains, y compris la pollution de l’eau issue de divers secteurs (p. ex., la foresterie, l’exploitation minière et l’agriculture), les effluents d’eaux usées des systèmes d’assainissement et les déchets solides dangereux.
  • Changements climatiques et qualité de l’air : Les changements climatiques liés aux rejets de gaz à effet de serre (GES) réchauffent l’atmosphère et les océans, ce qui peut avoir une incidence sur le fonctionnement naturel des écosystèmes ainsi que sur les conditions météorologiques, la biodiversité, les systèmes hydrologiques et les infrastructures côtières. La pollution atmosphérique a été associée à une variété d’effets néfastes sur la santé, est cancérogène, coûte des milliards de dollars à l’économie canadienne chaque année en raison des décès prématurés (environ 21 000 Canadiens par an), des hospitalisations, des visites aux services d’urgence et de l’absentéisme^{Note de bas de page 9} , et contribue aux effets nocifs sur l’environnement, comme la dégradation des écosystèmes, les répercussions sur l’habitat faunique, la présence dans les aliments de polluants comme le mercure et les répercussions sur la végétation provenant de polluants atmosphériques comme l’ozone troposphérique et le dioxyde de soufre.
• Les constatations de l’examen des documents indiquent qu’en général il existe un besoin pour des S et C en tant qu’instrument pour aider les ministères du gouvernement fédéral à respecter leurs priorités et responsabilités envers les Canadiens, par exemple, en permettant à des acteurs non gouvernementaux de faire ce qu’ils peuvent mieux faire et d’utiliser les travaux et les compétences de ces acteurs à des fins de politique publique^{Note de bas de page 10Note de bas de page 11}.
• Presque tous les bénéficiaires de financement ayant répondu au sondage (96 %) conviennent (ayant répondu 4 ou 5 sur une échelle de 5 points) qu’il y a un besoin continu de financement fédéral sous forme de contributions pour soutenir les projets. Environ un tiers des répondants (30 %) ont indiqué que, sans le financement d’ECCC, leur projet n’aurait pu être réalisé. Ce point a aussi été rapporté par huit bénéficiaires de l’échantillon d’examen de dossiers de projet. Un autre 42 % des répondants au sondage ont indiqué qu’en l’absence du financement d’ECCC, leur projet n’aurait pu être réalisé qu’à condition d’en réduire la taille ou la portée de façon importante.

4.1.2 Harmonisation avec les priorités du gouvernement fédéral

Les projets financés dans le cadre des MG sont harmonisés avec les priorités fédérales en matière de protection de l’environnement et avec les résultats stratégiques du Ministère.

• Les travaux financés dans le cadre des MG sont cohérents avec le résultat attendu du gouvernement du Canada d’« un environnement propre et sain »^{Note de bas de page 12} . De plus, une des priorités clés actuelles du gouvernement du Canada est « un environnement propre et une économie forte », comprenant des enjeux visés par les MG, comme la réduction de la pollution par le carbone, des technologies propres et la compréhension et la réduction des impacts environnementaux^{Note de bas de page 13}.
• Chacune des six autorisations-cadres est harmonisée avec un programme de l’AAP du Ministère et le résultat stratégique d’ECCC qui y est associé. Ce lien est précisé dans les modalités associées à chaque autorisation cadre.
• La plupart des intervenants interrogés ont indiqué que les objectifs des projets financés s’harmonisent avec les priorités fédérales et ministérielles. Certains intervenants clés ont expliqué que les critères de sélection des projets selon les MG, le modèle d’accord de contribution et l’harmonisation explicite des MG avec l’AAP du Ministère contribuent à maintenir un bon alignement.

4.1.3 Harmonisation avec les rôles et responsabilités du gouvernement fédéral

Les activités des projets financés dans le cadre des MG sont conformes aux responsabilités du gouvernement fédéral énoncées dans la législation comme la Loi sur le ministère de l’Environnement. Chaque projet financé est lié aux objectifs d’un programme d’ECCC et à un résultat stratégique du Ministère et, à ce titre, est compatible avec les responsabilités du Ministère.

• Le rôle d’ECCC dans le financement de projets selon les MG est compatible avec les responsabilités du Ministère en vertu de la Loi sur le ministère de l’Environnement, laquelle précise que les pouvoirs, devoirs et fonctions du ministre comprennent la préservation et l’amélioration de la qualité de l’environnement naturel, y compris l’eau, l’air et la qualité des sols, ainsi que les ressources renouvelables, les oiseaux migrateurs et d’autres groupes de la flore et de la faune non domestiques. La Loi sur le ministère de l’Environnement figure comme l’une des autorités légales pour chacune des six MG. De plus, d’autres lois fédérales sont relevées comme des autorités pour des MG précises, par exemple, la Loi sur les espèces sauvages du Canada et la Loi sur les espèces en péril pour les contributions à l’appui de la Biodiversité – Espèces sauvages et habitats et la Loi sur les ressources en eau du Canada pour les contributions à l’appui des Services météorologiques et environnementaux pour les Canadiens.
• La section sur l’« objet et les résultats attendus » de chaque accord de contribution dans le cadre des MG précise le programme d’ECCC que l’activité financée est censée soutenir. Conformément à ce qui précède, des intervenants clés ont indiqué que les MG servent à soutenir les ententes qui s’harmonisent directement avec des activités et des objectifs de programme. Des projets soutenus selon les MG servent à répondre à des besoins à court terme, à combler les lacunes du suivi par le Ministère des conditions environnementales ou d’espèces en particulier et à combler les lacunes dans les connaissances relatives à des questions environnementales. Ces activités financées sont conformes aux responsabilités du gouvernement fédéral et du Ministère.
• Les personnes interrogées ont mentionné qu’il est approprié pour le gouvernement fédéral de fournir du financement à des projets permettant de faciliter l’atteinte de résultats environnementaux, parce que ce type de projet s’harmonise avec le mandat fédéral et les responsabilités d’ECCC, en particulier pour certains secteurs (p. ex., les oiseaux migrateurs, la réduction des émissions de GES dans des pays en développement, le financement de projets permettant à des communautés autochtones de trouver des solutions à des problèmes environnementaux) et avec la portée nationale et internationale de certains projets. Certains intervenants clés interrogés ont aussi affirmé qu’il leur semblait approprié pour le gouvernement fédéral de faire participer des universitaires ou des chercheurs dès les premières phases de développement de programme, car ils peuvent être en meilleure position pour mener des recherches initiales exploratoires et fondamentales.

4.2 Rendement – Efficience et économie

4.2.1 Conception du programme

Les MG sont raisonnablement conçues avec des résultats attendus clairs liés à des programmes de l’AAP. Elles assurent l’uniformité de la méthode de financement dans tous les secteurs de programme du Ministère, une flexibilité pour réagir aux nouvelles possibilités de projet au moment opportun et pour réduire le nombre de modalités sur lesquelles la direction doit rendre compte. De plus, les MG tirent profit de manière appropriée des mécanismes existants du Ministère, comme le processus d’approbation structuré des S et C.

• La conception des MG fait en sorte que chaque MG est harmonisée avec un programme de l’AAP et un résultat stratégique connexe d’ECCC, et les résultats attendus auxquels elle est censée contribuer sont précisés. Pour chaque projet financé dans le cadre de chacune des MG, l’accord de contribution précise les activités à financer, les résultats des MG applicables que ces activités sont censées soutenir et les exigences en matière d’établissement de rapports sur le rendement du projet.
• Les résultats de l’examen des dossiers de projet montrent que presque toutes les activités de projet financées (97 %) ont été notées comme étant bien liées aux résultats attendus des MG applicables (4 ou 5 sur une échelle de 5 points), suggérant que cet aspect de la conception est valable.
• Une majorité des intervenants clés interrogés a indiqué qu’il y a un besoin continu pour l’approche ou le mécanisme des MG parce qu’il uniformise la méthode de financement à l’échelle des secteurs de programme et donne une flexibilité pour réagir aux nouvelles possibilités de projet au moment opportun, en plus de réduire le nombre de modalités que les gestionnaires de programme doivent maintenir, mettre à jour et dont ils doivent rendre compte des résultats. Ces intervenants ont aussi indiqué que les projets financés selon les MG permettent d’accéder à des ressources de spécialistes ou d’experts techniques non disponibles chez ECCC et de tirer profit d’un financement de projet supplémentaire provenant de l’extérieur du Ministère.
• Des intervenants clés interrogés ont relevé d’autres façons de soutenir les particuliers, les organisations ou d’autres ordres de gouvernement, en contribuant à des résultats environnementaux, y compris par la sous-traitance, les partenariats, la collaboration avec les parties intéressées et la mobilisation de leur participation, des contributions autres que financières et le versement d’une contribution forfaitaire importante à un gouvernement provincial pour l’administration de tous les projets individuels dans cette province. Néanmoins, la majorité a exprimé une préférence notamment pour le recours à des accords de contribution dans le cadre des MG, parce que cette approche permet d’établir avec une plus grande flexibilité les échéanciers, la portée et les produits livrables, prévoit des dispositions en matière de financement sans risque pour le bénéficiaire et favorise l’optimisation des ressources des partenaires de projet.
• La conception des MG optimise aussi les mécanismes et outils existants du Ministère pour offrir des activités de programme et faciliter la gestion uniforme et efficace des S et C dans le cadre des MG, incluant :
  • un Comité des SMA sur les subventions et contributions^{Note de bas de page 14}, dont le rôle et les responsabilités sont précisés dans le mandat du comité (voir la section 2.2);
  • un processus d’approbation des S et C, qui décrit les rôles, les responsabilités et les obligations des gestionnaires de projet et les représentants des finances dans la prestation de financement au moyen de S et C en utilisant les MG (voir l’annexe A);
  • un guide sur les S et C^{Note de bas de page 15} du Ministère qui comprend les principes, les exigences, des lignes directrices, des procédures détaillées, des modèles standards^{Note de bas de page 16} et des instructions étape par étape pour toutes les phases du processus de financement au moyen de S et C d’ECCC, y compris les MG.
• La vaste majorité (80 % ou plus) des bénéficiaires de financement ayant répondu au sondage ont attribué une note très élevée (de 4 ou 5 sur une échelle de 5 points) à chacune des diverses caractéristiques de conception du programme, à l’exception du Guide du bénéficiaire d’un accord de contribution d’ECCC, que seuls 70 % des répondants ont considéré comme un outil de référence utile (voir le tableau 2). La Direction générale des services ministériels et des finances effectue présentement une révision et une mise à jour de ce guide. Une faible proportion des répondants (11 %) a affirmé que les conditions et exigences de financement ne convenaient pas bien à leur projet, mais la plupart (60 %) de ces répondants ont ensuite indiqué qu’ils ont dû adapter l’approche de leur projet pour remplir les conditions de financement dans une grande à très grande mesure (en donnant une note de 4 ou 5 sur une échelle de 5 points). Ainsi, certains bénéficiaires ont dû retarder l’achat d’équipement de laboratoire, retarder le projet en général ou trouver d’autres moyens pour payer le salaire des chercheurs.

Source : Sondage des bénéficiaires de financement selon les MG (n=57). Les répondants ont noté leurs réponses sur une échelle de 5 points (où 1 = « Tout à fait en désaccord » et 5 = « Tout à fait d’accord »). Les réponses « Ne sais pas » et « Sans objet » ont été exclues.

4.2.2 Efficience du programme et solutions de rechange

Un certain nombre de facteurs suggèrent que les MG soutiennent la gestion efficiente des S et C, y compris l’utilisation d’un seul ensemble commun de modalités pour un vaste éventail de programmes/d’initiatives de financement harmonisés à différents programmes de l’AAP, et des projets financés en collaboration avec des partenaires et en tirant profit des ressources des partenaires (c.-à-d., 64 % du financement de projet par des partenaires). Les bénéficiaires de financement sont très satisfaits de la fourniture et de l’efficience du financement selon les MG; néanmoins, le délai de réception de l’avis et du financement est une préoccupation pour certains.

Efficacité de l’approche selon les MG

• ECCC a amélioré l’efficacité des MG et du processus de S et C en général en mettant en application des mesures de gestion à la suite des recommandations d’une évaluation et vérification interne antérieures :
  • L’évaluation de 2009 des anciennes catégories de S et C^{Note de bas de page 17} a donné lieu à cinq recommandations, et toutes les mesures de gestion associées ont été mises en œuvre. Ainsi, la Direction générale des services ministériels et des finances a offert de la formation, rédigé de nouvelles lignes directrices et procédures et élaboré de nouveaux outils pour les gestionnaires et le personnel des finances^{Note de bas de page 18}, et le Ministère a adopté une nouvelle approche axée sur les risques pour l’approbation d’accords de contribution (voir l’annexe A) et, comme nous l’avons mentionné, il a créé des outils normalisés, y compris un modèle d’accord de contribution.
  • La vérification interne de 2013 des S et C^{Note de bas de page 19} a aussi dégagé cinq recommandations, dont certaines ont mené à la mise en œuvre d’une approche progressive, harmonisée avec l’allocation de budget du Ministère et les processus de planification, pour soutenir l’exécution dans les meilleurs délais des approbations de S et C.
• Les résultats du sondage auprès des bénéficiaires de financement sur les aspects liés à l’efficience des programmes de contribution selon les MG sont présentés au tableau 3. Les réponses ont été très positives; une grande majorité des répondants (entre 75 % et 100 %) ont répondu positivement à toutes les questions sur les composants de programme.
• Les éléments probants de l’examen des dossiers (c.-à-d., des réponses ouvertes sur le modèle de rapport de projet final) expliquent les réponses positives aux questions du sondage et révèlent que, sur 36 réponses ayant trait aux interactions avec le personnel, 34 étaient positives et indiquaient une relation d’étroite collaboration entre les organisations bénéficiaires et le personnel d’ECCC^{Note de bas de page 20}.
• Il existe un processus systématique en place pour classer en ordre de priorité les projets à financer par S et C, y compris ceux assujettis à des MG. Ce processus devrait faire en sorte de bien cibler le financement et les activités de projet. Comme le décrit l’annexe A, dans le cadre de la planification annuelle des S et C, les directeurs présentent des propositions de priorité de S et C par sous-programme, qui sont examinées par les directeurs généraux et/ou les SMA. Les SMA font ensuite des recommandations à l’égard des priorités de leur direction générale dans le plan annuel des S et C. Enfin, le Comité des SMA sur les S et C formule des commentaires et des recommandations sur les S et C à l’intention du sous ministre.
• À la question sur l’efficience et l’économie, une majorité des personnes interrogées a indiqué que les résultats attendus des projets soutenus par les MG ont été produits à un coût de programme raisonnable (p ex., en raison de l’optimisation de ressources supplémentaires comme le financement et le savoir-faire des partenaires de projet).
• En ce qui a trait au mécanisme des MG en général, la majorité des personnes interrogées ont indiqué que l’approche des MG confère un certain nombre d’avantages, y compris des économies sur le plan administratif parce qu’il y a moins de modalités à gérer; une flexibilité à réagir rapidement aux nouvelles priorités et possibilités de projet (p. ex., conception d’un programme pilote); une cohérence et une normalisation de l’approche à l’échelle de tous les programmes et une assurance d’harmonisation des contributions avec l’AAP. Le principal inconvénient mentionné par les intervenants rencontrés était l’absence d’harmonisation entre certains projets de recherche et les MG.

Source : Sondage des bénéficiaires de financement selon les MG (n=57). Les répondants ont noté leur réponse sur une échelle de 5 points (où 1 = « Tout à fait en désaccord » et 5 = « Tout à fait d’accord »). Les réponses « Ne sais pas » et « Sans objet » ont été exclues.

Rapidité des versements

• En dépit des résultats surtout positifs, la rapidité des versements est le seul secteur de prestation de programme qui pourrait être amélioré selon les éléments probants recueillis.
  • L’examen des dossiers a permis de révéler que, sur les 25 rapports de projet finaux ayant traité des inefficacités relatives au processus de S et C, 20 rapports ont mentionné spécifiquement la lenteur des versements. En particulier, ces bénéficiaires ont souligné qu’ils ont éprouvé des difficultés à profiter de financement supplémentaire en raison des délais de réception de l’avis d’acceptation de leur proposition et que la réception des fonds tenait rarement compte des échéanciers des projets, ce qui a eu un impact négatif sur l’atteinte des objectifs des projets.
  • Environ la moitié des intervenants clés interrogés a fait remarquer que de longs délais peuvent empêcher le respect des échéanciers de projets lorsque ces projets doivent se dérouler pendant une période ou une saison donnée ou que les promoteurs ne sont plus disponibles.
  • Bien que les réponses au sondage aient été très positives (voir le tableau 3), les bénéficiaires de financement sondés étaient plus ou moins d’accord que « l’avis de financement a été reçu en temps opportun » (75 %), et une majorité de ceux qui étaient en désaccord (13 %) a indiqué que cela leur a causé des problèmes comme des retards dans l’achat d’équipement de laboratoire ou l’embauche de personnel et les a exposés à des risques financiers. Les bénéficiaires ont affirmé que les échéanciers pour la présentation des demandes de financement peuvent porter à confusion et être difficiles à respecter, car souvent le délai est très court entre l’avis de financement et la date d’échéance pour l’utilisation des fonds.
• Les bénéficiaires ayant répondu au sondage ont fait les suggestions suivantes en vue d’améliorer l’efficience : accélérer le processus de négociation et l’envoi de l’avis de financement pour donner suffisamment de temps aux bénéficiaires d’utiliser les fonds de manière sensée avant l’échéance de la fin de l’exercice financier; prévoir des contributions pluriannuelles et autoriser le report du financement d’une année à l’autre; réduire le fardeau administratif en simplifiant le processus d’établissement de rapports annuels sur les activités et les finances. En général, cependant, les bénéficiaires de financement ont le sentiment que le processus de financement par contribution fonctionne bien et qu’il a été essentiel au succès de leur projet.

Partenariats de projet et optimisation du financement d’ECCC

• L’examen des dossiers de projet a permis de constater que, pour 62 des 85 projets financés par ECCC, les bénéficiaires ont pu profiter de financement supplémentaire (en argent ou en nature) provenant de 251 autres contributeurs, pour une moyenne de trois contributeurs autres qu’ECCC par projet. En général, si l’on tient compte à la fois des contributions financières et en nature, les projets ont reçu en moyenne des fonds provenant d’ECCC dans une proportion de 36 % et d’autres partenaires dans 64 %, pour un ratio de contribution aux projets de 1,79. Il convient de noter que 16 de ces projets ont été menés sans autre partenaire de financement, et que des informations sur les contributions de partenaire étaient manquantes pour 7 projets. Une évaluation du financement optimisé par autorisation-cadre est présentée dans le tableau 4 ci-dessous.
• Les types les plus courants de partenaires de projet identifiés par les bénéficiaires de financement dans le sondage sont des établissements d’enseignement (32 %), d’autres ministères/organismes fédéraux (25 %), des organisations environnementales non gouvernementales (24 %) et d’autres types de partenaires, comme d’autres ordres de gouvernement (19 %). La forme d’assistance reçue de ces organisations le plus souvent mentionnée était des fonds ou un soutien financier (67 %), suivie d’un soutien autre que financier sous forme de conseils de recherche/techniques (47 %) et un soutien bénévole ou de la part du personnel (46 %). Une majorité de répondants (65 %) ont déclaré que le financement par contribution reçu d’ECCC les a aidés à obtenir du financement supplémentaire d’autres sources dans une grande à très grande mesure (ayant répondu 4 ou 5 sur une échelle de 5 points).
• L’examen des dossiers de projet a fourni des réponses dans le cas de 20 bénéficiaires de financement, à propos de l’efficacité de la collaboration entre les partenaires et les parties prenantes des projets. Parmi ces réponses, 18 rapports de projet ont souligné qu’une collaboration efficace entre les partenaires avait principalement contribué à l’atteinte des objectifs des projets, notamment lorsque la portée d’un projet était très vaste.

Remarque : Le taux de contribution aux projets a été calculé en divisant le financement total des partenaires par celui d’ECCC.
Source : Examen des dossiers de projet (n=85).

4.2.3 Mesure du rendement

L’information sur le rendement disponible est incomplète. L’information au niveau du projet est fournie dans le modèle de rapport de projet final pour la plupart, mais pas l’ensemble, des projets assujettis aux MG. Néanmoins, les rapports finaux portent surtout sur les activités de projet et les extrants, par opposition aux résultats environnementaux attendus. Même si chaque MG précise les résultats attendus et les indicateurs de rendement qui y sont associés, l’évaluation n’a trouvé aucun élément probant de mesure du rendement par rapport aux résultats attendus et aux indicateurs. ECCC ne dispose d’aucune information de gestion regroupée sur le rendement des projets assujettis aux MG.

• Pour les programmes et les sous-programmes de l’AAP, l’information sur le rendement est recueillie par rapport aux résultats attendus et aux indicateurs de rendement conformément au Cadre de mesure du rendement (CMR) du Ministère, et présentée dans les rapports de rendement ministériels^{Note de bas de page 21}. Par contre, ces résultats attendus et indicateurs de rendement sont différents de ceux établis pour les MG. En plus du CMR, des données sur le rendement des programmes sont recueillies dans le cadre des stratégies de mesure du rendement des programmes, bien qu’il y ait des lacunes à cet égard pour certains secteurs de programme à l’échelle du Ministère^{Note de bas de page 22}.
• Les modalités pour chaque autorisation-cadre précisent les résultats attendus (énumérés à l’annexe C) et les indicateurs de rendement, qui en général sont liés, mais distincts des résultats attendus et des indicateurs du CMR du Ministère^{Note de bas de page 23}. Les modalités indiquent que ces indicateurs spécifiques aux MG serviront à effectuer un suivi de l’incidence et de l’efficacité des contributions à l’égard de la réalisation des résultats des programmes, et à rendre compte des progrès accomplis. Or, selon les éléments probants de l’évaluation, cette procédure ne semble pas être suivie, car les indicateurs de rendement propres aux MG ne sont pas définis dans les accords de contribution ni dans les modèles de rapport de projet final, et la plupart des intervenants clés interrogés ne semblent pas bien connaître ces indicateurs. L’ancienne Direction générale de l’intendance environnementale du Ministère a proposé un cadre de mesure du rendement^{Note de bas de page 24} pour Biodiversité – Espèces sauvages et habitats, utilisant les résultats attendus et les indicateurs des modalités, mais il n’y a pas d’éléments probants qui montrent que ce cadre a été bel et bien utilisé. L’évaluation n’a relevé aucune autre stratégie de mesure du rendement similaire utilisant les résultats attendus et les indicateurs pour les cinq autres MG.
• Une majorité d’intervenants clés et de bénéficiaires de financement ayant répondu au sondage (91 %) ont mentionné que les indicateurs de rendement sont élaborés en fonction des livrables et résultats attendus des projets à court terme, mais un petit nombre d’intervenants ont fait remarquer que les livrables ou les résultats sont vaguement formulés dans certains accords de contribution. En outre, 79 % des bénéficiaires de financement ont indiqué que les données sur le rendement sont recueillies par rapport à des activités de projet et des résultats attendus à court terme. Parmi les exemples fournis de données sur le rendement de projet, mentionnons les niveaux de sensibilisation et de participation; l’état d’avancement des activités/livrables de projet; les estimations des populations d’oiseaux migrateurs et autres données sur ces oiseaux et les données quantitatives sur les résultats de projet. Comme on pourrait s’y attendre, les bénéficiaires de financement ont échangé plus souvent des données sur le rendement avec ECCC dans les modèles de rapport de projet final du Ministère (37 %) et les rapports de projet annuels (34 %). D’autres méthodes ont été employées pour communiquer les données au Ministère, notamment les rapports d’experts et techniques, les courriels, les appels téléphoniques/téléconférences, les réunions et les ateliers.
• Pour chaque projet financé, l’accord de contribution précise les exigences de rapports financiers (état des flux de trésorerie, prévisions financières, rapport annuel et final) et de rapports sur l’état d’avancement des activités de projet (rapports annuels et finaux). Pour faciliter la production de ces rapports, la Direction générale des services ministériels et des finances a élaboré un modèle de rapport de projet (mentionné ci-dessus). Les gestionnaires de projet sont libres d’utiliser ou non ce modèle normalisé ou, avec l’approbation d’ECCC, de l’adapter ou d’utiliser un autre format de rapport qui convient mieux à leurs exigences de rapport. Toutefois, le modèle de rapport de projet final n’exige pas précisément des informations sur tout résultat attendu selon les MG qui est mentionné dans les accords de contribution.
• L’examen des dossiers de projet a permis de constater que, dans le cas de 21 projets (25 % de l’échantillon), les rapports financiers et d’activités finaux n’avaient pas été remplis^{Note de bas de page 25}. Même si les modèles de rapport ont été en général bien remplis pour les autres projets, on n’a pas obtenu de réponses uniformes aux questions ouvertes ayant trait aux résultats de projet, aux leçons tirées, à la durabilité des projets et à la rétroaction sur les interactions avec le personnel d’ECCC. Dans la plupart des cas, la contribution du projet aux résultats attendus selon les MG applicables, incluse dans l’accord de contribution, n’était couverte qu’indirectement. Contrairement aux résultats du sondage et des entrevues mentionnés précédemment, qui laissent entendre que les indicateurs de rendement sont élaborés pour des résultats de projets à court terme, l’examen des dossiers indique que les rapports sont généralement axés sur les activités et extrants de projet^{Note de bas de page 26}.
• Le Ministère ne possède pas présentement d’information regroupée sur le rendement de projet pour les S et C (c.-à-d., des données sur l’état d’avancement des activités, des extrants et des résultats de projet). Néanmoins, la Direction générale des services ministériels et des finances maintient une base de données des S et C qui contient des renseignements financiers sur les projets financés selon chacune des six MG. Cette base de données sert également à assurer un suivi des dépenses de S et C et de l’avancement des projets de S et C à des fins de paiement. Par contre, cette base de données ne comprend aucune information sur le rendement des projets financés, et elle n’a pas été élaborée pour saisir ce type d’information^{Note de bas de page 27}. En outre, même si elle identifie le gestionnaire du programme d’ECCC responsable et le promoteur du projet, elle ne comprend pas les coordonnées des promoteurs du projet, information qui serait utile pour appuyer la mesure et l’évaluation du rendement (p. ex., lorsqu’on veut effectuer un sondage auprès des bénéficiaires, comme celui mené dans la présente évaluation).
• L’absence d’information regroupée sur le rendement de projet qui a été relevée est conforme avec les conclusions de l’évaluation des programmes de financement d’ECCC pour les espèces en péril de 2013 du Commissaire à l’environnement et au développement durable (CEDD). Cette vérification a permis de constater que, même si les résultats de projets financés étaient suivis au niveau du projet et parfois compilés au niveau d’un programme, il n’y avait aucune compilation globale ni évaluation de la contribution cumulative des programmes de financement à l’atteinte des résultats de haut niveau. Une telle évaluation serait particulièrement utile pour éclairer les priorités de financement futures^{Note de bas de page 28}. Des améliorations à ces programmes de financement ont été apportées à la suite des constatations du CEDD en 2013^{Note de bas de page 29}.

4.3. Rendement – Efficacité

L’évaluation a permis de constater que les activités planifiées et les résultats attendus à court terme des projets sont pour la plupart en voie d’être terminés, même si des éléments probants pour les derniers se limitent à des opinions exprimées par des gestionnaires de programme et des bénéficiaires de financement. En outre, même si les éléments probants pourraient laisser entendre que les projets contribuent aux résultats attendus selon les MG, il n’est pas possible de tirer des conclusions définitives de manière efficace en raison du manque d’information objective sur le rendement. De plus, aucun résultat inattendu du mécanisme des MG n’a été relevé.

Activités et résultats à court terme des projets

• Tout porte à croire que la plupart des activités de projet financées et des résultats à court terme sont en cours de réalisation :
  • La plupart des intervenants clés interrogés ont indiqué que les résultats attendus des projets terminés financés dans le cadre des MG dans leur secteur de programme ont été atteints dans une large mesure (c.-à-d. 4 ou 5 sur une échelle de 5 points)
  • Dans l’échantillon de l’examen complet des dossiers (85 projets), 318 activités au total ont été mises en œuvre. Il n’a toutefois pas été possible de déterminer la réalisation des activités pour 9 projets (10 %), en raison d’une documentation de projet manquante.
  • Sur les 282 autres activités évaluées (représentant 76 projets), 216 activités (77 %) ont été achevées comme prévu dans le délai établi dans l’accord de contribution, 38 activités (13 %) ont été achevées partiellement et 11 activités (4 %) ont été modifiées au cours de la durée du projet. Seules 9 activités (3 %) n’ont pas été achevées.
  • Dans le sondage, près de neuf bénéficiaires de financement sur dix ont indiqué que leurs activités de projet étaient entièrement (63 %) ou pratiquement (31 %) achevées comme prévu (4 ou 5 sur une échelle de 5 points). Le même nombre de bénéficiaires a indiqué que les résultats attendus de leur projet étaient entièrement (63 %) ou pratiquement atteints (31 %). (voir la figure 1).
• Les personnes interrogées ont néanmoins relevé certains problèmes et facteurs ayant négativement influé sur l’atteinte des résultats de projet attendus, y compris la remise tardive des rapports de projet ou des produits et une modification de la contribution financière d’autres parties concernées. En revanche, les facteurs ayant positivement influé sur l’atteinte des résultats de projet comprennent la bonne coordination avec les activités menées par le programme connexe d’ECCC et le financement supplémentaire d’une autre partie.

Source : Sondage des bénéficiaires de financement selon les MG (n=57); Les réponses « Ne sais pas » et « Sans objet » ont été exclues.

• Cinquante-et-un des 85 bénéficiaires de financement dont les dossiers ont été examinés^{Note de bas de page 30} ont indiqué que leur projet serait maintenu en totalité ou en partie à la fin du financement d’ECCC, même si 10 de ces bénéficiaires ont également demandé du financement supplémentaire du même programme ou de programmes d’ECCC similaires. Parmi les autres moyens mentionnés par les bénéficiaires pour maintenir les projets figurent les contributions financières et en nature des gouvernements provinciaux et territoriaux, d’autres ministères fédéraux, de sources internationales et d’organisations non gouvernementales.

Résultats attendus selon les MG

• Compte tenu du manque d’information sur les résultats, dans le cadre de l’examen des dossiers, les évaluateurs ont noté dans quelle mesure les activités de projet menées à terme ont semblé contribuer aux résultats attendus selon les MG^{Note de bas de page 31} précisés dans l’accord de contribution (sur une échelle allant de « pas du tout » (1) à « dans une large mesure » (5)). Cet exercice de notation a permis de constater une forte contribution aux 87 résultats attendus pour tous les projets de l’échantillon. Les contributions des projets ont été jugées importantes à très importantes (4 ou 5 sur l’échelle) pour 95 % des résultats attendus, et modérées (3 sur l’échelle) pour les 5 % restants des résultats. La note moyenne pour chacune des six MG variait de 4,3 à 4,9 sur 5.
• De façon similaire, dans le sondage, les bénéficiaires de financement ont dû noter dans quelle mesure leur projet a contribué aux résultats attendus selon les MG précisées dans leur accord de contribution (à partir de la même échelle de 5 points, comme pour l’examen des dossiers). Cette fois encore, on constate que les projets ont contribué aux résultats attendus. Sur un total de 206 réponses, tous résultats attendus applicables confondus^{Note de bas de page 32}, la majorité des réponses (75 %) ont indiqué que les projets ont contribué dans une grande à très grande mesure. Les autres réponses ont indiqué une contribution modérée (16 %) ou peu ou pas de contribution (9 %). La notation moyenne de toutes les réponses et des résultats attendus était de 4,0 sur 5.
• Cependant, en raison des limites associées aux éléments probants ci-dessus (c.-à-d., seuls des éléments probants partiels et indirects figurent dans les dossiers de projet, et le manque d’objectivité possible des répondants au sondage invités à noter le rendement de leur propre projet), ainsi que le manque de données réelles sur le rendement, il n’est pas possible de tirer des conclusions définitives et objectives à l’égard de la réalisation des résultats attendus selon les MG.

Résultats imprévus

Aucun résultat inattendu du mécanisme des MG n’a été relevé au cours de l’évaluation.