Évaluation du programme de subventions et contributions pour l’évaluation d’impact : Rapport final
Préparé pour :
Agence d’évaluation d’impact du Canada
Prepared by:
Goss Gilroy Inc.
Conseillers en gestion
Bureau 900, 150 rue Metcalfe
Ottawa (Ontario) K2P 1P1
Tél. : 613-230-5577
Télécopieur : 613-235-9592
Courriel : ggi@ggi.ca
Date :
13 février 2025
© Sa Majesté le Roi du chef du Canada, représentée par le ministre de l’Environnement et du Changement climatique, 2025.
Cette publication peut être reproduite sans autorisation pour usage personnel ou interne dans la mesure où la source est indiquée en entier. Toutefois, la reproduction multiple de cette publication en tout ou en partie à des fins de redistribution nécessite l’autorisation écrite préalable de l’Agence d’évaluation d’impact du Canada, Ottawa (Ontario) K1A 0H3 ou information@aeic-iaac.gc.ca.
No de catalogue : En106-283/2025F-PDF
ISBN 978-0-660-75563-2
Le document est aussi publié en anglais sous le titre : Evaluation of the Impact Assessment Grants and Contributions Program.
- Acronymes
- Résumé
- Réponse et plans d’action de la direction
- 1.0 Introduction
- 2.0 Constatations
- 3.0 Conclusions et recommandations
- Annexe A : Modèles logiques pour les volets du programme
- Annexe B : Matrice d’évaluation
Acronymes
- ACS
- Analyse comparative entre les sexes
- AEIC
- Agence d’évaluation d’impact du Canada
- CCA
- Comité consultatif autochtone
- CCT
- Comité consultatif technique
- CEAF
- Comités d’examen de l’aide financière
- CSSC
- Comité de surveillance des subventions et des contributions
- EI
- Évaluation d’impact
- ER
- Évaluation régionale
- GGI
- Goss Gilroy Inc.
- LEI
- Loi sur l’évaluation d’impact
- MR
- Mesure du rendement
- PAFP
- Programme d’aide financière aux participants
- PDP
- Programme de dialogue sur les politiques
- PIR
- Profils d’information sur le rendement
- PR
- Programme de recherche
- S et C
- Subventions et contributions
Résumé
L’Agence d’évaluation d’impact du Canada (AEIC) a mené une évaluation du Programme de subventions et de contributions (S et C) pour l’évaluation d’impact (EI). L’évaluation a été achevée en 2024-2025. Son objectif était d’évaluer la pertinence, l’efficacité et l’efficience du Programme de S et C pour l’EI de 2019-2020 à 2022-2023, ainsi que les interactions et les relations entre les quatre volets individuels.
L’évaluation a utilisé six méthodes de collecte de données, notamment : documents, données administratives et examen des dossiers; entrevues avec trois types d’intervenants clés (intervenants internes, intervenants externes et bénéficiaires d’aide financière de tous les volets du programme); sondage en ligne auprès des bénéficiaires d’aide financière; études de cas de projet; examen comparatif des programmes d’aide financière et de recherche semblables offerts par d’autres organismes fédéraux; et application d’un outil d’adoption et d’utilisation des connaissances (OAUC) axé sur cinq produits de recherche.
Le Programme de S et C pour l’EI
L’AEIC collabore avec le public et les communautés et organisations autochtones pour : répondre aux exigences légales, remplir l’obligation légale de la Couronne de consulter les peuples autochtones, faire avancer la réconciliation avec les peuples autochtones et promouvoir l’élaboration de politiques solides et une bonne gouvernance.
Les objectifs du Programme de S et C pour l’EI sont la réduction des obstacles financiers à surmonter pour que les individus de partout au Canada puissent participer de manière significative aux EI, aux évaluations régionales (ER) et à l’élaboration de politiques, le renforcement de la capacité des communautés et des organisations autochtones à participer aux évaluations actuelles et futures, et le soutient à la recherche liée à l’évaluation d’impact. Les quatre volets qui constituent le programme sont :
- Le programme d’aide financière aux participants (PAFP);
- Le programme de soutien des capacités autochtones (PSCA)
- Le programme de dialogue sur les politiques (PDP);
- Le programme de recherche (PR).
Conclusions
Pertinence
Il y a un besoin continu pour le programme. Il répond au besoin de l’AEIC afin de remplir son mandat et l’obligation légale du gouvernement du Canada d’assurer la participation et la mobilisation des peuples autochtones et des intervenants. Il répond également aux besoins des bénéficiaires d’aide financière pour renforcer leurs capacités à habiliter les membres de la communauté à participer aux consultations autochtones actuelles et futures et à la mobilisation du public. Le programme répond à ce besoin en fournissant une aide financière qui : 1) renforce les capacités en matière d’EI; 2) améliore la compréhension de l’EI et des processus et activités liés à l’EI; et 3) permet de participer au processus d’EI.
Les lacunes restantes dans la réponse aux besoins des bénéficiaires du programme comprennent des domaines liés aux montants d’aide financière, à leur suffisance pour renforcer les capacités et à la flexibilité d’utilisation des fonds pour d’autres priorités.
La mesure dans laquelle les besoins des populations diverses sont pris en compte par le programme varie selon les quatre volets du programme. Plus précisément, les lignes directrices du PAFP et du PDP ne mentionnent pas la diversité comme critère ou considération pour l’aide financière, tandis que le PSCA et le PR ont pris en compte la diversité pour déterminer les montants et les priorités de financement. La conception et la mise en œuvre du programme tiennent compte des besoins des populations diverses grâce à l’inclusion de l’analyse comparative entre les sexes plus (ACS Plus) dans les appels d’aide financière et les critères d’évaluation, à des processus simplifiés pour encourager les demandes des communautés à plus faible capacité, à des efforts pour atteindre un équilibre des genres au sein des comités, et à une aide financière disponible pour les demandeurs autochtones et non autochtones. À leur tour, les lacunes se reflètent par un manque de stratégies ciblées de sensibilisation dirigées vers les populations touchées, une diversité limitée parmi les bénéficiaires de l’aide financière, et un manque de soutien pour les communautés à faible capacité.
Le programme est clairement aligné sur les priorités du gouvernement fédéral et de l’AEIC. Particulièrement, l’AEIC doit remplir l’obligation légale de la Couronne de consulter les peuples autochtones, et la Loi sur l’évaluation d’impact (LEI) stipule qu’un programme d’aide financière aux participants doit être établi. La LEI discute en outre de l’importance de la participation du public au processus d’évaluation d’impact, de l’engagement du gouvernement à garantir les droits des peuples autochtones du Canada et à favoriser la réconciliation et le partenariat avec eux, ainsi que de l’engagement du gouvernement à mettre en œuvre la Déclaration des Nations Unies sur les droits des peuples autochtones.
Efficacité
L’évaluation a révélé que le PAFP, le PSCA et le PR ont renforcé les capacités en matière de connaissances accrues, de compréhension, de compétences ou d’informations. Cependant, le manque de capacité continue d’être fréquemment mentionné comme une occasion d’amélioration et comme un obstacle à la réalisation des résultats. Pour le PDP, il n’est pas clair si des capacités ont été renforcées (c’est-à-dire, s’ils ont acquis de meilleures connaissances en matière d’évaluation et d’information, s’ils sont plus aptes à fournir des conseils et des rétroactions), bien que quelques bénéficiaires de l’aide financière du PDP aient affirmé que c’était le cas.
En ce qui concerne les relations améliorées avec les communautés et les organisations autochtones, l’évaluation n’a pas pu déterminer directement les progrès. Il semble que les relations avec les communautés et les organisations autochtones se soient améliorées grâce à l’utilisation d’indicateurs substitutifs. Le PDP a un résultat qui inclut des relations avec le public, mais les données probantes sont moins positives, avec un pourcentage plus faible de bénéficiaires récurrents qui sont des intervenants. Cependant, l’AEIC a assisté à un grand nombre de réunions avec les intervenants. Pour sa part, le PR a augmenté la diversité des chercheurs ainsi que l’étendue de la communauté de recherche, bien que dans une moindre mesure.
L’évaluation a révélé que le Programme a augmenté la participation ou l’engagement dans les activités connexes à l’évaluation, y compris la rétroaction sur les politiques, lignes directrices, outils et pratiques liées à l’évaluation. La mesure dans laquelle la participation est significative est moins évidente.
Les praticiens de l’EI ont un meilleur accès à l’information des communautés et organisations autochtones ainsi que du public. Cela se fait par le biais d’activités financées par le PAFP et le PDP. Le PR a également généré une grande quantité d’informations qui ont été partagées, tant à l’interne qu’à l’externe. Cependant, l’évaluation a révélé qu’il faudrait en faire davantage pour accroître la diffusion des produits de recherche, en particulier à l’extérieur de l’AEIC.
Ainsi, bien qu’il y ait eu de bons progrès vers la réalisation des résultats immédiats et intermédiaires les plus importants dans tous les volets du programme, la réalisation des résultats à plus long terme est moins claire. En particulier, il est nécessaire de faire davantage de travail pour s’assurer que l’aide financière mène à une participation significative, à des évaluations plus efficaces et à des évaluations de grande qualité.
Les facteurs facilitants pour la réalisation des résultats se sont largement concentrés sur le personnel de grande qualité et les bons processus de prestation. Les facteurs entravants se concentrent sur les montants et les restrictions de financement, la sensibilisation au programme parmi certains demandeurs potentiels, les retards dans les décisions d’aide financière, et le manque d’engagement auprès des partenaires externes et des équipes de travail au sein de l’AEIC pour identifier les priorités de recherche et communiquer les produits de recherche.
Efficience
La conception globale du programme est appropriée et efficiente. Les différents volets du programme abordent divers aspects liés à la participation aux évaluations d’impact et à la génération de connaissances. De plus, la conception est intégrée pour la plupart. Plusieurs mesures ont été prises pour améliorer l’efficacité du programme, avec des recommandations présentées au Comité de surveillance des subventions et des contributions (CSSC) au printemps 2021 et mises en œuvre par la suite. Le Programme a également entrepris deux examens pour s’assurer que la conception et la prestation sont efficaces et efficientes, ce qui a donné lieu à une série de recommandations adoptées par l’AEIC, les changements devenant les caractéristiques actuelles de l’approche de conception et de prestation du Programme. Plusieurs caractéristiques positives de la conception ont été mises en avant par les personnes consultées pour l’évaluation. L’amélioration de conception communément mentionnée était le besoin d’une aide financière supplémentaire, en particulier une aide financière à long terme. Plus de flexibilité dans ce qui est financé ou comment l’aide financière peut être utilisée a également été mentionnée par les bénéficiaires d’aide financière.
Tous les éléments de conception (c.-à-d. la portée, le public cible et les critères d’admissibilité) du PAFP, du PSCA et du PR sont conformes aux programmes d’aide financière comparables d’autres organisations fédérales et sont considérés comme des pratiques exemplaires. (Le PDP n’a pas été inclus dans l’examen comparatif en raison du manque de programmes comparables.)
L’évaluation a révélé que les approches de prestation des volets du programme sont complémentaires et coordonnées. L’administration du programme, la gouvernance, la prise de décision et la prestation de services sont intégrées pour trois volets du programme (PAFP, PSCA et PDP). Le PR est géré au sein d’une unité organisationnelle distincte et semble avoir des mécanismes uniques pour identifier et formuler des initiatives d’aide financière. Tous les volets du programme contribuent aux objectifs plus larges de l’AEIC. Un examen des différents modèles logiques pour chacune des volets du programme révèle un degré modéré de chevauchement entre les résultats du PAFP, du PSCA et du PDP.
L’administration du programme est très efficace. Le processus de demande pour les volets du programme de l’AEIC a généralement été perçu par les bénéficiaires de l’aide financière comme étant clair, facile et efficace, avec un soutien en temps opportun fourni par le personnel de l’AEIC lorsque demandé. Cela étant dit, plusieurs suggestions ont été faites pour améliorer la sensibilisation aux possibilités d’aide financière et simplifier le processus de demande. Plusieurs des personnes consultées pour l’évaluation ont noté des améliorations récentes dans les processus d’allocation de l’aide financière. Amélioration de la rapidité de la prise de décision en particulier, se reflète dans les normes de service. Cependant, il reste encore du travail à faire pour améliorer la rapidité de la signature des ententes, les communications internes concernant les initiatives d’aide financière disponibles et simplifier les approbations, en particulier pour les bénéficiaires récurrents. La gouvernance et les processus de paiement semblent bien fonctionner.
La mesure du rendement (MR) en est à ses débuts, une stratégie de MR ayant été introduite en 2023. Alors que les données de rendement sont détenues par l’équipe du Programme d’aide financière de la Direction des partenariats autochtones, un examen des indicateurs et des approches de mesure révèle que de nombreux indicateurs ont plusieurs propriétaires de données. Les pratiques exemplaires en matière de pratiques de MR notent que la responsabilité de la collecte de l’indicateur (ou des données utilisées pour répondre à l’indicateur) devrait reposer sur un poste. De plus, un examen des modèles logiques des volets du programme révèle également un degré modéré de chevauchement entre les résultats du PAFP, du PSCA et du PDP (et un chevauchement mineur avec les résultats du PR). La présence de plusieurs propriétaires de données et de chevauchement entre les résultats (et les indicateurs) pourrait entraîner une diminution de l’efficacité et une production de rapports incohérentent à travers les volets du programme. Les approches de surveillance sont généralement conformes aux pratiques des autres ministères, bien que quelques bénéficiaires d’aide financière aient souligné quelques possibilités d’amélioration.
Recommandations
- Augmenter la prise en compte des besoins des populations diverses. Mettre en place des procédures normalisées pour garantir la cohérence des efforts visant à accroître la diversité des participants dans tous les volets de l’aide financière.
- Tenir compte de l’intégration des critères et des considérations supplémentaires en matière d’équité, de diversité et d’inclusion dans les procédures de disponibilité de l’aide financière pour garantir qu’un large éventail d’organisations et de communautés (y compris les communautés à faible capacité) aient accès à l’aide financière.
- Augmenter la participation du public (c’est-à-dire non autochtone) aux programmes d’aide financière. Adapter les stratégies de sensibilisation et les procédures de demande pour encourager et faciliter l’accès à l’aide financière (et la participation ultérieure aux évaluations) parmi les membres du public (c’est-à-dire les personnes non autochtones).
- S’assurer que le personnel de l’AEIC dispose des informations nécessaires concernant les possibilités d’aide financière disponibles et les publics cibles.
- Prendre en compte l’identification de réseaux communautaires et de forums pour promouvoir les occasions d’aide financière.
- Créer un formulaire de demande simplifié qui est adapté aux membres du public.
- Fournir des commentaires plus détaillés aux demandeurs non retenus.
- Pour le PSCA en particulier, améliorer le mécanisme de rétroaction pour communiquer les décisions d’aide financière aux demandeurs, y compris aux demandeurs non retenus, afin de promouvoir la transparence.
- Considérer le partage des raisons spécifiques pour lesquelles la demande a été refusée par une lettre ou en partageant la grille de notation avec les demandeurs non retenus.
- Élargir la diffusion des produits de recherche. Augmenter la sensibilisation et l’accessibilité des produits de recherche à un public plus large.
- Envisager de déterminer et de mettre en œuvre des stratégies de diffusion ciblées supplémentaires pour améliorer l’adoption des résultats de recherche à la fois en interne et en externe.
- Simplifier la mesure du rendement. En fonction de l’expérience de la première année de mise en œuvre de la stratégie de gestion des programmes, envisagez de développer et de mettre en œuvre un système centralisé de gestion de l’information sur les S et C qui permettra de :
- Dans la mesure du possible, attribuer la responsabilité des données associées à chaque indicateur à un seul poste.
- Intégrer la collecte des données similaires (pour des résultats similaires) parmi les volets du programme pour augmenter l’efficacité.
- Simplifier les rapports aux décideurs, plutôt que de fournir des informations séparées, mais similaires par composante de programme.
Réponse et plans d’action de la direction
Recommandation 1 :
Augmenter la prise en compte des besoins des populations diverses. Mettre en place des procédures normalisées pour garantir la cohérence des efforts visant à accroître la diversité des participants dans tous les volets de l’aide financière.
- Tenir compte de l’intégration des critères et des considérations supplémentaires en matière d’équité, de diversité et d’inclusion dans les procédures de disponibilité d’aide financière pour garantir qu’un large éventail d’organisations et de communautés (y compris les communautés à faible capacité) aient accès à l’aide financière.
Déclaration d’accord ou de désaccord
La direction du programme est partiellement d’accord avec cette recommandation.
Réponse de la direction
Le programme d’aide financière estime que cette recommandation n’est pas requise pour l’aide financière aux Autochtones dans le cadre des programmes d’aide financière aux participants, de soutien des capacités autochtones et de dialogue sur les politiques. L’AEIC dispose également de processus clairs et documentés pour s’assurer qu’elle atteint divers groupes de peuples autochtones ainsi que des organisations et des membres du public autochtones.
Programme d’aide financière aux participants
Le Programme d’aide financière aux participants (PAFP) est déjà très diversifié et offre une aide financière à tous les groupes autochtones désignés aux fins de consultation, peu importe leur capacité, pour appuyer la participation des Autochtones aux évaluations d’impact et aux évaluations régionales.
Dans le cadre de ce programme, une aide financière est accessible aux groupes autochtones de façon proactive, sur la base de l’évaluation préliminaire de l’ampleur et de la profondeur des consultations (EPEPC), pour les aider à participer efficacement à l’évaluation et à la consultation. L’Agence adapte ses activités de consultation en fonction des répercussions potentielles de chaque projet sur les collectivités autochtones et leurs droits. En tant que responsable fédéral des consultations entre la Couronne et les Autochtones au cours d’un processus d’évaluation, l’AEIC désigne les groupes autochtones et les instances qui pourraient être touchés par un projet proposé. L’AEIC fournit également des renseignements et offre de consulter ces groupes et d’assurer la coordination avec eux, encourage leur participation et leur collaboration continues, tient compte des commentaires des groupes autochtones et y répond avant de prendre des décisions, et détermine les mesures d’atténuation et d’accommodement nécessaires.
L’AEIC reconnaît également que la participation du public est un élément essentiel d’un processus d’évaluation ouvert, éclairé et significatif. L’un de ses principes directeurs pour une mobilisation inclusive et équitable consiste à cerner et à éliminer les obstacles qui peuvent empêcher le public de participer pleinement et sur le même pied d’égalité aux activités de mobilisation, et à adapter l’approche de mobilisation aux besoins des participants. L’AEIC dispose de nombreux documents et offre de nombreuses formations pour s’attaquer aux obstacles communs à la participation du public, ainsi que des pratiques exemplaires pour réduire ou éliminer ces obstacles. L’AEIC établit des listes de contrôle pour la désignation des intervenants de manière à aider les équipes de projet à repérer les intervenants potentiels qui pourraient être touchés par une évaluation de projet en particulier ou qui pourraient s’y intéresser. Cette liste comprend diverses collectivités de personnes ou d’organisations et est utilisée pendant la phase de planification préliminaire et tout au long du processus d’évaluation.
En ce qui concerne les considérations et critères supplémentaires liés à l’équité, à la diversité et à l’inclusion dans les procédures de disponibilité de l’aide financière pour le public, l’AEIC collabore avec d’autres équipes pour examiner des stratégies de communication inclusives plus vastes afin de s’assurer que les documents de communication sont accessibles et trouvent écho auprès de divers publics. Elle collabore également avec ces équipes pour mettre en œuvre des mécanismes de rétroaction, comme la réalisation de sondages, et reçoit les commentaires de diverses populations afin d’améliorer continuellement les services et de régler toute préoccupation ou tout obstacle.
Programme de dialogue sur les politiques
Dans le cadre du Programme de dialogue sur les politiques (PDP), la mobilisation du secteur public, des organismes sans but lucratif et des groupes autochtones à l’égard d’initiatives stratégiques et réglementaires est un élément essentiel de la réalisation de processus d’évaluation d’impact et d’évaluation régionale et stratégique ouverts, éclairés et significatifs. Une forte participation des Autochtones et du public donne à l’AEIC l’occasion d’échanger de l’information et de recevoir des commentaires au sujet des initiatives stratégiques et réglementaires. À l’instar du PAFP, le PDP a documenté des approches visant à inclure les groupes d’équité, de diversité et d’inclusion, ainsi que les considérations liées à l’ACS Plus pour cibler divers participants.
Les considérations comprennent des critères inclusifs et des demandeurs admissibles, ainsi que des stratégies de communication vastes et inclusives pour veiller à ce que le matériel de communication soit accessible et interpelle divers publics. L’AEIC a également mis en œuvre des mécanismes de rétroaction, comme la réalisation de sondages, et reçoit les commentaires de populations diverses afin d’améliorer continuellement les services et de régler toute préoccupation ou tout obstacle.
Veuillez noter que l’AEIC tire parti des documents d’orientation et des outils des équipes du Secteur des relations avec les Autochtones pour s’assurer que tous les groupes autochtones sont identifiés, ce qui assure la distribution appropriée de courriels dans les collectivités autochtones (Premières Nations, Inuits et Métis).
Programme de soutien des capacités autochtones
Le Programme de soutien des capacités autochtones (PSCA) est offert uniquement aux bénéficiaires autochtones. L’objectif de ce programme est d’aider à améliorer la capacité des groupes autochtones à participer aux processus d’évaluation environnementale, d’évaluation d’impact et d’évaluation régionale.
L’aide financière du volet 1 est accessible à une grande variété de partenaires du programme et permet de s’assurer que les critères de sélection des bénéficiaires sont d’ordre régional et fondés sur la diversité et les décisions de financement s’appuient sur des considérations liées à l’ACS Plus. L’objectif du volet 1 est de permettre aux organisations de plus grande taille et de plus grande capacité d’aider leurs membres à s’assurer qu’ils disposent des outils nécessaires pour participer aux évaluations environnementales, aux évaluations d’impact et aux évaluations régionales.
L’aide financière du volet 3 est destinée aux communautés ayant des contraintes de capacité. L’équipe travaille avec les bureaux régionaux et la Direction des opérations de consultation pour s’assurer que les demandeurs qui reçoivent des fonds sont ceux qui ont démontré un besoin urgent en matière de capacité. Le programme n’évalue pas seulement un bénéficiaire en fonction de la qualité de la proposition, mais plutôt selon que les activités correspondent à l’objectif du programme. Le processus de demande a été simplifié pour répondre aux exigences du Secrétariat du Conseil du Trésor du Canada.
Programme de recherche
Le Programme de recherche (PR) reconnaît la nécessité d’accroître la prise en compte des besoins de diverses populations pendant les processus d’examen des demandes et du financement. Le PR offre une aide financière à un large éventail de bénéficiaires, y compris des groupes et organisations autochtones, des chercheurs universitaires, des organismes sans but lucratif et des particuliers. Dans le cadre d’un appel de candidatures ouvert lancé récemment, le PR a élaboré un formulaire de demande en langage clair et simple à l’intention des demandeurs et a annoncé l’appel de candidatures sur plusieurs plateformes pour veiller à ce que les possibilités de financement soient largement vues. Dans le formulaire de demande, une section exigeait que les demandeurs fournissent des renseignements sur la façon dont les critères d’équité, de diversité et d’inclusion (EDI) étaient pris en compte dans la conception du projet. Le PR travaille actuellement à l’élaboration d’un formulaire de demande normalisé qui comprend des critères d’EDI et collaborera avec les autres équipes de financement de l’AEIC pour élaborer un processus permettant d’évaluer adéquatement les considérations relatives à l’EDI d’un projet pendant l’examen des demandes de financement.
Le PR continuera de veiller à ce que les besoins de diverses populations soient pris en compte dans les sujets de recherche financés et la conception de la recherche. À ce jour, le PR a financé plusieurs projets axés sur l’EDI, ainsi que sur les expériences de diverses populations participant à l’évaluation d’impact.
Plan d’action de la direction
Mesure ou résultat attendu |
Date d’achèvement prévue |
Responsabilité |
---|---|---|
PAFP et PDP : rencontrer d’autres équipes de l’AEIC pour examiner des stratégies de communication plus vastes et inclusives pour le public. |
31 octobre 2025 |
Vice-président, Secteur des relations avec les Autochtones; |
PAFP et PDP : collaborer avec la Direction de la planification, de la production de rapports et de l’évaluation pour mettre en place des mécanismes de rétroaction, comme les sondages auprès des bénéficiaires de l’aide financière. |
30 avril 2025 |
Vice-président, Secteur des relations avec les Autochtones |
PR : rencontrer d’autres équipes de l’AEIC et des programmes de recherche externes, le cas échéant, afin de discuter de stratégies pour un processus de demande et d’évaluation plus inclusif. |
1er février 2026 |
Vice-président, Secteur des politiques et programmes stratégiques |
RP : inclure les considérations relatives à l’EDI dans l’élaboration de son formulaire de demande standard. |
1er février 2026 |
Vice-président, Secteur des politiques et programmes stratégiques |
Recommandation 2 :
Augmenter la participation du public (c’est-à-dire non autochtone) aux programmes d’aide financière. Adapter les stratégies de sensibilisation et les procédures de demande pour encourager et faciliter l’accès à l’aide financière (et la participation ultérieure aux évaluations) parmi les membres du public (c’est-à-dire les personnes non autochtones).
- S’assurer que le personnel de l’AEIC dispose des informations nécessaires concernant les occasions d’aide financière disponibles et les publics cibles.
- Prendre en compte l’identification de réseaux et de forums communautaires pour promouvoir les occasions d’aide financière.
- Créer un formulaire de demande simplifié qui est adapté aux membres du public.
Déclaration d’accord ou de désaccord
La direction du programme approuve cette recommandation.
Réponse de la direction
L’AEIC s’est engagée à garantir l’accès du public aux renseignements sur l’aide financière et à encourager le plus grand nombre possible de demandeurs admissibles à accéder à l’aide financière. L’AEIC appuie la recherche de moyens nouveaux et créatifs pour encourager la participation du public et de méthodes de sensibilisation adaptées aux besoins particuliers d’une évaluation de projet et d’autres initiatives de financement.
Afin d’améliorer le processus de demande, l’AEIC met actuellement en œuvre un système de gestion de l’information sur les subventions et contributions (S et C), qui permettra de recevoir des documents (comme les demandes d’aide financière) par une interface utilisateur externe. Ces formulaires automatisés seront simplifiés et adaptés au type de demandeur.
PAFP et PDP
La participation du public par le biais du PAFP est essentielle pour mener des évaluations robustes pour comprendre les enjeux entourant un projet et ses répercussions sur les personnes et leur environnement. Pour aviser le public de la disponibilité de l’aide financière aux participants :
- L’AEIC publie des avis publics dans les médias locaux et distribue un communiqué de presse aux médias provinciaux. Ces documents comportent une brève description du projet proposé, l’objectif de l’aide financière aux participants, les phases de l’évaluation pour lesquelles une aide financière est disponible, la date limite de présentation des demandes et le processus d’obtention des formulaires de demande. Le communiqué de presse et l’avis public sont également accessibles sur le site Web du Registre canadien d’évaluation d’impact pour connaître la durée de la participation en cours. Les organisations non gouvernementales du secteur de l’environnement, les associations communautaires et les particuliers actifs dans le domaine de l’EI peuvent y participer. Des communiqués de presse ont également été fournis aux médias des régions concernées par les projets désignés.
- Les bureaux régionaux tiendront des séances d’information en personne ou virtuelles, des journées portes ouvertes ou des réunions dans la région où l’évaluation du projet a lieu et diffuseront l’information sur le financement disponible au public qui ne sera peut-être pas habitué à participer aux processus d’évaluation.
Pour certaines initiatives du PDP, les intervenants sont choisis en fonction de leur expertise et des enjeux stratégiques en cause. À l’aide de moyens ciblés, l’AEIC communique avec les intervenants pour les informer des possibilités de financement. Pour d’autres initiatives, l’AEIC annonce sur son site Web les financements disponibles et les formulaires de demande qui sont à la disposition des candidats admissibles.
Il est important de veiller à ce que le personnel de l’AEIC soit bien informé des possibilités de financement offertes par le PDP pour assurer la réussite du programme. L’AEIC envoie des bulletins internes mettant en évidence les principales possibilités de financement du PDP et des renseignements sur les publics cibles. Une autre stratégie qui peut aider à atteindre cet objectif consiste à demander au personnel des programmes d’aide financière de communiquer les nouvelles possibilités de financement du PDP lors de leurs réunions mensuelles avec les bureaux régionaux afin que d’autres équipes de l’AEIC soient au courant et puissent transmettre ces occasions pendant les réunions de mobilisation.
L’AEIC s’est engagée à faire en sorte que le public ait accès aux renseignements sur l’aide financière et à encourager le plus grand nombre possible de demandeurs admissibles à accéder à l’aide financière. Certains demandeurs potentiels du PAFP et du PDP ont indiqué qu’il fallait diffuser davantage de renseignements sur l’aide financière aux membres du public. Les conversations avec d’autres équipes de l’AEIC (comme les équipes des communications et de la mobilisation) constituent une étape clé pour coordonner les efforts et élaborer un plan d’action afin que le public dispose de l’information nécessaire sur les possibilités de financement disponibles et élargir ses stratégies de sensibilisation de l’AEIC.
En plus de veiller à ce que les possibilités de financement soient annoncées sur diverses plateformes de médias, l’AEIC collaborera avec les équipes des communications et de la mobilisation pour déterminer d’autres réseaux pertinents, comme les organisations non gouvernementales (environnement, santé, tourisme), pour atteindre différents publics et essayer de comprendre ce qui fonctionne dans le contexte local.
À ce stade-ci, l’AEIC n’envisagera pas d’élaborer un formulaire de demande simplifié adapté aux membres du public pour le PAFP et le PDP. Le niveau d’effort requis est considérable, et nous ne considérons pas que c’est une répartition prudente du temps et des ressources. Il est à noter que, conformément aux modalités des programmes d’aide financière, les formulaires de demande doivent contenir un minimum de renseignements pour répondre aux exigences du Conseil du Trésor, ce qui est le cas. Les formulaires mettent déjà l’accent sur les renseignements clés requis et sont clairs, accessibles et inclusifs. La modification de ces formulaires à ce moment-ci n’aura aucune incidence sur l’efficacité des programmes d’aide financière de l’AEIC.
PR
Dans le cas du PR, le financement a principalement été fourni à des universitaires et à des organismes sans but lucratif; cependant, les groupes autochtones et les membres du public sont admissibles au financement, comme il est clairement indiqué sur le site Web externe et la page Web de financement du PR. Dans ce contexte, le PR révisera son formulaire de demande afin de le normaliser pour que tous les demandeurs puissent l’utiliser. Pour faciliter les demandes, le PR rendra le formulaire à remplir disponible en format PDF et MS Word et veillera à ce qu’il soit rédigé dans un langage simple. De plus, toutes les publications sur les médias sociaux liées au PR seront rédigées dans un langage clair et simple et seront diffusées sur plusieurs plateformes afin d’élargir la portée du programme.
PSCA
Le PSCA est offert uniquement aux bénéficiaires autochtones et ne cadre pas avec cette recommandation visant à accroître la participation du public (c.-à-d. des non-Autochtones) aux programmes d’aide financière.
Plan d’action de la direction
Mesure ou résultat attendu |
Date d’achèvement prévue |
Responsabilité |
---|---|---|
PAFP et PDP : rencontrer d’autres équipes de l’AEIC afin de renforcer ses stratégies de sensibilisation à la participation du public. |
31 octobre 2025 |
Vice-président, Secteur des relations avec les autochtones; |
PAFP et PDP : rencontrer d’autres équipes de l’AEIC afin de déterminer d’autres réseaux pertinents et de faire connaître les possibilités de financement. |
31 octobre 2025 |
Vice-président, Secteur des relations avec les autochtones; |
PDP : Le personnel des programmes d’aide financière commencera à communiquer les nouvelles possibilités de financement du PDP lors des réunions mensuelles avec les bureaux régionaux. |
30 avril 2025 |
Vice-président, Secteur des relations avec les Autochtones |
Tous les volets : développer un système de gestion de l’information sur les S et C, y compris une interface utilisateur externe pour les formulaires automatisés à soumettre par les clients. |
31 mars 2026 (en cours) |
Vice-président, Secteur des relations avec les Autochtones; |
PR : Élaborer un formulaire de demande en langage simple et normalisé que tous les demandeurs pourront utiliser, y compris le rendre disponible en format PDF et MS Word. |
1er février 2026 |
Vice-président, Secteur des politiques et programmes stratégiques |
Recommandation 3 :
Fournir des commentaires plus détaillés aux demandeurs non retenus.
- Pour le PSCA en particulier, améliorer le mécanisme de rétroaction pour communiquer les décisions d’aide financière aux demandeurs, y compris aux demandeurs non retenus, afin de promouvoir la transparence.
- Considérer le partage des raisons spécifiques pour lesquelles la demande a été refusée par une lettre ou en partageant la grille de notation avec les demandeurs non retenus.
Déclaration d’accord ou de désaccord
La direction du programme approuve cette recommandation.
Réponse de la direction
Pour tous les programmes d’aide financière, lorsqu’une demande est approuvée ou refusée, les demandeurs sont informés de la décision de financement par courriel. L’AEIC estime que le fait de fournir une rétroaction détaillée aux demandeurs non retenus est un bon moyen de les aider à améliorer leurs futures demandes de financement.
PAFP et PDP
Pour chaque initiative de financement, les demandes d’aide financière du public sont examinées par un comité d’examen du financement spécialisé, qui formule ensuite une recommandation aux demandeurs retenus et refusés. Le personnel de l’AEIC répond à chaque demandeur dans les 45 jours ouvrables, conformément à la norme de service établie. Si le demandeur n’est pas retenu, cette communication écrite comprend une explication complète des motifs du refus et offre aux demandeurs la possibilité de communiquer avec le personnel des programmes d’aide financière afin d’obtenir des renseignements sur les lacunes de leur demande et des conseils pour assurer son succès futur.
PSCA
Un système de notation des critères d’évaluation pour les candidatures du volet 3 du PSCA a été mis en œuvre en 2024-2025 et permettra à l’AEIC de fournir des explications plus détaillées dans les cas où un candidat n’a pas été retenu. L’AEIC continuera de mettre en œuvre et de déterminer des améliorations possibles de ce système de notation.
PR
Pour les demandeurs non retenus qui soumettent des propositions non sollicitées ou qui répondent à un appel ouvert, une explication d’ordre général est normalement fournie, en tenant compte du budget limité du programme et de l’accent mis sur le financement des propositions qui correspondent le mieux aux priorités de l’AEIC. À l’avenir, le PR s’engage à collaborer avec les autres programmes de financement sur une lettre normalisée adressée aux demandeurs non retenus, qui préciserait davantage pourquoi la proposition n’a pas été acceptée.
Il convient de noter que certains projets financés par le PR proviennent directement du PR et, par conséquent, la recommandation de fournir une rétroaction détaillée aux demandeurs non retenus ne s’applique pas.
Plan d’action de la direction
Mesure ou résultat attendu |
Date d’achèvement prévue |
Responsabilité |
---|---|---|
PR : Rédiger un modèle de lettre type pour les demandeurs non retenus, qui comprend une section expliquant pourquoi la demande a été rejetée. |
1er février 2026 |
Vice-président, Secteur des politiques et programmes stratégiques |
PR : Consulter tous les programmes d’aide financière pour assurer l’uniformité de l’ébauche de la lettre. Le PR utilisera la lettre comme pratique courante pour informer les demandeurs non retenus des raisons de leur échec. |
1er mars 2026 |
Vice-président, Secteur des politiques et programmes stratégiques |
PSCA : continuer de mettre en œuvre et de déterminer des améliorations possibles au système de notation pour ses appels publics afin d’informer les demandeurs non retenus des raisons de leur échec. |
31 mars 2026 |
Vice-président, Secteur des relations avec les Autochtones |
Recommandation 4 :
Élargir la diffusion des produits de recherche. Augmenter la sensibilisation et l’accessibilité des produits de recherche à un public plus large.
- Envisager d’identifier et de mettre en œuvre des stratégies de diffusion ciblées supplémentaires pour améliorer l’adoption des résultats de recherche à la fois en interne et en externe.
Déclaration d’accord ou de désaccord
La direction du programme approuve cette recommandation.
Réponse de la direction
PR
Le PR prend actuellement plusieurs mesures pour diffuser ses produits de recherche à des publics internes et externes, y compris afficher des produits de recherche sur le site Web du PR dans les deux langues officielles, signaler des recherches récentes aux comités consultatifs de l’AEIC, promouvoir des recherches sur les médias sociaux, contribuer au bulletin externe Notre impact, distribuer des bulletins internes et des mises à jour sur les produits du PR, et accueillir des chercheurs pour des présentations et des ateliers avec le personnel de l’AEIC. À ce jour, le PR n’a pas mis au point de processus permettant d’identifier les utilisateurs finaux ciblés pour chaque produit de recherche au début du processus de recherche. Les stratégies de diffusion ont été axées sur la diffusion des résultats de recherche à un large éventail d’utilisateurs finaux potentiels. Par conséquent, les produits de la recherche ne parviennent pas toujours à ceux qui pourraient en profiter le plus.
L’AEIC reconnaît la nécessité d’améliorer la diffusion de ses produits à des publics internes et externes pour s’assurer que ses produits atteignent leurs publics cibles potentiels et qu’ils les utilisent. Le PR s’engagera à maximiser le succès de ses stratégies de diffusion existantes en identifiant, dans la mesure du possible, les utilisateurs finaux ciblés pour tous les produits de recherche. Si les utilisateurs cibles sont désignés avant que la recherche ne soit finalisée, un plan de diffusion peut être élaboré pour garantir que les stratégies de diffusion les plus appropriées sont mises en œuvre pour atteindre les utilisateurs cibles potentiels.
Plan d’action de la direction
Mesure ou résultat attendu |
Date d’achèvement prévue |
Responsabilité |
---|---|---|
PR : Élaborer et mettre en œuvre des stratégies pour améliorer la diffusion de la recherche à l’externe, en collaboration avec la Direction des communications. |
1er février 2026 |
Vice-président, Secteur des politiques et programmes stratégiques |
PR : Élaborer et mettre en œuvre un modèle qui désigne les utilisateurs finaux potentiels de la recherche pour tous les projets de recherche, ce qui comprend des stratégies de diffusion particulières pour atteindre chaque public. |
1er février 2026 |
Vice-président, Secteur des politiques et programmes stratégiques |
PR : Rencontrer des représentants de programmes de recherche pertinents pour discuter de stratégies visant à diffuser avec succès les résultats de la recherche. |
1er février 2026 |
Vice-président, Secteur des politiques et programmes stratégiques |
PR : Élaborer et mettre en œuvre un plan de communication 2025-2026 qui comprend plusieurs stratégies de diffusion interne et externe. |
30 juin 2025 |
Vice-président, Secteur des politiques et programmes stratégiques |
Recommandation 5 :
Simplifier la mesure du rendement. En fonction de l’expérience de la première année de mise en œuvre de la stratégie de gestion des programmes, envisagez de développer et de mettre en œuvre un système centralisé de gestion de l’information sur les S et C qui permettra de :
- Dans la mesure du possible, attribuer la responsabilité des données associées à chaque indicateur à un seul poste.
- Intégrer la collecte des données similaires (pour des résultats similaires) parmi les composantes du programme pour augmenter l’efficacité.
- Simplifier les rapports aux décideurs, plutôt que de fournir des informations séparées, mais similaires par composante de programme.
Déclaration d’accord ou de désaccord
La direction du programme approuve cette recommandation.
Réponse de la direction
Bien que le l’AEIC ne dispose pas actuellement d’une méthode centralisée de stockage des renseignements sur les S et C et de création de rapports à partir de ces derniers, un système automatisé (sous Power Apps) est en cours d’élaboration pour recueillir, surveiller, évaluer et communiquer les données des clients pour tous les programmes de financement des S et C de l’AEIC. Comme indiqué à la recommandation 2 ci-dessus, ce système est en cours d’élaboration et devrait être en place d’ici 2027. L’AEIC a tiré parti des vastes travaux d’autres ministères qui ont déjà ces systèmes automatisés en place et qui utilisent les enseignements partagés lors de diverses réunions du groupe de travail interministériel sur la mise en œuvre numérique des S et C.
Une fois que ce nouveau système est en place, l’AEIC élaborera une interface ou un portail d’utilisateurs externes où les clients bénéficiaires de financement pourront avoir un profil d’utilisateur leur permettant de soumettre des formulaires automatisés (p. ex., des formulaires de demande d’aide financière, des accords de contribution signés et des rapports financiers détaillés). Cela améliorera l’expérience utilisateur (en permettant aux clients de gérer leur profil, d’assurer le suivi de leurs soumissions et de recevoir des mises à jour), simplifiera le processus de présentation des demandes (en réduisant le temps et les efforts requis de la part des clients), accélérera le traitement et réduira le nombre d’erreurs.
Une fois mis en œuvre, le système sera en mesure de regrouper les données provenant de diverses sources dans un seul registre, ce qui réduira le cloisonnement des données et garantira que les décideurs ont accès à une source unifiée. De plus, les systèmes fourniront des rapports en temps réel et une analyse ponctuelle des transactions réelles, ce qui permettra un accès rapide en fonction des données de financement les plus récentes.
De plus, le nouveau système de gestion de l’information pourrait également être utilisé à des fins de suivi du rendement, comme celles qui figurent dans la stratégie de mesure de rendement. L’équipe des programmes d’aide financière collaborera avec la Direction de la planification, de la production de rapports et de l’évaluation pour simplifier la responsabilisation et la responsabilité en matière de surveillance et de production de rapports sur les indicateurs de rendement inclus dans la stratégie de mesure du rendement.
Plan d’action de la direction
Mesure ou résultat attendu |
Date d’achèvement prévue |
Responsabilité |
---|---|---|
Tous les volets : Développer un système de gestion de l’information sur les S et C, y compris une interface utilisateur externe pour les formulaires automatisés à soumettre par les clients. |
31 mars 2026 (en cours) |
Vice-président, Secteur des relations avec les Autochtones; |
Tous les volets : Consulter des experts en la matière sur la protection de la vie privée, la sécurité, les finances et d’autres questions et mettre en œuvre des solutions au besoin pour le système de gestion de l’information relative aux S et C. |
31 mars 2026 |
Vice-président, Secteur des relations avec les Autochtones; |
Tous les volets : Mettre à jour les stratégies de mesure du rendement des programmes d’aide financière pour répartir clairement les responsabilités, et mettre à jour les indicateurs, les cibles, les sources de données et les méthodologies, en collaboration avec les secteurs des opérations et des services ministériels. |
31 janvier 2026 |
Vice-président, Secteur des relations avec les Autochtones; |
1.0 Introduction
Goss Gilroy Inc. (GGI) est heureux de soumettre ce rapport final provisoire pour l’évaluation du Programme de subventions et de contributions (S et C) pour l’évaluation d’impact (EI) à l’Agence d’évaluation d’impact du Canada (AEIC).
1.1 Contexte et description du programme
L’AEIC collabore avec le public et les communautés et organisations autochtones pour répondre aux exigences légales, remplir l’obligation légale de la Couronne de consulter les peuples autochtones, faire avancer la réconciliation avec les peuples autochtones, et promouvoir l’élaboration de politiques solides et une bonne gouvernance.
L’objectif du Programme de S et C pour l’EI est de réduire les obstacles financiers à surmonter pour que les gens de partout au Canada puissent participer de manière significative aux évaluations de projets et régionales et à l’élaboration de politiques, de renforcer la capacité des communautés et des organisations autochtones à participer aux évaluations actuelles et futures, et de soutenir la recherche liée à l’évaluation d’impact. Les quatre composantes qui constituent le programme sont :
- Programme d’aide financière aux participants (PAFP) : vise à soutenir la mobilisation du public et les consultations des Autochtones lors d’une évaluation, y compris les évaluations de projets menées par l’AEIC ou une commission d’examen, ainsi que les évaluations régionales ou stratégiques. La subvention ou l’aide financière est fournie aux particuliers, aux organisations à but non lucratif, aux organisations autochtones à but non lucratif, ainsi qu’aux communautés et organisations autochtones, pour les aider à se préparer et à participer aux phases clés d’un processus d’évaluation, y compris la mise en œuvre de programmes de suivi.
- Programme de soutien aux capacités autochtones (PSCA) : fournit des contributions aux communautés et organisations autochtones pour soutenir le développement du savoir autochtone local et régional et des capacités à participer efficacement aux EI, aux évaluations régionales (ER), à la mobilisation sur les politiques, à la surveillance des évaluations et aux activités de suivi, ainsi qu’à d’autres activités liées à la Loi sur l’évaluation d’impact (LEI).
- Programme de dialogue sur les politiques (PDP) : fournit des contributions et des subventions aux particuliers, aux organisations à but non lucratif et aux communautés autochtones pour soutenir la prestation de conseils externes et la participation à l’élaboration de politiques, de méthodologies, d’outils et de pratiques liés à l’évaluation d’impact, aux évaluations régionales et aux évaluations stratégiques.
- Programme de recherche (PR) : fournit une aide financière (sous forme de subventions et de contrats) aux particuliers, aux organisations à but non lucratif, aux organisations autochtones et aux communautés, ainsi qu’aux institutions de recherche et académiques, pour promouvoir et diffuser de nouvelles recherches innovantes qui font progresser la pratique de l’évaluation d’impact fédérale, y compris les évaluations régionales et stratégiques.
Un modèle logique a été élaboré pour chaque composante du programme, présenté à l’annexe A.
1.2 Objectifs et portée de l’évaluation
L’évaluation du Programme de S et C pour l’EI à l’AEIC est menée conformément à la Politique sur les résultats du Conseil du Trésor et à l’article 42.1 de la Loi sur la gestion des finances publiques.
L’objectif de l’évaluation est d’évaluer la pertinence, l’efficacité et l’efficience du Programme de S et C pour l’EI de 2019-2020 à 2022-2023, ainsi que les interactions et les relations entre les quatre composantes.
Le champ d’application de l’évaluation comprend les quatre volets du programme de S et C de l’AEIC, décrites ci-dessus. Les questions d’évaluation sur lesquelles se penche l’évaluation comprennent :
Pertinence
1. Dans quelle mesure existe-t-il un besoin continu pour le gouvernement fédéral de fournir les programmes d’aide financière?
Efficacité
2. Dans quelle mesure les résultats prévus de chaque composante sont-ils atteints?
3. Dans quelle mesure les composantes travaillent-elles de manière complémentaire pour contribuer aux objectifs plus larges et aux résultats escomptés de l’AEIC?
4. Est-ce qu’il y a eu des résultats non intentionnels (positifs ou négatifs)?
5. Quels sont les facteurs internes et externes qui influent (positivement ou négativement) sur l’obtention des résultats?
Efficience
6. Dans quelle mesure l’AEIC est-elle efficace dans l’atteinte des résultats escomptés de chaque composante du programme?
7. Le mode de conception et de prestation du programme global est-il le plus approprié et efficace pour atteindre les résultats prévus des programmes, ainsi que les objectifs plus larges et les résultats escomptés de l’AEIC?
1.3 Méthodologie d’évaluation et limites
L’évaluation a utilisé six méthodes de collecte de données. Ces méthodes comprennent :
- L’examen de documents, de données administratives et de dossiers;
- Les entrevues avec des informateurs clés de trois types d’intervenants : les intervenants internes, les intervenants externes et les bénéficiaires de l’aide financière de tous les volets du programme.
- Un sondage en ligne des bénéficiaires de l’aide financière du PAFP, du PSCA et du PDP;
- Études de cas de projets (PAFP et PSCA);
- Un examen comparatif examinant des programmes d’aide financière et de recherche similaires offerts par d’autres organisations fédérales;
- Outil d’adoption et d’utilisation des connaissances (OAUC) axé sur cinq produits de recherche du PR.
Plusieurs méthodes ont été utilisées avec les destinataires pour maximiser la contribution des communautés et organisations autochtones. Cependant, afin de minimiser le fardeau des organisations et des communautés autochtones, aucune organisation ou personne n’a été invitée à participer à plus d’une méthode.
Chacune des méthodes utilisées dans l’évaluation est décrite ci-dessous. L’annexe B présente la matrice d’évaluation, qui établit un lien entre les questions d’évaluation et les méthodes.
1.3.1 Examen de documents, de données administratives et de dossiers
Examen de document
Plusieurs documents de différents types ont été examinés. Les données probantes ont été prises en compte dans un modèle d’examen de document. Exemples de documents examinés : lois, règlements et lignes directrices pertinents; modalités du programme; documents de planification; lettres de mandat du ministre; notes de service et notes d’information à l’intention des décideurs principaux; cartes des processus et autres documents liés aux processus; rapports de rendement et données; informations financières; et autres documents et données internes et publics pertinents.
Examen des données
Une base de données du Programme de S et C était disponible pour examen, contenant des informations sur les initiatives financées par chacune des quatre volets. Un certain nombre d’étapes ont été suivies pour nettoyer et préparer les données, telles que la suppression des enregistrements en double et de ceux en dehors de la période d’évaluation, en utilisant des conventions cohérentes (par exemple, les dates), entre autres. Les données financières ont également été examinées pour cette méthode.
Limitations
Une limitation importante a été rencontrée lors du calcul des ratios administratifs pour le programme. Premièrement, les ratios administratifs n’ont pas pu être déterminés par volet de programme, car les informations financières spécifiques au volet n’étaient pas disponibles de manière cohérente d’une année à l’autre ou par volet de programme. Aussi, parce qu’une grande proportion des initiatives financées par le PAFP manquait d’informations dans la base de données sur le montant de l’aide financière, la valeur totale des initiatives financées pour les composantes et le financement total utilisé dans le calcul sont beaucoup plus bas que l’aide financière réellement émise. Le résultat est que le ratio (pourcentage de la valeur de S et C allouée à l’administration) est probablement beaucoup plus bas puisque le dénominateur est artificiellement bas.
1.3.2 Entrevues avec des informateurs clés
Un total de 37 entrevues ont été menées avec trois types d’intervenants :
- Intervenants de l’AEIC (par exemple, haute direction de l’AEIC et employés participant à l’administration ou à la prestation du programme; n=17);
- Intervenants externes (n=7);
- Bénéficiaires de l’aide financière de tous les volets du programme (n=13, dont 7 étaient des Autochtones).
L’échantillonnage raisonné a été utilisé pour identifier les individus appropriés en se basant sur une liste d’informateurs clés potentiels fournie par le volet.
Les entrevues ont principalement été menées lors de discussions en tête-à-tête, bien que si un interviewé souhaitait inviter un collègue, une entrevue de groupe était réalisée. Toutes les entrevues ont été menées en utilisant un logiciel de réunion en ligne (MS Teams).
Les interviewés bénéficiaires d’aide financière se sont vu offrir une compensation de 75 $ pour les remercier et les encourager à participer.
Limitations
Une limitation importante est le petit nombre d’organisations et de communautés autochtones ayant participé à une entrevue. L’échantillon a été structuré de manière à ce que les organisations et les communautés autochtones soient consultées en tant que bénéficiaires de l’aide financière. L’échantillon reçu du programme comprenait 35 personnes-ressources valides, dont 22 étaient des Autochtones ou des représentants d’organisations et de communautés autochtones. Parmi ceux-ci, sept ont accepté de participer à une entrevue et les autres ont soit refusé de participer (par exemple, trop occupés), n’ont pas répondu après trois tentatives de communication ou ont proposé une autre personne qui a soit refusé ou n’a pas répondu. Mener des entrevues pendant les mois d’été a pu avoir une incidence sur la disponibilité des participants.
Les lacunes dans les données probantes résultant du petit nombre d’organisations autochtones et de communautés interrogées dans le cadre de l’évaluation sont comblées par d’autres sources de données, notamment par le biais d’entrevues menées auprès d’organisations autochtones et de communautés consultées dans le cadre des études de cas, et par le biais du sondage en ligne.
1.3.3 Enquête en ligne auprès des bénéficiaires d’aide financière
Un sondage en ligne a été proposé aux demandeurs pour les composantes du PAFP, du PDP et du PSCA.Note de bas de page 1Le programme a été invité à fournir l’échantillon des demandeurs aux programmes depuis 2018-2019 à contacter pour le sondage. Un total de 28 personnes-ressources ont été fournies qui ne se chevauchaient pas avec d’autres lignes de données probantes (c.-à-d. entrevues avec des informateurs clés et études de cas), dont 26 étaient valides.Note de bas de page 2Un total de huit bénéficiaires d’aide financière ont répondu au sondage (PAFP : n=4; PSCA : n=2; PDP : n=2), pour un taux de réponse de 30,8 %.
Les questions du sondage étaient principalement à choix multiples. Le questionnaire a été mis à l’essai au préalable à l’interne et étroitement surveillé après son lancement auprès de l’échantillon de bénéficiaires. Le sondage a été lancé le 6 juin 2024 et s’est terminé le 12 juillet 2024. Trois rappels ont été envoyés par courriel et deux séries de rappels téléphoniques ont été effectuées (pour les 14 personnes-ressources pour lesquels un numéro de téléphone a été fourni). Pour remercier et encourager les répondants, les demandeurs d’aide financière invités se sont vu offrir une compensation de 20 $ pour répondre au sondage.
En plus du sondage, les bénéficiaires de l’aide financière ont été invités à participer à l’évaluation par des entrevues et des études de cas. Toutes les tentatives ont été faites pour minimiser le fardeau de réponse sur les organisations et les communautés autochtones, et donc aucune organisation ou personne n’a été invitée à participer à plus d’une méthode. Pour maximiser la disponibilité des données quantitatives pour l’analyse, les instruments d’entrevue et d’étude de cas comprenaient les questions liées aux résultats du sondage. En tout, 14 répondants aux entrevues et aux études de cas ont été invités à répondre aux questions du sondage (tous les interviewés bénéficiaires de l’aide financière pour les entrevues et les études de cas se sont vu offrir 75 $ pour les remercier de leur participation). Les réponses à ces questions quantitatives ont été analysées avec les résultats des sondages.
Limitations
Le taux de réponse au sondage est modeste, à peine plus de 30 %, et le nombre total de réponses est faible (8 pour les questions non liées aux résultats; 22 pour les questions liées aux résultats). De plus, lorsque les résultats sont ventilés par composante d’aide financière, le nombre de réponses est particulièrement faible (dans certains cas, une seule personne a fourni des données probantes). Ainsi, les résultats ne sont pas généralisables à la population des demandeurs d’aide financière au cours des six dernières années. Les raisons du faible nombre de réponses peuvent, en partie, être attribuées au fait que le sondage a été proposé pendant l’été, période pendant laquelle de nombreux bureaux de bande ont des horaires réduits et les vacances sont courantes. De plus, certaines organisations n’ont pas la capacité de remplir des questionnaires en ligne.
1.3.4 Études de cas de projet
GGI a mené un total de six études de cas de projets pour mettre en lumière des exemples spécifiques de la façon dont les possibilités d’aide financière du PAFP et du PSCA contribuent ou sont censées contribuer aux résultats escomptés. Critères de sélection pour les études de cas inclus :
- Initiatives d’aide financière complétées seulement;
- Mélange de régions et mélange de types de bénéficiaires (qu’il s’agisse de particuliers; de communautés autochtones; d’organisations autochtones (à but non lucratif); et d’organisations à but non lucratif (par exemple, des groupes environnementaux);
- Pour le PAFP, un mélange d’années d’aide financière et pour le PSCA, des années d’aide financière antérieures pour permettre suffisamment de temps écoulé.
Les études de cas étaient basées sur les informations des dossiers, la documentation et les entrevues avec les bénéficiaires de l’aide financière. La collecte de données a été effectuée entre le 17 juin et le 31 juillet 2024. Les interviewés bénéficiaires d’aide financière se sont vu offrir une compensation de 75 $ pour les remercier et les encourager à participer.
Trois études de cas ont été menées pour mettre en lumière les résultats des projets avec les bénéficiaires du PAFP suivants : Kwilmu’kw Maw-klusuaqn Negotiation Office, Eau Secours, et Fondation Rivières. Trois études de cas de projets ont également été menées avec les bénéficiaires suivants du PSCA : l’Institut de développement durable des Premières Nations du Québec et du Labrador, la Première Nation de Tseycum et le Conseil de la communauté de NunatuKavut.Note de bas de page 3
Limitations
Certains bénéficiaires de l’aide financière pour les études de cas de projets sélectionnés n’ont pas pu participer à une entrevue avec un informateur clé dans le cadre de l’évaluation. En conséquence, six études de cas de projet (au lieu de 10) ont été menées.
De plus, les conclusions présentées pour les six études de cas sont limitées aux perspectives des personnes interviewées ainsi qu’à la disponibilité des documents du volet fournis par le personnel du volet.
1.3.5 Examen comparatif
Un examen comparatif a été réalisé pour fournir à l’AEIC des informations de référence pour trois des volets de son programme de S et C : le PAFP, le PSCA et le PR.Note de bas de page 4 Il vise également à cerner les pratiques exemplaires et les leçons apprises des programmes d’aide financière fédéraux comparables. L’étude comparative a été conçue avec deux perspectives :
- Des programmes comparables au PAFP et au PSCA qui fournissent une aide financière aux communautés autochtones et aux organisations ou aux membres du public pour accroître leurs capacités ou faciliter leur participation aux activités de consultation fédérales;
- Programmes comparables au PR qui financent la recherche menée par des tiers pour éclairer les questions de recherche posées par l’organisation fédérale.
Des programmes fédéraux comparables ont été sélectionnés en fonction de la mesure dans laquelle leurs processus étaient en accord avec les programmes d’aide financière de l’AEIC (c.-à-d. le PAFP et le PSCA) et le PR.
Les programmes d’aide financière sélectionnés pour la comparaison comprennent :
- Le programme d’aide financière aux participants de la Régie de l’énergie du Canada;
- Le programme de financement des participants de la Commission canadienne de sûreté nucléaire;
- Le fonds de soutien aux capacités des parties intéressées et des Autochtones de la Commission canadienne de sûreté nucléaire;
- Le partenariat pour les ressources naturelles autochtones de Ressources naturelles Canada;
- Le programme d’aide financière aux participants du Nord de Relations Couronne-Autochtones et affaires du Nord Canada.
Les programmes d’aide financière à la recherche sélectionnés pour la comparaison comprennent :
- Le programme de recherche et de soutien de la Commission canadienne de sûreté nucléaire;
- Le cadre de contribution de sciences des écosystèmes et des océans de Pêches et Océans Canada.
Les données probantes pour l’examen comparatif ont été obtenues grâce à l’examen des documents disponibles (consultés en ligne et auprès du personnel du programme, le cas échéant) et des entrevues avec des informateurs clés du programme. Une entrevue a été menée pour chaque programme de comparaison.
Limitations
La principale limitation de l’examen comparatif concerne le nombre total de programmes de comparaison, limité à cinq pour les programmes d’aide financière et à deux pour les programmes de recherche. Ces chiffres étaient limités en grande partie en raison des ressources disponibles.
1.3.6 Outil d’adoption et d’utilisation des connaissances (OAUC)
L’OAUC a été utilisé comme outil de collecte de données dans cette évaluation pour aider l’AEIC à mieux comprendre comment les produits de recherche produits et partagés par l’AEIC sont utilisés par les publics cibles, les intervenants ou les partenaires (c’est-à-dire ce qu’ils en font). C’est une mesure critique pour évaluer et comprendre si le PR de l’AEIC atteint ses impacts souhaités en produisant et en partageant ces produits.
Dans le cadre de l’évaluation, l’outil a été utilisé pour évaluer l’efficacité de la composante du PR pour le Programme de S et C pour l’EI, en particulier en ce qui concerne l’impact de ses produits de recherche. En ciblant un échantillon des utilisateurs/auditoires visés par la recherche produite par ce composant, cet outil visait à fournir des informations sur l’adoption et l’utilisation de cette recherche.
En collaboration avec le PR, la Direction de la Planification, de la production de rapports et de l’évaluation a identifié cinq produits de recherche qui ont été complétés et diffusés entre 2019-2020 et 2022-2023 pour lesquels il pourrait être utile de comprendre leur adoption et leur utilisation :
- Au-delà de la participation et de la répartition : vers un cadre de justice exhaustif pour l’évaluation des impacts;
- Suivi et surveillance dans le cadre d’une évaluation d’impact : Synthèse des connaissances et des pratiques;
- Mieux-être mental des Autochtones et développement des grands projets : Orientation pour les professionnels de l’évaluation d’impact et les collectivités autochtones;
- Mesures d’atténuation et d’amélioration des effets sanitaires, sociaux et économiques;
- Détermination de l’intérêt public dans l’évaluation d’impact : Un cadre d’évaluation des comptes multiples.
Pour chaque produit de recherche, six à sept membres de l’auditoire cible ont été identifiés, y compris les intervenants et les partenaires auprès desquels l’utilisation du produit de recherche pourrait être attendue. Au total, 34 personnes ont été invitées à remplir les sondages. Deux personnes n’ont pas pu être jointes et parmi les 32 restantes, 13 personnes ont répondu, ce qui donne un taux de réponse global de 41 %.
Limitations
Les taux de réponse pour les produits de recherche individuels ont varié entre un maximum de 50 % (trois réponses sur six répondants possibles) et un minimum de 29 % (deux réponses sur sept répondants possibles), ce qui était trop faible pour soutenir une analyse individuelle. Les taux de réponse faibles sont attribués aux défis liés au recrutement et au manque de sensibilisation parmi les répondants, car le PR n’identifie pas systématiquement les publics cibles pour les différents produits de recherche, mais rend plutôt les produits de recherche accessibles au public. Par conséquent, il est possible que certaines informations sur l’utilisation des connaissances et l’adoption des produits de recherche aient été manquées de la part de ces intervenants. Le niveau de familiarité avec le produit de recherche variait selon les répondants, certains étant familiers avec les produits de recherche individuels et d’autres déclarant ne jamais en avoir entendu parler. Par conséquent, tous les répondants n’ont pas pu répondre à toutes les questions du sondage.
2.0 Constatations
2.1 Pertinence
Résumé :
Un besoin continu pour le programme a été identifié à travers toutes les données probantes. L’AEIC a besoin de la participation au processus d’évaluation pour remplir son mandat et l’obligation légale du gouvernement du Canada de garantir la participation et la mobilisation des peuples autochtones et des intervenants. Les communautés autochtones ont besoin du programme pour renforcer leurs capacités et leur compréhension afin de pouvoir participer au processus d’EI. Alors qu’il existe des données probantes indiquant que certains efforts ont été déployés pour tenir compte des besoins des populations diverses dans la conception et la mise en œuvre des programmes, il semble que davantage devrait être fait. Par exemple, il y a un manque de stratégies ciblées de sensibilisation dirigées vers les populations touchées, une diversité limitée parmi les bénéficiaires de l’aide financière, et un manque de soutien pour les communautés à faible capacité. Enfin, le programme est clairement aligné sur les priorités du gouvernement fédéral et de l’AEIC.
2.1.1 Besoin continu
Alignement sur les besoins
L’objectif du programme est de permettre aux intervenants et aux communautés et organisations autochtones de participer aux évaluations et à l’élaboration des politiques grâce au renforcement des capacités et à la réduction des obstacles financiers à la participation. Les évaluations elles-mêmes sont également appuyées par la recherche. Les données probantes confirment que le programme est conçu pour répondre aux besoins des intervenants et des communautés et organisations autochtones, car il finance une vaste gamme de bénéficiaires et d’activités admissibles.
Les quatre volets du programme répondent à un large éventail de besoins des bénéficiaires de l’aide financière en finançant diverses activités admissibles. Deux des quatre volets du programme, le PSCA et le PDP, ont des composantes distinctes, chacune conçue pour répondre à des besoins différents et des critères de décision en matière d’aide financière, qui sont également alignés sur les besoins que chaque volet du programme vise à prendre en compte. Les critères de décision du PAFP tiennent compte des impacts potentiels du projet sur les droits ou les peuples autochtones ainsi que de la complexité des activités requises pour la participation. Le PR utilise les critères de décision pour garantir l’harmonisation aux priorités de recherche, les besoins et les intérêts des praticiens de l’EI et des peuples autochtones.
Le programme a également utilisé certains volets pour répondre aux besoins émergents de l’AEIC ou des bénéficiaires potentiels. Par exemple, dans une stratégie de lancement de programme de soutien des capacités autochtones pour janvier 2023, la composante 3 du PSCA (Occasions stratégiques) était décrit comme fournissant « des ressources supplémentaires pour répondre à des besoins ciblés et à court terme qui soutiennent la capacité de l’AEIC à faire avancer des projets où le manque de capacité existante a été identifié comme un défi ».
D’autres façons dont le programme répond aux besoins des bénéficiaires consistent à utiliser des subventions (plutôt que des contributions) lorsque le caractère significatif et le risque sont faibles. Les subventions simplifient les paiements en exigeant une lettre signée confirmant la participation aux activités proposées. Le destinataire fournira un rapport final de rendement pour les subventions plus significatives et à risque plus élevé. Contributions, d’autre part, exigent que les bénéficiaires fournissent une demande de remboursement, un compte rendu final des coûts admissibles et un rapport final de rendement. Les subventions émises dans le cadre du PAFP et du PDP peuvent également permettre un accès immédiat à l’aide financière.
Finalement, pour assurer l’harmonisation des activités des volets du programme avec les besoins et les priorités de l’AEIC, le PR collabore avec de nombreux employés de l’AEIC, par le biais de divers mécanismes (p. ex., sondage des employés, ateliers, réunions) et consulte divers organismes de gouvernance pour identifier les priorités de recherche.
Besoin continu
Presque tous ceux qui ont été consultés pour l’évaluation (c.-à-d. l’AEIC et les intervenants externes, ainsi que les bénéficiaires de l’aide financière, y compris les communautés et organisations autochtones) ont convenu que le Programme de S et C pour l’EI et ses volets individuels répondent aux besoins continus des bénéficiaires ciblés. Le Programme de S et C pour l’EI offre des possibilités d’aide financière uniques qui ne se chevauchent pas avec d’autres programmes d’aide financière disponibles.
De nombreuses communautés autochtones ont ressenti le besoin croissant d’une plus grande capacité interne pour habiliter les membres de la communauté à participer aux consultations sur les projets actuels et futurs. Un besoin continu d’aide financière du programme a été démontré par les récits des bénéficiaires sur la façon dont l’aide financière a été utilisée pour atteindre plusieurs de leurs objectifs et priorités.
L’AEIC et les intervenants externes interviewés (c’est-à-dire, les partenaires non autochtones) ont également convenu qu’il existe un besoin continu pour le programme, notamment en ce qui concerne l’idée que l’AEIC a besoin de participation, de points de vue, de personnes à la table pour remplir son mandat et l’obligation légale du gouvernement du Canada d’assurer la participation et la mobilisation des peuples autochtones et des intervenants. En plus de remplir son mandat et son obligation légale de consulter, l’AEIC a besoin du programme pour être en mesure de réaliser des EI efficaces et efficientes, qui garantissent que les grands projets nécessitant des EI sont entrepris de manière inclusive des communautés touchées. Sans financement du programme, les bénéficiaires ne pourraient pas participer au processus d’EI et sans leur participation, il ne serait pas possible d’atteindre les objectifs du mandat de l’AEIC. Le PSCA est spécifiquement considéré comme un petit, mais essentiel pas vers la réconciliation qui permet aux communautés autochtones de traiter leurs priorités et d’y travailler de manière autonome.
Alors que les comptes rendus d’un besoin continu pour le programme étaient principalement associés au PAFP et au PSCA, et dans une certaine mesure au PDP, il y avait aussi des données probantes indiquant que le PR comble une lacune importante en matière de recherche à l’AEIC et permet d’identifier les pratiques exemplaires et les leçons apprises pour soutenir un besoin continu d’une meilleure compréhension des EI et des processus connexes.
Accord entre la conception, les besoins et les résultats attendus
La conception du programme, y compris les activités financées, est étroitement liée aux résultats attendus du programme. Celles-ci sont décrites ci-dessous.
Renforcement des capacités en matière d’EI. Le besoin le plus courant identifié par les bénéficiaires de l’aide financière du PAFP, du PSCA et du PDP, ainsi que par d’autres personnes consultées pour l’évaluation, concernait le renforcement des capacités internes autour du processus d’EI. L’aide financière provenant des volets du programme répond à ce besoin en permettant :
- Le développement et l’acquisition des outils et des ressources nécessaires, y compris les documents de formation pour offrir une formation sur des processus d’EI spécifiques, l’embauche de personnel possédant une expertise spécifique, l’achat d’équipement et de véhicules pour faciliter la participation des membres de la communauté, assister à des conférences environnementales et entreprendre des études qui permettent aux communautés de répondre de manière significative à un nombre croissant de projets environnementaux qui les impactent directement.
- L’accès à des ressources externes fournissant une expertise technique, environnementale et juridique pour aider les communautés à mieux participer aux divers processus d’EI et aux phases spécifiques des projets, rédiger des propositions et participer à l’influence des réponses de l’AEIC aux besoins de l’industrie.
- La réalisation d’initiatives et d’activités sur mesure conçues pour répondre aux besoins spécifiques des communautés autochtones en augmentant la capacité de recueillir les informations nécessaires et d’établir des systèmes de savoir autochtone importants à inclure dans le processus d’EI.
« Il est nécessaire de continuer à répondre au nombre croissant de processus et d’exigences en matière de connaissances pour faire face au nombre croissant de projets environnementaux. » – Bénéficiaire de l’aide financière du PDP
Accroître la compréhension de l’EI et des processus et activités liés à l’EI. L’aide financière provenant des volets du programme permet aux bénéficiaires de répondre au besoin permanent de mieux identifier et exploiter les occasions de créer une meilleure compréhension de l’EI, y compris le travail entrepris par l’AEIC, parmi tous les membres de la communauté. L’aide financière des volets du programme répond à ce besoin en permettant :
- L’examen et la fourniture de commentaires sur les documents et la participation aux réunions avec les membres de la communauté ou de l’AEIC, ce qui accroît la sensibilisation aux processus et aux activités liés à l’EI, y compris les nouvelles exigences de la LEI.
- L’élaboration de séances de formation, d’ateliers et d’occasions d’échange de connaissances ou la participation à ceux-ci.
- La création d’occasions de recueillir des données et des informations pertinentes pour identifier des modèles ou des cadres établis qui pourraient être utilisés ou pour élaborer de nouveaux cadres (par exemple, cadre d’EI intégré).
« Sans aide financière, nous ne pouvons pas faire notre travail pour défendre les droits des membres de la communauté. Si nous n’avions pas de soutien financier, nous ne pourrions pas investir autant de temps ou de ressources dans l’étude des effets de l’industrie minière [sur l’environnement et les droits de la personne]. » – bénéficiaire de l’aide financière du PAFP
Faciliter la participation au processus d’EI. Les bénéficiaires d’aide financière et d’autres personnes consultées pour l’évaluation ont identifié un besoin continu d’améliorer la capacité des communautés et des organisations autochtones, ainsi que des intervenants, à participer activement et de manière appropriée aux EI. L’aide financière provenant des volets du programme répond à ce besoin en permettant :
- L’obtention des ressources nécessaires pour participer aux réunions et fournir des commentaires.
- La fourniture de commentaires sur la LEI et l’approche de l’AEIC en matière de mise en œuvre (y compris assister à des réunions ou fournir des mémoires écrits).
- La capacité de planifier, de gérer efficacement les ressources disponibles, de mener les activités de sensibilisation nécessaires et d’être mieux préparé à participer de manière significative au processus d’EI.
« Si nous n’avions pas reçu l’aide financière, nous n’aurions pas pu documenter correctement nos positions. Pour les questions qui nous ont été posées, nous n’avions pas les réponses : nous savions comment les trouver, mais nous n’avions pas de forum pour le faire [avant l’aide financière]. » – Bénéficiaire du PAFP
« Les promoteurs ont des comités environnementaux et différents réseaux et processus, et sans l’aide financière, nous n’aurions pas pu apprendre, participer et nous engager dans ces processus et développer les capacités que nous avons maintenant. » – Bénéficiaire de l’aide financière du PSCA
Les bénéficiaires de l’aide financière et d’autres personnes consultées pour l’évaluation, familières avec le PR, ont également identifié un certain nombre de besoins continus auxquels la conception du programme répond spécifiquement. Les besoins les plus importants qui ont été identifiés concernent la possibilité d’améliorer la capacité à :
- Mener des recherches pertinentes pour les politiques;
- Soutenir le personnel de grande qualité (par exemple, les étudiants diplômés);
- Entreprendre des activités de mobilisation des connaissances (p. ex. présentations, création de sites Web, etc.).
- Fournir à l’AEIC des perspectives méthodologiques et de recherche sur la LEI;
- Promouvoir une meilleure compréhension de ce qui doit être pris en compte lors de l’examen de l’impact des projets sur les peuples autochtones.
Besoin non comblé
Il y avait plusieurs domaines où certains bénéficiaires d’aide financière ont indiqué que leurs besoins n’ont pas été pris en compte, notamment en ce qui concerne les montants d’aide financière, leur suffisance pour renforcer les capacités et la flexibilité d’utilisation des fonds pour d’autres priorités. Ceux-ci sont décrits ci-dessous.
- Les montants d’aide financière sont insuffisants pour permettre :
- Le soutien pour la capacité nécessaire pour participer de manière significative aux EI et soutenir le coût réel de la participation (lié au PAFP).
- Le soutien continu qui s’étend au-delà de la durée initiale de l’entente (lié au PSCA).
- Le financement et le temps ne suffisent pas à accroître la capacité interne pour garantir que le travail puisse être mené de manière aussi autonome que possible sans avoir besoin de recourir à des consultants externes (lié à la fois au PAFP et au PSCA).
- Une capacité accrue est nécessaire dans des domaines de connaissances spécifiques (par exemple, comment la LEI s’applique aux droits constitutionnels des peuples autochtones; comment traiter les informations fournies par les promoteurs) (lié au PAFP et au PSCA).
- Un besoin accru de flexibilité dans l’utilisation des fonds, y compris une plus grande liberté pour allouer les fonds selon les priorités du bénéficiaire (lié au PDP).
Mesure dans laquelle les besoins des populations diverses sont pris en compte
La mesure dans laquelle les besoins des populations diverses sont pris en compte par le programme varie selon les quatre volets du programme. Plus précisément, les lignes directrices du PAFP et du PDP ne mentionnent pas la diversité comme critère ou considération pour l’aide financière, tandis que le PSCA et le PR ont pris en compte la diversité pour déterminer les montants et les priorités d’aide financière. Détails pour les quatre volets du programme sont fournis ci-dessous.
- Le PAFP soutient les organisations, les groupes et les communautés qui sont susceptibles de participer au processus de consultation pour un projet faisant l’objet d’une EI. La diversité n’est pas un critère pour identifier ces organisations, groupes et communautés, en raison de l’intention d’inclure toutes les parties qui souhaitent participer au processus de consultation et d’engagement. L’aide financière est disponible pour tout groupe (et toute désignation) participant à une évaluation, ce qui entraîne une grande variété d’organisations, de communautés et d’autres caractéristiques qui pourraient recevoir le soutien du PAFP.
- Les lignes directrices du PSCA mentionnent la diversité des demandeurs et la couverture nationale de l’aide financière comme des facteurs pris en compte pour déterminer le montant de l’aide financière à fournir.
- La composante 1 (partenaires du programme) se concentre sur les organisations autochtones ou les communautés où le projet est prévu ou se déroule.
- La composante 2 (événements de la communauté de pratique) ne mentionne aucun facteur de diversité pris en compte lors de l’évaluation des propositions.
- La composante 3 (occasions stratégiques) ne mentionne pas la diversité dans ses critères d’évaluation, bien que des appels spécifiques puissent avoir des critères ciblés non décrits dans les lignes directrices du programme.
- Les lignes directrices du PDP ne précisent pas que la diversité est un critère pour l’aide financière ou les montants d’aide financière, bien qu’elle soit incluse dans les modalités.
- Le PR a financé des recherches liées à des populations diverses, y compris l’analyse comparative entre les sexes plus (ACS Plus) (2019-2020), et les impacts sur les populations sous-représentées (2022-2023). En 2022-2023, quatre documents prioritaires ont été financés sur des sujets connexes, notamment : l’intersectionnalité de l’EI; les pratiques exemplaires en matière de diversité, d’équité et d’inclusion; les impacts des grands projets sur les communautés 2ELGBTQQIA+ et d’autres communautés marginalisées; l’EI et les Appels à la justice pour les femmes et les filles autochtones disparues et assassinées.
Alors qu’il existe des données probantes parmi les partenaires et les intervenants indiquant que des efforts ont été déployés pour tenir compte des besoins des populations diverses dans la conception et la mise en œuvre des programmes, il semble que davantage devrait être fait.
Notamment, les partenaires et intervenants qui estiment que la diversité est une considération dans la conception et la mise en œuvre du programme ont identifié les aspects suivants comme reflétant cette considération :
- L’inclusion de considérations en matière d’équité, de diversité et d’inclusion et en ce qui concerne l’analyse comparative entre les sexes plus dans les appels d’aide financière, le processus de demande et d’allocation, la conception des programmes et les propositions;
- Les processus simplifiés qui facilitent les demandes des communautés à plus faible capacité;
- Les tentatives pour atteindre un équilibre des genres au sein des comités d’examen de l’aide financière;
- Une aide financière est disponible pour les demandeurs autochtones et non autochtones.
À leur tour, les partenaires et intervenants qui ont indiqué que davantage devrait être fait en matière de diversité ont identifié des efforts incohérents pour atteindre une plus grande diversité à la fois à travers et au sein des quatre volets du programme.
- Un manque de stratégies de sensibilisation ciblées à l’égard des populations touchées, y compris, par exemple, les populations hors réserve;
- Une diversité limitée parmi les bénéficiaires du PAFP et du PDP se traduit par une faible représentation des populations non autochtones (c’est-à-dire, des membres du public), et une inclusion limitée des bénéficiaires du PR au Québec;
- Un manque de soutien pour les communautés à faible capacité, y compris la disponibilité de services complets pour encourager des perspectives plus diversifiées.
Certains intervenants ont indiqué qu’il y a peu de connaissances sur la meilleure façon d’intégrer l’analyse comparative entre les sexes plus dans le processus d’EI et le processus d’approvisionnement.
2.1.2 Harmonisation avec les priorités fédérales et celles de l’AEIC.
La conception du programme est clairement harmonisée avec les priorités du gouvernement fédéral et celles de l’AEIC en matière de réalisation d’EI et de réconciliation avec les peuples autochtones.
En particulier, l’AEIC a l’obligation légale de remplir l’obligation de la Couronne de consulter les peuples autochtones, basé sur l’interprétation judiciaire des obligations de la Couronne en relation avec l’article 35 de la Loi constitutionnelle de 1982, et découle de l’honneur de la Couronne et de la relation unique entre la Couronne et les peuples autochtones. La LEI aborde l’importance de la participation du public dans le processus d’EI, l’engagement du gouvernement à garantir les droits des peuples autochtones du Canada et à favoriser la réconciliation et le partenariat avec eux, ainsi que l’engagement du gouvernement à mettre en œuvre la Déclaration des Nations Unies sur les droits des peuples autochtones.
Le PAFP et le PSCA, qui permettent la participation du public et des Autochtones au processus d’évaluation, sont liés aux priorités de l’AEIC et du gouvernement. Plus précisément, il y a une concordance avec les priorités de l’AEIC grâce à l’obligation légale de consulter les peuples autochtones, et le rôle de la participation et des conseils du public et des Autochtones en tant qu’élément des EI robustes. Il y a aussi l’harmonisation aux priorités du gouvernement telles qu’elles sont énoncées dans la LEI elle-même, y compris l’importance des EI, ainsi que des évaluations régionales, qui intègrent le savoir autochtone dans les processus décisionnels, l’importance de la participation du public au processus de l’EI, l’engagement du gouvernement à assurer les droits des peuples autochtones du Canada et à favoriser la réconciliation et le partenariat avec eux, et l’engagement du gouvernement à mettre en œuvre la Déclaration des Nations Unies sur les droits des peuples autochtones.
Le PDP et le PR sont associés au processus d’EI lui-même, tous deux alimentant les outils d’évaluation, les méthodologies, les politiques et les systèmes à l’appui des évaluations de grande qualité. La stratégie de mesure du rendement du programme note que certaines recherches peuvent prendre des années à se concrétiser (en raison de la nécessité de trouver un partenaire approprié ou une aide financière suffisante). Le Stratégie de mesure du rendement comprend également quatre modèles logiques, un pour chaque composante du programme, dont les résultats sont liés à ceux des Profils d’information sur le rendement (PIR) pour le Programme d’administration, réalisation et surveillance de l’évaluation et le Programme de relations avec les Autochtones et participation des Autochtones.
Enfin, les PIR démontrent l’harmonisation entre le Programme et la responsabilité essentielle de l’AEIC ainsi que trois des quatre résultats ministériels, tels qu’articulés dans le plus récent rapport sur les résultats ministériels (2022-2023) et le plan ministériel (2024-2025) :
- Résultat ministériel 1 : Projets désignés qui agissent en faveur de la durabilité
- Résultat ministériel 2 : Participation significative des intervenants et des groupes autochtones au processus d’évaluation
- Résultat ministériel 4 : Les processus d’évaluation d’impact respectent les droits et la culture des peuples autochtones et l’engagement du Canada à collaborer avec eux
2.2 Efficacité
Résumé :
Dans l’ensemble, il y a eu de bons progrès vers la réalisation des résultats immédiats et la plupart des résultats intermédiaires dans tous les volets du programme. L’atteinte des résultats à long terme est moins claire, en particulier, si l’aide financière a entraîné une participation significative, des évaluations plus efficaces et de grande qualité.
Les facteurs qui ont été jugés comme facilitant la réalisation des résultats étaient liés à la grande qualité du personnel et des processus de prestation efficaces. Les facteurs entravants étaient liés à l’aide financière (montants, limitations sur la façon dont l’aide financière peut être dépensée, retards dans l’approbation de l’aide financière), le niveau de sensibilisation au programme, la longévité du programme, et la mobilisation des partenaires externes et des équipes de travail au sein de l’AEIC. Plusieurs résultats non intentionnels ont été identifiés par les intervenants internes et externes.
2.2.1 Atteinte des résultats attendus
Les résultats de chaque volet du programme sont identifiés dans les modèles logiques, à l’annexe A. L’atteinte des résultats a été mesurée selon les résultats et les indicateurs articulés dans la stratégie de gestion des programmes du programme, élaborée en 2023. Il est important de noter que la collecte de données pour le suivi du programme n’avait pas encore commencé au moment de l’évaluation. Par conséquent, seuls les résultats pour lesquels il y avait des données probantes disponibles (par le biais des méthodes mises en œuvre pour l’évaluation) sont rapportés.
Aperçu
Plus de 3 000 bénéficiaires de l’aide financière ont été soutenus dans l’ensemble des volets du programme de 2019-2020 à 2022-2023, la plupart étant financés par le PAFP (2 487), suivi par le PDP (458), le PSCA (135) et le PR (34). La plupart des bénéficiaires de l’aide financière sont des organisations autochtones (100 % pour le PSCA, 66,1 % pour le PAFP et 62,0 % pour le PDP).Note de bas de page 5
La plupart des volets du programme ont un résultat lié au renforcement des capacités au sein des communautés autochtones et des organisations (et du public dans le cas du PAFP). Les données probantes suggèrent que des capacités ont été développées en matière de connaissances accrues, de compréhension, de compétences et d’informations. Cependant, le manque de capacité continue d’être fréquemment mentionné comme un point à améliorer. Pour le PDP, il n’est pas clair si des capacités ont été renforcées (c’est-à-dire, s’ils ont acquis de meilleures connaissances et informations en matière d’évaluation, s’ils sont plus aptes à fournir des conseils et des rétroactions), bien que quelques bénéficiaires de l’aide financière du PDP aient affirmé que c’était le cas.
De même, la plupart des volets du programme visent à développer et à améliorer les relations avec les communautés et les organisations autochtones. Cependant, les données probantes de l’évaluation ne répondent pas directement à cet objectif. Les indicateurs substitutifs, tels que le fait que l’aide financière soit adaptée aux besoins, la satisfaction à l’égard des processus administratifs, la moyenne du nombre d’années des bénéficiaires répétés d’aide financière du PSCA, le pourcentage de bénéficiaires de PDP qui sont autochtones, le nombre de sujets de politique traités par les comités consultatifs, la participation de l’AEIC aux réunions avec les communautés et les organisations autochtones, les opinions sur la question de savoir si les communautés et les organisations autochtones disposent d’une aide financière suffisante et stable pour atteindre leurs objectifs à long terme. Tous les indicateurs suggèrent que les relations avec les communautés et les organisations autochtones se sont améliorées. Le PDP finance les bénéficiaires publics, mais les données probantes sont moins positives, avec un pourcentage plus faible de bénéficiaires récurrents qui sont des intervenants. Cependant, l’AEIC a assisté à un grand nombre de réunions avec les intervenants.
Pour le PR, le résultat tourne autour de la diversité des chercheurs et de l’étendue de la communauté de recherche. Les données probantes indiquent que cela se produit, bien qu’on pourrait faire plus pour élargir la portée de la communauté qui a mené des recherches liées à l’EI.
En ce qui concerne les résultats liés à l’augmentation de la participation et de la mobilisation, tous les répondants au sondage du PAFP ont déclaré que l’aide financière leur a permis de participer à une évaluation, bien que la moitié d’entre eux aient déclaré avoir participé activement à des consultations liées à une évaluation. De plus, 80 % des bénéficiaires du PSCA sont également des bénéficiaires du PAFP, ce qui suggère qu’ils ont participé à une évaluation. La mesure dans laquelle la participation aux évaluations est significative est moins évidente avec les rétroactions positives et négatives des répondants aux sondages du PAFP. Le PDP vise également à accroître la participation à l’élaboration des politiques, des lignes directrices, des outils et des pratiques liés à l’évaluation, et les données probantes montrent que le volet du programme finance un large éventail de groupes. Cependant, encore une fois, il n’est pas clair dans quelle mesure cette participation est significative pour les participants.
En ce qui concerne si les praticiens de l’EI ont un meilleur accès à l’information des communautés et organisations autochtones et du public (que ce soit par le biais du PAFP ou du PDP), les données probantes suggèrent que cela se produit. En particulier, la plupart des interviewés de l’AEIC ont déclaré que les praticiens disposent d’informations provenant des communautés et des organisations autochtones et du public, et reflètent ces informations dans les évaluations. Tous les interviewés de l’AEIC ont déclaré que les politiques, lignes directrices, outils et pratiques reflètent les contributions des différents groupes qui ont été consultés. De plus, le CCT et le Comité consultatif autochtone (CCA) ont répondu à bon nombre des priorités du président entre 2020-2021 et 2022-2023.
En ce qui concerne s’il y a plus d’informations disponibles à partir des recherches menées, il ne fait aucun doute que de nouvelles informations ont été générées et partagées, tant à l’interne qu’à l’externe. Cependant, parmi les personnes consultées pour l’évaluation, bon nombre estimaient qu’il faudrait en faire davantage pour accroître la diffusion des produits de recherche, en particulier à l’extérieur de l’AEIC.
Cependant, il n’est pas clair si les évaluations sont plus efficaces (ou si les politiques, lignes directrices, outils et pratiques d’évaluation sont plus efficaces) en raison du programme.
Les données probantes pour chaque composante du programme sont présentées ci-dessous.
PAFP
Il existe des données probantes solides indiquant que les trois résultats immédiats du PAFP ont été atteints.
En ce qui concerne un meilleur accès à l’information des communautés et organisations autochtones et du public, 2 487 bénéficiaires d’aide financière ont été soutenus, tous visant à faciliter la participation du public et des communautés et organisations autochtones au processus d’évaluation. De ceux-ci, les deux tiers (1 644, ou 66,1 %) étaient des bénéficiaires autochtones. La participation aux évaluations est facilitée par le PAFP grâce à l’aide financière pour de nombreuses activités admissibles (comme participer à des réunions, examiner des documents, élaborer des documents, des plans et des rapports). Ces activités admissibles ont été démontrées par l’examen des documents et des dossiers et mentionnées par les bénéficiaires de l’aide financière qui ont été consultés lors d’entrevues et d’études de cas.
Presque tous les répondants aux sondages du PAFP ont convenu que l’aide financière provenant du PAFP a permis de participer au processus d’évaluation. Ayant dit cela, seuls cinq répondants autochtones ont accepté l’affirmation : « J’ai participé activement aux consultations dans le cadre de ma participation au processus d’évaluation » (parmi les cinq répondants autochtones restants, trois étaient en désaccord et deux ne savaient pas ou ils ont dit que cela ne s’appliquait pas).
Pour le résultat immédiat de l’augmentation de la capacité des communautés et des organisations autochtones et du public à participer aux évaluations, la plupart des répondants à l’enquête du PAFP ont déclaré que l’aide financière avait augmenté leur capacité en matière de connaissances, de temps et de ressources (par exemple, la mobilisation des membres de la communauté, les liens directs avec les promoteurs). Certains interviewés bénéficiaires de l’aide financière ont également noté que l’aide financière a contribué à améliorer leur capacité.
Il y avait des données probantes limitées pour parler des résultats liés à l’amélioration des relations avec les communautés et organisations autochtones et le public, en raison de la façon dont les indicateurs étaient définis dans la stratégie de mesure de rendement (c.-à-d. qu’ils se limitaient à mesurer la satisfaction à l’égard des processus administratifs et à mesurer dans quelle mesure le programme répondait aux besoins des bénéficiaires, ce qui a été abordé dans ce rapport dans la section sur la pertinence). Lorsqu’on a demandé aux répondants des sondages si l’aide financière était adaptée à leurs besoins et s’ils étaient satisfaits des processus administratifs et des exigences, tous les répondants au PAFP ont déclaré que l’aide financière était adaptée et qu’ils étaient satisfaits. Cela étant dit, lorsqu’on leur a demandé lors des entrevues quels étaient les autres résultats du programme, quelques interviewés internes de l’AEIC ont déclaré que la relation de l’AEIC avec les communautés autochtones s’était améliorée grâce au programme. L’un de ces interviewés a spécifiquement mentionné que la relation entre les praticiens de consultation en EI et les communautés s’est améliorée grâce au programme.
En ce qui concerne l’atteinte du résultat intermédiaire pour le PAFP, à savoir l’augmentation de la participation significative des communautés et des organisations autochtones et du public aux évaluations, le succès est plus modeste. Lorsqu’on a demandé aux bénéficiaires de l’aide financière du PAFP s’ils étaient d’accord avec l’affirmation « Ma participation au processus d’évaluation était significative », trois ont accepté, quatre ont refusé et trois ne savaient pas ou ont indiqué que cela ne s’appliquait pas. Raisons spécifiques fournies par ceux qui n’étaient pas d’accord : le manque d’aide financière pour terminer le processus qu’ils avaient commencé; le manque de capacité; la surconsultation; et l’incertitude quant à ce que signifie une participation significative.
Pour leur part, parmi les rares personnes externes interrogées qui ont pu commenter, toutes ont indiqué que l’aide financière était essentielle pour la participation significative des peuples autochtones et du public aux processus d’évaluation, mais que l’aide financière n’est pas suffisante (y compris l’aide financière disponible dans d’autres instances canadiennes).
Le résultat ultime du PAFP, soit une meilleure information disponible pour les évaluations, semble avoir été atteint selon le personnel de l’AEIC, la plupart des personnes interrogées par l’AEIC ayant déclaré que les praticiens disposent d’informations provenant des communautés et organisations autochtones ainsi que du public, et qu’ils intègrent ces informations dans les évaluations. Ce sentiment a également été partagé par certains interviewés externes. Les domaines à améliorer identifiés par les personnes interrogées comprennent : la nécessité de continuer à renforcer les capacités; besoin d’une meilleure contribution du public; et un impact limité en raison des contraintes de temps et des limites de financement.
PSCA
L’un des résultats immédiats du PSCA est la création de partenariats à long terme avec les communautés et les organisations autochtones. Cette mesure a été en partie évaluée en fonction de l’opinion des personnes interrogées sur le fait que les communautés et organisations autochtones disposent d’une aide financière suffisante et stable pour atteindre leurs objectifs à long terme. Seuls quelques répondants de l’AEIC ont pu commenter, mais ils ont tous déclaré que le financement pluriannuel contribue à la durabilité et à la réalisation des objectifs à long terme. Une autre façon dont l’évaluation a évalué les progrès réalisés vers ce résultat était en examinant le nombre moyen d’années pendant lesquelles les communautés et organisations autochtones ont reçu un financement de la composante 1 du PSCA (partenaires du programme). L’examen des données a révélé que la durée moyenne de participation des bénéficiaires récurrents entre 2019-2020 et 2022-2023 dans la composante 1 était de 2,66 ans (il y avait 49 initiatives financées dans le volet 1 et 15 bénéficiaires de la composante ont reçu une aide financière plus d’une fois).
L’autre résultat immédiat exploré lors de l’évaluation était une amélioration des connaissances et de l’information en matière d’évaluation parmi les communautés et organisations autochtones. Dans ce cas, les données probantes permettent de déterminer de manière plus directe que ce résultat a été atteint, dans une large mesure. En particulier, tous les dossiers du PSCA examinés ont confirmé que l’aide financière visait à améliorer les connaissances et l’information des bénéficiaires autochtones en matière d’évaluation en les finançant pour développer des outils et des directives, offrir des formations et des ateliers, entreprendre des études, etc. De plus, parmi les répondants aux questions du sondage, la plupart ont convenu que l’aide financière du PSCA a amélioré leur compréhension des processus d’évaluation et de leurs implications. La plupart des répondants aux sondages du PSCA ont également convenu que l’aide financière du PSCA leur a permis d’acquérir des connaissances et des compétences suffisantes pour participer à un processus d’évaluation éventuel. De plus, certains interviewés bénéficiaires de l’aide financière du PSCA ont fourni des exemples concrets de la façon dont leurs connaissances ont augmenté (par exemple, en embauchant du personnel compétent, en recevant des outils de l’AEIC, en ayant accès à des experts).
Le résultat intermédiaire, soit une capacité accrue d’évaluation parmi les communautés et les organisations autochtones, découle du résultat immédiat ci-dessus et semble atteint, du moins en partie. Tous les interviewés internes de l’AEIC qui ont commenté ont déclaré que les capacités sont renforcées dans les communautés autochtones, comme en témoignent l’amélioration de la qualité des réponses, l’augmentation de la réactivité et les documents élaborés par les communautés et organisations autochtones. Deux interviewés bénéficiaires d’aide financière ont fourni des exemples concrets de renforcement des capacités dans leur communauté (embauche de personnel pour être formé, déplacements et salaires pour effectuer des travaux liés à l’évaluation, établissement de relations avec des acteurs gouvernementaux).
Le résultat ultime du PSCA est essentiellement le même que le résultat intermédiaire du PAFP : la participation significative aux évaluations. Un moyen de déterminer si cela se produit est d’examiner le nombre de bénéficiaires du PAFP qui sont également des bénéficiaires du PSCA (et reçoivent donc un soutien pour faciliter leur participation à une évaluation). Les données montrent que, des 94 bénéficiaires uniques du PSCA, 76 sont également des bénéficiaires du PAFP (80,0 %), ce qui signifie qu’ils reçoivent un soutien pour participer au processus d’évaluation. Cependant, cela ne dit rien sur la signification de cette participation.
PDP
L’évaluation a exploré les trois résultats immédiats du PDP. Deux de ces résultats concernent le nombre et la nature de la participation des bénéficiaires de l’aide financière et un concerne le développement de connaissances améliorées.
Pour le résultat, une augmentation de la participation à l’élaboration des politiques, lignes directrices, outils et pratiques liés à l’évaluation, il y a eu un succès modéré. Parmi les 458 bénéficiaires de l’aide financière soutenus par le PDP, il y avait 402 bénéficiaires. Parmi ceux-ci, 301 ou 74,9 % étaient uniques (c.-à-d. nouveaux), ce qui suggère qu’il existe un large éventail de groupes participant à des exercices de rétroaction liés à la politique d’évaluation. Le processus d’examen de dossier a confirmé que la plupart des initiatives financées par le PDP visaient à fournir un soutien aux communautés autochtones pour qu’elles puissent donner leur avis sur l’application de la LEI et de l’AEIC.
Le résultat immédiat des relations réciproques avancées est mesuré en examinant le pourcentage de groupes récurrents recevant une aide financière, qu’il s’agisse d’Autochtones ou d’intervenants. L’examen des données a révélé que parmi les 402 bénéficiaires de l’aide financière du PDP, 101 étaient des bénéficiaires récurrents (25,1 %). Sur les 101 destinataires récurrents, 63, soit 62,4 %, étaient des destinataires autochtones récurrents et 38, soit 37,6 %, étaient des intervenants non autochtones. La cible pour les deux mesures de la stratégie de mesure de rendement est de 50 %, ce qui suggère qu’il faudrait faire davantage pour augmenter la proportion d’intervenants non autochtones recevant une aide financière plus d’une fois. Un autre moyen de mesurer l’avancement des relations réciproques est le nombre de sujets de politique abordés lors des réunions des comités consultatifs, y compris le CCT et le CCA. L’examen du document a révélé que ces deux comités se réunissaient plusieurs fois par an et fournissaient des conseils et des contributions sur divers sujets politiques. Enfin, faire progresser les relations peut également se faire en participant et en s’engageant lors de réunions non liées au projet. En 2022-2023 seulement, l’AEIC a assisté à 36 réunions avec des partenaires autochtones (à l’exclusion du CCA) et à 145 rencontres avec des intervenants de divers types (à l’exclusion du CCT).
Le résultat immédiat final du PDP est une amélioration des connaissances et de l’information en matière d’évaluation parmi les communautés et organisations autochtones. Il n’est pas clair si ce résultat a été atteint puisque la plupart des répondants au sondage du PDP n’ont pas pu donner des commentaires sur cette question. Quelques interviewés bénéficiaires de l’aide financière du PDP ont indiqué qu’ils ont acquis des connaissances accrues, l’un d’eux affirmant que l’aide financière lui a permis d’acquérir des connaissances suffisantes pour être moins dépendant des experts externes et un autre affirmant qu’ils ont rationalisé les processus et développé leur compréhension.
Les résultats intermédiaires vont de l’augmentation de la capacité à la participation significative à l’élaboration des politiques. De même que pour le résultat immédiat lié à l’amélioration des connaissances, il n’est pas clair si le premier résultat, soit une capacité accrue à fournir des avis et de la rétroaction sur les politiques, lignes directrices, outils et pratiques liés à l’évaluation, a été atteint puisque la plupart des répondants aux sondages du PDP n’ont pas pu commenter. Cependant, les trois interviewés bénéficiaires de l’aide financière du PDP qui ont pu commenter ont noté que la capacité a été augmentée (par exemple, l’élaboration de politiques, les participations à d’autres tables, la sensibilisation accrue aux projets et aux impacts discutés, l’harmonisation de la position de l’organisation, la compréhension du processus d’évaluation, ce qui devrait être pris en compte lors des discussions avec les promoteurs, les différentes organisations impliquées dans le processus d’évaluation).
Le prochain résultat intermédiaire, les politiques, lignes directrices, outils et pratiques reflètent les perspectives des communautés et des organisations autochtones et des intervenants, selon le cas, a été atteint au moins en partie. Selon le site Web de l’AEIC et la documentation du programme, le CCT a abordé les 12 priorités identifiées par le président entre 2020-2021 et 2022-2023, et le CCA a abordé les 10 priorités du président sur la même période. De plus, tous les interviewés de l’AEIC qui ont pu commenter ont déclaré que les politiques, lignes directrices, outils et pratiques reflètent les contributions des différents groupes qui ont été consultés.
En ce qui concerne la participation significative à l’élaboration des politiques, les indicateurs de ce résultat intermédiaire portent sur le fait que les rapports « Ce que nous avons entendu », la rétroaction et les analyses font référence aux commentaires des groupes autochtones ou des intervenants. L’évaluation n’a pu examiner qu’un rapport « Ce que nous avons entendu »,Note de bas de page 6 qui décrit clairement les commentaires autochtones reçus et comment ils ont été pris en compte. Dans ce cas particulier, un examen de la version provisoire du Cadre stratégique sur le savoir autochtone pour l’examen des projets et les décisions réglementaires a permis de dégager des fonds en mai 2021 pour appuyer l’examen de la version provisoire du Cadre par les collectivités et les organisations autochtones. Des commentaires ont été fournis sur de nombreux aspects du Cadre, notamment : les mises à jour et les clarifications générales; la Déclaration des Nations Unies sur les droits des peuples autochtones; la prise de décisions en collaboration; l’héritage colonial du Canada; le respect des droits autochtones et issus des traités; l’examen du savoir autochtone; le renforcement des capacités liées au savoir autochtone; la formation des fonctionnaires fédéraux; la gestion et la protection du savoir autochtone; l’applicabilité du Cadre; la mise en œuvre du Cadre; et le processus de participation au Cadre. L’annexe du rapport « Ce que nous avons entendu » comprend un résumé des demandes au titre du PDP (avec la participation de 79 communautés et organisations autochtones). Un total de 29 ressources existantes sur les connaissances autochtones ont également été fournies par les personnes contribuant et sont répertoriées dans une annexe.
L’objectif ultime du PDP est que les politiques d’évaluation, les lignes directrices, les outils et les pratiques, ainsi que les évaluations elles-mêmes, soient plus efficaces. Il n’est pas clair si ce résultat a été atteint, car la moitié des personnes interrogées de l’AEIC qui pouvaient commenter ont déclaré que ce résultat avait été atteint, tandis que l’autre moitié a dit qu’il n’était pas atteint (que l’AEIC doit mieux relier les conseils aux évaluations des projets).
PR
Les données probantes suggèrent que le PR atteint le résultat immédiat de partenariats accrus avec des chercheurs diversifiés. La grande majorité (93,3 %) des bénéficiaires du PR sont de nouveaux chercheurs, confirmant la diversité des chercheurs qu’elle finance. Des partenariats formels ont également été établis avec le Conseil de recherches en sciences humaines, le Conseil de recherches en sciences naturelles et en génie, et le Réseau d’expertise et de dialogue sur l’évaluation d’impact, élargissant ainsi davantage les partenariats avec les chercheurs.
Il est moins clair si le résultat immédiat, le corpus de recherche est accessible aux intervenants internes et externes, est atteint dans toute sa mesure. Entre 2019-2020 et 2022-2023, le PR a soutenu le développement de 39 produits de recherche (y compris ceux menés par le Conseil de recherches en sciences humaines). Exemples de produits (du dossier d’examen) comprennent : rapport final et publications évaluées par les pairs, outils (base de données, outil d’évaluation), ateliers, présentations, conférences et documents de formation. Le PR diffuse les produits de recherche en interne (par le biais des présentations, des ateliers, des bulletins d’information, des publications sur Atrium et ailleurs) et en externe (par le biais de son site Web et les médias sociaux, ainsi que par les chercheurs qu’il soutient par des publications et des présentations lors de conférences). L’examen des dossiers a confirmé la diffusion externe pour quatre des dix dossiers, y compris les rapports finaux, les présentations lors de conférences, les publications évaluées par des pairs et la création d’un réseau virtuel, des ateliers interministériels et des webinaires, des ateliers et un site Web dédié. De plus, le site Web a vu une augmentation du trafic au fil du temps depuis sa création en 2020-2021. Parmi les produits de recherche soutenus par le PR, 12 ont été cités par d’autres universitaires (dont un qui a été cité 15 fois).
Cependant, les données probantes des personnes interrogées et des répondants de OAUC étaient mitigées, certains estimant que la diffusion était appropriée et d’autres étant en désaccord. Ceux qui n’étaient pas d’accord ont suggéré d’avoir une bibliothèque accessible où les produits sont disponibles. Étant donné l’existence du site Web du PR depuis plusieurs années, cela suggère que les approches actuelles de diffusion n’ont pas été suffisantes pour sensibiliser. De plus, les commentaires des personnes interviewées et des répondants de OAUC indiquent que si l’information est partagée efficacement avec certains groupes, d’autres groupes ne sont pas au courant des produits de recherche. Cela a été confirmé par l’administration de l’OAUC lorsque bon nombre des personnes invitées à partager leurs opinions sur les produits de recherche ont indiqué qu’elles n’étaient pas au courant du produit en question, mais cela pourrait aussi être dû au fait que la recherche n’était pas suffisamment liée à leur domaine spécifique de recherche.
La plupart des interviewés bénéficiaires du PR ont déclaré que leurs réseaux se sont élargis en raison du PR, certains ont noté que les étudiants diplômés sont devenus plus engagés dans les sujets d’EI, en raison de l’aide financière, suggérant un certain degré de succès dans la réalisation du résultat intermédiaire d’élargissement de la communauté de recherche et de chercheurs. Cependant, les répondants de l’OAUC étaient plus divisés dans leurs commentaires, indiquant que bien que le programme crée des occasions de recherche pouvant être pertinentes pour des évaluations de grande qualité, les recherches menées jusqu’à présent sont généralement insuffisantes pour étendre de manière significative la communauté de recherche axée sur les EI.
Il n’est pas non plus clair si le résultat intermédiaire, soit l’augmentation de la base de connaissances liée aux évaluations, a été atteint. Du côté positif, certains interviewés de l’AEIC ont noté une bonne diffusion interne des produits de recherche. De plus, certains interviewés bénéficiaires d’aide financière externe et du PR ont fourni des exemples de l’augmentation de la base de connaissances, par le biais de publications, de la diffusion au public, de présentations devant des publics universitaires et de références par des personnes du monde entier. Cependant, quelques membres de l’AEIC et des interviewés externes ont suggéré une plus grande exposition des produits au public. Certains répondants de l’AEIC ont également déclaré qu’ils n’étaient pas au courant de l’utilisation de produits de recherche ou de l’expansion de la base de connaissances, et que le langage utilisé dans les produits de recherche est trop académique. Les répondants de l’OAUC ont indiqué que, bien que le PR diffuse l’information de manière efficace, il semble actuellement limité dans sa capacité à influencer l’adoption des pratiques d’évaluation.
En raison du manque de clarté entourant la réalisation des résultats intermédiaires, il s’ensuit que la mesure dans laquelle le résultat ultime, la recherche soutient des évaluations de grande qualité, n’est pas non plus claire. Il y avait des données probantes incohérentes des interviewés de l’AEIC, trois personnes voyant une bonne harmonisation entre les produits de recherche et leur utilité pour les évaluations, deux personnes ayant des avis mitigés et une personne disant qu’il y a une mauvaise harmonisation. Les personnes qui ont donné des commentaires sur la bonne harmonisation ont noté que les évaluations ont été soutenues par la diffusion au personnel, un bon dialogue avec l’AEIC concernant les besoins menant à l’utilisation, et le soutien des besoins des comités. Les personnes qui ont vu des occasions d’amélioration concernant le soutien aux évaluations ont déclaré que les produits de recherche ne sont pas suffisamment pratiques pour être utiles et qu’ils ne sont pas disponibles en temps opportun.
2.2.2 Facteurs facilitant ou entravant la réalisation des résultats
Un certain nombre de facteurs ont été identifiés comme facilitant ou entravant la réalisation des résultats pour tous les programmes d’aide financière.
Les facteurs facilitants étaient principalement axés sur les caractéristiques internes de prestation ainsi que sur la sensibilisation. La qualité élevée du personnel de l’AEIC a été le facteur interne le plus souvent mentionné comme facilitant la réalisation des résultats. Aucun facteur externe facilitant n’a été identifié.
Les facteurs entravants comprenaient des facteurs internes (comme les limitations sur la façon dont l’aide financière peut être utilisée, la sensibilisation et les retards) et des facteurs externes (comme la capacité des demandeurs et l’imprévisibilité des projets).
Facteurs internes facilitants
- Du personnel de grande qualité qui est compétent et flexible dans leur approche de l’allocation de l’aide financière.
- Bons processus, y compris :
- Le processus de demande.
- Le processus d’approbation de l’aide financière.
- Le processus de mobilisation coordonnée pour minimiser la fatigue liée aux consultations.
- Le processus de communication des résultats de recherche consolidés (par exemple, infographies).
- Le processus de déclaration qui réduit au minimum le fardeau sur les communautés autochtones.
Facteurs internes entravants
- Les problèmes liés au financement et à la façon dont l’aide financière peut être dépensée, notamment :
- Les montants d’aide financière insuffisants et des limites annuelles sur le financement.
- Les restrictions et le manque de souplesse dans les budgets.
- Les demandeurs dont la demande d’aide financière a été refusée.
- Les montants d’aide financière devant être réduits en raison de la forte demande pour le programme.
- Les dépenses non admissibles.
- Le manque de sensibilisation auprès de certaines communautés et organisations cibles quant à l’existence du programme.
- Le manque de stabilité et de longévité des programmes (c.-à-d. le cycle de 5 ans ne crée pas beaucoup de stabilité).
- Les retards dans l’aide financière (en raison d’un long processus de demande, de décisions lentes) qui peuvent perturber les activités prévues.
- Le manque de collaboration avec les partenaires externes et les équipes de travail au sein de l’AEIC pour déterminer les priorités et communiquer les produits de recherche.
Facteurs externes entravants
- La capacité limitée des demandeurs d’aide financière à faire une demande pour du financement et leur dépendance associée aux consultants, ce qui limite davantage leur capacité à renforcer leurs capacités internes.
- L’imprévisibilité des projets, y compris :
- Le changement de portée ou de calendrier.
- Les retards du promoteur.
- Les retards causés par la pandémie de COVID-19.
- La décision de la Cour suprême du Canada et son impact sur la relation avec les communautés autochtones.
- L’incertitude liée à la disponibilité d’aide financière (par exemple, retards causés par les élections fédérales).
2.2.3 Les résultats non intentionnels
Des entrevues avec les intervenants internes et externes de l’AEIC ont permis de mettre en lumière plusieurs résultats non intentionnels du programme.
Les témoignages des intervenants internes sur les résultats non intentionnels comprennent :
- Les perceptions négatives associées à la participation aux évaluations provinciales et territoriales qui pourraient ne pas offrir d’aide financière aux participants. Les personnes interrogées ont suggéré qu’il pourrait y avoir une pression accrue sur les provinces et territoires pour offrir une aide financière, ou une demande croissante pour que le gouvernement fédéral participe dans une évaluation provinciale et territoriale.
- Des attentes accrues selon lesquelles d’autres organismes fédéraux offriront une aide financière lorsqu’ils s’engageront avec les communautés autochtones, à l’instar de l’AEIC.
- La fatigue des demandeurs d’aide financière en matière de demandes et de consultations.
Les témoignages d’intervenants externes sur les résultats non intentionnels comprennent :
- La création d’une « industrie artisanale » avec les mêmes organisations soumettant plusieurs demandes. Cela est attribué à un manque de sensibilisation et de conscientisation parmi les communautés admissibles et à l’expansion au-delà des acteurs habituels.
- L’aide financière profite davantage aux consultants et avocats qu’aux communautés en raison d’un manque de capacité de base qui oblige ces communautés à engager des consultants externes pour les aider avec les propositions. Cela reflète le besoin d’une aide financière supplémentaire pour le développement de la capacité de base des communautés, plutôt que de compter sur des consultants et des experts externes.
- Un accent plus important sur les projets individuels que sur l’amélioration du processus global en raison de la manière dont l’aide financière est répartie entre les différents volets du programme. Plus précisément, bien que le PAFP vise à améliorer le processus, son accent sur des projets individuels plutôt que sur le contexte plus large des traités renouvelés ou de la planification exhaustive de l’utilisation des terres limite son impact. Il y a un besoin de plus d’aide financière à long terme.
2.3 Efficience
Résumé :
La conception du programme est une façon appropriée et efficace d’atteindre les résultats et les objectifs plus larges de l’AEIC, et est conforme aux pratiques exemplaires. De plus, la conception est intégrée pour la plupart. Au cours des dernières années, le programme a pris de nombreuses mesures et mis en œuvre des recommandations d’études visant à améliorer sa conception.
L’exécution du programme est intégrée (à l’exception du PR) et les volets du programme sont complémentaires. L’administration du programme est très efficace. Les processus de demande ont généralement été salués, bien que quelques améliorations aient été suggérées (par exemple, améliorer la sensibilisation aux possibilités d’aide financière et simplifier le processus de demande). Les processus de paiement et la gouvernance ont également reçu des commentaires positifs et aucune suggestion d’amélioration. Bien que l’allocation des fonds et la prise de décision s’améliorent, ce sont encore des domaines nécessitant une attention supplémentaire. Il existe également des possibilités d’explorer des améliorations aux approches de mesure et de suivi du rendement.
2.3.1 Conception du programme
Les caractéristiques de conception du programme comprennent quatre volets de programme intégrées. Les différents volets du programme abordent divers aspects liés à la participation aux évaluations d’impact et à la génération de connaissances. Le PAFP fournit un financement direct pour la participation, le PSCA renforce les capacités à long terme, le PDP assure la participation des intervenants à l’élaboration des politiques, et le PR comble les lacunes en matière de connaissances grâce à des recherches ciblées. La conception est intégrée dans la mesure où il existe un ensemble unique de modalités pour les quatre volets du programme (où chaque volet est décrit séparément et a une annexe distincte avec les bénéficiaires admissibles, les activités et initiatives admissibles, les critères de décision en matière d’aide financière, la demande d’aide financière et les montants maximums payables), une seule stratégie de mesure de rendement. Chaque composante du programme a un modèle logique et une matrice de stratégie de mesure du rendement distincts, ainsi qu’un cadre de gestion des risques unique pour les quatre volets du programme.
Plusieurs mesures ont été prises pour améliorer l’efficacité du programme, avec des recommandations présentées au Comité de surveillance des subventions et des contributions (CSSC) au printemps 2021 et mises en œuvre par la suite. Un ensemble de recommandations comprenait une restructuration organisationnelle et de responsabilisation, des changements aux délégations de pouvoirs, l’introduction du centre d’excellence, l’établissement d’un cadre de gestion intégré, incluant la gestion des risques. Un autre ensemble de recommandations comprenait des changements à l’utilisation des subventions, au calendrier et à la phase de disponibilité de l’aide financière, ainsi qu’à de nouveaux niveaux d’aide financière.
Le programme a également entrepris deux examens pour s’assurer que la conception et la prestation sont efficaces et efficientes. Ces examens ont donné lieu à une série de recommandations qui ont été adoptées par l’AEIC et dont les changements sont des caractéristiques actuelles de la conception et de l’approche de prestation du programme. Plusieurs de ces changements ont été identifiés comme augmentant l’efficacité et l’adéquation de la conception et de la prestation du programme, par exemple la réorganisation de tous les volets (sauf le PR) sous un même toit, les délégations de pouvoir et la simplification des approbations.
Les caractéristiques positives de la conception globale du programme identifiées par les partenaires et les intervenants interviewés pour l’évaluation sont les suivantes : chaque programme sert à réaliser une évaluation d’impact; la souplesse et la bonne relation de travail entre le personnel du programme et les bénéficiaires d’aide financière (p. ex., pivot lorsque des événements inattendus se sont produits, relations à long terme, etc.); les critères d’admissibilité et de sélection clairs; la bonne gestion des volets du programme (tous sous un même toit); éviter la non-utilisation (p. ex. en permettant à l’argent d’être déplacé d’une composante d’un programme à l’autre et selon une approche axée sur les risques); la bonne sensibilisation et éducation; et les efforts pour améliorer continuellement le programme.
Le besoin le plus souvent recommandé en matière d’amélioration de la conception était celui d’une aide financière supplémentaire, en particulier à long terme. Plus de flexibilité dans ce qui est financé et comment l’aide financière peut être utilisée a également été mentionnée par les bénéficiaires d’aide financière.
Éléments de conception du PAFP et du PSCA
Tous les éléments de conception (c.-à-d. la portée, le public cible et les critères d’admissibilité) du PAFP et du PSCA sont conformes aux programmes d’aide financière comparables d’autres organisations fédérales et sont considérés comme des pratiques exemplaires. Ceux-ci sont décrits ci-dessous.
Portée
En ce qui concerne la portée, les quatre volets du programme, ainsi que les composantes au sein de ces volets, permettent d’allouer des fonds pour répondre à des besoins spécifiques, notamment : participer à un projet d’EI, renforcer les capacités générales, informer les politiques et produire des données probantes de recherche pertinentes.
De même que le PAFP et le PSCA de l’AEIC, d’autres organismes fédéraux offrent une aide financière spécifique à des projets ou à des fins générales de renforcement des capacités; cependant, les initiatives d’aide financière spécifiques à des projets sont plus courantes. L’importance pour les communautés autochtones d’avoir accès à une aide financière générale pour renforcer leurs capacités a été soulignée par des représentants de programmes comparables. Ainsi, l’approche de l’AEIC qui consiste à avoir deux programmes d’aide financière distincts (c’est-à-dire, le PAFP et le PSCA) répondant aux besoins spécifiques des projets et aux besoins généraux de renforcement des capacités est conforme aux pratiques d’autres organisations fédérales visant à accroître les capacités et à faciliter la participation aux activités de consultation fédérale.
Public cible
Les volets du programme ciblent les membres du public non autochtones et les peuples autochtones. Les initiatives qui ciblent exclusivement les peuples autochtones garantissent que l’aide financière est consacrée à soutenir leurs besoins spécifiques.
Des programmes d’aide financière similaires au PAFP et au PSCA de l’AEIC sont conçus pour cibler les membres du public (y compris les particuliers, les organisations à but non lucratif) et les communautés ou organisations autochtones qui devraient participer aux activités admissibles du programme. Ainsi, l’approche de l’AEIC en matière de conception d’initiatives d’aide financière visant à la fois les membres du public et les communautés autochtones, y compris un programme exclusivement destiné aux communautés autochtones, est conforme aux pratiques des autres organismes fédéraux.
Critères d’admissibilité
Les critères d’admissibilité des volets du programme sont considérés comme bons, faciles à atteindre et inclusifs. Les critères d’admissibilité étendus du programme favorisent l’accessibilité et permettent de rationaliser les approbations d’aide financière en fonction des décisions internes sur l’affectation optimale des fonds.
La vaste gamme de demandeurs admissibles concernant les programmes d’aide financière comparables souligne le caractère accessible des initiatives d’aide financière, qui sont mises à la disposition des particuliers ou des groupes intéressés, y compris les membres du public et les communautés autochtones qui pourraient bénéficier de l’aide financière. Ainsi, l’approche de l’AEIC pour maintenir des critères d’admissibilité larges est cohérente avec d’autres organisations fédérales.
Éléments de conception du PR
Tous les éléments de conception (c.-à-d., la portée, le public cible et les critères d’admissibilité) du PR sont cohérents avec les programmes d’aide financière comparables d’autres organisations fédérales. Ceux-ci sont décrits ci-dessous.
Portée
Les programmes de recherche fédéraux comparables offrent une aide financière qui répond à des objectifs, des intérêts et des domaines de recherche prédéterminés ou imposés par l’organisation. L’approche de l’AEIC en matière d’aide financière pour les projets de recherche qui abordent les préoccupations de recherche prioritaires de l’organisation est cohérente avec ces autres programmes de recherche comparables.
Public cible
Les programmes de recherche fédéraux comparables sont conçus pour cibler les personnes et les groupes ayant une expertise dans les domaines de recherche d’intérêt pour l’organisation, y compris les universitaires et d’autres organisations non gouvernementales. L’approche de l’AEIC est cohérente avec celle d’autres organisations fédérales.
Critères d’admissibilité
Les bénéficiaires admissibles des programmes de recherche fédéraux comparables englobent un large éventail des sources les plus crédibles de recherche scientifique et d’activités connexes démontrant une expertise dans les domaines et les objectifs de recherche identifiés, y compris ceux identifiés dans les publics cibles des programmes. Cependant, l’aide financière de tous les programmes de recherche semble être principalement utilisée par les chercheurs et les universitaires des universités canadiennes. Cela est conforme au PR à l’AEIC.
2.3.2 Prestation du programme
Structure
Dans le cadre de l’exploration de la prestation du programme, la structure globale du programme, y compris l’intégration des quatre volets du programme, ainsi que l’efficacité, ont été prises en compte.
Les données probantes suggèrent que les approches de prestation pour les volets du programme sont complémentaires et coordonnées. L’administration du programme, la gouvernance, la prise de décision et la prestation de services sont intégrées pour trois volets du programme (PAFP, PSCA et PDP). Les critères détaillés d’admissibilité et de décision d’aide financière, ainsi que des processus d’examen structurés, aident à éviter les duplications entre les volets du programme.
Les pratiques de gestion financière, y compris une délimitation claire des domaines d’aide financière et l’utilisation de limites d’empilement, garantissent une utilisation efficace des fonds et réduisent le risque de chevauchement. Enfin, il y a une approche centralisée pour la gestion des budgets des volets du programme, bien que les budgets soient tous présentés séparément.
Le PR est géré au sein d’une unité organisationnelle distincte et semble avoir des mécanismes uniques pour identifier et formuler des initiatives d’aide financière. La plupart des personnes interrogées par l’AEIC considèrent la prestation des programmes comme coordonnée et complémentaire. Certains interviewés de l’AEIC ont mentionné le manque de coordination avec l’EI et qu’il y a une certaine confusion parmi ceux qui ne font pas partie du programme sur la manière dont les volets du programme s’entrecroisent.
Il a été noté par les personnes interrogées de l’AEIC qu’il y a plus de clarté autour des seuils et des tolérances de gestion des risques depuis l’introduction du Cadre de gestion des risques, ce qui a permis au programme d’être plus décisif, d’évaluer les risques et de permettre aux experts en la matière de faire leur travail. Il encourage également une collaboration accrue entre les équipes du programme et des finances, notamment grâce à la création du centre d’expertise au sein de la direction des finances et de la planification. Cela a favorisé la normalisation des processus dans les volets du programme grâce à une supervision financière partagée.
Tous les volets du programme contribuent aux objectifs plus larges de l’AEIC. Un examen des différents modèles logiques pour chacun des volets du programme révèle un degré modéré de chevauchement entre les résultats du PAFP, du PSCA et du PDP. Plus précisément, ils ont des résultats liés à l’augmentation de la capacité, à la participation significative, à l’augmentation des connaissances et de l’accès à l’information, ainsi qu’au concept de partenariats ou de relations accrus et améliorés. Les résultats du PR comprennent également un élément lié à l’augmentation des partenariats de recherche et de la base de connaissances.
Efficacité administrative
Le coût moyen pour mettre en œuvre une initiative d’aide financière était de 1 169 $ et le ratio administratif (c.-à-d. le pourcentage de la valeur des subventions et contributions alloué à l’administration) était de 3,1 %. C’est un faible pourcentage par rapport à la plupart des programmes fédéraux de S et C, qui ont tendance à se situer entre 5 % et 15 %.
Un examen des documents disponibles montre un bon degré de transparence concernant le processus de demande, les critères d’évaluation et les niveaux d’aide financière maximum, qui sont tous disponibles en ligne.
Le personnel du programme de l’AEIC a été mis en valeur par les répondants de l’AEIC et des intervenants externes.
Mobilisation des demandeurs potentiels et le processus de demande
Le processus de demande pour les volets du programme de l’AEIC a généralement été perçu par les bénéficiaires de l’aide financière comme étant clair, facile et efficace, avec un soutien en temps opportun fourni par le personnel de l’AEIC lorsque demandé. Il a été indiqué par les personnes interrogées de l’AEIC que le processus de demande est plus rationalisé qu’auparavant, mais peut être difficile pour les communautés qui pourraient être sous gestion par des tiers.
Les répondants de l’AEIC ont exprimé leur appréciation pour les consultations avec le personnel régional menées pour identifier les bénéficiaires potentiels de l’aide financière, ainsi que l’utilisation d’accords pluriannuels. Les données de l’examen du document et des entrevues révèlent qu’il y a eu de nombreux efforts de sensibilisation et de communication, y compris une sensibilisation ciblée auprès des communautés autochtones, l’envoi de bulletins d’information à plusieurs intervenants, l’utilisation des médias sociaux et des communications dédiées. L’étude comparative a confirmé que ces approches de sensibilisation sont conformes aux pratiques exemplaires.
Il y a un mélange de respect des normes de service par volet du programme. En particulier, le PSCA a respecté sa norme de service en répondant aux propositions dans un délai de 45 jours ouvrables pour toutes les années de 2020-2021 à 2022-2023. Le PDP a seulement respecté la même norme de service en 2021-2022 (il n’a pas respecté la norme en 2020-2021 et n’est pas applicable en 2022-2023).
Certaines suggestions ont été faites en vue d’améliorer les conditions suivantes : fournir une rétroaction aux demandeurs qui n’ont pas réussi leur demande; utiliser des modèles normalisés pour les communications du PDP sur les possibilités d’aide financière (par opposition à la rédaction de courriels); simplifier le processus de demande (rendre les formulaires plus accessibles, plus simples et plus disponibles en ligne); rationaliser les processus de demande pour les bénéficiaires d’aide financière répétés; améliorer la participation du public aux possibilités d’aide financière du PAFP par la création d’un formulaire de demande simplifié; et accroître les possibilités de collaboration avec les intervenants non autochtones et les membres de la communauté autochtone et éviter le chevauchement des efforts lorsqu’ils engagent les deux groupes séparément. L’un des défis du processus vécu par les demandeurs est que le calendrier et les échéances peuvent ne pas correspondre à leur disponibilité et à leurs besoins, ce qui les empêche de soumettre des demandes.
L’étude comparative a permis de dégager quelques occasions de tirer parti d’autres pratiques exemplaires pour l’examen de tous les programmes, en particulier pour les appels à propositions ouverts, y compris des appels de propositions antérieurs pour s’assurer que les bénéficiaires disposent de suffisamment de temps pour renforcer les capacités et se préparer à la demande, ainsi que pour l’utilisation de stratégies de marketing et d’engagement stratégique, comme les courriels à large diffusion, les publicités sur les médias sociaux, les publicités à la radio, les séances d’information, les brochures et les dépliants, l’utilisation des langues autochtones et la promotion des ateliers du conseil d’examen, des séances de consultation et des conférences de l’industrie.
Certains commentaires ont également été recueillis auprès des répondants de l’OAUC concernant la sensibilisation aux chercheurs potentiels. En particulier, il a été suggéré que les approches pour cibler efficacement les publics clés et identifier les domaines de recherche pouvant bénéficier de l’aide financière du programme devraient être améliorées. Un exemple a été fourni où une approche systématique pour identifier les publics cibles qui pourraient bénéficier davantage de l’utilisation des produits de recherche pourrait être mise en œuvre.
Allocation d’aide financière
Les demandeurs ayant réussi et échoué interrogés avaient des opinions divergentes sur le caractère opportun des décisions en matière d’aide financière, certains les percevant comme opportunes et d’autres non.
Les intervenants internes de l’AEIC ont indiqué qu’il y a eu récemment des améliorations qui ont augmenté l’efficacité du processus d’approbation de l’aide financière. Cela comprend une délégation révisée des pouvoirs de signature, avec une autorité accrue au niveau du directeur de programme. Un examen des normes de service liées aux décisions rapides (c.-à-d. une décision sur la proposition dans les 45 jours ouvrables) montre que le PSCA et le PDP n’ont respecté ce délai qu’en 2022-2023. Le PAFP a respecté ce calendrier pour tous les exercices financiers depuis 2020-2021.
Il reste des possibilités d’améliorer l’efficacité du programme grâce à une planification plus poussée des allocations d’aide financière (cela a été mentionné spécifiquement pour le PR), une communication améliorée avec les autres membres du personnel de l’AEIC concernant les initiatives d’aide financière disponibles, et des efforts pour continuer à simplifier le processus d’approbation, en particulier pour les bénéficiaires récurrents. Des suggestions ont été faites pour aider les organisations ayant des besoins récurrents en financement en améliorant les processus d’allocation d’aide financière pluriannuel ou en fournissant un financement de transition entre les exercices financiers.
Les données sur les normes de service confirment que des améliorations supplémentaires sont nécessaires, en particulier en ce qui concerne la signature en temps opportun des accords (dans les cinq jours ouvrables), ce qui n’a pas été respecté de manière constante pour le PSCA, le PDP ou le PAFP. Il convient de noter que le traitement des subventions pour le PAFP (dans un délai de cinq jours ouvrables) et la signature des ententes pour le PR (dans un délai de cinq jours ouvrables) ont été respectés.
Gouvernance
Tous les éléments du programme sont soumis au CSSC pour discussion et approbation de l’initiative d’aide financière pour recommandation. Le CSSC est le comité principal dont on tire parti pour la gestion des programmes. Le CSSC est un forum au niveau du directeur ou du gestionnaire ouvert à toute personne ayant des responsabilités ou un intérêt pour les programmes de S et C. Il partage les pratiques exemplaires, conseils, contributions et recommandations sur l’administration globale de ces programmes. Le CSSC assure un leadership horizontal, une cohérence et une responsabilité dans ses domaines d’intérêt.Note de bas de page 7Il examine également un large éventail de sujets qui varient d’une réunion à l’autre.
De plus, les approbations en vertu des articles 32 et 34 sont regroupées pour les quatre volets du programme. L’équipe des finances de l’AEIC agit en tant que conseiller en gestion financière pour les subventions et contributions, fournissant des mises à jour financières régulières aux programmes et au vice-président, ainsi que des présentations au CSSC. Les informations financières relatives au programme sont également régulièrement présentées au comité des services intégrés.
Selon les personnes consultées pour l’évaluation, la gouvernance du programme est bien structurée et une caractéristique fréquemment citée est l’autorité de signature à un niveau inférieur pour une efficacité accrue des approbations d’aide financière. La gouvernance du programme est conforme aux pratiques des programmes d’aide financière fédéraux comparables, qui sont administrés par de petites équipes de deux ou trois membres du personnel responsables de superviser la prestation du programme et disposent d’un pouvoir de signature déléguée au niveau du directeur.
Tous les volets du programme, autres que le PR, ont des comités d’examen de l’aide financière (CEAF) pour examiner les soumissions et préparer des recommandations en vue de l’approbation de la haute direction. Le PR a un processus documenté pour recueillir des commentaires et obtenir l’approbation de divers comités avant de préparer une recommandation qui est soumise à la haute direction pour approbation. Encore une fois, ces approches sont conformes aux pratiques des programmes fédéraux comparables. D’autres programmes de recherche, par exemple, ont un membre du personnel supérieur (agent ou gestionnaire) qui supervise le programme, ainsi qu’un organisme de gouvernance (comité consultatif ou table de gestion) qui formule des recommandations pour l’approbation de l’aide financière.
Depuis septembre 2023, le programme applique le Cadre de gestion des risques de l’AEIC pour les subventions et contributions afin de déterminer les niveaux de risque au niveau de l’initiative (c’est-à-dire au niveau des fonds fournis ou engagés à des particuliers ou des organisations spécifiques). Il détermine « les exigences à inclure dans l’entente d’aide financière et lors de la détermination du niveau d’implication et de surveillance requis par le personnel du programme ».Note de bas de page 8
Processus de paiement
Les processus de paiement de l’initiative d’aide financière ont constamment respecté ou dépassé la cible de service de l’horizon temporel du programme de 95 %. Dans l’exercice financier 2020-2021, le PSCA et le PDP ont atteint l’objectif du programme à 95 % tandis que le PAFP a dépassé l’objectif du programme à 99 %. De même, au cours des exercices 2021-2022 et 2022-2023, le PSCA, le PDP et le PAFP ont chacun dépassé l’objectif du programme pour atteindre une norme de service de 100 %.
La rapidité des processus de paiement a également été soulignée par les interviewés internes, les interviewés bénéficiaires de l’aide financière et les répondants aux sondages du programme qui se sont dit satisfaits des processus de paiement du programme. Les bénéficiaires de l’aide financière du PR ont souligné que le transfert d’argent était non seulement « sans heurt », mais aussi « relativement rapide » par rapport à d’autres sources de financement.
Des données probantes qualitatives ont été obtenues de quelques bénéficiaires de l’aide financière qui ont exprimé que les processus du programme ne sont pas alignés avec leurs propres opérations internes. Bien que ces informations ne soient pas directement liées aux opérations de l’AEIC, elles pourraient permettre au programme de mieux comprendre comment les bénéficiaires de l’aide financière interagissent avec le programme ou rencontrent des obstacles lorsqu’ils tentent de s’engager avec celui-ci. Un interviewé a exprimé que leurs services financiers internes rencontrent souvent des difficultés à identifier la source de financement. Pour atténuer ce problème, cet interviewé a souligné que les dépôts d’aide financière de l’AEIC devraient être bien étiquetés. De plus, un autre interviewé a exprimé que leurs systèmes internes ont entraîné des délais de traitement qui ont un impact sur leur capacité à accéder à l’aide financière de l’AEIC de manière opportune. Enfin, un interviewé a exprimé des préoccupations selon lesquelles l’échéancier de financement de l’AEIC est mal aligné sur l’échéancier fiscal des Premières Nations, ce qui crée des défis pour la délégation des fonds et la communication des activités d’aide financière.
Mesure et suivi du rendement
Il convient de noter que les commentaires sur la mesure et le suivi du rendement n’ont pas été directement sollicités auprès des personnes consultées pour l’évaluation. Par conséquent, les données probantes présentées ci-dessous ont été partagées lorsqu’on a demandé de donner des commentaires sur les processus du programme en général. Cela dit, les indicateurs de l’examen du document ont exploré l’étendue du chevauchement des résultats entre les différentes volets du programme.
Mesure du rendement
L’AEIC a récemment élaboré une stratégie de mesure de rendement pour le Programme de S et C pour l’EI (2023), qui comprend des modèles logiques distincts, des indicateurs et des tableaux de stratégie de mesure du rendement pour chaque volet du programme. En ce qui concerne la responsabilité de la mesure du rendement, les données de rendement sont détenues par l’équipe du programme de la Direction des partenariats avec les Autochtones. Cependant, la stratégie de mesure de rendement comprend de nombreux indicateurs dans les tableaux de mesure du rendement qui ont plusieurs propriétaires de données (jusqu’à quatre dans certains cas), ce qui dilue la responsabilité de collecter et de rapporter sur les indicateurs. C’est particulièrement le cas du PAFP, mais le PSCA et le PDP ont également des indicateurs avec plusieurs propriétaires de données. Les propriétaires de données du PR sont plus limités et concentrés. Il convient de reconnaître que certains indicateurs sont plus complexes que d’autres et dépendent donc de données provenant de plusieurs groupes au sein de l’AEIC. Cependant, la pratique exemplaire en matière de pratiques de mesure du rendement note que la responsabilité de la collecte de l’indicateur (ou des données utilisées pour répondre à l’indicateur) devrait reposer sur un poste.
Un examen des modèles logiques des volets du programme révèle également un degré modéré de chevauchement entre les résultats du PAFP du PSCA et du PDP. Il y a aussi un certain chevauchement avec les résultats du PR dans la stratégie de mesure de rendement. Cela suggère un degré élevé de complémentarité (discuté ci-dessus sous la conception du programme), mais cela suggère également qu’il existe une occasion d’intégrer davantage la mesure du rendement parmi les volets du programme. Alors que les données continueraient d’être capturées par composante, une plus grande intégration pourrait rationaliser les rapports pour le programme, plutôt que de fournir des informations disjointes, mais similaires aux décideurs.
Il n’est pas mentionné dans la stratégie de mesure de rendement, le chevauchement ou le potentiel de chevauchement dans la surveillance et la production de rapports entre les volets du programme et entre les différents propriétaires de données. Ce type de chevauchement pourrait entraîner une diminution de l’efficacité et une présentation incohérente des rapports sur les volets du programme, mais cela n’a pas été discuté dans aucune des données probantes recueillies pour l’évaluation (y compris par le biais des commentaires des interviewés internes de l’AEIC).
Un examen de plusieurs rapports sur les résultats ministériels de l’AEIC a révélé que les données rapportées sont principalement axées sur les indicateurs de rendement, tels que le nombre d’ententes d’aide financière signées dans le cadre de chacun des volets du programme, ainsi que les partenariats développés, etc. Le rapport sur les résultats ministériels 2021-2022 mentionnait des exemples d’engagement significatif, mais ces cas n’étaient pas liés à l’aide financière fournie par le programme.
Surveillance
Les soumissions à l’AEIC par les bénéficiaires d’aide financière varient en fonction de s’ils ont reçu une subvention ou une contribution. Les exigences en matière de déclaration pour les bénéficiaires de subventions sont moins contraignantes et se concentrent sur la soumission d’une demande de remboursement. Les bénéficiaires de contributions doivent soumettre des rapports financiers, des rapports d’activités et un rapport final.
Lorsque des personnes externes à l’AEIC ont été invitées à partager des occasions d’amélioration de la mise en œuvre du programme, seules trois ont fourni des suggestions pour améliorer les exigences en matière de rapports. Un intervenant externe a déclaré que le programme devrait offrir plus d’orientation pour les rapports financiers (tout en notant que le personnel est réactif aux questions). Un répondant à l’enquête a suggéré qu’il devrait y avoir un processus amélioré pour téléverser les rapports financiers et les demandes de décaissement qui inclut une confirmation de réception par l’AEIC. Un interviewé bénéficiaire de l’aide financière du PSCA a demandé des lignes directrices de rapport plus claires pour réduire la confusion et garantir que les bénéficiaires comprennent les informations qu’ils devront fournir.
D’après des entretiens avec d’autres ministères qui gèrent des programmes similaires, la surveillance et la production de rapports sont conformes à d’autres programmes. Une pratique réussie notée dans d’autres ministères était de mener une surveillance informelle par des appels de suivi et une surveillance sur place pour les projets à plus haut risque.
3.0 Conclusions et recommandations
3.1 Conclusions
Pertinence
Il y a un besoin continu pour le programme. Il répond au besoin de l’AEIC afin de remplir son mandat et l’obligation légale du gouvernement du Canada d’assurer la participation et la mobilisation des peuples autochtones et des intervenants. Il répond également aux besoins des bénéficiaires d’aide financière pour renforcer leurs capacités à habiliter les membres de la communauté à participer aux consultations autochtones actuelles et futures et à la mobilisation du public. Le programme répond à ce besoin en fournissant une aide financière qui : 1) renforce les capacités en matière d’EI; 2) améliore la compréhension de l’EI et des processus et activités liés à l’EI; et 3) permet de participer au processus d’EI.
Les lacunes restantes dans la réponse aux besoins des bénéficiaires du programme comprennent des domaines liés aux montants d’aide financière, à leur suffisance pour renforcer les capacités et à la flexibilité d’utilisation des fonds pour d’autres priorités.
La mesure dans laquelle les besoins des populations diverses sont pris en compte par le programme varie selon les quatre volets du programme. Plus précisément, les lignes directrices du PAFP et du PDP ne mentionnent pas la diversité comme critère ou considération pour l’aide financière, tandis que le PSCA et le PR ont pris en compte la diversité pour déterminer les montants et les priorités d’aide financière. La conception et la mise en œuvre du programme tiennent compte des besoins des populations diverses grâce à l’inclusion de l’ACS Plus dans les appels d’aide financière et les critères d’évaluation, des processus simplifiés pour encourager les demandes des communautés à plus faible capacité, des efforts pour atteindre un équilibre des genres dans les comités, et de l’aide financière disponible pour les demandeurs autochtones et non autochtones. À leur tour, les lacunes se reflètent par un manque de stratégies ciblées de sensibilisation dirigées vers les populations touchées, une diversité limitée parmi les bénéficiaires de l’aide financière, et un manque de soutien pour les communautés à faible capacité.
Le programme est clairement aligné sur les priorités du gouvernement fédéral et de l’AEIC. L’AEIC a l’obligation légale de mener à bien le devoir de consultation de la Couronne envers les peuples autochtones, et la LEI précise qu’un programme d’aide financière aux participants doit être établi. La LEI discute en outre de l’importance de la participation du public au processus d’évaluation d’impact, de l’engagement du gouvernement à garantir les droits des peuples autochtones du Canada et à favoriser la réconciliation et le partenariat avec eux, ainsi que de l’engagement du gouvernement à mettre en œuvre la Déclaration des Nations Unies sur les droits des peuples autochtones.
Efficacité
L’évaluation a révélé que le PAFP, le PSCA et le PR ont renforcé les capacités en matière de connaissances accrues, de compréhension, de compétences ou d’informations. Cependant, le manque de capacité continue d’être fréquemment mentionné comme une occasion d’amélioration et comme un obstacle à la réalisation des résultats. Pour le PDP, il n’est pas clair si des capacités ont été renforcées (c’est-à-dire, s’ils ont acquis de meilleures connaissances en matière d’évaluation et d’information, s’ils sont plus aptes à fournir des conseils et des rétroactions), bien que quelques bénéficiaires de l’aide financière du PDP aient affirmé que c’était le cas.
En ce qui concerne les relations améliorées avec les communautés et les organisations autochtones, l’évaluation n’a pas pu déterminer directement les progrès. Il semble que les relations avec les communautés et les organisations autochtones se soient améliorées grâce à l’utilisation d’indicateurs substitutifs. Le PDP a un résultat qui inclut des relations avec le public, mais les données probantes sont moins positives, avec un pourcentage plus faible de bénéficiaires récurrents qui sont des intervenants. Cependant, l’AEIC a assisté à un grand nombre de réunions avec les intervenants. Pour sa part, le PR a augmenté la diversité des chercheurs ainsi que l’étendue de la communauté de recherche, bien que dans une moindre mesure.
L’évaluation a révélé que le Programme a augmenté la participation ou la participation à des activités connexes à l’évaluation, y compris la rétroaction sur les politiques, lignes directrices, outils et pratiques liées à l’évaluation. La mesure dans laquelle la participation est significative est moins évidente.
Les praticiens de l’EI ont un meilleur accès à l’information des communautés et organisations autochtones ainsi que du public. Cela se fait par le biais d’activités financées par le PAFP et le PDP. Le PR a également généré une grande quantité d’informations qui ont été partagées, tant à l’interne qu’à l’externe. Cependant, l’évaluation a révélé qu’il faudrait en faire davantage pour accroître la diffusion des produits de recherche, en particulier à l’extérieur de l’AEIC.
Ainsi, bien qu’il y ait eu de bons progrès vers la réalisation des résultats immédiats et intermédiaires les plus importants dans tous les volets du programme, la réalisation des résultats à plus long terme est moins claire. En particulier, il est nécessaire de faire davantage de travail pour s’assurer que l’aide financière mène à une participation significative, à des évaluations plus efficaces et à des évaluations de grande qualité.
Les facteurs facilitants pour la réalisation des résultats se sont largement concentrés sur le personnel de grande qualité et les bons processus de prestation. Les facteurs entravants se concentrent sur les montants et les restrictions de financement, la sensibilisation au programme parmi certains demandeurs potentiels, les retards dans les décisions d’aide financière, et le manque d’engagement avec les partenaires externes et les équipes de travail au sein de l’AEIC pour identifier les priorités de recherche et communiquer les produits de recherche.
Efficience
La conception globale du programme est appropriée et efficiente. Les différentes volets du programme abordent divers aspects liés à la participation aux évaluations d’impact et à la génération de connaissances. De plus, la conception est intégrée pour la plupart. Plusieurs mesures ont été prises pour améliorer l’efficacité du programme, avec des recommandations présentées au CSSC au printemps 2021 et mises en œuvre par la suite. Le Programme a également entrepris deux examens pour s’assurer que la conception et la prestation sont efficaces et efficientes, ce qui a donné lieu à une série de recommandations adoptées par l’AEIC, les changements devenant les caractéristiques actuelles de l’approche de conception et de prestation du Programme. Plusieurs caractéristiques positives de la conception ont été mises en avant par les personnes consultées pour l’évaluation. L’amélioration de conception communément mentionnée était le besoin d’une aide financière supplémentaire, en particulier une aide financière à long terme. Plus de flexibilité dans ce qui est financé ou comment l’aide financière peut être utilisée a également été mentionnée par les bénéficiaires d’aide financière.
Tous les éléments de conception (c.-à-d. la portée, le public cible et les critères d’admissibilité) du PAFP, du PSCA et du PR sont conformes aux programmes d’aide financière comparables d’autres organisations fédérales et sont considérés comme des pratiques exemplaires. (Le PDP n’a pas été inclus dans l’examen comparatif en raison du manque de programmes comparables.)
L’évaluation a révélé que les approches de prestation des volets du programme sont complémentaires et coordonnées. L’administration du programme, la gouvernance, la prise de décision et la prestation de services sont intégrées pour trois volets du programme (PAFP, PSCA et PDP). Le PR est géré au sein d’une unité organisationnelle distincte et semble avoir des mécanismes uniques pour identifier et formuler des initiatives d’aide financière. Tous les volets du programme contribuent aux objectifs plus larges de l’AEIC. Un examen des différents modèles logiques pour chacune des volets du programme révèle un degré modéré de chevauchement entre les résultats du PAFP, du PSCA et du PDP.
L’administration du programme est très efficace. Le processus de demande pour les volets du programme de l’AEIC a généralement été perçu par les bénéficiaires de l’aide financière comme étant clair, facile et efficace, avec un soutien en temps opportun fourni par le personnel de l’AEIC lorsque demandé. Cela étant dit, plusieurs suggestions ont été faites pour améliorer la sensibilisation aux possibilités d’aide financière et simplifier le processus de demande. Plusieurs des personnes consultées pour l’évaluation ont noté des améliorations récentes dans les processus d’allocation de l’aide financière. Amélioration de la rapidité de la prise de décision en particulier, se reflète dans les normes de service. Cependant, il reste encore du travail à faire pour améliorer la rapidité de la signature des ententes, les communications internes concernant les initiatives d’aide financière disponibles et simplifier les approbations, en particulier pour les bénéficiaires récurrents. La gouvernance et les processus de paiement semblent bien fonctionner.
La mesure du rendement en est à ses débuts, avec une stratégie de mesure de rendement introduite en 2023. Alors que les données de rendement sont détenues par l’équipe du Programme d’aide financière de la Direction des partenariats avec les Autochtones, un examen des indicateurs et des approches de mesure révèle que de nombreux indicateurs ont plusieurs propriétaires de données. Les pratiques exemplaires en matière de pratiques de mesure du rendement notent que la responsabilité de la collecte de l’indicateur (ou des données utilisées pour répondre à l’indicateur) devrait reposer sur un poste. De plus, un examen des modèles logiques des volets du programme révèle également un degré modéré de chevauchement entre les résultats du PAFP, du PSCA et du PDP (et un chevauchement mineur avec les résultats du PR). La présence de plusieurs propriétaires de données et de chevauchement entre les résultats (et les indicateurs) pourrait entraîner une diminution de l’efficacité et une production de rapports incohérente à travers les volets du programme. Les approches de surveillance sont généralement conformes aux pratiques des autres ministères, bien que quelques bénéficiaires d’aide financière aient souligné quelques possibilités d’amélioration.
3.2 Recommandations
GGI fait les recommandations suivantes au Programme de S et C pour l’EI :
- Augmenter la prise en compte des besoins des populations diverses. Mettre en place des procédures normalisées pour garantir la cohérence des efforts visant à accroître la diversité des participants dans tous les volets de l’aide financière.
- Tenir compte de l’intégration des critères et des considérations supplémentaires en matière d’équité, de diversité et d’inclusion dans les procédures de disponibilité d’aide financière pour garantir qu’un large éventail d’organisations et de communautés (y compris les communautés à faible capacité) aient accès à l’aide financière.
- Augmenter la participation du public (c’est-à-dire non autochtone) aux programmes d’aide financière. Adapter les stratégies de sensibilisation et les procédures de demande pour encourager et faciliter l’accès à l’aide financière (et la participation ultérieure aux évaluations) parmi les membres du public (c’est-à-dire les personnes non autochtones).
- S’assurer que le personnel de l’AEIC dispose des informations nécessaires concernant les occasions d’aide financière disponibles et les publics cibles.
- Prendre en compte l’identification de réseaux et de forums communautaires pour promouvoir les occasions d’aide financière.
- Créer un formulaire de demande simplifié qui est adapté aux membres du public.
- Fournir des commentaires plus détaillés aux demandeurs non retenus.
- Pour le PSCA en particulier, améliorer le mécanisme de rétroaction pour communiquer les décisions d’aide financière aux demandeurs, y compris aux demandeurs non retenus, afin de promouvoir la transparence.
- Considérer le partage des raisons spécifiques pour lesquelles la demande a été refusée par une lettre ou en partageant la grille de notation avec les demandeurs non retenus.
- Élargir la diffusion des produits de recherche. Augmenter la sensibilisation et l’accessibilité des produits de recherche à un public plus large.
- Envisager d’identifier et de mettre en œuvre des stratégies de diffusion ciblées supplémentaires pour améliorer l’adoption des résultats de recherche à la fois en interne et en externe.
- Simplifier la mesure du rendement. En fonction de l’expérience de la première année de mise en œuvre de la stratégie de gestion des programmes, envisagez de développer et de mettre en œuvre un système centralisé de gestion de l’information sur les S et C qui permettra de :
- Dans la mesure du possible, attribuer la responsabilité des données associées à chaque indicateur à un seul poste.
- Intégrer la collecte des données similaires (pour des résultats similaires) parmi les volets du programme pour augmenter l’efficacité.
- Simplifier les rapports aux décideurs, plutôt que de fournir des informations séparées, mais similaires par composante de programme.
Annexe A : Modèles logiques pour les volets du programme
Version texte
Pour le Programme d’aide financière aux participants, ce graphique illustre la relation entre les activités (fournir une aide financière pour permettre la participation autochtone au processus d’évaluation, et fournir une aide financière pour soutenir la participation du public au processus d’évaluation) menant à trois résultats (consultation des groupes autochtones, entente d’aide financière et mobilisation du public). Le graphique montre ensuite comment les extrants mènent à une série de trois niveaux de résultats, dont trois résultats immédiats (relations améliorées avec les groupes autochtones et le public, meilleur accès à l’information des groupes autochtones et du public, et capacité accrue des groupes autochtones et du public à participer aux évaluations), qui mènent à un résultat intermédiaire unique (augmentation de la participation significative des groupes autochtones et du public aux évaluations), qui mène à un résultat ultime unique (meilleure information disponible pour les évaluations).
Version texte
Pour le Programme de soutien des capacités autochtones, ce graphique illustre la relation entre les activités (trier et sélectionner les manifestations d’intérêt et les propositions d’aide financière pour tous les volets d’aide financière du PSCA, négocier des propositions et identifier les besoins, et mener des activités de sensibilisation avec les partenaires de programme) qui mènent à quatre résultats (ententes d’aide financière, activités de soutien des capacités stratégiques, événements de communauté de pratique, et partenariats et réseaux). Le graphique montre ensuite comment les résultats mènent à une série de trois niveaux de résultats, comprenant deux résultats immédiats (amélioration des connaissances et du partage de l’information en matière d’évaluation parmi les groupes autochtones, et partenariats à long terme avec les groupes autochtones), qui mènent à un résultat intermédiaire unique (capacité accrue d’évaluation parmi les groupes autochtones), qui mène à un résultat ultime unique (participation significative aux évaluations).
Version texte
Dans le cadre du Programme de dialogue sur les politiques, ce graphique décrit la relation entre les activités (collaborer avec les organisations régionales et nationales, utiliser les comités consultatifs pour faire avancer le dialogue sur les politiques, diriger des ateliers techniques et régionaux avec les détenteurs de droits autochtones et les organisations autochtones, et mobilisation des intervenants, des détenteurs de droits autochtones et des organisations autochtones) et mène à deux extrants (conseils et commentaires internes et externes documentés sur les produits et les orientations stratégiques liés à l’évaluation, et ententes d’aide financière). Le graphique montre ensuite comment les extrants mènent à une série de trois niveaux de résultats, y compris trois résultats immédiats (amélioration des connaissances et de l’information en matière d’évaluation parmi les groupes autochtones et les divers intervenants, participation accrue à l’élaboration des politiques, lignes directrices, outils et pratiques liés à l’évaluation, et relations réciproques avancées), qui mènent à trois résultats intermédiaires (capacité accrue à fournir de la rétroaction sur les politiques, lignes directrices, outils et pratiques liés à l’évaluation, et les politiques, lignes directrices, outils et pratiques reflètent les perspectives des groupes autochtones et des divers intervenants, selon le cas, et une participation significative à l’élaboration des politiques), qui mènent à un résultat ultime unique (les politiques d’évaluation, lignes directrices, outils et pratiques, ainsi que les évaluations elles-mêmes sont plus efficaces).
Version texte
Pour le Programme de recherche, ce graphique illustre la relation entre les activités (établir des partenariats avec des chercheurs, identifier les priorités de recherche et collaborer au sein de l’Agence et avec d’autres partenaires pour réaliser et diffuser la recherche) et comment elles mènent à quatre extrants (établissement de réseaux de recherche et autres partenariats, ententes de subvention pour la recherche, produits de recherche et événements liés aux priorités de recherche, et la recherche est partagée avec les intervenants internes et externes). Le graphique montre ensuite comment les extrants mènent à une série de trois niveaux de résultats, dont trois résultats immédiats (partenariats accrus avec des chercheurs diversifiés, les priorités de recherche sont traitées par les produits de recherche, et le corpus de recherche est accessible aux intervenants internes et externes), qui mènent à deux résultats intermédiaires (augmentation de la base de connaissances liée aux évaluations et une communauté élargie de recherche et de chercheurs), qui mènent à un résultat ultime unique (la recherche soutient des évaluations de haute qualité).
Annexe B : Matrice d’évaluation
Domaine de l’élément d’évaluation et questions |
Indicateur |
MéthodeNote de bas de page 9 |
||||
---|---|---|---|---|---|---|
D/F |
I |
S |
CS |
OAUC |
||
Pertinence et besoin continu |
||||||
1. Dans quelle mesure existe-t-il un besoin continu pour le gouvernement fédéral de fournir les programmes d’aide financière? |
1.1 Preuves et perceptions selon lesquelles le Programme de S et C pour l’EI et ses composantes individuelles répondent aux divers besoins des bénéficiaires du programme (c’est-à-dire, les utilisateurs des programmes) |
X |
X |
X |
X |
X |
1.2 Preuves et perceptions que les objectifs, les rôles et les responsabilités associés au Programme de S et C pour l’EI et à ses composantes individuelles sont alignés aux priorités du gouvernement fédéral et de l’AEIC. |
X |
X |
- |
- |
- |
|
Efficacité et réalisation des résultats |
||||||
2. Dans quelle mesure les résultats prévus de chaque composante sont-ils atteints? |
Résultat immédiat du PAFP : Relations améliorées avec les communautés et les organisations autochtones et le public. |
|||||
2.1 Pourcentage des bénéficiaires (Autochtones et publics) indiquant que le programme d’aide financière a répondu à leurs besoins (voir aussi l’indicateur 1.1) |
- |
X |
X |
X |
- |
|
2.2 Pourcentage des bénéficiaires (groupes autochtones et le public) indiquant qu’ils sont satisfaits du processus administratif et des exigences du programme. |
- |
X |
X |
X |
- |
|
Résultat immédiat du PAFP : Un meilleur accès à l’information des groupes autochtones et du public |
||||||
2.3 Nombre d’activités admissibles dans le programme |
- |
X |
- |
- |
- |
|
2.4 Nombre de peuples autochtones et de membres du public indiquant qu’ils ont pu participer au processus d’évaluation grâce à l’aide financière du PAFP. |
X |
- |
X |
X |
- |
|
Résultat immédiat du PAFP : Capacité accrue des communautés et des organisations autochtones et du public à participer aux évaluations. |
||||||
2.5 Pourcentage des communautés et organisations autochtones et du public indiquant que l’aide financière fournie par le PAFP a augmenté leur capacité en matière de connaissances, de temps et d’autres ressources. |
- |
X |
X |
X |
- |
|
Résultat intermédiaire du PAFP : Augmentation de la participation significative des communautés et des organisations autochtones et du public aux évaluations. |
||||||
2.6 Pourcentage des évaluations où les perspectives des communautés et organisations autochtones et du public ont été recueillies. |
X | - | - | - | - | |
2.7 Pourcentage de peuples autochtones recevant une aide financière du PAFP aux participants indiquant que leur participation au processus d’évaluation était significative. |
X |
X |
X |
X |
- |
|
2.8 Pourcentage des communautés autochtones et des organisations impliquées dans l’évaluation qui participent activement aux consultations. |
- |
X |
X |
X |
- |
|
Résultat ultime du PAFP : Meilleure information disponible pour les évaluations. |
||||||
2.9 Pourcentage des praticiens de l’évaluation indiquant qu’ils ont reçu suffisamment d’informations des communautés et organisations autochtones et du public pour refléter de manière significative leurs perspectives pendant les évaluations. |
- |
X |
- |
- |
- |
|
Résultat immédiat du PSCA : Amélioration des connaissances et de l’information en matière d’évaluation parmi les communautés et organisations autochtones. |
||||||
2.10 Pourcentage des communautés et organisations autochtones participant au PSCA qui indiquent que les activités admissibles ont amélioré leur compréhension des processus d’évaluation et de leurs implications. |
X |
X |
X |
X |
- |
|
Résultat immédiat du PSCA : Partenariats à long terme avec les communautés et les organisations autochtones |
||||||
2.11 Nombre moyen d’années dans les partenariats pour le volet 1. |
X |
- |
- |
- |
- |
|
2.12 Pourcentage des partenaires de programme indiquant qu’ils disposent d’un financement suffisant et stable pour atteindre leurs objectifs à long terme. |
X |
X |
X |
X |
- |
|
2.13 Le nombre d’outils et le soutien fourni aux communautés et organisations autochtones par les partenaires de programme avec l’aide financière du PSCA. |
- |
X |
- |
- |
- |
|
Résultat intermédiaire du PSCA : Capacité accrue d’évaluation parmi les communautés et organisations autochtones |
||||||
2.14 Pourcentage des partenaires du PSCA qui indiquent que les activités admissibles ont fourni des connaissances et des compétences suffisantes aux communautés et organisations autochtones pour leur permettre de participer au processus d’évaluation. |
- |
X |
X |
X |
- |
|
2.15 Nombre de produits passant de l’évaluation de base. |
- |
X |
X |
X |
- |
|
Résultat ultime du PSCA : Participation significative dans les évaluations |
||||||
2.16 Pourcentage des communautés et organisations autochtones consultées dans le cadre d’un projet ayant participé à une activité admissible ou ayant eu accès à un produit d’un partenaire (par exemple, atelier, outil, etc.). |
X |
X |
X |
X |
- |
|
2.17 Pourcentage des communautés et organisations autochtones recevant une aide financière du PSCA ayant activement participé au processus d’évaluation. |
X |
X |
X |
X |
- |
|
Résultat immédiat du PDP : Amélioration des connaissances et de l’information en matière d’évaluation parmi les communautés autochtones, les organisations autochtones et les intervenants. |
||||||
2.18 Pourcentage des communautés autochtones et des organisations autochtones et des intervenants recevant une aide financière du PDP indiquant qu’ils comprennent mieux les politiques, orientations, outils et pratiques liés à l’évaluation. |
X |
X |
- |
- |
- |
|
Résultat immédiat du PDP : Participation accrue à l’élaboration des politiques, lignes directrices, outils et pratiques liés à l’évaluation. |
||||||
2.19 Nombre de participants aux occasions de participation offertes aux communautés et organisations autochtones pour élaborer des politiques, des lignes directrices, des outils et des pratiques liés à l’évaluation. |
X |
- |
- |
- |
- |
|
2.20 Nombre de participants aux occasions d’engagement où les intervenants ont participé à l’élaboration des politiques, lignes directrices, outils et pratiques liés à l’évaluation. |
X |
- |
- |
- |
- |
|
2.21 Nombre de nouveaux Note de bas de page 10groupes et organisations recevant une aide financière du programme pour élaborer des produits politiques. |
X |
- |
- |
- |
- |
|
Résultat immédiat du PDP : Relations réciproques avancées |
||||||
2.22 Pourcentage de communautés et d’organisations autochtones recevant une aide financière à plusieurs reprises. |
X |
- |
- |
- |
- |
|
2.23 Pourcentage des intervenants récurrents recevant une aide financière |
X |
- |
- |
- |
- |
|
2.24 Nombre de sujets de politique abordés lors des réunions du Comité consultatif. |
X |
X |
- |
- |
- |
|
Résultat intermédiaire du PDP : Capacité accrue de fournir des avis et de la rétroaction sur les politiques, lignes directrices, outils et pratiques liés à l’évaluation. |
||||||
2.25 Pourcentage des communautés et organisations autochtones recevant une aide financière du PDP indiquant que les possibilités de collaboration et d’engagement leur ont permis de fournir des conseils et des commentaires. |
- |
X |
- |
- |
- |
|
2.26 Pourcentage des intervenants recevant une aide financière du PDP indiquant que les possibilités de collaboration et d’engagement leur ont fourni des connaissances et des compétences suffisantes pour donner des conseils et des commentaires. |
- |
X |
- |
- |
- |
|
Résultat intermédiaire du PDP : Les politiques, lignes directrices, outils et pratiques reflètent les perspectives des communautés et organisations autochtones et des intervenants, selon le cas. |
||||||
2.27 Nombre de politiques, lignes directrices, outils et pratiques mis à jour liés à une occasion d’engagement. |
X |
X |
- |
- |
- |
|
Résultat intermédiaire du PDP : Participation significative à l’élaboration des politiques |
||||||
2.28 Pourcentage des rapports d’analyse de ce que nous avons entendu, de la rétroaction et des analyses qui font référence aux commentaires des communautés et organisations autochtones sur les politiques, lignes directrices, outils et pratiques où le programme a sollicité des commentaires des communautés et organisations autochtones. |
X |
- |
- |
- |
- |
|
2.29 Pourcentage des rapports d’analyse de Ce que nous avons entendu, de la rétroaction et de l’analyse qui font référence aux commentaires des intervenants sur les politiques, lignes directrices, outils et pratiques où le programme a sollicité des commentaires des intervenants. |
X |
- |
- |
- |
- |
|
Résultat ultime du PDP : Politiques d’évaluation, lignes directrices, outils et pratiques, ainsi que les évaluations elles-mêmes sont plus efficaces. |
||||||
2.30 Pourcentage de praticiens de l’évaluation indiquant que les politiques, lignes directrices, outils et pratiques permettent d’effectuer efficacement les évaluations. |
- |
X |
- |
- |
- |
|
Résultat immédiat du PR : Partenariats accrus avec des chercheurs diversifiés |
||||||
2.31 Pourcentage du budget consacré à la recherche nouvelle ou diversifiée. |
X |
- |
- |
- |
- |
|
2.32 Nombre de nouveaux partenariats ou chercheurs |
X |
- |
- |
- |
- |
|
Résultat immédiat du PR : |
||||||
2.33 Nombre total de priorités de recherche abordées par les produits de recherche |
X |
X |
- |
- |
- |
|
Résultat immédiat du PR : Le corps de recherche est accessible aux intervenants internes et externes. |
||||||
2.34 Nombre d’annonces sur Atrium annonçant de nouvelles recherches. |
X |
- |
- |
- |
- |
|
2.35 Nombre moyen de participants aux événements de recherche (par exemple, la série de webinaires « Science et Recherche présente ») annuellement. |
X |
- |
- |
- |
- |
|
2.36 Nombre de visites sur la page de recherche de l’AEIC et le Coin du programme de recherche de l’AEIC. |
X |
- |
- |
- |
- |
|
2.37 Nombre de citations liées à la recherche parrainée par l’AEIC (par exemple, conférences, autres articles, etc.). |
X |
- |
- |
- |
- |
|
Résultat intermédiaire du PR : Augmentation de la base de connaissances liée aux évaluations. |
||||||
2.38 Pourcentage des intervenants internes et externes qui indiquent qu’ils sont au courant d’au moins un des produits de recherche financés par l’AEIC. |
- |
X |
- |
- |
X |
|
2.39 Pourcentage d’intervenants qui sont au courant des nouvelles recherches indiquent que la recherche a élargi leur base de connaissances liée aux évaluations. |
- |
X |
- |
- |
X |
|
Résultat intermédiaire du PR : Communauté élargie de recherche et de chercheurs |
||||||
2.40 Nombre de produits de recherche pertinents disponibles grâce à l’aide financière du Programme de recherche. |
X |
- |
- |
- |
- |
|
2.41 Nombre de chercheurs indiquant que leur réseau de recherche s’est étendu en raison de l’aide financière reçue du programme de recherche. |
- |
X |
- |
- |
- |
|
Résultat ultime du PR : La recherche soutient des évaluations de grande qualité |
||||||
2.42 Pourcentage de recherche qui correspond à au moins une priorité de l’AEIC. |
X |
X |
- |
- |
- |
|
2.43 Pourcentage d’utilisateurs de la recherche indiquant que la recherche est utile et pertinente pour soutenir la réalisation d’évaluations de grande qualité. |
- |
X |
- |
- |
X |
|
3. Dans quelle mesure les composantes travaillent-elles de manière complémentaire pour contribuer aux objectifs plus larges et aux résultats prévus de l’AEIC? |
3.1 Preuves et perceptions concernant la gouvernance et la prise de décision et si elles sont complémentaires ou si elles travaillent ensemble. |
- |
X |
- |
- |
- |
3.2 Preuves et perceptions selon lesquelles la prestation des programmes est intégrée, coordonnée et que les chevauchements sont réduits. |
- |
X |
- |
- |
- |
|
3.3 Les volets du programme contribuent aux objectifs plus larges et aux résultats prévus de l’AEIC/degré de chevauchement entre les résultats attendus des composantes |
- |
X |
- |
- |
X |
|
4. Est-ce qu’il y a eu des résultats non intentionnels (positifs ou négatifs)? |
4.1 Preuves et perceptions des résultats non intentionnels (positifs ou négatifs) |
X |
X |
- |
X |
X |
5. Quels sont les facteurs internes et externes qui influent (positivement ou négativement) sur la réalisation des résultats? |
5.1 Preuves et perceptions des facteurs qui ont facilité ou entravé la réalisation des résultats |
- |
X |
X |
X |
- |
Efficience |
||||||
6. Dans quelle mesure l’AEIC est-elle efficace pour fournir les résultats attendus des composantes individuelles du programme? |
6.1 Ratio administratif des coûts d’exploitation à la valeur des S et C, par programme, au fil du temps. |
X |
- |
- |
- |
- |
6.2 Preuves et perceptions des mesures prises pour améliorer l’efficacité de la livraison des résultats. |
X |
X |
- |
- |
- |
|
6.3 Preuves et perceptions de l’efficacité de la prestation et de la mise en œuvre des programmes, y compris, mais sans s’y limiter, les processus de demande, d’allocation des fonds et de paiement. |
X |
X |
X |
X |
- |
|
7. Le mode de conception et de prestation du programme global est-il le plus approprié et efficace pour atteindre les résultats prévus des programmes et des objectifs plus larges et les résultats prévus de l’AEIC? |
7.1 Preuves et perceptions des leçons apprises lors de la conception et de la prestation du programme. |
X |
X |
- |
- |
- |
7.2 Preuves et perceptions de l’adéquation et de l’efficacité de la conception et de la prestation du programme |
X |
X |
- |
- |
- |
|
7.3 Preuve que les besoins des populations diverses ont été pris en compte lors de la conception et de la mise en œuvre du programme. |
X |
X |
X |
- |
- |