Évaluation du Programme de partenariats pour le développement social

Introduction

Le Programme de partenariats pour le développement social (PPDS ou « le Programme ») est un programme de subventions et de contributions qui soutient les priorités du gouvernement du Canada en investissant dans des organismes à but non lucratif, des entités provinciales et territoriales (y compris des établissements d'enseignement et de santé et de services sociaux), des municipalités et des organisations autochtones (y compris les conseils de bande, les conseils tribaux et les entités gouvernementales autonomes). L'objectif du Programme est d'améliorer la qualité de vie des personnes en situation de handicap, des enfants et des familles, des communautés noires du Canada et d'autres populations vulnérables qui font face à des pressions physiques, économiques et sociales^{Note de bas de page 1}.

L'évaluation actuelle du Programme couvre la période de l'exercice financier 2017 à 2018 à l'exercice financier 2021 à 2022 et vise particulièrement les composantes « Personnes handicapées » et « Enfants et familles »^{Note de bas de page 2}. L'évaluation est réalisée conformément à la Loi sur la gestion des finances publiques et à la Politique sur les résultats. La dernière évaluation du Programme a été achevée en mars 2019 et couvrait la période de l'exercice financier 2012 à 2013 à l'exercice financier 2016 à 2017.

Il s'agit d'une évaluation de processus qui vise à déterminer si les activités du Programme cadraient avec les priorités du gouvernement du Canada et les objectifs d'Emploi et Développement social Canada (EDSC) et si elles ont été réalisées comme prévu. Cette évaluation ne porte pas expressément sur l'efficacité du Programme. Les questions d'évaluation et les détails des sources de données utilisées pour l'évaluation, y compris la méthodologie et les limites, figurent à l'Annexe C et à l'Annexe D.

Principales constatations

1. Le Programme cadre avec les priorités du gouvernement du Canada et les objectifs ministériels d'EDSC en matière de développement social, y compris les priorités relatives à la diversité, à l'inclusion et à l'accessibilité.
2. Les intervenants et les participants interrogés ont indiqué que la communication de renseignements supplémentaires et clairs (comme les attentes, les ressources, l'admissibilité, les échéances et le rapport final) pourraient aider à éclaircir les processus de demande.
3. Dans l'ensemble, la majorité des bénéficiaires de financement ont convenu que les exigences en matière de production de rapports étaient raisonnables et que le Programme communiquait clairement ces exigences. Toutefois, l'évaluation a révélé une faible utilisation des modèles de rapport final au cours de la période d'évaluation. Cette constatation doit être envisagée dans le contexte où les ententes de financement n'imposent pas l'utilisation de modèles personnalisés.
4. Les exigences du Programme en matière de données ont eu une incidence positive sur la capacité organisationnelle des bénéficiaires de financement de la composante « Personnes handicapées », mais elles ont eu une incidence neutre sur les bénéficiaires de financement de la composante « Enfants et familles ». Il y a eu quelques ambiguïtés au sujet de l'utilisation par le Programme des données recueillies.
5. Tous les intervenants interrogés ou sondés s'accordent à dire que le Programme a favorisé l'inclusion sociale en réduisant les obstacles à la participation, dans la société canadienne, tout en augmentant les possibilités d'engagement communautaire.
6. Les approches de projet ont généralement été maintenues après la période de financement par les bénéficiaires de financement et les organismes partenaires.

Recommandations

L'évaluation contient deux recommandations.

1. Le Programme devrait explorer différentes méthodes de communication afin d'améliorer l'accès des intervenants aux renseignements relatifs à la réception des demandes de financement et à la façon de présenter une demande.
2. Le Programme devrait examiner les obstacles rencontrés par les bénéficiaires de financement en ce qui concerne les outils de production de rapport afin de faciliter leur évaluation du rendement

Recommandation 1

Le Programme devrait explorer différentes méthodes de communication afin d'améliorer l'accès des intervenants aux renseignements relatifs à la réception des demandes de financement et à la façon de présenter une demande.

Réponse de la direction

La direction est consciente qu'il est nécessaire de communiquer efficacement avec les intervenants afin de garantir le bon déroulement du processus de demande. Les responsables du Programme travaillent déjà à la mise en œuvre de cette recommandation, notamment en proposant différentes méthodes de communication et en examinant des moyens d'améliorer les services en fonction de la rétroaction continue. L'adoption du Cadre de planification de la conception et de la prestation de programmes a amélioré notre façon de communiquer, ce qui a permis une diffusion plus efficace et cohérente des renseignements sur la réception des demandes de financement et les processus de présentation d'une demande, conformément à notre engagement en faveur de l'amélioration continue et de la mobilisation des intervenants.

Recommendation 2

Les responsables du Programme devraient examiner les obstacles rencontrés par les bénéficiaires de financement en ce qui concerne les outils de production de rapport afin de faciliter leur évaluation du rendement.

Réponse de la direction

La direction est consciente qu'il est nécessaire d'aider les demandeurs à remplir les exigences en matière de production de rapports. L'évaluation a montré que l'obligation de rendre compte est absolument nécessaire, mais que les attentes en matière de rapports ne sont pas clairement définies. Étant donné que la période d'évaluation a pris fin à l'exercice financier 2021 à 2022, la mise en œuvre de certaines activités et mesures a déjà commencé et se poursuit. Les bénéficiaires de financement sont tenus de recueillir des données pertinentes sur le rendement et de rendre compte des résultats de leurs projets. La communication permanente avec les bénéficiaires de financement vise à garantir que ces derniers connaissent bien les objectifs, les résultats attendus et les principales priorités du Programme. Cette communication devrait permettre d'atténuer certains des obstacles que rencontrent les bénéficiaires de financement lorsqu'ils rendent compte de leurs résultats, d'améliorer la qualité des résultats déclarés et de renforcer l'harmonisation des projets avec les objectifs et les priorités du Programme. La récente mise en œuvre du Cadre de planification de la conception et de la prestation de programmes laisse présager des mesures plus simples et plus efficaces pour éliminer les obstacles rencontrés par les bénéficiaires de financement. Les évaluations du rendement s'en trouveront améliorées, et les processus de production de rapports seront plus étroitement liés aux objectifs et aux priorités en évolution du Programme, ce qui garantira des progrès constants et une amélioration continue de nos services.

Composante « Personnes handicapées »

La composante « Personnes handicapées » finance des initiatives qui contribuent à accroître la participation et l'inclusion des personnes en situation de handicap dans tous les aspects de la société canadienne. Dans le cadre de cette composante, les deux types de financement offerts aux organismes totalisent 11 millions de dollars.

1. Financement opérationnel : soutient les initiatives qui augmentent la capacité organisationnelle des organismes nationaux et régionaux qui œuvrent pour les personnes en situation de handicap et qui favorisent l'inclusion sociale^{Note de bas de page 5} de ces dernières.
2. Financement de projets : soutient les initiatives qui luttent contre les problèmes sociaux et les obstacles auxquels font face les personnes en situation de handicap, notamment en créant des outils, des ressources et des services de soutien, et en favorisant les partenariats et les réseaux de collaboration.

L'évaluation de la composante « Personnes handicapées » est axée principalement sur le financement opérationnel national, mais des projets financés ont aussi été inclus.

Composante « Enfants et familles »

La composante « Enfants et familles » finance des projets qui contribuent à améliorer la vie des enfants et des familles, ainsi que d'autres populations vulnérables, en renforçant l'inclusion et la participation sociales. L'évaluation porte sur le financement de projets sous forme de subventions et de contributions, ce qui représente 8,8 millions de dollars du budget total.

Les conditions et les mécanismes dans le cadre desquels le Programme et le financement connexe sont mis en œuvre sont souvent établis par l'entremise d'un modèle de financement intermédiaire ou par des tiers. Ce modèle utilise une approche où un financement est fourni aux organismes à but non lucratif ayant une connaissance spécialisée des besoins des communautés et des conditions qui y prévalent. Les organismes à but non lucratif affectent ensuite la plupart des fonds reçus à des communautés partenaires et à des organismes locaux qui mettent en œuvre des projets à l'échelle communautaire^{Note de bas de page 6}.

Le Programme répond aux priorités en matière de développement social en finançant les activités, les approches et le financement opérationnel des organismes à but non lucratif qui promeuvent la diversité, l'inclusion et l'accessibilité.

Les activités financées et le financement opérationnel ont favorisé l'élaboration et l'utilisation d'un éventail d'approches visant à répondre aux priorités en matière de développement social, notamment la diversité, l'inclusion et l'accessibilité pour les populations vulnérables comme le montrent les exemples fournis dans le tableau 4.

Le Programme a permis de soutenir les bénéficiaires de financement grâce à la révision et à l'adaptation des documents actuels pour qu'ils répondent mieux aux besoins continus.

Les responsables du Programme modifient et adaptent les outils et les documents de référence afin qu'ils correspondent aux priorités du gouvernement du Canada et aux objectifs ministériels d'EDSC en matière de développement social, y compris la diversité, l'inclusion et l'accessibilité, et qu'ils continuent de tenir compte des questions sociales actuelles et nouvelles. Voici certains des travaux réalisés :

• modification des modalités afin d'améliorer la mesure du rendement (notamment en ajoutant de nouveaux résultats) et de répondre aux besoins des populations vulnérables (en raison de la pandémie de COVID‑19);
• modification du profil de l'information sur le rendement du Programme pour y inclure la séparation et la création des nouveaux modèles logiques des composantes du Programme, ainsi que la révision des descriptions et des indicateurs de rendement;
• création du guide du demandeur;
• élaboration de modèles de rapport personnalisés pour les bénéficiaires de financement de chaque composante (à partir de 2019);
• établissement, en 2021, d'un modèle d'Analyse comparative entre les sexes Plus dans le cadre de la composante « Personnes handicapées » pour orienter les bénéficiaires de financement dans la production de rapports, ainsi que d'un cadre de rendement et de responsabilité en collaboration avec les organismes nationaux œuvrant auprès des personnes en situation de handicap.

L'examen des documents a révélé que le Programme dispose d'un processus de demande exhaustif^{Note de bas de page 19}. Il comprend ce qui suit :

• Le lancement des séances d'information sur les appels de propositions visant à :
  • offrir du soutien à propos des appels de propositions, à donner des précisions sur les exigences et à répondre aux questions.
• Un processus d'examen en deux étapes, soit :
  • une présélection des demandes selon leur admissibilité; 
  • une évaluation du bien‑fondé de la demande, notamment en tenant compte des facteurs intersectionnels.
• Les décisions de financement du Ministère.

Les occasions de financement sont thématiques; leur portée et leurs objectifs varient. Les appels de propositions présentent, entre autres, les priorités, les objectifs et les critères d'admissibilité du Programme. De plus, le Programme utilise deux types d'appels de propositions : 

• les processus concurrentiels;
• les processus non concurrentiels.

Voici en quoi consistent les processus concurrentiels :

• appels de propositions ouverts;
• appels de propositions ciblés;
• déclarations d'intérêt.

Les processus non concurrentiels comprennent des processus sollicités et non sollicités.

Toutefois, les tableaux 5 à 8 donnent un aperçu des difficultés ou des lacunes relevées par les informateurs clés au cours des entrevues. Ils présentent les problèmes de communication, comme les lacunes en matière d'information, de clarté, d'accès et d'inclusion en ce qui concerne le processus d'examen des demandes du Programme et l'évaluation des demandes de subventions et de contributions.

Veuillez noter que pour les tableaux 5 à 8, le mot manque fait référence à une insuffisance et non à une absence. En outre, le mot demandeur fait référence à des représentants d'organismes ayant présenté une demande, mais n'ayant pas encore fait l'objet d'une décision de financement, ou dont la demande n'a pas été approuvée.

La majorité des bénéficiaires de financement des deux composantes ont indiqué que la communication des exigences du Programme en matière de production de rapports est généralement claire, mais qu'une orientation sur les attentes liées à ces exigences serait nécessaire.

En moyenne, 57 % des bénéficiaires de financement sondés de la composante« Personnes handicapées » et 54 % de ceux de la composante « Enfants et familles » ont indiqué que la communication des exigences du Programme en matière de collecte de données et de production de rapports était claire.

L'examen des documents et les entrevues menées auprès des informateurs clés, soit les responsables du Programme et les bénéficiaires de financement, ont révélé que l'exigence relative à la production de rapports sur les données est mentionnée dans les ententes de financement. 

• Plus précisement, 48 % des bénéficiaires de financement sondés de la composante « Personnes handicapées » et 50 % de ceux de la composante « Enfants et familles » ont indiqué que la communication des exigences du Programme en matière de collecte de données était claire. D'ailleurs, 65 % des bénéficiaires de financement de la composante « Personnes handicapées » et 57 % de ceux de la composante « Enfants et familles » ont indiqué que la communication des exigences du Programme relatives à la production de rapports sur les données était claire (figure 1)
• Cependant, la majorité des bénéficiaires de financement des deux composantes ont aussi indiqué qu'ils ne comprennent pas parfaitement les attentes précises liées aux exigences en matière de production de rapports. D'après l'examen des documents, les ententes de financement indiquent clairement que des rapports sont requis, mais ne fournissent pas de renseignements supplémentaires sur ce qui est attendu des bénéficiaires de financement. Il n'y a pas de preuves à l'appui permettant d'expliquer les raisons de ce décalage. Il convient toutefois de noter que la période d'évaluation inclut des années antérieures à la création des modèles de rapport personnalisés en 2019.

Description textuelle du Figure 1

Perceptions à l'égard de la communication	Composante « Personnes handicapées » : collecte de données	Composante « Personnes handicapées » : exigences en matière de rapports	Composante « Enfants et familles » : collecte de données	Composante « Enfants et familles » : exigences en matière de rapports
Accessible	48 %	35 %	43 %	35 %
Claire	48 %	65 %	50 %	57 %
Exhaustive	44 %	26 %	43 %	36 %
Adaptée aux besoins	39 %	35 %	44 %	21 %
Adaptée à la culture	4 %	4 %	21 %	14 %
Autre	9 %	9 %	7 %	7 %

• (Source : résultats du sondage liés aux deux composantes du Programme)

Il convient de noter que la catégorie « Autre » contient des réponses ouvertes et reflète principalement des détails complémentaires à d'autres catégories.

Les modèles de rapport final du Programme sont peu utilisés.

Les responsables du Programme ont commencé à élaborer des modèles de rapport final personnalisés pour chaque appel de propositions en partie pour répondre aux recommandations de l'évaluation précédente^{Note de bas de page 22} et aux demandes des intervenants formulées en 2019, qui comprenaient une évaluation des besoins menée dans le cadre de la composante « Personnes handicapées ».

Les responsables de la composante « Personnes handicapées » du Programme ont aussi indiqué que les ententes de financement stipulent que les données et les renseignements doivent être fournis sous une forme acceptable pour le Canada et que l'utilisation de modèles n'est pas exigée. Par conséquent, les responsables des deux composantes du Programme ont mentionné que les bénéficiaires de financement ne sont pas tenus d'utiliser les modèles de rapport personnalisés, car il ne s'agit pas d'une exigence obligatoire dans les ententes de financement.

Cependant, il est important que les bénéficiaires de financement des programmes utilisent les modèles de rapport final afin que leurs réponses aux questions sur l'efficacité et l'efficience des programmes puissent être recueillies et déclarées. L'utilisation de ces modèles permet au Programme d'obtenir ces renseignements.

Ainsi, compte tenu des raisons susmentionnées pour lesquelles les modèles personnalisés ont été créés, les responsables de l'évaluation ont examiné les dossiers administratifs afin de déterminer la fréquence à laquelle ces modèles ont été utilisés au cours de la période d'évaluation. Aux fins de l'évaluation, les projets ouverts (en cours) et fermés ainsi que les ententes de financement opérationnel ont été examinés. Les résultats ont révélé que les modèles sont peu utilisés (figure 2) et que la majorité (69 %) des bénéficiaires de financement de la composante « Enfants et familles » et la grande majorité (80 %) de ceux de la composante « Personnes handicapées » n'ont pas utilisé les outils de collecte de données et de production de rapports du Programme.

En outre, l'examen des rapports finaux soumis pour les deux composantes du Programme a montré que, lorsque des modèles avaient été utilisés, les renseignements requis avaient été communiqués de manière très peu cohérente et certains bénéficiaires de financement n'avaient pas répondu à toutes les questions. Par conséquent, bien que la majorité des bénéficiaires de financement des deux composantes aient déclaré que la communication des exigences en matière de production de rapports sur les données était claire, les données probantes tirées des entrevues menées auprès des informateurs clés et de l'examen des données administratives montrent qu'une compréhension approfondie des attentes en matière de rapports des bénéficiaires de financement n'est pas évident.

Des renseignements supplémentaires recueillis lors des entrevues menées auprès des informateurs clés, soit les bénéficiaires de financement, ont permis de déterminer certains facteurs qui peuvent expliquer, en partie, la faible utilisation des modèles de rapport final du Programme. Il semble y avoir un lien entre ces résultats et les difficultés associées à la communication et à la diffusion des outils de production de rapports et de collecte de données du Programme. Ces difficultés sont principalement liées au manque de rapidité avec laquelle le Programme fournit aux bénéficiaires de financement les modèles de rapport final et les lignes directrices sur les attentes en matière de production de rapports (tableau 9).

Description textuelle du Figure 2

Volet de financement pour lequel des rapports finaux ont été soumis	Composante « Enfants et familles »	Composante « Personnes handicapées »
Contributions	40 %	10 %
Subventions	29 %	29 %
Moyenne	31 %	20 %

• (Source : données administratives des deux composantes du Programme)
• Remarque : Ces pourcentages ont été calculés en examinant les rapports finaux téléversés dans le Système commun pour les subventions et les contributions. L'intervalle de temps visé couvre toute la période de l'évaluation à partir de l'exercice 2017 à 2018, qui comprend des années antérieures à 2019, date à laquelle les modèles personnalisés ont été créés.

L'analyse des rapports finaux a porté sur un échantillon de quatre-vingts (80) rapports. La composante « Personnes handicapées » comptaient 49 rapports finaux, dont 21 ententes de contribution et 28 ententes de subvention. La composante « Enfants et familles » comptaient 31 rapports finaux, dont 12 ententes de contribution et 19 ententes de subvention. Par ailleurs, l'extraction des rapports a été réalisée dans le cadre d'une évaluation à l'automne 2022. Toutefois, d'autres rapports finaux peuvent avoir été téléversés par le Programme dans le Système commun pour les subventions et les contributions après la période d'extraction de l'évaluation. Par conséquent, ces rapports finaux ne seraient pas inclus dans l'analyse de l'évaluation, y compris les pourcentages présentés à la figure 2.

Les bénéficiaires de financement ont fait état d'un certain nombre de difficultés liées à la collecte de données et à la production de rapports.

• En tout, 30 % des bénéficiaires de financement de la composante « Personnes handicapées » et 44 % de ceux de la composante « Enfants et familles » ont répondu qu'ils n'avaient pas reçu d'outils de soutien de la part du Programme.
• La diffusion en temps opportun des outils de collecte de données et de production de rapports était considérée par les bénéficiaires de financement comme l'une des principales difficultés (figure 3).
  • En ce qui concerne la communication et la diffusion des exigences du Programme en matière de collecte de données :
    • moins de 40 % des répondants au sondage de la composante « Personnes handicapées » trouvaient que la communication des exigences était accessible, conviviale, pertinente et opportune;
    • moins de 30 % des répondants au sondage de la composante « Enfants et familles » trouvaient que la communication des exigences était accessible et conviviale, et moins de 15 % d'entre eux la trouvaient pertinente et opportune.
  • En ce qui concerne la communication et la diffusion des exigences du Programme en matière de production de rapports sur les données :
    • la majorité des répondants au sondage (52 %) de la composante « Personnes handicapées » trouvaient que la communication et la diffusion des exigences en matière de production de rapports sur les données étaient conviviales, mais moins de 30 % d'entre eux les trouvaient accessibles, pertinentes et opportunes;
    • un total de 36 % des répondants au sondage de la composante « Enfants et familles » les trouvaient accessibles, conviviales et pertinentes, mais seulement 7 % d'entre eux les trouvaient opportunes.

Description textuelle du Figure 3

Perceptions à l'égard de la communication et de la diffusion	Composante « Personnes handicapées » : collecte de données	Composante « Personnes handicapées » : exigences en matière de rapports	Composante « Enfants et familles » : collecte de données	Composante « Enfants et familles » : exigences en matière de rapports
Accessibles	30 %	39 %	29 %	36 %
Conviviales	39 %	52 %	21 %	36 %
Pertinentes	39 %	35 %	14 %	36 %
Opportunes	26 %	26 %	14 %	7 %
Autre	9 %	13 %	7 %	14 %

• (Source : résultats du sondage liés aux deux composantes du Programme. Composantes « Personnes handicapées » [n=23] et « Enfants et familles » [n=14])
• Il convient de noter que la catégorie « Autre » contient des réponses ouvertes et reflète principalement des détails complémentaires à d'autres catégories.

Le tableau ci‑après (tableau 9) présente quelques perspectives complémentaires sur les difficultés liées à l'efficacité de la communication des exigences du Programme en matière de production de rapports, et de la diffusion des outils connexes. Ces perspectives sont tirées des données du sondage et des entrevues menées auprès des informateurs clés.

• Remarque : Le mot « manque » fait référence à une insuffisance, et non à une absence.

Les responsables de la composante « Enfants et familles » du Programme interrogés ont indiqué qu'ils ne savaient pas si les exigences du Programme en matière de collecte de données et de production de rapports amélioraient la capacité organisationnelle des bénéficiaires de financement à mesurer leurs résultats attendus. Cependant, la majorité des responsables de la composante « Personnes handicapées » du Programme ont répondu par l'affirmative à la même question.

L'évaluation visait à recueillir des renseignements sur l'incidence des exigences du Programme en matière de collecte de données et de production de rapports sur la capacité organisationnelle des bénéficiaires de financement à mesurer leurs résultats (figures 4 et figures 5). Ces renseignements devaient permettre de mieux comprendre si les exigences ont aidé les bénéficiaires de financement à gérer leur collecte de données (p. ex. établir des données de référence) et leur production de rapports (p. ex. fournir une structure pour les rapports). L'amélioration de la capacité organisationnelle à recueillir des données et à rendre compte des résultats pourrait accroître la quantité et la qualité des données fournies dans les rapports finaux, et ainsi augmenter la capacité du Programme et des bénéficiaires de financement à orienter la mesure du rendement. Comme le montrent les figures 4 et 5, les exigences du Programme en matière de collecte de données et de production de rapports ont eu une incidence sur les bénéficiaires de financement des deux composantes. L'incidence sur la capacité organisationnelle de la composante « Personnes handicapées » était principalement positive, et celle sur la composante « Enfants et familles » était principalement neutre.

Description textuelle du Figure 4

Perceptions des bénéficiaires de financement de la composante « Personnes handicapées » à l'égard de l'incidence des exigences en matière de collecte de données et de production de rapports sur leur capacité organisationnelle	Incidence positive	Aucune incidence	Incidence négative
Capacité à recueillir des données	33 %	28 %	9 %
Capacité à mesurer les résultats	36 %	24 %	7 %
Capacité à gérer les données	33 %	48 %	4 %
Capacité à rendre compte des résultats	50 %	33 %	4 %

• (Source : résultats du sondage liés à la composante « Personnes handicapées ». [n=23])

Description textuelle du Figure 5

Perceptions des bénéficiaires de financement de la composante « Enfants et familles » à l'égard de l'incidence des exigences en matière de collecte de données et de production de rapports sur leur capacité organisationnelle	Incidence positive	Aucune incidence	Incidence négative
Capacité à recueillir des données	18 %	39 %	7 %
Capacité à mesurer les résultats	32 %	36 %	0 %
Capacité à gérer les données	21 %	36 %	7 %
Capacité à rendre compte des résultats	32 %	32 %	0 %

• (Source : résultats du sondage liés à la composante « Enfants et familles ». [n=14])

Diversité et intersectionnalité

L'évaluation visait aussi à déterminer si les exigences du Programme en matière de collecte de données et de production de rapports ont eu une incidence sur la capacité des bénéficiaires de financement à tenir compte de la diversité et de l'intersectionnalité.^{Note de bas de page 23} L'examen des documents a montré qu'en 2021, la composante « Personnes handicapées » a commencé à fournir aux bénéficiaires de financement un modèle d'Analyse comparative entre les sexes Plus et un lien vers un webinaire d'information connexe pour les aider à produire des rapports sur la diversité et l'intersectionnalité. Le modèle de rapport de la composante « Enfants et familles » comprend des questions relatives aux groupes ayant bénéficié des projets. Il permet aux bénéficiaires de financement de recueillir des renseignements sur la diversité et l'intersectionnalité et d'en rendre compte.

Les réponses au sondage soumises par les bénéficiaires de financement des deux composantes (n=40) montrent que les exigences du Programme en matière de collecte de données et de production de rapports ont eu une incidence positive sur eux. Plus précisément, 50 % des bénéficiaires de financement de la composante « Personnes handicapées » ont observé une incidence positive. Cette observation a été confirmée par l'examen des données administratives, dont les rapports finaux ont mis en évidence des thèmes communs, notamment une connaissance et une compréhension accrues des formes intersectionnelles de discrimination et d'iniquité touchant les personnes en situation de handicap. En outre, 21 % des bénéficiaires de financement de la composante « Enfants et familles » ont aussi indiqué que les exigences du Programme en matière de collecte de données et de production de rapports ont une incidence sur leur prise en compte de la diversité et de l'intersectionnalité. Les rapports finaux de cette composante ont également montré des exemples de partenariats renforcés avec des organismes servant des populations marginalisées, d'évaluations des besoins visant à mieux servir ces populations, ainsi que d'approches novatrices visant à fournir du matériel et des espaces sûrs et inclusifs.

Exigences en matière de production de rapports pour les bénéficiaires de financement

Afin d'étudier plus en détail l'incidence des exigences du Programme en matière de collecte de données et de production de rapports sur les organismes, les responsables de l'évaluation ont également déterminé si ces exigences créaient un fardeau pour les bénéficiaires de financement. Bien que la majorité (51 %) des bénéficiaires de financement sondés dans les deux composantes (n=40) aient indiqué que les exigences en matière de production de rapports étaient raisonnables, ils ont expliqué de quelles façons ces exigences ont créé un fardeau pour leur organisme (tableau 10).

De plus, les entrevues menées auprès des responsables des deux composantes du Programme ont également permis d'obtenir de l'information sur la capacité organisationnelle des bénéficiaires de financement à répondre aux exigences en matière de collecte de données et de production de rapports. Ils ont indiqué que les bénéficiaires de financement n'ont pas tous la capacité et les ressources pour effectuer ces travaux et qu'ils peuvent donc trouver les exigences trop contraignantes. Par exemple, il peut être difficile pour un petit organisme, avec un nombre d'employés limité, de donner la priorité à la collecte de données et à la production de rapports plutôt qu'à la réalisation de projets, notamment la prestation de services aux clients.

• Remarque : Le mot « manque » fait référence à une insuffisance, et non à une absence.

En ce qui concerne le soutien offert par le Programme aux bénéficiaires de financement, des données probantes ont été recueillies afin de faciliter la collecte de données.

• Pendant les entrevues, les responsables de la composante « Personnes handicapées » du Programme ont indiqué qu'ils collaborent avec les bénéficiaires de financement en leur fournissant une orientation, au besoin, et en assurant un suivi et une surveillance des projets afin de renforcer la responsabilisation et de recueillir davantage de données sur les résultats. En plus de fournir des modèles, certains responsables du Programme ont déclaré qu'ils avaient formulé des justifications sur la nécessité de recueillir des données et qu'ils avaient simplifié les exigences et la terminologie. Certains bénéficiaires de financement ont reconnu que des justifications avaient été fournies, mais ils ont mentionné avoir reçu peu d'indications sur la collecte de données et la production de rapports.
• Certains bénéficiaires de financement de la composante « Enfants et familles » ont aussi mentionné que le Programme leur avait fourni peu d'indications sur la collecte de données et la production de rapports. De même, la majorité des responsables du Programme ont déclaré qu'ils n'avaient connaissance d'aucune mesure de soutien offerte par le Programme concernant les exigences en matière de données, bien qu'un responsable du Programme ait mentionné qu'il fournissait des modèles, des lignes directrices et des orientations, au besoin.

Il existe un éventail de données probantes sur l'utilisation des données recueillies.

L'évaluation a permis d'examiner l'utilisation par le Programme des données recueillies auprès des bénéficiaires de financement. Bien que certains aspects de la collecte de données aient été soutenus par les responsables du Programme, la manière dont les données sont utilisées précisément pour orienter la conception du Programme ou les leçons apprises n'est pas claire.

• Certains responsables de la composante « Enfants et familles » du Programme ont déclaré que le Programme utilise des données recueillies et présentées dans un rapport par les bénéficiaires de financement pour orienter les leçons apprises et la conception du Programme (comme le retrait de l'exigence obligatoire d'obtenir des fonds supplémentaires pour les projets).
• La majorité des responsables des deux composantes du Programme ayant été interrogés n'ont pas été en mesure d'expliquer comment les données sont utilisées et n'avaient connaissance d'aucune difficulté liée à la collecte de données ou à la production de rapports. Certains responsables du Programme ont indiqué que l'utilisation des données diffère selon le secteur du Programme. Comme il a déjà été souligné, les divers rôles et responsabilités au sein du Programme ainsi que les difficultés liées à la communication interne pourraient notamment nuire à la connaissance des constatations tirées des données et à l'utilisation de ces dernières.

Le Programme en est un de partenariats qui finance de nombreux organismes nationaux souvent situés dans des centres urbains. Ces organismes (c'est‑à‑dire les bénéficiaires de financement) s'associent souvent à d'autres organismes (autrement dit, les organismes partenaires) de partout au pays. La répartition du financement provincial et territorial, tout au long de la période de l'évaluation, est présentée à l'annexe F.

Comme le définit le profil de l'information sur le rendement (2022), l'inclusion sociale fait référence aux circonstances dans lesquelles les personnes ont l'occasion de participer à la vie économique, sociale, politique et culturelle, d'y contribuer et d'en bénéficier, ce qui améliore le bien‑être de tout le monde.

Les deux composantes du Programme ont un résultat final semblable^{Note de bas de page 24} et visent à accroître l'inclusion sociale des populations cibles^{Note de bas de page 25} . Tous les intervenants interrogés et sondés s'accordent à dire que le Programme a contribué à l'inclusion sociale grâce à son financement et à son modèle de mise en œuvre.

Même si tous les résultats (intermédiaires et immédiats) ont été évalués, ils n'ont pas toujours été détaillés séparément pour les deux composantes. Par conséquent, aux fins de la présente évaluation, les résultats des deux composantes ont été regroupés en quatre résultats communs. Cette approche reflète leurs similitudes et vise à mettre l'accent sur leurs éléments essentiels.

1. Accroître les possibilités d'accès à du soutien permettant de répondre aux besoins sociaux
2. Contribuer à l'engagement communautaire
3. Contribuer à la participation communautaire
4. Améliorer les capacités à surmonter les divers obstacles à l'inclusion sociale

La majorité des bénéficiaires de financement et des organismes partenaires des deux composantes du Programme ont déclaré que les fonds du Programme ont, dans une large mesure, été utilisés pour accroître l'inclusion sociale de leurs populations cibles.

Les bénéficiaires de financement et les organismes partenaires des deux composantes ont déclaré que les fonds du Programme ont, dans une large mesure, été utilisés pour accroître l'inclusion sociale.

• En fait, 89 % des répondants (n=27) de la composante « Enfants et familles » et 93 % de ceux (n=29) de la composante « Personnes handicapées » ont indiqué cela.

La pandémie de COVID‑19 a eu une incidence sur la capacité des bénéficiaires de financement et des organismes partenaires des deux composantes à accroître l'inclusion sociale.

La pandémie a soulevé des difficultés, mais les bénéficiaires de financement et les organismes partenaires ont fait preuve d'adaptabilité en apportant des modifications novatrices à leur approche visant à accroître l'inclusion sociale de la population cible du Programme :

• La pandémie a eu une incidence sur les bénéficiaires de financement et les organismes partenaires dans différentes mesures (figures 6 et 7).
• Les bénéficiaires de financement et les responsables du Programme interrogés des deux composantes ont souligné le rôle crucial qu'ont joué les mesures de soutien flexibles et le financement stable du Programme pour aider les organismes pendant la pandémie.
• Les données du sondage indiquent que moins de 37 % des répondants de la composante « Enfants et familles » et moins de 30 % de ceux de la composante « Personnes handicapées » ont fait état de répercussions négatives de la pandémie.
• Parmi les bénéficiaires de financement ayant soumis un rapport final^{Note de bas de page 27}, seulement 39 % ont noté l'incidence de la pandémie. Ils ont cité des effets à la fois positifs et négatifs, probablement en raison de facteurs comme la capacité d'adaptation et les mesures de soutien offertes par le Programme.

Difficultés et mesures d'adaptation novatrices

Parmi les difficultés rencontrées dans le cadre de la composante « Enfants et familles », mentionnons la perte soudaine de revenus en raison de l'annulation des activités de financement ainsi que des difficultés d'ordre logistique liées à la fermeture des bureaux, à la mobilisation de bénévoles et à la dotation en personnel. Voici certaines des mesures d'adaptation mises en place :

• amélioration des services de soutien en santé mentale;
• passage au travail à distance;
• amélioration des compétences technologiques;
• utilisation des mesures de souplesse offertes par les responsables du Programme afin que les fonds servent à couvrir les coûts imprévus (comme l'aménagement d'espaces plus grands pour permettre la distanciation physique). 

La principale difficulté rencontrée par les bénéficiaires de financement et les organismes partenaires de la composante « Personnes handicapées » était que leur population cible courait un risque plus élevé de contracter la COVID‑19^{Note de bas de page 28}. Voici certaines des mesures d'adaptation mises en place :

• promotion de partenariats;
• élaboration de nouvelles façons de procéder (p. ex. événements virtuels, pratiques exemplaires repensées);
• augmentation des possibilités d'inclusion sociale;
• passage à la communication virtuelle et aux réunions à l'extérieur.

Description textuelle du Figure 6

Résultats intermédiaires	Incidence très positive	Incidence minimalement positive	Aucune incidence	Incidence minimalement négative	Incidence très négative
Accroître les possibilités de participation communautaire	5 %	11 %	32 %	21 %	32 %
Éliminer les obstacles à l'inclusion sociale	11 %	0 %	26 %	32 %	32 %
Contribuer à l'engagement communautaire	21 %	11 %	11 %	26 %	32 %
Accroître les possibilités d'accéder au soutien et de répondre aux besoins sociaux	26 %	11 %	16 %	11 %	37 %

• (Source : résultats du sondage, composante « Enfants et familles » [n=29])

Description textuelle du Figure 7

Résultats intermédiaires	Incidence très positive	Incidence minimalement positive	Aucune incidence	Incidence minimalement négative	Incidence très négative
Accroître les possibilités de participation communautaire	21 %	4 %	0 %	13 %	63 %
Éliminer les obstacles à l'inclusion sociale	13 %	13 %	0 %	21 %	54 %
Contribuer à l'engagement communautaire	21 %	8 %	0 %	21 %	50 %
Accroître les possibilités d'accéder au soutien et de répondre aux besoins sociaux	13 %	13 %	8 %	21 %	46 %

• (Source : résultats du sondage, composante « Personnes handicapées » [n=27])

Principale constatation 6. Les approches de projet ont généralement été maintenues après la période de financement par les bénéficiaires de financement et les organismes partenaires.

Le profil de l'information sur le rendement (2021) du Programme définit la « durabilité de projet » comme étant la capacité d'un projet à poursuivre la mise en œuvre de certaines ou de toutes ses composantes, comme ses activités, ses extrants et ses résultats au‑delà de la période de financement.

Recommandation 1

Le Programme devrait explorer différentes méthodes de communication afin d'améliorer l'accès des intervenants aux renseignements relatifs à la réception des demandes de financement et à la façon de présenter une demande.

Les intervenants et les participants interrogés ont mentionné que des renseignements supplémentaires et clairs pourraient aider à clarifier les processus de demande et d'évaluation (principale constatation 2). Les bénéficiaires de financement des deux composantes ont exprimé leurs préoccupations quant au manque de connaissance du processus d'évaluation des demandes en deux étapes, à la longueur et à la lourdeur du processus d'examen, et aux problèmes techniques liés à la présentation d'une demande. Les responsables des deux composantes du Programme ont soulevé le même problème concernant le manque d'harmonisation interne et de communication efficace entre la direction générale des politiques et celle des opérations, ainsi que des difficultés liées aux courts délais pour remplir les demandes. Ces difficultés ont une incidence sur l'accessibilité, car les demandeurs se heurtent à des obstacles qui les empêchent de comprendre le processus de présentation d'une demande et de s'y retrouver efficacement.

Recommandation 2

Les responsables du Programme devraient examiner les obstacles rencontrés par les bénéficiaires de financement en ce qui concerne les outils de production de rapport afin de faciliter leur évaluation du rendement.

Les résultats de l'évaluation indiquent que la majorité des bénéficiaires de financement considèrent que les exigences du Programme en matière de production de rapports sont raisonnables et communiquées clairement. Toutefois, l'évaluation a révélé une faible utilisation des modèles de rapport final au cours de la période d'évaluation, pour les deux composantes du Programme. Cette constatation doit être envisagée dans le contexte où les ententes de financement n'imposent pas l'utilisation de modèles personnalisés. De plus, dans les cas où des modèles ont été utilisés, il y avait très peu de cohérence dans la manière dont les renseignements requis étaient déclarés. En outre, 30 % des répondants au sondage de la composante « Personnes handicapées » et 44 % de ceux de la composante « Enfants et familles » ont indiqué qu'ils n'avaient reçu aucun outil de la part du Programme. La diffusion en temps opportun des outils de collecte de données et de production de rapports était considérée par les bénéficiaires de financement comme l'une des principales difficultés. Parmi les autres difficultés, il y a notamment un manque de rapidité et de clarté dans la communication des attentes en matière de rapports ainsi que des lignes directrices limitées sur la collecte de données et la production de rapports (principale constatation 3).

Revue de la littérature et de la documentation

Les 16 sources de la revue de la documentation provenaient principalement de documents internes du Programme, tandis que les 29 sources de la revue de la littérature provenaient principalement de moteurs de recherche en ligne comme Google, Google Scholar, EBSCO, GCpédia, les Publications du gouvernement du Canada et la Bibliothèque de Statistique Canada.

Principales limites

Les études et les documents internes du Programme concernant les sujets de l'évaluation actuelle étaient limités. Malgré l'utilisation des moteurs de recherche susmentionnés, l'accès à des articles détaillés examinés par des pairs et la disponibilité de ceux-ci étaient limités. Néanmoins, pour atténuer ces limites, de multiples sources de données ont été incluses dans l'évaluation afin de combler les lacunes de toute source de données particulière.

Examen et analyse des données administratives

L'évaluation a permis d'examiner et d'analyser les données administratives provenant du Système commun pour les subventions et les contributions. Les données de la période d'avril 2017 à mars 2022 ont été présentées par les bénéficiaires de financement conformément aux exigences en matière de production de rapports d'étape trimestriels et de rapports finaux. Les rapports contenaient des renseignements sur les activités, les résultats prévus et obtenus, ainsi que sur les partenariats. L'analyse des données administratives des rapports finaux était fondée sur un échantillon de 80 ententes de financement (provenant des dossiers de 130 projets uniques ou ententes de financement opérationnel qui ont été financés au cours de la période d'évaluation) et a été réalisée à l'aide de MAXQDA 2022.

L'échantillon de 80 dossiers de projets financés ou d'ententes de financement opérationnel a été sélectionné selon une approche représentative qui tenait compte des deux composantes du Programme, du mécanisme de financement (subvention ou contribution), de l'exercice financier visé par la période d'évaluation, de la représentation géographique et de la représentation urbaine ou rurale.

Principales limites

Un certain nombre de limites étaient également propres à cette source de données :

• La saisie de données dans le Système commun pour les subventions et les contributions présentait des problèmes, car certains dossiers de projet étaient incomplets et, dans certains cas, il n'était pas évident de savoir si l'état des dossiers était à jour.
• Ce ne sont pas toutes les composantes et tous les mécanismes qui ont été utilisés au cours de chaque exercice financier (par exemple, aucun projet de subvention pour la composante « Enfants et les familles » n'a été financé à l'exercice financier 2020 à 2021 ou à l'exercice financier 2021 à 2022).
• Le nombre de bénéficiaires de financement situés dans des régions rurales était faible. Les rapports finaux et la quantité de détails qu'ils contenaient variaient considérablement, que le bénéficiaire de financement utilise ou non des modèles de rapport.
• Les responsables de neuf projets (11 % de l'échantillon), sur les 80 compris dans l'échantillon, n'avaient pas présenté de rapport final ou, s'ils en avaient présenté un, celui‑ci n'était pas disponible au moment de l'évaluation. De plus, 21 autres projets (26 % de l'échantillon) étaient en cours au moment de la récupération des rapports et n'avaient donc pas de rapport final. Ces projets comptent pour 37,5 % de l'échantillon. L'indisponibilité des rapports finaux a surtout eu une incidence sur les constatations relatives à l'utilisation des modèles. En outre, l'un de ces dossiers de la composante « Enfants et familles » contenait deux rapports finaux pour des éléments distincts du projet, au lieu d'un seul rapport final, ce qui peut avoir légèrement faussé les pourcentages de fréquence puisque les deux ont été pris en compte dans l'analyse de l'utilisation des modèles.

L'un des domaines d'intérêt de la composante « Enfants et familles » concernait les projets liés aux objectifs de développement durable. Ces projets ont été financés par une source de financement distincte du reste des projets de la composante. Cependant, ils ont été inclus dans l'échantillon de projets fourni pour l'évaluation. Ils ont donc été inclus dans l'examen des données administratives. Cette limite a été cernée à l'étape du rapport d'évaluation final. Il n'a pas été possible de supprimer entièrement ces données. Néanmoins, les constatations administratives connexes ont été supprimées, dans la mesure du possible. L'incidence de cette divergence a probablement été minime, car les résultats de l'évaluation de la composante « Personnes handicapées » correspondaient dans une grande mesure à ceux de la composante « Enfants et familles ».

Entrevues auprès des informateurs clés

Le Programme a fourni une liste de tous les bénéficiaires de financement, qui a ensuite été analysée par les évaluateurs afin de supprimer les doublons. Cent quatre‑vingt‑trois (183) projets ont été financés au cours de la période d'évaluation, et 130 ont été considérés comme appartenant à des organismes uniques. Ces 130 projets ont constitué le cadre d'échantillonnage raisonné pour les entrevues menées auprès des informateurs clés.

Des entrevues ont été menées auprès des informateurs clés, soit les responsables du Programme, les bénéficiaires de financement, les organismes partenaires, les demandeurs et les bénéficiaires (aussi appelés les utilisateurs finaux) aux fins de l'évaluation. L'objectif était d'obtenir des renseignements sur le processus de demande, l'utilisation et l'incidence du financement, ainsi que des points de vue sur la mesure dans laquelle le Programme a contribué à l'atteinte des résultats.

Les entrevues ont été menées à l'interne du 8 juin au 21 août 2023 et consistaient en des questions ouvertes. Cinq guides d'entrevue distincts ont été créés pour les intervenants des deux composantes du Programme et utilisés par ceux‑ci. Les questions d'entrevue ont été élaborées à l'interne et provenaient des questions plus générales de l'évaluation et des indicateurs connexes.

Au total, 36 entrevues semi‑structurées ont été réalisées par vidéoconférence auprès de différents intervenants clés :

• les responsables des politiques du PPDS d'EDSC, y compris les directeurs, les gestionnaires et les analystes principaux du Bureau de la condition des personnes handicapées (n=2) et de la Direction de l'innovation sociale et du développement communautaire (n=2);
• les responsables du Programme d'EDSC, y compris les gestionnaires, les analystes principaux et les agents principaux de programme de la Direction générale des opérations de programmes, du Centre national de prestation des subventions et des contributions (n=4) et de la Surveillance de programme (n=2);
• les représentants des bénéficiaires de financement (n=10);
• les représentants des organismes partenaires (n=9);
• les bénéficiaires (aussi appelés les utilisateurs finaux) de la composante « Personnes handicapées » (n=9);
• les demandeurs, y compris les représentants de demandeurs n'ayant pas encore fait l'objet d'une décision de financement, ou dont la demande n'a pas été approuvée (n=9).

L'échantillonnage de bénéficiaires de financement, d'organismes partenaires, de demandeurs et de responsables du Programme a été effectué selon une approche raisonnée. Plus précisément, l'échantillon composé de bénéficiaires de financement, d'organismes partenaires et de demandeurs représentait une variété d'organismes, de composantes de financement, de volets de financement, d'exercices financiers, d'emplacements géographiques, ainsi qu'un profil rural et urbain.

Des tentatives ont également été faites pour constituer un échantillon raisonné et représentatif de personnes ayant bénéficié des projets financés (appelées bénéficiaires ou utilisateurs finaux). Toutefois, l'équipe d'évaluation n'a réussi à obtenir les coordonnées de bénéficiaires que pour la composante « Personnes handicapées ». Par conséquent, l'échantillon ne comprenait que 11 noms et il ne s'agissait donc que d'un échantillon de commodité. Néanmoins, les participants représentaient un éventail d'organismes, de volets de financement, de genres, de capacités, d'emplacements géographiques, de rôles et de responsabilités.

Comme il a été indiqué, le recrutement des bénéficiaires s'est fait exclusivement auprès de ceux de la composante « Personnes handicapées ». Les bénéficiaires avaient des capacités et des obstacles divers. Ainsi, certains participants ont pu être recrutés grâce à des méthodes semblables à celles utilisées pour d'autres intervenants, comme l'invitation par courriel envoyée aux bénéficiaires de financement et aux organismes partenaires. Les entrevues menées auprès de ces personnes comptaient pour environ la moitié (cinq) des neuf entrevues, et chacune d'entre elles représentait un projet ayant obtenu un financement du Programme. Les quatre autres entrevues ont été menées auprès de deux petits groupes, et ces participants représentaient un bénéficiaire de financement précis. Ces groupes étaient composés de jeunes (âgés de moins de 30 ans) ayant reçu l'aide d'un membre du personnel de soutien en matière d'apprentissage pour participer aux entrevues ainsi qu'aux projets ou aux opérations de l'organisme financés par le Programme. Du personnel de soutien en matière d'apprentissage était présent lors des entrevues menées auprès des deux groupes, et leur participation a été financée par le Programme.

Les termes techniques et subjectifs, comme « modèle de mise en œuvre par des tiers » et « bénéficiaires », ont été définis visuellement et oralement, afin de limiter les erreurs d'interprétation des questions. Afin de préserver l'intégrité des entrevues, les personnes chargées de les réaliser se sont abstenues de diriger les réponses des participants, ont demandé des précisions au besoin et ont laissé le temps aux participants, à la fin de chaque entrevue, de faire des commentaires ou de discuter d'aspects du Programme qui n'avaient pas été soulevés.  

Principales limites

Certains bénéficiaires de financement et organismes partenaires n'ont pas donné de réponse ou l'adresse courriel fournie par le Programme n'était pas exacte, ce qui a donné lieu à des courriels renvoyés. L'équipe d'évaluation a déployé de nombreux efforts pour recueillir des renseignements exacts au moyen de recherches sur Internet et d'appels téléphoniques. Au cours des entrevues, des participants n'ont pas répondu à toutes les questions. Certaines questions ou réponses ont été regroupées et ont donné lieu à des réponses globales. De plus, certains informateurs clés peuvent ne pas se souvenir clairement de l'ensemble de leur expérience en raison du temps écoulé entre leur participation au Programme et le moment où les entrevues ont eu lieu. Certains termes ont également pu être mal compris en raison de leur utilisation subjective au sein du Programme (comme « modèle de mise en œuvre par des tiers », « modèle de partenariat » ou « modèle d'intermédiaire ») et de leur traduction d'une langue officielle à l'autre (comme les « bénéficiaires de financement » et les « bénéficiaires »). En outre, la division de la mesure du rendement du Programme a été intégrée aux responsabilités de l'équipe chargée des politiques du Programme au printemps 2023, juste avant la réalisation des entrevues auprès des responsables du Programme. Cela peut avoir eu une incidence sur le manque de connaissance de certains informateurs clés concernant les outils de production de rapports ou l'utilisation des données.

Les participants suivants ont été invités à répondre par écrit aux questions d'entrevue :

• les organismes dont la capacité de participation était limitée;
• les participants n'ayant pas répondu à toutes les questions d'entrevue, mais ayant dépassé la durée autorisée de l'entrevue et le temps supplémentaire accordé (p. ex. 1 heure et 30 minutes);
• les participants n'ayant pas pu répondre à toutes les questions et qui n'ont pas pu continuer au‑delà du temps alloué; 
• les participants qui souhaitaient participer, mais qui n'ont pas pu ou avaient une capacité limitée de le faire pendant la période de facilitation de l'entrevue.

L'équipe d'évaluation a examiné les deux réponses écrites aux fins d'assurance de la qualité et a communiqué au besoin avec les participants pour clarifier les renseignements fournis.

Enfin, comme mentionné dans la section sur les limites de l'analyse des données administratives, les projets relatifs aux objectifs de développement durable, qui faisaient partie de la composante « Enfants et familles », ont été inclus dans les entrevues menées auprès des informateurs clés. Cependant, seules deux des 36 entrevues concernaient ces projets.

Sondage en ligne

Un sondage a été mené auprès des bénéficiaires de financement et des organismes partenaires du Programme aux fins de l'évaluation. L'objectif était d'obtenir des renseignements sur certains aspects comme le niveau de satisfaction à l'égard des exigences du Programme en matière de collecte de données et de production de rapports, ainsi que des points de vue sur la mesure dans laquelle le Programme a favorisé l'atteinte des résultats.

Le sondage a été conçu à l'interne par l'équipe d'évaluation et réalisé par le service de recherche des faits interne d'EDSC entre le 12 juillet et le 9 août 2023. Le questionnaire comprenait principalement des questions fermées et des questions à choix multiples. Le même sondage a été utilisé pour les bénéficiaires de financement et les organismes partenaires. Cependant, l'enchaînement logique a été utilisé tout au long du sondage pour permettre aux répondants de sauter les sections qui ne se rapportaient pas à leur expérience. Le sondage et tous les produits de communication connexes étaient offerts dans les deux langues officielles.

Les responsables du Programme ont fourni une liste de tous les bénéficiaires de financement, qui a ensuite été analysée par les évaluateurs afin de supprimer les organismes en double. Cent quatre‑vingt‑trois (183) projets ont été financés au cours de la période d'évaluation, et 130 ont été considérés comme appartenant à des organismes uniques (autrement dit, des bénéficiaires de financement). Le cadre d'échantillonnage raisonné était composé de ces 130 projets. L'équipe d'évaluation a reçu les coordonnées de 84 organismes partenaires uniques parmi ces bénéficiaires de financement. Ceux-ci ont également été inclus dans le sondage.

Chaque répondant potentiel s'est vu attribuer un identifiant unique et le sondage a été envoyé à 214 personnes (population totale) par courriel. Dans l'ensemble, le sondage a reçu 68 réponses complètes, soit un taux de réponse de 32 %.

Limites

Plusieurs limites sont propres à cette source de données. La saisie de données relatives au Programme n'était pas toujours cohérente, car les organismes affichaient parfois plusieurs noms légaux, et certains renseignements n'ont pas été saisis. Par exemple, les coordonnées de certains organismes uniques n'ont pas été saisies. Il est possible que certains organismes partenaires n'aient pas eu la possibilité de participer au sondage, car celui‑ci n'a été envoyé qu'aux organismes mentionnés par un bénéficiaire de financement, et tous les bénéficiaires de financement n'ont pas répondu à la demande de renseignements sur les organismes partenaires. Étant donné que des renseignements sur les organismes partenaires n'ont pas été recueillis dans le cadre du Programme, les bénéficiaires de financement ont reçu un courriel au début du processus d'évaluation les invitant à fournir le nom et les coordonnées de leurs organismes partenaires. Afin d'éviter les doublons, l'équipe d'évaluation a examiné les codes postaux en double en plus des noms légaux. Pour s'assurer que le plus grand nombre possible d'organismes avait la possibilité de participer à l'évaluation, les évaluateurs ont effectué des recherches en ligne sur les organismes dont les coordonnées n'étaient pas disponibles, afin de recueillir de l'information. Dans certains cas, l'équipe d'évaluation a téléphoné aux organismes afin d'obtenir une adresse courriel à utiliser pour la correspondance. En outre, certains répondants peuvent ne pas se souvenir clairement de l'ensemble de leur expérience en raison du temps écoulé entre leur participation au Programme et le moment où le sondage a été réalisé, et certains termes utilisés dans le sondage peuvent avoir été mal compris (p. ex. « exigences en matière de production de rapports »).

Comme mentionné précédemment, pour la composante « Enfants et familles », les projets relatifs aux objectifs de développement durable ont été financés par une source de financement distincte et n'auraient pas dû être inclus dans l'échantillon du sondage. Bien qu'il n'ait pas été possible de supprimer les données du sondage, les résultats ne comprenaient que ceux de deux représentants de ces projets. Les réponses de ces représentants ne comptaient que pour 3 % des données du sondage.

Utilisation des profils d'information sur le rendement et des modèles logiques dans l'évaluation du Programme

La conception et la réalisation d'une évaluation reposent en grande partie sur les profils d'information sur le rendement et les modèles logiques du Programme. L'utilisation de ces ressources dans le cadre de l'évaluation a donné lieu à des observations.

• Le profil d'information sur le rendement du Programme a été révisé en 2021 et de nouveaux indicateurs ont été inclus à cette occasion. Ainsi, les données de référence et les cibles n'avaient pas encore été établies^{Note de bas de page 31} et n'ont donc pas pu être utilisées dans le cadre de l'évaluation. De plus, aucun indicateur qualitatif n'avait été créé pour la composante « Enfants et familles ». Néanmoins, les responsables de l'évaluation ont utilisé les indicateurs mentionnés pour orienter la méthode d'évaluation et fournir des références pour les secteurs d'intérêt.
• Les modèles logiques des composantes du Programme sont très semblables et contiennent de nombreux résultats qui se chevauchent. En outre, bien que les variations linguistiques reflètent certaines différences, les résultats sont essentiellement les mêmes. La collecte, la désagrégation et l'analyse des données du Programme ont donc posé quelques problèmes.