Évaluation du Programme de partenariats pour le développement social

Formats substituts

Sommaire

Ce rapport présente les résultats et recommandations issus de l’évaluation du Programme de partenariats pour le développement social (ci-après appelé « le Programme »). Il s’agit d’un programme offert à l’échelle nationale en collaboration avec le secteur des organisations à but non lucratif pour soutenir les personnes handicapées, les enfants et les familles, les communautés de langue officielle en situation minoritaire et les autres populations vulnérables. L’évaluation du Programme couvre la période allant des exercices financiers 2012 à 2013 et de 2016 à 2017, et est axée sur :

• la composante « Personnes handicapées », en particulier l’appel de propositions de 2012; et
• la composante « Enfants et familles » du Programme, en particulier les projets pilotes de partenariats sociaux

Bien que les 2 composantes du Programme relèvent de la même direction générale, la répartition du financement et la conception du Programme relèvent de 2 Backdifférents ministres et directions au sein d’Emploi et Développement social Canada (EDSC).

Contexte

De 2011 à 2012, les agents du Programme ont mis en place de nouvelles approches de financement. Notamment, le programme a ajouté des exigences en matière de partenariat et de mobilisation de ressources pour les organismes financés, et a aussi mis en place le modèle de prestation par les tiers (financement d’organismes intermédiaires). Le but de ces approches était de vérifier si elles pouvaient améliorer la capacité des organismes à but non lucratif à s’attaquer aux enjeux sociaux auxquels font face les populations vulnérables. Ces approches ont été soumises à des tests exhaustifs par la composante « Enfants et familles » du Programme dans le cadre des projets pilotes de partenariats sociaux et, dans une moindre mesure, par la composante « Personnes handicapées » du Programme.^{Note de bas de page 1} La mise en œuvre de ces nouvelles exigences et de ce nouveau modèle de prestation faisait partie de l’évolution et du renouvellement du Programme. Plus spécifiquement, ces changements s’inscrivaient dans une tendance visant à éliminer le financement de base dirigé (danse le cas de la composante « Personnes handicapées »), et avaient aussi pour but de vérifier si la mise en œuvre de modèles orientés sur les partenariats permettait d’accroître le nombre de ressources disponibles pour répondre à un enjeu social donné et, par conséquent, améliorer l’impact du Programme sur les populations vulnérables.

Portée de l’évaluation

L’évaluation a permis d’évaluer la mesure dans laquelle les nouvelles exigences de financement et le nouveau modèle de prestation ont augmenté la capacité des organismes financés à répondre aux enjeux auxquels sont confrontées des populations vulnérables comparativement à une approche traditionnelle de financement axé sur les projets. L’évaluation a aussi évalué la pertinence du programme et sa stratégie de mesure du rendement en place pendant la période étudiée.

Restrictions

L’évaluation visait à examiner dans quelle mesure le programme a contribué à améliorer la capacité des organismes financés à s’attaquer aux enjeux sociaux auxquels font face les populations vulnérables. Cependant, la capacité de l’évaluation à le faire était limitée en raison du manque de données recueillies au sujet des bénéficiaires. L’évaluation ne cherchait pas à attribuer des résultats concernant l’inclusion sociale des populations vulnérables à des interventions spécifiques du programme, car le soutien financier fourni par le Programme est relativement faible, il existe de nombreuses interventions gouvernementales à l’appui du même objectif et parce qu’il y a de nombreux facteurs externes qui pourraient influencer l’inclusion sociale, comme la situation économique.

Principales constatations

Pertinence

• Le Programme doit continuer à appuyer les populations vulnérables en collaborant avec les organismes à but non lucratif et en leur accordant du financement.
• Les organismes à but non lucratif sont bien placés pour soutenir les populations vulnérables en raison de leurs liens avec les collectivités et de leur compréhension de leurs besoins.

Efficacité

• Le Programme a réussi à orienter les organismes financés vers l’atteinte de leurs objectifs en matière de mobilisation de ressources. En effet, la plupart de ces organismes ont réussi à atteindre leurs objectifs. Au total, les 17 organismes financés sous la composante « Personnes handicapées » ont signalé avoir obtenu des dons en argent ou en nature auprès d’organismes non fédéraux ayant une valeur totale de 2,8 millions de dollars. De même, les 18 organismes financés à travers les projets pilotes de partenariats sociaux ont obtenu plus de 8 millions de dollars en argent ou en nature.^{Note de bas de page 2} Toutefois, les exigences du programme en matière de mobilisation de ressources n’ont pas mené à de nouvelles sources de financement pour la plupart des organismes^{Note de bas de page 3}, et n’ont pas mené à l’obtention de sommes importantes de dons en argent.
• Le Programme encourageait les organismes financés à faire preuve d’innovation dans l’établissement de partenariats. Cependant, les organismes ont favorisé la collaboration avec des partenaires existants dans la mise en œuvre de leurs projets. En effet, les organismes ont cité des raisons tels les antécédents de collaboration, une compréhension mutuelle des besoins des populations cibles, et le fait qu’il faut beaucoup de temps pour établir et rendre efficaces de nouveaux partenariats.
• Le modèle de prestation par les tiers est bien placé pour améliorer la portée du financement fédéral afin de rejoindre davantage organismes à but non lucratif, ainsi que pour augmenter la capacité des organismes de manière à améliorer la prestation de services aux collectivités.
• Les nouvelles exigences en matière de financement et le nouveau modèle de prestation ont permis d’augmenter la capacité des organismes financés à mettre en œuvre leurs activités pendant la période de financement. Par contre, dans la plupart des cas, les organismes financés ont déclaré ne pas avoir la capacité de continuer à mener leurs activités au-delà de la période de financement.
• Les organismes financés qui ont obtenu d’importantes ressources financières des gouvernements provinciaux ont été en mesure de continuer à soutenir leur clientèle cible dans le cadre de leurs projets au-delà de la période de financement fédérale. Le Programme pourrait donc explorer une plus grande collaboration avec les gouvernements provinciaux, notamment en établissant des partenariats efficaces et fructueux afin de soutenir les populations vulnérables.
• La mesure du rendement du Programme était axée sur l’établissement de partenariats et la mobilisation de ressources, plutôt que sur des résultats concernant les populations vulnérables. Par conséquent, les appels de propositions et la stratégie de mesure du rendement en place au cours de la période étudiée n’ont pas permis une évaluation adéquate de la façon dont le Programme et les projets atteignent leurs objectifs^{Note de bas de page 4}.
• Les 2 composantes du Programme ont amélioré leurs stratégies de mesure du rendement depuis la période visée par l’évaluation. Plus particulièrement, le Programme recueille systématiquement plus de données sur les résultats des projets grâce à une collaboration accrue entre le Programme et les organismes financés dans l’élaboration des plans d’évaluation.

Autres résultats

• Des éléments laissent présumer que le Programme pourrait contribuer à long terme au bien-être et à l’inclusion sociale des populations vulnérables au Canada en finançant des organismes à but non lucratif pour réaliser des projets de développement social. Les organismes financés ont signalé de nombreux résultats positifs dans la mise en œuvre de leurs projets. Par exemple, ils ont signalé que leurs projets ont permis de créer un plus grand sentiment confiance, d’autonomie et de bien-être auprès des participants, et ont mené à une sensibilisation accrue au sein des communautés à l’égard des obstacles à l’inclusion sociale.

Recommandations

Les 2 recommandations suivantes sont issues de l’évaluation :

1. Veiller à ce que le Programme et les organismes financés aient une compréhension commune des objectifs et des résultats escomptés du Programme ainsi que des concepts clés (par exemple inclusion sociale, partenariats et durabilité) afin de permettre une meilleure mesure du rendement.
2. Améliorer les gabarits de surveillance et de rapports (par exemple rapports d’étape et rapports finaux) ainsi que les outils de collecte de données (par exemple sondages) afin de saisir des renseignements détaillés sur l’impact du Programme auprès des bénéficiaires visés.

Réponse et plan d’action de la direction

Introduction

Le Programme de partenariats pour le développement social est un programme de subventions et contributions qui soutient les organismes sans but lucratif admissibles afin de les aider à améliorer la vie des personnes handicapées, des enfants et des familles et d’autres populations vulnérables. Le programme a un budget annuel de 20 millions de dollars divisé en 2 composantes : Personnes handicapées (11 millions de dollars) et Enfants et familles (9,1 millions de dollars).

Le Programme de partenariats pour le développement social s’aligne sur la vision du Ministère d’Emploi et Développement social Canada en ce qui a trait aux individus et aux familles, c’est-à-dire qu’il vise à bâtir un Canada plus fort et plus inclusif, à aider les Canadiens à faire les bons choix afin que leur vie soit productive et gratifiante, et à améliorer leur qualité de vie. Le Programme appuie la responsabilité fondamentale du Ministère en matière de développement social, qui consiste à accroître l’inclusion et les possibilités de participation des Canadiens au sein de leurs collectivités.

Le Programme appuie les priorités du gouvernement du Canada en investissant dans des organismes à but non lucratif visant à améliorer les conditions de vie des personnes handicapées, des enfants et des familles et d’autres populations vulnérables. L’utilisation des subventions et contributions représente un moyen souple et rentable d’appuyer le rôle que jouent les collectivités, les organismes à but non lucratif et les organismes bénévoles pour aider les personnes handicapées, les familles, les enfants et les autres populations vulnérables à être résilients et leur fournir les outils et les compétences nécessaires pour répondre aux enjeux sociaux actuels et nouveaux.

Les principales constatations présentées dans l’évaluation indiquent que le Programme progresse vers l’atteinte des objectifs et des résultats prévus. Le rapport d’évaluation comprend deux recommandations et la direction appuie les deux. La réponse et le plan d’action de la direction seront mis en œuvre par la Direction générale de la sécurité du revenu et du développement social en collaboration avec la Direction générale des opérations de programmes et les intervenants concernés, le cas échéant. De plus, la Direction générale de la sécurité du revenu et du développement social continuera de diriger l’amélioration du Profil de renseignements sur le rendement du Programme.

Il est important de noter que le Programme s’efforce constamment de consulter ses partenaires externes, y compris les bénéficiaires financés, pour trouver un juste équilibre entre le désir et le besoin d’obtenir des données solides sur la mesure du rendement, le rapport coût-efficacité et l’efficience.

Recommandation 1 : Veiller à ce que le Programme et les organismes financés aient une compréhension commune des objectifs et des résultats escomptés du Programme ainsi que des concepts clés (par exemple inclusion sociale, partenariats et durabilité) afin de permettre une meilleure mesure du rendement.

Réponse

Le programme s’efforce déjà de donner suite à cette recommandation. Par exemple, les organismes financés sont tenus de recueillir des données pertinentes sur le rendement et de rendre compte des résultats de leurs projets. Ainsi, une approche de communication globale visant à s’assurer que ces bénéficiaires soient bien informés des objectifs, des résultats attendus et des priorités clés du Programme améliorera la qualité des résultats qu’ils communiquent et l’harmonisation de leurs projets avec les buts et priorités du Programme. De plus, une compréhension commune des concepts clés entre le Programme et les organismes financés améliorera la qualité de la mesure du rendement.

Plus précisément, dans le plus récent appel d’études conceptuelles lancé par la composante « Enfants et familles » du Programme (l’appel était axé sur les services d’apprentissage et de garde pour les jeunes enfants), les objectifs du Programme et ceux de l’appel lui-même étaient clairement énoncés dans le guide du demandeur et dans le gabarit de demande. Les termes et concepts clés étaient définis dans le guide du demandeur. Dans leur demande d’application, les organismes devaient démontrer le lien entre les buts et les résultats escomptés des concepts qu’ils proposaient et les objectifs de la composante « Enfants et familles » du programme. Une composante de l’évaluation consistait à déterminer dans quelle mesure les concepts proposés correspondaient aux objectifs et aux priorités du programme.

En ce qui concerne la composante « Personnes handicapées » du programme, il est important de noter que, dans le cadre du renouvellement du financement de base octroyé aux organismes nationaux, le Ministère a consulté la collectivité des personnes handicapées avec l’aide d’un comité directeur dans le but d’élaborer un Cadre de rendement et de responsabilisation pour le programme. Dans le cadre de cette nouvelle approche, les organismes financés seront tenus de rapporter leurs résultats en utilisant un ensemble minimal d’indicateurs de rendement de base. Le Cadre de rendement et de responsabilisation a défini quatre principes pour lesquels des indicateurs de rendement seront élaborés afin de mesurer les résultats du financement. Ces principes permettront au Programme de contribuer à la santé et à la maturité du milieu des personnes handicapées et de favoriser l’inclusion sociale des Canadiens et Canadiennes handicapés. Les indicateurs de rendement mesureront la capacité organisationnelle dans les grands domaines suivants :

• la gouvernance et la responsabilisation
• l’efficacité du leadership et des activités
• l’établissement et le maintien de partenariats
• la mesurabilité de l’impact

Plan d’action de la direction

• Le Programme collaborera avec les intervenants concernés, y compris les partenaires internes, afin d’élaborer des définitions communes pour les principaux termes et priorités du Programme, tels que l’inclusion sociale, la durabilité, la mobilisation de ressources et le partenariat. Les définitions seront ensuite communiquées clairement à tous les demandeurs de financement afin de leur permettre de mieux comprendre les attentes du Programme.
  • Date d’achèvement : Printemps 2019
• Le Programme continuera d’élaborer, d’améliorer et de rendre largement accessibles des outils et des produits afin de s’assurer que les organismes financés soient bien informés des objectifs, indicateurs de rendement, résultats attendus et priorités clés du Programme.
  • Date d’achèvement : Automne 2019

Recommandation 2 : Améliorer les gabarits de surveillance et de rapports (par exemple rapports d’étape et rapports finaux) ainsi que les outils de collecte de données (par exemple sondages) afin de saisir des renseignements détaillés sur l’impact du Programme auprès des bénéficiaires visés.

Réponse

La capacité de saisir de l’information détaillée sur la façon dont le Programme influe sur les bénéficiaires visés est essentielle pour démontrer l’efficience de la gestion du programme. L’information détaillée sur l’impact du programme éclairera également l’orientation des politiques, la conception du programme et la prestation des services.

Depuis la mise en œuvre des projets pilotes d’innovation de la composante « Enfants et familles » du programme (2012 à 2015), cette composante a entrepris des révisions continues du modèle de rapport final que les organismes financés utilisent pour soumettre leurs rapports finaux une fois leur projet terminé. Ces révisions comprennent les changements suivants :

• modèles de rapports finaux personnalisés pour chaque appel d’études conceptuelles ou de propositions
• demande de renseignements sur les résultats propres au projet, la portée du projet et son impact sur les bénéficiaires du projet
• exigences supplémentaires en matière d’informations, telles que le sexe et les populations cibles pour permettre l’Analyse comparative entre les sexes Plus (ACS+) sur les bénéficiaires des projets

La composante « Enfants et familles » du programme communique les attentes en matière de mesure du rendement aux organismes financés tout au long du processus de demande et de financement. Cela comprend des discussions sur les attentes du programme en matière de mesure du rendement au début de la période de planification et de conception des appels d’études conceptuelles ou de propositions, par l’élaboration du guide de demande, par l’évaluation des concepts et des propositions, et par l’élaboration des dispositions des ententes pour les projets financés. Les propositions de projets sollicitées à travers la composante « Enfants et familles » sont également examinées du point de vue de la mesure du rendement avant l’évaluation et l’approbation des demandes de financement potentielles. Les projets font l’objet d’un suivi pendant leur mise en œuvre afin de s’assurer que des plans d’évaluation comprenant des indicateurs de mesure des résultats pertinents sont élaborés et font l’objet de rapports.

Afin de recueillir des renseignements détaillés sur l’impact du financement de la composante « Personnes handicapées » sur les bénéficiaires des projets financés durant la période allant du 1er avril 2017 au 31 mars 2018, le gabarit pour les rapports de mesure du rendement a été révisé afin d’inclure des questions supplémentaires sur les partenariats, l’analyse comparative entre les sexes, l’évaluation, les histoires de succès et les leçons apprises. Pour les prochaines périodes de rapport sur le rendement, le Ministère examinera si d’autres changements au gabarit seront nécessaires.

De plus, le Programme continuera d’examiner comment la stratégie actuelle de collecte de données peut être améliorée en révisant le gabarit dans le but de le rendre plus concis et de s’assurer que l’applicabilité des données recueillies concorde toujours avec la stratégie de mesure du rendement.

Plan d’action de la direction

• En collaboration avec les organismes financés, le Programme continuera d’améliorer les gabarits de surveillance et de rapport afin d’améliorer la qualité des données recueillies sur les impacts du Programme sur les bénéficiaires visés.
  • Date d’achèvement : Automne 2019
• Afin d’améliorer davantage la capacité des organismes financés à mesurer le rendement de leurs projets, le Programme veillera à ce qu’il y ait du support disponible et des fonds consacrés à l’élaboration de plans d’évaluation, y compris la collecte de données, l’analyse des données et l’établissement de rapports.
  • Date d’achèvement : Automne 2019

1. Introduction

Ce rapport présente les résultats de l’évaluation du Programme de partenariats pour le développement social couvrant la période allant des exercices financiers de 2012 à 2013 et de 2016 à 2017. Il s’appuie sur 4 rapports techniques, soit le rapport basé sur l’examen des fichiers, celui basé sur la revue documentaire, le rapport basé sur des entrevues avec des informateurs clés (internes et externes), et finalement le rapport sur les études de cas portant sur des projets financés spécifiques. Les résultats présentés dans ce rapport sont issus de la triangulation de données provenant de ces quatre sources^{Note de bas de page 5}.

1.1 Description du programme

Le Programme de partenariats pour le développement social est un programme mis en œuvre à l’échelle nationale qui permet de réaliser des investissements stratégiques à l’appui des priorités fédérales visant les enfants et les familles, les personnes handicapées, le secteur du bénévolat, les communautés de langue officielle en situation minoritaire et d’autres segments vulnérables de la population. Il travaille en collaboration avec des organismes à but non lucratif pour aider à améliorer les conditions de vie de ces groupes cibles.

Le Programme appuie le résultat stratégique d’Emploi et Développement social Canada (EDSC) lié à la Sécurité du revenu, accès aux possibilités et mieux-être des personnes, des familles et des collectivités.^{Note de bas de page 6}

Le budget annuel des subventions et des contributions du Programme est supérieur à 20 millions de dollars et est réparti en deux composantes. Un montant de 11 millions de dollars est alloué à la composante « Personnes handicapées » et un montant d'un peu plus de 9 millions de dollars est alloué à la composante « Enfants et familles ». Les modèles logiques actuels pour les composantes « Personnes handicapées » et « Enfants et familles » sont présentés aux annexes E et F respectivement^{Note de bas de page 7}.

Les 2 composantes du Programme sont décrites plus en détail ci-dessous.

Composante « Personnes handicapées »

La composante « Personnes handicapées » est supervisée par le Bureau de la condition des personnes handicapées de la Direction générale de la sécurité du revenu et du développement social de EDSC, et est mise en œuvre par la Direction générale des opérations de programmes de Service Canada. Elle appuie des projets visant à améliorer la participation et l’inclusion des personnes handicapées dans tous les aspects de la société canadienne. Le ministre des Services publics et de l’Approvisionnement et de l’Accessibilité est responsable de la composante « Personnes handicapées ».

La composante « Personnes handicapées » octroie à la fois du financement de base et du financement par projet. Le financement de base vise à accroître la capacité des organismes à but non lucratif dont le mandat premier est de promouvoir l’inclusion sociale des personnes handicapées et d’apporter des changements au sein de ces populations. Le financement par projet vise à appuyer une vaste gamme d’initiatives qui s’attaquent aux problèmes sociaux et aux obstacles auxquels font face les personnes handicapées, à élaborer des outils et des ressources qui répondent aux besoins des personnes, de leur famille et de leur collectivité, à offrir des services de soutien aux personnes handicapées et à favoriser les partenariats et réseaux de collaboration.

Composante « Enfants et familles »

La composante « Enfants et familles » est supervisée par la Direction des partenariats de développement communautaire et de lutte contre l’itinérance de la Direction générale de la sécurité du revenu et du développement social d’EDSC, et mise en œuvre par la Direction générale des opérations de programmes à Service Canada. Cette composante offre du financement à des organismes à but non lucratif admissibles pour mener à bien des projets qui visent à améliorer la vie des enfants, des familles et d’autres populations vulnérables. Le ministre de la Famille, des Enfants et du Développement social est responsable de la composante Enfants et familles.

Il y a 3 enveloppes de fonds au sein de la composante « Enfants et familles » qui sont intégrées aux modalités et conditions :

• L’Initiative de partenariats sociaux dans les communautés de langue officielle en situation minoritaire (CLOSM), qui fait partie de la Feuille de route pour la dualité linguistique canadienne, de 2013 à 2018 : Éducation, Immigration, Communautés. Les projets financés sont axés sur les jeunes en transition, les changements démographiques (aînés) et les populations vulnérables des communautés de langue officielle en situation minoritaire.
• Les prix Bénévolat Canada, qui reconnaissent l’énorme contribution des bénévoles, des organismes à but non lucratif et des entreprises de partout au pays pour aider les gens et les collectivités.
• L’analyse et la diffusion de l’Enquête sociale générale - sur le don, le bénévolat et la participation. Il s’agit d’un engagement annuel de la composante « Enfants et familles » visant à financer un seul organisme pour analyser et diffuser les résultats de l’enquête aux organismes à but non lucratif partout au Canada.

2. Portée et objectif de l’évaluation

L’évaluation porte sur les projets financés dans le cadre de l’appel de propositions de 2012 pour la composante « Personnes handicapées », ainsi que sur les projets financés par la composante « Enfants et famille » dans le cadre des projets pilotes de partenariats sociaux. Ces projets ont été amorcés et achevés entre les exercices financiers de 2012 à 2013 et de 2016 à 2017.

La portée de l’évaluation a été élaborée en consultation avec le Programme et a été approuvée à la réunion de juin 2017 du Comité de la mesure du rendement et de l’évaluation. La liste suivante donne un aperçu des initiatives qui ont été incluses ou exclues de l’évaluation. Les initiatives qui ont été exclues pourraient être étudiées dans le cadre d’une évaluation future du Programme.

Composante « Enfants et familles »

• Initiatives incluses : Projets pilotes de partenariats sociaux^{Note de bas de page 8}.
• Initiatives non incluses : Projets en cours, Prix pour le bénévolat du Canada, Enquête sociale générale-Dons, bénévolat et participation, et l’Initiative de partenariat social dans les communautés de langue officielle en situation minoritaire.

Composante « Personnes handicapées »

• Initiatives incluses : Appel de propositions de 2012^{Note de bas de page 9}.
• Initiatives non incluses : Financement direct ou de base des organismes nationaux de personnes handicapées et des organisations provinciales et territoriales, l’Appel de propositions 2016 sur l’innovation, et l’Appel de propositions 2016 sur la loi fédérale sur l’accessibilité.

L’évaluation porte sur les nouvelles approches de financement, soit les exigences en matière de partenariats et de mobilisation de ressources, ainsi que sur le modèle de prestation par des tiers^{Note de bas de page 10}, qui ont été mis en place par le Programme en 2012. L’objectif de l’évaluation est de déterminer si ces approches de financement et ce modèle de prestation ont amélioré la capacité des organismes financés à s’attaquer aux enjeux sociaux auxquels sont confrontées les populations vulnérables. L’évaluation examine également les questions liées à la conception et à la prestation du programme et explore les stratégies de mesure du rendement du programme.

Il convient de noter que ces exigences et ce modèle de prestation ont été soumis à des tests plus exhaustifs par la composante « Enfants et familles » que par la composante « Personnes handicapées ». Cela s’explique par le fait que les projets pilotes de partenariats sociaux menés par la composante « Enfants et familles » faisaient partie d’une initiative plus vaste au sein du Ministère visant à mettre à l’essai des approches novatrices^{Note de bas de page 11} pour aborder des questions sociales complexes. Bien que l’appel de propositions de 2012 de la composante « Personnes handicapées » n’ait pas été établi dans le but précis de mettre à l’essai ces approches, il comprenait des exigences en matière de mobilisation de ressources auprès d’organismes non fédéraux.

3. Principales constatations

3.1 Pertinence

Nécessité du programme

L’examen des dossiers et les études de cas indiquent que le Programme, par l’entremise des projets qu’il finance, a identifié et comblé divers besoins, lacunes et problèmes sociaux auxquels font face les populations vulnérables, y compris les obstacles à l’inclusion sociale, pendant la période de financement.^{Note de bas de page 12}

Bien que les bénéficiaires de financement interrogés aient décrit les besoins comme ayant été comblés au cours des projets, bon nombre d’entre eux ont également indiqué que ces besoins étaient permanents et qu’ils demeuraient dans les collectivités visées par les projets. Par conséquent, les organismes à but non lucratif ont besoin d’un soutien continu de la part du Programme pour répondre aux divers besoins, lacunes et problèmes sociaux auxquels font face les populations vulnérables.

Nécessité de travailler avec les organismes à but non lucratif

Les résultats découlant de l’évaluation indiquent que la collaboration avec les organismes à but non lucratif est une bonne façon de s’attaquer aux problèmes sociaux auxquels font face les populations vulnérables. Par exemple, les informateurs clés^{Note de bas de page 13} ont indiqué que les organismes à but non lucratif ont les liens et les relations nécessaires pour servir les populations vulnérables en raison de leurs connaissances opérationnelles et de leur longue expérience de travail et de prestation de services auprès des populations vulnérables.^{Note de bas de page 14}

En général, les informateurs clés^{Note de bas de page 15} perçoivent le rôle du gouvernement fédéral comme un facilitateur pour aider les organismes à but non lucratif à fournir des services aux populations vulnérables. La revue documentaire indique la nature complémentaire entre les organismes à but non lucratif et les gouvernements dans la prestation de services aux populations vulnérables.^{Note de bas de page 16} Le premier offre des avantages, comme la diversité des services à petite échelle, tandis que le second compense l’incapacité de ces derniers à générer des ressources à une échelle adéquate en générant des revenus.

Toutefois, la revue documentaire et les études de cas mettent également en lumière un défi permanent pour les organismes à but non lucratif, soit le manque de capacité financière découlant de la diminution des recettes provenant de sources publiques. Cela nuit à leur capacité à fournir des services aux populations vulnérables, en particulier dans un environnement où la demande pour de tels services augmente.^{Note de bas de page 17}

Harmonisation avec les politiques et priorités fédérales et les résultats stratégiques ministériels

Les objectifs du Programme et les stratégies qu’il utilise pour atteindre ses buts s’harmonisent avec les efforts en matière d’innovation du gouvernement du Canada et du Ministère pour régler les problèmes sociaux.^{Note de bas de page 18} La revue documentaire souligne l’engagement du gouvernement fédéral et du Ministère à relever les défis en matière de politiques publiques au moyen d’approches novatrices, notamment en travaillant avec des partenaires provenant de secteurs variés afin de servir les populations dans le besoin.

Pertinence des rôles et responsabilités du gouvernement fédéral dans la mise en œuvre du programme

La revue documentaire indique que le gouvernement du Canada a des rôles et des responsabilités juridiques pour assurer l’inclusion sociale des populations vulnérables.^{Note de bas de page 19} Elle indique également que l’utilisation d’une approche pancanadienne pour répondre à l’inclusion sociale peut soulever des questions intergouvernementales en raison du fait que l’inclusion sociale interfère avec de nombreux domaines pour lesquels les provinces sont constitutionnellement responsables, comme la pauvreté, le logement, l’éducation et les soins de santé.^{Note de bas de page 20}

Toutefois, le gouvernement fédéral ne cherche pas à se substituer aux responsabilités des provinces dans ces domaines. Il vise plutôt à fournir un soutien complémentaire, par exemple en favorisant un environnement favorable aux projets de développement social. C’est le cas du Programme de partenariats pour le développement social, qui encourage les organismes à but non lucratif à former des partenariats multisectoriels dans le but de promouvoir des façons novatrices d’éliminer les obstacles à l’inclusion sociale auxquels font face les populations vulnérables.

Similitudes avec d’autres programmes

Il existe plusieurs programmes à l’échelle du gouvernement fédéral qui viennent en aide aux populations vulnérables.^{Note de bas de page 21} Toutefois, la revue documentaire n’a révélé aucun autre programme gouvernemental existant qui appuie simultanément les organismes sociaux à but non lucratif et intègre la création de partenariats intersectoriels, ce qui fait partie intégrante du modèle de prestation du Programme.

3.2 Efficacité

Résultats attendus des approches et du modèle de prestation

Au cours de l’exercice financier 2011 à 2012, le Programme a mis à l’essai des nouvelles approches de financement, tel le financement axé sur les partenariats et la mobilisation de ressources, ainsi que le modèle de prestation par des tiers, afin de mieux appuyer les efforts des organismes à but non lucratif de s’attaquer aux enjeux sociaux auxquels font face des populations vulnérables. La figure 1 illustre ces différentes approches de financement.

Source : Le personnel de la Direction de l’évaluation d’EDSC (2018)

Description textuelle de la figure 1

La figure 1 présente les différentes méthodes de prestation et approches de financement utilisées par le Programme de partenariats pour le développement social durant la période de financement. La figure se divise en trois sections principales : financement conventionnel de projets, financement de projets avec exigences en matière de partenariats et d’obtention de ressources externes, et modèle de prestation par des tiers. Les trois sections décrivent une séquence d’événements en utilisant le Programme de partenariats pour le développement social comme point de départ. Les différents acteurs sont illustrés par des cercles. Les flèches relient les cercles entre eux et représentent une séquence ou une action.

La première section décrit le financement conventionnel de projets. La séquence suivante est illustrée en utilisant le Programme comme point de départ. Le Programme verse du financement par projet ou de base à des organismes à but lucratif, et ces derniers offrent des services aux populations vulnérables.

La deuxième section décrit le financement de projets avec exigences en matière de partenariats et d’obtention de ressources externes. La séquence suivante est illustrée en utilisant le Programme comme point de départ. Le Programme verse du financement par projets à des organismes à but non lucratif. Ces organismes font appel à des partenaires et à des donateurs, qui leur fournissent des ressources. Ces organismes financés offrent ensuite des services aux populations vulnérables. Le cercle qui représente les populations vulnérables est plus grand que celui de la première section. C’est pour illustrer que l’on s’attend à ce que les organismes à but non lucratif financés soient en mesure d’atteindre une plus grande quantité de populations vulnérables en utilisant les ressources fournies par les partenaires et les donateurs.

La dernière section décrit le modèle de prestation par des tiers. La séquence suivante est illustrée en utilisant le Programme comme point de départ. Le Programme verse du financement pour des grands projets à des d’organismes à but non lucratif de grande taille. Ces grands organismes versent ensuite des subventions à des organismes à but non lucratif de plus petite taille. Enfin, chacun de ces petits organismes à but non lucratif offre des services aux populations vulnérables. Comme dans la section précédente, le cercle qui représente les populations vulnérables est plus grand que celui de la première section afin d’illustrer qu’un plus grand nombre de personnes reçoivent des services grâce à cette approche.

Ces approches de financement faisaient partie d’une initiative plus vaste au sein du Ministère visant à mettre à l’essai des approches novatrices pour répondre à des questions sociales complexes. Dans le cas du Programme de partenariats pour le développement social, le but de l’essai était d’évaluer la faisabilité d’utiliser des subventions et contributions fédérales pour attirer des investissements non fédéraux supplémentaires, afin d’investir dans l’élaboration de solutions locales, mutuellement bénéfiques et profitables à toutes les parties pour résoudre des questions sociales complexes importantes aux collectivités et au gouvernement.

Un examen des documents pertinents du Programme laisse entendre que le Programme prévoyait obtenir 3 principaux résultats à travers l’utilisation de l’approche de financement axé sur les partenariats et la mobilisation obligatoire de ressources, et du modèle de prestation par des tiers. On s’attendait notamment à ce que les bénéficiaires du financement :

1. engagent de nouveaux partenaires ou approfondissent les relations avec les partenaires existants de manière à améliorer les résultats pour les communautés (c’est-à-dire pour les populations vulnérables)
2. diversifient leurs sources de financement, augmentant ainsi la réserve de ressources affectées à une question donnée pour en accroître l’impact; et
3. atteignent une plus grande durabilité grâce à des partenariats et à la mobilisation de nouvelles ressources

Dans l’ensemble, l’évaluation a permis de constater que les indicateurs qui ont été élaborés par le Programme pour évaluer les progrès vers ces résultats étaient davantage axés sur les activités des organismes financés (par exemple partenariats formés, montant des ressources obtenues) que sur les résultats attendus auprès des bénéficiaires, ce qui aurait été plus lié aux objectifs du Programme. Afin de vérifier si l’approche axée sur les partenariats et la mobilisation de ressources, et le modèle de prestation par des tiers ont réellement amélioré la capacité des organismes à s’attaquer aux enjeux sociaux auxquels sont confrontées des populations vulnérables, il aurait fallu recueillir des données sur les bénéficiaires.

Résultats des approches et du modèle de prestation

Partenariats

Les exigences de financement du programme mettent l’accent sur la formation de partenariats multisectoriels avec de nouveaux partenaires ou sur le renforcement des relations avec les partenaires existants pendant la période de financement^{Note de bas de page 22}.

L’examen des fichiers et les études de cas indiquent que les organismes financés^{Note de bas de page 23} ont surtout formé des partenariats avec des partenaires existants, qui jouaient souvent un rôle plus officiel et central dans l’exécution des projets financés (par exemple les membres actifs des comités consultatifs des projets). De nombreux organismes financés ont invité des partenaires existants à participer aux projets en raison de leur longue tradition de collaboration et de leur compréhension mutuelle des besoins de leurs populations cibles. Ces relations bien établies ont été considérées comme une importante source de succès dans la réalisation des projets.

Selon l’examen des fichiers et les entrevues avec les informateurs clés, des facteurs tels la confiance et les intérêts mutuels étaient importants pour assurer que les partenariats soient solides et durables. Cependant, de nombreux organismes financés ont indiqué qu’il fallait plus de temps pour que les nouveaux partenariats soient efficaces. Bien que de nouveaux partenariats aient également été formés, ceux-ci étaient souvent informels et parfois limités à la période du projet.

Bien que les résultats ci-dessus suggèrent que les partenaires existants ont joué un rôle plus important que les nouveaux, il est difficile d’évaluer le paysage global des partenariats en raison du fait qu’ils ont été définis d’une manière à couvrir toutes sortes de donateurs^{Note de bas de page 24} (par exemple, un donateur unique, des donateurs réguliers ou permanents). Il était également difficile à évaluer le paysage des partenariats dû au fait que les exigences en matière de rapports ne demandaient pas aux organismes de faire des distinctions additionnelles, par exemple de préciser si le partenaire existait déjà, s’il était nouveau^{Note de bas de page 25}, formel ou informel. En définissant davantage le concept de partenariat et en le communiquant aux demandeurs de financement, le Programme pourrait permettre de mieux comprendre l’efficacité de l’approche de financement axé sur les partenariats.

Réalisation des objectifs en matière de mobilisation de ressources

L’examen des fichiers a révélé que tous les organismes financés sous les composantes « Personnes handicapées » et « Enfants et familles » ont obtenu des dons en nature ou en argent tout au long du déroulement des projets. Les organismes ont signalé eux-mêmes les montants reçus et, dans la plupart des cas, aucune autre vérification n’a été effectuée pour confirmer si ces montants avaient été reçus.

Comme l’indique le tableau 1, tous les organismes financés sous la composante « Personnes handicapées » ont dépassé l’exigence de base visant à obtenir des dons auprès de sources autres que le gouvernement fédéral dont la valeur totale correspondrait à au moins 10 % des coûts admissibles du projet. En fait, en moyenne, 31 % des coûts totaux admissibles des projets provenaient de sources autres que le gouvernement fédéral.

Source : Le personnel de la Direction de l’évaluation d’EDSC (2018)

4. Éléments à prendre en considération

Les constatations de l’évaluation indiquent que le Programme n’a pas utilisé un cadre adéquat pour mesurer les progrès réalisés vers l’atteinte de ses objectifs énoncés. En particulier, l’évaluation a noté que les appels de propositions ne définissaient pas explicitement les résultats globaux escomptés, qui devraient être alignés avec les objectifs du programme, sur lesquels les organismes financés devaient faire rapport. Cela a réduit la possibilité que les organismes financés puissent faire rapport sur les résultats appropriés.

Les organismes financés partagent la responsabilité d’évaluer le rendement du Programme, car ils jouent un rôle fondamental dans sa mise en œuvre. Par conséquent, les organismes financés doivent identifier et définir correctement les questions qu’ils abordent et déterminer les résultats attendus de leurs propres initiatives. Cela permettra à la fois au Programme et aux organismes financés de faciliter la mesure du rendement et des impacts liés aux populations vulnérables.

L’évaluation reconnait que toute responsabilité supplémentaire requise de la part des organismes financés en ce qui a trait à la collecte de données et à la production de rapports peut entraîner un investissement de temps et de ressources supplémentaires dans de telles activités, ce qui peut nuire à la réalisation du projet. La difficulté d’équilibrer les exigences en matière de rapports et la réalisation des projets a été notée dans les différentes sources de données et les documents du Programme. Par conséquent, le Programme pourrait fournir un soutien et des ressources supplémentaires pour améliorer la capacité d’évaluation des organismes à but non lucratif, au besoin.

5. Recommandations

Les 2 recommandations suivantes sont issues de l’évaluation :

1. Veiller à ce que le Programme et les organismes financés aient une compréhension commune des objectifs et des résultats escomptés du Programme ainsi que des concepts clés (par exemple inclusion sociale, partenariats et durabilité) afin de permettre une meilleure mesure du rendement.
2. Améliorer les gabarits de surveillance et de rapports (par exemple rapports d’étape et rapports finaux) ainsi que les outils de collecte de données (par exemple sondages) afin de saisir des renseignements détaillés sur l’impact du Programme auprès des bénéficiaires visés.

Annexe A – Questions d’évaluation

Enjeux, questions d’évaluation, indicateurs et méthodes de collecte de données

Pertinence :

1. Le Programme a-t-il toujours besoin de trouver de nouvelles façons d’aborder les problèmes sociaux auxquels sont confrontés les enfants et les familles, ainsi que les personnes handicapées?

1.1 Preuve que les lacunes ou les besoins actuels sont comblés par les organismes à but non lucratif

• Méthodes de collecte de données : revue documentaire, examen des fichiers, entrevues avec informateurs clés (internes), entrevues avec informateurs clés (externes), études de cas

1.2 Preuve que le fait de travailler avec des organismes à but non lucratif permet de soutenir adéquatement les populations vulnérables.

• Méthodes de collecte de données : revue documentaire examen des fichiers, entrevues avec informateurs clés (internes), entrevues avec informateurs clés (externes), études de cas

1.3 Preuves sur les lacunes actuelles relevées qui ne sont pas abordées ou couvertes par le Programme

• Méthodes de collecte de données : revue documentaire, examen des fichiers, entrevues avec informateurs clés (internes), entrevues avec informateurs clés (externes), études de cas

2. Le Programme s’harmonise-t-il avec les politiques et les priorités du gouvernement du Canada ainsi qu’avec les résultats stratégiques d’EDSC et y contribue-t-il?

2.1 Preuve de la cohérence entre les priorités du Programme et les résultats stratégiques du ministère ainsi que les politiques et priorités du gouvernement fédéral.

• Méthodes de collecte de données : revue documentaire

3. Est-ce que les responsabilités et les rôles actuels du gouvernement fédéral sont appropriés, en ce qui concerne la prestation du Programme?

3.1 Preuve que les activités de Programme sont harmonisées avec les rôles et responsabilités du gouvernement fédéral en matière d’inclusion sociale.

• Méthodes de collecte de données : revue documentaire, entrevues avec informateurs clés (internes)

3.2 Preuve que des programmes ou des services semblables ne sont pas offerts à l’intérieur ou à l’extérieur du gouvernement fédéral.

• Méthodes de collecte de données : revue documentaire examen des fichiers, entrevues avec informateurs clés (internes), entrevues avec informateurs clés (externes), études de cas

Efficacité :

4. A-t-on mis en place un cadre approprié pour faciliter la mesure des résultats des projets pilotes de la composante « Enfants et familles », ainsi que des projets financés dans le cadre de l’appel de propositions de 2012 de la composante « Personnes handicapées » ? Que pourrait-on améliorer à l’avenir?

4.1 Preuve de l’existence d’une stratégie de mesure de rendement dans le cadre de l’appel de propositions qui définit clairement les résultats attendus et les critères d’évaluation à l’appui des décisions de financement.

• Méthodes de collecte de données : revue documentaire, entrevues avec informateurs clés (internes), études de cas

4.2 Pourcentage de projets ayant indiqué avoir élaboré et utilisé des indicateurs de rendement et des processus d’évaluation pour mesurer les résultats des projets. examen des fichiers

• Lines of evidence: File review

4.3 Preuves sur les méthodes d’évaluation et les outils de mesure permettant d’évaluer les résultats du projet et les progrès réalisés en vue de contribuer aux résultats escomptés du Programme.

• Méthodes de collecte de données : revue documentaire, examen des fichiers, entrevues avec informateurs clés (internes), études de cas

4.4 Preuves sur la façon dont les organismes financés et le Programme peuvent améliorer leur capacité à mesurer les impacts sociaux dans le contexte de l’innovation sociale et du financement.

• Méthodes de collecte de données : revue documentaire, entrevues avec informateurs clés (internes), entrevues avec informateurs clés (externes), études de cas

5. Ces modèles ont-ils amélioré la capacité des organismes financés à surmonter les obstacles à l’inclusion sociale?

5.1 Preuves indiquant que ces nouveaux modèles d’innovation sociale (c’est-à-dire la mobilisation des ressources, les partenariats et le modèle de prestation par des tiers) ont été en mesure de mieux servir les organismes financés en améliorant leur capacité d’influer sur les populations vulnérables pour surmonter les obstacles et les défis à l’inclusion sociale.

• Méthodes de collecte de données : revue documentaire, entrevues avec informateurs clés (internes), entrevues avec informateurs clés (externes), études de cas

Composante « Personnes handicapées » (seulement)

6. Dans quelle mesure les exigences en matière de partenariats entre les organismes financés dans le cadre de l’appel de propositions de 2012 pour les personnes handicapées ont-elles réussi à :

6.1 Attirer des partenaires aux projets financés?

6.1.1 Nombre de partenariats créés ou renforcés, par secteur (privé, public, à but non lucratif, etc.)

• Méthodes de collecte de données : examen des fichiers

6.1.2 Données probantes sur les réussites, les défis et le niveau d’efforts pour attirer et retenir les partenariats (par exemple collaborations, alliances, réseaux, etc.)

• Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

6.1.3 Approches adoptées pour attirer les partenariats

• Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

6.2 Maximiser les contributions des partenaires aux projets financés?

6.2.1 Preuve que les partenaires ont contribué à l’amélioration de la capacité organisationnelle en matière de : sensibilisation accrue aux projets dans les collectivités/liens facilités avec les collectivités; ressources accrues; lacunes comblées dans les services/besoins; nouvelles idées/approches; exploitation de partenariats supplémentaires; reproduction et mise à l’échelle du projet.

• Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

6.3 Établir des partenariats fructueux et durables (quels éléments ont rendu les partenariats plus fructueux et durables)?

6.3.1 Preuve que les partenariats créés ou renforcés ont été efficaces ou se sont poursuivis même après la fin des projets financés (par exemple types de collaboration, rôles ou contributions des partenaires)

• Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

6.4 Assurer une plus grande inclusion des organismes et des personnes handicapées?

6.4.1 Des données probantes sur les types et les complexités des questions sociales et des personnes handicapées qui ont été abordées ou atteintes par les organismes et par leurs partenariats.

• Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

6.4.2 Preuve que les partenariats ont renforcé la capacité des organismes à assurer une plus grande inclusion des organismes de personnes handicapées et à obtenir de meilleurs résultats pour un plus grand nombre de personnes ayant divers types de handicaps.

• Méthodes de collecte de données : entrevues avec informateurs clés (externes), études de cas

6.5 Élargir la portée des organismes financés?

6.5.1 Preuve que les partenariats ont mené à une plus grande portée pour les organismes financés en ce qui a trait aux enjeux sociaux, à la prestation de services à un plus grand nombre de personnes handicapées, aux régions du Canada, aux langues officielles, etc.

• Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

7. Dans quelle mesure les exigences en matière de mobilisation des ressources pour les organismes financés dans le cadre de l’appel de propositions de 2012 de la composante « Personnes handicapées » ont-elles réussi à :

7.1 Obtenir des dons en nature ou en argent d’organismes non fédéraux?

7.1.1 Pourcentage d’organismes financés qui ont obtenu des dons en nature ou en argent de sources non fédérales

• Méthodes de collecte de données : examen des fichiers

7.1.2 Pourcentage du total des dons en nature ou en argent obtenu de sources non fédérales pour chaque type de donateur (par exemple public, privé, à but non lucratif, etc.)

• Méthodes de collecte de données : examen des fichiers

7.1.3 Montant des dons en nature ou argent provenant de sources non fédérales pour chaque dollar investi par le Programme (ratio)

• Méthodes de collecte de données : examen des fichiers

7.1.4 Approches adoptées pour obtenir des dons en argent ou en nature de sources non fédérales

• Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

7.1.5 Preuves des réussites, des défis et de l’ampleur des efforts déployés pour obtenir des dons en nature ou en argent de partenaires non fédéraux.

• Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

7.2 Maximiser l’expertise dans les projets financés?

7.2.1 Preuves de l’utilisation des dons en nature ou en argent obtenus dans le cadre des projets financés, par catégorie (par exemple services administratifs et professionnels, bénévolat, espace de bureau, évaluation, etc.)

• Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

7.2.2 Preuve que les dons en nature ou en argent provenant de sources non fédérales ont contribué à améliorer la capacité organisationnelle en termes de : sensibilisation accrue aux projets dans les collectivités/liens facilités avec les collectivités; ressources accrues; lacunes comblées dans les services/besoins; nouvelles idées/approches; mobilisation d’investissements supplémentaires; reproduction et mise à l’échelle du projet

• Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

7.3 Assurer une plus grande inclusion des organismes et des personnes handicapées?

7.3.1 Preuve que les dons en nature ou en argent provenant de sources non fédérales ont renforcé la capacité des organismes à assurer une plus grande inclusion des organismes de personnes handicapées et à obtenir de meilleurs résultats pour un plus grand nombre de personnes ayant divers types de handicaps.

• Méthodes de collecte de données : entrevues avec informateurs clés (externes), études de cas

7.4 Élargir la portée des organismes financés?

7.4.1 Preuve que les dons en nature ou en argent provenant de sources non fédérales ont permis d’accroître la portée des organismes financés pour ce qui est de traiter davantage de questions sociales, de servir les personnes handicapées, les régions du Canada, les langues officielles, etc.

• Méthodes de collecte de données : entrevues avec informateurs clés (externes), études de cas

7.5 Maintenir les investissements en espèces et en biens et services des organismes non fédéraux?

7.5.1 Preuve que les dons en nature ou en argent provenant de sources non fédérales se sont poursuivis même après la fin des projets (par exemple nature, portée ou utilisation des contributions, etc.)

• Méthodes de collecte de données : entrevues avec informateurs clés (externes), études de cas

8. L’appel de propositions de 2012 pour les personnes handicapées a-t-il réussi à créer et à transférer des connaissances et des approches qui s’attaquent aux obstacles à l’inclusion sociale auxquels font face les personnes handicapées?

8.1 Nombre de connaissances ou d’approches élaborées par type (par exemple programmes, services, ressources, outils, projets pilotes, pratiques exemplaires, guides de formation, solutions novatrices, etc.)

• Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

8.2 Preuve que les connaissances et les approches élaborées ont été communiquées et diffusées à la population cible et aux autres intervenants, y compris les partenaires.

• Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

8.3 Pourcentage des connaissances et des approches élaborées qui ont atteint le public cible (par exemple personnes handicapées, organismes, municipalités, employeurs, cliniciens, etc.)

• Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

8.4 Pourcentage des projets financés qui ont élaboré des outils et des approches évolutifs, transférables et durables.

• Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

Composante « Enfants et familles » (seulement)

9. Dans quelle mesure les en matière de mobilisation des ressources :

9.1 D’obtenir des dons en nature ou en argent des organismes non fédéraux?

9.1.1 Pourcentage d’organismes financés qui ont été en mesure d’atteindre leurs objectifs de mobilisation de ressources.

• Méthodes de collecte de données : examen des fichiers

9.1.2 Pourcentage du total des dons en nature ou en argent obtenus de sources non fédérales pour chaque type de donateur (par exemple public, privé, à but non lucratif, etc.)

• Méthodes de collecte de données : examen des fichiers

9.1.3 Montant des dons en nature ou en argent provenant de sources non fédérales pour chaque dollar investi par le programme (ratio)

• Méthodes de collecte de données : examen des fichiers

9.1.4 Approches adoptées pour obtenir des dons en nature ou en argent de sources non fédérales

• Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

9.1.5 Preuves des réussites, des défis et de l’ampleur des efforts déployés pour obtenir des dons en nature ou en argent de sources non fédérales.

• Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

9.2 D’accroître la contribution des dons en nature ou en argent vers l’atteinte des résultats escomptés des projets?

9.2.1 Preuves de l’utilisation des dons en nature ou en argent obtenus dans le cadre des projets financés, par catégorie (par exemple services administratifs et professionnels, bénévolat, espace de bureau, évaluation, etc.)

• Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

9.2.2 Preuve que les dons en nature ou en argent provenant de sources non fédérales ont amélioré la capacité organisationnelle en termes de : sensibilisation accrue aux projets dans les collectivités/liens facilités avec les collectivités; ressources accrues; lacunes comblées dans les services/besoins; nouvelles idées/approches; mobilisation d’investissements supplémentaires; reproduction et mise à l’échelle du projet

• Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

9.3 De maintenir les dons en nature ou en argent des organismes non fédéraux?

9.3.1 Preuve que les dons en nature ou en argent provenant de sources non fédérales se sont poursuivis même après la fin des projets (par exemple nature, portée ou utilisation des contributions, etc.)

• Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

9.4 D’élargir la portée des organismes financés?

9.4.1 Preuve que les dons en nature ou en argent provenant de sources non fédérales ont permis d’accroître la portée des organismes financés (par exemple enjeux sociaux, populations vulnérables, régions du Canada, langues officielles, etc.)

• Méthodes de collecte de données : entrevues avec informateurs clés (externes), études de cas

10. Dans quelle mesure les exigences relatives aux partenariats, conformément aux ententes de financement, ont-elles réussi à :

10.1 Attirer de nouveaux partenaires pour contribuer aux projets financés?

10.1.1 Nombre de partenariats créés ou renforcés, par secteur (privé, public, à but non lucratif, etc.)

• Méthodes de collecte de données : examen des fichiers

10.1.2 Données probantes sur les réussites, les défis et le niveau d’efforts pour attirer et retenir les partenariats

• Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

10.1.3 Approches adoptées pour attirer des partenariats (par exemple collaborations, alliances, réseaux, etc.)

• Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

10.2 Maximiser la contribution des partenaires à l’atteinte des résultats escomptés du projet?

10.2.1 Preuve que les partenaires ont contribué à l’amélioration de la capacité organisationnelle en matière de : sensibilisation accrue aux projets dans les collectivités/liens facilités avec les collectivités; ressources accrues; lacunes comblées dans les services/besoins; nouvelles idées/approches; exploitation de partenariats supplémentaires; reproduction et mise à l’échelle du projet.

• Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

10.3 Établir des partenariats fructueux et durables?

10.3.1 Preuve que les partenariats créés ou renforcés ont été efficaces ou se sont poursuivis même après la fin des projets financés (par exemple types de collaboration, rôles ou contributions des partenaires)

• Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

11. Dans quelle mesure l’approche de prestation par les tiers (intermédiaire) a-t-elle :

11.1 Permis d’obtenir des fonds d’organismes non fédéraux?

11.1.1 Pourcentage de bénéficiaires financés qui ont été en mesure d’atteindre leurs objectifs en matière de mobilisation de ressources provenant de sources non fédérales.

• Méthodes de collecte de données : examen des fichiers

11.1.2 Pourcentage du total des dons en nature ou en argent provenant de sources non fédérales provenant de chaque type de donateur (par exemple public, privé, à but non lucratif, etc.)

• Méthodes de collecte de données : examen des fichiers

11.1.3 Montant des dons en nature ou en argent provenant de sources non fédérales pour chaque dollar investi par le programme (ratio)

• Méthodes de collecte de données : examen des fichiers

11.1.4 Approches adoptées pour obtenir des dons en nature ou en argent de sources non fédérales

• Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

11.1.5 Preuves des réussites, des défis et de l’ampleur des efforts déployés pour obtenir des dons en nature ou en argent de partenaires non fédéraux.

• Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

11.1.6 Preuve que l’approche de prestation par les tiers (intermédiaire) peut mobiliser plus facilement et plus efficacement les ressources préexistantes - en matière de partenaires, de contributions, d’expertise, etc. - pour s’attaquer aux différents types de problèmes sociaux auxquels sont confrontées les populations et les communautés vulnérables

• Méthodes de collecte de données : entrevues avec informateurs clés (externes), études de cas

11.2 Permis d’établir des partenariats fructueux et durables?

11.2.1 Preuve que les partenariats créés ou renforcés ont été efficaces ou se sont poursuivis même après la fin des projets financés (par exemple types de collaboration, rôles ou contributions des partenaires)

• Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

11.2.2 Mise en place de nouveaux réseaux et extension de ces réseaux au-delà de la durée du projet

• Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

11.3 Permis d’élargir la portée des organismes financés?

11.3.1 Preuve que l’approche de prestation par les tiers (intermédiaire) a mené à une plus grande portée pour les organismes financés (par exemple enjeux sociaux, populations vulnérables, régions du Canada, langues officielles, etc.)

• Méthodes de collecte de données : entrevues avec informateurs clés (externes), études de cas

11.4 Permis d’influencer le changement de système?

11.4.1 Preuve que l’approche de prestation par les tiers (intermédiaire) peut avoir une meilleure compréhension des enjeux sociaux et des défis auxquels font face les populations et les communautés vulnérables.

• Méthodes de collecte de données : entrevues avec informateurs clés (internes), entrevues avec informateurs clés (externes), études de cas

11.4.2 Preuve que l’approche de prestation par les tiers (intermédiaire) est mieux placée pour accroître la capacité de la collectivité ou de l’organisation de s’attaquer à différents types de problèmes et de défis sociaux auxquels font face les populations et les collectivités vulnérables.

• Méthodes de collecte de données : entrevues avec informateurs clés (internes), entrevues avec informateurs clés (externes), études de cas

11.4.3 Preuve que l’approche de prestation par les tiers (intermédiaire) a amélioré ou élargi les services aux populations vulnérables, augmentant ainsi l’impact des dépenses fédérales.

• Méthodes de collecte de données : entrevues avec informateurs clés (internes), entrevues avec informateurs clés (externes), études de cas

Annexe B - Méthodes de collecte des données et limites associées

Au total, 4 sources de données ont été utilisées dans le cadre de l’évaluation :

• une revue documentaire
• un examen des fichiers
• des entrevues avec des informateurs clés intervenants internes et externes
• des études de cas

Un rapport technique a été produit pour chaque source de données.

La Direction de l’évaluation a effectué l’examen des fichiers, la revue documentaire et une partie des entrevues à l’interne, tandis que les études de cas et les entrevues avec les informateurs clés (externes) ont été réalisées par des consultants. Les 4 rapports ont été finalisés en consultation avec les secteurs de programme. Le rapport final a également fait l’objet d’un examen par les pairs de deux universitaires spécialisés dans les thèmes abordés dans l’évaluation.

L’évaluation visait à évaluer la contribution du Programme envers l’amélioration de la capacité des organismes financés à s’attaquer aux obstacles à l’inclusion sociale. Par contre, elle était limitée en raison du manque de données recueillies au sujet des bénéficiaires. L’évaluation ne cherchait pas à attribuer des résultats concernant l’inclusion sociale des populations vulnérables à des interventions spécifiques du programme étant donné que le soutien financier fourni par le Programme est relativement faible, qu’il existe de nombreuses interventions gouvernementales à l’appui du même objectif et qu’il existe de nombreux facteurs externes qui pourraient influencer l’inclusion sociale, comme la situation économique.

Les limites suivantes sont notées en ce qui concerne les données d’évaluation et leurs méthodes de collecte :

• Dans l’ensemble, il n’y avait pas suffisamment de données pour répondre aux diverses questions d’évaluation et aux diverses sources de données. Parmi les défis à relever, les suivants sont notés:
  • L’information contenue dans les dossiers de projet^{Note de bas de page 46} donnait un aperçu limité du lien entre les indicateurs liés à la mobilisation des ressources et aux partenariats et les résultats et les impacts escomptés du Programme.
  • Un nombre insuffisant d’agents du Programme interrogés^{Note de bas de page 47} avaient une connaissance suffisante des projets financés et des processus connexes couverts pendant la période d’évaluation (par exemple procédures d’admission, stratégies de mesure du rendement). Cela est probablement attribuable au renouvellement du personnel au sein du Programme.
  • Il y avait un nombre insuffisant d’entrevues^{Note de bas de page 48} avec les représentants des projets et les partenaires qui pouvaient fournir des renseignements détaillés sur les projets financés. Cela est probablement attribuable au temps écoulé depuis la période visée par l’évaluation, au renouvellement du personnel au sein des organisations et à la connaissance limitée des projets financés.
• Pour les études de cas, la Direction de l’évaluation, en collaboration avec le Programme, a choisi délibérément un petit échantillon d’organisations. ^{Note de bas de page 49} La taille de l’échantillon ne doit pas être considérée comme représentative de la population en général. C’est également le cas pour les entrevues avec les informateurs clés externes, qui ont été choisis parmi les organismes visés par les études de cas. Pour remédier à cette limite, les constatations ont été validées avec d’autres sources de données. Notamment, l’examen des fichiers a porté sur les dossiers rétrospectifs des 37 projets.
• La valeur des dons en nature n’est pas normalisée (c’est-à-dire que deux organisations peuvent évaluer différemment le même type de don) et, par conséquent, les données liées à la mobilisation des ressources doivent être interprétées avec prudence. De plus, l’information liée à la mobilisation de ressources pour la composante « Personnes handicapées » n’a pas été compilée ou suivie d’une manière qui assure la fiabilité des données^{Note de bas de page 50}.
• Le manque de données au niveau de la population au cours de la période visée limite considérablement la capacité de l’évaluation à effectuer de manière rétrospective une Analyse comparative entre les sexes Plus. Toutefois, selon les agents du Programme, l’Analyse comparative entre les sexes Plus est maintenant intégrée aux rapports du Programme.

Annexe C – Liste des rapports techniques

EDSC (2019). L’évaluation du Programme de partenariats pour le développement social : Rapport technique de la revue documentaire. (Non publié, disponible sur demande)

EDSC (2019). L’évaluation du Programme de partenariats pour le développement social : Rapport technique sur l’examen des fichiers. (Non publié, disponible sur demande)

EDSC (2019). L’évaluation du Programme de partenariats pour le développement social : Rapport technique sur les entrevues avec les informateurs clés. (Non publié, disponible sur demande)

EDSC (2019). L’évaluation du Programme de partenariats pour le développement social : Rapport technique sur les études de cas. (Non publié, disponible sur demande)

Annexe D - Évolution, renouvellement et activités du programme

Composante « Personnes handicapées »

Le modèle de financement de la composante « Personnes handicapées » consiste en une enveloppe pour le financement de base de 6 millions de dollars par année dirigée aux organismes nationaux de personnes handicapées et de 2 millions de dollars par année aux organismes régionaux dans le cadre de l’Initiative d’intégration communautaire, ainsi que d’une enveloppe de financement de 3 millions de dollars par année pour des projets non sollicités et pour appels de propositions.

En 2012, un appel de propositions ouvert a été lancé, qui a établi les exigences relatives à la mobilisation de ressources auprès de sources non fédérales (exigence obligatoire de mobiliser des ressources auprès de ses sources afin de couvrir 10 % des coûts totaux) ainsi que le renforcement du souci d’obtenir des résultats et de la présentation des résultats. Au total, 17 projets ont été financés. Ces projets ont pris fin le 31 mars 2016.

Au printemps 2016, le ministre des Sports et des Personnes handicapées a approuvé le renouvellement de la composante « Personnes handicapées » du programme dans le but de concevoir un Cadre de rendement et de responsabilisation en collaboration avec la collectivité des personnes handicapées, pour assurer l’équité et la transparence dans la distribution du financement. Le cadre établit les attentes dans les domaines de la gouvernance, des partenariats, de la durabilité et des résultats.

Composante « Enfants et familles »

Jusqu’en 2009 (y compris l’appel de propositions de 2009), le modèle de financement de la composante « Enfants et familles » consistait d’appels de propositions ouverts pour répartir 8,3 millions de dollars par année aux organismes à but non lucratif en utilisant des subventions et contributions.

Depuis, le Programme a évolué, en commençant par l’introduction de projets pilotes de partenariats sociaux pour mettre à l’essai le concept d’innovation sociale et déterminer si un modèle plus axé sur le partenariat pourrait avoir un impact plus marqué sur les populations vulnérables. La mobilisation des ressources, les partenariats et le modèle de prestation par des tiers étaient des concepts introduits dans les modèles de financement pour améliorer la capacité des organismes à but non lucratif de mieux s’attaquer aux problèmes sociaux auxquels font face les populations vulnérables. Par conséquent, trois types de projets pilotes ont été lancés en 2011 à 2012 et devaient éclairer l’évolution du programme en testant la capacité des organismes à but non lucratif de différentes tailles à mobiliser des ressources auprès d’organismes non fédéraux (dons en nature ou en argent) et à établir des partenariats avec des partenaires provenant de divers secteurs.

Le modèle de prestation du programme évolue afin de mettre davantage l’accent sur l’impact croissant sur les populations vulnérables grâce à la mobilisation des ressources et aux partenariats. Plusieurs projets de la composante « Enfants et familles » sont maintenant offerts au moyen d’un modèle de prestation par des tiers (c’est-à-dire des intermédiaires), dans le cadre duquel les grands organismes à but non lucratif et de bienfaisance (par exemple les fondations) mobilisent des investissements non fédéraux et des partenariats multisectoriels pour distribuer des subventions aux petits organismes à but non lucratif et organismes de bienfaisance.

Annexe E – Modèle logique du volet « Personnes handicapées »

Description textuelle de l’Annexe E

L’annexe E présente le modèle logique du Programme de partenariats pour le développement social – volet Personnes handicapées. Il présente, de bas en haut, les intrants, les activités principales, les extrants, les résultats immédiats, les résultats intermédiaires, le résultat final et le résultat stratégique que le programme a l’intention d’atteindre ou auquel il a l’intention de contribuer.

1. Intrants

Intrant 1.1 Budget du programme

Intrant 1.2 Ressources humaines

Intrant 1.3 Systèmes informationnel et technologique

2. Activités

Activité 2.1 Administrer les fonds des subventions et contributions

Activité 2.2 Mobiliser les intervenants

Activité 2.3 Évaluer le rendement du Programme et fournir des analyses

3. Extrants

Les activités 2.1, 2.2 et 2.3 sont censées produire l’extrant suivant :

• Extrant 3.1 : Les projets sont financés selon les besoins et les priorités définis en s’appuyant sur des données probantes.

4. Résultats immédiats

L’extrant 3.1 est censé produire les résultats immédiats suivants :

• Résultat immédiat 4.1 : Les organismes sans but lucratif établissent des partenariats officiels pour éliminer les obstacles auxquels font face les personnes handicapées.
• Résultat immédiat 4.2 : Le secteur sans but lucratif élabore et transfère les connaissances et les approches qui permettent d’éliminer les obstacles auxquels font face les personnes handicapées.

5. Résultats intermédiaires

Le résultat immédiat 4.1 est censé contribuer au résultat intermédiaire suivant :

• Résultat intermédiaire 5.1 : Le secteur sans but lucratif et les partenaires donnent accès à l’information, aux programmes et aux services qui favorisent l’inclusion des personnes handicapées dans la société.

Le résultat immédiat 4.2 est censé contribuer au résultat intermédiaire suivant :

• Résultat intermédiaire 5.2 : Le secteur sans but lucratif et les partenaires donnent accès à l’information, aux programmes et aux services qui favorisent l’inclusion des personnes handicapées dans la société.

6. Résultat final

Les résultats intermédiaires 5.1 et 5.2 sont censés contribuer au résultat final suivant :

• Résultat final 6.1 : Inclusion sociale des personnes handicapées

7. Résultat stratégique d’EDSC

Ce résultat final contribue à l’atteinte du résultat stratégique du Ministère : Sécurité du revenu, accès aux possibilités et mieux-être des personnes, des familles et des collectivités

Annexe F - Modèle logique du volet « Enfants et familles »

Description textuelle de l’Annexe F

L’annexe F présente le modèle logique du Programme de partenariats pour le développement social – volet Enfants et familles. Il présente, de bas en haut, les intrants, les activités principales, les extrants, les résultats immédiats, les résultats intermédiaires, le résultat final et le résultat stratégique que le programme a l’intention d’atteindre ou auquel il a l’intention de contribuer.

1. Intrants

Intrant 1.1 Budget du programme

Intrant 1.2 Ressources humaines

2. Activités

Activité 2.1 Administrer les fonds des subventions et contributions

Activité 2.2 Mobiliser les intervenants

Activité 2.3 Évaluer le rendement du Programme et fournir des analyses

Activité 2.4 Diffuser la connaissance et promouvoir l’innovation

3. Extrants

Les activités 2.1, 2.2, 2.3 et 2.4 sont censées produire les extrants suivants :

• Extrant 3.1 : Les projets sont financés selon les besoins et les priorités définis en s’appuyant sur des données probantes.
• Extrant 3.2 : Prix pour le bénévolat du Canada
• Extrant 3.3 : Analyse de l’Enquête sociale générale - Dons, bénévolat et participation

4. Résultats immédiats

Les extrants 3.1, 3.2 et 3.3 sont censés produire les résultats immédiats suivants :

• Résultat immédiat 4.1 : Augmentation des ressources allouées aux collectivités pour surmonter les obstacles à l’inclusion sociale
• Résultat immédiat 4.2 : Augmentation du nombre de partenariats multisectoriels pour surmonter les obstacles à l’inclusion sociale

5. Résultats intermédiaires

Les résultats immédiats 4.1 et 4.2 sont censés contribuer au résultat intermédiaire suivant :

• Résultat intermédiaire 5.1 : Capacité améliorée des organisations sans but lucratif à surmonter les obstacles de l’inclusion sociale

6. Résultat final

Le résultat intermédiaire 5.1 est censé contribuer au résultat final suivant :

• Résultat final 6.1 : Inclusion sociale accrue des enfants et des familles, et des personnes vulnérables

7. Résultat stratégique d’EDSC

Ce résultat final contribue au résultat stratégique du Ministère : Sécurité du revenu, accès aux possibilités et mieux-être des personnes, des familles et des collectivités.