Évaluation du Programme de partenariats pour le développement social

De : Emploi et Développement social Canada

Sur cette page

Formats substituts

Évaluation du Programme de partenariats pour le développement social [PDF - 1.30 Mo]

Cette publication est disponible dans d'autres formats en ligne, par téléphone au 1 800 O-Canada (1-800-622-6232), ou par téléimprimeur (TTY), au 1-800-926-9105. Aussi offerte en médias substituts sur demande : gros caractères, braille, audiocassette, CD avec fichier audio, disquette avec fichier texte, CD avec fichier texte, ou système DAISY.

Liste des figures

  • Figure 1. Méthodes de prestation de programmes et approches de financement

Liste des tableaux

  • Tableau 1. Ratios de financement visés et ratios de financement atteints par groupe et par projet pilote
  • Tableau 2. Sources des contributions non fédérales obtenues par groupe et par projet pilote

Sommaire

Ce rapport présente les résultats et recommandations issus de l’évaluation du Programme de partenariats pour le développement social (ci-après appelé « le Programme »). Il s’agit d’un programme offert à l’échelle nationale en collaboration avec le secteur des organisations à but non lucratif pour soutenir les personnes handicapées, les enfants et les familles, les communautés de langue officielle en situation minoritaire et les autres populations vulnérables. L’évaluation du Programme couvre la période allant des exercices financiers 2012 à 2013 et de 2016 à 2017, et est axée sur :

  • la composante « Personnes handicapées », en particulier l’appel de propositions de 2012; et
  • la composante « Enfants et familles » du Programme, en particulier les projets pilotes de partenariats sociaux

Bien que les 2 composantes du Programme relèvent de la même direction générale, la répartition du financement et la conception du Programme relèvent de 2 Backdifférents ministres et directions au sein d’Emploi et Développement social Canada (EDSC).

Contexte

De 2011 à 2012, les agents du Programme ont mis en place de nouvelles approches de financement. Notamment, le programme a ajouté des exigences en matière de partenariat et de mobilisation de ressources pour les organismes financés, et a aussi mis en place le modèle de prestation par les tiers (financement d’organismes intermédiaires). Le but de ces approches était de vérifier si elles pouvaient améliorer la capacité des organismes à but non lucratif à s’attaquer aux enjeux sociaux auxquels font face les populations vulnérables. Ces approches ont été soumises à des tests exhaustifs par la composante « Enfants et familles » du Programme dans le cadre des projets pilotes de partenariats sociaux et, dans une moindre mesure, par la composante « Personnes handicapées » du Programme.Note de bas de page 1 La mise en œuvre de ces nouvelles exigences et de ce nouveau modèle de prestation faisait partie de l’évolution et du renouvellement du Programme. Plus spécifiquement, ces changements s’inscrivaient dans une tendance visant à éliminer le financement de base dirigé (danse le cas de la composante « Personnes handicapées »), et avaient aussi pour but de vérifier si la mise en œuvre de modèles orientés sur les partenariats permettait d’accroître le nombre de ressources disponibles pour répondre à un enjeu social donné et, par conséquent, améliorer l’impact du Programme sur les populations vulnérables.

Portée de l’évaluation

L’évaluation a permis d’évaluer la mesure dans laquelle les nouvelles exigences de financement et le nouveau modèle de prestation ont augmenté la capacité des organismes financés à répondre aux enjeux auxquels sont confrontées des populations vulnérables comparativement à une approche traditionnelle de financement axé sur les projets. L’évaluation a aussi évalué la pertinence du programme et sa stratégie de mesure du rendement en place pendant la période étudiée.

Restrictions

L’évaluation visait à examiner dans quelle mesure le programme a contribué à améliorer la capacité des organismes financés à s’attaquer aux enjeux sociaux auxquels font face les populations vulnérables. Cependant, la capacité de l’évaluation à le faire était limitée en raison du manque de données recueillies au sujet des bénéficiaires. L’évaluation ne cherchait pas à attribuer des résultats concernant l’inclusion sociale des populations vulnérables à des interventions spécifiques du programme, car le soutien financier fourni par le Programme est relativement faible, il existe de nombreuses interventions gouvernementales à l’appui du même objectif et parce qu’il y a de nombreux facteurs externes qui pourraient influencer l’inclusion sociale, comme la situation économique.

Principales constatations

Pertinence

  • Le Programme doit continuer à appuyer les populations vulnérables en collaborant avec les organismes à but non lucratif et en leur accordant du financement.
  • Les organismes à but non lucratif sont bien placés pour soutenir les populations vulnérables en raison de leurs liens avec les collectivités et de leur compréhension de leurs besoins.

Efficacité

  • Le Programme a réussi à orienter les organismes financés vers l’atteinte de leurs objectifs en matière de mobilisation de ressources. En effet, la plupart de ces organismes ont réussi à atteindre leurs objectifs. Au total, les 17 organismes financés sous la composante « Personnes handicapées » ont signalé avoir obtenu des dons en argent ou en nature auprès d’organismes non fédéraux ayant une valeur totale de 2,8 millions de dollars. De même, les 18 organismes financés à travers les projets pilotes de partenariats sociaux ont obtenu plus de 8 millions de dollars en argent ou en nature.Note de bas de page 2 Toutefois, les exigences du programme en matière de mobilisation de ressources n’ont pas mené à de nouvelles sources de financement pour la plupart des organismesNote de bas de page 3, et n’ont pas mené à l’obtention de sommes importantes de dons en argent.
  • Le Programme encourageait les organismes financés à faire preuve d’innovation dans l’établissement de partenariats. Cependant, les organismes ont favorisé la collaboration avec des partenaires existants dans la mise en œuvre de leurs projets. En effet, les organismes ont cité des raisons tels les antécédents de collaboration, une compréhension mutuelle des besoins des populations cibles, et le fait qu’il faut beaucoup de temps pour établir et rendre efficaces de nouveaux partenariats.
  • Le modèle de prestation par les tiers est bien placé pour améliorer la portée du financement fédéral afin de rejoindre davantage organismes à but non lucratif, ainsi que pour augmenter la capacité des organismes de manière à améliorer la prestation de services aux collectivités.
  • Les nouvelles exigences en matière de financement et le nouveau modèle de prestation ont permis d’augmenter la capacité des organismes financés à mettre en œuvre leurs activités pendant la période de financement. Par contre, dans la plupart des cas, les organismes financés ont déclaré ne pas avoir la capacité de continuer à mener leurs activités au-delà de la période de financement.
  • Les organismes financés qui ont obtenu d’importantes ressources financières des gouvernements provinciaux ont été en mesure de continuer à soutenir leur clientèle cible dans le cadre de leurs projets au-delà de la période de financement fédérale. Le Programme pourrait donc explorer une plus grande collaboration avec les gouvernements provinciaux, notamment en établissant des partenariats efficaces et fructueux afin de soutenir les populations vulnérables.
  • La mesure du rendement du Programme était axée sur l’établissement de partenariats et la mobilisation de ressources, plutôt que sur des résultats concernant les populations vulnérables. Par conséquent, les appels de propositions et la stratégie de mesure du rendement en place au cours de la période étudiée n’ont pas permis une évaluation adéquate de la façon dont le Programme et les projets atteignent leurs objectifsNote de bas de page 4.
  • Les 2 composantes du Programme ont amélioré leurs stratégies de mesure du rendement depuis la période visée par l’évaluation. Plus particulièrement, le Programme recueille systématiquement plus de données sur les résultats des projets grâce à une collaboration accrue entre le Programme et les organismes financés dans l’élaboration des plans d’évaluation.

Autres résultats

  • Des éléments laissent présumer que le Programme pourrait contribuer à long terme au bien-être et à l’inclusion sociale des populations vulnérables au Canada en finançant des organismes à but non lucratif pour réaliser des projets de développement social. Les organismes financés ont signalé de nombreux résultats positifs dans la mise en œuvre de leurs projets. Par exemple, ils ont signalé que leurs projets ont permis de créer un plus grand sentiment confiance, d’autonomie et de bien-être auprès des participants, et ont mené à une sensibilisation accrue au sein des communautés à l’égard des obstacles à l’inclusion sociale.

Recommandations

Les 2 recommandations suivantes sont issues de l’évaluation :

  1. Veiller à ce que le Programme et les organismes financés aient une compréhension commune des objectifs et des résultats escomptés du Programme ainsi que des concepts clés (par exemple inclusion sociale, partenariats et durabilité) afin de permettre une meilleure mesure du rendement.
  2. Améliorer les gabarits de surveillance et de rapports (par exemple rapports d’étape et rapports finaux) ainsi que les outils de collecte de données (par exemple sondages) afin de saisir des renseignements détaillés sur l’impact du Programme auprès des bénéficiaires visés.

Réponse et plan d’action de la direction

Introduction

Le Programme de partenariats pour le développement social est un programme de subventions et contributions qui soutient les organismes sans but lucratif admissibles afin de les aider à améliorer la vie des personnes handicapées, des enfants et des familles et d’autres populations vulnérables. Le programme a un budget annuel de 20 millions de dollars divisé en 2 composantes : Personnes handicapées (11 millions de dollars) et Enfants et familles (9,1 millions de dollars).

Le Programme de partenariats pour le développement social s’aligne sur la vision du Ministère d’Emploi et Développement social Canada en ce qui a trait aux individus et aux familles, c’est-à-dire qu’il vise à bâtir un Canada plus fort et plus inclusif, à aider les Canadiens à faire les bons choix afin que leur vie soit productive et gratifiante, et à améliorer leur qualité de vie. Le Programme appuie la responsabilité fondamentale du Ministère en matière de développement social, qui consiste à accroître l’inclusion et les possibilités de participation des Canadiens au sein de leurs collectivités.

Le Programme appuie les priorités du gouvernement du Canada en investissant dans des organismes à but non lucratif visant à améliorer les conditions de vie des personnes handicapées, des enfants et des familles et d’autres populations vulnérables. L’utilisation des subventions et contributions représente un moyen souple et rentable d’appuyer le rôle que jouent les collectivités, les organismes à but non lucratif et les organismes bénévoles pour aider les personnes handicapées, les familles, les enfants et les autres populations vulnérables à être résilients et leur fournir les outils et les compétences nécessaires pour répondre aux enjeux sociaux actuels et nouveaux.

Les principales constatations présentées dans l’évaluation indiquent que le Programme progresse vers l’atteinte des objectifs et des résultats prévus. Le rapport d’évaluation comprend deux recommandations et la direction appuie les deux. La réponse et le plan d’action de la direction seront mis en œuvre par la Direction générale de la sécurité du revenu et du développement social en collaboration avec la Direction générale des opérations de programmes et les intervenants concernés, le cas échéant. De plus, la Direction générale de la sécurité du revenu et du développement social continuera de diriger l’amélioration du Profil de renseignements sur le rendement du Programme.

Il est important de noter que le Programme s’efforce constamment de consulter ses partenaires externes, y compris les bénéficiaires financés, pour trouver un juste équilibre entre le désir et le besoin d’obtenir des données solides sur la mesure du rendement, le rapport coût-efficacité et l’efficience.

Recommandation 1 : Veiller à ce que le Programme et les organismes financés aient une compréhension commune des objectifs et des résultats escomptés du Programme ainsi que des concepts clés (par exemple inclusion sociale, partenariats et durabilité) afin de permettre une meilleure mesure du rendement.

Réponse

Le programme s’efforce déjà de donner suite à cette recommandation. Par exemple, les organismes financés sont tenus de recueillir des données pertinentes sur le rendement et de rendre compte des résultats de leurs projets. Ainsi, une approche de communication globale visant à s’assurer que ces bénéficiaires soient bien informés des objectifs, des résultats attendus et des priorités clés du Programme améliorera la qualité des résultats qu’ils communiquent et l’harmonisation de leurs projets avec les buts et priorités du Programme. De plus, une compréhension commune des concepts clés entre le Programme et les organismes financés améliorera la qualité de la mesure du rendement.

Plus précisément, dans le plus récent appel d’études conceptuelles lancé par la composante « Enfants et familles » du Programme (l’appel était axé sur les services d’apprentissage et de garde pour les jeunes enfants), les objectifs du Programme et ceux de l’appel lui-même étaient clairement énoncés dans le guide du demandeur et dans le gabarit de demande. Les termes et concepts clés étaient définis dans le guide du demandeur. Dans leur demande d’application, les organismes devaient démontrer le lien entre les buts et les résultats escomptés des concepts qu’ils proposaient et les objectifs de la composante « Enfants et familles » du programme. Une composante de l’évaluation consistait à déterminer dans quelle mesure les concepts proposés correspondaient aux objectifs et aux priorités du programme.

En ce qui concerne la composante « Personnes handicapées » du programme, il est important de noter que, dans le cadre du renouvellement du financement de base octroyé aux organismes nationaux, le Ministère a consulté la collectivité des personnes handicapées avec l’aide d’un comité directeur dans le but d’élaborer un Cadre de rendement et de responsabilisation pour le programme. Dans le cadre de cette nouvelle approche, les organismes financés seront tenus de rapporter leurs résultats en utilisant un ensemble minimal d’indicateurs de rendement de base. Le Cadre de rendement et de responsabilisation a défini quatre principes pour lesquels des indicateurs de rendement seront élaborés afin de mesurer les résultats du financement. Ces principes permettront au Programme de contribuer à la santé et à la maturité du milieu des personnes handicapées et de favoriser l’inclusion sociale des Canadiens et Canadiennes handicapés. Les indicateurs de rendement mesureront la capacité organisationnelle dans les grands domaines suivants :

  • la gouvernance et la responsabilisation
  • l’efficacité du leadership et des activités
  • l’établissement et le maintien de partenariats
  • la mesurabilité de l’impact

Plan d’action de la direction

  • Le Programme collaborera avec les intervenants concernés, y compris les partenaires internes, afin d’élaborer des définitions communes pour les principaux termes et priorités du Programme, tels que l’inclusion sociale, la durabilité, la mobilisation de ressources et le partenariat. Les définitions seront ensuite communiquées clairement à tous les demandeurs de financement afin de leur permettre de mieux comprendre les attentes du Programme.
    • Date d’achèvement : Printemps 2019
  • Le Programme continuera d’élaborer, d’améliorer et de rendre largement accessibles des outils et des produits afin de s’assurer que les organismes financés soient bien informés des objectifs, indicateurs de rendement, résultats attendus et priorités clés du Programme.
    • Date d’achèvement : Automne 2019

Recommandation 2 : Améliorer les gabarits de surveillance et de rapports (par exemple rapports d’étape et rapports finaux) ainsi que les outils de collecte de données (par exemple sondages) afin de saisir des renseignements détaillés sur l’impact du Programme auprès des bénéficiaires visés.

Réponse

La capacité de saisir de l’information détaillée sur la façon dont le Programme influe sur les bénéficiaires visés est essentielle pour démontrer l’efficience de la gestion du programme. L’information détaillée sur l’impact du programme éclairera également l’orientation des politiques, la conception du programme et la prestation des services.

Depuis la mise en œuvre des projets pilotes d’innovation de la composante « Enfants et familles » du programme (2012 à 2015), cette composante a entrepris des révisions continues du modèle de rapport final que les organismes financés utilisent pour soumettre leurs rapports finaux une fois leur projet terminé. Ces révisions comprennent les changements suivants :

  • modèles de rapports finaux personnalisés pour chaque appel d’études conceptuelles ou de propositions
  • demande de renseignements sur les résultats propres au projet, la portée du projet et son impact sur les bénéficiaires du projet
  • exigences supplémentaires en matière d’informations, telles que le sexe et les populations cibles pour permettre l’Analyse comparative entre les sexes Plus (ACS+) sur les bénéficiaires des projets

La composante « Enfants et familles » du programme communique les attentes en matière de mesure du rendement aux organismes financés tout au long du processus de demande et de financement. Cela comprend des discussions sur les attentes du programme en matière de mesure du rendement au début de la période de planification et de conception des appels d’études conceptuelles ou de propositions, par l’élaboration du guide de demande, par l’évaluation des concepts et des propositions, et par l’élaboration des dispositions des ententes pour les projets financés. Les propositions de projets sollicitées à travers la composante « Enfants et familles » sont également examinées du point de vue de la mesure du rendement avant l’évaluation et l’approbation des demandes de financement potentielles. Les projets font l’objet d’un suivi pendant leur mise en œuvre afin de s’assurer que des plans d’évaluation comprenant des indicateurs de mesure des résultats pertinents sont élaborés et font l’objet de rapports.

Afin de recueillir des renseignements détaillés sur l’impact du financement de la composante « Personnes handicapées » sur les bénéficiaires des projets financés durant la période allant du 1er avril 2017 au 31 mars 2018, le gabarit pour les rapports de mesure du rendement a été révisé afin d’inclure des questions supplémentaires sur les partenariats, l’analyse comparative entre les sexes, l’évaluation, les histoires de succès et les leçons apprises. Pour les prochaines périodes de rapport sur le rendement, le Ministère examinera si d’autres changements au gabarit seront nécessaires.

De plus, le Programme continuera d’examiner comment la stratégie actuelle de collecte de données peut être améliorée en révisant le gabarit dans le but de le rendre plus concis et de s’assurer que l’applicabilité des données recueillies concorde toujours avec la stratégie de mesure du rendement.

Plan d’action de la direction

  • En collaboration avec les organismes financés, le Programme continuera d’améliorer les gabarits de surveillance et de rapport afin d’améliorer la qualité des données recueillies sur les impacts du Programme sur les bénéficiaires visés.
    • Date d’achèvement : Automne 2019
  • Afin d’améliorer davantage la capacité des organismes financés à mesurer le rendement de leurs projets, le Programme veillera à ce qu’il y ait du support disponible et des fonds consacrés à l’élaboration de plans d’évaluation, y compris la collecte de données, l’analyse des données et l’établissement de rapports.
    • Date d’achèvement : Automne 2019

1. Introduction

Ce rapport présente les résultats de l’évaluation du Programme de partenariats pour le développement social couvrant la période allant des exercices financiers de 2012 à 2013 et de 2016 à 2017. Il s’appuie sur 4 rapports techniques, soit le rapport basé sur l’examen des fichiers, celui basé sur la revue documentaire, le rapport basé sur des entrevues avec des informateurs clés (internes et externes), et finalement le rapport sur les études de cas portant sur des projets financés spécifiques. Les résultats présentés dans ce rapport sont issus de la triangulation de données provenant de ces quatre sourcesNote de bas de page 5.

1.1 Description du programme

Le Programme de partenariats pour le développement social est un programme mis en œuvre à l’échelle nationale qui permet de réaliser des investissements stratégiques à l’appui des priorités fédérales visant les enfants et les familles, les personnes handicapées, le secteur du bénévolat, les communautés de langue officielle en situation minoritaire et d’autres segments vulnérables de la population. Il travaille en collaboration avec des organismes à but non lucratif pour aider à améliorer les conditions de vie de ces groupes cibles.

Le Programme appuie le résultat stratégique d’Emploi et Développement social Canada (EDSC) lié à la Sécurité du revenu, accès aux possibilités et mieux-être des personnes, des familles et des collectivités.Note de bas de page 6

Le budget annuel des subventions et des contributions du Programme est supérieur à 20 millions de dollars et est réparti en deux composantes. Un montant de 11 millions de dollars est alloué à la composante « Personnes handicapées » et un montant d'un peu plus de 9 millions de dollars est alloué à la composante « Enfants et familles ». Les modèles logiques actuels pour les composantes « Personnes handicapées » et « Enfants et familles » sont présentés aux annexes E et F respectivementNote de bas de page 7.

Les 2 composantes du Programme sont décrites plus en détail ci-dessous.

Composante « Personnes handicapées »

La composante « Personnes handicapées » est supervisée par le Bureau de la condition des personnes handicapées de la Direction générale de la sécurité du revenu et du développement social de EDSC, et est mise en œuvre par la Direction générale des opérations de programmes de Service Canada. Elle appuie des projets visant à améliorer la participation et l’inclusion des personnes handicapées dans tous les aspects de la société canadienne. Le ministre des Services publics et de l’Approvisionnement et de l’Accessibilité est responsable de la composante « Personnes handicapées ».

La composante « Personnes handicapées » octroie à la fois du financement de base et du financement par projet. Le financement de base vise à accroître la capacité des organismes à but non lucratif dont le mandat premier est de promouvoir l’inclusion sociale des personnes handicapées et d’apporter des changements au sein de ces populations. Le financement par projet vise à appuyer une vaste gamme d’initiatives qui s’attaquent aux problèmes sociaux et aux obstacles auxquels font face les personnes handicapées, à élaborer des outils et des ressources qui répondent aux besoins des personnes, de leur famille et de leur collectivité, à offrir des services de soutien aux personnes handicapées et à favoriser les partenariats et réseaux de collaboration.

Composante « Enfants et familles »

La composante « Enfants et familles » est supervisée par la Direction des partenariats de développement communautaire et de lutte contre l’itinérance de la Direction générale de la sécurité du revenu et du développement social d’EDSC, et mise en œuvre par la Direction générale des opérations de programmes à Service Canada. Cette composante offre du financement à des organismes à but non lucratif admissibles pour mener à bien des projets qui visent à améliorer la vie des enfants, des familles et d’autres populations vulnérables. Le ministre de la Famille, des Enfants et du Développement social est responsable de la composante Enfants et familles.

Il y a 3 enveloppes de fonds au sein de la composante « Enfants et familles » qui sont intégrées aux modalités et conditions :

  • L’Initiative de partenariats sociaux dans les communautés de langue officielle en situation minoritaire (CLOSM), qui fait partie de la Feuille de route pour la dualité linguistique canadienne, de 2013 à 2018 : Éducation, Immigration, Communautés. Les projets financés sont axés sur les jeunes en transition, les changements démographiques (aînés) et les populations vulnérables des communautés de langue officielle en situation minoritaire.
  • Les prix Bénévolat Canada, qui reconnaissent l’énorme contribution des bénévoles, des organismes à but non lucratif et des entreprises de partout au pays pour aider les gens et les collectivités.
  • L’analyse et la diffusion de l’Enquête sociale générale - sur le don, le bénévolat et la participation. Il s’agit d’un engagement annuel de la composante « Enfants et familles » visant à financer un seul organisme pour analyser et diffuser les résultats de l’enquête aux organismes à but non lucratif partout au Canada.

2. Portée et objectif de l’évaluation

L’évaluation porte sur les projets financés dans le cadre de l’appel de propositions de 2012 pour la composante « Personnes handicapées », ainsi que sur les projets financés par la composante « Enfants et famille » dans le cadre des projets pilotes de partenariats sociaux. Ces projets ont été amorcés et achevés entre les exercices financiers de 2012 à 2013 et de 2016 à 2017.

La portée de l’évaluation a été élaborée en consultation avec le Programme et a été approuvée à la réunion de juin 2017 du Comité de la mesure du rendement et de l’évaluation. La liste suivante donne un aperçu des initiatives qui ont été incluses ou exclues de l’évaluation. Les initiatives qui ont été exclues pourraient être étudiées dans le cadre d’une évaluation future du Programme.

Composante « Enfants et familles »

  • Initiatives incluses : Projets pilotes de partenariats sociauxNote de bas de page 8.
  • Initiatives non incluses : Projets en cours, Prix pour le bénévolat du Canada, Enquête sociale générale-Dons, bénévolat et participation, et l’Initiative de partenariat social dans les communautés de langue officielle en situation minoritaire.

Composante « Personnes handicapées »

  • Initiatives incluses : Appel de propositions de 2012Note de bas de page 9.
  • Initiatives non incluses : Financement direct ou de base des organismes nationaux de personnes handicapées et des organisations provinciales et territoriales, l’Appel de propositions 2016 sur l’innovation, et l’Appel de propositions 2016 sur la loi fédérale sur l’accessibilité.

L’évaluation porte sur les nouvelles approches de financement, soit les exigences en matière de partenariats et de mobilisation de ressources, ainsi que sur le modèle de prestation par des tiersNote de bas de page 10, qui ont été mis en place par le Programme en 2012. L’objectif de l’évaluation est de déterminer si ces approches de financement et ce modèle de prestation ont amélioré la capacité des organismes financés à s’attaquer aux enjeux sociaux auxquels sont confrontées les populations vulnérables. L’évaluation examine également les questions liées à la conception et à la prestation du programme et explore les stratégies de mesure du rendement du programme.

Il convient de noter que ces exigences et ce modèle de prestation ont été soumis à des tests plus exhaustifs par la composante « Enfants et familles » que par la composante « Personnes handicapées ». Cela s’explique par le fait que les projets pilotes de partenariats sociaux menés par la composante « Enfants et familles » faisaient partie d’une initiative plus vaste au sein du Ministère visant à mettre à l’essai des approches novatricesNote de bas de page 11 pour aborder des questions sociales complexes. Bien que l’appel de propositions de 2012 de la composante « Personnes handicapées » n’ait pas été établi dans le but précis de mettre à l’essai ces approches, il comprenait des exigences en matière de mobilisation de ressources auprès d’organismes non fédéraux.

3. Principales constatations

3.1 Pertinence

Nécessité du programme

Le Programme doit continuer à s’attaquer aux divers problèmes sociaux auxquels sont confrontées les populations vulnérables au Canada.

L’examen des dossiers et les études de cas indiquent que le Programme, par l’entremise des projets qu’il finance, a identifié et comblé divers besoins, lacunes et problèmes sociaux auxquels font face les populations vulnérables, y compris les obstacles à l’inclusion sociale, pendant la période de financement.Note de bas de page 12

Bien que les bénéficiaires de financement interrogés aient décrit les besoins comme ayant été comblés au cours des projets, bon nombre d’entre eux ont également indiqué que ces besoins étaient permanents et qu’ils demeuraient dans les collectivités visées par les projets. Par conséquent, les organismes à but non lucratif ont besoin d’un soutien continu de la part du Programme pour répondre aux divers besoins, lacunes et problèmes sociaux auxquels font face les populations vulnérables.

Nécessité de travailler avec les organismes à but non lucratif

La collaboration avec les organismes à but non lucratif est perçue comme une approche valable pour cerner les besoins des populations vulnérables et y répondre, ainsi que pour mettre en œuvre le Programme.

Les résultats découlant de l’évaluation indiquent que la collaboration avec les organismes à but non lucratif est une bonne façon de s’attaquer aux problèmes sociaux auxquels font face les populations vulnérables. Par exemple, les informateurs clésNote de bas de page 13 ont indiqué que les organismes à but non lucratif ont les liens et les relations nécessaires pour servir les populations vulnérables en raison de leurs connaissances opérationnelles et de leur longue expérience de travail et de prestation de services auprès des populations vulnérables.Note de bas de page 14

En général, les informateurs clésNote de bas de page 15 perçoivent le rôle du gouvernement fédéral comme un facilitateur pour aider les organismes à but non lucratif à fournir des services aux populations vulnérables. La revue documentaire indique la nature complémentaire entre les organismes à but non lucratif et les gouvernements dans la prestation de services aux populations vulnérables.Note de bas de page 16 Le premier offre des avantages, comme la diversité des services à petite échelle, tandis que le second compense l’incapacité de ces derniers à générer des ressources à une échelle adéquate en générant des revenus.

Toutefois, la revue documentaire et les études de cas mettent également en lumière un défi permanent pour les organismes à but non lucratif, soit le manque de capacité financière découlant de la diminution des recettes provenant de sources publiques. Cela nuit à leur capacité à fournir des services aux populations vulnérables, en particulier dans un environnement où la demande pour de tels services augmente.Note de bas de page 17

Harmonisation avec les politiques et priorités fédérales et les résultats stratégiques ministériels

Les objectifs du Programme s’harmonisent avec les politiques et les priorités du gouvernement du Canada et avec l’orientation stratégique du Ministère, et y contribuent.

Les objectifs du Programme et les stratégies qu’il utilise pour atteindre ses buts s’harmonisent avec les efforts en matière d’innovation du gouvernement du Canada et du Ministère pour régler les problèmes sociaux.Note de bas de page 18 La revue documentaire souligne l’engagement du gouvernement fédéral et du Ministère à relever les défis en matière de politiques publiques au moyen d’approches novatrices, notamment en travaillant avec des partenaires provenant de secteurs variés afin de servir les populations dans le besoin.

Pertinence des rôles et responsabilités du gouvernement fédéral dans la mise en œuvre du programme

Le gouvernement du Canada a des rôles et des responsabilités juridiques à l’égard des populations vulnérables, que le Programme favorise par ses activités.

La revue documentaire indique que le gouvernement du Canada a des rôles et des responsabilités juridiques pour assurer l’inclusion sociale des populations vulnérables.Note de bas de page 19 Elle indique également que l’utilisation d’une approche pancanadienne pour répondre à l’inclusion sociale peut soulever des questions intergouvernementales en raison du fait que l’inclusion sociale interfère avec de nombreux domaines pour lesquels les provinces sont constitutionnellement responsables, comme la pauvreté, le logement, l’éducation et les soins de santé.Note de bas de page 20

Toutefois, le gouvernement fédéral ne cherche pas à se substituer aux responsabilités des provinces dans ces domaines. Il vise plutôt à fournir un soutien complémentaire, par exemple en favorisant un environnement favorable aux projets de développement social. C’est le cas du Programme de partenariats pour le développement social, qui encourage les organismes à but non lucratif à former des partenariats multisectoriels dans le but de promouvoir des façons novatrices d’éliminer les obstacles à l’inclusion sociale auxquels font face les populations vulnérables.

Similitudes avec d’autres programmes

Le Programme se distingue des autres programmes fédéraux en mettant l’accent sur la création de partenariats intersectoriels.

Il existe plusieurs programmes à l’échelle du gouvernement fédéral qui viennent en aide aux populations vulnérables.Note de bas de page 21 Toutefois, la revue documentaire n’a révélé aucun autre programme gouvernemental existant qui appuie simultanément les organismes sociaux à but non lucratif et intègre la création de partenariats intersectoriels, ce qui fait partie intégrante du modèle de prestation du Programme.

3.2 Efficacité

Résultats attendus des approches et du modèle de prestation

Au cours de la période d’évaluation, le Programme a mis à l’essai une approche axée sur les partenariats, la mobilisation obligatoire de ressources, et le modèle de prestation par des tiers afin de mieux soutenir la capacité des organismes à but non lucratif d’aborder les problèmes sociaux auxquels font face les populations vulnérables.

Les résultats attendus de la mise en œuvre de ces approches comprenaient l’établissement de nouveaux partenariats pour améliorer les résultats au sein des communautés, la diversification des sources de financement afin d’accroître la quantité de ressources disponibles et donc augmenter les impacts, puis l’augmentation de la durabilité des organismes financés.

Dans l’ensemble, l’évaluation a constaté que les indicateurs qui ont été élaborés pour suivre ces résultats ne tenaient pas suffisamment compte des bénéficiaires, ce qui aurait été utile pour déterminer les résultats sur les populations vulnérables.

Au cours de l’exercice financier 2011 à 2012, le Programme a mis à l’essai des nouvelles approches de financement, tel le financement axé sur les partenariats et la mobilisation de ressources, ainsi que le modèle de prestation par des tiers, afin de mieux appuyer les efforts des organismes à but non lucratif de s’attaquer aux enjeux sociaux auxquels font face des populations vulnérables. La figure 1 illustre ces différentes approches de financement.

Figure 1. Méthodes de prestation de programmes et approches de financement
La description suit immédiatement le graphique.

Source : Le personnel de la Direction de l’évaluation d’EDSC (2018)

Description textuelle de la figure 1

La figure 1 présente les différentes méthodes de prestation et approches de financement utilisées par le Programme de partenariats pour le développement social durant la période de financement. La figure se divise en trois sections principales : financement conventionnel de projets, financement de projets avec exigences en matière de partenariats et d’obtention de ressources externes, et modèle de prestation par des tiers. Les trois sections décrivent une séquence d’événements en utilisant le Programme de partenariats pour le développement social comme point de départ. Les différents acteurs sont illustrés par des cercles. Les flèches relient les cercles entre eux et représentent une séquence ou une action.

La première section décrit le financement conventionnel de projets. La séquence suivante est illustrée en utilisant le Programme comme point de départ. Le Programme verse du financement par projet ou de base à des organismes à but lucratif, et ces derniers offrent des services aux populations vulnérables.

La deuxième section décrit le financement de projets avec exigences en matière de partenariats et d’obtention de ressources externes. La séquence suivante est illustrée en utilisant le Programme comme point de départ. Le Programme verse du financement par projets à des organismes à but non lucratif. Ces organismes font appel à des partenaires et à des donateurs, qui leur fournissent des ressources. Ces organismes financés offrent ensuite des services aux populations vulnérables. Le cercle qui représente les populations vulnérables est plus grand que celui de la première section. C’est pour illustrer que l’on s’attend à ce que les organismes à but non lucratif financés soient en mesure d’atteindre une plus grande quantité de populations vulnérables en utilisant les ressources fournies par les partenaires et les donateurs.

La dernière section décrit le modèle de prestation par des tiers. La séquence suivante est illustrée en utilisant le Programme comme point de départ. Le Programme verse du financement pour des grands projets à des d’organismes à but non lucratif de grande taille. Ces grands organismes versent ensuite des subventions à des organismes à but non lucratif de plus petite taille. Enfin, chacun de ces petits organismes à but non lucratif offre des services aux populations vulnérables. Comme dans la section précédente, le cercle qui représente les populations vulnérables est plus grand que celui de la première section afin d’illustrer qu’un plus grand nombre de personnes reçoivent des services grâce à cette approche.

Ces approches de financement faisaient partie d’une initiative plus vaste au sein du Ministère visant à mettre à l’essai des approches novatrices pour répondre à des questions sociales complexes. Dans le cas du Programme de partenariats pour le développement social, le but de l’essai était d’évaluer la faisabilité d’utiliser des subventions et contributions fédérales pour attirer des investissements non fédéraux supplémentaires, afin d’investir dans l’élaboration de solutions locales, mutuellement bénéfiques et profitables à toutes les parties pour résoudre des questions sociales complexes importantes aux collectivités et au gouvernement.

Un examen des documents pertinents du Programme laisse entendre que le Programme prévoyait obtenir 3 principaux résultats à travers l’utilisation de l’approche de financement axé sur les partenariats et la mobilisation obligatoire de ressources, et du modèle de prestation par des tiers. On s’attendait notamment à ce que les bénéficiaires du financement :

  1. engagent de nouveaux partenaires ou approfondissent les relations avec les partenaires existants de manière à améliorer les résultats pour les communautés (c’est-à-dire pour les populations vulnérables)
  2. diversifient leurs sources de financement, augmentant ainsi la réserve de ressources affectées à une question donnée pour en accroître l’impact; et
  3. atteignent une plus grande durabilité grâce à des partenariats et à la mobilisation de nouvelles ressources

Dans l’ensemble, l’évaluation a permis de constater que les indicateurs qui ont été élaborés par le Programme pour évaluer les progrès vers ces résultats étaient davantage axés sur les activités des organismes financés (par exemple partenariats formés, montant des ressources obtenues) que sur les résultats attendus auprès des bénéficiaires, ce qui aurait été plus lié aux objectifs du Programme. Afin de vérifier si l’approche axée sur les partenariats et la mobilisation de ressources, et le modèle de prestation par des tiers ont réellement amélioré la capacité des organismes à s’attaquer aux enjeux sociaux auxquels sont confrontées des populations vulnérables, il aurait fallu recueillir des données sur les bénéficiaires.

Résultats des approches et du modèle de prestation

Partenariats

Les organismes financés ont plus souvent fait appel à leurs partenaires existants en raison de leur longue expérience de travail avec eux et de leur compréhension mutuelle des besoins des populations cibles. Il a été difficile d’évaluer les questions liées aux partenariats dans leur ensemble, en particulier l’engagement de nouveaux partenaires, en raison de l’absence de définitions claires du concept et des limites des rapports.

Les exigences de financement du programme mettent l’accent sur la formation de partenariats multisectoriels avec de nouveaux partenaires ou sur le renforcement des relations avec les partenaires existants pendant la période de financementNote de bas de page 22.

L’examen des fichiers et les études de cas indiquent que les organismes financésNote de bas de page 23 ont surtout formé des partenariats avec des partenaires existants, qui jouaient souvent un rôle plus officiel et central dans l’exécution des projets financés (par exemple les membres actifs des comités consultatifs des projets). De nombreux organismes financés ont invité des partenaires existants à participer aux projets en raison de leur longue tradition de collaboration et de leur compréhension mutuelle des besoins de leurs populations cibles. Ces relations bien établies ont été considérées comme une importante source de succès dans la réalisation des projets.

Selon l’examen des fichiers et les entrevues avec les informateurs clés, des facteurs tels la confiance et les intérêts mutuels étaient importants pour assurer que les partenariats soient solides et durables. Cependant, de nombreux organismes financés ont indiqué qu’il fallait plus de temps pour que les nouveaux partenariats soient efficaces. Bien que de nouveaux partenariats aient également été formés, ceux-ci étaient souvent informels et parfois limités à la période du projet.

Bien que les résultats ci-dessus suggèrent que les partenaires existants ont joué un rôle plus important que les nouveaux, il est difficile d’évaluer le paysage global des partenariats en raison du fait qu’ils ont été définis d’une manière à couvrir toutes sortes de donateursNote de bas de page 24 (par exemple, un donateur unique, des donateurs réguliers ou permanents). Il était également difficile à évaluer le paysage des partenariats dû au fait que les exigences en matière de rapports ne demandaient pas aux organismes de faire des distinctions additionnelles, par exemple de préciser si le partenaire existait déjà, s’il était nouveauNote de bas de page 25, formel ou informel. En définissant davantage le concept de partenariat et en le communiquant aux demandeurs de financement, le Programme pourrait permettre de mieux comprendre l’efficacité de l’approche de financement axé sur les partenariats.

Réalisation des objectifs en matière de mobilisation de ressources

Presque tous les organismes financés sous les composantes « Personnes handicapées » et « Enfants et familles » du Programme ont été en mesure d’atteindre leurs objectifs en matière de mobilisation de ressources. Pour la plupart des projets, les dons en nature surpassaient les dons d’argent.

L’examen des fichiers a révélé que tous les organismes financés sous les composantes « Personnes handicapées » et « Enfants et familles » ont obtenu des dons en nature ou en argent tout au long du déroulement des projets. Les organismes ont signalé eux-mêmes les montants reçus et, dans la plupart des cas, aucune autre vérification n’a été effectuée pour confirmer si ces montants avaient été reçus.

Comme l’indique le tableau 1, tous les organismes financés sous la composante « Personnes handicapées » ont dépassé l’exigence de base visant à obtenir des dons auprès de sources autres que le gouvernement fédéral dont la valeur totale correspondrait à au moins 10 % des coûts admissibles du projet. En fait, en moyenne, 31 % des coûts totaux admissibles des projets provenaient de sources autres que le gouvernement fédéral.

Tableau 1. Ratios de financement visés et ratios de financement atteints par groupe et par projet pilote
Groupe/projet pilote Ratio de participation financière Subventions et contributions EDSC Contributions en espèces ou en biens et services obtenues Ratios de participation financière atteints
Composante « Personnes handicapées » 1:0.10 9 046 055 $ 2 792 153 $ 1:0.31
Innovation communautaire 3:1 3 194 582 $ 1 754 055 $ 3:1.7
Partenaires communautaires 1:1 624 319 $ 600 138 $ 1:≈1
Leadership des tierces parties 1:3 2 233 023 $ 6 062 920 $ 1:2.7

Source : Le personnel de la Direction de l’évaluation d’EDSC (2018)

Pour la composante « Enfants et familles », l’examen des fichiers indique que la majorité (71 %) des projets financés sous le projet pilote « Innovation communautaire » ont atteint leur objectif en matière de mobilisation de ressources. Le seul organisme financé dans le cadre du projet pilote « Partenariats communautaires » était très près d’atteindre son objectif, et un organisme parmi les 3 financés dans le cadre du projet pilote « Leadership par les tierces parties » (ou le mode de prestation par les tiers) a atteint son objectif en matière de mobilisation de ressources. La plupart des projets pilotes/groupes ont obtenu plus des dons en natures que de dons d’argent, à l’exception du projet pilot « Leadership des tierces parties ». Il n’existe pas de façon standardisée pour déterminer la valeur des dons en nature et, par conséquent, la valeur monétaire ne peut être vérifiée.

Sources de financement non fédéral

Les organismes financés ont surtout mobilisé des ressources auprès d’autres organismes à but non lucratif et, dans une moindre mesure, à d’autres ordres de gouvernement. Étant donné que la capacité des organismes à but non lucratif de fournir des ressources est limitée, il est peu probable que la réserve de ressources affectées aux projets ait été augmentée de façon significative.

L’un des objectifs derrière l’exigence de mobiliser des ressources auprès d’organismes non fédéraux était de diversifier les sources de financement des organismes financés afin d’accroître la réserve de ressources affectées à un enjeu social donné.

L’examen des fichiers indique que les organismes à but non lucratif étaient les principaux fournisseurs de dons en nature et en argent à destination des organismes financés, suivi d’autres ordres de gouvernement. Dans le cas des petits organismes comme ceux financés sous le projet pilote « Innovation communautaire », les contributions venant du secteur des organismes à but non lucratif représentaient la moitié du total des ressources mobilisées.

Dans le cas de la composante « Personnes handicapées », une grande part des ressources mobilisées provenait des organismes financés eux-mêmes. Le tableau 2 montre que les organismes à but non lucratif, y compris les organismes financés, ont été les principaux donateurs aux projets financés.

Tableau 2. Sources des contributions non fédérales obtenues par groupe et par projet pilote
Groupe/Projet pilote Organismes financés* Organismes sans but lucratif Administrations régionales ou municipales Gouvernements provinciaux Secteur privé Autre** Inconnu Total
Composante « Personnes handicapées » 43 % 24 % <1 % 9 % 13 % 9 % 2 % 100 %
Innovation communautaire S.O. 50 % 11 % 9 % 7 % 23 % 0 % 100 %
Partenaires communautaires S.O. 81 % 0 % 0 % 19 % 0 % 0 % 100 %
Leadership des tierces parties S.O. 36 % 7 % 26 % 12 % 18 % 0 % 100 %

Source : Le personnel de la Direction de l’évaluation d’EDSC (2018)

*La composante « Personnes handicapées » du Programme incluait les « organismes financés » comme catégorie distincte pour les sources de contributions non fédérales, alors que la composante « Enfants et familles » ne le faisait pas. Il est probable que les organismes financés sous la composante « Enfants et familles » ont aussi fourni leurs propres ressources, et qui ceci a été saisi dans le champ « organismes à but non lucratif ».

**Cette catégorie peut comprendre des personnes ou d’autres donateurs qui n’ont pas été classés par les organismes financés.

Les résultats des entrevues avec les informateurs clés indiquent que les organismes à but non lucratif ont une capacité limitée à fournir des ressources financières. Par exemple, les organismes financés ont éprouvé de la difficulté à soutenir leurs propres projets en raison d’un manque de ressources financières. De plus, dans certains cas, des limites semblables ont également été observées auprès des organismes partenaires à but non lucratif. Bien que les organismes à but non lucratif aient fourni beaucoup de dons en nature, ceux-ci ne se constituent pas toujours de nouvelles ressources pour les projets. Par exemple, un projet de la composante « Enfants et familles » a qualifié comme dons en nature le temps consacré par ses partenaires préexistants à la participation aux comités consultatifs ainsi que d’autres activités liées au projet. Pour ce projet spécifique, ces dons en nature représentaient 67 % de toutes les ressources mobilisées au cours du projet.

Compte tenu de ces limites, il est peu probable que la mobilisation de ressources auprès d’autres organismes à but non lucratif ait permis d’augmenter de façon significative la quantité de ressources disponibles pour consacrer aux projets. De plus, il convient de se poser la question si les dons en nature versés par ces organismes représentent réellement de nouvelles ressources, ou s’il s’agit plutôt de l’argent recyclé provenant du secteur public.Note de bas de page 26 Ces éléments mettent en doute le fait que la réserve de ressources ait pu effectivement augmenter.

Les défis de la mobilisation de ressources auprès du secteur privé

La mobilisation de ressources auprès du secteur privé a été difficile et moins fructueuse que prévu, notamment en raison de la préférence du secteur pour le financement de projets dont le succès a été clairement démontré.

Les documents du Programme laissent entendre que l’on s’attendait à ce que les projets pilotes de partenariats sociaux tirent profit du secteur privé. Les études de cas, l’examen des fichiers et les entrevues avec les informateurs clés révèlent que la mobilisation de ressources auprès du secteur privé a été un défi pour tous les organismes financés. L’examen des fichiers indique que les organismes financés estiment que les organismes provenant du secteur privé préfèrent des projets concrets et fiables et exigent une preuve de réussite à l’avance avant d’accorder du financement. Il est donc probable que les projets n’ont pas été en mesure de démontrer les résultats escomptés au secteur privé. Les organismes financés sous le modèle de prestation par des tiers expliquent l’absence de contributions provenant du secteur privé en partie par le fait que la mobilisation de ressources auprès de ce secteur ne fait pas partie de la culture des fondations communautaires.

Le modèle de prestation par des tiers

Le modèle de prestation par des tiers est bien placé pour renforcer la capacité des organismes à but non lucratif à mieux servir les populations vulnérables. Il est aussi bien placé pour augmenter la portée du financement fédéral afin d’atteindre les plus petits organismes à but non lucratif.

Les constatations provenant de l’étude de casNote de bas de page 27 visant le modèle de prestation par des tiers indiquent que le financement à travers des organismes tiers (ou intermédiaires) peut renforcer la capacité des organismes à but non lucratif à faire la prestation de services dans une collectivité donnée. L’organisme qui a participé à cette étude de cas a déclaré avoir utilisé sa crédibilité locale pour réunir divers organismes de prestation de services dans la région. En jouant le rôle d’intermédiaire impartial, l’organisme a pu développer une structure de résolution de conflits pour les différents organismes impliqués dans le projet. Dans ce cas, cette approche a aidé les organismes de prestation de services de la région à surmonter des différends de longue date, entrainant ainsi une amélioration globale du système d’intervention communautaire. L’organisme intermédiaire attribue ce succès au fait que les organismes tiers :

  • jouent un rôle important en tant qu’intermédiaires en séparant les intérêts particuliers des organisations partenaires des objectifs du projet et en veillant à ce que ces organisations coopèrent;
  • ont la capacité d’effectuer un changement structurel en raison de leurs relations continues avec la plupart des organismes de la collectivité; et
  • détiennent une compréhension claire des forces et des faiblesses des acteurs existants, et donc leur aperçu général leur permet de déterminer qui est le mieux placé pour assumer certains rôles, qui devrait recevoir un financement et comment revoir les modèles de prestation si nécessaire.

Bien que les constatations découlant de cette étude de cas ne puissent être généralisées à toutes les organisations tierces, les agents du Programme ont constaté des avantages semblables. De nombreux agents du Programme estiment que les organismes intermédiaires ont la capacité d’utiliser leurs connaissances sur le terrain pour orienter le financement fédéral vers les secteurs qui en ont le plus besoin. De même, ils estiment que le modèle de prestation par des tiers accroît l’accès au financement fédéral pour les petits organismes à but non lucratif. Ceci concorde avec l’expérience de l’un des partenaires de l’organisme ayant fait l’objet de l’étude de cas. En effet, le partenaire a exprimé être satisfait du fait que les organismes tiers puissent mobiliser des ressources à plus grande échelle et avec une relative facilité, atténuant ainsi la pression exercée sur les petits organismes à but non lucratif à en faire de même.

Les agents du Programme ont aussi mentionné d’autres avantages du modèle de prestation par des tiers. Notamment, ils ont mentionné le fait que les organismes tiers ont une meilleure compréhension des enjeux sociaux et des défis auxquels font face les populations vulnérables, et aussi qu’ils bénéficient d’un réseau diversifié de partenaires ayant des compétences différentes pour analyser et aborder les enjeux sociaux sous divers angles.

Efforts déployés par le Programme pour améliorer la capacité et la durabilité des organismes financés

Les exigences en matière de partenariats et de mobilisation de ressources faisaient partie des efforts déployés par le Programme pour améliorer la capacité et la durabilité des organismes financées. Toutefois, le Programme et les organismes financés ne semblent pas avoir la même compréhension de ces deux concepts.

Pour les deux composantes du Programme, on s’attendait à ce que la mobilisation des ressources et les partenariats améliorent la capacité des organismes financés à s’attaquer aux enjeux sociaux auxquels sont confrontées des populations vulnérables, y compris les obstacles à l’inclusion socialeNote de bas de page 28. On s’attendait également à ce que ces approches de financement augmentent la durabilité de ces organismes.Note de bas de page 29

Dans l’ensemble, il semble que les organismes financés n’avaient pas la même compréhension que le Programme sur ce que signifie la renforcement des capacités.Note de bas de page 30 Dans les études de cas, on constate que la plupart des organismes faisaient référence à la capacité de leurs projets plutôt qu’à celle de leur organisme. La durabilité était également interprétée dans le cadre du projet plutôt que de l’organisme. Il est probable que les organismes financés ne formaient pas des partenariats et ne mobilisaient pas des ressources dans le but de rendre leurs organismes plus durables.

Impact des approches de financement sur la capacité des organismes financés

La collaboration avec les partenaires et l’a mobilisation de ressources en argent ou en nature ont amélioré la capacité des organismes financés à mettre en œuvre leurs activités pendant la période de financement.

Les résultatsNote de bas de page 31 démontrent que les partenaires et les ressources mobilisées ont augmenté la capacité des organismes financés à mettre en œuvre leurs activités au long de la durée de leurs projets. Notamment, il fut noté que les partenaires et/ou les ressources obtenues ont permis d’augmenter la capacité des projets en élargissant leur portée en matière du nombre d’enjeux sociaux abordés, d’intervenants atteints et de bénéficiaires servis. Par exemple, pour la composante « Personnes handicapées », de nombreux partenaires ont été abordés en raison de leur expertise et de leurs liens avec différentes communautés de personnes handicapées dans le but de rendre les résultats du projet plus inclusifs. Pour la composante « Enfants et familles », des partenariats ont été établis avec des organismes faisant la prestation de services afin de cerner les besoins locaux et de rejoindre les populations vulnérables. À l’occasion, des ressources monétaires mobilisées ont été utilisées pour élargir la portée des projets afin de desservir davantage de régions et, par conséquent, davantage de bénéficiaires.

Impact des approches de financement sur la durabilité des organismes financés

Malgré les efforts déployés par le Programme pour améliorer la durabilité des organismes financés grâce aux partenariats et la mobilisation de ressources, de nombreux organismes ont déclaré ne pas avoir la capacité nécessaire pour continuer à répondre aux besoins, lacunes, obstacles et problèmes sociaux auxquels sont confrontés les populations vulnérables dans le cadre de leurs projets, une fois la période de financement fédéral terminée.

L’examen des fichiers et les études de cas indiquent que de nombreux projets financés sous les 2 composantes du Programme n’ont pu se poursuivre après la période de financement fédéral. Plus précisément, les activités ont été réduites ou parfois annulées après la fin de la période de financement fédéral en raison de ressources financières insuffisantes. Il est donc probable que les exigences en matière de partenariats et de mobilisation des ressources n’ont pas permis d’augmenter la durabilité de ces organismes.

Durabilité et financement

La durabilité des organismes est liée à leur capacité financière, qui peut être renforcée par des contributions financières plus importantes, un financement à long terme ou un financement de base accru. Les contributions provinciales ont été un facteur clé de la durabilité de certains projets.

Selon les conclusions des rapports, les organismes qui ont réussi à obtenir d’importantes ressources monétaires avaient une meilleure capacité à rendre leurs projets durables. Plus précisément, parmi ceux-ci, plusieurs ont pu rendre leurs projets durables grâce à l’appui financier des gouvernements provinciaux. L’examen des fichiers fournit l’exemple d’un organisme tiers qui a reçu un fonds de dotation d’un million de dollars de la part d’un gouvernement provincial qui servira à fournir 8 000 dollars à 6 organismes pendant 3 ans pour soutenir leur programmation. Ces constatations laissent entrevoir la possibilité de partenariats efficaces et fructueux entre le gouvernement fédéral et les provinces pour soutenir les populations vulnérables.

De nombreux informateurs clésNote de bas de page 32 ont exprimé le besoin d’un financement à plus long terme (par exemple 5 ans) ou d’un financement de base pour être durables. Certains agents du programme ont également fait remarquer que l’absence de financement à long terme ou de financement de base constitue un obstacle à la capacité organisationnelle. Par conséquent, le Programme pourrait envisager de nouvelles façons d’améliorer la durabilité du secteur des organismes à but non lucratif pour la prestation de services aux populations vulnérables en dehors des partenariats et de la mobilisation de ressources.

Évaluer le rendement du programme

Processus de financement utilisés par le Programme et résultats attendus

La composante « Enfants et familles » a eu recours à des appels sollicités et non sollicités pour financer les projets, tandis que la composante « Personnes handicapées » a eu recours à un appel de propositions ouvert. Dans l’ensemble, les processus de financement et les documents justificatifs requis n’ont pas permis aux demandeurs d’établir correctement une stratégie pour évaluer les résultats d’une manière qui témoigne des progrès du Programme par rapport aux objectifs énoncés.

La composante « Enfants et familles » a eu recours à des appels sollicités et non sollicités pour financer les projets pilotes des partenariats sociaux. Malgré le fait que le Programme avait l’intention d’évaluer comment les nouvelles approches de financement permettraient d’améliorer les résultats et d’obtenir de meilleurs impactsNote de bas de page 33, les agents du Programme qui ont été interviewés ont indiqué que les résultats attendus et les critères d’évaluation des appels étaient surtout axés sur l’atteinte des exigences en matière de partenariat et de mobilisation de ressources, plutôt que sur les résultats obtenus pour les populations vulnérables. Même si la stratégie de rendement était étroitement axée sur la participation financière et le partenariat, des données sur les populations cibles auraient été nécessaires pour démontrer comment le Programme progresse vers l’atteinte de ses objectifs.

La composante « Personnes handicapées » a eu recours à un appel de propositions ouvert pour financer les projets. Selon la revue documentaire, les critères d’évaluation et les critères d’admissibilité étaient fondés sur l’harmonisation des objectifs du projet avec ceux du Programme, ainsi que sur l’harmonisation avec une ou plusieurs des quatre priorités énoncées dans la Convention des Nations Unies relative aux droits des personnes handicapéesNote de bas de page 34. Le guide du demandeur de l’appel de propositions 2012 de la composante « Personnes handicapées » n’indiquait pas explicitement les résultats escomptés de l’appel, mais donnait des exemples de résultats escomptés sur lesquels les organismes pouvaient faire rapport.Note de bas de page 35 La revue documentaire explique que les demandeurs étaient responsables de déterminer les buts, les objectifs, les activités, les extrants et les résultats attendus des projets, ainsi que les indicateurs de rendement et une stratégie de collecte de données. La revue documentaire explique également que les seuls indicateurs de rendement qui ont été systématiquement recueillis par cette composante du Programme au cours des projets étaient le nombre de partenariats formés et le montant des dons en nature et en argent.Note de bas de page 36 Par conséquent, les organismes financés ont principalement fait rapport sur ces deux indicateurs.

Rendement de la composante « Enfants et familles »

La stratégie de rendement des projets pilotes était étroitement axée sur la mobilisation de ressources et le partenariat. Par conséquent, le cadre de mesure du rendement ne permettait pas une évaluation solide des impacts du Programme sur les populations vulnérables.

Selon différentes sources de données, la composante « Enfants et familles » du Programme a utilisé une approche d’évaluation de développementNote de bas de page 37 pour évaluer les résultats des projets pilotes de partenariats sociaux. La principale méthode de collecte de données consistait en des appels téléphoniques semestriels avec les organismes financés, et les questions d’évaluation portaient sur l’innovation, la capacité des organismes à but non lucratif de mobiliser des ressources, et la durabilité et l’impact des partenariats sur l’impact des résultats dans les communautésNote de bas de page 38. Selon les réponses de certains de ses agents, le Programme n’a pas été en mesure d’évaluer véritablement l’efficacité des projets pilotes de partenariats sociaux pour les raisons suivantes :

  • le Programme n’a pas eu le temps d’établir des données de référence pour les analyses comparatives;
  • certains projets avaient déjà commencé avant que le Programme n’établisse son propre cadre de mesure du rendement;
  • il a été difficile d’élaborer des outils de collecte de données qui pourraient s’appliquer à tous les projets étant donné qu’ils variaient en taille, en portée et en contenu; et
  • les gabarits normalisés de rapports élaborés par la Direction générale des opérations de programmes ne saisissaient pas les répercussions à l’échelle de la population, notamment parce qu’ils ne contenaient pas de questions propres à l’inclusion sociale.

Le rapport de 2017 sur les leçons tirées de l’expérience a également mis en lumière des défis tels que de démontrer que les nouveaux modèles de financement ont mené à de meilleurs résultats que le modèle traditionnelNote de bas de page 39. Il a également été noté que l’évaluation des résultats et des impacts pourrait être améliorée par l’élaboration de processus et de méthodes de collecte de données cohérents et validesNote de bas de page 40.

Rendement de la composante « Personnes handicapées »

La responsabilité d’établir et de mesurer les résultats attendus a été laissée aux demandeurs de financement. Bien que des exemples de résultats escomptés aient été communiqués dans l’appel de propositions, le Programme a principalement demandé aux bénéficiaires de financement de fournir des données sur les partenariats et la mobilisation de ressources.

En ce qui concerne la composante « Personnes handicapées », les organismes financés étaient chargés de définir leurs propres objectifs, les résultats escomptés, et d’élaborer leur propre stratégie de mesure du rendement. Bien que le Programme ait fourni des exemples de résultats escomptés sur lesquels les organismes pouvaient faire rapportNote de bas de page 41, cette stratégie n’a pas produit suffisamment de données pour mesurer efficacement le rendement du Programme. De plus, les seules données qui ont été systématiquement saisies par le Programme au cours de la période d’évaluation portaient sur les partenariats et la mobilisation de ressources.

Améliorations apportées à la stratégie de mesure du rendement du Programme

Le Programme intègre des plans d’évaluation dans les projets afin d’améliorer leur capacité de mesurer les résultats attendus.

Des éléments laissent présumer que le Programme améliore présentement sa stratégie de mesure du rendement afin de mieux saisir l’impact du Programme et des projets financés sur les populations vulnérables. L’une des initiatives clés identifiées par les agents du Programme au cours des entrevues a été l’élaboration de plans d’évaluation en collaboration avec les organismes financés dès le début des projets. Cela permet d’assurer que les organismes à but non lucratif déterminent des indicateurs qui aideront à mesurer les résultats escomptés du Programme. Cette stratégie est conforme aux recommandations formulées par les agents du Programme au cours des entrevues avec les informateurs clés pour améliorer la capacité du Programme à évaluer ses impacts. En effet, ces agents ont mentionné le renforcement des capacités du Programme et des organismes à but non lucratif à mesurer les résultats, l’impact et à recueillir des données au niveau de la population et des particuliers. Conformément à cette recommandation, il semble également que le Programme intègre maintenant l’Analyse comparative entre les sexes Plus dans ses rapports.

3.3 Autres résultats

Analyse comparative entre les sexes Plus

Il y a certaines lacunes dans les méthodes de collecte de données qui limitent la capacité d’effectuer de manière rétrospective une Analyse comparative entre les sexes Plus des initiatives du Programme.

L’outil Analyse comparative entre les sexes Plus évalue les répercussions possibles des initiatives, des programmes ou des services sur divers groupes de femmes, d’hommes et de personnes de diverses identités de genre. Il tient également compte de plusieurs autres facteurs identitaires comme la race, l’ethnicité, la relation, l’âge et le handicap physique ou mental. L’une des composantes de l’Analyse comparative entre les sexes Plus est la mesure dans laquelle les considérations de genre sont intégrées dans les lignes directrices, les formulaires et les processus de collecte de données d’un programme.

Bien que l’Analyse comparative entre les sexes Plus n’ait pas été une exigence du gouvernement pendant la période d’évaluation, le Programme n’a pas recueilli suffisamment de données au niveau des sous-populations pendant la période de financement de façon systématique pour tous les projets financés pour permettre une analyse rétrospective approfondie.

À l’avenir, le Programme pourrait envisager de s’assurer que les données recueillies peuvent être ventilées par sexe ainsi que par d’autres facteurs de diversité et caractéristiques personnelles afin de pouvoir évaluer la portée et les répercussions du Programme sur différents groupes, de cerner les disparités potentielles et de mieux surveiller les différences non prévues propres à chaque sexe.Note de bas de page 42

Contribution du programme au bien-être et à l’inclusion sociale des populations vulnérables

Par ses activitésNote de bas de page 43, le Programme peut contribuer au bien-être des populations vulnérables et à leur inclusion dans les collectivités et le lieu de travail.

Bien qu’il y ait un manque de données sur les résultats du Programme, les projets financés comportent plusieurs aspects positifs qui peuvent être interprétés comme contribuant au bien-être des populations vulnérables et à leur inclusion sociale. Notamment, les organismes financés ont signaléNote de bas de page 44 que leurs projets ont entraîné :

  • une sensibilisation accrue auprès des collectivités, y compris les populations vulnérables, les organismes, les décideurs, les employeurs, les détaillants et les fabricantsNote de bas de page 45, au sujet des obstacles à l’inclusion sociale;
  • une meilleure connaissance des ressources (par exemple cours en ligne, manuels) et des services (par exemple centres communautaires, centres de ressources) répondant aux besoins des personnes vulnérables, ainsi qu’un meilleur accès à ceux-ci;
  • l’amélioration des compétences et des connaissances des organismes et des personnes travaillant auprès des populations vulnérables; et
  • l’amélioration des connaissances, de la confiance, de l’indépendance et du bien-être des populations vulnérables.

4. Éléments à prendre en considération

Les constatations de l’évaluation indiquent que le Programme n’a pas utilisé un cadre adéquat pour mesurer les progrès réalisés vers l’atteinte de ses objectifs énoncés. En particulier, l’évaluation a noté que les appels de propositions ne définissaient pas explicitement les résultats globaux escomptés, qui devraient être alignés avec les objectifs du programme, sur lesquels les organismes financés devaient faire rapport. Cela a réduit la possibilité que les organismes financés puissent faire rapport sur les résultats appropriés.

Les organismes financés partagent la responsabilité d’évaluer le rendement du Programme, car ils jouent un rôle fondamental dans sa mise en œuvre. Par conséquent, les organismes financés doivent identifier et définir correctement les questions qu’ils abordent et déterminer les résultats attendus de leurs propres initiatives. Cela permettra à la fois au Programme et aux organismes financés de faciliter la mesure du rendement et des impacts liés aux populations vulnérables.

L’évaluation reconnait que toute responsabilité supplémentaire requise de la part des organismes financés en ce qui a trait à la collecte de données et à la production de rapports peut entraîner un investissement de temps et de ressources supplémentaires dans de telles activités, ce qui peut nuire à la réalisation du projet. La difficulté d’équilibrer les exigences en matière de rapports et la réalisation des projets a été notée dans les différentes sources de données et les documents du Programme. Par conséquent, le Programme pourrait fournir un soutien et des ressources supplémentaires pour améliorer la capacité d’évaluation des organismes à but non lucratif, au besoin.

5. Recommandations

Les 2 recommandations suivantes sont issues de l’évaluation :

  1. Veiller à ce que le Programme et les organismes financés aient une compréhension commune des objectifs et des résultats escomptés du Programme ainsi que des concepts clés (par exemple inclusion sociale, partenariats et durabilité) afin de permettre une meilleure mesure du rendement.
  2. Améliorer les gabarits de surveillance et de rapports (par exemple rapports d’étape et rapports finaux) ainsi que les outils de collecte de données (par exemple sondages) afin de saisir des renseignements détaillés sur l’impact du Programme auprès des bénéficiaires visés.

Annexe A – Questions d’évaluation

Enjeux, questions d’évaluation, indicateurs et méthodes de collecte de données

Pertinence :

1. Le Programme a-t-il toujours besoin de trouver de nouvelles façons d’aborder les problèmes sociaux auxquels sont confrontés les enfants et les familles, ainsi que les personnes handicapées?

1.1 Preuve que les lacunes ou les besoins actuels sont comblés par les organismes à but non lucratif

  • Méthodes de collecte de données : revue documentaire, examen des fichiers, entrevues avec informateurs clés (internes), entrevues avec informateurs clés (externes), études de cas

1.2 Preuve que le fait de travailler avec des organismes à but non lucratif permet de soutenir adéquatement les populations vulnérables.

  • Méthodes de collecte de données : revue documentaire examen des fichiers, entrevues avec informateurs clés (internes), entrevues avec informateurs clés (externes), études de cas

1.3 Preuves sur les lacunes actuelles relevées qui ne sont pas abordées ou couvertes par le Programme

  • Méthodes de collecte de données : revue documentaire, examen des fichiers, entrevues avec informateurs clés (internes), entrevues avec informateurs clés (externes), études de cas

2. Le Programme s’harmonise-t-il avec les politiques et les priorités du gouvernement du Canada ainsi qu’avec les résultats stratégiques d’EDSC et y contribue-t-il?

2.1 Preuve de la cohérence entre les priorités du Programme et les résultats stratégiques du ministère ainsi que les politiques et priorités du gouvernement fédéral.

  • Méthodes de collecte de données : revue documentaire

3. Est-ce que les responsabilités et les rôles actuels du gouvernement fédéral sont appropriés, en ce qui concerne la prestation du Programme?

3.1 Preuve que les activités de Programme sont harmonisées avec les rôles et responsabilités du gouvernement fédéral en matière d’inclusion sociale.

  • Méthodes de collecte de données : revue documentaire, entrevues avec informateurs clés (internes)

3.2 Preuve que des programmes ou des services semblables ne sont pas offerts à l’intérieur ou à l’extérieur du gouvernement fédéral.

  • Méthodes de collecte de données : revue documentaire examen des fichiers, entrevues avec informateurs clés (internes), entrevues avec informateurs clés (externes), études de cas

Efficacité :

4. A-t-on mis en place un cadre approprié pour faciliter la mesure des résultats des projets pilotes de la composante « Enfants et familles », ainsi que des projets financés dans le cadre de l’appel de propositions de 2012 de la composante « Personnes handicapées » ? Que pourrait-on améliorer à l’avenir?

4.1 Preuve de l’existence d’une stratégie de mesure de rendement dans le cadre de l’appel de propositions qui définit clairement les résultats attendus et les critères d’évaluation à l’appui des décisions de financement.

  • Méthodes de collecte de données : revue documentaire, entrevues avec informateurs clés (internes), études de cas

4.2 Pourcentage de projets ayant indiqué avoir élaboré et utilisé des indicateurs de rendement et des processus d’évaluation pour mesurer les résultats des projets. examen des fichiers

  • Lines of evidence: File review

4.3 Preuves sur les méthodes d’évaluation et les outils de mesure permettant d’évaluer les résultats du projet et les progrès réalisés en vue de contribuer aux résultats escomptés du Programme.

  • Méthodes de collecte de données : revue documentaire, examen des fichiers, entrevues avec informateurs clés (internes), études de cas

4.4 Preuves sur la façon dont les organismes financés et le Programme peuvent améliorer leur capacité à mesurer les impacts sociaux dans le contexte de l’innovation sociale et du financement.

  • Méthodes de collecte de données : revue documentaire, entrevues avec informateurs clés (internes), entrevues avec informateurs clés (externes), études de cas

5. Ces modèles ont-ils amélioré la capacité des organismes financés à surmonter les obstacles à l’inclusion sociale?

5.1 Preuves indiquant que ces nouveaux modèles d’innovation sociale (c’est-à-dire la mobilisation des ressources, les partenariats et le modèle de prestation par des tiers) ont été en mesure de mieux servir les organismes financés en améliorant leur capacité d’influer sur les populations vulnérables pour surmonter les obstacles et les défis à l’inclusion sociale.

  • Méthodes de collecte de données : revue documentaire, entrevues avec informateurs clés (internes), entrevues avec informateurs clés (externes), études de cas

Composante « Personnes handicapées » (seulement)

6. Dans quelle mesure les exigences en matière de partenariats entre les organismes financés dans le cadre de l’appel de propositions de 2012 pour les personnes handicapées ont-elles réussi à :

6.1 Attirer des partenaires aux projets financés?

6.1.1 Nombre de partenariats créés ou renforcés, par secteur (privé, public, à but non lucratif, etc.)

  • Méthodes de collecte de données : examen des fichiers

6.1.2 Données probantes sur les réussites, les défis et le niveau d’efforts pour attirer et retenir les partenariats (par exemple collaborations, alliances, réseaux, etc.)

  • Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

6.1.3 Approches adoptées pour attirer les partenariats

  • Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

6.2 Maximiser les contributions des partenaires aux projets financés?

6.2.1 Preuve que les partenaires ont contribué à l’amélioration de la capacité organisationnelle en matière de : sensibilisation accrue aux projets dans les collectivités/liens facilités avec les collectivités; ressources accrues; lacunes comblées dans les services/besoins; nouvelles idées/approches; exploitation de partenariats supplémentaires; reproduction et mise à l’échelle du projet.

  • Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

6.3 Établir des partenariats fructueux et durables (quels éléments ont rendu les partenariats plus fructueux et durables)?

6.3.1 Preuve que les partenariats créés ou renforcés ont été efficaces ou se sont poursuivis même après la fin des projets financés (par exemple types de collaboration, rôles ou contributions des partenaires)

  • Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

6.4 Assurer une plus grande inclusion des organismes et des personnes handicapées?

6.4.1 Des données probantes sur les types et les complexités des questions sociales et des personnes handicapées qui ont été abordées ou atteintes par les organismes et par leurs partenariats.

  • Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

6.4.2 Preuve que les partenariats ont renforcé la capacité des organismes à assurer une plus grande inclusion des organismes de personnes handicapées et à obtenir de meilleurs résultats pour un plus grand nombre de personnes ayant divers types de handicaps.

  • Méthodes de collecte de données : entrevues avec informateurs clés (externes), études de cas

6.5 Élargir la portée des organismes financés?

6.5.1 Preuve que les partenariats ont mené à une plus grande portée pour les organismes financés en ce qui a trait aux enjeux sociaux, à la prestation de services à un plus grand nombre de personnes handicapées, aux régions du Canada, aux langues officielles, etc.

  • Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

7. Dans quelle mesure les exigences en matière de mobilisation des ressources pour les organismes financés dans le cadre de l’appel de propositions de 2012 de la composante « Personnes handicapées » ont-elles réussi à :

7.1 Obtenir des dons en nature ou en argent d’organismes non fédéraux?

7.1.1 Pourcentage d’organismes financés qui ont obtenu des dons en nature ou en argent de sources non fédérales

  • Méthodes de collecte de données : examen des fichiers

7.1.2 Pourcentage du total des dons en nature ou en argent obtenu de sources non fédérales pour chaque type de donateur (par exemple public, privé, à but non lucratif, etc.)

  • Méthodes de collecte de données : examen des fichiers

7.1.3 Montant des dons en nature ou argent provenant de sources non fédérales pour chaque dollar investi par le Programme (ratio)

  • Méthodes de collecte de données : examen des fichiers

7.1.4 Approches adoptées pour obtenir des dons en argent ou en nature de sources non fédérales

  • Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

7.1.5 Preuves des réussites, des défis et de l’ampleur des efforts déployés pour obtenir des dons en nature ou en argent de partenaires non fédéraux.

  • Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

7.2 Maximiser l’expertise dans les projets financés?

7.2.1 Preuves de l’utilisation des dons en nature ou en argent obtenus dans le cadre des projets financés, par catégorie (par exemple services administratifs et professionnels, bénévolat, espace de bureau, évaluation, etc.)

  • Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

7.2.2 Preuve que les dons en nature ou en argent provenant de sources non fédérales ont contribué à améliorer la capacité organisationnelle en termes de : sensibilisation accrue aux projets dans les collectivités/liens facilités avec les collectivités; ressources accrues; lacunes comblées dans les services/besoins; nouvelles idées/approches; mobilisation d’investissements supplémentaires; reproduction et mise à l’échelle du projet

  • Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

7.3 Assurer une plus grande inclusion des organismes et des personnes handicapées?

7.3.1 Preuve que les dons en nature ou en argent provenant de sources non fédérales ont renforcé la capacité des organismes à assurer une plus grande inclusion des organismes de personnes handicapées et à obtenir de meilleurs résultats pour un plus grand nombre de personnes ayant divers types de handicaps.

  • Méthodes de collecte de données : entrevues avec informateurs clés (externes), études de cas

7.4 Élargir la portée des organismes financés?

7.4.1 Preuve que les dons en nature ou en argent provenant de sources non fédérales ont permis d’accroître la portée des organismes financés pour ce qui est de traiter davantage de questions sociales, de servir les personnes handicapées, les régions du Canada, les langues officielles, etc.

  • Méthodes de collecte de données : entrevues avec informateurs clés (externes), études de cas

7.5 Maintenir les investissements en espèces et en biens et services des organismes non fédéraux?

7.5.1 Preuve que les dons en nature ou en argent provenant de sources non fédérales se sont poursuivis même après la fin des projets (par exemple nature, portée ou utilisation des contributions, etc.)

  • Méthodes de collecte de données : entrevues avec informateurs clés (externes), études de cas

8. L’appel de propositions de 2012 pour les personnes handicapées a-t-il réussi à créer et à transférer des connaissances et des approches qui s’attaquent aux obstacles à l’inclusion sociale auxquels font face les personnes handicapées?

8.1 Nombre de connaissances ou d’approches élaborées par type (par exemple programmes, services, ressources, outils, projets pilotes, pratiques exemplaires, guides de formation, solutions novatrices, etc.)

  • Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

8.2 Preuve que les connaissances et les approches élaborées ont été communiquées et diffusées à la population cible et aux autres intervenants, y compris les partenaires.

  • Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

8.3 Pourcentage des connaissances et des approches élaborées qui ont atteint le public cible (par exemple personnes handicapées, organismes, municipalités, employeurs, cliniciens, etc.)

  • Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

8.4 Pourcentage des projets financés qui ont élaboré des outils et des approches évolutifs, transférables et durables.

  • Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

Composante « Enfants et familles » (seulement)

9. Dans quelle mesure les en matière de mobilisation des ressources :

9.1 D’obtenir des dons en nature ou en argent des organismes non fédéraux?

9.1.1 Pourcentage d’organismes financés qui ont été en mesure d’atteindre leurs objectifs de mobilisation de ressources.

  • Méthodes de collecte de données : examen des fichiers

9.1.2 Pourcentage du total des dons en nature ou en argent obtenus de sources non fédérales pour chaque type de donateur (par exemple public, privé, à but non lucratif, etc.)

  • Méthodes de collecte de données : examen des fichiers

9.1.3 Montant des dons en nature ou en argent provenant de sources non fédérales pour chaque dollar investi par le programme (ratio)

  • Méthodes de collecte de données : examen des fichiers

9.1.4 Approches adoptées pour obtenir des dons en nature ou en argent de sources non fédérales

  • Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

9.1.5 Preuves des réussites, des défis et de l’ampleur des efforts déployés pour obtenir des dons en nature ou en argent de sources non fédérales.

  • Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

9.2 D’accroître la contribution des dons en nature ou en argent vers l’atteinte des résultats escomptés des projets?

9.2.1 Preuves de l’utilisation des dons en nature ou en argent obtenus dans le cadre des projets financés, par catégorie (par exemple services administratifs et professionnels, bénévolat, espace de bureau, évaluation, etc.)

  • Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

9.2.2 Preuve que les dons en nature ou en argent provenant de sources non fédérales ont amélioré la capacité organisationnelle en termes de : sensibilisation accrue aux projets dans les collectivités/liens facilités avec les collectivités; ressources accrues; lacunes comblées dans les services/besoins; nouvelles idées/approches; mobilisation d’investissements supplémentaires; reproduction et mise à l’échelle du projet

  • Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

9.3 De maintenir les dons en nature ou en argent des organismes non fédéraux?

9.3.1 Preuve que les dons en nature ou en argent provenant de sources non fédérales se sont poursuivis même après la fin des projets (par exemple nature, portée ou utilisation des contributions, etc.)

  • Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

9.4 D’élargir la portée des organismes financés?

9.4.1 Preuve que les dons en nature ou en argent provenant de sources non fédérales ont permis d’accroître la portée des organismes financés (par exemple enjeux sociaux, populations vulnérables, régions du Canada, langues officielles, etc.)

  • Méthodes de collecte de données : entrevues avec informateurs clés (externes), études de cas

10. Dans quelle mesure les exigences relatives aux partenariats, conformément aux ententes de financement, ont-elles réussi à :

10.1 Attirer de nouveaux partenaires pour contribuer aux projets financés?

10.1.1 Nombre de partenariats créés ou renforcés, par secteur (privé, public, à but non lucratif, etc.)

  • Méthodes de collecte de données : examen des fichiers

10.1.2 Données probantes sur les réussites, les défis et le niveau d’efforts pour attirer et retenir les partenariats

  • Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

10.1.3 Approches adoptées pour attirer des partenariats (par exemple collaborations, alliances, réseaux, etc.)

  • Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

10.2 Maximiser la contribution des partenaires à l’atteinte des résultats escomptés du projet?

10.2.1 Preuve que les partenaires ont contribué à l’amélioration de la capacité organisationnelle en matière de : sensibilisation accrue aux projets dans les collectivités/liens facilités avec les collectivités; ressources accrues; lacunes comblées dans les services/besoins; nouvelles idées/approches; exploitation de partenariats supplémentaires; reproduction et mise à l’échelle du projet.

  • Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

10.3 Établir des partenariats fructueux et durables?

10.3.1 Preuve que les partenariats créés ou renforcés ont été efficaces ou se sont poursuivis même après la fin des projets financés (par exemple types de collaboration, rôles ou contributions des partenaires)

  • Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

11. Dans quelle mesure l’approche de prestation par les tiers (intermédiaire) a-t-elle :

11.1 Permis d’obtenir des fonds d’organismes non fédéraux?

11.1.1 Pourcentage de bénéficiaires financés qui ont été en mesure d’atteindre leurs objectifs en matière de mobilisation de ressources provenant de sources non fédérales.

  • Méthodes de collecte de données : examen des fichiers

11.1.2 Pourcentage du total des dons en nature ou en argent provenant de sources non fédérales provenant de chaque type de donateur (par exemple public, privé, à but non lucratif, etc.)

  • Méthodes de collecte de données : examen des fichiers

11.1.3 Montant des dons en nature ou en argent provenant de sources non fédérales pour chaque dollar investi par le programme (ratio)

  • Méthodes de collecte de données : examen des fichiers

11.1.4 Approches adoptées pour obtenir des dons en nature ou en argent de sources non fédérales

  • Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

11.1.5 Preuves des réussites, des défis et de l’ampleur des efforts déployés pour obtenir des dons en nature ou en argent de partenaires non fédéraux.

  • Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

11.1.6 Preuve que l’approche de prestation par les tiers (intermédiaire) peut mobiliser plus facilement et plus efficacement les ressources préexistantes - en matière de partenaires, de contributions, d’expertise, etc. - pour s’attaquer aux différents types de problèmes sociaux auxquels sont confrontées les populations et les communautés vulnérables

  • Méthodes de collecte de données : entrevues avec informateurs clés (externes), études de cas

11.2 Permis d’établir des partenariats fructueux et durables?

11.2.1 Preuve que les partenariats créés ou renforcés ont été efficaces ou se sont poursuivis même après la fin des projets financés (par exemple types de collaboration, rôles ou contributions des partenaires)

  • Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

11.2.2 Mise en place de nouveaux réseaux et extension de ces réseaux au-delà de la durée du projet

  • Méthodes de collecte de données : examen des fichiers, entrevues avec informateurs clés (externes), études de cas

11.3 Permis d’élargir la portée des organismes financés?

11.3.1 Preuve que l’approche de prestation par les tiers (intermédiaire) a mené à une plus grande portée pour les organismes financés (par exemple enjeux sociaux, populations vulnérables, régions du Canada, langues officielles, etc.)

  • Méthodes de collecte de données : entrevues avec informateurs clés (externes), études de cas

11.4 Permis d’influencer le changement de système?

11.4.1 Preuve que l’approche de prestation par les tiers (intermédiaire) peut avoir une meilleure compréhension des enjeux sociaux et des défis auxquels font face les populations et les communautés vulnérables.

  • Méthodes de collecte de données : entrevues avec informateurs clés (internes), entrevues avec informateurs clés (externes), études de cas

11.4.2 Preuve que l’approche de prestation par les tiers (intermédiaire) est mieux placée pour accroître la capacité de la collectivité ou de l’organisation de s’attaquer à différents types de problèmes et de défis sociaux auxquels font face les populations et les collectivités vulnérables.

  • Méthodes de collecte de données : entrevues avec informateurs clés (internes), entrevues avec informateurs clés (externes), études de cas

11.4.3 Preuve que l’approche de prestation par les tiers (intermédiaire) a amélioré ou élargi les services aux populations vulnérables, augmentant ainsi l’impact des dépenses fédérales.

  • Méthodes de collecte de données : entrevues avec informateurs clés (internes), entrevues avec informateurs clés (externes), études de cas

Annexe B - Méthodes de collecte des données et limites associées

Au total, 4 sources de données ont été utilisées dans le cadre de l’évaluation :

  • une revue documentaire
  • un examen des fichiers
  • des entrevues avec des informateurs clés intervenants internes et externes
  • des études de cas

Un rapport technique a été produit pour chaque source de données.

La Direction de l’évaluation a effectué l’examen des fichiers, la revue documentaire et une partie des entrevues à l’interne, tandis que les études de cas et les entrevues avec les informateurs clés (externes) ont été réalisées par des consultants. Les 4 rapports ont été finalisés en consultation avec les secteurs de programme. Le rapport final a également fait l’objet d’un examen par les pairs de deux universitaires spécialisés dans les thèmes abordés dans l’évaluation.

L’évaluation visait à évaluer la contribution du Programme envers l’amélioration de la capacité des organismes financés à s’attaquer aux obstacles à l’inclusion sociale. Par contre, elle était limitée en raison du manque de données recueillies au sujet des bénéficiaires. L’évaluation ne cherchait pas à attribuer des résultats concernant l’inclusion sociale des populations vulnérables à des interventions spécifiques du programme étant donné que le soutien financier fourni par le Programme est relativement faible, qu’il existe de nombreuses interventions gouvernementales à l’appui du même objectif et qu’il existe de nombreux facteurs externes qui pourraient influencer l’inclusion sociale, comme la situation économique.

Les limites suivantes sont notées en ce qui concerne les données d’évaluation et leurs méthodes de collecte :

  • Dans l’ensemble, il n’y avait pas suffisamment de données pour répondre aux diverses questions d’évaluation et aux diverses sources de données. Parmi les défis à relever, les suivants sont notés:
    • L’information contenue dans les dossiers de projetNote de bas de page 46 donnait un aperçu limité du lien entre les indicateurs liés à la mobilisation des ressources et aux partenariats et les résultats et les impacts escomptés du Programme.
    • Un nombre insuffisant d’agents du Programme interrogésNote de bas de page 47 avaient une connaissance suffisante des projets financés et des processus connexes couverts pendant la période d’évaluation (par exemple procédures d’admission, stratégies de mesure du rendement). Cela est probablement attribuable au renouvellement du personnel au sein du Programme.
    • Il y avait un nombre insuffisant d’entrevuesNote de bas de page 48 avec les représentants des projets et les partenaires qui pouvaient fournir des renseignements détaillés sur les projets financés. Cela est probablement attribuable au temps écoulé depuis la période visée par l’évaluation, au renouvellement du personnel au sein des organisations et à la connaissance limitée des projets financés.
  • Pour les études de cas, la Direction de l’évaluation, en collaboration avec le Programme, a choisi délibérément un petit échantillon d’organisations. Note de bas de page 49 La taille de l’échantillon ne doit pas être considérée comme représentative de la population en général. C’est également le cas pour les entrevues avec les informateurs clés externes, qui ont été choisis parmi les organismes visés par les études de cas. Pour remédier à cette limite, les constatations ont été validées avec d’autres sources de données. Notamment, l’examen des fichiers a porté sur les dossiers rétrospectifs des 37 projets.
  • La valeur des dons en nature n’est pas normalisée (c’est-à-dire que deux organisations peuvent évaluer différemment le même type de don) et, par conséquent, les données liées à la mobilisation des ressources doivent être interprétées avec prudence. De plus, l’information liée à la mobilisation de ressources pour la composante « Personnes handicapées » n’a pas été compilée ou suivie d’une manière qui assure la fiabilité des donnéesNote de bas de page 50.
  • Le manque de données au niveau de la population au cours de la période visée limite considérablement la capacité de l’évaluation à effectuer de manière rétrospective une Analyse comparative entre les sexes Plus. Toutefois, selon les agents du Programme, l’Analyse comparative entre les sexes Plus est maintenant intégrée aux rapports du Programme.

Annexe C – Liste des rapports techniques

EDSC (2019). L’évaluation du Programme de partenariats pour le développement social : Rapport technique de la revue documentaire. (Non publié, disponible sur demande)

EDSC (2019). L’évaluation du Programme de partenariats pour le développement social : Rapport technique sur l’examen des fichiers. (Non publié, disponible sur demande)

EDSC (2019). L’évaluation du Programme de partenariats pour le développement social : Rapport technique sur les entrevues avec les informateurs clés. (Non publié, disponible sur demande)

EDSC (2019). L’évaluation du Programme de partenariats pour le développement social : Rapport technique sur les études de cas. (Non publié, disponible sur demande)

Annexe D - Évolution, renouvellement et activités du programme

Composante « Personnes handicapées »

Le modèle de financement de la composante « Personnes handicapées » consiste en une enveloppe pour le financement de base de 6 millions de dollars par année dirigée aux organismes nationaux de personnes handicapées et de 2 millions de dollars par année aux organismes régionaux dans le cadre de l’Initiative d’intégration communautaire, ainsi que d’une enveloppe de financement de 3 millions de dollars par année pour des projets non sollicités et pour appels de propositions.

En 2012, un appel de propositions ouvert a été lancé, qui a établi les exigences relatives à la mobilisation de ressources auprès de sources non fédérales (exigence obligatoire de mobiliser des ressources auprès de ses sources afin de couvrir 10 % des coûts totaux) ainsi que le renforcement du souci d’obtenir des résultats et de la présentation des résultats. Au total, 17 projets ont été financés. Ces projets ont pris fin le 31 mars 2016.

Au printemps 2016, le ministre des Sports et des Personnes handicapées a approuvé le renouvellement de la composante « Personnes handicapées » du programme dans le but de concevoir un Cadre de rendement et de responsabilisation en collaboration avec la collectivité des personnes handicapées, pour assurer l’équité et la transparence dans la distribution du financement. Le cadre établit les attentes dans les domaines de la gouvernance, des partenariats, de la durabilité et des résultats.

Composante « Enfants et familles »

Jusqu’en 2009 (y compris l’appel de propositions de 2009), le modèle de financement de la composante « Enfants et familles » consistait d’appels de propositions ouverts pour répartir 8,3 millions de dollars par année aux organismes à but non lucratif en utilisant des subventions et contributions.

Depuis, le Programme a évolué, en commençant par l’introduction de projets pilotes de partenariats sociaux pour mettre à l’essai le concept d’innovation sociale et déterminer si un modèle plus axé sur le partenariat pourrait avoir un impact plus marqué sur les populations vulnérables. La mobilisation des ressources, les partenariats et le modèle de prestation par des tiers étaient des concepts introduits dans les modèles de financement pour améliorer la capacité des organismes à but non lucratif de mieux s’attaquer aux problèmes sociaux auxquels font face les populations vulnérables. Par conséquent, trois types de projets pilotes ont été lancés en 2011 à 2012 et devaient éclairer l’évolution du programme en testant la capacité des organismes à but non lucratif de différentes tailles à mobiliser des ressources auprès d’organismes non fédéraux (dons en nature ou en argent) et à établir des partenariats avec des partenaires provenant de divers secteurs.

Le modèle de prestation du programme évolue afin de mettre davantage l’accent sur l’impact croissant sur les populations vulnérables grâce à la mobilisation des ressources et aux partenariats. Plusieurs projets de la composante « Enfants et familles » sont maintenant offerts au moyen d’un modèle de prestation par des tiers (c’est-à-dire des intermédiaires), dans le cadre duquel les grands organismes à but non lucratif et de bienfaisance (par exemple les fondations) mobilisent des investissements non fédéraux et des partenariats multisectoriels pour distribuer des subventions aux petits organismes à but non lucratif et organismes de bienfaisance.

Annexe E – Modèle logique du volet « Personnes handicapées »

Résultats stratégiques d'EDSC : sécurité du revenu, accès aux possibilités et mieux-être des personnes, des familles et des collectivités
La description suit immédiatement le graphique.
Description textuelle de l’Annexe E

L’annexe E présente le modèle logique du Programme de partenariats pour le développement social – volet Personnes handicapées. Il présente, de bas en haut, les intrants, les activités principales, les extrants, les résultats immédiats, les résultats intermédiaires, le résultat final et le résultat stratégique que le programme a l’intention d’atteindre ou auquel il a l’intention de contribuer.

1. Intrants

Intrant 1.1 Budget du programme

Intrant 1.2 Ressources humaines

Intrant 1.3 Systèmes informationnel et technologique

2. Activités

Activité 2.1 Administrer les fonds des subventions et contributions

Activité 2.2 Mobiliser les intervenants

Activité 2.3 Évaluer le rendement du Programme et fournir des analyses

3. Extrants

Les activités 2.1, 2.2 et 2.3 sont censées produire l’extrant suivant :

  • Extrant 3.1 : Les projets sont financés selon les besoins et les priorités définis en s’appuyant sur des données probantes.

4. Résultats immédiats

L’extrant 3.1 est censé produire les résultats immédiats suivants :

  • Résultat immédiat 4.1 : Les organismes sans but lucratif établissent des partenariats officiels pour éliminer les obstacles auxquels font face les personnes handicapées.
  • Résultat immédiat 4.2 : Le secteur sans but lucratif élabore et transfère les connaissances et les approches qui permettent d’éliminer les obstacles auxquels font face les personnes handicapées.

5. Résultats intermédiaires

Le résultat immédiat 4.1 est censé contribuer au résultat intermédiaire suivant :

  • Résultat intermédiaire 5.1 : Le secteur sans but lucratif et les partenaires donnent accès à l’information, aux programmes et aux services qui favorisent l’inclusion des personnes handicapées dans la société.

Le résultat immédiat 4.2 est censé contribuer au résultat intermédiaire suivant :

  • Résultat intermédiaire 5.2 : Le secteur sans but lucratif et les partenaires donnent accès à l’information, aux programmes et aux services qui favorisent l’inclusion des personnes handicapées dans la société.

6. Résultat final

Les résultats intermédiaires 5.1 et 5.2 sont censés contribuer au résultat final suivant :

  • Résultat final 6.1 : Inclusion sociale des personnes handicapées

7. Résultat stratégique d’EDSC

Ce résultat final contribue à l’atteinte du résultat stratégique du Ministère : Sécurité du revenu, accès aux possibilités et mieux-être des personnes, des familles et des collectivités

Annexe F - Modèle logique du volet « Enfants et familles »

Résultat stratégique ministériel d'EDSC : Securité du revenu, accès aux possibilitiés et bien-être des personnes, des familles et des collectivés
La description suit immédiatement le graphique.
Description textuelle de l’Annexe F

L’annexe F présente le modèle logique du Programme de partenariats pour le développement social – volet Enfants et familles. Il présente, de bas en haut, les intrants, les activités principales, les extrants, les résultats immédiats, les résultats intermédiaires, le résultat final et le résultat stratégique que le programme a l’intention d’atteindre ou auquel il a l’intention de contribuer.

1. Intrants

Intrant 1.1 Budget du programme

Intrant 1.2 Ressources humaines

2. Activités

Activité 2.1 Administrer les fonds des subventions et contributions

Activité 2.2 Mobiliser les intervenants

Activité 2.3 Évaluer le rendement du Programme et fournir des analyses

Activité 2.4 Diffuser la connaissance et promouvoir l’innovation

3. Extrants

Les activités 2.1, 2.2, 2.3 et 2.4 sont censées produire les extrants suivants :

  • Extrant 3.1 : Les projets sont financés selon les besoins et les priorités définis en s’appuyant sur des données probantes.
  • Extrant 3.2 : Prix pour le bénévolat du Canada
  • Extrant 3.3 : Analyse de l’Enquête sociale générale - Dons, bénévolat et participation

4. Résultats immédiats

Les extrants 3.1, 3.2 et 3.3 sont censés produire les résultats immédiats suivants :

  • Résultat immédiat 4.1 : Augmentation des ressources allouées aux collectivités pour surmonter les obstacles à l’inclusion sociale
  • Résultat immédiat 4.2 : Augmentation du nombre de partenariats multisectoriels pour surmonter les obstacles à l’inclusion sociale

5. Résultats intermédiaires

Les résultats immédiats 4.1 et 4.2 sont censés contribuer au résultat intermédiaire suivant :

  • Résultat intermédiaire 5.1 : Capacité améliorée des organisations sans but lucratif à surmonter les obstacles de l’inclusion sociale

6. Résultat final

Le résultat intermédiaire 5.1 est censé contribuer au résultat final suivant :

  • Résultat final 6.1 : Inclusion sociale accrue des enfants et des familles, et des personnes vulnérables

7. Résultat stratégique d’EDSC

Ce résultat final contribue au résultat stratégique du Ministère : Sécurité du revenu, accès aux possibilités et mieux-être des personnes, des familles et des collectivités.

Signaler un problème ou une erreur sur cette page
Veuillez sélectionner toutes les cases qui s'appliquent :

Merci de votre aide!

Vous ne recevrez pas de réponse. Pour toute question, contactez-nous.

Date de modification :