Rapport technique : Estimation des impacts différentiels du programme du Fonds d’intégration pour les personnes handicapées

Sur cette page

• Glossaire
• Reconnaissance
• Résumé
• 1. Introduction
• 2. Aperçu du programme
• 3. Méthodologie
  • 3.1 Données et unité d'analyse
  • 3.2 Estimation des impacts différentiels
• 4. Profil sociodémographique des participants
• 5. Résultats de l'analyse des impacts différentiels
  • 5.1 Impact global du FI
  • 5.2 Services améliorés d'aide à l'emploi
  • 5.3 FI-Compétences pour l'emploi
  • 5.4 Subventions salariales
  • 5.5 Expérience de travail
• 6. Analyse coûts-avantages
• 7. Conclusion
• Références
• Annexe A : Résultats détaillés sur les caractéristiques sociodémographiques
• Annexe B : Résultats des impacts différentiels
• Annexe C : Répartition des scores de propension avant et après l'appariement

Glossaire

Appariement par score de propension

Le score de propension est la probabilité conditionnelle de participation à l'intervention selon les variables d'avant la participation. L'appariement par score de propension utilise la distance entre les scores de propension estimés pour trouver des personnes présentant de similitudes

Contrefactuel

Le terme « contrefactuel » fait référence à ce qui serait arrivé aux participants en l'absence du programme.

Coût marginal social des fonds publics

Le coût marginal social des fonds publics (CMSFP) représente la perte subie par la société lorsqu'on collecte des revenus supplémentaires, par exemple des taxes ou des impôts, pour financer les dépenses gouvernementales.

Hypothèse d'indépendance conditionnelle

L'hypothèse d'indépendance conditionnelle exige que les variables communes qui ont une incidence sur la participation et les résultats propres à l'intervention soient observables.

Méthode d'appariement du plus proche voisin

La méthode d'appariement du plus proche voisin utilise la distance entre les variables observées pour trouver des personnes présentant des similitudes.

Méthode des doubles différences

La méthode d'estimation des doubles différences (DD) est définie comme la différence de résultat moyen dans le groupe de participants avant et après la participation moins la différence de résultat moyen dans le groupe témoin avant et après la participation.

Pondération par probabilité inverse

La pondération par probabilité inverse utilise les moyennes pondérées de la variable dépendante observée pour évaluer les moyennes des résultats potentiels. Les pondérations sont les inverses des probabilités de participation estimées par un modèle de participation.

Rendement social

Le taux de rendement social est le rapport entre l'avantage net pour la société et les coûts directs des programmes pour le gouvernement. En d'autres termes, il montre la valeur en dollars de l'avantage net pour la société pour chaque dollar dépensé par le gouvernement dans un programme.

Taux d'actualisation

Un taux d'actualisation est utilisé pour calculer la valeur actualisée nette (VAN), laquelle est la valeur de l'ensemble des flux de trésorerie futurs de toute la durée de vie d'un investissement, actualisée au présent.

Technique d'appariement par noyau

La technique d'appariement par noyau consiste en un estimateur d'appariement non paramétrique qui utilise les moyennes pondérées de l'ensemble des membres du groupe témoin pour calculer le résultat contrefactuel.

Reconnaissance

Nous aimerions remercier les personnes qui ont contribué au présent rapport technique et qui ont fourni des renseignements précieux concernant les activités du programme du Fonds d'intégration pour les personnes handicapées. Nous remercions également Jérôme Mercier, Laura MacFadgen, Donna Smith-Moncrieffe et Richard R De Marco pour les précieux commentaires dont ils nous ont fait part. Enfin, nous souhaitons remercier nos collègues Eppo Maertens et Khaddouj Souaid de la Direction générale des compétences et de l'emploi pour leur collaboration et leur aide.

Résumé

Le présent rapport technique présente les méthodes et les techniques utilisées pour mener l'analyse des impacts différentiels et l'analyse coûts-avantages du Fonds d'intégration (FI) pour les personnes handicapées au Canada^{Note de bas de page 1}. Ces analyses utilisent un ensemble riche de données administratives longitudinales de la plateforme de données sur les programmes relatifs au marché du travail d'Emploi et Développement social Canada (EDSC) pour les personnes qui ont participé au programme du FI de janvier 2011 à décembre 2012. L'appariement par score de propension a été utilisé en combinaison avec la méthode des doubles différences (DD) pour estimer les impacts différentiels du programme du FI sur les participants cinq ans après leur participation, à savoir jusqu'en 2017. La principale force du rapport est le fait qu'il repose sur un ensemble volumineux de données administratives, ce qui permet de contrôler de nombreuses caractéristiques sociodémographiques et du marché du travail dans le modèle de score de propension. Les techniques utilisées pour former le groupe témoin contrefactuel ont permis d'apparier efficacement les participants à des non-participants semblables pour chaque intervention. En outre, la fiabilité des résultats a été évaluée au moyen de tests statistiques rigoureux qui tirent parti d'autres méthodes d'estimation. Par ailleurs, une analyse coûts-avantages évalue la rentabilité du programme du FI en estimant l'avantage social net de ce programme. Ces méthodes et ces techniques ont produit des résultats d'évaluation fiables qui démontrent que le programme du FI permet d'accroître la participation au marché du travail des participants du programme. Dans l'ensemble, le programme du FI a généré un rendement social de l'investissement positif au cours de la période de 10 ans suivant la participation.

1. Introduction

Le gouvernement du Canada investit dans certains programmes en particulier pour faciliter la participation des personnes en situation de handicap au marché du travail. Au cours des deux dernières décennies, EDSC a financé des organismes agissant comme coordonnateurs communautaires dans le but d'offrir des programmes relatifs au marché du travail aux personnes en situation de handicap. Le présent rapport technique présente les méthodes et les résultats de l'analyse des impacts différentiels et de l'analyse coûts-avantages utilisées dans la phase 2 de la troisième évaluation sommative^{Note de bas de page 2} du programme du FI pour les personnes handicapées au Canada.

Le Fonds d'intégration pour les personnes handicapées, créé par EDSC en 1997, a été conçu pour combler une lacune en matière de soutien fédéral pour les personnes en situation de handicap qui ne sont admissibles ni au régime d'assurance-emploi ni aux programmes de formation en vertu de la partie II de la Loi sur l'assurance-emploi. Le programme vise à aider ces personnes à se préparer au marché du travail, à trouver un emploi et à le conserver, ou à devenir des travailleurs autonomes, dans le but d'accroître leur participation économique et leur indépendance. Le présent rapport traite des interventions suivantes dans le cadre du FI :

• Services améliorés d'aide à l'emploi
• Compétences pour l'emploi
• Subventions salariales
• Expérience de travail

Dans le présent rapport, l'efficacité du programme du FI est évaluée par l'analyse de la situation d'emploi des participants sur une période de 10 ans, à savoir de 2007 à 2017 (5 ans avant la participation et 5 ans après la participation), à l'aide de méthodes non expérimentales. Il présente également les techniques utilisées pour estimer les impacts différentiels du programme, dont la technique d'appariement par noyau de score de propension^{Note de bas de page 3} combinée à la méthode des DD. Le modèle économétrique utilisé dans le présent rapport est fondé sur des renseignements étoffés au sujet de l'expérience du marché du travail des personnes, notamment les caractéristiques sociodémographiques et les antécédents sur le marché du travail. Le rapport utilise un ensemble de données de la plateforme de données sur les programmes relatifs au marché du travail, qui est une banque de données administratives longitudinales intégrée. Cette analyse porte sur toutes les personnes qui ont participé au programme du FI entre janvier 2011 et décembre 2012. Le groupe témoin est composé de personnes qui satisfont les mêmes critères d'admissibilité et qui présentent les mêmes caractéristiques sociodémographiques que les participants au programme du FI, mais qui n'ont bénéficié que d'une intervention mineure des services d'aide à l'emploi (SAE) dans le cadre d'ententes sur le développement du marché du travail (EDMT), et qui déclarent être en situation de handicap. Le présent rapport présente également les résultats de l'analyse coûts-avantages des interventions effectuées dans le cadre du programme du FI.

L'analyse des impacts différentiels indique que comparativement au groupe témoin^{Note de bas de page 4}, les participants au programme du FI ont connu une augmentation de leurs revenus et de l'incidence de l'emploi, ainsi qu'une légère diminution de leur dépendance à l'égard des prestations d'aide sociale. L'analyse coûts-avantages démontre que le Fonds d'intégration produit des avantages économiques qui surpassent l'investissement de fonds publics dans le programme. Sur le plan sociétal, il faut moins de quatre ans pour recouvrer les coûts du programme. Les compétences professionnelles représentent le meilleur investissement au plan social parmi tous les types d'intervention.

Le rapport est organisé de la manière suivante. Tout d'abord, la section 2 offre un aperçu du programme du FI. Ensuite, la section 3 décrit la méthodologie utilisée pour analyser l'efficacité du programme, alors que la section 4 présente le profil sociodémographique des participants. Quant à elles, les sections 5 et 6 présentent respectivement l'analyse des impacts différentiels et l'analyse coûts-avantages. Enfin, la section 7 consiste en la conclusion.

2. Aperçu du programme

Lancé en 1997, le programme du Fonds d'intégration pour les personnes handicapées (FI) a été conçu pour combler un manque dans l'aide fédérale pour les personnes handicapées qui ne sont pas admissibles aux prestations d'assurance-emploi ou à la formation financée en vertu de la partie II de la Loi sur l'assurance-emploi. Le programme du FI vise à faciliter l'intégration des participants au marché du travail en offrant différents types de services, notamment de l'aide à la recherche d'emploi, des services de préparation à l'emploi, des subventions salariales, des placements en milieu de travail et des initiatives de sensibilisation des employeurs pour encourager ces derniers à embaucher des personnes en situation de handicap. Le programme offre sept types d'intervention, notamment :

• Services améliorés d'aide à l'emploi (FI-SAAE)
• Compétences pour l'emploi (FI-CP)
• Subventions salariales (FI-SS)
• Expérience de travail (FI-ET)
• Travail indépendant, développement et services

Toutefois, les interventions relatives au travail indépendant, au développement et aux services ne sont pas prises en considération, car le nombre de participants est insuffisant pour mener une analyse des impacts différentiels. Une brève description des quatre types d'intervention pris en considération dans le présent rapport est fournie ci-dessous.

Services améliorés d'aide à l'emploi

Cette intervention appuie une gamme d'activités de préparation à l'emploi adaptées aux besoins des personnes en situation de handicap qui facilitent leur intégration à emploi. Les grandes catégories d'activités sont les suivantes :

• consultations;
• services de placement;
• accès à l'information sur le marché du travail;
• prestation de services d'aide visant à déterminer la formation professionnelle pertinente.

Compétences pour l'emploi

Cette intervention permet aux participants d'entreprendre une formation de courte durée et d'acquérir des compétences essentielles et avancées. Ces compétences doivent être liées à une possibilité d'emploi précise dans un secteur stable ou en expansion, où les participants peuvent raisonnablement s'attendre à obtenir un emploi.

Subventions salariales

Cette intervention fournit des incitatifs financiers aux employeurs pour les encourager à embaucher des personnes en situation de handicap (qu'ils n'embaucheraient pas autrement), sous la forme d'une part des salaires versés à ces participants. Ces mesures permettent aux participants d'occuper des postes qui mèneront probablement à des emplois permanents chez les employeurs hôtes et favorisent l'établissement de relations employeur-employé pour augmenter les chances de certains participants de trouver un emploi.

Expérience de travail

Cette intervention offre la même formation que celle de l'intervention Subventions salariales, à la différence que les postes occupés par les participants aux activités « Expérience de travail » sont créés uniquement aux fins du programme. Par conséquent, il n'est pas attendu que l'employeur garde le participant lorsque la subvention prend fin. Cette intervention n'est plus admissible au financement depuis avril 2015.

Le programme du FI accorde un financement pour soutenir un éventail de projets. Il s'agit de faire en sorte que les personnes handicapées admissibles puissent obtenir l'aide dont elles ont besoin pour intégrer ou réintégrer le marché du travail. La majeure partie du financement pour les activités du FI est accordée par le biais d'ententes entre EDSC/Service Canada et les bénéficiaires de contribution, qui agissent en tant que coordonnateurs communautaires pour le programme^{Note de bas de page 5}. Les coordonnateurs communautaires, également appelés « organisations ayant reçu du financement ou des contributions », agissent à titre d'intermédiaires entre les participants et les employeurs.

Les réformes introduites dans les budgets 2012, 2013 et 2014 ont entraîné les changements opérationnels suivants :

• davantage de Canadiens en situation de handicap peuvent acquérir une expérience de travail dans les petites et moyennes entreprises;
• davantage de solutions de formation axées sur la demande sont offertes aux personnes en situation de handicap et le programme est mieux adapté aux besoins du marché du travail;
• les employeurs et les organismes communautaires participent à la conception et à la mise en œuvre du projet;
• les employeurs sont conscients de la contribution inestimable des personnes en situation de handicap.

3. Méthodologie

3.2 Estimation des impacts différentiels

La méthodologie du présent rapport se fonde sur le même cadre que l'évaluation des ententes sur le développement du marché du travail. La procédure d'estimation des impacts différentiels est fondée sur une approche non expérimentale qui mesure l'efficacité du programme en comparant les résultats réels pour les participants aux différentes interventions à leurs résultats contre-factuels (c'est-à-dire les résultats qu'ils auraient obtenus en l'absence d'une intervention). Puisqu'une personne ne peut être à la fois un participant et un non-participant à une intervention du FI pendant la période de référence, il faut un groupe témoin approprié pour faire office de groupe contrefactuel. Selon les données disponibles, nous avons créé un groupe témoin à l'aide d'un sous-ensemble de personnes qui présentaient les mêmes caractéristiques que les participants au FI, mais qui n'avaient bénéficié que de services de faible intensité au moyen d'interventions mineures des SAE dans le cadre des EDMT.

Les sections suivantes traitent des approches utilisées pour créer le groupe témoin contrefactuel et mettre en œuvre l'appariement par score de propension combiné à la méthode des DD.

3.2.1 Sélection du groupe témoin

Dans le présent rapport, une méthode non expérimentale a été utilisée pour déterminer le groupe témoin contrefactuel. Les méthodes non expérimentales génèrent des groupes témoins qui sont semblables au groupe de participants du programme en utilisant des techniques comme l'appariement par score de propension combiné à la méthode des DD. Cette approche permet d'éviter les problèmes éthiques et politiques d'une méthodologie expérimentale qui nécessiterait la création d'un groupe témoin composé de non-participants qui se verraient refuser aléatoirement l'accès à un programme.

La principale difficulté de l'évaluation des impacts différentiels de la participation à un programme est de sélectionner un groupe témoin qui ressemble étroitement au groupe de participants du programme. Le groupe témoin du programme du FI est composé de personnes qui satisfont les mêmes critères d'admissibilité et qui présentent les mêmes caractéristiques sociodémographiques que les participants au programme du FI, mais qui n'ont bénéficié que d'interventions mineures des SAE-EDMT et qui déclarent être en situation de handicap. Ainsi, le groupe témoin choisi est issu de ce groupe ayant bénéficié d'interventions mineures et qui a commencé à participer au programme pendant la même période de référence, soit de janvier 2011 à décembre 2012. Utiliser les participants des interventions SAE-EDMT comme groupe témoin présente plusieurs avantages :

• comme l'univers des dossiers des interventions SAE-EDMT est très vaste, il est possible d'obtenir des appariements étroits avec les participants du programme, tant du point de vue de leurs caractéristiques observables que du point de vue du moment de leur participation;
• la grande quantité de renseignements sur les participants aux interventions SAE-EDMT facilite l'utilisation des techniques d'appariement nécessaires pour évaluer les résultats contrefactuels des participants au FI (par exemple, type de handicap);
• les interventions SAE sont de faible intensité et de courte durée, ce qui représente un véritable groupe témoin « à traitement limité ».

3.2.2 Mise en œuvre de l'estimateur d'appariement combiné à la méthode des DD

Nous avons fait appel à une approche de pondération fondée sur les scores de propension pour mesurer les répercussions du programme. Cette approche vise à veiller à ce que les facteurs contextuels relatifs aux participants et aux membres du groupe témoin soient équilibrés (c'est-à-dire variables sociodémographiques et relatives aux antécédents sur le marché du travail) avant d'estimer les répercussions du programme. Nous avons fait appel à la technique d'appariement par noyau, qui utilise l'ensemble du groupe témoin et pondère les membres du groupe témoin chaque fois qu'ils sont comparés à un nouveau participant, en fonction des différences entre les coefficients de propension. Nous avons également utilisé la pondération selon la probabilité inverse et l'appariement par la recherche du plus proche voisin comme méthodes de validation des résultats de rechange. Veuillez noter que ces méthodes ont été jumelées à une méthode d'estimation de l'écart dans les différences des répercussions du programme. La méthode des doubles différences (DD) permet de tenir compte des caractéristiques non observées invariables dans le temps du groupe témoin, en supposant que les tendances de la période courante relatives à ces caractéristiques non observables sont les mêmes pour les périodes précédant et suivant la participation. Les figures 1 et 2 illustrent l'appariement et la méthode des DD.

Description textuelle de la figure 1

Cette figure présente un exemple simple de méthode d'appariement. Une méthode de pondération non expérimentale basée sur le score de propension est utilisée pour mesurer les répercussions du programme. Cette méthode vise à s'assurer que les participants et le groupe témoin sont équilibrés en fonction des facteurs contextuels (c'est-à-dire les variables sociodémographiques et les antécédents sur le marché du travail) avant d'estimer les répercussions du programme. Nous avons appliqué la technique de l'appariement avec fonction noyau, qui utilise l'ensemble du groupe témoin et pondère les membres du groupe témoin chaque fois qu'ils sont comparés à un nouveau participant, en fonction des différences entre les scores de propension.

Description textuelle de la figure 2

Cette figure présente un exemple simple de méthode des écarts dans les différences. Supposons que les prestataires d'assurance-emploi qui ont participé au programme gagnent en moyenne 8 000 $ de plus qu'au début du programme, comparativement à une augmentation moyenne de 5 000 $ gagnée par les personnes semblables participant au programme. L'incidence nette du programme serait une augmentation de 3 000 $ en moyenne.

Une brève description du modèle de score de propension et de la méthode des DD est fournie ci-dessous.

Modèle des scores de propension

Dans le présent rapport, le modèle de régression logit est utilisé pour estimer les scores de propension, qui sont la probabilité conditionnelle de participation au programme selon les variables d'avant la participation. L'appariement par score de propension utilise la distance entre les scores de propension estimés pour trouver des personnes présentant de similitudes. Les participants sont regroupés selon des cas de référence potentiels, et les modèles logistiques sont estimés pour prédire la probabilité de participation au programme du FI en fonction des caractéristiques de base des membres du groupe de participants et du groupe témoin. Les données utilisées pour le modèle englobent une grande quantité de caractéristiques reflétant les expériences sur le marché du travail et les caractéristiques sociodémographiques des participants et des cas de référence. Ces caractéristiques comprennent l'âge, le genre, l'état civil et le statut d'invalidité. Pour les deux groupes, les données fournissent des renseignements sur la province et la région économiques des participants, ainsi que sur leurs qualifications (par exemple, groupe professionnel, compétences liées au dernier emploi avant d'effectuer la demande d'assurance-emploi et codes de l'industrie). Enfin, les données fournissent également des renseignements sur les antécédents liés au marché du travail (notamment les prestations d'assurance-emploi, l'incidence de l'emploi et les revenus d'emploi) pour les cinq années précédant la participation.

Méthode des doubles différences (DD)

La méthode des DD est l'une des méthodes les plus répandues pour évaluer l'effet de causalité sur les principaux indicateurs de résultats de la participation à une intervention ou un programme. Elle est utilisée lorsque les variables dépendantes pour les participants et le groupe témoin sont observées sur deux périodes ou plus (avant et après une intervention). La méthode des DD exige que, en l'absence de l'intervention, la différence attendue des indicateurs de résultats entre les participants et le groupe témoin soit constante. Cela suppose une hypothèse de tendance commune ou une hypothèse de biais constant (Lechner, 2010). Cette différence attendue est mesurée de manière conventionnelle en comparant les tendances observables au cours de la période antérieure à l'intervention.

Dans le présent rapport, l'utilisation de l'appariement par score de propension combiné à la méthode des DD repose sur les trois hypothèses suivantes.

Hypothèse d'indépendance conditionnelle

L'hypothèse d'indépendance conditionnelle sous-tend que les variables communes qui ont une incidence sur l'affectation à la participation et les résultats propres à l'intervention sont observables. Un avantage de cette analyse est que les données administratives accessibles contiennent des renseignements précieux sur le type de handicap des participants et des membres du groupe témoin. Ainsi, ces renseignements permettent d'inclure dans le modèle de score de propension les variantes les plus pertinentes influençant la décision de participer aux interventions et les résultats sur le marché du travail. Dans ce contexte, l'hypothèse d'indépendance conditionnelle est considérée comme satisfaite dans le présent rapport.

Hypothèse de support commun

Cette hypothèse permet de s'assurer que les personnes avec les mêmes valeurs de covariables ont une probabilité positive d'être à la fois des participants et des non-participants (Heckman, LaLonde et Smith, 1999). En d'autres termes, chaque participant a un ou plusieurs « homologues » dans le groupe témoin avec le même profil de covariables, de sorte que des résultats contrefactuels appropriés peuvent être obtenus. L'hypothèse de support commun peut être vérifiée empiriquement. La façon la plus directe de le faire est par l'inspection visuelle de la densité de la répartition des scores de propension dans les deux groupes. La figure 3 présente la répartition des scores de propension avant et après l'appariement pour l'ensemble du programme du FI. Après l'appariement, nous observons un chevauchement important des participants et des cas de référence, et donc une capacité élevée correspondante à trouver des appariements appropriés. Une inspection visuelle indique qu'il n'y a pas de problème avec le support commun pour chacun des types d'intervention (figures C 1 à C 4 en annexe).

Description textuelle de la figure 3

Cette figure montre une inspection visuelle de la distribution de la densité du score de propension dans les participants et le groupe témoin avant et après l'appariement pour l'ensemble du programme du Fonds d'intégration pour les personnes handicapées. Le panneau de gauche, appelé « données brutes », représente la distribution de la densité avant l'appariement et le panneau de droite, appelé « données appariées », représente la distribution de la densité après l'appariement. Après l'appariement, nous observons un chevauchement important entre les participants et le groupe témoin, et donc une capacité élevée à trouver des appariements appropriés.

Hypothèse de stabilité du biais conditionnel

L'hypothèse de stabilité du biais conditionnel a été utilisée par crainte que certaines caractéristiques non observées et relativement stables (par exemple, capacité, motivation ou attrait) ne soient pas entièrement prises en compte en raison des données antérieures au programme accessibles, alors qu'elles peuvent avoir une incidence constante sur les résultats sur le marché du travail. De ce fait, cette analyse inclut dans le modèle de score de propension les variables antérieures à la participation.

Dans le présent rapport, l'algorithme de la technique d'appariement par noyau a été utilisé pour apparier les participants et les membres du groupe témoin selon leurs scores de propension. La technique d'appariement par noyau consiste en une technique non paramétrique qui utilise les moyennes pondérées des résultats de l'ensemble des membres du groupe témoin pour calculer le résultat contrefactuel. Un avantage important de cette approche est qu'elle réduit l'écart entre les effets estimés.

Qualité de l'appariement

La richesse des données administratives accessibles permet d'inclure dans le modèle de score de propension les variantes les plus pertinentes influençant la décision de participer aux interventions et les résultats sur le marché du travail. L'utilisation des caractéristiques socioéconomiques, des résultats d'avant la participation, des passages entre différentes situations d'emploi, des informations régionales et des antécédents sur le marché du travail diminue la probabilité d'une estimation biaisée des véritables effets de la participation. Un ensemble de variables riche (l'ensemble de variables utilisé pour l'analyse des impacts différentiels est indiqué ci-dessous) a été utilisé dans le présent rapport, y compris des variables sociodémographiques et les antécédents sur le marché du travail des participants (y compris les prestations d'assurance-emploi, l'incidence de l'emploi et les revenus d'emploi pour les cinq années précédant l'inscription au programme). Des études empiriques antérieures (Lechner et Wunsch, 2013) ont souligné l'importance de ces variables dans l'influence des décisions liées à la participation et des résultats.

4. Profil sociodémographique des participants

Dans cette section, nous discutons du profil sociodémographique de l'ensemble des participants au FI. Pour obtenir des détails sur le profil des participants pour chaque type d'intervention, veuillez consulter le tableau A 1 en annexe.

La plupart des participants au FI (n=5,567 ou environ 63 %) ont participé à l'intervention FI-SAAE, et environ 13 % (n=1,135) ont participé aux interventions de FI-CP. Comme le montre le tableau A 1 de l'annexe A, une plus grande proportion des participants (52 %) étaient des hommes, et 46 % étaient des femmes. Cette tendance se maintient pour les autres types d'interventions du FI, à l'exception de l'intervention CE, à laquelle une plus grande proportion de femmes ont participé (48 % et 53 % respectivement) que les hommes (44 % dans les deux cas). Globalement, selon le type de handicap, les personnes ayant des problèmes de santé mentale représentaient la majorité des participants (24 %), suivies des personnes ayant des handicaps physiques (19 %), des déficiences développementales (13 %) et des difficultés d'apprentissage (8 %). La majorité des participants avaient entre 31 et 54 ans (51 %), 30 % avaient moins de 30 ans, et 11 % avaient plus de 55 ans. La majorité des participants étaient non autochtones, non membres de minorités visibles et non immigrants. La majorité des participants au FI étaient célibataires (65 %) et résidaient en Ontario (40 %) ou en Colombie‑Britannique (15 %). Au cours de l'année précédant la participation au FI, 58 % des participants n'avaient pas de revenu d'emploi, 54 % avaient bénéficié de prestations d'aide sociale et près de 0 % avaient reçu des prestations d'assurance-emploi.

5. Résultats de l'analyse des impacts différentiels

Cette section présente les résultats de l'analyse des impacts différentiels du programme du FI sur les résultats sur le marché du travail. Nous aborderons tout d'abord les résultats globaux pour ensuite détailler les résultats de chaque intervention.

6. Analyse coûts-bénéfices

L'analyse des impacts différentiels évalue l'efficacité du programme à l'aide des estimations des impacts annuels sur une période de cinq ans après l'intervention du programme du FI (de 2011‑2012 jusqu'à 2017). Une analyse coûts-avantages plus approfondie a été menée pour avoir une estimation des coûts et des avantages du programme du FI sur une période de 10 ans suivant la participation (5 années d'observation plus 5 années projetées).

L'analyse coûts-avantages compare les coûts et les avantages du point de vue de la personne (qui est le participant), du gouvernement et, lorsqu'ils sont combinés, l'incidence finale sur la société. Conformément à l'approche prédominante dans la littérature sur l'évaluation (consulter Heckman et coll., 1999), l'avantage social net a été calculé en soustrayant les coûts du programme des volets relatifs aux avantages sociaux actualisés. L'analyse coûts-avantages est fondée sur les principaux coûts et avantages quantifiables. Les avantages des points de vue des personnes et du gouvernement sont les suivants :

• Revenus d'emploi
• Avantages sociaux
• Impôts fédéral et provinciaux sur le revenu
• Taxes de vente fédérale et provinciales
• Assurance-emploi
• Aide sociale
• Cotisations au Régime de pensions du Canada (RPC) ou au Régime de rentes du Québec (RRQ)
• Cotisations d'assurance-emploi

En matière de coûts, cette analyse prend en compte les coûts directs des interventions, qui sont les coûts du programme. De plus, les coûts indirects du programme sont le CMSFP^{Note de bas de page 12} (voir notamment Browning, 1987) et les pertes de revenus. Pour tenir compte du CMSFP, les coûts directs des ressources doivent être multipliés par un facteur plus grand que 1, dans le but de capter les distorsions découlant du financement du programme en augmentant les revenus fiscaux. Conformément à des conseils formulés des pairs évaluateurs experts, le CMSFP est calculé comme étant 20 % du coût de programme et des impacts subséquents sur les taxes de vente, les impôts sur le revenu ainsi que sur les dépenses en matière d'assurance-emploi et d'aide sociale.

L'analyse coûts-avantages estime les quatre indicateurs suivants.

Valeur actualisée nette (VAN) : Fondée sur l'approche dominante dans la littérature (Heckman et coll.,1997; Oddbjørn et coll., 2002; Skipper et coll., 2007), l'analyse détermine la VAN cinq ans après la fin de la participation en soustrayant le coût de programme des avantages actualisés.

Rapport coûts-avantages : Il montre si le montant des avantages générés par le programme surpasse les coûts engagés par son exécution.

Période de récupération : Elle fournit le temps estimatif requis pour que les avantages soient égaux aux coûts.

Rendement social : Le taux de rendement social est le rapport entre l'avantage net pour la société et les coûts directs des programmes pour le gouvernement. En d'autres termes, il montre la valeur en dollars de l'avantage net pour la société pour chaque dollar dépensé par le gouvernement dans un programme.

L'objectif principal de cette analyse est d'évaluer si les avantages économiques surpassent l'investissement du gouvernement dans le programme du FI. Plus précisément, elle vise à répondre aux questions suivantes :

• Le programme a-t-il entraîné des avantages financiers nets ou des pertes financières 10 ans après la participation au programme?
• Quand l'investissement dans le programme atteindra-t-il le seuil de rentabilité (équivalence des avantages et des coûts) des points de vue du gouvernement et de la société?
• Quel est le taux de rendement des investissements d'une intervention pour la société après 10 ans?

L'analyse examine les avantages et les coûts du programme du FI selon trois points de vue.

• Individu : Ce point de vue prend en compte les coûts engagés par les participants lorsqu'ils prennent part à l'intervention (revenus non touchés) et les avantages accumulés par les participants après l'intervention (profil de gains supérieurs par rapport aux non-participants).
• Gouvernement : Ce point de vue prend en compte les coûts directs de l'intervention assumés par les gouvernements, ainsi que les coûts associés à la distorsion fiscale, et les avantages connexes au profil de gains plus élevés des participants sous la forme d'un revenu fiscal plus important et d'une réduction des dépenses dans des programmes de soutien du revenu.
• Société : Ce point de vue combine les points de vue des individus et du gouvernement.

Un aspect important de l'analyse coûts-avantages consiste à déterminer qui supporte un coût ou récolte un avantage particulier. Ce qui peut être considéré comme un avantage d'un côté peut aussi constituer un coût d'un autre point de vue. Par exemple, une baisse au recours à l'assurance-emploi est une réduction du revenu chez les participants, mais est un avantage du point de vue du gouvernement. Les tableaux 3 et 4 portent sur les coûts et les avantages du point de vue des participants, du gouvernement et de la société.

Le point de vue de la société combine les points de vue des participants et du gouvernement. Pour un facteur donné, un gain net pour la société ne se produit que lorsqu'un gain pour un groupe ne se fait pas au détriment d'un autre groupe. Par exemple, l'augmentation des gains représente un avantage pour les participants, mais elle ne constitue ni un avantage ni un coût pour le gouvernement. Ainsi, le résultat net est un gain pour la société. Il y a coût pour la société lorsqu'un facteur est un coût d'un point de vue et n'est pas un gain de l'autre. À titre d'exemple, les coûts du programme représentent un coût pour le gouvernement, mais pas pour les participants. Ainsi, ils sont considérés comme un coût pour la société. Les facteurs qui constituent un gain net d'un certain point de vue, mais une perte nette d'un autre point de vue, n'ont aucune incidence sur le plan sociétal. À titre d'exemple, une réduction des prestations d'assurance-emploi peut représenter un coût pour les participants et un avantage pour le gouvernement, mais ni un coût ni un avantage du point de vue de la société.

La figure 4 illustre les coûts et les avantages de l'ensemble du programme du FI des points de vue du gouvernement et des participants. L'avantage net total pour le participant est de 7 803 $, et le coût net total pour le gouvernement est de 888 $ au cours des 10 ans suivant la période de participation. Il en résulte un avantage social net (en combinant les points de vue du gouvernement et des participants) de 6 915 $ ou un taux de rendement social^{Note de bas de page 13} de 170 % (9,44 % par année^{Note de bas de page 14}).

Description textuelle de la figure 4

Valeur actualisée nette pour le gouvernement

Analyse des composantes	Gouvernement
Coût total (en $)	-4,415 $
Assurance-emploi (en $)	-87 $
Aide sociale (en $)	319 $
Déductions gouvernementales (en $)	3,295 $
Valeur actualisée nette (en $)	-888 $

Valeur actualisée nette pour le participant

Analyse des composantes	Participant
Aide sociale (en $)	-319 $
Déductions gouvernementales (en $)	-3,295 $
Assurance-emploi (en $)	87 $
Revenus d'emploi (en $)	11,330 $
Valeur actualisée nette (en $)	7,803 $

• Source : Plateforme de données sur les programmes relatifs au marché du travail, Emploi et Développement social Canada.
• Remarques :
  1. Le coût total comprend le coût direct du programme et la perte (coût indirect) subie par la société lorsqu'il y a hausse des revenus (défini comme le coût social marginal des fonds publics qui représente 20 % du coût direct du programme), comme les impôts pour financer les dépenses publiques.
• 2. Les déductions du gouvernement comprennent les cotisations d'assurance-emploi, les cotisations au RPC/RRQ, l'impôt sur le revenu et les taxes de vente.
• 3. Les revenus d'emploi comprennent les avantages complémentaires (par exemple assurance-maladie payée par l'employeur, cotisations de retraite) et les gains perdus pendant le temps consacré au programme.

Dans l'ensemble, un investissement de 1 $ dans le programme du FI rapporte 1,70 $ sur une période de 10 ans après l'intervention. Du point de vue de la société, les avantages actualisés du programme du FI surpassent les coûts de programme en 3,8 ans. Toutes les interventions ont un taux de rendement social positif (figure 5), et l'intervention Compétences pour l'emploi a généré le taux de rendement social le plus élevé (4,40 $) parmi tous les types d'intervention.

Description textuelle de la figure 5

Rendement social parmi différents types d'intervention	Évaluation globale	Services améliorés d'aide à l'emploi	Compétences pour l'emploi	Subvention salariale ciblée	Expérience de travail
Rendement social (en $)	1.70 $	0.47 $	4.40 $	2.23 $	0.81 $

• Source : Plateforme de données sur les programmes relatifs au marché du travail, Emploi et Développement social Canada.
• Remarque : ^{Note de bas de page 1}Le seuil de rentabilité est atteint lorsque le montant de l'investissement fait par le gouvernement génère un montant équivalent d'avantages pour la société.

L'analyse coûts-avantages a tenu compte de tous les coûts et avantages quantifiables directement attribuables au programme en utilisant les données disponibles. L'analyse coûts-avantages est fondée sur les principaux coûts et avantages quantifiables disponibles dans la base de données administrative. Elle ne comprend pas les avantages intangibles comme l'amélioration du bien-être des personnes liée à de meilleurs résultats en matière de santé et à la réduction de la criminalité.

En plus d'améliorer les indicateurs du marché du travail, il est probable que les programmes actifs du marché du travail comme le Fonds d'intégration ont aussi une influence positive sur d'autres résultats sociaux comme la santé. Selon les résultats de la recherche, la participation au marché du travail et un revenu supérieur sont associés à de meilleurs résultats en matière de santé (par exemple, Institut canadien d'information sur la santé, 2015; Saunders et coll., 2017). Par conséquent, l'élargissement du cadre de coûts-avantages pour y inclure les économies potentielles découlant de l'amélioration des résultats en matière de santé (c'est-à-dire la réduction des dépenses du système de santé) pourrait avoir des répercussions positives supplémentaires pour les personnes et le gouvernement au-delà de ce qui est directement mesuré.

7. Conclusion

Le programme du FI a produit un gain important dans les revenus d'emploi, une augmentation de la participation au marché du travail et une diminution de la dépendance des participants au revenu d'aide sociale par rapport au groupe témoin. Les impacts positifs observés sont sensiblement les mêmes pour tous les types d'intervention. L'analyse des impacts différentiels et l'analyse coûts-avantages du programme du FI ont généré de solides résultats d'évaluation, qui démontrent que le programme améliore la participation au marché du travail et favorise un rendement social des investissements positif.

La principale méthode d'estimation utilisée pour déterminer les impacts différentiels était l'appariement avec fonction de noyau par scores de propension combiné à la méthode des doubles différences. Le modèle économétrique était fondé sur des renseignements étoffés au sujet de l'expérience du marché du travail des personnes, notamment les caractéristiques sociodémographiques et les antécédents sur le marché du travail. D'autres facteurs, comme la gravité du handicap ou l'éducation, peuvent aussi influencer la participation et les résultats. Toutefois, ces facteurs ne figurent pas dans les données disponibles. Par conséquent, il est possible que cela biaise les résultats dans la mesure où ils peuvent ne pas être également répartis entre les participants et les groupes témoins.

L'analyse coûts-avantages montre qu'au cours des 10 ans suivant la période de participation, le programme du FI a favorisé un important rendement des investissements net positif. D'un point de vue sociétal, les bénéfices l'emportent sur leurs coûts associés en moins de quatre ans. Dans l'ensemble, un investissement de 1 dollar dans le programme du Fonds d'intégration rapporte 1,7 dollar sur une période de 10 ans après l'intervention.

Les constatations de l'analyse des impacts différentiels du FI concordent avec la littérature et les études d'évaluation antérieures sur les programmes concernant le marché du travail qui utilisent des techniques et des méthodologies semblables. Le FI facilite l'intégration des personnes en situation de handicap au marché du travail et produit des effets positifs à long terme.

Références

Caliendo, M., et S. Kopeinig, Some Practical Guidance for the Implementation of Propensity Score Matching, document de travail no 1588, IZA, 2005.

Fredriksson, A. et G.M.D Oliveira, « Impact evaluation using Difference-in-Differences », RAUSP Management Journal, vol. 54, no 4, 2019, p. 519 à 532. doi : 10.1108/RAUSP-05-2019-0112

Browning, Edgar K., « Comparing Monopoly and Competition: The Increasing‐Cost Case », Western Economic Association International, vol. 25, no 3, 1987, p. 535 à 542.

Heckman J. J et J. A. Smith, « The Pre-Program Earnings Dip and the Determinants of Participation in a Social Program: Implications for Simple Program Evaluation Strategies », Economic Journal, vol. 109, no 457, p. 313 à 348.

Hernán, M.A. et J.M. Robins, Causal Inference: What If. Boca Raton: Chapman & Hall/CRC, 31 juillet 2020.

Höfler, M., « Causal inference based on counterfactuals », BMC Medical Research Methodology, vol. 5, no 28, 2005. doi : 10.1186/1471-2288-5-28.

Kluve, J., « Youth labor market interventions », IZA World of Labor, no 106, 2014. doi : 10.15185/izawol.106

Kluve, J, Puerto, S et coll., Interventions to Improve the Labour Market Outcomes of Youth: a systematic review of training, entrepreneurship promotion, employment services and subsidized employment interventions, Campbell systematic reviews, BIT, Genève, 2016, consulté le 27 février 2020. http://www.ilo.org/employment/Whatwedo/Publications/WCMS_508938/lang--fr/index.htm

Lechner, M., « The Estimation of Causal Effects by Difference-in-Difference Methods », University of St. Gallen Department of Economics working paper series, no 2010-28, 2010, mis à jour en octobre 2011.

Lechner M. et C. Wunsch, « Sensitivity of Matching-Based Program Evaluations of the Availability of Control Variables », CESifo, document de travail no 3381.

Leung, K., «Special Issue on Psychology of Severe Acute Respiratory Syndrome », Asian Journal of Social Physiology, vol. 7, no 1, 2004, p. 1.

Lochne, L., « Education, work and crime: Theory and evidence », International Economic Review, vol. 45, 2004, p. 811 à 843.

Rosenbaum, P. R. et D. B. Rubin, « The Central Role of the Propensity Score in Observational Studies for Causal Effects », Biometrika, vol. 70, no 1 (1983), p. 41-50.

Ryan, A.M., Kontopantelis, E., Linden, A. et J.F. Jr Burgess, « Now trending: Coping with Non-Parallel Trends in Difference-in-Differences Analysis », Statistical Methods in Medical Research, 2018, p. 3697 à 3711.

Wing, C., Simon, K. et Ricardo A. Bello-Gomez, « Designing Difference in Difference Studies: Best Practices for Public Health Policy Research », Annual Review of Public Health, vol. 39, no 1, 2018, p. 453 à 469.

Annexe A : Résultats détaillés sur les caractéristiques sociodémographiques

• Source : Plateforme de données sur les programmes relatifs au marché du travail, Emploi et Développement social Canada.

• Source : Plateforme de données sur les programmes relatifs au marché du travail, Emploi et Développement social Canada.

• Source : Plateforme de données sur les programmes relatifs au marché du travail, Emploi et Développement social Canada.
• Remarque :
  * Les 11 catégories initiales de types de handicap ont été subdivisées en 5 grandes catégories pour ajuster les données à celles du dossier du groupe témoin.
• **Le handicap physique comprend le handicap auditif, le trouble de la parole, le handicap moteur, le problème d'agilité et la déficience physique.

• Source : Plateforme de données sur les programmes relatifs au marché du travail, Emploi et Développement social Canada.

• Source : Plateforme de données sur les programmes relatifs au marché du travail, Emploi et Développement social Canada.

• Source : Plateforme de données sur les programmes relatifs au marché du travail, Emploi et Développement social Canada.

• Source : Plateforme de données sur les programmes relatifs au marché du travail, Emploi et Développement social Canada.

• Source : Plateforme de données sur les programmes relatifs au marché du travail, Emploi et Développement social Canada.

Annexe B : Résultats des impacts différentiels

• Source : Plateforme de données sur les programmes relatifs au marché du travail, Emploi et Développement social Canada.
• Remarque : Niveau de signification : ***1%, **5%, *10%

• Source : Plateforme de données sur les programmes relatifs au marché du travail, Emploi et Développement social Canada.
• Remarque : Niveau de signification : ***1%, **5%, *10%

• Source : Plateforme de données sur les programmes relatifs au marché du travail, Emploi et Développement social Canada.
• Remarque : Niveau de signification : ***1%, **5%, *10%

• Source : Plateforme de données sur les programmes relatifs au marché du travail, Emploi et Développement social Canada.
• Remarque : Niveau de signification : ***1%, **5%, *10%

Annexe C : Répartition des scores de propension avant et après l'appariement

Description textuelle de la figure C 1

Cette figure montre une inspection visuelle de la distribution de la densité du score de propension dans les participants et le groupe témoin avant et après l'appariement pour les Services améliorés d'aide à l'emploi du programme du Fonds d'intégration pour les personnes handicapées. Le panneau de gauche, appelé « données brutes », représente la distribution de la densité avant l'appariement et le panneau de droite, appelé « données appariées », représente la distribution de la densité après l'appariement. Après l'appariement, nous observons un chevauchement important entre les participants et le groupe témoin, et donc une capacité élevée à trouver des appariements appropriés.

Description textuelle de la figure C 2

Cette figure montre une inspection visuelle de la distribution de la densité du score de propension dans les participants et le groupe témoin avant et après l'appariement pour les Compétences pour l'emploi du programme du Fonds d'intégration pour les personnes handicapées. Le panneau de gauche, appelé « données appariées », représente la distribution de la densité avant l'appariement et le panneau de droite, appelé « données appariées », représente la distribution de la densité après l'appariement. Après l'appariement, nous observons un chevauchement important entre les participants et le groupe témoin, et donc une capacité élevée à trouver des appariements appropriés.

Description textuelle de la figure C 3

Cette figure montre une inspection visuelle de la distribution de la densité du score de propension dans les participants et le groupe témoin avant et après l'appariement pour les Subventions salariales du programme du Fonds d'intégration pour les personnes handicapées. Le panneau de gauche, appelé « données appariées », représente la distribution de la densité avant l'appariement et le panneau de droite, appelé « données appariées », représente la distribution de la densité après l'appariement. Après l'appariement, nous observons un chevauchement important entre les participants et le groupe témoin, et donc une capacité élevée à trouver des appariements appropriés.

Description textuelle de la figure C 4

Cette figure montre une inspection visuelle de la distribution de la densité du score de propension dans les participants et le groupe témoin avant et après l'appariement pour l'Expérience de travail du programme du Fonds d'intégration pour les personnes handicapées. Le panneau de gauche, appelé « données appariées », représente la distribution de la densité avant l'appariement et le panneau de droite, appelé « données appariées », représente la distribution de la densité après l'appariement. Après l'appariement, nous observons un chevauchement important entre les participants et le groupe témoin, et donc une capacité élevée à trouver des appariements appropriés.