Étude d’évaluation exploratoire de certains programmes du marché du travail selon une approche d’analyse comparative entre les sexes plus

Formats substituts

Étude d’évaluation exploratoire de certains programmes du marché du travail selon une approche d’analyse comparative entre les sexes plus [PDF - 3.8 Mo]

Les formats en gros caractères, braille, MP3 (audio), texte électronique, et DAISY sont disponibles sur demande en commandant en ligne ou en composant le 1 800 O-Canada (1-800-622-6232). Si vous utilisez un téléscripteur (ATS), composez le 1-800-926-9105.

Sommaire

Aperçu du rapport

La Direction de l’évaluation d’EDSC a mené la présente étude exploratoire à l’appui du programme ministériel d’ACS Plus.

La présente étude visait à déterminer si une nouvelle méthode d’apprentissage automatique pouvait fournir des données détaillées sur les impacts des programmes en fonction de différents facteurs identitaires intersectionnels. L’étude visait également à établir des techniques quantitatives optimales et des pratiques exemplaires pour effectuer l’ACS Plus en vue d’évaluer les programmes du marché du travail. Ainsi, les décideurs peuvent mieux comprendre « ce qui fonctionne pour qui » et contribuer à la conception et à la prestation des programmes du marché du travail.

L’analyse porte sur 2 programmes actifs du marché du travail et tire parti des riches données administratives disponibles. Ces programmes sont les EDMT et le FIPH. L’étude tient compte des questions d’évaluation suivantes :

1. 1) Les impacts des diverses interventions appuyant les résultats d’emploi des participants présentent-ils des différences significatives selon le genre et d’autres caractéristiques sociodémographiques intersectionnelles observables?
2. 2) Comment ces impacts propres à un sous-groupe se comparent-ils à l’impact moyen pour l’ensemble des participants?

L’étude a utilisé des données administratives recueillies au moyen d’un panel provenant de la Plateforme de données du programme du marché du travail. Cette analyse couvre tous les participants qui ont participé à une intervention d’avril 2010 à décembre 2012. Les participants sont suivis jusqu’à l’année civile 2018 (les dossiers d’impôt les plus récents au moment de l’évaluation). Cette démarche a permis d’examiner les impacts différentiels sur une période d’au moins 5 ans après la participation.

La nouveauté de la présente étude réside dans l’utilisation d’une méthode d’apprentissage automatique causal connue sous le nom de « forêt causale modifiée » [Modified Causal Forest ou MCF en anglais]. Cette approche aide à comprendre comment les impacts des programmes varient en allant au-delà de l’impact moyen. Elle fournit des résultats détaillés sur la façon dont les impacts des programmes varient en fonction des facteurs identitaires intersectionnels. Des études d’évaluation antérieures des programmes du marché du travail ont utilisé les méthodes d’appariement par score de propension combinées à la méthode des doubles différences. Ces méthodes ont permis d’examiner les impacts différentiels moyens pour certains sous-groupes prédéfinis. Bien que ces méthodes fournissent des résultats fiables, elles ne permettent pas une analyse détaillée des facteurs identitaires intersectionnels.

Les constatations suggèrent que la méthode d’apprentissage automatique peut fournir une analyse de l’impact plus détaillée au niveau des sous-groupes. On peut y parvenir lorsqu’on dispose de grands échantillons de données désagrégées. L’analyse a également permis de mieux comprendre les différences entre les genres au sein de chaque sous-groupe. Enfin, quand on examine les résultats de tous les programmes, il est possible de voir quels programmes fonctionnent le mieux pour divers sous-groupes.

L’analyse montre que certains sous-groupes de participants profitent plus que d’autres d’interventions particulières. Les renseignements tirés d’une telle analyse approfondie pourraient aider à éclairer les décisions qui impliquent l’allocation des ressources à divers types de programmes de soutien à l’emploi. Lorsqu’ils interprètent les résultats, les lecteurs doivent garder à l’esprit que les résultats obtenus pour chaque programme et type d’intervention ne sont pas directement comparables entre eux.

La présente étude a fourni des exemples de résultats en matière d’impact qui pourraient appuyer les évaluations futures lorsque des données de qualité sur les participants seront disponibles. Les constatations indiquent que l’apprentissage automatique pourrait devenir un outil utile pour appuyer les engagements du Ministère envers l’ACS Plus. Les évaluations qui comprennent des sources de données complémentaires (par exemple entrevues avec des informateurs clés, groupes de discussion) peuvent contextualiser davantage ces résultats. Ces sources de données peuvent permettre une compréhension plus précise des différences entre les principaux sous-groupes de participants. Par conséquent, il est essentiel de recueillir des données pertinentes sur les programmes afin d’en évaluer les impacts. Cela appuie l’élaboration de politiques fondées sur des données probantes conformément aux objectifs de la Politique sur les résultats.

Principales constatations

Au cours de la période de 5 ans qui a suivi l’intervention, les participants aux EDMT et au FIPH ont vu leur revenu d’emploi annuel moyen augmenter comparativement aux non-participants. Ils ont également vu une augmentation de leur incidence d’emploi par rapport aux non-participants au cours de la même période. Ces résultats concordent avec les constatations des évaluations antérieures des EDMT et du FIPH.

Bien que la plupart des sous-groupes aient bénéficié des programmes, l’analyse a révélé que les impacts des programmes variaient quelque peu entre les sous-groupes de participants. Les résultats suggèrent que, comparativement à d’autres sous-groupes :

• les nouveaux immigrants de sexe masculin qui étaient des prestataires actifs de l’assurance-emploi :
  • ont connu la plus forte réduction de la dépendance à l’égard du soutien au revenu du DC;
  • ont connu la plus forte augmentation des revenus d’emploi des SSC;
• les participants de sexe masculin d’âge moyen :
  • ont connu une réduction plus importante de la dépendance à l’égard du soutien au revenu du DC;
• les participants de minorités visibles (femmes et hommes) :
  • ont connu la plus forte amélioration des gains d’emploi et de l’incidence de l’emploi découlant de la participation aux SSC;
• les participantes âgées de plus de 54 ans :
  • ont connu la plus forte amélioration des gains d’emploi grâce aux interventions du DC ou des SSC du FIPH.

L’analyse a également évalué s’il existait des différences entre les genres en calculant la différence des impacts des programmes entre les sous-groupes de femmes et d’hommes. Cependant, pour la plupart des sous-groupes, les résultats n’étaient pas statistiquement significatifs, ce qui suggère que les impacts des programmes ne varient pas selon le genre.

Ces principales constatations sont utiles pour expliquer les impacts positifs nets des interventions des programmes sur les participants. Toutefois, d’autres études utilisant des méthodes de recherche qualitative pourraient aider à comprendre pourquoi certains groupes en ont moins profité. Les futurs cycles d’évaluation des programmes actifs du marché du travail pourraient comprendre à la fois des méthodes de recherche qualitative et la nouvelle méthode d’apprentissage automatique. Cela pourrait aider à comprendre quelles interventions fonctionnent le mieux pour qui.

Limites et considérations

L’étude confirme que les nouvelles méthodes d’apprentissage automatique peuvent être efficaces pour effectuer une analyse causale avancée. Elles peuvent également être efficaces pour attribuer les impacts d’interventions précises à des sous-groupes particuliers. L’analyse des impacts différentiels compare les résultats des participants du marché du travail avec ceux de non-participants semblables. Cela permet de savoir ce qui se serait passé sans l’intervention.

Les résultats démontrent que la méthode de forêt causale modifiée a réussi à produire des résultats solides fondés sur le genre lorsque les ensembles de données sont suffisamment volumineux. Les futures études d’évaluation pourraient utiliser la méthode de forêt causale modifiée pour évaluer les impacts du programme au niveau individuel et en fonction de facteurs identitaires intersectionnels. Bien que cette méthode soit prometteuse, l’étude a mis en évidence les limites suivantes à prendre en compte lors de la planification d’études similaires à l’avenir.

Du point de vue de l’ACS Plus, l’analyse se limitait aux renseignements disponibles dans les données administratives. Par exemple, les données administratives comprennent le sexe biologique des participants combiné à d’autres facteurs sociodémographiques ou identitaires. Cependant, aucun renseignement autre que le sexe biologique n’était disponible dans les ensembles de données administratives concernant les identifiants de genre des participants. Par conséquent, l’une des limites de cette étude vient du fait qu’elle combine le sexe biologique (utilisé comme indicateur du genre) et d’autres caractéristiques sociodémographiques. À l’avenir, l’ajout d’autres sources de données (données du recensement de Statistique Canada) pourrait permettre une analyse plus précise des données. Cela assurera de mener des activités d’analyse des politiques, de recherche et d’évaluation plus utiles et plus pertinentes dans une perspective d’ACS Plus.

Ce type d’analyse causale avancée nécessite de grands ensembles de données. Plus l’ensemble de données est volumineux, plus les résultats sont fiables et solides. L’étude a bénéficié d’un nombre important de participants et de non-participants obtenus à partir de la Plateforme de données du programme du marché du travail. C’est ce qui a permis à l’analyse de produire des résultats statistiquement significatifs pour 2 principales interventions sous forme de programmes. L’étude aurait pu produire des résultats encore plus détaillés en disposant d’un ensemble de données plus volumineux. Elle pourrait le faire en combinant le genre et d’autres facteurs intersectionnels (par exemple l’âge et l’appartenance à une minorité visible). Mais surtout, cela signifie que lorsque les données sur les programmes sont limitées, l’apprentissage automatique ne peut pas produire de résultats solides.

Dans l’ensemble, les résultats concordent avec les évaluations précédentes. Toutefois, pour certaines interventions, nous avons observé de légères différences quant à l’ampleur et au niveau de signification statistique. Une analyse comparative approfondie aidera à expliquer les différences entre les résultats produits par la méthode de forêt causale modifiée et ceux produits par la méthode d’appariement. Un examen plus poussé pourrait aider à comprendre les paramètres optimaux pour l’utilisation de la méthode de forêt causale modifiée en fonction du nombre d’observations disponibles. Cela suggère que, bien que la méthode d’apprentissage automatique ait donné de bons résultats avec de grands ensembles de données, l’appariement par score de propension demeure une méthode pertinente. L’appariement par score de propension est une approche solide et polyvalente qui permet de produire une analyse de l’impact net moyen des interventions avec un plus petit nombre de participants.

Cette analyse a examiné les impacts par intervention. Pour chaque intervention, l’étude a utilisé un groupe de comparaison unique. Pour cette raison, les résultats ne sont pas directement comparables entre les programmes ou interventions. Le fait d’avoir un groupe de comparaison unique à chaque intervention a permis de mieux refléter l’ensemble des caractéristiques observables de leurs participants respectifs à ce moment-là.

En outre, l’étude a utilisé l’EPA comme unité d’analyse. Elle a désigné l’intervention la plus longue au sein d’un EPA comme étant l’intervention principale. Par conséquent, l’étude ne s’intéresse pas à la participation à de multiples interventions des participants. À l’avenir, d’autres recherches pourraient examiner comment la combinaison et la séquence de ces interventions peuvent influer sur les impacts des programmes.

1. Introduction

La Direction de l’évaluation a mené cette étude exploratoire à l’appui du programme ministériel d’ACS Plus. Elle appuie également l’engagement du gouvernement du Canada à évaluer les impacts possibles des politiques, des programmes et des services sur divers groupes. Le genre et d’autres facteurs identitaires intersectionnels (comme l’âge, l’incapacité, l’identité autochtone, l’appartenance à une minorité visible et le statut d’immigrant) définissent les caractéristiques des groupes de l’ACS Plus.

La présente étude examine si une nouvelle méthode d’apprentissage automatique pourrait fournir des données plus détaillées sur « ce qui fonctionne le mieux pour qui » à l’aide d’une optique d’ACS Plus. Les évaluations futures pourraient tenir compte de cette méthode afin de fournir de nouveaux renseignements sur la façon dont les impacts des programmes varient entre les divers groupes. Ces renseignements pourraient ensuite s’avérer utiles pour éclairer d’autres recherches et analyses qualitatives à l’appui de la conception et de la mise en œuvre des programmes.

La section sur la méthodologie donne un aperçu de la méthode d’apprentissage automatique et des sources de données. La section sur les résultats présente les points saillants de l’analyse des principaux programmes. Elle illustre que la méthode d’apprentissage automatique a été efficace pour produire des impacts robustes et détaillés sur les programmes en fonction des facteurs identitaires intersectionnels de l’ACS Plus.

Bien que les résultats soient prometteurs, le présent rapport traite également des considérations et des limites qui peuvent éclairer les prochaines étapes et les futures analyses de l’ACS Plus.

2. Contexte

Depuis 2011, le gouvernement du Canada s’est engagé à utiliser l’ACS Plus pour faire progresser l’égalité entre les genres au Canada. L’adoption de la budgétisation axée sur les genres a été l’une des principales initiatives de promotion de ce programme. La Loi canadienne sur la budgétisation sensible aux sexes de 2018 incarne cet important programme. La Loi vise en partie à faire en sorte que le gouvernement tienne compte du genre et de la diversité dans l’allocation des ressources publiques.

Les programmes d’EDSC touchent la vie des Canadiens de l’ensemble du pays. Le Ministère veille à ce que ces programmes et services répondent aux divers besoins de tous les Canadiens. L’intégration d’une optique d’ACS Plus dans les évaluations peut aider à cerner les obstacles à l’accès et les inégalités systémiques vécues par divers groupes. À cette fin, cette étude d’évaluation exploratoire examine 2 programmes actifs du marché du travail. Elle évalue leur impact dans divers groupes définis par le genre et d’autres facteurs identitaires intersectionnels. Ces programmes sont les EDMT et le FIPH.

Ils visent à améliorer les résultats des participants sur le marché du travail au moyen de services de formation et de soutien. Les EDMT sont des ententes bilatérales entre le Canada et chaque province et territoire. Leur objectif est de concevoir et d’offrir des prestations d’emploi et des mesures de soutien. Ils visent à aider les personnes à se préparer à l’emploi, à obtenir un emploi et à se maintenir en emploi. Le FIPH permet d’aider les personnes en situation d’handicap à se préparer à trouver et à conserver un emploi, et à progresser dans leur carrière. Il aide également les employeurs à embaucher des personnes en situation d’handicap et à les intégrer au milieu de travail, ainsi qu’à créer des milieux de travail inclusifs et accessibles.

En s’appuyant sur des données administratives de grande qualité, EDSC a évalué l’impact des programmes actifs du marché du travail en comparant les résultats des participants à ceux des non-participants. Il existe diverses méthodes pour établir des groupes de comparaison de non-participants. Les méthodes les plus courantes (par exemple, l’appariement par score de propension) permettent d’estimer les impacts moyens des programmes. Toutefois, ces résultats ne sont pas suffisamment détaillés pour permettre une analyse approfondie du sous-groupe ou une ACS Plus. Par conséquent, les méthodes utilisées dans les évaluations précédentes ne mesuraient que les impacts moyens des programmes.

Plus récemment, la Direction de l’évaluation a eu recours à une approche d’apprentissage automatique pour examiner si l’efficacité des EDMT varie selon les caractéristiques sociodémographiques des participants. Cette étude a fourni non seulement l’effet moyen de traitement, mais aussi les impacts différentiels selon le genre et d’autres sous-groupes sociodémographiques. Elle a démontré que les EDMT avaient généralement un impact positif sur les participants. Cependant, des études comme celle-ci n’ont pas examiné les facteurs intersectionnels dans l’optique de l’ACS Plus.

L’étude actuelle va au-delà de l’ACS Plus et évalue les impacts des programmes, en intersection avec le genre et d’autres caractéristiques. Par exemple, elle évalue les impacts des programmes pour les participantes qui étaient également des Autochtones. Elle utilise une méthode novatrice d’apprentissage automatique causal appelée « forêt causale modifiée » qui peut analyser l’impact à une échelle beaucoup plus détaillée. Elle peut fournir des constatations statistiquement significatives sur l’impact des programmes sur les groupes de participants de l’ACS Plus. Ces constatations peuvent aider à comprendre « ce qui fonctionne le mieux pour qui » et éclairer les politiques et la prestation des programmes du marché du travail.

3. Données et méthode

3.2. Méthode

La méthode utilisée dans la présente étude estime l’efficacité des programmes des EDMT et du FIPH. Pour ce faire, elle compare les résultats des participants aux résultats contrefactuels. Les résultats contrefactuels sont les résultats que les participants auraient obtenus s’ils n’avaient pas participé au programme. Pour comparer les participants avec les non-participants au cours de la période de référence, l’analyse doit inclure un groupe de comparaison approprié pour « jouer le rôle » d’élément contrefactuel.

Le groupe de comparaison pour les prestataires actifs était constitué des prestataires actifs de l’assurance-emploi qui étaient admissibles au programme, mais qui n’y ont pas participé. Pour les anciens prestataires et les non-prestataires de l’assurance-emploi, il n’a pas été possible de déterminer un groupe de comparaison de non-participants à l’aide des données administratives disponibles. L’étude a donc plutôt porté sur les anciens prestataires et les non-prestataires de l’assurance-emploi qui ont reçu des services d’aide à l’emploi. On a ainsi obtenu un groupe de comparaison de personnes qui ont bénéficié de services d’emploi de faible intensité au cours de la même période de référence.

Cette étude porte sur 3 types de variables dépendantes fondées sur les antécédents du marché du travail :

• les revenus d’emploi (c’est-à-dire les revenus d’un emploi rémunéré ou d’un travail autonome);
• l’incidence de l’emploi (c’est-à-dire la probabilité d’avoir un emploi au cours d’une année donnée);
• la dépendance à l’égard du soutien au revenu (c’est-à-dire la probabilité de dépendre du soutien au revenu fourni par le gouvernement au cours d’une année donnée).

Pour chaque résultat, l’étude a estimé les impacts annuels moyens sur la période de 5 ans suivant une intervention.

Cette analyse a utilisé des données qui couvrent un grand nombre de caractéristiques reflétant l’expérience des personnes sur le marché du travail, notamment :

• les caractéristiques sociodémographiques des participants et des non participants (par exemple, l'âge, le genre, l’état civil, le handicap);
• la province et la région économiques;
• leurs qualifications (par exemple, groupe professionnel, niveaux de compétence liés à leur dernier emploi avant l’ouverture de leur demande d’assurance-emploi, codes de l’industrie);
• leurs antécédents sur le marché du travail (par exemple recours aux prestations d’assurance-emploi et à l’aide sociale, revenus d’emploi, incidence de l’emploi au cours des 5 années précédant la participation).

L’étude utilise une méthode d’apprentissage automatique causale appelée la forêt causale modifiée. Elle estime l’impact des programmes du marché du travail en fonction de facteurs identitaires. La méthode est basée sur la forêt causale proposée par Wager et Athey (2018). Cette étude est l’une des premières à appliquer la méthode de forêt causale modifiée à l’ACS Plus à l’aide de données administratives.

Pour effectuer cette analyse, l’étude a divisé la population en 2 groupes :

• données de formation : données employées pour construire le modèle de forêt causale modifiée;
• données d’essai : données employées pour estimer les impacts de l’intervention.

Au cours de la phase de formation, l’algorithme de forêt causale modifiée construit le modèle en divisant l’échantillon de données en petits groupes appelés strates. L’algorithme vise à rendre ces strates aussi homogènes que possible. Il vise également à atténuer l’effet de sélection et à découvrir la variabilité de l’impact. Puis, le modèle formé calcule les impacts des programmes dans chaque strate. Pour ce faire, il calcule la différence entre les résultats moyens des participants (groupe de traitement) et des non-participants (groupe de contrôle). Ces phases permettent d’éviter les erreurs qui pourraient survenir si l’analyse utilisait les mêmes ensembles de données pour former le modèle et estimer l’impact de l’intervention.

Comme le montre la figure 1, la FCM permet de produire des résultats qui estiment les impacts nets à 3 niveaux d’agrégation :

• les EMTI, qui mesurent l’impact de la participation par rapport à la non-participation pour les personnes ayant des caractéristiques particulières;
• les EMTG, qui se situent entre les EMTI et les EMT par rapport à leurs niveaux d’agrégation;
• les EMT et l’EMTT, qui représentent l’impact moyen sur la population des participants au niveau agrégé.

Effet moyen de traitement individuel (EMTI)

Précédemment indisponible

Effet moyen de traitement de groupe (EMTG)

Précédemment indisponible

Effet moyen de traitement (EMT)

Précédemment disponible

Figure 1 — Version textuelle

Représentation visuelle du modèle de forêt causale modifiée. Le modèle permet de produire des résultats qui estiment les impacts nets à 3 niveaux d’agrégation :

• les EMTI (non disponibles auparavant) mesurent l’impact de la participation par rapport à la non-participation pour les personnes ayant des caractéristiques particulières;
• les EMTG (non disponibles auparavant) mesurent l’incidence de la participation par rapport à la non-participation pour les groupes ayant des caractéristiques particulières (c'est-à-dire les hommes et les femmes);
• les EMT (disponibles auparavant) représentent l’impact moyen sur la population des participants au niveau agrégé.

Pour chaque sous-groupe, nous avons calculé la différence des impacts entre les sous-groupes de femmes et d’hommes. Lorsque les différences entre les genres des impacts des programmes étaient statistiquement significatives, nous avons utilisé une approche connue sous le nom d’équilibre de l’entropie. L’équilibre de l’entropie aide à produire une estimation équilibrée de ce que seraient les impacts différentiels pour les hommes s’ils possédaient des caractéristiques semblables à celles des femmes.

Cette approche est nouvelle comparativement à l’approche d’appariement utilisée dans les évaluations précédentes à EDSC. L’approche d’appariement n’est pas optimisée pour détecter la façon dont les impacts des programmes varient d’un participant à l’autre. La FCM permet d’évaluer l’impact par sous-groupes et de parvenir à une compréhension plus précise de « ce qui fonctionne le mieux pour qui ». L’approche d’appariement ne fournit que les EMT. L’algorithme de la forêt causale modifiée présente un avantage majeur en estimant conjointement les EMTI, les EMTG et les EMT. Il le fait de manière cohérente à l’interne (par agrégation).

Une limite possible de cette étude tient à la possibilité qu’il y ait eu des différences préexistantes entre les participants et les non-participants. Le processus d’appariement n’aurait pas pu mesurer ces différences, le cas échéant. Ces facteurs comprennent la capacité, la santé et la motivation à chercher un emploi. La qualité des données et des renseignements disponibles permet de s’assurer que les différences préexistantes sont généralement bien saisies. Par exemple, l’étude a utilisé des données et des renseignements riches sur les antécédents des participants et des non-participants sur le marché du travail et sur leur niveau de compétences lié à leur dernière profession. Néanmoins, le processus d’appariement pourrait être peaufiné pour des sous-groupes particuliers à mesure que des renseignements supplémentaires deviennent disponibles. Par exemple, cela comprendrait le type et la gravité de l’incapacité des personnes en situation d’handicap. Cela pourrait aussi comprendre le pays d’origine et le niveau de compétence en anglais ou en français des nouveaux immigrants.

4. Résultats

4.1.1. Développement des compétences (DC)

Tous les sous-groupes ont vu leurs résultats s’améliorer sur le marché du travail grâce aux interventions de DC.

La figure 2 montre les impacts différentiels de l’intervention de DC selon le genre et pour différents sous-groupes. Les résultats prennent la forme d’augmentations ou de diminutions annuelles moyennes au cours de la période de 5 ans suivant la participation au programme, par rapport à des non-participants semblables. L’étude fournit des résultats pour 3 indicateurs : les revenus d’emploi, l’incidence de l’emploi et la dépendance à l’égard du soutien au revenu.

En particulier, pour le sous-groupe des nouveaux immigrants de sexe masculin, l’intervention a mené à :

• une augmentation annuelle moyenne de 2 535 $ des gains après participation pour les participants;
• une augmentation annuelle moyenne de 7,3 points de pourcentage de l’incidence de l’emploi pour les participants;
• une augmentation annuelle moyenne de 7,3 points de pourcentage de la dépendance à l’égard du soutien au revenu pour les participants.

Ces résultats concordent avec les résultats de l’analyse d’appariement par score de propension de l’évaluation du troisième cycle des EDMT en ce qui concerne l’orientation et l’ampleur des impacts.

• Notation pour les niveaux de signification statistique : *** niveau de 1 %, ** niveau de 5 %, * niveau de 10 %. L'effet moyen global du traitement sur les participants est représenté par la ligne pointillée

Figure 2 — Version textuelle

Impacts différentiels selon le sexe et les autres sous-groupes pour les prestataires actifs dans DC, période de 5 ans après la participation, moyennes annuelles

Sous-groupes	Revenus d’emploi ($) Féminin	Revenus d’emploi ($) Masculin
30 ans et moins	2,969***	3,210***
31 à 54 ans	2,323***	2,651***
55 ans et plus	3,070***	2,261**
Minorité visible	2,387***	2,647***
Personnes en situation d’handicap	2,781***	3,040***
Autochtones	3,013***	3,420***
Immigrants récents	2,127***	2,535***

• L’effet moyen de traitement global sur les participants pour les gains d’emploi est de 2 962 $*** (ligne pointillée).

Sous-groupes	Incidence de l’emploi (points de pourcentage) Féminin	Incidence de l’emploi (points de pourcentage) Masculin
30 ans et moins	5.5***	4.9***
31 à 54 ans	4.4***	4.2***
55 ans et plus	11.3***	10.1***
Minorité visible	6.1***	6.5***
Personnes en situation d’handicap	6.1***	5.6***
Autochtones	6.5***	5.9***
Immigrants récents	6.4***	7.3***

• L’effet moyen de traitement global sur les participants pour l’incidence de l’emploi est de 5,2 points de pourcentage*** (ligne pointillée).

Sous-groupes	Dépendance au soutien au revenu (points de pourcentage) Féminin	Dépendance au soutien au revenu (points de pourcentage) Masculin
30 ans et moins	-0.5	-0.8
31 à 54 ans	-0.6	-1.0**
55 ans et plus	1.1	1.1
Minorité visible	-0.6	-0.6
Personnes en situation d’handicap	0.0	0.6
Autochtones	-0.3	-0.5
Immigrants récents	-0.7	-1.1*

• L’effet moyen de traitement global sur les participants pour la dépendance à l’égard du soutien au revenu est de -0,6 point de pourcentage (ligne pointillée).
• Notes: Notation pour les niveaux de signification statistique : *** niveau de 1 %, ** niveau de 5 %, * niveau de 10 %.

La plupart des prestataires actifs de l’AE qui ont participé à l’intervention de DC ont en commun une augmentation de leur revenu d’emploi ainsi que de leur incidence d’emploi. Les résultats pour l’impact moyen sur les participants (figures B1.1.1, B1.1.2 et B1.1.3 dans l’annexe B) indiquent que, dans l’ensemble :

• 94 % des participants ont vu leur incidence d’emploi augmenter;
• 92 % des participants ont augmenté de leurs revenus d’emploi;
• 59 % des participants ont réduit leur dépendance à l’égard du soutien au revenu.

La figure 2 présente une ventilation plus détaillée des impacts des programmes. Elle montre que tous les sous-groupes ont accru leur participation au marché du travail grâce à l’augmentation des revenus d’emploi et de l’incidence de l’emploi. Seule l’ampleur des impacts varie entre les sous-groupes. En ce qui concerne la dépendance à l’égard du soutien au revenu, les participants de sexe masculin âgés de 31 à 54 ans et les nouveaux immigrants de sexe masculin sont ceux qui en ont le plus profité.

L’analyse visait également à déterminer s’il y avait des différences entre les genres au sein de chacun des sous-groupes. Pour ce faire, l’étude a calculé la différence des impacts des programmes entre les sous-groupes de femmes et d’hommes. Cependant, aucun résultat n’était statistiquement significatif, ce qui suggère que les impacts du programme peuvent ne pas varier selon le genre dans chaque sous-groupe. Par conséquent, nous n’avons pas pu conclure que l’intervention de DC touche différemment les participants de sexe féminin et de sexe masculin.

4.1.2. Subventions salariales ciblées (SSC)

Dans l’ensemble, tous les sous-groupes de participants aux SSC ont vu leur incidence d’emploi augmenter.

La figure 3 montre les impacts différentiels des SSC selon le genre et pour différents sous-groupes. Les résultats prennent la forme d’augmentations annuelles moyennes au cours de la période de 5 ans suivant la participation au programme, par rapport à des non-participants semblables. L’étude fournit des résultats pour 3 indicateurs : les revenus d’emploi, l’incidence de l’emploi et la dépendance à l’égard du soutien au revenu.

En particulier, pour le sous-groupe des nouveaux immigrants de sexe masculin, l’intervention a mené à :

• une augmentation annuelle moyenne de 2 577 $ des gains après participation pour les participants;
• une augmentation annuelle moyenne de 4,6 points de pourcentage de l’incidence de l’emploi pour les participants;
• une augmentation annuelle moyenne de 0,4 point de pourcentage de la dépendance à l’égard du soutien au revenu pour les participants (non statistiquement significative).

De plus, pour le sous-groupe des minorités visibles, l’intervention a mené à :

• une augmentation annuelle moyenne des gains après la participation de 1 663 $ pour les participantes et de 1 831 $ pour les participants;
• une augmentation annuelle moyenne de l’incidence de l’emploi de 5,1 points de pourcentage pour les participantes et de 4,6 points de pourcentage pour les participants;
• une diminution annuelle moyenne de la dépendance à l’égard du soutien au revenu de 0,2 point de pourcentage pour les participantes et de 1,6 point de pourcentage pour les participants (toutes 2 non statistiquement significatives).

Ces résultats concordent avec les résultats de l’analyse d’appariement par score de propension de l’évaluation de troisième cycle des EDMT. Cependant, nous pouvons observer quelques différences marginales en matière d’ampleur et de niveau de signification statistique. Les prochains cycles d’évaluation pourraient comprendre d’autres études pour expliquer certaines des différences.

• Notation pour les niveaux de signification statistique : *** niveau de 1 %, ** niveau de 5 %, * niveau de 10 %. L'effet moyen global du traitement sur les participants est représenté par la ligne pointillée.

Figure 3 — Version textuelle

Impacts différentiels par sexe et par d’autres sous-groupes pour les prestataires actifs dans les SSC, période de 5 ans après la participation, moyennes annuelles

Sous-groupes	Revenus d’emploi ($) Féminin	Revenus d’emploi ($) Masculin
30 ans et moins	905	1,177
31 à 54 ans	696	710
55 ans et plus	1,755**	1,377
Minorité visible	1,663**	1,831**
Personnes en situation d’handicap	511	382
Autochtones	932	757
Immigrants récents	1,281	2,577***

• L’effet moyen de traitement global sur les participants pour les gains d’emploi est de 937 $ (ligne pointillée).

Sous-groupes	Incidence de l’emploi (points de pourcentage) Féminin	Incidence de l’emploi (points de pourcentage) Masculin
30 ans et moins	5.3***	3.6**
31 à 54 ans	3.3***	2.0*
55 ans et plus	3.0	1.7
Minorité visible	5.1***	4.6***
Personnes en situation d’handicap	3.1	2.6
Autochtones	3.3**	2.0
Immigrants récents	4.1**	4.6**

• L’effet moyen de traitement global sur les participants pour l’incidence de l’emploi est de 2,9 points de pourcentage** (ligne pointillée).

Sous-groupes	Dépendance au soutien au revenu (points de pourcentage) Féminin	Dépendance au soutien au revenu (points de pourcentage) Masculin
30 ans et moins	-0.2	-0.5
31 à 54 ans	-0.4	-0.8
55 ans et plus	-0.3	-0.6
Minorité visible	-0.2	-1.6
Personnes en situation d’handicap	-0.6	-0.8
Autochtones	-0.8	-0.7
Immigrants récents	0.1	-0.4

• L’effet moyen de traitement global sur les participants pour la dépendance à l’égard du soutien au revenu est de -0,5 point de pourcentage (ligne pointillée).
• Remarques : Notation pour les niveaux de signification statistique: *** niveau de 1 %, ** niveau de 5 %, * niveau de 10 %.

La plupart des prestataires actifs de l’assurance-emploi qui ont participé à une intervention de SSC ont connu une augmentation de leur revenu d’emploi ainsi que de leur incidence d’emploi. Les résultats pour l’impact moyen sur les participants (figures B1.2.1, B1.2.2 et B.1.2.3 dans l’annexe B) indiquent que, dans l’ensemble :

• 79 % des participants ont vu leur incidence d’emploi augmenter;
• 70 % des participants ont augmenté de leurs revenus d’emploi;
• 44 % des participants ont réduit leur dépendance à l’égard du soutien au revenu.

La figure 3 présente une ventilation plus détaillée des impacts des programmes. Elle montre que les minorités visibles et les nouveaux immigrants de sexe masculin sont les sous-groupes qui ont connu les améliorations les plus importantes des gains d’emploi et de l’incidence de l’emploi. Dans l’ensemble, les résultats indiquent que plusieurs sous-groupes ont profité des SSC en augmentant leurs revenus d’emploi et leur incidence d’emploi.

L’analyse visait également à déterminer s’il y avait des différences entre les genres au sein de chacun des sous-groupes. Pour ce faire, l’étude a calculé la différence des impacts des programmes entre les sous-groupes de femmes et d’hommes. Les constatations ne laissent entrevoir aucune différence statistiquement significative des impacts des programmes entre les genres, sauf pour les nouveaux immigrants. Comme le montre le tableau 1, chez les participants qui sont de nouveaux immigrants, l’augmentation des revenus d’emploi est plus élevée de 1 296 $ pour les hommes que pour les femmes. Cette différence est statistiquement significative au niveau de 5 %. L’étude note également de légères différences entre les genres en faveur des hommes quant à l’incidence de l’emploi et à la dépendance à l’égard du soutien au revenu. Cependant, ces résultats ne sont pas statistiquement significatifs.

Tableau 1: Différence dans les impacts du programme entre les immigrants récents de sexe féminin et les immigrants récents de sexe masculin qui étaient des prestataires actifs d'AE dans le programme des SSC avant et après le contrôle des différentes caractéristiques

Indicateurs	Revenus d’emploi ($)	Incidence de l’emploi (points de pourcentage)	Dépendance au soutien au revenu (points de pourcentage)
Les caractéristiques sont différentes	-1,296**	-0.5	0.5
Les hommes ont les mêmes caractéristiques que les femmes	-328	0.0	0.0

• Notation pour les niveaux de signification statistique : *** niveau de 1 %, ** niveau de 5 %, * niveau de 10 %.

Pourtant, il existe aussi des différences entre les genres en ce qui concerne le profil sociodémographique des nouveaux immigrants avant leur participation aux SSC. Par exemple, comme le montre l’annexe C, les nouveaux immigrants de sexe masculin avaient tendance à travailler dans la construction (10 %), la fabrication (18 %) ou l’administration (17 %). Parallèlement, les nouvelles immigrantes avaient tendance à travailler en administration (11 %) ou dans les services professionnels, scientifiques et techniques (11 %).

Ces différences peuvent contribuer aux différences entre les genres des impacts des programmes sur les revenus d’emploi. Afin de tenir compte de ces différences sociodémographiques, nous avons effectué une analyse supplémentaire tout en tenant compte des différentes caractéristiques sociodémographiques et des antécédents du marché du travail. La présente étude a estimé quels seraient les impacts différentiels pour les participants s’ils avaient des caractéristiques semblables à celles des participantes, et vice versa. Les constatations suggèrent que lorsqu’on tient compte de ces différences sociodémographiques, comme le montre le tableau 1, il n’y a pas de différence entre les genres. Cela est dû au fait que les différences des impacts des programmes ont diminué et ne sont plus statistiquement significatives.

4.2. Impacts différentiels pour le FIPH

Cette section présente les résultats de l’impact différentiel pour les interventions de DC et des SSC du FIPH. Dans le programme du FIPH, le nombre de participants était insuffisant pour effectuer l’analyse en intersection des facteurs identitaires pour chaque intervention séparément. Par conséquent, l’analyse a produit les impacts différentiels pour ceux qui ont participé soit au DC ou aux SSC. L’étude a produit des résultats selon le genre et d’autres caractéristiques sociodémographiques.

4.2.1. Développement des compétences (DC) et subventions salariales ciblées (SSC)

Tous les sous-groupes de participants au FIPH dans les interventions de DC ou des SSC ont, en moyenne, connu une augmentation de leurs revenus d’emploi et de l’incidence de l’emploi.

La figure 4 montre les impacts différentiels du DC ou des SSC selon le genre et pour différents sous-groupes. Les résultats prennent la forme d’augmentations annuelles moyennes au cours de la période de 5 ans suivant la participation au programme, par rapport à des non-participants semblables. L’étude a produit des résultats pour 3 indicateurs : les revenus d’emploi, l’incidence de l’emploi et la dépendance à l’égard du soutien au revenu.

En particulier, pour le sous-groupe de participants âgés de plus de 54 ans, l’intervention a mené à :

• une augmentation annuelle moyenne des gains après la participation de 3 647 $ pour les participantes et de 3 257 $ pour les participants;
• une augmentation annuelle moyenne de l’incidence de l’emploi de 13,7 points de pourcentage pour les participantes et de 13,9 points de pourcentage pour les participants;
• une augmentation annuelle moyenne de la dépendance à l’égard du soutien au revenu de 0,4 point de pourcentage pour les participantes et de 0,7 point de pourcentage pour les participants (toutes 2 non statistiquement significatives).

Ces résultats correspondent à ceux du dernier cycle d’évaluation du FIPH. Ils indiquaient que le DC et les SSC avaient des résultats positifs pour les participants sur le plan des gains d’emploi et de l’incidence de l’emploi.

• Notation pour les niveaux de signification statistique : *** niveau de 1 %, ** niveau de 5 %, * niveau de 10 %. L'effet moyen global du traitement sur les participants est représenté par la ligne pointillée.

Figure 4 — Version textuelle

Impacts différentiels par sexe et par d'autres sous-groupes pour les prestataires actifs du DC ou du SSC, période de 5 ans après la participation, moyennes annuelles

Sous-groupes	Revenus d’emploi ($) Féminin	Revenus d’emploi ($) Masculin
30 ans et moins	1,601	1,628
31 à 54 ans	2,757***	2,615***
55 ans et plus	3,647**	3,257**
Minorité visible	2,798***	2,805***
Personnes en situation d’handicap	2,367***	2,425***
Autochtones	2,178***	2,048**

• L’effet moyen de traitement global sur les participants pour les gains d’emploi est de 2 361 $*** (ligne pointillée).

Sous-groupes	Incidence de l’emploi (points de pourcentage) Féminin	Incidence de l’emploi (points de pourcentage) Masculin
30 ans et moins	15.2***	14.4**
31 à 54 ans	14.9***	15.5***
55 ans et plus	13.7***	13.9***
Minorité visible	15.6***	15.4***
Personnes en situation d’handicap	15.7***	16.1***
Autochtones	14.7***	16.2***

• L’effet moyen de traitement global sur les participants pour l’incidence de l’emploi est de 14,9 points de pourcentage*** (ligne pointillée).

Sous-groupes	Dépendance au soutien au revenu (points de pourcentage) Féminin	Dépendance au soutien au revenu (points de pourcentage) Masculin
30 ans et moins	3.4	4.7
31 à 54 ans	1.0	-0.5
55 ans et plus	0.4	0.7
Minorité visible	1.0	0.8
Personnes en situation d’handicap	1.4	-0.2***
Autochtones	2.0	2.2

• L’effet moyen de traitement global sur les participants pour la dépendance à l’égard du soutien au revenu est de 1,7 point de pourcentage (ligne pointillée).
• Remarques: Notation pour les niveaux de signification statistique : *** niveau de 1 %, ** niveau de 5 %, * niveau de 10 %.

La plupart des participants au FIPH soit pour le DC ou les SSC ont augmenté leur revenu d’emploi ainsi que leur incidence d’emploi. En particulier, les résultats pour l’EMT individuel (figures B3.1.1, B3.2.1 et B3.1.3 dans l’annexe B) indiquent que :

• 89 % de ces participants ont vu leur incidence d’emploi augmenter;
• 84 % des participants ont augmenté leurs revenus d’emploi;
• 48 % des participants ont réduit leur dépendance à l’égard du soutien au revenu.

La figure 4 présente une ventilation plus détaillée des impacts des programmes. Elle montre que la plupart des sous-groupes de participants au DC ou aux SSC ont vu leurs revenus d’emploi et leur incidence d’emploi augmenter. Les participants âgés de plus de 54 ans ont connu la plus grande amélioration de leurs revenus d’emploi. Ce gain est le plus important pour les participantes de plus de 54 ans, mais il n’y a pas de différence statistiquement significative dans les impacts entre les hommes et les femmes. Étant donné que l’analyse portait sur les participants soit au DC ou aux SSC, cette analyse ne peut pas déterminer dans quelle mesure chaque intervention a contribué aux résultats.

L’analyse visait également à déterminer s’il y avait des différences entre les genres au sein de chacun des sous-groupes. Pour ce faire, l’étude a calculé la différence des impacts des programmes entre les participants de sexe féminin et masculin. Cependant, aucun résultat n’était statistiquement significatif, ce qui suggère que les impacts des programmes peuvent ne pas varier selon le genre dans chaque sous-groupe.

5. Limites

L’apprentissage automatique peut être efficace pour effectuer une analyse causale avancée dans le cadre de laquelle les impacts peuvent être attribués à un programme particulier pour divers sous-groupes. L’analyse des impacts compare les résultats des participants sur le marché du travail à ceux de non-participants semblables. Cela permet de savoir ce qui se serait passé sans l’intervention. Les résultats démontrent que la méthode de forêt causale modifiée a réussi à produire des résultats statistiquement significatifs selon le genre lorsque la taille de l’échantillon était suffisamment grande.

Bien que cette méthode soit prometteuse, l’étude a mis en évidence les limites suivantes, que les évaluations et études futures pourraient prendre en compte.

Du point de vue de l’ACS Plus, l’analyse se limitait aux renseignements disponibles dans les données administratives. Par exemple, les données administratives comprennent divers facteurs identitaires, y compris le sexe biologique des participants, combinés à d’autres caractéristiques sociodémographiques. Cependant, aucun renseignement autre que le sexe biologique n’était disponible dans les ensembles de données administratives concernant les identifiants de genre des participants. Par conséquent, cette étude combine le sexe biologique (utilisé comme indicateur du genre) et d’autres caractéristiques sociodémographiques. À l’avenir, l’ajout d’autres sources de données (données du recensement de Statistique Canada) pourrait permettre une analyse plus précise des données. Cela garantira des activités d’analyse des politiques, de recherche et d’évaluation plus pertinentes du point de vue de l’ACS Plus.

Ce type d’analyse causale avancée nécessite de grands ensembles de données. Plus l’ensemble de données est volumineux, plus les résultats sont fiables et solides. L’étude a bénéficié d’un échantillon important de participants et de non-participants qui ont tiré parti de la plateforme de données du Programme du marché du travail. C’est ce qui a permis à l’analyse de produire des résultats statistiquement significatifs pour 2 principales interventions sous forme de programmes. L’étude aurait pu produire des résultats encore plus détaillés en disposant d’un ensemble de données plus volumineux. Elle pourrait le faire en combinant d’autres facteurs identitaires intersectionnels (par exemple, le genre, l’âge et l’appartenance à une minorité visible). Mais surtout, cela signifie que lorsque les données sur les programmes sont limitées, l’apprentissage automatique ne peut pas produire de résultats solides.

Dans l’ensemble, les résultats concordent avec les évaluations précédentes. Toutefois, pour certaines interventions, il existe de légères différences quant à l’ampleur et au niveau de signification statistique. Une analyse comparative approfondie aidera à expliquer les différences entre les résultats produits par la méthode de forêt causale modifiée et ceux produits par la méthode d’appariement par score de propension. Il est possible que l’ensemble de données, même s’il était relativement volumineux, soit trop petit afin de permettre à l’algorithme de bien s’exécuter pour certaines interventions. Cela peut mener à des résultats très variables. Un examen plus poussé pourrait aider à comprendre les paramètres optimaux pour l’utilisation de la méthode de forêt causale modifiée en fonction du nombre d’observations disponibles. Il en ressort que, bien que cette méthode ait donné de bons résultats avec des échantillons de grande taille, la méthode d’appariement par score de propension demeure une approche pertinente. L’appariement par score de propension est une approche solide et polyvalente qui permet de produire des impacts nets moyens avec un nombre relativement plus petit de participants.

La présente étude a effectué l’analyse en examinant les impacts par intervention. Pour chaque intervention, l’étude a utilisé un groupe de comparaison unique. Pour cette raison, les résultats ne sont pas directement comparables entre les programmes ou interventions. Le fait d’avoir un groupe de comparaison unique pour l’étude a permis de mieux refléter l’ensemble des caractéristiques observables de leurs participants respectifs à ce moment-là.

En outre, l’étude a utilisé l’EPA comme unité d’analyse. Elle a désigné l’intervention la plus longue au sein d’un EPA comme étant l’intervention principale. Par conséquent, l’étude ne saisit pas la participation des participants à de multiples interventions. À l’avenir, la recherche pourrait examiner comment la combinaison et la séquence de ces interventions peuvent influer sur les impacts des programmes.

6. Conclusion

Ce rapport présente les constatations d’une étude exploratoire des EDMT et du FIPH. Il a utilisé l’ACS Plus comme cadre d’analyse. Sur le plan méthodologique, l’étude a appliqué une méthode d’apprentissage automatique causale connue sous le nom de « forêt causale modifiée ». À l’aide de la méthode de forêt causale modifiée, elle a évalué les impacts des programmes selon le genre et les facteurs identitaires intersectionnels.

Des études d’évaluation antérieures des programmes du marché du travail ont fourni des renseignements précieux en examinant les impacts différentiels pour certains sous-groupes prédéfinis. Pourtant, elles n’ont pas appliqué l’optique de l’ACS Plus pour examiner de multiples caractéristiques intersectionnelles (par exemple, les jeunes femmes autochtones).

En revanche, la présente étude d’évaluation a tiré parti de données de qualité sur les participants pour examiner la façon dont les impacts des programmes varient selon le genre et les facteurs identitaires intersectionnels. Les constatations suggèrent que l’apprentissage automatique peut être efficace pour produire des résultats solides lorsque le nombre de participants est suffisamment important. Les résultats ne se limitent pas à l’impact moyen et peuvent aider à comprendre la distribution des impacts (positifs ou négatifs) entre les participants.

Cependant, l’apprentissage automatique exige des quantités importantes de données. Avec un nombre relativement plus petit de participants, la méthode n’a pas produit de résultats statistiquement significatifs pour certaines interventions. Une analyse plus poussée aiderait à comprendre les paramètres optimaux de l’apprentissage automatique en fonction des données disponibles. Par conséquent, bien que cette approche soit prometteuse, l’appariement par score de propension combiné aux méthodes des doubles différences demeure un outil fiable pour mener une analyse de l’impact net.

Cette étude a fourni des exemples de résultats quantitatifs que l’apprentissage automatique pourrait produire pour les futurs cycles d’évaluation propres aux programmes lorsque des données de qualité sur les participants seront disponibles. Les constatations suggèrent que la méthode d’apprentissage automatique pourrait devenir un outil d’évaluation des impacts. Elle peut appuyer les engagements du Ministère à l’égard de l’ACS Plus.

À l’avenir, les évaluations des programmes du marché du travail pourraient tirer parti de ces nouvelles méthodes quantitatives avancées pour éclairer les impacts du point de vue de l’ACS Plus. Ces évaluations pourraient également comprendre des recherches qualitatives complémentaires qui garantiraient que les résultats quantitatifs peuvent être contextualisés de façon appropriée. Selon les données disponibles, l’intégration d’un troisième facteur intersectionnel pourrait être explorée pour raffiner davantage l’analyse. Cela permettrait de comprendre de façon plus nuancée quelles interventions fonctionnent le mieux pour qui.

Enfin, le rapport souligne l’importance des efforts déployés par le Ministère pour recueillir des données sur les participants. Cela permettra d’intégrer les données et de mieux éclairer les activités d’analyse des politiques, de recherche et d’évaluation, du point de vue de l’ACS Plus.

Références

Athey, S., Tibshirani, J., & Wager, S. (2019). Generalized Random Forests. Annals of Statistics, 47(2), 1148-1178. doi:10.1214/18-AOS1709.

Athey, S., & Wager, S. (2021). Policy Learning with Observational Data. Econometrica, 89(1), 133–161.

Breiman, L. (2001). Random Forests. Machine Learning, 45(1), 5–32.

Chattopadhyay, A., Hase, C., & Zubizarreta, J.R. (2020). Balancing Versus Modeling Approaches to Weighting in Practice. Statistics in Medicine, 39(24), 3227-3254.

Chen, J., & Hsiang, C.-W. (2019). Causal Random Forests Model Using Instrumental Variable Quantile Regression. Econometrics, 7(4): 49.

Chen, J., Huang, C.-H., & Tien, J.J. (2021). Debiased/Double Machine Learning for Instrumental Variable Quantile Regressions. Econometrics, 9(2): 15.

Cockx, B., Lechner, M., & Bollens, J. (May 6, 2020). Priority to Unemployed Immigrants? A Causal Machine Learning Evaluation of Training in Belgium. Repository arXiv.

Cockx, B., Lechner, M., & Bollens, J. (2023). Priority to unemployed immigrants? A causal machine learning evaluation of training in Belgium. Labour Economics, Volume 80, January 2023, 102306.

Davis, J.M.V., & Heller, S.B. (2017). Using Causal Forests to Predict Treatment Heterogeneity: An Application to Summer Jobs. American Economic Review, 107(5), 546-550.

Department of Women and Gender Equality. (August 6, 2020). Introduction to GBA+.

Department of Women and Gender Equality. (July 18, 2017) GBA+ Research Guide.

ESDC (Employment and Social Development Canada). (September 8, 2015). EI Monitoring and Assessment Report 2012/13 Impacts and Effectiveness of Employment Benefits and Support Measures (EBSMs—EI Part II).

ESDC (Employment and Social Development Canada). (January 8, 2020). Evaluation of the Opportunities Fund for Persons with Disabilities – Phase I.

Hankivsky, O. (2014). Intersectionality 101. The Institute for Intersectionality Research & Policy, SFU.

Hainmueller, J. (2012). Entropy Balancing for Causal Effects: A Multivariate Reweighting Method to Produce Balanced Samples in Observational Studies. Political Analysis, 20(1), 25-46.

James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An introduction to statistical learning: with applications in R. Springer

Knaus, M.C., Lechner, M., & Strittmatter, A. (2020). Machine Learning Estimation of Heterogeneous Causal Effects: Empirical Monte Carlo Evidence. The Econometrics Journal, 21(1), 134-161.

Lechner, Michael, Modified Causal Forests for Estimating Heterogeneous Causal Effects (January 2019). CEPR Discussion Paper No. DP13430, Available at SSRN: https://ssrn.com/abstract=3314050.

Lechner, M., & Mareckova, J. (2022): Modified Causal Forests, arXiv: 2209.03744.

Neyman, J., Iwaszkiewicz, K. & Kolodziejczyk, St. (1935). Statistical Problems in Agricultural Experimentation. Supplement to the Journal of the Royal Statistical Society, 2(2), p.107.

Phillippo, D. M., Dias, S., Ades, A. E., & Welton, N. J. (2020). Equivalence of Entropy Balancing and the Method of Moments for Matching-Adjusted Indirect Comparison. Research Synthesis Methods, 11(4), 568-572.

Roy, A. D. (1951). Some Thoughts on the Distribution of Earnings. Oxford Economic Papers, 3(2), 135–146.

Rubin, D. B. (1974). Estimating Causal Effects of Treatments in Randomized and Nonrandomized Studies. Journal of Educational Psychology, 66(5), 688–701.

Tübbicke, S. (May 28, 2020). Entropy Balancing for Continuous Treatments. Repository arXiv.

Wager, S., & Athey, S. (2018). Estimation and Inference of Heterogeneous Treatment Effects using Random Forests. Journal of the American Statistical Association, 113(523), 1228-1242.

Zhao, Q., & Percival, D. (2016). Entropy Balancing is Doubly Robust. Journal of Causal Inference, 5(1), 20160010. https://doi.org/10.1515/jci-2016-0010.

Annexe A : Impacts différentiels pour les anciens prestataires de l’EDMT

Développement des compétences (DC)

La plupart des sous-groupes de participants au programme de DC qui étaient d’anciens prestataires de l’assurance-emploi ont vu leur participation au marché du travail s’améliorer.

La figure 5 montre les impacts différentiels de l’intervention du DC selon le genre et d’autres sous-groupes. Les résultats prennent la forme d’augmentations annuelles moyennes au cours de la période de 5 ans suivant la participation à l’intervention, par rapport à des non-participants semblables. L’étude fournit des résultats pour 3 indicateurs : les revenus d’emploi, l’incidence de l’emploi et la dépendance à l’égard du soutien au revenu.

Ces résultats concordent avec les résultats de l’analyse d’appariement par score de propension de l’évaluation de troisième cycle des EDMT. Ils sont cohérents en ce qui concerne l’orientation, l’ampleur et le niveau de signification statistique des impacts.

• Notation pour les niveaux de signification statistique : *** niveau de 1 %, ** niveau de 5 %, * niveau de 10 %. L'effet moyen global du traitement sur les participants est représenté par la ligne pointillée.

Figure 5 — Version textuelle

Impacts différentiels par sexe et par d'autres sous-groupes dans le DC pour les anciens prestataires, période de 5 ans après la participation, moyennes annuelles

Sous-groupes	Revenus d’emploi ($) Féminin	Revenus d’emploi ($) Masculin
30 ans et moins	1,884***	1,931***
31 à 54 ans	1,073***	1,060**
55 ans et plus	1,238**	1,407**
Minorité visible	838	922*
Personnes en situation d’handicap	1,883***	1,798***
Autochtones	2,288***	2,087***
Immigrants récents	-794	-947

• L’effet moyen de traitement global sur les participants pour les gains d’emploi est de 1 363 $*** (ligne pointillée).

Sous-groupes	Incidence de l’emploi (points de pourcentage) Féminin	Incidence de l’emploi (points de pourcentage) Masculin
30 ans et moins	3.1***	3.0***
31 à 54 ans	3.1***	3.6***
55 ans et plus	4.4*	4.7**
Minorité visible	3.4***	3.4***
Personnes en situation d’handicap	4.3***	4.6***
Autochtones	4.3***	3.4***
Immigrants récents	1.7	2.0*

• L’effet moyen de traitement global sur les participants pour l’incidence de l’emploi est de 3,3 points de pourcentage*** (ligne pointillée).

Sous-groupes	Dépendance au soutien au revenu (points de pourcentage) Féminin	Dépendance au soutien au revenu (points de pourcentage) Masculin
30 ans et moins	-0.4	0.0
31 à 54 ans	-1.5***	-1.3**
55 ans et plus	-1.4**	-1.0
Minorité visible	-1.4**	-0.9*
Personnes en situation d’handicap	-1.7***	-1.3**
Autochtones	-1.1*	-0.5
Immigrants récents	-1.0*	-1.0*

• L’effet moyen de traitement global sur les participants pour la dépendance à l’égard du soutien au revenu est de -1,0* point de pourcentage (ligne pointillée).
• Remarques: Notation pour les niveaux de signification statistique : *** niveau de 1 %, ** niveau de 5 %, * niveau de 10 %.

Les anciens prestataires de l’assurance-emploi qui participent à des programmes de DC ont augmenté leurs revenus d’emploi et l'incidence de l’emploi et ont diminué leur dépendance à l’égard du soutien au revenu. Comme le montre les figures B2.1.1, B2.1.2 et B2.1.3 de l’annexe B :

• 80 % des participants ont vu leur incidence d’emploi augmenter;
• 62 % des participants ont augmenté leurs revenus d’emploi;
• 48 % des participants ont réduit leur dépendance à l’égard du soutien au revenu.

À l’exception des participants de sexe féminin et de sexe masculin qui étaient de nouveaux immigrants, tous les sous-groupes de participants au programme de DC ont vu leur participation au marché du travail s’améliorer. Les résultats indiquent des augmentations statistiquement significatives des revenus d’emploi et de l’incidence de l’emploi. À l’exception des jeunes participants, des participants de sexe masculin de plus de 54 ans ou des Autochtones, tous les sous-groupes du programme de DC ont vu leur dépendance à l’égard du soutien au revenu considérablement diminuer.

L’analyse a également évalué les différences entre les genres au sein de chacun des sous-groupes en calculant la différence de l’impact du programme entre les sous-groupes de femmes et d’hommes. Cependant, aucun résultat n’était statistiquement significatif, ce qui suggère que l’impact du programme peut ne pas varier selon le genre dans chaque sous-groupe.

Subventions salariales ciblées (SSC)

Tous les sous-groupes de participants aux SSC qui étaient d’anciens prestataires de l’assurance-emploi ont connu une augmentation de leurs revenus d’emploi et de leur incidence d’emploi. Ils ont également vu une diminution de leur dépendance à l’égard du soutien au revenu.

La figure 6 montre les impacts différentiels des SSC selon le genre et d’autres sous-groupes. Les résultats prennent la forme d’augmentations annuelles moyennes au cours de la période de 5 ans suivant la participation au programme, par rapport à des non-participants semblables. L’étude fournit des résultats pour 3 indicateurs : les revenus d’emploi, l’incidence de l’emploi et la dépendance à l’égard du soutien au revenu.

Ces résultats concordent avec les résultats de l’analyse d’appariement par score de propension de l’évaluation de troisième cycle des EDMT.

Tous les sous-groupes de participants aux SSC ont enregistré une augmentation statistiquement significative de leurs revenus d’emploi et de leur incidence d’emploi. Ils ont également connu une diminution statistiquement significative de leur dépendance à l’égard du soutien au revenu. L’analyse a également évalué les différences entre les genres au sein de chacun des sous-groupes en calculant la différence de l’impact du programme entre les sous-groupes de femmes et d’hommes. Cependant, aucun résultat n’était statistiquement significatif, ce qui suggère que l’impact du programme ne varierait pas selon le genre dans chaque sous-groupe.

• Notation pour les niveaux de signification statistique : *** niveau de 1 %, ** niveau de 5 %, * niveau de 10 %. L'effet moyen global du traitement sur les participants est représenté par la ligne pointillée.

Figure 6 — Version textuelle

Impacts différentiels par sexe et par autres sous-groupes pour les anciens prestataires du SSC, période de 5 ans après la participation, moyennes annuelles

Sous-groupes	Revenus d’emploi ($) Féminin	Revenus d’emploi ($) Masculin
30 ans et moins	3,607***	3,623***
31 à 54 ans	3,267***	3,077***
55 ans et plus	3,660***	3,376***
Minorité visible	3,938***	4,041***
Personnes en situation d’handicap	3,261***	3,108***
Autochtones	3,625***	3,856***
Immigrants récents	3,246***	3,150***

• L’effet moyen de traitement global sur les participants pour les gains d’emploi est de 3 330 $*** (ligne pointillée).

Sous-groupes	Incidence de l’emploi (points de pourcentage) Féminin	Incidence de l’emploi (points de pourcentage) Masculin
30 ans et moins	8.1***	8.1***
31 à 54 ans	8.1***	8.7***
55 ans et plus	12.3***	10.6***
Minorité visible	9.4***	10.6***
Personnes en situation d’handicap	9.2***	9.4***
Autochtones	9.7***	9.0***
Immigrants récents	9.0***	9.3***

• L’effet moyen de traitement global sur les participants pour l’incidence de l’emploi est de 8,8 points de pourcentage*** (ligne pointillée).

Sous-groupes	Dépendance au soutien au revenu (points de pourcentage) Féminin	Dépendance au soutien au revenu (points de pourcentage) Masculin
30 ans et moins	-3.7***	-3.9***
31 à 54 ans	-3.1***	-3.1***
55 ans et plus	-2.7***	-3.1***
Minorité visible	-3.2***	-3.2***
Personnes en situation d’handicap	-3.6***	-3.6***
Autochtones	-2.9**	-3.0***
Immigrants récents	-2.9***	-3.0***

• L’effet moyen de traitement global sur les participants pour la dépendance à l’égard du soutien au revenu est de -3,3*** point de pourcentage (ligne pointillée).
• Remarques: Notation pour les niveaux de signification statistique : *** niveau de 1 %, ** niveau de 5 %, * niveau de 10 %.

Annexe B : Graphiques sur la distribution de l’effet moyen de traitement individuel

Cette section présente des graphiques qui montrent comment les effets du traitement moyen individuel sont distribués. Les graphiques sont produits sous forme d’histogrammes et montrent si l’impact d’une intervention donnée a eu un effet positif sur les participants.

Les axes horizontaux indiquent comment les impacts sont distribués entre les participants selon leurs EMTI. Les graphiques présentent les résultats par intervention (DC et SSC) pour les indicateurs suivants :

• les revenus d'emploi;
• l'incidence de l'emploi;
• la dépendance aux mesures de soutien au revenu.

Dans le cas des gains d’emploi et de l’incidence de l’emploi, toute valeur supérieure à 0 indique un résultat positif et une valeur inférieure à 0 montre un résultat négatif. Plus la valeur de l’EMTI est grande, plus l’intervention est bénéfique.

En ce qui concerne la dépendance à l’égard du soutien au revenu, toute valeur inférieure à 0 indique un résultat positif et une valeur supérieure à 0 montre un résultat négatif. Plus la valeur de l’EMTI est faible, plus l’intervention est bénéfique.

B1. Effet du traitement moyen individuel pour les participants actifs des EDMT

Impact global du DC pour les participants :

• 94 % des participants ont vu leur incidence d’emploi augmenter;
• 92 % des participants ont augmenté leurs revenus d’emploi;
• 59 % des participants ont réduit leur dépendance à l’égard du soutien au revenu.

Figure B1.1.1 — Version textuelle

Répartition des EMTI sur les revenus d'emploi de l'ensemble des participants au DC

L’histogramme montre la distribution de l’EMTI sur les gains d’emploi. La courbe de distribution est presque normale aux environs de la moyenne. L’histogramme met en évidence les valeurs négatives inférieures à 0 (7,65 %) et les valeurs positives supérieures à 0 (92,35 %). La plupart des participants au programme de DC (92,35 %) ont vu leurs revenus d’emploi augmenter après leur participation au programme.

Figure B1.1.2 — Version textuelle

Répartition des EMTI sur l'incidence de l'emploi de l'ensemble des participants au DC

L’histogramme montre la distribution de l’EMTI sur l’incidence de l’emploi. La courbe de distribution est asymétrique. Elle présente une inclinaison principalement positive et une queue plus longue à droite. L’histogramme met en évidence les valeurs négatives inférieures à 0 (6,26 %) et les valeurs positives supérieures à 0 (93,74 %). La plupart des participants au programme de DC (93,74 %) ont vu leur incidence d’emploi augmenter après leur participation au programme.

Figure B1.1.3 — Version textuelle

Répartition des EMTI sur la dépendance au soutien du revenu de l'ensemble des participants au DC

L’histogramme montre la distribution de l’EMTI sur la dépendance à l’égard du soutien au revenu. La courbe de distribution est presque normale et centrée aux environs de 0. L’histogramme met en évidence les valeurs négatives inférieures à 0 (59,26 %) et les valeurs positives supérieures à 0 (40,74 %). Après avoir participé au programme, 59,26 % des participants au DC (valeurs inférieures à 0) ont vu leur dépendance à l’égard du soutien au revenu diminuer.

Impact global des SSC pour les participants (pour les participants actifs de l’AE) :

• 79 % des participants ont vu augmenter leur incidence d’emploi;
• 70 % des participants ont augmenté de leur revenu d’emploi;
• 44 % des participants ont réduit leur dépendance à l’égard du soutien au revenu.

Figure B1.2.1 — Version textuelle

Répartition des EMTI sur les revenus d'emploi de l'ensemble des participants aux SSC

L’histogramme montre la distribution de l’EMTI sur les gains d’emploi. La courbe de distribution est asymétrique. L’histogramme met en évidence les valeurs négatives inférieures à 0 (29,92 %) et les valeurs positives supérieures à 0 (70,08 %). Plus des deux tiers des participants au programme des SSC (70,08 %) ont vu augmenter leur revenu d’emploi après leur participation au programme.

Figure B1.2.2 — Version textuelle

Répartition des EMTI sur l'incidence de l'emploi de l'ensemble des participants aux SSC

L’histogramme montre la distribution de l’EMTI sur l’incidence de l’emploi. La courbe de distribution est asymétrique. Elle présente une inclinaison principalement positive et une queue plus longue à droite. L’histogramme met en évidence les valeurs négatives inférieures à 0 (21,05 %) et les valeurs positives supérieures à 0 (78,95 %). La plupart des participants au programme des SSC (78,95 %) ont vu leur incidence d’emploi augmenter après leur participation au programme.

Figure B1.2.3 — Version textuelle

Répartition des EMTI sur la dépendance au soutien du revenu de l'ensemble des participants aux SSC

L’histogramme montre la distribution de l’EMTI sur la dépendance à l’égard du soutien au revenu. La courbe de distribution est asymétrique. L’histogramme met en évidence les valeurs négatives inférieures à 0 (43,63 %) et les valeurs positives supérieures à 0 (56,37 %). Après avoir participé au programme, 43,63 % des participants aux SSC (valeurs inférieures à 0) ont vu leur dépendance à l’égard du soutien au revenu diminuer.

B2. Effet du traitement moyen individuel pour les anciens participants

Impact global du DC pour les anciens participants :

• 80 % des participants ont vu leur incidence d’emploi augmenter;
• 62 % des participants ont augmenté de leur revenu d’emploi;
• 48 % des participants ont réduit leur dépendance à l’égard du soutien au revenu.

Figure B2.1.1 — Version textuelle

Répartition des EMTI sur les revenus d'emploi de l'ensemble des anciens participants au DC

L’histogramme montre la distribution de l’EMTI sur les gains d’emploi. La courbe de distribution est asymétrique. L’histogramme met en évidence les valeurs négatives inférieures à 0 (38,04 %) et les valeurs positives supérieures à 0 (61,96 %). Plus de la moitié des anciens participants au programme de DC (61,96 %) ont vu augmenter leurs revenus d’emploi après leur participation au programme.

Figure B2.1.2 — Version textuelle

Répartition des EMTI sur l'incidence de l'emploi de l'ensemble des anciens participants au DC

L’histogramme montre la distribution de l’EMTI sur l’incidence de l’emploi. La courbe de distribution est presque symétrique. Elle présente une inclinaison principalement positive et une queue plus longue à droite. L’histogramme met en évidence les valeurs négatives inférieures à 0 (19,77 %) et les valeurs positives supérieures à 0 (80,23 %). La plupart des anciens participants au programme de DC (80,23 %) ont vu leur incidence d’emploi augmenter après leur participation au programme.

Figure B2.1.3 — Version textuelle

Répartition des EMTI sur la dépendance au soutien du revenu de l'ensemble des anciens participants au DC

L’histogramme montre la distribution de l’EMTI sur la dépendance à l’égard du soutien au revenu. La courbe de distribution est asymétrique. L’histogramme met en évidence les valeurs négatives inférieures à 0 (47,95 %) et les valeurs positives supérieures à 0 (52,05 %). Après avoir participé au programme, 47,95 % des anciens participants au DC (valeurs inférieures à 0) ont vu leur dépendance à l’égard du soutien au revenu diminuer.

L’impact global des SSC pour les anciens participants :

• 93 % des participants ont vu leur incidence d’emploi augmenter;
• 95 % des participants ont augmenté de leurs revenus d’emploi;
• 95 % des participants ont réduit leur dépendance à l’égard du soutien au revenu.

Figure B2.2.1 — Version textuelle

Répartition des EMTI sur les revenus d'emploi de l'ensemble des anciens participants aux SSC

L’histogramme montre la distribution de l’EMTI sur les gains d’emploi. La courbe de distribution est presque normale aux environs de la moyenne. L’histogramme met en évidence les valeurs négatives inférieures à 0 (5,00 %) et les valeurs positives supérieures à 0 (95,00 %). La plupart des anciens participants au programme des SSC (95,00 %) ont vu leurs revenus d’emploi augmenter après leur participation au programme.

Figure B2.2.2 — Version textuelle

Répartition des EMTI sur l'incidence de l'emploi de l'ensemble des anciens participants aux SSC

L’histogramme montre la distribution de l’EMTI sur l’incidence de l’emploi. La courbe de distribution est binormale. Elle présente une inclinaison principalement positive et une queue plus longue à droite. L’histogramme met en évidence les valeurs négatives inférieures à 0 (6,77 %) et les valeurs positives supérieures à 0 (93,23 %). La plupart des anciens participants au programme des SSC (93,23 %) ont vu leur incidence d’emploi augmenter après leur participation au programme.

Figure B2.2.3 — Version textuelle

Répartition des EMTI sur la dépendance au soutien du revenu de l'ensemble des anciens participants aux SSC

L’histogramme montre la distribution de l’EMTI sur la dépendance à l’égard du soutien au revenu. La courbe de distribution est presque normale. Elle présente une inclinaison principalement négative et une queue plus longue à gauche. L’histogramme met en évidence les valeurs négatives inférieures à 0 (94,97 %) et les valeurs positives supérieures à 0 (5,03 %). Après avoir participé au programme, 94,97 % des anciens participants aux SSC (valeurs inférieures à 0) ont vu leur dépendance à l’égard du soutien au revenu diminuer.

B3. Effet du traitement moyen individuel pour les participants au FIPH

Impact global des interventions du DC ou des SSC pour les participants :

• 89 % des participants ont vu leur incidence d’emploi augmenter;
• 84 % des participants ont augmenté de leur revenu d’emploi;
• 48 % des participants ont réduit leur dépendance à l’égard du soutien au revenu.

Figure B3.1.1 — Version textuelle

Répartition des EMTI sur les revenus d'emploi de l'ensemble des participants au DC ou aux SSC

L’histogramme montre la distribution de l’EMTI sur les gains d’emploi. La courbe de distribution est asymétrique. L’histogramme met en évidence les valeurs négatives inférieures à 0 (16,42 %) et les valeurs positives supérieures à 0 (83,58 %). La plupart des participants au FIPH (83,58 %) ont vu leurs revenus d’emploi augmenter après leur participation au programme.

Figure B3.1.2 — Version textuelle

Répartition des EMTI sur l'incidence de l'emploi de l'ensemble des participants au DC ou aux SSC

L’histogramme montre la distribution de l’EMTI sur l’incidence de l’emploi. La courbe de distribution est presque normale aux environs de la moyenne. L’histogramme met en évidence les valeurs négatives inférieures à 0 (10,97 %) et les valeurs positives supérieures à 0 (89,03 %). La plupart des participants au FIPH (89,03 %) ont vu leur incidence d’emploi augmenter après leur participation au programme.

Figure B3.1.3 — Version textuelle

Répartition des EMTI sur la dépendance au soutien du revenu de l'ensemble des participants au DC ou aux SSC

L’histogramme montre la distribution de l’EMTI sur la dépendance à l’égard du soutien au revenu. La courbe de distribution est presque normale et centrée aux environs de 0. L’histogramme met en évidence les valeurs négatives inférieures à 0 (48,24 %) et les valeurs positives supérieures à 0 (51,76 %). Après avoir participé au programme, 48,24 % des participants au FIPH (valeurs inférieures à 0) ont vu leur dépendance à l’égard du soutien au revenu diminuer.

Annexe C : Caractéristiques sociodémographiques et liées au marché du travail des prestataires actifs de l’assurance-emploi qui étaient de nouveaux immigrants participants aux SSC

Les tableaux 2 à 6 présentent les caractéristiques sociodémographiques et liées au marché du travail des prestataires actifs de l’assurance-emploi qui étaient de nouveaux immigrants participants aux SSC.

Annexe D : Tableaux relatifs à l’intersectionnalité

Les tableaux 7 à 14 présentent le nombre de participants actifs de l’assurance-emploi qui ont commencé un équivalent du plan d’action dans le cadre des EDMT entre 2011 et 2012, selon le genre, d’autres facteurs identitaires intersectionnels et le type d’EPA.

Les tableaux 15 à 22 présentent le nombre d’anciens participants qui ont commencé un équivalent du plan d’action dans le cadre des EDMT entre 2011 et 2012. Les tableaux fournissent ces chiffres par genre et par autres facteurs identitaires intersectionnels, ainsi que par type d’EPA.

Le tableau 23 présente le nombre d’anciens participants qui ont commencé un équivalent du plan d’action dans le cadre du Fonds d’intégration entre 2011 et 2012. Le tableau fournit ces renseignements par genre et autres facteurs identitaires intersectionnels, ainsi que par type d’EPA.