Annexe A: Méthodologie
Titre officiel : Évaluation des ententes sur le développement du marché du travail
Données qualitatives
Les données qualitatives présentées dans les études sur les programmes de développement des compétences (DC), de développement des compétences – Apprentis (DC-A), de subventions salariales ciblées (SSC) et de services d’aide à l’emploi (SAE) ont été recueillies au moyen d’entrevues réalisées auprès de gestionnaires et de fournisseurs de services et d’un examen de la documentation et de la littérature. Des représentants des gouvernements provinciaux et territoriaux ont également répondu à des questionnaires dans le cadre des études sur le DC, le DC-A et les SSC. Le tableau A1 indique le nombre d’informateurs clés qui ont été interviewés dans chaque province et territoire.
Les entrevues réalisées auprès des informateurs clés dans le cadre de l’étude sur les SAE ont été menées en 2013, tandis que celles portant sur le DC, le DC-A et les SSC ont eu lieu en 2015.
Tableau A1. Nombre d’entrevues réalisées par les informateurs clés et provinces et territoires compris dans les études sur les EDMT
Études | ||||
---|---|---|---|---|
DC | DC-A | SSC | SAE | |
Nombre d’entrevues réalisées auprès des informateurs clés | ||||
Gestionnaires | 25 | 30 | 21 | 33 |
Fournisseurs de services | 28 | 23 | 23 | 44 |
Total | 53 | 53 | 44 | 77 |
PT compris dans les études portant sur les EDMT | ||||
Alberta | X | X | X | X |
Colombie-Britannique | X | X | X | X |
Manitoba | X | X | X | X |
Nouveau-Brunswick | X | X | X | X |
Terre-Neuve-et-Labrador | X | X | X | X* |
Territoires du Nord-Ouest | s.o. | s.o. | s.o. | s.o. |
Nouvelle-Écosse | X | X | X | X |
Nunavut | X | X | X | X* |
Ontario | X | X | s.o. | X |
Île du Prince-Édouard | s.o. | s.o. | X | X |
Saskatchewan | X | X | s.o. | X |
Yukon | X | X | X | s.o. |
Nombre total de provinces et territoires | 10 | 10 | 9 | 8 |
* Aucun rapport n’a été présenté pour cette province ou ce territoire.
s.o. : La province ou le territoire a choisi de ne pas participer à ces études.
Méthodes quantitatives
Toutes les analyses quantitatives ont été réalisées à l’aide de données administratives issues de la partie I de la Loi sur l’assurance-emploi (a.-e.) (demande d’a.-e.), de la partie II (données sur la participation aux PEMS) et des fichiers d’impôt T1 et T4 pour la totalité des participants.
Impacts différentiels
L’analyse des impacts différentiels a comparé l’expérience du marché du travail des participants avant et après leur participation à celle d’un groupe témoin. L’objectif de cette démarche était de déterminer les effets directs du programme sur des indicateurs clés du marché du travail (voir le graphique 1).
En ce qui concerne les prestataires actifs, les impacts différentiels ont été mesurés par rapport à un groupe témoin composé de prestataires actifs qui auraient pu participer aux PEMS mais ne l’ont pas fait. Les anciens prestataires peuvent être des personnes sous-employées ou n’étant pas en mesure de redevenir admissibles aux prestations d’a.-e., des personnes qui se retrouvent hors du marché du travail pour diverses raisons ou des bénéficiaires de l’aide sociale (AS). Sur la base des méthodes d’évaluation antérieures, des conseils d’experts et en raison de la difficulté de former un groupe témoin adéquat pour les anciens prestataires uniquement à l’aide de données administratives, le groupe témoin pour les anciens bénéficiaires a été composé de personnes qui avaient participé aux SAE uniquement pendant la période de référence. Il s’agit d’une approche prudente étant donné que la participation aux SAE peut avoir une certaine incidence sur les résultats du marché du travail.
Les participants et les non-participants ont été jumelés en fonction d’un large éventail de variables telles que l’âge, le sexe, l’emplacement, le niveau de compétences requis pour le dernier emploi occupé avant la participation, la raison de la cessation d’emploi, l’industrie au sein de laquelle ils travaillaient précédemment ainsi que les revenus d’emploi et le recours à l’a.-e. et l’AS pour chacune des cinq années qui ont précédé leur participation au programme.
Toutes les analyses ont été effectuées à l’aide d’une unité d’analyse appelée équivalent du plan d’action, celle-ci regroupant toutes les PEMS offertes à une personne à moins de six mois d’intervalle. Aux fins de la production du rapport, les impacts différentiels ont été attribués à l’intervention de plus longue durée figurant à l’équivalent du plan d’action lorsque l’intervention la plus longue était le DC, les SSC, les Partenariats pour la création d’emplois ou l’aide au travail indépendant. Les impacts des SAE ont été calculés pour l’équivalent du plan d’action comportant uniquement des SAE sans prestations d’emploi. Ceux-ci ont été désignés « SAE seulement ».
Les estimations de l’impact différentiel ont été obtenues à l’aide de méthodes non expérimentales, notamment l’appariement par score de propension en utilisant une méthode d’appariement par noyau, combinée avec la méthode des doubles différences afin d’estimer les impacts du programme. D’autres techniques alternatives d’appariement (par exemple plus proche voisin et pondération de propension inverse) ont également été utilisées aux fins de validation.
Les impacts différentiels ont été mesurés au moyen des indicateurs suivants :
- Revenus d’emploi et de travail indépendant : représentent la totalité des revenus qu’une personne a reçus d’un emploi rémunéré ou d’un travail indépendant. (Ces renseignements sont présentés par année civile et sont obtenus à partir des fichiers d’impôt T1 et T4.)
- Incidence d’emploi et de travail indépendant : correspond à l’incidence que représente le fait d’avoir des revenus d’emploi ou d’un travail indépendant.
- Montant des prestations d’a.-e. reçues : représente le montant moyen des prestations d’a.-e. reçues.
- : correspondent au nombre moyen de semaines durant lesquelles les participants ont reçu des prestations d’a.-e..
- Prestations d’AS : représentent le montant moyen des prestations d’AS reçues. (Ces renseignements sont présentés par année civile et sont obtenus à partir des fichiers d’impôt T1.)
- Dépendance à l’égard des mesures de soutien du revenu : représente le ratio des revenus des participants issus des prestations d’a.-e. et d’AS [par exemple prestations d’a.-e. + prestations d’AS / (prestations d’a.-e. + prestations d’AS + revenus d’emploi et de travail indépendant)].
Les impacts différentiels ont été estimés pour différentes cohortes de participants :
- Tous les prestataires actifs et anciens prestataires ainsi que les jeunes (30 ans ou moins) et les travailleurs âgés (55 ans et plus) qui ont commencé leur participation aux PEMS entre le 1er avril 2002 et le 31 mars 2005.
- Tous les prestataires actifs et anciens prestataires qui ont commencé leur participation aux PEMS entre le 1er janvier 2007 et le 31 décembre 2008.
- Les prestataires actifs et anciens prestataires qui étaient des travailleurs de longue date et qui ont commencé leur participation aux PEMS entre le 1er janvier 2007 et le 31 décembre 2009. Les travailleurs de longue date visés par la présente étude sont des personnes qui ont présenté une demande de prestations d’a.-e. standard ou pour pêcheurs, qui ont payé au moins 30 % de la cotisation annuelle maximale de l’employé au titre de l’a.-e. pendant sept des dix années précédant leur demande de prestations d’a.-e. et qui ont touché des prestations d’a.-e. ordinaires ou pour pêcheurs pendant 35 semaines ou moins pendant les cinq années qui ont précédé leur demande. Cette définition est semblable à celle de la catégorie de bénéficiaires de prestations d’a.-e. intitulée « travailleurs de longue date » et présentée dans le cadre de l’initiative Jumeler les Canadiens et les Canadiennes aux emplois disponibles.
Analyse coûts-avantages
L’analyse coûts-avantage a été utilisée pour comparer le coût de la participation aux programmes pour les participants et le coût lié à la prestation de ces programmes pour le gouvernement aux avantages que les participants et le gouvernement ont tirés de ces programmes. Cette analyse a été réalisée du point de vue de la société et a combiné les coûts et les avantages à la fois pour les participants et pour la société.
Les coûts et avantages suivants ont été pris en compte dans les calculs :
- Les coûts du programme, ceux-ci comprenant les coûts administratifs et le coût direct des PEMS. Le coût de chaque PEMS a été calculé au niveau de l’équivalent du plan d’action. Les coûts ont été déterminés en se basant sur la composition moyenne de l’équivalent du plan d’action.
- Le coût marginal social des fonds publics représente la perte subie par la société en raison du recouvrement de recettes supplémentaires comme les impôts afin de financer les dépenses gouvernementales. La valeur était évaluée à 20 % des coûts du programme, des taxes de vente, de l’impôt sur le revenu, des montants d’a.-e. et d’AS versés ou récupérés par le gouvernement.
- Les revenus d’emploi correspondaient aux impacts différentiels sur les revenus des participants pendant et après leur participation. Le calcul tient compte des revenus auxquels les participants ont renoncé pendant leur participation (c’est-à-dire, le coût de renonciation). Ceux-ci sont basés sur les impacts différentiels pour les participants de 2002-2005.
- Les avantages sociaux correspondent aux régimes d’assurance maladie et d’assurance-vie payés par l’employeur ainsi qu’aux cotisations au régime de retraite. Ils étaient évalués comme représentant 15 % des impacts différentiels sur les revenus.
Les effets du programme sur le recours à l’a.-e. ou à l’AS ainsi que les revenus tirés de la taxe de vente et de l’impôt sur le revenu n’ont pas été inclus dans les calculs puisque ces coûts et ces avantages s’annulent mutuellement par définition dans une perspective sociale. Par exemple, bien que l’a.-e. et l’AS représentent des avantages pour les participants, ces mesures constituent un coût pour le gouvernement. Toutefois, comme il est indiqué précédemment, ces effets sont pris en considération dans le calcul du coût marginal des fonds publics.
Au moment de présenter les résultats, afin de ramener tous les coûts et avantages sur une base commune et de tenir compte de l’inflation et des intérêts sur les investissements gouvernementaux alternatifs, les estimations pour la deuxième année jusqu’à la sixième année postérieure au programme ont été réduites de 5 % par année. De plus, lorsque les avantages étaient toujours inférieurs aux coûts engendrés par le programme six ans après la fin de ce dernier, la période de récupération a été calculée en présumant que l’avantage ou le coût moyen mesuré au cours de la cinquième et de la sixième année après le programme se poursuivraient au fil des ans (en utilisant un taux d’escompte annuel de 5 %).
Forces et limites des études
Dans l’ensemble, le nombre d’informateurs clés interviewés dans certaines provinces ou territoires était relativement peu élevé. Les réponses fournies par les informateurs clés reflétaient leur propre expérience et la réalité de leur région; par conséquent, on ne peut établir clairement qu’elles étaient pleinement représentatives de l’ensemble de la province ou du territoire.
Le processus de jumelage a mené à la création des groupes témoins qui correspondaient étroitement aux participants des EDMT quant à leurs caractéristiques de base. Les résultats obtenus au moyen des techniques d’appariement par noyau ont été validés à l’aide de deux autres techniques (pondération de propension inverse et plus proche voisin), ce qui a relevé le seuil de confiance à l’égard des résultats. Cependant, les lecteurs doivent garder en tête que les impacts différentiels peuvent être influencés par des facteurs non représentés dans le processus de jumelage. Par exemple, la motivation à chercher un emploi n’a pas été mesurée de façon directe, sauf dans la mesure où elle a été prise en compte dans les schémas précédents portant sur les revenus et la participation au marché du travail.
Les lecteurs doivent également garder à l’esprit qu’il n’est pas possible de comparer les résultats obtenus pour chaque type de prestataire puisque les résultats des prestataires actifs représentent les impacts des PEMS par rapport à la non-participation, tandis que les résultats des anciens prestataires représentent les prestations d’emploi par rapport à un traitement limité (c’est-à-dire, SAE).
La définition des travailleurs de longue date diffère de celle utilisée dans la littérature puisqu’elle ne tient pas compte du nombre d’années pendant lesquelles le travailleur a occupé un emploi auprès du même employeur.
L’analyse coûts-avantages était limitée dans le sens où elle prenait uniquement en compte les avantages et les coûts quantifiables qui étaient directement liés à l’exécution des PEMS et à la participation à celles-ci, et qui auraient pu être mesurés à l’aide des données administratives disponibles et du rapport de contrôle et d’évaluation de l’a.-e. L’analyse n’a pas permis de recueillir les avantages « intangibles », non pécuniaires et indirects. Elle n’a pas tenu compte de l’effet multiplicateur que l’amélioration des revenus des participants pourrait avoir sur l’économie et n’a pas pris en considération les effets des investissements en vertu de la partie II de la Loi sur l’assurance-emploi en vue de soutenir une infrastructure de prestation de services ou la création d’emplois chez les prestataires de services des programmes gouvernementaux. De plus, l’analyse n’a pas pris en compte l’effet de déplacement créé lorsque des participants prennent des emplois qui auraient autrement été comblés par d’autres chômeurs. Pour terminer, cette analyse n’a pas envisagé l’effet possible des PEMS sur l’augmentation du prix des compétences.
Détails de la page
- Date de modification :