Évaluation 2016 de l’Initiative ciblée pour les travailleurs âgés

Introduction

Le présent rapport rend compte des constatations et conclusions de l’évaluation de 2016 de l’Initiative ciblée pour les travailleurs âgés (ICTA). L’évaluation a pour objectif principal d’orienter les travaux relatifs aux politiques en 2016-2017, avant la fin de la période actuelle de renouvellement (d’avril 2014 à mars 2017). Elle comporte deux principaux axes : 1) l’examen des conséquences de l’instauration de deux nouveaux critères d’admissibilité en 2014 sur les provinces et les territoires dans le cadre de la conception et de la mise en œuvre du programme; 2) l’examen de la conformité du programme avec les pratiques exemplaires des programmes se rapportant au marché du travail destinés aux travailleurs âgés, à la lumière de la littérature spécialisée. L’évaluation a également permis de faire le point sur le rendement du programme quant à l’atteinte de résultats dans les domaines de l’employabilité, de l’emploi rémunéré et du travail autonome, en fonction des données disponibles.

Description du programme

L’ICTA est un programme fédéral-provincial-territorial à frais partagés, qui a pour objet d’aider les travailleurs âgés sans emploi, surtout dans le groupe des 55 à 64 ans, à retourner sur le marché du travail. Le programme est offert dans de petites collectivités qui comptent au plus 250 000 habitants et qui ont un taux de chômage élevé et/ou sont touchées par d’importantes compressions ou fermetures. Dans le cadre du Budget fédéral de 2014, un montant de 75 M$ a été affecté au renouvellement de l’ICTA pour une troisième fois pour une période de trois ans (d’avril 2014 à mars 2017). Depuis le renouvellement du programme en 2014, ses modalités ont été élargies de façon à inclure deux nouveaux critères d’admissibilité des collectivités : un besoin en main-d’œuvre non-comblé des employeurs^{Note de bas de page 1} et l’inadéquation en matière de compétences^{Note de bas de page 2}.

Le résultat attendu de l’initiative est d’accroître l’employabilité des travailleurs âgés sans emploi et de les aider à retourner sur le marché du travail. Les provinces et territoires qui participent au programme élaborent des projets en fonction des paramètres définis dans les accords bilatéraux qu’ils ont conclus avec le gouvernement fédéral. Les projets sont généralement mis en œuvre par des tiers fournisseurs de services.

Les conditions de l’initiative stipulent que les projets doivent comprendre des activités d’aide à l’emploi telles que du counseling d’emploi et des activités qui portent sur la rédaction d’un curriculum vitæ, les techniques pour réussir une entrevue et les techniques de recherche d’emploi. De plus, les projets doivent proposer au moins deux activités d’amélioration de l’employabilité, par exemple des activités d’évaluation, le mentorat par les pairs, la formation professionnelle, les subventions salariales, l’acquisition d’expérience de travail communautaire, la préparation au travail autonome, ainsi que le suivi et le mentorat après le projet. Les projets qui comprennent des activités autres que l’acquisition d’expérience de travail ou l’emploi subventionné doivent offrir un soutien du revenu sous forme d’allocations aux participants, lorsque la législation provinciale ou territoriale le permet. Tous les projets doivent assurer aux participants au moins 25 heures d’activité par semaine. Toutefois, il n’existe aucun nombre minimum ou maximum de semaines de participation.

Contexte

Une évaluation plus rigoureuse du programme a été réalisée en 2014. Elle a été fondée sur un modèle non expérimental et une enquête complexes impliquant des coûts importants, et a permis de tirer des conclusions fiables sur le rendement du programme. Elle a notamment permis de constater ce qui suit :

• Les participants au programme étaient plus susceptibles que les non-participants de trouver un emploi (écart de six points de pourcentage).
• Aucune différence n’a été observée entre le revenu d’emploi des participants et celui des travailleurs âgés du groupe de comparaison.

L’évaluation de 2016 vient compléter les travaux effectués lors de l’évaluation antérieure. Il s’agit d’une évaluation calibrée, axée sur les résultats; sa portée et son orientation ont été définies en fonction des besoins du secteur de programme et du Ministère, selon ce qui figure dans la stratégie d’évaluation de l’ICTA qui a été approuvée en novembre 2014 par le Comité ministériel d’évaluation.

L’évaluation de 2016 se fonde sur une approche exploratoire/d’investigation visant à enrichir la base de connaissances collectives sur les approches efficaces pour les programmes du marché du travail destinés aux travailleurs âgés et sur les nouveaux aspects de l’initiative qui reposent sur la demande. Dans le cadre de l’évaluation, on a examiné les nouveaux critères d’admissibilité des projets et cherché à déterminer les meilleures activités de conception de programmes, les meilleures pratiques de prestation et les leçons tirées de programmes semblables à l’ICTA. On a également examiné le rendement du programme quant aux résultats obtenus dans les domaines de l’employabilité, de l’emploi rémunéré et du travail autonome, en fonction des données disponibles.

Les données recueillies proviennent d’un examen des documents de programme, des données administratives du programme, des entrevues avec des informateurs clés et d’un examen de la littérature canadienne et internationale.

L’évaluation avait pour portée initiale toutes les provinces et tous les territoires, à l’exception du Québec, qui effectue ses propres évaluations, et du Nunavut, qui n’a pas participé à l’initiative. Les données administratives utilisées pour l’évaluation étaient celles qui étaient disponibles entre avril 2014 et février 2016 pour quatre provinces et territoires : l’Ontario, la Colombie-Britannique, la Nouvelle-Écosse et le Yukon^{Note de bas de page 3}. Les données administratives n’étaient disponibles que pour ces quatre provinces et territoires, puisque des ententes sur l’échange de renseignements étaient toujours en cours de négociation avec les autres provinces et territoires pendant la période de collecte des données pour l’évaluation.

Des problèmes relatifs à la qualité des données ont aussi posé des défis pour une évaluation axée sur les résultats. Par exemple, des données incomplètes sur les participants limitaient le niveau d’analyse qui pouvait être effectué. En raison de l’absence de données des provinces non représentées, les constatations et les conclusions qui suivent donnent un aperçu partiel du rendement global du programme.

Conclusions

Au total, 287 projets (60 nouveaux projets et 227 projets renouvelés) ont été mis en œuvre à l’échelle du Canada (y compris au Québec) par les promoteurs de projets entre avril 2014 et mars 2016. Environ 83 % (50 sur 60) des nouveaux projets étaient admissibles à du financement suite à l’adoption des nouveaux critères d’admissibilité qui permettent la participation de collectivités où il y a un besoin en main-d’œuvre non comblé des employeurs ou une inadéquation en matière de compétences. Dans l’ensemble, le programme joint sa clientèle cible en Ontario, en Colombie-Britannique, au Yukon et en Nouvelle-Écosse, où la majorité des participants entrent dans la tranche d’âge principale (de 55 à 64 ans).

Selon les résultats obtenus par les participants de la Colombie-Britannique, du Yukon et de la Nouvelle-Écosse, l’ICTA est en train d’y atteindre le résultat escompté. De plus, les résultats révèlent que, dans l’ensemble, les participants étaient satisfaits de l’initiative et trouvaient que les activités de recherche d’emploi et d’amélioration de l’employabilité étaient globalement utiles.

Une comparaison avec les recherches universitaires indique que la structure et le mode de prestation de l’ICTA sont efficaces dans l’ensemble pour aider les travailleurs âgés à retourner sur le marché du travail. Par exemple, l’initiative comporte un processus d’identification, d’évaluation et de sélection de participants pour leur recrutement; fournit un soutien du revenu qui est adapté aux besoins des travailleurs âgés; propose des activités pertinentes d’aide à l’emploi et d’amélioration de l’employabilité, qui se déroulent en groupe. En fait, le programme s’inspire étroitement de programmes similaires à l’intention de travailleurs âgés, qui ont donné de meilleurs résultats quant au taux d’emploi, au revenu d’emploi et à la satisfaction au travail.

Bien que le programme intègre de nombreuses pratiques exemplaires, quelques aspects pourraient être améliorés :

• Bien des activités du programme ont renforcé le sentiment d’efficacité personnelle des chercheurs d’emploi, mais les objectifs d’emploi n’étaient pas clarifiés ni fixés systématiquement avec les participants. Lorsque les objectifs sont clairement définis, une stratégie de recherche d’emploi ciblée est généralement plus fructueuse.
• Les programmes d’aide aux travailleurs âgés qui connaissent le plus de succès incluent une forme de promotion de ces travailleurs auprès d’employeurs potentiels. Il y avait des projets qui ne faisaient pas la promotion de leurs participants auprès d’employeurs potentiels, ou qui n’incluaient pas de partenariats avec eux. L’établissement de liens avec les employeurs répond à leur besoin de travailleurs âgés déjà présélectionnés et formés.
• Offrir aux participants un soutien important, continu et positif par les pairs les incite à faire plus d’efforts pour trouver un emploi. Toutefois, par suite à leur participation au programme, les participants ne bénéficiaient pas d’un soutien officiel et continu.
• Les programmes du marché du travail destinés aux travailleurs âgés devraient comporter un processus rigoureux d’identification, de présélection et de sélection de participants. Comme il est indiqué ci-dessus, un tel processus est suivi dans une certaine mesure. Toutefois, les promoteurs de projets n’évaluent pas systématiquement tous les participants potentiels; les processus et les outils utilisés pour l’évaluation varient d’une province ou d’un territoire à l’autre, et certaines évaluations ne sont pas aussi approfondies que d’autres.

À la lumière des constatations et des conclusions énoncées dans le présent rapport, on propose les trois recommandations suivantes :

Introduction

La Direction générale des compétences et de l’emploi (DGCE) tient à remercier la Direction de l’évaluation et tous ceux qui ont participé à l’évaluation de 2016 de l’Initiative ciblée pour les travailleurs âgés (ICTA). La DGCE souhaite souligner particulièrement la contribution des provinces et des territoires, des participants, des informateurs clés et des responsables du programme à la réalisation de la présente évaluation.

L’ICTA est une initiative fédérale-provinciale-territoriale à frais partagés qui aide les travailleurs âgés (habituellement entre 55 et 64 ans) sans emploi à retourner sur le marché du travail. Elle vise des petites collectivités vulnérables, c’est-à-dire les villes et municipalités d’au plus 250 000 habitants qui ont un taux de chômage élevé et qui sont touchées par d’importantes réductions des effectifs ou fermetures. Comme il est indiqué ci-dessous, deux autres critères d’admissibilité des collectivités ont été ajoutés en 2014 : un besoin en main-d’œuvre non-comblé de l’employeur et l’inadéquation en matière de compétences.

Dans le cadre de l’ICTA, les provinces et territoires ont la responsabilité de déterminer les collectivités cibles, ainsi que de concevoir et mettre en œuvre des projets axés sur des activités de groupe ou sur l’aide au travail indépendant. Le gouvernement fédéral est chargé d’établir les paramètres de programme, d’approuver les projets, de superviser la mise en œuvre générale des ententes, de gérer les allocations et d’effectuer les évaluations de programme.

L’ICTA a été renouvelée en 2014 pour une période additionnelle de trois ans, dans le cadre de l’engagement du gouvernement de faire en sorte que les programmes du marché du travail soient davantage axés sur la demande. Par conséquent, les critères d’admissibilité du programme ont été élargis afin d’offrir aux provinces et territoires plus de liberté pour mettre en œuvre des projets de l’ICTA dans les collectivités où les besoins en main-d’œuvre des employeurs ne sont pas comblés, ou dans le cas d’une inadéquation en matière de compétences avec les postes à pourvoir.

L’ICTA sert de complément à d’autres types de programmes du marché du travail qui sont offerts actuellement, comme le Fonds canadien pour l’emploi, les Ententes sur le développement du marché du travail et les Ententes sur le marché du travail visant les personnes handicapées. Elle est cependant axée sur le développement du capital humain des travailleurs âgés au moyen d’activités d’aide à l’emploi (rédaction de curriculum vitæ, préparation aux entrevues, services-conseils, clubs de recherche d’emploi, etc.) et de services de soutien à l’employabilité (acquisition de nouvelles compétences, préparation au travail autonome, amélioration des compétences essentielles, expérience de travail, mise en valeur du potentiel directement auprès des employeurs, etc.).

Au cours de l’été et de l’automne 2016, EDSC a effectué un examen complet de l’ensemble des ententes de transfert relatives au marché du travail (ETMT). Cet examen comprenait de vastes consultations avec les provinces et les territoires, de même qu’avec des intervenants, pour veiller à ce que les ETMT soient pertinentes, souples et adaptées aux priorités et aux besoins actuels et nouveaux du marché du travail. Cela est conforme à l’engagement du gouvernement du Canada de rationaliser et d’élargir les ententes qui soutiennent la formation professionnelle. Les résultats de cet examen confirmaient la nécessité qu’à l’avenir, les ententes sur le marché du travail :

• tiennent compte des besoins des personnes, des travailleurs, des employeurs et des groupes sous-représentés;
• s’appuient sur des faits probants manifestes pour mesurer le rendement afin d’obtenir des données pertinentes qui éclaireront mieux les décideurs et permettront de mieux servir les Canadiens et de les aider à obtenir des résultats significatifs sur le plan de l’emploi;
• accroissent la capacité de concevoir des programmes novateurs et de mettre en commun les pratiques exemplaires dans le contexte des ententes sur la formation professionnelle.

EDSC examine présentement des options stratégiques découlant de cet examen pour déterminer les prochaines étapes. Les résultats de cette évaluation seront particulièrement pertinents pour aider à distinguer les meilleures pratiques pour les programmes du marché du travail destinés aux plus démunis.

Étant donné que la population vieillit et que les Canadiens âgés forment une plus grande part de la population active, il est important de favoriser le maintien en poste et la réintégration au marché du travail afin d’appuyer la croissance économique.

La DGCE est d’accord avec les conclusions de l’évaluation et fournit la réponse suivante de la direction.

Principales constations

Bien que l’évaluation ait permis d’examiner le rendement du programme en fonction des résultats atteints lorsque les données étaient disponibles, son principal objectif était d’examiner les deux questions suivantes :

1. les conséquences de l’instauration de deux nouveaux critères d’admissibilité en 2014 sur la mise en œuvre du programme par les provinces et les territoires;
2. la conformité du programme avec les pratiques exemplaires visant les travailleurs âgés, à la lumière de la littérature spécialisée.

L’évaluation a révélé que 83 % des nouveaux projets de l’ICTA qui avaient été approuvés entre le 1^er avril 2014 et le 31 mars 2016 avaient été conçus pour aider les collectivités qui satisfaisaient aux nouveaux critères d’admissibilité. Ce taux élevé indique que l’élargissement des critères répondait aux besoins du marché du travail local. L’évaluation a également montré que le programme de l’ICTA utilise bon nombre des meilleures pratiques recensées dans la littérature, et elle a mis en lumière des lacunes qui pourraient être corrigées à l’avenir lors de la conception de programmes du marché du travail pour les travailleurs âgés. Les données recueillies montrent que le programme rejoint une population vulnérable qui a besoin de services d’emploi. De plus, l’évaluation a permis de constater que les participants étaient satisfaits des activités de recherche d’emploi et d’amélioration de l’employabilité dont ils ont bénéficié dans le cadre du programme et que l’ICTA aide efficacement les travailleurs âgés sans emploi à améliorer leur employabilité et leur transition vers un emploi. Bien qu’une analyse à partir de données limitées présente des défis, la présente évaluation fournit néanmoins des renseignements précieux sur l’efficacité du programme.

Recommandations et mesures de suivis

Trois recommandations résultent de l’évaluation :

3.1 Évaluation sommative de l’ICTA de 2014

L’évaluation sommative de l’ICTA réalisée en 2014 selon un modèle non expérimental, complexe et coûteux a mené à des conclusions fiables sur le rendement du programme. La méthodologie d’évaluation utilisée a été la suivante : une enquête auprès d’anciens participants au programme; une analyse des impacts différentiels au moyen d’un groupe de comparaison « à traitement restreint »; une étude comparative afin d’examiner l’étendue des pertes d’emploi chez les aînés canadiens résidant dans les mêmes régions géographiques que les participants au programme; des entrevues menées par des informateurs clés auprès d’employeurs, de représentants de projet, d’agents de programme à EDSC et de représentants des provinces et des territoires; ainsi qu’un examen des principaux documents.

L’évaluation de 2014 a permis de conclure que 75 % des répondants à l’enquête ont trouvé un emploi rémunéré à la suite de leur participation au programme et que la majorité des anciens participants interrogés estimaient que leur participation au programme avait favorisé leur employabilité. Ce résultat positif peut dépendre de nombreux facteurs. Une analyse des impacts différentiels a été utilisée pour déterminer la part de résultats attribuable au programme. Selon cette analyse :

• Les participants au programme étaient plus susceptibles que les non-participants de trouver un emploi (écart de six points de pourcentage);
• Aucune différence n’a été observée entre le revenu d’emploi des participants au programme et celui des travailleurs âgés du groupe de comparaison.

3.2 Évaluation de l’ICTA de 2016

L’objectif de l’évaluation de 2016 consistait à guider les travaux relatifs aux politiques en 2016-2017 avant la fin de la période de renouvellement actuelle, soit le 31 mars 2017. On a donc procédé à une évaluation calibrée au lieu de recourir à la méthodologie plus exhaustive employée en 2014. La Direction de l’évaluation et la Direction de l’élaboration et de la conception de politiques des programmes d’emploi ont convenu d’une stratégie qui améliorerait les connaissances collectives sur les programmes du marché du travail efficaces destinés aux travailleurs âgés^{Note de bas de page 7}.

Plus particulièrement, l’accent a été mis sur l’examen des pratiques exemplaires liées à la conception du programme ainsi que sur l’étude de la mise en œuvre des nouveaux critères d’admissibilité. Lorsque les données nécessaires étaient disponibles, le rendement du programme en ce qui a trait à l’atteinte de résultats comme l’employabilité, l’emploi rémunéré et le travail indépendant, a aussi été évalué.

La collecte des données a été réalisée conformément aux quatre méthodes ci-dessous :

• l’examen des documents du programme;
• l’analyse de la littérature canadienne et internationale;
• la réalisation d’entrevues avec des informateurs clés, soit des administrateurs de programme à EDSC dans la région de la capitale nationale, des représentants de programme des provinces et des territoires, des promoteurs de projet d’organisations communautaires, des participants et des employeurs de trois provinces (Alberta, Manitoba et Nouvelle-Écosse);
• l’étude des données administratives provenant des formulaires de renseignements sur le participant et des formulaires de rétroaction du participant de quatre provinces et territoires (Yukon, Colombie-Britannique, Ontario et Nouvelle-Écosse), des documents d’approbation des projets et des renseignements concernant les promoteurs de projet^{Note de bas de page 8}.

L’analyse de la conception et de la mise en œuvre du programme consistait à déterminer les pratiques exemplaires liées aux programmes du marché du travail destinés aux travailleurs âgés et les leçons tirées de la littérature. La pertinence des pratiques exemplaires et des leçons a été évaluée, et celles-ci ont été comparées aux éléments importants de la conception du programme au moyen d’un examen des documents du programme et d’entrevues avec des informateurs clés. Tous les aspects de la conception susceptibles d’améliorer le programme ont été relevés et sont décrits dans d’autres sections du présent rapport.

L’établissement des résultats du programme en matière d’emploi reposait principalement sur les données administratives disponibles, et le contenu du rapport sur cette question est fondé sur les données de trois provinces et territoires (Colombie-Britannique, Yukon et Nouvelle-Écosse). Ainsi, on ne peut tenir pour acquis que l’interprétation des résultats de l’ICTA représente le rendement global du programme. Enfin, les documents du programme et, dans une moindre mesure, les commentaires des répondants de trois provinces (Alberta, Manitoba et Nouvelle-Écosse) ont également été utilisés pour rendre compte des résultats. Voir l’annexe B pour une description plus détaillée de la méthodologie employée dans le cadre de cette évaluation.

4.1 Conformité de l’ICTA aux pratiques exemplaires

5.1 Portée du programme et profil des participants

5.2 Résultats

Cette section présente les résultats pour la Colombie-Britannique, le Yukon et la Nouvelle-Écosse. Elle s’appuie sur les données administratives de 646 participants de ces trois provinces et territoires^{Note de bas de page 19}. Les résultats intéressants portent sur l’employabilité, l’emploi rémunéré et le travail indépendant. Les éléments d’information proviennent des données administratives du programme disponibles au moment de l’évaluation, d’entrevues menées par des informateurs clés et des documents du programme.

6.1 Stratégie de mesure de rendement

La stratégie de mesure du rendement du programme a été mise à jour en 2013, et les énoncés sur les résultats dans le modèle logique ont été revus en 2014 à la lumière des nouveaux critères d’admissibilité^{Note de bas de page 21}. Dans l’ensemble, les activités du programme et les énoncés sur les résultats généraux sont demeurés les mêmes.

La majorité des données sur le rendement du programme sont recueillies au moyen de trois formulaires papier. Les formulaires de renseignements sur le participant sont remplis par les participants avant le début du programme. Les formulaires de rétroaction du participant sont remplis immédiatement après le programme. Les formulaires d’évaluation de suivi sont envoyés aux anciens participants de trois à six mois après le programme. Les formulaires de renseignements sur le participant et de rétroaction, une fois remplis, sont envoyés aux provinces et aux territoires par les promoteurs de projet. Habituellement, les formulaires d’évaluation sont gérés directement par les provinces et les territoires, qui les envoient à EDSC après avoir effectué les analyses voulues. Les agents de programme à EDSC entrent manuellement les données provenant des formulaires dans une base de données. La majorité des promoteurs de projet et des informateurs clés des provinces et des territoires estimaient qu’il serait plus efficient de procéder à la saisie électronique du contenu des formulaires de renseignements sur le participant et de rétroaction.

6.2 Qualité des données

Le programme a recours à des mesures des résultats en matière d’employabilité semblables à celles mentionnées dans la littérature, mais il est possible qu’elles ne permettent pas de mesurer l’employabilité le plus exactement possible. Par exemple, les participants au programme doivent répondre par « oui » ou par « non » à une question qui demande si le projet de l’ICTA les a rendus plus confiants de trouver un emploi. Toutefois, plusieurs outils de mesure élaborés et utilisés par des spécialistes évalueraient avec plus d’exactitude les résultats en matière d’employabilité^{Note de bas de page 22}. Par exemple, un de ces outils mesure l’auto-efficacité à retrouver un emploi; les répondants doivent indiquer leur niveau de confiance à trouver un emploi rémunéré par rapport à quatre possibilités à l’aide d’une échelle de Likert à cinq choix de réponse. Un autre outil évalue l’auto-efficacité dans la recherche d’emploi et demande aux répondants d’indiquer leur niveau de confiance à réaliser six activités de recherche d’emploi à l’aide d’une échelle de Likert à cinq choix de réponse. Comme il s’agit du seul programme du Ministère à collecter des données directement auprès des participants avant et après leur participation, il serait possible de consigner des observations instructives sur les comportements et les résultats intéressants avant et après la participation.

L’intégralité des données compilées s’est révélée assez bonne pour les variables démographiques (âge, sexe, niveau d’études et région). Toutefois, les variables liées aux résultats ont été mal consignées. Par exemple, il manquait plus de 50 % des renseignements sur la variable relative à l’emploi. Il manquait également de nombreuses données pour d’autres variables liées au revenu (c’est-à-dire le nombre de prestations d’assurance-emploi et le nombre de mois sur l’aide sociale ou l’assurance-emploi). Environ 75 % des variables liées à la rétroaction des participants (c’est-à-dire l’auto évaluation de leur niveau de confiance) étaient aussi manquantes, ce qui a limité l’utilité de certaines données. De plus, les données sur les variables liées aux résultats étaient accessibles seulement pour trois provinces et territoires. Finalement, ces lacunes ont limité l’analyse que les évaluateurs pouvaient effectuer avec les données administratives.

6.3 Coûts du programme

Aucune analyse coût/bénéfice n’a été effectuée pour les interventions et les services du programme de l’ICTA, car le modèle d’évaluation ne comprenait pas d’analyse des impacts différentiels. En outre, il n’a pas été possible de calculer le coût moyen pour l’ensemble du programme, car les données sur les participants n’étaient pas disponibles à l’échelle nationale. Cependant, il a été possible de faire un calcul plus limité du coût moyen par participant en fonction des contributions du gouvernement fédéral pour quatre provinces et territoires.

En 2014-2015 et en 2015-2016, l’Ontario, la Nouvelle-Écosse, la Colombie-Britannique et le Yukon ont réclamé 15 M$ du gouvernement fédéral, et 2 785 personnes ont participé au programme dans ces provinces et territoires. Le coût moyen du programme par participant est estimé à 5 386 $ (voir le tableau 4 ci-dessous). Dans l’évaluation précédente, le coût moyen par participant était estimé à 7 000 $.

Source : *Budget du programme et données administratives de l’Ontario, de la Colombie-Britannique, du Yukon et de la Nouvelle Écosse, à l’exclusion de l’Ontario pour l’exercice 2015-2016, car les données sur les participants n’étaient pas disponibles.

Comme l’analyse du tableau 4 exclut l’Ontario pour l’exercice 2015-2016, la différence du coût par client entre 2014-2015 et 2015-2016 peut s’expliquer par la variation des coûts de mise en œuvre des projets au sein d’une province ou d’un territoire^{Note de bas de page 23}. Par exemple, les coûts au sein d’une province ou d’un territoire peuvent dépendre de la disponibilité de l’infrastructure existante des programmes du marché du travail qui peut être utilisée par un promoteur de projet dans une collectivité admissible. Plus particulièrement, les coûts peuvent être supérieurs dans les collectivités plus éloignées. De plus, il se peut que les allocations des participants soient plus élevées dans certaines provinces ou certains territoires ou qu’elles ne soient pas réduites par un salaire versé pour une expérience de travail auprès d’un employeur ou par l’assurance-emploi.

Recommandation n° 1 :

Premièrement, les promoteurs de projet organisaient de nombreuses activités qui renforçaient le sentiment d’auto-efficacité des chercheurs d’emploi. Cependant, ils ne précisaient pas ou ne fixaient pas systématiquement les objectifs d’emploi pour les participants. Lorsque les objectifs sont clairement définis, une stratégie de recherche ciblée permet généralement d’atteindre des résultats plus fructueux.

Deuxièmement, alors que certains promoteurs de projet établissaient un lien entre les participants et les employeurs, certains ne le faisaient pas. La mise en valeur du potentiel des participants auprès des employeurs, qui pourrait comprendre l’établissement de contacts entre ceux-ci, pourrait contribuer à améliorer l’accès aux marchés du travail.

Enfin, le fait d’offrir un soutien officiel continu des pairs tout au long du processus de recherche active d’emploi par les participants constitue un élément de conception essentiel. Des promoteurs de projet ont créé des environnements de soutien pour leurs participants et ces derniers en reconnaissaient la valeur. Des participants ont indiqué avoir formé des groupes informels afin de se soutenir mutuellement après leur participation au programme. Toutefois, les évaluateurs ont vu peu de cas où des promoteurs de projet facilitaient des séances de groupe officielles continues. Fournir un soutien continu est très important, puisque près de la moitié des participants n’avaient pas obtenu d’emploi une fois leur participation au programme de l’ICTA terminée.

Recommandation n° 2 :

Les programmes du marché du travail pour les travailleurs âgés devraient comprendre certaines caractéristiques de conception, notamment l’identification, la présélection et la sélection rigoureuses des participants. Cela permet aux coordonnateurs du programme de diriger les participants vers des programmes ciblés et adaptés qui tiennent compte de leurs forces particulières et qui leur permettent de pallier leurs faiblesses. Toutefois, les promoteurs de projet n’évaluent pas systématiquement tous les participants potentiels. Lorsqu’ils le font, les processus et les outils utilisés aux fins d’évaluation varient d’un endroit à l’autre, et certaines évaluations sont plus solides que d’autres.

La littérature indique que les personnes très scolarisées ont tendance à être plus autonomes dans leur apprentissage et pourraient ne pas réagir favorablement au programme de l’ICTA. Dans le cas de personnes qui manquent de soutien social, qui présentent des symptômes d’anxiété et qui ont un faible niveau de scolarité, des programmes officiels structurés offrant un soutien continu sont bénéfiques.

Le fait de disposer systématiquement de solides évaluations des participants permettrait d’orienter les travailleurs âgés vers des programmes du marché du travail qui correspondent davantage à leurs besoins.

Recommandation n° 3 :

Il est essentiel de surveiller continuellement les caractéristiques démographiques des participants ainsi que les résultats entre les évaluations de programme afin d’assurer une gestion efficace de tout programme. Par exemple, il est possible de repérer les lacunes dans le recrutement des participants les plus adéquats en utilisant les données recueillies de façon continue auprès des participants. Si des lacunes sont repérées, elles peuvent être signalées aux promoteurs de projet afin de veiller à ce que la mise en œuvre du programme respecte toujours les principales exigences de la politique applicable. Toutefois, la surveillance continue du rendement exige la collecte systématique, rapide et efficace de données fiables.

Les données sur le rendement du programme de l’ICTA sont consignées au moyen de formulaires papier qui doivent être remplis par les participants immédiatement avant et après leur participation au programme. Les provinces et les territoires expédient ensuite des lots de formulaires remplis aux responsables de programme à EDSC, où ils sont saisis manuellement dans une base de données. Le processus demande beaucoup de temps et est sujet aux erreurs de saisie. Les variables de profil (âge, sexe, études et région) ont été consignées de manière adéquate, contrairement aux variables de résultats, qui présentaient des erreurs liées à une non-réponse. En outre, bien que les mesures de résultats relatifs à l’employabilité et à l’emploi qui sont consignées par le programme soient pertinentes, il existe des mesures plus fiables qui permettraient de saisir des données plus informatives à des fins de mesure du rendement et d’évaluation.

La portée des évaluations futures est limitée par l’absence de numéros d’assurance sociale (NAS) des participants. La collecte des NAS des participants au programme permettrait à EDSC de réaliser une analyse plus approfondie du rendement du programme et une analyse des impacts différentiels en facilitant l’identification des participants et l’établissement de liens entre les données administratives du programme et d’autres données administratives (par exemple Agence du revenu du Canada).

Dans sa forme actuelle, le système limite la capacité d’EDSC à effectuer une surveillance adéquate et pose des défis en matière d’analyse pour l’évaluation de l’ICTA.

Questions d’évaluation de l’ICTA

Introduction

Cette section présente les méthodes employées pour l’évaluation du programme de l’Initiative ciblée pour les travailleurs âgés (ICTA). La présente annexe décrit la portée de l’évaluation, les sources des données, les méthodes de collecte de données ainsi que les contraintes et les limites.

Portée et ampleur

Cette évaluation est axée sur les résultats et concernait la période allant d’avril 2014 à juin 2016. Elle portait sur les problèmes et les questions soulevés à l’annexe A et englobait toutes les provinces et tous les territoires, à l’exception du Québec, qui effectue ses propres évaluations, et du Nunavut, qui n’a pas participé à l’initiative. Toutefois, en raison de la disponibilité limitée des données administratives, la portée du contenu sur les résultats du programme se limitait à la Colombie-Britannique, au Yukon et à la Nouvelle-Écosse.

Méthodologie

Les méthodes ci-dessous ont été utilisées pour répondre aux questions d’évaluation. Toutes les méthodes ont été appliquées à l’interne par le personnel de la Direction de l’évaluation.

• Examen des documents et de la littérature – Cet examen portait notamment sur des rapports d’évaluation techniques et finaux produits antérieurement, la littérature canadienne et internationale sur le sujet et les documents du programme fournis par les responsables de celui-ci.
• Données administratives – Les données sur le rendement du programme ont été générées à partir de la base de données Access du programme de l’ICTA. Les données consignées comprenaient des renseignements tirés des formulaires de renseignements sur les participants, des formulaires de rétroaction des participants, des formulaires d’évaluation de suivi et des renseignements sur les promoteurs de projet.
• Entrevues avec des informateurs clés – Ces entrevues ont été réalisées en personne ou par téléphone. Les répondants comprenaient des représentants de l’administration du programme à EDSC dans la région de la capitale nationale (n=5). Des entrevues ont également été réalisées auprès de répondants choisis de façon aléatoire provenant de trois provinces (Alberta, Manitoba et Nouvelle-Écosse), qui étaient composés de représentants provinciaux et territoriaux du programme (n=3), de promoteurs de projet (n=8), de participants (n=10) et d’employeurs (n=4). Les entrevues ont été réalisées par les évaluateurs d’EDSC de janvier à février 2016.

Analyse

La stratégie d’analyse des données comprenait le recoupement de nombreuses sources. Le tableau ci-dessous présente les termes de proportion et de fréquence utilisés dans le rapport pour quantifier à quel point les répondants aux entrevues s’entendaient concernant des questions et des problèmes.

Contraintes et limites

En 2015, les responsables du programme ont ratifié des ententes sur l’échange de renseignements entre EDSC et les provinces et les territoires afin d’accéder aux données sur les participants (formulaire de renseignements sur les participants et formulaire de rétroaction des participants). En février 2016, les données de quatre provinces et territoires (Ontario, Colombie-Britannique, Yukon et Nouvelle-Écosse) étaient disponibles aux fins d’évaluation. Les lecteurs devraient porter une attention particulière lorsqu’ils interprètent les résultats invoquant des données administratives, puisqu’elles pourraient ne pas être représentatives des autres provinces et territoires qui participent à l’ICTA. En outre, les numéros d’assurance sociale des participants au programme de l’ICTA ne sont pas recueillis. Les évaluateurs n’ont pas été en mesure d’établir un lien entre la base de données administratives du programme de l’ICTA (formulaires de renseignements sur les participants et formulaires de rétroaction des participants) et les bases de données de l’Agence du revenu du Canada et d’EDSC ni de mettre en application la modélisation des impacts différentiels.