Évaluation du Programme d’appui aux initiatives sectorielles

Budget de 2021 et transformation des programmes

Pour aider à la reprise après la pandémie, le budget de 2021 a proposé de fournir 960 millions de dollars sur 3 ans, à compter de l’exercice 2021 à 2022, en vue de transformer le PAIS pour qu’il devienne le Programme de solutions pour la main-d’œuvre sectorielle (PSMS). La portée du PSMS a été élargie afin de permettre la réalisation de projets à plus grande échelle qui soutiennent une vaste gamme d’activités sectorielles, notamment la formation et le perfectionnement des travailleurs et l’élaboration de solutions aux problèmes de main-d’œuvre auxquels se heurtent les employeurs.

(Voir l’annexe A pour obtenir une brève description du nouveau programme.)

Objectif de l’évaluation

L’évaluation a été effectuée conformément à la Loi sur la gestion des finances publiques et à la Politique sur les résultats du Conseil du Trésor. Cette évaluation examine la contribution du PAIS à l’atteinte des résultats attendus (tels qu’ils sont énoncés dans le modèle logique du programme, voir l’annexe C) et couvre une période de 5 ans allant d’avril 2017 à mars 2022. Elle s’appuie sur l’évaluation précédente effectuée en 2018 et vise à aider le programme à déterminer les leçons tirées de l’exécution du programme et les facteurs à prendre en compte pour éclairer et améliorer les programmes à venir. Les constatations et les considérations de la présente évaluation sont fondées sur l’analyse de plusieurs sources de données.

Un résumé de la dernière évaluation du programme se trouve à l’annexe B.

Principales constatations

L’évaluation a donné lieu à 7 constatations principales.

1. L’utilisation d’outils et de produits financés par le PAIS était supérieure à la cible globale de 100 000 utilisateurs au courant de l’exercice 2017 à 2018. Toutefois, le suivi constant de cet indicateur a cessé au courant de l’exercice 2018 à 2019.
2. Les données probantes tirées du sondage, des études de cas et des documents de projet indiquent que les outils et produits financés par le PAIS ont aidé à cerner, à prévoir et à régler les problèmes de ressources humaines et de compétences dans divers secteurs économiques. Toutefois, la mesure dans laquelle ces ressources répondaient aux besoins des employeurs n’est évaluée que partiellement.
3. En répondant au besoin constant d’informations plus détaillées sur le marché du travail canadien, le PAIS complète les autres programmes relatifs au marché du travail et s’harmonise avec eux.
4. Les considérations relatives à l’analyse comparative entre les sexes Plus (ACS Plus) sont intégrées aux exigences et aux critères de sélection du programme. Quoique l’information tirée des entrevues et des études de cas indique que le programme a réussi à renforcer certaines considérations relatives à l’équité, ces résultats peuvent être améliorés.
5. Les projets pilotes sont utiles tant pour les employeurs que pour les chercheurs d’emploi. Le programme contribue à la détermination, à la mise en œuvre et à l’expansion de pratiques et de projets novateurs.
6. Les bénéficiaires de financement ont utilisé divers mécanismes pour communiquer et diffuser de l’information sur les outils et produits, et promouvoir leur utilisation. Bien que ce ne soit pas le rôle du programme, les bénéficiaires ont exprimé le souhait que le programme contribue davantage à favoriser et à améliorer l’adoption et l’utilisation des outils et produits.
7. Les exigences en matière de rapports ont été simplifiées pour les bénéficiaires de financement. Néanmoins, il faut mieux préciser les attentes en matière de rapports et les directives sur la façon de répondre aux exigences.

Points à considérer

En se fondant sur ces constatations, le présent rapport d’évaluation permet de formuler 3 considérations pour le Ministère :

1. l’amélioration de la collecte et du suivi des données des utilisateurs finaux permettrait de mieux comprendre les résultats globaux du programme;
2. une plus grande clarté en ce qui concerne les attentes en matière de production de rapports, un soutien technique et des directives à l’intention des bénéficiaires de financement pour répondre aux exigences relatives aux rapports pourraient améliorer le processus de production de rapports; et
3. le programme pourrait favoriser l’atteinte de résultats équitables en incitant les bénéficiaires à mettre au point plus d’outils et de produits spécifiques pour répondre aux besoins des groupes sous-représentés, des sous-secteurs et des sous-régions.

Résultats du programme

Le programme visait à atteindre les résultats attendus ci-après, comme le reflète le modèle logique de 2019.

• Les résultats à court terme sont principalement axés sur l’utilisation et l’adoption, par les employeurs et d’autres utilisateurs finaux, d’outils et de produits financés par le PAIS, ainsi que sur la reproduction d’approches novatrices.
• Les résultats à moyen terme prévoient l’utilisation et l’adoption d’outils et de produits financés par le PAIS pour améliorer la prise de décisions des employeurs ainsi que l’employabilité et la mobilité des employés; les approches novatrices sont étendues et accessibles à un plus grand nombre d’employeurs et d’utilisateurs finaux.
• À long terme, les produits contribueront à l’efficacité du marché du travail et à la capacité d’adaptation de la main-d’œuvre dans les secteurs ciblés.

Budget du programme

Les fonds du budget alloué aux projets du PAIS proviennent de 2 sources de financement, soit le Trésor et la partie II de la Loi sur l’assurance-emploi.

La figure 1 montre le budget annuel des projets entrepris dans le cadre du PAIS de l’exercice 2017 à 2018 à l’exercice 2021 à 2022, réparti selon chaque enveloppe budgétaire. En moyenne, pour la période visée, 28,23 millions de dollars étaient prévus annuellement pour le programme : 20,07 millions de dollars provenaient de la partie II de la Loi sur l’assurance-emploi, et 8,16 millions de dollars, en moyenne, provenaient du Trésor. Au cours de la dernière année du PAIS, soit l’exercice 2020 à 2021, le montant total des 2 enveloppes était de 25,13 millions de dollars.

Source : Données du programme

Remarques : Pour l’exercice 2017 à 2018, les dépenses de programme prévues représentent le total des budgets du PAIS provenant de la partie II de la Loi sur l’assurance-emploi et du Trésor combinés en début d’année avant les transferts. À partir de l’exercice 2018 à 2019, les chiffres prévus comprennent les transferts à d’autres programmes. Les budgets disponibles varient d’une année à l’autre en raison des transferts. Pour l’exercice 2021 à 2022, les projets sont transférés au Programme de solutions pour la main-d’œuvre sectorielle.

La figure 2 présente les dépenses du programme réelles par rapport aux dépenses du programme prévues de l’exercice de 2017 à 2018 à l’exercice 2021 à 2022. En moyenne, le programme a dépensé 20,9 millions de dollars annuellement au cours de la période de quatre ans de l’exercice 2017 à 2018 à l’exercice 2020 à 2021. Pour l’exercice 2021 à 2022, les projets ont été transférés au Programme de solutions pour la main-d’œuvre sectorielle.

Source : Données du programme

Remarque : Le programme a signalé peu de projets actifs pour les exercices 2017 à 2018 et 2021 à 2022 pendant lesquels de nouveaux appels de propositions ont été lancés; le peu de projets actifs explique l’écart plus élevé entre les dépenses réelles et les dépenses prévues pour ces exercices. Les projets sont transférés au Programme de solutions pour la main-d’œuvre sectorielle au cours de l’exercice 2021 à 2022.

Projets financés et produits

De l’exercice 2017 à 2018 à l’exercice 2020 à 2021, 90 projets ont reçu du financement dans le cadre du PAIS, dont 70 nouveaux projets. Les nouveaux projets étaient très variés, couvrant principalement des secteurs particuliers de l’économie ou soutenant des groupes sous-représentés (figure 3).

Remarque : Les projets financés ont appuyé plusieurs secteurs économiques et groupes sous-représentés. Les catégories de secteurs économiques et de groupes sous-représentés ne s’excluent pas mutuellement, et certains projets ont appuyé d’autres groupes sous-représentés (p. ex. les femmes).

La portée et le nombre de projets sélectionnés dans le cadre de chaque cycle d’appel de propositions dépendaient de l’évolution des besoins du marché du travail. Le programme a mentionné que l’appel de propositions de 2017 portait sur la nature changeante du travail et la croissance dans le respect de l’égalité des sexes. Au total, 35 propositions pluriannuelles ont reçu un financement de 89 millions de dollars, à compter de l’exercice financier 2018 à 2019.

L’appel de propositions de 2021 était axé sur des solutions sectorielles visant à relever les défis relatifs à la main-d’œuvre et à répondre aux besoins des travailleurs et des employeurs canadiens, et à combler des besoins précis en matière de main-d’œuvre pour soutenir la reprise économique dans un secteur particulier ou dans l’ensemble des secteurs. Au total, 32 propositions pluriannuelles ont reçu un financement de 101 millions de dollars, à compter de l’exercice 2021 à 2022

Remarque : Du 22 janvier au 4 mars 2021, le PAIS a lancé un appel de propositions qui a mené au financement de 32 projets au total. Parmi ceux-ci, on compte 10 projets axés sur la création d’emplois et des occasions de perfectionnement professionnel pour les personnes en situation de handicap, et 22 projets qui visaient à soutenir le secteur du tourisme et de l’hôtellerie, l’un des secteurs les plus durement touchés par la pandémie de COVID-19.

Les projets financés dans le cadre du PAIS ont permis d’élaborer ou de mettre à jour un grand nombre d’outils et de produits de l’exercice 2017 à 2018 à l’exercice 2020 à 2021, soutenant principalement l’information sur le marché du travail de divers secteurs (figure 4).

Remarque : Ces figures ne présentent que les résultats pour certains produits clés. De nombreux autres produits ont été élaborés chaque année. Il s’agissait notamment de profils de compétences, de descriptions de travail détaillées, de guides d’entrevue détaillés, d’outils de schématisation des programmes d’apprentissage et de trousses d’outils et de vidéos sur les ressources humaines.

En plus de ces ressources, 5 rapports documentant les pratiques exemplaires et les leçons tirées des projets pilotes ont été produits et communiqués au cours de la période.

Questions de l’évaluation

1. En plus du financement, quelle est la contribution du programme à la détermination, à la reproduction ou à l’expansion de solutions créatives pour la main-d’œuvre? [chaîne 3 du programme].
2. Dans quelle mesure les employeurs ont-ils adopté ou utilisé les solutions pour la main-d’œuvre ainsi que les produits d’information sur le marché du travail et les outils offerts grâce au financement du programme alloué selon une approche sectorielle? [chaînes 1 et 2 du programme].
   • 2.1. Comment le programme a-t-il contribué à l’adoption et à l’utilisation de ces outils et ressources?
3. Dans quelle mesure les besoins des employeurs en matière de compétences et d’emploi ont-ils été satisfaits grâce à l’obtention, l’adoption ou l’utilisation de solutions pour la main-d’œuvre, de produits d’information sur le marché du travail et d’outils?

Portée et limites de l’évaluation

Quelques indications sur la portée et les limites de la présente évaluation sont fournies ci-après.

• L’évaluation n’a pas examiné les projets financés dans le cadre du Programme de solutions pour la main-d’œuvre sectorielle lancé pendant l’exercice 2021 à 2022.
• L’une des principales sources de données pour l’analyse est le Système commun pour les subventions et les contributions. Sur les 90 projets financés de l’exercice 2017 à 2018 à l’exercice 2020 à 2021, il y avait des données disponibles pour seulement 62 projets dans le Système commun pour les subventions et les contributions pendant la phase de travail de l’évaluation; parmi ces projets, 44 se sont terminés pendant la période d’évaluation. L’analyse des données du projet est fondée sur cet échantillon.
• L’information sur l’utilisation des outils et produits financés par le PAIS n’a pas pu être agrégée entre les différents projets. Par conséquent, l’évaluation n’a pas permis d’examiner pleinement le résultat du programme dans son ensemble.
• Le Ministère (EDSC) n’a pas accès aux coordonnées des employeurs. L’équipe de l’évaluation a dû se fier aux bénéficiaires de financement pour qu’ils envoient le lien du sondage à leurs listes d’employeurs. À la fin, un nombre limité d’employeurs ont rempli le sondage en ligne. Compte tenu de ces limites, les données du sondage sont présentées de façon descriptive et ont été triangulées avec d’autres sources de données, le cas échéant.

De plus amples renseignements sur les sources de données et leurs limites se trouvent à l’annexe D : Sources de données.

Constatation 1 : L’utilisation des outils et produits financés par le PAIS était supérieure à la cible globale de 100 000 utilisateurs pour l’exercice 2017 à 2018. Toutefois, le suivi constant de cet indicateur a cessé au cours de l’exercice 2018 à 2019

Pour les exercices 2017 à 2018 et 2018 à 2019, des données sur les produits et les résultats ont été recueillies dans le cadre du Sondage auprès des bénéficiaires sur les indicateurs de rendement du PAIS. Les résultats du sondage de l’exercice 2017 à 2018 indiquent que :

• 103 337 intervenants ont utilisé des outils et des produits d’IMT financés par le PAIS;
• le nombre d’utilisateurs des normes professionnelles nationales (NPN) est de 15 429 pour cet exercice;
• au total, 462 employés ont obtenu une certification dans le cadre du PAIS et 7 programmes d’études ont été accrédités.

Au cours de l’exercice 2017 à 2018, plus de 4 000 grands employeurs et 7 350 petites et moyennes entreprises ont utilisé des produits d’IMT financés par le PAIS. Au total, 624 grandes entreprises et 999 petites et moyennes entreprises ont utilisé les NPN au cours de l’exercice.

Le sondage a cessé d’être administré à partir de l’exercice 2018 à 2019 afin de réduire les exigences de collecte de données qui pesaient sur les bénéficiaires de financement; au cours de cet exercice, les données n’ont pas été recueillies de façon uniforme pour l’ensemble des projets, empêchant par conséquent leur agrégation.

Source : Sondage d’EDSC auprès des bénéficiaires sur les indicateurs de rendement du PAIS

Au cours des exercices financiers 2019 à 2020 et 2020 à 2021, le programme a recueilli des données sur les produits et les résultats au moyen de rapports d’activités trimestriels présentés par les bénéficiaires de financement et soumis dans le Système commun pour les subventions et les contributions. Les rapports de données sur les produits et les résultats ont été effectués à l’échelon des projets avec une certaine flexibilité pour tenir compte de la variabilité des objectifs, des produits livrables et des résultats des projets. L’information recueillie au moyen de rapports trimestriels, réorganisée en outils de suivi des résultats, était utilisée pour orienter la conception du programme, sa mise en œuvre et les activités connexes, mais a entraîné des incohérences dans l’agrégation de certains résultats du projet, comme le nombre d’utilisateurs finaux. Pour cette raison, les résultats agrégés sur l’utilisation des différents outils et produits financés par le programme n’ont pas pu être calculés pour les exercices 2019 à 2020 et 2020 à 2021.

Constatation 2 : Les données probantes tirées du sondage, des études de cas et des documents de projets indiquent que les outils et produits financés par le PAIS ont aidé à cerner, à prévoir et à régler les problèmes de ressources humaines et de compétences dans divers secteurs économiques. Toutefois, la mesure dans laquelle ces ressources répondaient aux besoins des employeurs n’est évaluée que partiellement

L’examen des documents des projets a révélé que l’adoption et l’utilisation d’outils et de produits financés par le PAIS contribuent à un certain nombre de résultats recherchés dans le cadre du programme. Plus particulièrement, les outils et les produits ont aidé à répondre aux besoins des employeurs de :

• trouver, intégrer, recruter et maintenir en poste des travailleurs;
• prendre des décisions éclairées en matière de planification des effectifs.

La majorité des informateurs clés, y compris les bénéficiaires de financement, les responsables de programme et d’autres intervenants (n = 18), ont fourni des exemples anecdotiques des façons dont les outils et les produits financés par le PAIS ont contribué à aider les employeurs à satisfaire leurs besoins. Les thèmes clés de ces exemples peuvent être résumés comme suit :

• les rapports d’information sur le marché du travail (IMT) et d’autres produits aident les employeurs dans la planification des ressources humaines et de la main-d’œuvre, la rédaction d’offres d’emploi et de descriptions de travail, ainsi que dans les stratégies de recrutement et de maintien en poste;
• les données d’IMT orientent le travail d’élaboration des politiques sur les ressources humaines et la rémunération;
• les normes professionnelles nationales et les programmes de certification aident à harmoniser les programmes de formation et de perfectionnement des compétences avec les besoins changeants de l’industrie.

Les études de cas menées pour 3 projets ont également montré que les outils et les produits financés par le PAIS contribuent à un certain nombre de résultats du programme.

Compte tenu de la couverture nationale et régionale unique et des efforts déployés pour harmoniser l’éducation et la formation avec la demande des employeurs, le projet Information sur le marché du travail pour le secteur de la construction et de l’entretien a aidé à la prise de décisions éclairées pour les entreprises de construction, les syndicats connexes, les collèges et les organisations d’apprentis. Un sondage mené en 2020 auprès des principaux bénéficiaires (n = 1 600) a révélé que plus du quart des intervenants (29 %) utilisaient les produits d’IMT pour éclairer les décisions en matière de dotation, de recrutement et de ressources humaines.

Les analyses de situation menées dans le cadre du projet Renforcer les liens entre les programmes et services relatifs au marché du travail destinés aux Autochtones et les employeurs ont aidé à :

• cerner les problèmes et les lacunes en matière de services afin d’améliorer la prestation de services issus des programmes relatifs au marché du travail;
• mieux comprendre la mobilisation des Autochtones dans les régions et les secteurs ciblés;
• appuyer l’élaboration d’une analyse de rentabilisation pour la participation des Autochtones dans les régions et les secteurs ciblés.

Le projet a contribué à une meilleure compréhension des problèmes du marché du travail.

Le projet Reconnaître l’expertise en environnement a aidé les employeurs à :

• maintenir en poste les employés et améliorer l’employabilité de la main-d’œuvre grâce au processus d’accréditation encouragé et subventionné par l’Organisation pour les carrières en environnement du Canada (ECO Canada);
• recruter des employés possédant les compétences techniques et générales appropriées par l’entremise du cadre de perfectionnement professionnel et du programme d’accréditation postsecondaire;
• jouer un rôle important dans la détermination des exigences et des lacunes en matière de compétences au moyen du programme d’accréditation et de webinaires et formations menant à une certification.

Dans l'ensemble, le projet Reconnaître l’expertise en environnement a contribué à éclairer la prise de décision et à améliorer les problèmes du marché du travail.

Aux fins de la présente évaluation, un sondage en ligne a été mené auprès des employeurs en 2022. Les employeurs sondés constituaient un échantillon non aléatoire (n = 91). Les réponses indiquent que la majorité des employeurs qui ont utilisé des produits et des programmes d’apprentissage financés par le PAIS ont été en mesure de répondre à leurs besoins en ressources humaines et d’améliorer divers résultats en matière d’emploi pour les travailleurs. Les résultats montrent que :

• la plupart des employeurs interrogés qui utilisent des rapports d’IMT, des systèmes de prévision ou les 2 (90 %, 28 sur 31 répondants utilisant ces produits) ont convenu que les produits ont aidé à « prendre des décisions plus éclairées en matière de planification de main d’œuvre »;
• la majorité des employeurs qui utilisent des rapports d’IMT, des systèmes de prévision ou les deux (n = 17 ou 55 %) ont indiqué que les produits aidaient à « trouver et recruter des travailleurs », tandis que 52 % ont indiqué que les produits les aidaient à « embaucher et maintenir en poste des travailleurs » et à « recruter des travailleurs de groupes en quête d’équité »;
• comme le montre la figure 6, la majorité des employeurs sondés qui utilisaient des programmes d’études, de formation et de certification dans leur organisation étaient d’avis que ces programmes amélioraient les résultats de leurs travailleurs (compétences, employabilité, productivité, adaptabilité et mobilité).

Il a toutefois été difficile d’évaluer dans quelle mesure les solutions pour la main-d’œuvre, les produits d’information sur le marché du travail et les autres outils répondaient aux besoins des employeurs. Les responsables de programme et les bénéficiaires de financement ont souligné les difficultés liées au suivi des données sur l’utilisation par les employeurs des outils et des produits financés par le PAIS et le fait que certains projets sont encore aux premières étapes de leur mise en œuvre. Bien qu’il soit possible de faire un suivi de l’accès aux produits par le nombre de téléchargements ou de documents imprimés diffusés, il est plus difficile d’évaluer si les personnes qui ont accédé aux produits les utilisent et dans quelle mesure elles le font.

Constatation 3: En répondant au besoin constant d’information plus détaillée sur le marché du travail canadien, le PAIS complète les autres programmes relatifs au marché du travail et s’harmonise avec eux

• fournir des données plus détaillées et en temps réel sur le marché du travail pour les secteurs en évolution rapide (par exemple, les technologies de l’information et le tourisme);
• assurer la coordination entre les conseils sectoriels afin de promouvoir l’utilisation d’une terminologie uniforme dans l’ensemble des outils et ressources d’IMT;
• élaborer de l’information sur le marché du travail concernant les emplois dans le secteur public (par exemple, pour les enseignants, les membres du personnel hospitalier, les employés du gouvernement).

Constatation 4 : Des considérations relatives à l’analyse comparative entre les sexes Plus sont intégrées aux exigences et aux critères de sélection du programme. Quoique des données probantes tirées des entrevues et des études de cas laissent entendre que le programme a réussi à renforcer certaines considérations relatives à l’équité, ces résultats peuvent être améliorés

Les considérations liées à l’Analyse comparative entre les sexes Plus (ACS Plus) sont intégrées à la conception du PAIS

L’appel de propositions de 2017 intégrait un certain nombre de considérations liées à l’ACS Plus. En ce qui concerne la gouvernance du projet, l’appel de propositions renvoyait plusieurs fois aux femmes ou au genre. Les types d’enjeux pris en compte dans la recherche d’IMT, la diffusion et le suivi des résultats faisaient également référence au genre ou aux femmes. Chacun des projets devait mettre sur pied un comité directeur, qui nécessitait une structure de gouvernance avec une représentation diversifiée. Les projets d’IMT devaient produire des rapports de recherche et d’analyse qui, entre autres, tenaient compte de la distribution démographique de l’offre de main-d’œuvre et de la disponibilité des travailleurs des groupes sous-représentés.

Les considérations liées à l’ACS Plus ont une incidence

Plusieurs sources indiquent que les projets financés par le PAIS réussissent à cibler certains groupes en quête d’équité.

Le projet Renforcer les liens entre les programmes et services relatifs au marché du travail destinés aux Autochtones et les employeurs a permis d’accroître la mobilisation des Autochtones dans les secteurs ciblés. Toutefois, il faut déployer davantage d’efforts pour établir des relations durables à long terme. D’autres mesures et priorités à prendre en compte comprennent l’établissement d’un plus grand nombre d’organisations autochtones sectorielles, le cas échéant, ainsi que des groupes de travail ou des comités permanents avec des intervenants des gouvernements, de l’industrie et des communautés autochtones.

Le projet Reconnaître l’expertise en environnement a contribué à accroître le nombre de femmes et d’Autochtones certifiés dans le bassin de candidats. Selon le programme, le projet a dépassé son objectif pour ce qui est de l’ajout, au bassin, de femmes ayant obtenu une certification (53 %, comparativement à l’objectif de 50 %). Les nouvelles catégories de membres ciblant les jeunes et les étudiants connaissent beaucoup de succès, car elles permettent de mieux joindre ces groupes démographiques et contribuent à soutenir les nouveaux professionnels qui font une transition vers le secteur. Toutefois, il est toujours nécessaire d’augmenter le nombre de candidats autochtones au bassin. La proportion de candidats qui s’identifient comme Autochtones parmi les nouveaux membres ayant obtenu un certificat était de 3 %, ce qui est inférieur à la cible du projet de 6 %. Le bénéficiaire de financement a fait remarquer que les faibles taux de participation des travailleurs autochtones ayant fait des études postsecondaires pourraient expliquer cette situation.

Le programme de recyclage professionnel élaboré dans le cadre du projet perfectionnement des travailleurs en milieu de carrière touchés par l’automatisation a contribué à réduire les préjugés en matière d’embauche contre des groupes désavantagés, notamment les minorités racisées, les femmes et les travailleurs âgés. Les documents de projets ont mis en évidence que les interventions ciblées, comme l’encadrement spécialisé et les programmes d’intégration des compétences en milieu de travail, étaient efficaces pour atténuer certains des préjugés en matière d’embauche pour les minorités racisées, les femmes et les travailleurs de plus de 50 ans; presque tous les chercheurs d’emploi ayant bénéficié d’interventions personnalisées ont obtenu des postes à temps plein grâce au programme de recyclage professionnel. Le bénéficiaire de financement a souligné que parmi les autres mesures à envisager, il y a l’affectation d’une plus grande part du financement à des stratégies qui favorisent des résultats de programmes inclusifs et les mesures conçues pour relever les défis des travailleurs en milieu de carrière dans divers groupes démographiques.

Constatation 5 : Les projets pilotes sont utiles tant pour les employeurs que pour les chercheurs d’emploi. Le programme contribue à la détermination, à la mise en œuvre et à l’expansion de pratiques et de projets novateurs

De l’exercice 2017 à 2018 à l’exercice 2021 à 2022, le programme a soutenu 3 projets pilotes. Parmi les quelques employeurs qui ont répondu au sondage en ligne de 2022, certains ont participé à ces projets pilotes.

• 5 employeurs ont participé à au moins l’un des projets pilotes. La plupart de ces employeurs (n = 4) étaient d’accord pour dire que les projets ont amélioré la capacité de leur organisation à régler les problèmes du marché du travail. Un employeur a fait remarquer que le projet pilote a permis à son entreprise d’attirer et d’embaucher des travailleurs, ce qui a aidé à rebâtir la capacité de son organisation durant la pandémie.
• 3 employeurs ont adopté ou élargi un projet pilote : ils ont indiqué que les projets pilotes portaient sur des difficultés rencontrées par les minorités visibles sur le marché du travail.

Quelques exemples précis des avantages des 3 projets pilotes qui ont été réalisés pendant la période d’évaluation sont donnés ci-après. Les données probantes ont été recueillies par l’examen des rapports de projet.

Exemples d’avantages tirés du projet pilote Créer un réseau canadien de recrutement pour l’apprentissage intégré en milieu de travail :

• les employeurs ont pu afficher des possibilités de stages d’apprentissage intégré en milieu de travail et ainsi joindre des étudiants de plus de 65 établissements au Canada;
• une quantité accrue d’IMT en temps réel a permis d’obtenir une évaluation plus précise des besoins économiques des employeurs, des collectivités, des régions et des provinces.

Exemples d’avantages tirés du projet pilote Perfectionnement des travailleurs en milieu de carrière touchés par l’automatisation :

• une approche de transition d’emploi en milieu de carrière qui a été validée et qui peut être reproduite plusieurs fois et dans différentes régions;
• dans l’ensemble, 32 employeurs ont pris part à 3 cohortes; et 12 employeurs ont participé à plus d’une cohorte;
• au total, 96 % des diplômés ayant participé au programme ont reçu des offres d’emploi.

Exemples d’avantages tirés du projet pilote Compétences futures du marché du travail au Canada :

• l’outil de prévisions de la croissance des professions au Canada a fourni des projections de croissance et de décroissance pour chacun des 485 groupes de base des professions au Canada;
• une application Web interactive a permis aux utilisateurs de filtrer les résultats des prévisions selon les professions, les compétences, le lieu géographique et les caractéristiques démographiques.

Plusieurs sources de données indiquent que les projets pilotes appuyés par le PAIS ont permis d’explorer des idées novatrices et des pratiques prometteuses, en plus d’aider les employeurs et les chercheurs d’emploi. La majorité des responsables de programme (n = 5) ont également indiqué certains cas où des projets pilotes ont évolué pour devenir permanents. L’un des exemples comprend le projet pilote de Palette Skills (voir l’encadré sur le Projet Perfectionnement des travailleurs en milieu de carrière touchés par l’automatisation).

Les responsables de programme (n = 4) ont également souligné d’autres mécanismes par lesquels le programme contribuait à la détermination, à la mise en œuvre et à l’expansion de pratiques prometteuses ou novatrices, notamment :

• concevoir les processus d’appels de propositions de manière à ce que le programme soit disposé à soutenir de nouvelles idées;
• entretenir des interactions continues avec les intervenants du marché du travail qui renseignent les responsables du programme sur ce qui fonctionne et aident ces derniers à déterminer les pratiques exemplaires;
• formuler des recommandations pour accroître le financement lorsque les projets appuyés par le PAIS connaissent une réussite et offrent des possibilités d’expansion.

Constatation 6 : Les bénéficiaires de financement ont utilisé divers mécanismes pour communiquer et diffuser de l’information sur les outils et produits, et promouvoir leur utilisation. Bien que ce ne soit pas le rôle du programme, les bénéficiaires ont exprimé le souhait que le programme contribue davantage à favoriser et à améliorer l’adoption et l’utilisation des outils et produits

L’évaluation du Programme d’appui aux initiatives sectorielles de 2018 recommandait au programme de déterminer des moyens d’encourager les bénéficiaires de financement à consolider la portée et la diffusion des produits. L’examen des documents, les entrevues et les études de cas ont montré que les bénéficiaires de financement utilisaient divers mécanismes pour communiquer, diffuser et promouvoir les outils et les produits élaborés dans le cadre du programme durant la période d’évaluation. Parmi les mécanismes utilisés, il y avait les suivants :

• promouvoir les outils et les produits directement auprès des utilisateurs finaux (par exemple, des consultations auprès des employeurs; la promotion directe de ressources éducatives auprès des enseignants et des écoles; l’organisation de salons de l’emploi et de webinaires);
• intégrer des renseignements sur les outils et les produits dans les bulletins d’information organisationnels, le publipostage électronique ou d’autres types de communications envoyées régulièrement aux publics cibles;
• entretenir des relations avec les employeurs, les associations industrielles, les établissements de formation, les listes de membres, entre autres, et promouvoir les ressources grâce à ces liens;
• produire des publicités pour les médias sociaux et d’autres médias afin de faire connaître les outils et les produits ou d’inciter les employés et les employeurs à fournir des commentaires (par exemple, en répondant à des sondages auprès des employés ou des employeurs);
• présenter des rapports d’IMT et d’autres produits sur le site Web de leur organisation;
• échanger de l’information sur les outils et les produits lors de divers événements, y compris des conférences et des salons professionnels;
• rédiger des messages personnalisés, des résumés en langage clair ou d’autres produits adaptés aux publics cibles afin d’encourager l’utilisation des ressources et des outils mis au point.

Les exemples suivants d’activités de sensibilisation proviennent de l’examen des rapports de projet :

• le Conseil canadien pour les ressources humaines en agriculture a présenté et diffusé les outils pour employeurs à plus de 2 000 intervenants dans ses bulletins d’information en hiver et au printemps;
• Energy Safety Canada a eu recours à des webinaires pour communiquer les résultats de ses recherches à un groupe diversifié d’intervenants;
• l’Association des produits forestiers du Canada a fait la promotion de son outil d’IMT mis à jour lors de divers événements, et a joint 1,2 million de personnes en 5 mois grâce à la publicité;
• TECHNATION Canada a organisé des conférences pour diffuser les résultats.

Les bénéficiaires de financement interrogés ont présenté un certain nombre de suggestions au programme pour améliorer sa contribution à l’adoption et à l’utilisation des outils et des produits. Leurs opinions et suggestions sont résumées comme suit :

• le programme pourrait jouer un rôle actif dans la promotion des outils et produits élaborés dans le cadre de projets financés par le PAIS (par l’entremise des médias sociaux ou du site Web d’EDSC). Il pourrait également approuver activement et plus fréquemment les produits financés par le PAIS;
• le programme pourrait en faire davantage pour assurer un financement soutenu des activités continues du projet (p. ex. l’hébergement et la maintenance du site Web), ainsi que des activités de promotion et d’évaluation de projet;
• afin de faciliter le partage des ressources et des outils, le programme pourrait en faire davantage pour mettre les bénéficiaires de financement en contact avec d’autres intervenants compétents, notamment des représentants d’autres ministères fédéraux, provinciaux et territoriaux ayant une expertise pertinente, des conseils de ressources humaines et d’autres bénéficiaires de financement.

Constatation 7 : Les exigences en matière de rapports ont été simplifiées pour les bénéficiaires de financement. Néanmoins, il faut mieux clarifier les attentes en matière de rapports et les directives sur la façon de répondre aux exigences

L’examen des documents de programme a révélé que les exigences en matière de rapports ont été simplifiées et allégées pour les bénéficiaires.

Le sondage annuel auprès des bénéficiaires sur les indicateurs de rendement du PAIS a cessé au cours de l’exercice 2018 à 2019 afin de réduire les exigences de collecte de données qui pesaient sur les bénéficiaires de financement. Avant, ces derniers devaient recueillir des données exhaustives et fournir des renseignements annuels sur les utilisateurs de leurs produits.

À compter de l’exercice 2019 à 2020, le programme s’est montré plus souple pour ce qui est des rapports de données sur les produits et les résultats des projets. Cette approche tient compte du fait que les objectifs, les produits livrables et les résultats peuvent varier d’un projet à l’autre. Les bénéficiaires de financement rendent régulièrement compte des activités et des résultats de leurs projets en présentant des rapports trimestriels sur les finances et les activités et un rapport final à la clôture du projet. Les responsables de programme sont chargés de compiler les données des rapports d’activité en outils de suivi des résultats aux fins de production de rapports.

Les entrevues ont donné un aperçu des perceptions des intervenants au sujet des exigences en matière de rapports. La majorité des bénéficiaires de financement (n = 12) ont indiqué que les exigences en matière de rapports pour leurs projets financés dans le cadre du PAIS étaient acceptables ou gérables. Cependant, de nombreux bénéficiaires de financement (n = 8) – dont quelques-uns ayant déclaré que les exigences en matière de rapports étaient acceptables ou appropriées – ont déclaré que la production de rapports est lourde, difficile ou restrictive de diverses façons.

La majorité des bénéficiaires de financement (n = 10) ainsi que certains responsables de programme (n = 3) ont formulé des suggestions pour améliorer le processus de production de rapports pour les bénéficiaires. Les informateurs clés ont indiqué qu’il fallait plus de clarté et d’uniformité dans les exigences en matière de rapports. Les suggestions faites par les informateurs comprenaient celles énumérées ci-après:

• donner, dès le début du projet, des conseils supplémentaires aux bénéficiaires de financement sur la façon de répondre aux attentes en matière de production de rapports;
• fournir une rétroaction sur la production de rapports afin que les bénéficiaires de financement sachent s’ils répondent aux besoins en matière de production de rapports;
• adopter une terminologie normalisée et clarifier les attentes en matière de production de rapports sur la participation des groupes en quête d’équité aux projets financés par le PAIS;
• veiller à ce que tous les employés d’EDSC impliqués dans le suivi des projets financés par le PAIS aient une compréhension et des attentes communes en ce qui concerne l’ensemble du processus de production de rapports.

Leçons apprises : Contexte de la COVID-19

Les bénéficiaires de financement interrogés ont indiqué que le programme avait offert du soutien dans un certain nombre de cas. Au besoin, le programme a fourni de l’aide aux bénéficiaires pour planifier le projet et produire des rapports, gérer les budgets ou apporter des changements au financement et a répondu aux questions en temps opportun. Presque tous les bénéficiaires de financement touchés par la pandémie ont indiqué que le programme avait aidé leur organisation à surmonter les défis liés à la réalisation du projet. Précisément, les bénéficiaires ont souligné que le programme leur a offert :

• une certaine souplesse en ce qui concerne les échéanciers du projet;
• une aide lors des négociations des changements au financement et aux ententes; et
• une réponse rapide aux demandes.

Quelques exemples précis de mesures de soutien prises dans le cadre de 3 projets financés par le PAIS sont donnés ci-après. Les données probantes sont tirées des études de cas.

Dans le cadre du projet Reconnaître l’expertise en environnement, les responsables de programme ont offert une bonne marge de manœuvre, surtout pendant la pandémie de COVID-19, pour gérer le budget afin de mieux répondre aux besoins du projet et d’atteindre les objectifs. L’approbation des modifications proposées au projet, y compris les fonds connexes et le prolongement des délais, a permis au projet de répondre aux priorités et aux besoins émergents. De plus, le programme a partagé une expertise précieuse et des personnes-ressources d’autres secteurs.

Dans le cadre du projet Perfectionnement des travailleurs en milieu de carrière touchés par l’automatisation, l’organisme bénéficiaire a eu plus de temps pour permettre aux membres de la troisième cohorte de trouver un emploi compte tenu des perturbations causées par la pandémie. Le programme a fait preuve de souplesse quant aux dates de présentation du rapport final.

Pour le projet Information sur le marché du travail dans le secteur de la construction et de l’entretien, les responsables du programme étaient conscients des répercussions de la pandémie sur le secteur de la construction et ont accordé des prolongations pour que les activités soient menées à bien intégralement.

Analyse des documents et des données et revue de la littérature

L’analyse des documents et des données a porté sur :

• 31 documents internes (par exemple, des rapports ministériels sur le rendement);
• 18 documents externes (par exemple, des rapports organisationnels);
• des données administratives recueillies par le programme au moyen du sondage auprès des bénéficiaires (exercice 2017 à 2018 et exercice 2018 à 2019) et des outils de suivi des résultats sectoriels (exercice 2019 à 2020 et exercice 2021 à 2022);
• des rapports de clôture pour les projets financés par le PAIS.

La revue de la littérature a permis de recueillir de l’information provenant principalement de la littérature grise publiée après 2017, y compris des évaluations de programme et des rapports (n = 27), ainsi qu’un article d’une revue à comité de lecture (n = 1).

Principales limites

• Les documents internes portaient principalement sur les activités du programme et les résultats escomptés. Ils fournissaient peu d’information sur les résultats réels obtenus grâce aux projets financés. Par conséquent, peu de documents étaient pertinents pour répondre aux questions de l’évaluation.
• La revue de la littérature n’était pas suffisante pour éclairer certaines questions d’évaluation et les indicateurs en raison du nombre restreint de publications mettant l’accent sur les points de vue des employeurs, particulièrement dans le contexte canadien, à l’égard des approches axées sur la demande pour surmonter les pénuries de main-d’œuvre qualifiée.

Entrevues avec des informateurs clés

Au total, 32 entrevues ont été réalisées. Les personnes rencontrées en entrevue sont réparties comme suit :

• 8 représentants du programme d’EDSC de la Direction générale des compétences et de l’emploi (n = 4) et de la Direction générale des opérations de programmes (n = 4) ayant travaillé à la conception et à l’exécution du programme;
• 17 bénéficiaires de financement pour des projets financés dans le cadre de chaque chaîne du programme et provenant de différents secteurs;
• 5 experts pour donner un aperçu des nouvelles théories et tendances dans le domaine de l’information sur le marché du travail sectoriel ou du perfectionnement axé sur les compétences;
• 2 autres intervenants afin d’identifier un possible chevauchement ou une complémentarité entre le programme et d’autres initiatives et de déterminer les pratiques exemplaires.

Défis

L’objectif initial consistait à mener environ 35 entrevues auprès de groupes désignés d’informateurs clés. La cible n’a pas été atteinte pour les bénéficiaires de financement et d’autres intervenants. Malgré de multiples demandes d’entrevue, un grand nombre de bénéficiaires n’ont pas répondu. De plus, de nombreux autres intervenants ciblés ne connaissaient pas suffisamment le programme et ont refusé de participer aux entrevues.

Échelle de l’analyse

L’échelle suivante a été utilisée pour l’analyse des résultats des entrevues :

• le terme « quelques » est utilisé lorsque moins de 10 % des participants ont donné des réponses semblables. La réponse a été exprimée par ces participants, mais pas par d’autres;
• le terme « plusieurs » est utilisé lorsque moins de 20 % des participants ont donné des réponses semblables;
• le terme « certains » est utilisé lorsque plus de 20 %, mais beaucoup moins de 50 % des participants ont donné des réponses semblables;
• le terme « nombreux » est utilisé lorsque près de 50 % des participants ont donné des réponses semblables;
• le terme « majorité » est utilisé lorsque plus de 50 %, mais beaucoup moins de 75 % des participants ont donné des réponses semblables;
• le terme « plupart » est utilisé lorsque plus de 75 % des participants ont donné des réponses semblables;
• le terme « vaste majorité » est utilisé lorsque presque tous les participants ont donné des réponses semblables, mais que plusieurs personnes avaient des points de vue différents;
• les termes « unanime » et « presque tous » sont utilisés lorsque tous les participants ont donné des réponses semblables ou lorsque la vaste majorité des participants ont donné des réponses semblables et que les quelques autres ont refusé de commenter la question.

Études de cas

Des études de cas ont été menées pour 4 projets sélectionnés, qui étaient actifs pendant la période d’évaluation et couvraient différentes chaînes du programme et divers secteurs. Voici les projets sélectionnés :

• programme d’information sur le marché du travail dans le secteur de la construction et de l’entretien (ConstruForce Canada);
• reconnaître l’expertise en environnement : Certification professionnelle et accréditation de programmes (ECO Canada);
• Upskilling Mid-Career Workers Impacted by Automation (perfectionnement des travailleurs en milieu de carrière touchés par l’automatisation) (Palette Skills Inc.);
• Building Stronger Indigenous Labour Market Programs and Service Links with Employers (Renforcer les liens entre les programmes et services relatifs au marché du travail destinés aux Autochtones et les employeurs) (Indigenous Work).

Les études de cas comprenaient des entrevues et un examen des documents internes et externes. Dans l’ensemble, 17 personnes ont été interviewées dans le cadre des 4 études de cas, y compris des responsables de programme, des bénéficiaires de financement, des utilisateurs finaux et des intervenants ayant participé au projet.

Défis

À l’exception des bénéficiaires de financement, les coordonnées des personnes ayant participé aux projets retenus pour les études de cas n’étaient pas disponibles. Par conséquent, dans le cadre de l’évaluation, ce sont les bénéficiaires de financement qui ont fourni les coordonnées des responsables de programme, des utilisateurs finaux et d’autres intervenants participant à la conception et à la mise en œuvre des projets.

Sondage auprès des employeurs

Le sondage en ligne auprès des employeurs a été créé par EDSC et PRA Inc. afin de recueillir de l’information sur l’adoption et l’utilisation, par les employeurs, d’outils et de produits financés par le PAIS, et de combler les lacunes actuelles en matière de données étant donné que le programme a mis fin au sondage annuel auprès des bénéficiaires de financement après l’exercice 2018 à 2019. Le sondage comprend au total 38 questions, avec quelques sous-questions, dont 22 questions ouvertes. Le sondage a été mené en ligne du 3 novembre au 5 décembre 2022, et les répondants ont pris de 10 à 20 minutes pour y répondre. Au total, 91 employeurs ont répondu au sondage en ligne.

Principaux défis et limites

Aucun accès aux listes d’employeurs et à leurs coordonnées

EDSC n’a pas accès aux coordonnées des employeurs. Pour l’évaluation, il a fallu se fier aux bénéficiaires de financement pour qu’ils envoient le lien du sondage à leurs listes d’employeurs.

Le fait de ne pas avoir accès aux listes d’employeurs a posé un certain nombre de problèmes :

• le lien vers le sondage n’a probablement pas été envoyé à tous les employeurs potentiels ayant bénéficié d’outils et de produits élaborés dans le cadre de projets financés par le PAIS, ni à un échantillon représentatif de ces employeurs;
• on ne connaît pas le taux de réponse, car on ignore le nombre total d’employeurs qui auraient pu recevoir le lien d’accès au sondage.

Étant donné le nombre limité de réponses au sondage et les limites indiquées ci-dessus, les données du sondage ont été analysées et triangulées avec les autres sources de données.

Biais de sélection

En raison de l’approche de recrutement et de l’absence d’une base d’échantillonnage, l’échantillon n’est pas représentatif de l’ensemble de la population des employeurs qui utilisent les outils et produits élaborés grâce au soutien et au financement du PAIS. Néanmoins, les répartitions selon les secteurs, les régions et la taille des entreprises indiquent que le sondage couvrait un ensemble assez diversifié d’employeurs. Le sondage demeure informatif et sera analysé d’un point de vue qualitatif étant donné le nombre de questions ouvertes (22 sur 38).

Incapacité de déterminer directement les outils et produits auxquels les employeurs font référence dans le sondage

Compte tenu de la longue liste d’outils et de produits élaborés dans le cadre de projets financés par le PAIS au cours de la période d’évaluation, et du fait qu’on ne s’attend pas à ce que les employeurs connaissent le nom exact des outils, produits et projets, il n’a pas été possible, dans le cadre du sondage, de garantir que les employeurs faisaient référence uniquement à ceux élaborés grâce aux projets financés par le PAIS. Toutefois, l’invitation à répondre au sondage envoyé aux employeurs par les bénéficiaires de financement aurait pu indiquer aux employeurs les outils et produits dont il est question dans le sondage. Les résultats du sondage traitent de façon plus générale de l’utilité des types d’outils et de produits mis au point dans le cadre des projets financés par le PAIS. Pour atténuer cette limite, les données probantes tirées des études de cas et des entrevues avec les informateurs clés sont utilisées pour contextualiser et corroborer les résultats du sondage.