ARCHIVÉ – Initiative des cours de langue de niveau avancé Évaluation formative
1.0 Introduction
Le présent rapport expose les résultats d’une évaluation formative de l’initiative des Cours de langue de niveau avancé (CLNA) (appelée « le programme »), effectuée entre novembre 2006 et juillet 2007 par la société Goss Gilroy Inc. au nom de Citoyenneté et Immigration Canada (CIC). Le rapport est structuré de la façon suivante :
- Section 1.0 – Aperçu des CLNA, méthode d’évaluation et limites de cette méthode;
- Section 2.0 – Profil des projets de CLNA et des participants;
- Section 3.0 – Résultats de l’évaluation;
- Section 4.0 – Conséquences pour l’évaluation sommative;
- Section 5.0 – Conclusions.
1.1 Aperçu des CLNA
1.1.1 Description du programme
L’initiative des Cours de langue de niveau avancé (CLNA) a été lancée à titre de projet pilote en 2003–2004. Elle a pour but d’élaborer et d’offrir une formation linguistique de haut niveau, ainsi que des cours de langue adaptés à des professions particulières, notamment en ce qui concerne la connaissance ou l’expérience relatives au marché du travail. En tant que volet du Programme d’établissement et d’adaptation des immigrants (PEAI), les CLNA contribuent aux objectifs de ce programme en aidant les immigrants et les réfugiés à accéder au marché du travail et à y demeurer à des niveaux correspondant à leurs compétences et à leurs qualifications [ note 5 ].
Les CLNA financent deux types de projets : les projets de conception et les projets de prestation. Les projets de conception appuient la prestation de cours de langue adaptés au marché du travail, mais n’englobent pas la composante « prestation ». Par exemple, ils peuvent comprendre l’élaboration d’outils d’évaluation, d’outils informatiques, de recherches, de guides d’étude et d’autres supports pour les apprenants, ainsi qu’un programme d’études. Les projets de prestation incluent deux volets : les cours de langue et des activités de préparation au marché du travail. Dans la plupart des cas, les cours de langue offerts correspondent aux Niveaux de compétence linguistique canadiens (NCLC) 7 à 10 (anglais et français), et comprennent des cours de langue adaptés à des professions particulières. Dans les petits centres (p. ex. là où il n’y a pas actuellement d’infrastructure d’enseignement des langues pour les nouveaux arrivants, comme les CLIC), le programme finance des cours de langue correspondant aux niveaux 1 à 10 des NCLC, y compris des cours de langue adaptés à des professions particulières. Le second volet – la préparation au marché du travail – se compose de diverses activités liées à l’emploi pouvant inclure, par exemple, l’orientation au marché du travail local, l’aide à la recherche d’emploi dans le domaine de spécialisation de l’immigrant, le mentorat, le placement professionnel, l’orientation culturelle en milieu de travail, ainsi que la préparation aux stages et aux examens en vue de l’obtention d’un permis d’exercice.
1.1.2 Ressources
Dans le budget fédéral de 2003, un montant de 5 M$ a été prévu chaque année pour la mise en œuvre de projets. Ce montant a été augmenté de 15 M$ de plus par année dans le budget fédéral de 2004. Le programme affecte 20 M$ chaque année (5 M$ à compter de 2003-2004 et 15 M$ à compter de 2004-2005) à chaque province et territoire à l’exception du Québec [ note 6 ], ainsi que des sommes supplémentaires destinées expressément à l’Ontario, conformément à l’Accord Canada-Ontario sur l’immigration (ACOI), ce qui représente 10 M$ pour 2006-2007, 20 M$ pour 2007-2008, 30 M$ pour 2008–2009, 40 M$ pour 2009–2010, et les années suivantes. Les fonds destinés aux CLNA peuvent servir à couvrir les frais liés à la garde d’enfants et au transport.
Les projets de CLNA doivent inclure le partage des coûts sous forme de fonds, de contributions, de services, d’outils ou d’installations. Au nombre des partenaires admissibles, mentionnons les gouvernements provinciaux et territoriaux, les municipalités, les entreprises, les organismes sans but lucratif, les particuliers, les organismes non gouvernementaux, les groupes communautaires, ainsi que les collèges et les universités [ note 7 ].
Au départ, l’une des conditions du programme était que les coûts des projets devaient être partagés à parts égales entre le gouvernement fédéral et les gouvernements provinciaux ou les fournisseurs de services (FS). Toutefois, les demandes reçues en réponse à l’appel de propositions lancé au début de 2005 ont indiqué que les répondants n’étaient pas en mesure de remplir cette exigence. Par la suite, CIC a demandé au Conseil du Trésor du Canada l’autorisation de modifier la condition relative au partage des coûts. À l’heure actuelle, les provinces et territoires doivent contribuer pour au moins 20 % aux coûts des projets. Les organismes sans but lucratif (notamment les collèges et les universités) peuvent recevoir du gouvernement fédéral jusqu’à la totalité des coûts des projets; toutefois, les contributions financières et non financières sont encouragées et permettent l’obtention de points supplémentaires lors de l’évaluation des propositions.
1.1.3 Mode de prestation [ note 8 ]
Au départ, la gestion et la prestation des CLNA étaient centralisées à la Direction générale de l’intégration (administration centrale [AC]), essentiellement parce que le programme en était à l’étape pilote (c’est-à-dire qu’il n’y avait pas encore de procédures, de normes, d’outils ou de modèles de partenariat établis). La décentralisation de la gestion des CLNA vers les bureaux régionaux de CIC a commencé à l’été 2006 en Alberta et s’est terminée au printemps 2007 en Ontario.
Par suite de la décentralisation, les rôles et les responsabilités de l’AC englobent les domaines ayant surtout une orientation nationale, entre autres la négociation et la gestion des ententes fédérales-provinciales, la gestion et la coordination des projets nationaux et des projets pilotes, l’élaboration de politiques, de lignes directrices et d’outils nationaux (de concert avec les régions), la prestation de conseils techniques aux régions, la collecte et l’analyse de données, la collecte et la diffusion d’information sur les pratiques les plus efficaces [ note 9 ]. Parmi les rôles et les responsabilités des bureaux régionaux de CIC, mentionnons entre autres la liaison avec les FS et les collègues des gouvernements provinciaux, l’élaboration et la coordination d’appels d’offres (en collaboration avec l’AC et d’autres régions), l’évaluation des propositions de projet, la négociation et la gestion d’ententes de contribution, la prestation de conseils techniques aux FS, la prestation aux FS d’une aide pour renforcer leur capacité de dispenser les CLNA, la collaboration avec l’AC concernant les plans et les priorités, les activités d’évaluation, la conception et l’élaboration de programmes [ note 10 ].
Les gouvernements de la Colombie-Britannique (C.-B.) et du Manitoba ont signé des ententes de partage des coûts sur le remaniement des services d’établissement, qui portent notamment sur les CLNA. De plus, une entente de contribution en matière de partage des coûts a été signée avec le gouvernement de la Saskatchewan. Dans ces trois provinces, les FS présentent les demandes directement au gouvernement provincial. Quant à l’Alberta, elle participe aux appels de propositions communs et à la sélection conjointe des projets. Ensuite, les FS de l’Alberta signent des ententes de contribution distinctes avec CIC et la province.
1.2 Méthode d’évaluation
L’évaluation formative visait à examiner la prestation des CLNA dans toutes les provinces [ note 11 ], ainsi qu’à préciser les résultats du programme et les facteurs qui contribuent ou nuisent à sa réussite. Étant formative, l’évaluation visait également à contribuer à la planification de l’évaluation sommative. La méthode d’évaluation comportait en particulier :
- Un examen des documents clés du programme;
- Des entrevues en personne ou par téléphone avec 26 informateurs principaux de CIC (AC, bureaux régionaux et locaux), des gouvernements provinciaux ou territoriaux, d’autres ministères fédéraux et intervenants nationaux;
- Une analyse statistique des données du programme de CIC;
- Des études de cas sur 12 FS, à la lumière des résultats de visites rendues à des FS dans six villes et portant sur divers types de projets (conception et prestation) et de FS (organismes d’aide aux immigrants, établissements d’enseignement, gouvernements provinciaux et une organisation patronale) [ note 12 ]. Dans le cadre de ces études de cas, des entrevues ont été menées auprès des employés des FS (qui englobaient souvent les formateurs), des employeurs et des groupes de discussion formés de participants [ note 13 ];
- Des mini-études de cas auprès de 20 FS supplémentaires, à partir d’entrevues téléphoniques avec des représentants de FS [ note 14 ];
- Une évaluation par deux experts externes, membres du corps enseignant ou employés de l’Institut des langues secondes à l’Université d’Ottawa, de certains outils de projet utilisés par les FS qui ont participé aux études de cas effectuées lors de visites sur place.
Comme c’est souvent le cas des évaluations, même avec une méthode d’évaluation exhaustive, les résultats présentés ci-dessous comportent des limites. En dépit de celles-ci, l’évaluation fournit une information qualitative solide sur a) les divers projets de CLNA financés et leurs succès ou leurs limites, du point de vue des FS notamment et b) les défis inhérents à l’administration du programme du point de vue de divers intervenants, notamment le personnel de CIC, les représentants provinciaux et territoriaux et les FS.
Nature qualitative de la preuve
La méthode principale de la présente évaluation reposait sur les études de cas – dont certaines ont été effectuées en personne sur place, lors de visites à des FS, et lors de vérifications par téléphone. En conséquence, la nature des résultats est essentiellement qualitative. Même si cette méthode permet d’explorer en profondeur les questions d’évaluation, elle rend plus difficile l’extrapolation des résultats à tous les projets de CLNA. Toutefois, les études de cas effectuées auprès de 32 FS représentent près d’un quart (23 %) du total de FS financés par les CLNA.
Une deuxième difficulté en ce qui concerne l’information relative aux études de cas est que celles-ci ont été effectuées en deux phases, la première consistant en visites sur place et la deuxième, en études de cas effectuées par téléphone en remplacement de l’enquête en ligne proposée. Les études de cas initiales ont été conçues essentiellement comme sources d’information qualitative. Si l’on avait pu prévoir au départ qu’un aussi grand nombre d’études de cas auraient été effectuées, il aurait été possible d’adopter une approche plus quantitative. En conséquence, même si 32 études de cas ont été effectuées et que l’équipe d’évaluation a tenté dans la mesure du possible de quantifier les résultats, elles demeurent des sources d’information essentiellement qualitative.
Limites des données
Lorsque cette évaluation formative a été conçue, on s’attendait à ce que la base de données sur les CLNA fournisse de nombreux renseignements sur le projet et les participants. Toutefois, il a fallu se rendre à l’évidence que la base de données était généralement incomplète. En raison de la diversité des structures de prestation dans les différentes provinces, les données sur les projets et les participants ne sont pas recueillies de la même manière dans toutes les provinces. Lors de l’évaluation, la base de données n’incluait pas tous les projets ou les participants [ note 15 ].
En plus de ne pas faire état de tous les participants, les données disponibles présentaient d’autres lacunes. Par exemple, certaines variables n’étaient pas traitées, et des données étaient de piètre qualité (cette situation tient en partie à l’absence d’un format préétabli pour l’entrée de données). Voir à l’annexe B le résumé des problèmes liés à la qualité des données, par variable clé.
Évaluation des outils utilisés aux fins des CLNA
L’évaluation des outils par des experts indépendants a fourni de l’information très détaillée sur les outils utilisés aux fins de dix projets de CLNA (c.-à-d. ceux pour lesquels des études de cas ont été effectuées sur place et des outils étaient accessibles pour examen). Toutefois, les experts ont examiné ces outils dans le contexte des projets où ils étaient utilisés et non comme des outils autonomes. Il faut en tenir compte au moment d’étudier les résultats de ces examens.
___________
[5] CIC, RPP, 2005-2006, Partie III.
[6] Les CLNA ne visent pas le Québec, étant donné que tous les services d’établissement offerts dans cette province sont régis par l’Accord Canada-Québec, signé en 1991. Le gouvernement du Québec est entièrement responsable de la prestation, à tous les immigrants de la province, de services d’intégration comparables à ceux offerts ailleurs au pays, moyennant une compensation financière du gouvernement fédéral.
[7] Trousse de formation du personnel de CIC sur les CLNA – Région de l’Ontario, mise à jour le 9 juin 2006, page 14.
[8] Adapté de l’ébauche du Cadre d’imputabilité, de risques et de vérification pour les programmes d’établissement, CIC, février 2004.
[9] Trousse de formation du personnel de CIC sur les CLNA – Région de l’Ontario, mise à jour le 9 juin 2006, pages 34 et 35.
[10] Ibid., pages 36 et 37.
[11] L’évaluation des CLNA est la première évaluation des programmes d’établissement effectuée en collaboration avec la Colombie-Britannique et le Manitoba; elle offre ainsi un tableau de portée plus nationale que les évaluations antérieures des programmes d’établissement (comme pour les évaluations précédentes, les activités menées au Québec ne sont pas incluses).
[12] Il est à noter qu’une étude de cas a été effectuée auprès du Vancouver Community College, un FS ayant reçu des fonds (par l’intermédiaire du gouvernement de la Colombie-Britannique) pour l’élaboration d’un programme d’études. Ce financement était réservé à l’élaboration du programme d’études et ne couvrait pas les coûts associés à la prestation de ce dernier. Ce programme d’études est actuellement offert par le Vancouver Community College, tous les coûts connexes étant couverts par les frais de scolarité (aucune partie de la prestation de ce programme n’est financée par les CLNA).
[13] Même si douze études de cas ont été effectuées, on a organisé seulement onze groupes de discussion du fait qu’une des études de cas portait sur un projet de conception. De plus, en raison de l’impossibilité d’attirer des participants, un groupe ne comptait qu’une personne.
[14] Cette source de données a été ajoutée à mi-parcours de l’évaluation dès qu’il est apparu évident que le sondage en ligne prévu à l’origine n’était pas réalisable (en raison des diverses structures de prestation des CLNA dans l’ensemble des provinces).
[15] Le programme a reçu des données sur 1 500 participants supplémentaires à des projets commencés en 2005-2006; ces données seront entrées prochainement dans la base de données.
Détails de la page
- Date de modification :