Évaluation du programme «Language Instruction for Newcomers to Canada» (LINC)

2. Méthodologie

2.1. Examen des documents

Dans l’ensemble, l’examen des documents visait à permettre aux évaluateurs de se familiariser avec le programme et son contexte ainsi qu’à recueillir de l’information utile sur le programme. Parmi les documents importants, citons : des brochures du programme LINC, un rapport annuel, des documents d’orientation, des cadres d’évaluation et des évaluations de la LINC antérieurs, des rapports de l’iSMRP sur les données du programme LINC, ainsi que des documents généraux traitant de l’évaluation des compétences linguistiques et des programmes de cours de langue.

2.2. Examen des données administratives

L’analyse des données administratives a servi à créer un profil statistique du programme, à vérifier si le programme est (ou peut être) surveillé de façon appropriée, à aborder des questions d’évaluation pertinentes et à mener une analyse préliminaire des résultats. Les bases de données iSMRPNote de bas de page 5 et HARTsNote de bas de page 6 (le système utilisé en Ontario pour recueillir les données de l’iSMRP), se sont révélées pertinentes.

2.3. Entrevues avec les informateurs clés

Les entrevues avec les informateurs clés ont été cruciales afin d’évaluer la mise en œuvre et le fonctionnement du programme; de sonder les perceptions des interviewés sur le succès du programme LINC dans l’atteinte de ses objectifs immédiats et à long terme; d’examiner les communications et les activités de promotion; d’étudier l’interaction entre la LINC et les programmes provinciaux d’ALS; et de recueillir des suggestions pour l’amélioration du programme. Des informateurs clés ont été identifiés et des guides d’entrevue ont été conçus pour diriger les entrevues. Des fonctionnaires de CIC aux échelles nationale, régionale et locale ont été interrogés. Les entrevues ont duré de 25 minutes à deux heures.

Tableau 2-1 : Sommaire des entrevues

Groupe d’entrevues Nombre
AC de CIC 10
Agents régionaux de CIC 10
Représentants provinciaux 4

2.4. Enquêtes

L’évaluation a inclus des enquêtes auprès de FS, d’enseignants et d’apprenants de la LINC, ainsi qu’auprès d’un groupe témoin d’immigrants qui ne se sont jamais inscrits à la LINC et d’un groupe d’anciens apprenants de la LINC.

Administrateurs de la LINC

Des questionnaires d’enquête ont été envoyés par courriel à tous les fournisseurs de la LINC (155 organismes) au Canada (en dehors du Québec, du Manitoba et de la Colombie Britannique) pour que les administrateurs du programme LINC les remplissent. Le taux de réponse s’est établi à 91,0 % (141 questionnaires retournés).

Apprenants

Il a été déterminé que la meilleure option était de demander aux formateurs de faire remplir le questionnaire dans leur salle de classe, ce qui a permis d’atténuer le problème de la compréhension, car les enseignants pouvaient aider les apprenants de niveau inférieur à remplir le questionnaireNote de bas de page 7.

Un échantillonnage multiéchelle aléatoire a été utilisé pour sélectionner l’échantillon (voir l’appendice B pour obtenir d’autres explications).

Il s’est avéré que l’une des 70 classes sélectionnées était une classe d’alphabétisation; il a été nécessaire de l’exclure, car il était extrêmement difficile de sonder ces étudiants. Soixante huit trousses d’enquête ont été retournées, ce qui représente un taux de réponse de 98,6 %. Au total, 651 enquêtes sont incluses dans l’analyse (dans plusieurs classes, il y avait moins de 10 apprenants en classe la journée de l’enquête; toutes ces enquêtes sont incluses dans l’échantillon), ce qui représente environ 2,3 % des apprenants de la LINC au pays. Les apprenants à domicile représentent 3,1 % des répondants à l’enquête, soit à peu près la même proportion que celle de la population de la LINC. Le taux de non réponse est négligeable; il ne constitue donc pas une source de biais.

Comme prévu, les caractéristiques de l’échantillon de la LINC reflètent fidèlement celles de la population (Tableau 2-2). Si l’on se fonde sur les variables du sexe, du niveau de la LINC, de l’âge, du temps passé au Canada et de la scolarité, il n’est pas exagéré d’avancer que les conclusions tirées de l’enquête sont valides. Il est à noter que, en ce qui concerne l’âge et le temps passé au Canada, les différences entre les deux groupes atteignent une signification statistique. Les distributions sont très similaires, mais le grand nombre de cas rend les tests statistiques très sensibles.

Tableau 2-2 : Les caractéristiques des répondants à l’enquête sont très semblables à celles de la population du programme LINC.

Caractéristiques des apprenants de la LINC Population de la LINC (2008)Note de bas de page 8 Répondants à l’enquête sur la LINC Participants à l’étude de cas sur la LINC
Sexe
Femmes 71,4 % 73,5 % 79,9 %
Hommes 28,6 26,5 20,1
Niveau de la LINC
Alphabétisation 4,2 % 0,0 % 0,0 %
1 13,9 16,3 9,0
2 18,3 17,7 17,9
3 25,4 26,6 34,3
4 19,1 23,2 17,9
5 11,7  8,1 11,9
6 à 7 7,2  8,1  9,0
Âge
De 15 à 24 12,2 % 10,2 % 9,1 %
De 25 à 44 65,6 62,9 56,1
De 45 à 64 19,7 22,9 28,0
De 65 et plus  2,4 4,1  6,8
Temps passé au Canada
Moins de un an 23,0 % 26,1 % 27,2 %
De 1 à 1,99 an 28,8 23,6 24,8
De 2 à 2,99 ans 17,2 14,1 15,2
3 ans et plus 31,1 36,1 32,8
Scolarité
Secondaire ou moins 37,0 % 39,6 % 31,8 %
Certificat non universitaire 24,5  25,4 29,6
Diplôme universitaire 38,5  35,1 38,6

L’échantillon de l’étude de cas est aussi raisonnablement semblable à la population quant à toutes les caractéristiques indiquées dans le tableau, mais il surreprésente quelque peu les femmes et les groupes plus âgés. Le niveau 3 de la LINC est également surreprésenté.

Enseignants

Une enquête auprès des formateurs a permis de recueillir les opinions d’enseignants et leurs commentaires sur le programme. De plus, ils ont rempli un Formulaire d’information sur les classes (FIC) qui recueillait des renseignements administratifs sur les classes. Le FIC a permis de recueillir des données administratives, y compris sur la dynamique des inscriptions; les niveaux, les horaires et les objectifs des classes; le matériel pédagogique; et les méthodes d’évaluation. Les évaluateurs ont interrogé les enseignants des classes choisies pour l’enquête auprès des apprenants. Il s’agissait d’un échantillon aléatoire, même si le nombre d’enquêtes était restreint à 68 (avec un taux de réponse de 98,6 %), ce qui représente environ 4 % des enseignants de la LINC à l’échelle du pays. Tous les Formulaires d’information sur les classes ont été remplis.

Les enquêtes auprès des formateurs, les FIC, les enquêtes auprès des apprenants et les feuilles d’instruction ont été envoyés à 56 des 70 classes sélectionnées au hasard. Les 14 autres classes ont participé aux études de cas.

En outre, quatre classes de Cours de langue pour les immigrants au Canada (CLIC) ont été sélectionnées au hasard pour l’enquête. Tous les questionnaires d’enquête auprès des formateurs et les FIC ont été remplis. De plus, 28 questionnaires d’enquête auprès des apprenants des CLIC ont été remplis.

Groupe témoin

L’enquête auprès du groupe témoin de nouveaux arrivants non inscrits à la LINC a été menée en même temps que l’évaluation des résultats des nouveaux arrivants sélectionnés. Les participants ont rempli un exemplaire papier du questionnaire. Les évaluateurs chargés de l’examen des résultats ont fait de leur mieux pour aider ceux ayant de faibles compétences en anglais à comprendre le questionnaire.

Anciens apprenants de la LINC

L’évaluation visait à joindre d’anciens clients de la LINC dans le but d’établir les raisons pour lesquelles ils avaient cessé d’assister aux cours, et de saisir les perceptions générales sur le programme LINC. Le taux de réponse a été faible, à savoir 17 % (91 questionnaires remplis), car il s’agit d’un groupe de répondants difficile à joindre (les coordonnées sont souvent caduques). Cependant, les conclusions tirées de ce groupe offrent de bons indices concernant plusieurs questions importantes.

2.5. Études de cas

Quinze études de cas ont été menées : 14 classes de la LINC ont été sélectionnées au hasard à partir des 70 sélectionnées pour l’enquête, en plus d’une classe de CLIC choisie aléatoirement. Pour chaque visite d’étude de cas, les évaluateurs ont observé les installations/la salle de classe, mené l’enquête auprès des apprenants, soumis les participants de la classe à la CLBANote de bas de page 9et tenu des groupes de discussion d’apprenants. Avant la visite, le formateur de la LINC remplissait et retournait le questionnaire d’enquête auprès des formateurs ainsi qu’un Formulaire d’information sur les classes.

2.6. Recension des écrits

La recension des écrits scientifiques sur la formation linguistique au Canada et dans d’autres pays a permis d’obtenir d’autres perspectives et éléments probants quant à l’incidence de diverses conceptions et différents modèles d’enseignement d’une langue aux nouveaux arrivants. Elle était axée sur les thèmes suivants : les répercussions des compétences linguistiques sur l’établissement et l’intégration; la conception de programmes de cours de langues; et les pratiques exemplaires dans la prestation d’une formation linguistique. Les conclusions de la recension des écritsNote de bas de page 10 ont été intégrées au rapport.

2.7. Évaluation des résultats du groupe témoin

Afin de mesurer les changements en compétences linguistiques, la CLBA a été utilisée dans le cadre d’une méthode d’évaluations avant et après. Pour isoler les répercussions de toutes les autres influences possibles dans l’acquisition d’une langue sur les apprenants de la LINC sélectionnés aléatoirement, l’évaluation incluait un groupe témoin de nouveaux arrivants (qui ont subi l’évaluation initiale, mais qui n’ont jamais suivi la LINC). Les notes des évaluations initiales ont été comparées aux résultats de réévaluation, à l’aide de l’outil CLBA. Il n’y a pas de test de sortie standardisé dans le cadre de la LINC, et bien que la CLBA n’ait pas été élaborée à cette fin, il a été déterminé qu’il s’agissait du meilleur outil à utiliser pour l’évaluation.

Il a été difficile de retrouver ceux qui avaient été évalués, mais qui ne s’étaient pas inscrits aux classes de LINC; l’échantillon comptait 53 personnes. La source électronique pour sélectionner le groupe témoin était la base de données de l’Ontario, le HARTsNote de bas de page 11 (système de l’historique des évaluations, des renvois et de la formation), qui inclut tous les nouveaux arrivants de l’Ontario dont les compétences linguistiques ont été évaluées. Un échantillon aléatoire de nouveaux arrivants de l’Ontario et d’Edmonton ayant été évalués, mais ne s’étant pas inscrits à la LINC a permis d’améliorer la représentativité du groupe témoin. Chez les immigrants sélectionnés au hasard n’ayant pas suivi la LINC, les évaluateurs ont évalué les connaissances linguistiques au moyen de la CLBA. Afin de faciliter l’examen des résultats, la sélection du groupe témoin était restreinte aux nouveaux arrivants évalués au départ à l’un de trois centres d’évaluation (Toronto, Halton/Peel et Edmonton). Les centres d’évaluation ont mis les évaluateurs, qui n’avaient pas accès aux renseignements personnels des immigrants, en contact avec ceux-ci. Chaque immigrant a reçu une rémunération pour le temps consacré au test.

2.8. Limites

L’évaluation compte plusieurs limites :

  • Les données sur le programme LINC sont collectées au moyen de deux systèmes : HARTs en Ontario (qui représente environ 82 % des clients de la LINC) et iCAMS dans les autres régions. Les données utilisées dans le cadre de cette étude concernent tous les FS ayant présenté des rapports au moyen des systèmes iSMRP et HARTs. Pour diverses raisons, les FS peuvent dans certains cas ne pas avoir fait état, dans ces systèmes, de la formation LINC qu’ils ont offerte.
  • Les données de la LINC contenues dans l’iSMRP (et le HARTs, en Ontario) sont surtout de nature administrative; elles fournissent des informations sur les clients et le profil du programme, mais ne renseignent pas convenablement sur les résultats des clients. L’adoption d’une méthode visant à collecter systématiquement l’information sur les résultats (comme les notes des tests de sortie) permettraient d’analyser les résultats des clients de façon plus approfondie.
  • Dans un monde idéal, il pourrait être possible de vérifier l’efficacité de la LINC par rapport à un groupe témoin n’ayant pas reçu de formation linguistique. Il serait toutefois difficile d’isoler les effets que produit la LINC sur les apprenants qui y sont inscrits des autres effets susceptibles d’influencer leur apprentissage de la langue. Pour les besoins de la présente étude, afin d’assurer une évaluation plus quantitative, un petit groupe-échantillon (formé de personnes évaluées, mais non inscrites à la LINC) a été sélectionné, puis une méthode d’évaluation avant et après la LINC a été utilisée afin de comparer les progrès.
  • L’absence de test de sortie standardisé pour la LINC a constitué une difficulté connexe dans l’évaluation de la progression linguistique. La CLBA a servi à mesurer les changements dans la compétence linguistique. Bien que la CLBA n’ait pas été conçue à cette fin, il a été déterminé qu’il s’agissait du meilleur outil à utiliser aux fins de l’évaluation; de plus, elle a permis d’effectuer une comparaison directe de l’évaluation initiale et des notes à la fin.
  • Le groupe témoin sélectionné pour les évaluations de résultats n’est représentatif que de la région du Grand Toronto (RGT) et d’Edmonton (mais l’Ontario représente environ 80 % des clients de la LINC). Il a été impossible de communiquer avec de nombreuses personnes ayant été sélectionnées; d’autres ont refusé de participer. Le nombre définitif de membres du groupe témoin (53) est modeste, mais il est suffisant pour obtenir une analyse statistique fiable. L’analyse de régression multiple permet d’isoler les différences observables entre les clients de la LINC et les groupes témoin, mais il est possible que d’autres différences (p. ex. la motivation) ne puissent être isolées.
  • Il a été difficile de communiquer avec les anciens apprenants de la LINC, et le taux de réponse s’est établi à 17 % (96 questionnaires retournés). Les résultats connexes doivent donc être pris comme des approximations, bien qu’ils constituent un bon indice pour ce groupe.
  • Étant donné que le contenu du cours peut varier selon les FS, il a été difficile d’évaluer la mesure dans laquelle les participants à la LINC ont acquis des connaissances sur le Canada et les droits et les devoirs civiques au pays, ainsi que le degré auquel le programme a soutenu l’établissement au Canada. L’utilisation d’outils déjà validés axés sur les thèmes pour mettre à l’épreuve l’information thématique (contenu)Note de bas de page 12n’a pas donné de résultats fiables. Les acquis sur le plan du contenu ont donc été évalués au moyen d’enquêtes et de groupes de discussion, qui ont fourni des conclusions défendables sur les gains en matière de contenu attribuables à la LINC.

Détails de la page

Date de modification :