ARCHIVÉ – Initiative des cours de langue de niveau avancé Évaluation formative
Annexe A : Méthode d’évaluation
La méthode utilisée pour effectuer l’évaluation formative des CLNA reposait sur six sources de données :
- Examen des documents. Cela comprenait un examen des documents concernant la conception du programme (notamment des documents sur les procédures), le répertoire des projets de CLNA, la mise en œuvre du programme (comptes rendus de conférence, ententes provinciales, diaporamas, entre autres). On a également examiné des documents afin d’évaluer la raison d’être globale du programme.
- Entrevues avec les informateurs principaux. En tout, 26 entrevues ont été menées :
- 11 entrevues avec le personnel de CIC de l’AC (n = 7 entrevues avec 8 personnes), des régions (n = 3 entrevues avec 4 personnes) et des bureaux locaux (n = 1 entrevue avec 1 personne);
- 12 entrevues avec des représentants de 9 provinces ou territoires;
- 2 entrevues avec des intervenants nationaux clés, notamment le Centre des niveaux de compétence linguistique canadiens (n = 2 personnes) et le Centre for Education and Training (n = 2 personnes).
- 1 entrevue avec un autre ministère (Santé Canada).
La liste des informateurs clés rencontrés en entrevue est fournie à la fin de la présente section.
- Analyse statistique de la base de données sur les CLNA. CIC a fourni des renseignements tirés de la base de données à GGI, qui a effectué un certain nombre d’analyses afin :
- d’élaborer un profil des projets et des participants à ce jour;
- d’évaluer la réussite du programme à ce jour;
- d’évaluer la qualité globale des données et de la base de données pour s’assurer que les données sont accessibles aux fins de l’évaluation sommative.
- Études de cas lors des visites sur place. À l’aide d’une liste de projets financés dans les villes choisies pour faire l’objet d’une visite sur place, GGI a désigné 12 FS pour participer à une étude de cas. Le cabinet de consultants s’est efforcé d’obtenir un échantillon de FS témoignant de la diversité selon le type d’organisation, les projets de conception par rapport aux projets de prestation (ou les deux), les projets achevés par rapport aux projets en cours, les projets comportant un programme d’études général par rapport à ceux prévoyant un programme adapté à une profession particulière, les projets ayant compté un petit nombre par rapport à un grand nombre de participants, les caractéristiques du projet (p. ex. partenariats, composante des activités de préparation au marché du travail, importance accordée à la reconnaissance professionnelle). Chaque visite sur place effectuée pour le besoin des études de cas comportait une entrevue approfondie avec un ou plusieurs représentants du FS, un groupe de discussion composé de clients [ note 40 ] et une étude des documents. Dans la mesure du possible, des entrevues ont également été menées avec des employeurs ou des formateurs. On trouvera à la fin de la présente annexe la liste des FS visités dans le cadre des études de cas.
- Mini-études de cas. Cette source de données a été ajoutée vers la fin de la collecte en raison des difficultés suscitées par le sondage en ligne auprès des FS, qui devait au départ constituer une source de données. En tout, 20 FS supplémentaires ont été interviewés par téléphone au moyen du même guide d’entrevue que celui utilisé pour les entrevues avec les FS dans le cadre des visites sur place. On trouvera la liste des FS ayant participé à une étude de cas à la fin de la présente annexe.
- Évaluation par des experts. Dans le contexte des études de cas effectuées lors des visites sur place, GGI a réuni 13 outils fournis par dix FS [ note 41 ]. Deux experts en anglais langue seconde et en enseignement ont examiné ces outils au moyen d’un modèle.
Cette méthode a permis d’élaborer un certain nombre d’outils de collecte de données, d’après le modèle logique existant et la matrice d’évaluation du programme (tableaux A1 et A2, respectivement). Ces outils, qui figurent à la fin de la présente annexe, sont les suivants :
- Guides d’entrevue avec les informateurs principaux. Six guides ont été élaborés pour les types d’entrevues suivants : gestionnaires et agents de programme de CIC, représentants des provinces ayant conclu une entente, représentants des provinces n’ayant pas conclu d’entente, représentants des FS, représentants des employeurs, représentants d’autres intervenants et de ministères fédéraux.
- Guide des groupes de discussion formés de clients.
- Modèle d’examen d’études de cas. Ce modèle, fondé sur les guides d’entrevue avec les informateurs clés et les protocoles relatifs aux groupes de discussion, sert à encadrer les visites sur place. Il énumère notamment les données à tirer de toutes les sources d’information disponibles sur place. Dans le cadre des mini-études de cas, il s’agissait non pas de remplir tous les champs du modèle, mais seulement de répondre aux questions formulées dans le guide d’entrevue avec les FS.
- Modèle d’examen des outils. Afin d’examiner les outils de façon uniforme, on a élaboré un modèle pour étudier la méthode de conception utilisée, le contenu, la présentation et la conception, ainsi que la généralisabilité de l’outil.
Tableau A2 : Cadre d’évaluation des Cours de langue de niveau avancé
Élément à évaluer | Indicateur | Méthode |
---|---|---|
Raison d’être de l’initiative des CLNA : Dans quelle mesure les CLNA cadrent-ils avec les priorités du gouvernement fédéral et les besoins des nouveaux arrivants au Canada? | ||
1. Le gouvernement fédéral doit-il continuer d’y participer? |
|
|
2. Les objectifs des CLNA sont-ils compatibles avec les priorités et les objectifs actuels du GC et de CIC? |
|
|
Prestation du programme : Dans quelle mesure la conception et la prestation de l’initiative sont-elles appropriées? | ||
3. Les partenariats établis avec les provinces sont-ils efficaces? |
|
|
4. Les communications et les relations entre les FS, les provinces et CIC sont-elles efficaces? |
|
|
5. Comme le processus diffère selon la province, CIC et les provinces obtiennent-ils des demandes satisfaisantes en temps utile? Dans la négative, quels sont les problèmes (p. ex. promotion insuffisante, exigence relative au partage des coûts, engorgements à une étape ou une autre du processus)? |
|
|
6. Dans quelle mesure les fournisseurs de services recueillent-ils des données sur l’initiative et en font-ils rapport? Des renseignements seront-ils disponibles pour mesurer les répercussions de l’initiative dans deux ou trois ans? |
|
|
7. Les projets de conception débouchent-ils sur des outils ou des renseignements utiles qui appuient et améliorent les projets de prestation? |
|
|
8. Les clients éventuels des CLNA se heurtent-ils à des obstacles? (p. ex., liste d’attente, transport, profession non représentée et en demande, etc.) |
|
|
9. a) Dans quelle mesure les projets de prestation assurent-ils la participation des employeurs? b) Cette participation a-t-elle un effet positif si l’on considère l’incidence du projet de prestation (quelle est la différence entre les projets de prestation auxquels les employeurs participent et les autres)? |
|
|
10. Quelles sont les qualifications des enseignants et des formateurs? |
|
|
Réussite : Dans quelle mesure l’initiative a-t-elle atteint ses objectifs/résultats immédiats? | ||
11. Les clients ont-ils amélioré leurs connaissances linguistiques? |
|
|
12. Les clients ont-ils accru leur expérience de l’environnement de travail canadien? |
|
|
13. Les clients connaissent-ils mieux l’environnement de travail canadien? |
|
|
14. Les clients ont-ils amélioré leurs techniques de recherche d’emploi? |
|
|
15. Les clients ont-ils établi des réseaux, trouvé des personnes-ressources/mentors? |
|
|
Résultats intermédiaires : |
||
16. Les clients ont-ils de meilleures perspectives d’emploi? |
|
|
17. Existe-t-il un modèle plus efficace que les autres? (Les éléments du modèle dont on doit tenir compte sont le type de formation linguistique; le stage/placement professionnel; l’environnement de travail canadien; les techniques de recherche d’emploi; le réseau/mentorat/la personne-ressource; la participation des employeurs.) |
|
|
Résultats finaux : Nous devons nous assurer que nous disposerons des données nécessaires pour mesurer ces résultats lors de l’évaluation sommative. | ||
18. Les clients qui ont suivi et terminé avec succès les CLNA trouvent-ils un travail correspondant à leurs compétences et à leur expérience? Cette situation varie-t-elle selon la diversité des participants au programme? |
|
|
19. Les clients conservent-ils un emploi correspondant à leurs compétences et à leurs qualifications? |
|
|
Efficacité et efficience : Dans quelle mesure les cours de langue adaptés à des emplois particuliers et les activités de préparation au marché du travail offertes dans le cadre des CLNA font-ils appel aux méthodes les plus efficaces et efficientes pour atteindre leur objectif? | ||
20. Le fonctionnement de l’initiative des CLNA est-il efficace par rapport au coût? |
|
|
Autres programmes d’intégration à la population active. | ||
21. D’autres programmes d’intégration à la population active sont-ils offerts aux immigrants? Si oui, comment se comparent-ils aux CLNA au chapitre de l’admissibilité, de la portée, du coût, etc.? |
|
|
Liste des informateurs principaux
Citoyenneté et Immigration Canada
- Rose Kattackal, DG, Direction générale de l’intégration, AC, CIC
- Diane Mikaelsson, DG, Direction générale des opérations, AC, CIC
- Elizabeth Ruddick, DG, Direction générale de la recherche et de l’évaluation, AC, CIC
- Jean Séguin, directrice, Programmes d’établissement adaptés à la clientèle, AC, CIC
- Wally Boxhill, directeur, Prestation des programmes d’intégration et de protection des réfugiés, AC, CIC
- Martha Justus, directrice p. i., Recherche et statistiques stratégiques, AC, CIC
- Lucie Béland-O’Keefe, gestionnaire p. i., CLNA, AC, CIC
- Gail Devlin, analyste des politiques, Direction générale de l’immigration, AC, CIC
- Elisete Bettencourt, conseillère du programme régional, Région de l’Ontario, CIC
- Rocky Gushuliak, conseiller du programme régional, Région des Prairies, CIC
- Sylvie Tremblay, conseiller du programme régional, Région de l’Atlantique, CIC
- Alissar Ribahi, agente de CIC, Bureau de Halifax, Région de l’Atlantique, CIC
- Daisy Pond, conseillère du programme, bureau local de CIC, Calgary
Provinces et territoires
- Brent Slobodin, sous-ministre adjoint, Études supérieures, Yukon
- Shelly Forrester, gestionnaire, Division des qualifications internationales, ministère du Développement économique, Colombie-Britannique
- Carolyn Dieleman, gestionnaire, Formation linguistique, Ressources humaines et Emploi de l’Alberta, Alberta
- Valerie Fulford, agente de projet, gouvernement de la Saskatchewan, Saskatchewan
- Josh Yasinowski, agent de projet, gouvernement de la Saskatchewan, Saskatchewan
- Jean Gabert, gouvernement de la Saskatchewan, Saskatchewan
- Cathy Zao, gouvernement de la Saskatchewan, Saskatchewan
- Margaret Pidlaski, directrice, Travail et Immigration, Direction de la formation linguistique des adultes, Manitoba
- Judy Stanleigh, gestionnaire, Division de la formation linguistique, ministère des Affaires civiques et de l’Immigration, Ontario
- Patricia Bishop, gestionnaire, Division de l’intégration au marché du travail, ministère des Affaires civiques et de l’Immigration, Ontario
- Ashraf Ghanem, conseiller pédagogique, ministère de l’Éducation postsecondaire, de la Formation et du Travail du Nouveau-Brunswick, Nouveau-Brunswick
- Paroo McKinnon, agent d’établissement, Office de l’immigration de la Nouvelle-Écosse, Nouvelle-Écosse
- Deborah Sheppard, spécialiste de l’élaboration des politiques et des programmes, Terre-Neuve-et-Labrador
Intervenants/autres ministères
- Carolyn Cohen, Centre for Education and Training
- Subhadra Ramachandran, Centre for Education and Training
- Pauline Mcnaughton, Centre des niveaux de compétence linguistique canadiens
- Pat Meek, Centre des niveaux de compétence linguistique canadiens
- Helga Loechel, analyste principale des politiques, Division des stratégies en matière de ressources humaines en santé, Santé Canada
Liste des FS participants
Études de cas effectuées lors des visites sur place
- Back in Motion/MOSAIC, Vancouver, Colombie-Britannique
- Edmonton Mennonite Centre for Newcomers, Edmonton, Alberta
- Collège communautaire de Vancouver, Colombie-Britannique
- Bredin Institute – Centre for Learning, Edmonton, Alberta
- Regina Open Door Society, Regina, Saskatchewan
- Gouvernement de la Saskatchewan, Regina, Saskatchewan
- Caisses populaires d’Assiniboine, de Cambrian et d’Astra, Winnipeg, Manitoba
- Red River College, Winnipeg, Manitoba
- Toronto District School Board, Toronto, Ontario
- COSTI, Toronto, Ontario
- Inter-Cultural Neighbourhood Social Services, Mississauga, Ontario
- Halifax Immigrant Learning Centre (HILC) et Metropolitan Immigrant Settlement Association (MISA), Halifax, Nouvelle-Écosse
Mini-études de cas
- Association for New Canadians, St. John’s, Terre-Neuve-et-Labrador
- Conseil multiculturel du Nouveau-Brunswick, Fredericton, Nouveau-Brunswick
- Holland College, Charlottetown, Île-du-Prince-Édouard
- Mohawk College of Applied Arts and Technology, Hamilton, Ontario
- Niagara College, Welland, Ontario
- Waterloo Region District School Board, Kitchener-Waterloo, Ontario
- La Cité Collégiale, Ottawa, Ontario
- Women’s Enterprise Skills Training of Windsor (WEST), Ontario
- Keyano College, Fort MacMurray, Alberta
- Brooks Adult Community Centre, Brooks, Alberta
- Yukon College, Whitehorse, Yukon
- Fatima Soares and Associates, Winnipeg, Manitoba
- Central Vancouver Island Multicultural Society, Nanaimo, Colombie-Britannique
- Red River College, Winkler, Manitoba
- Penticton College, Penticton, Colombie-Britannique
- Red River College, Steinbach, Manitoba
- Camosun College, Victoria, Colombie-Britannique
- Centre for Skills Development and Training, Burlington, Ontario
- Chilliwack Community Services, Chilliwack, Colombie-Britannique
- Community Futures Corporation of North Fraser Mission, Abbotsford, Colombie-Britannique
_______________
[40] Même si douze études de cas ont été effectuées, on a organisé seulement onze groupes de discussion car une des études de cas portait sur un projet de conception. De plus, en raison de la difficulté d’attirer des participants, un groupe ne comptait qu’une personne.
[41] Deux FS n’ont pas fourni d’outils.
Détails de la page
- Date de modification :