Sélection de la langue

Gouvernement du Canada / Government of Canada

Recherche

ARCHIVÉ – Initiative des cours de langue de niveau avancé Évaluation formative

Nous avons archivé cette page et elle ne sera plus mise à jour.

Vous pouvez la consulter à des fins de recherche ou à titre de référence.

Nous avons archivé cette page et elle ne sera plus mise à jour.

Vous pouvez la consulter à des fins de recherche ou à titre de référence.

Annexe B : Base de données – analyse des problèmes

Analyse des lacunes de la base de données

Nombre de projets

L’équipe d’évaluation a établi que la base de données faisait état de 253 projets. En l’absence d’une liste de projets, l’équipe ne peut déterminer dans quelle mesure cette base de données est complète ou représentative des projets financés dans le cadre du programme des CLNA.

Niveau individuel

L’équipe d’évaluation a répertorié dans la base de données un total de 2 552 dossiers correspondant à 2 488 clients, ces derniers étant associés à 47 projets. Elle a effectué une série de calculs afin de déterminer les lacunes éventuelles de la base de données à l’échelon individuel (c.-à-d. dossiers manquants).

  • Trois régions n’ont pas accepté de fournir des données sur leurs clients : la Colombie-Britannique, le Manitoba et la Saskatchewan. La base de données ne devrait donc pas contenir de données sur les clients de ces trois provinces.
  • On ne s’attend pas à ce que les dossiers des clients soient accessibles à partir des projets de conception.
  • Comme l’ampleur des projets varie beaucoup, allant de quelques milliers à plus d’un million de dollars, il n’est pas logique d’utiliser un nombre « moyen » de participants par projet étant donné l’immense écart existant entre les projets.
  • Une variable assez complète pour les projets non liés à la conception est le nombre prévu de clients. En ce qui concerne les projets comportant à la fois un nombre prévu et inscrit de clients, il semble qu’environ 75% d’entre eux aient atteint le nombre ciblé.

Compte tenu de ces hypothèses, nous avons calculé le nombre prévu de participants dans la base de données en procédant comme suit :

  • Nous avons exclu tous les projets associés à la Colombie-Britannique, au Manitoba et à la Saskatchewan;
  • Nous avons exclu tous les projets axés uniquement sur la conception;
  • Nous avons calculé le nombre total de participants prévu aux projets restants;
  • Nous avons retranché 2 % de ce nombre;
  • Nous obtenons ainsi le nombre prévu de clients.

Les calculs suivants ont ainsi été faits à chaque étape :

  • On commence avec 253 projets – il en reste 154, avec 7 958 participants;
  • Il reste 114 projets comptant 7 339 participants;
  • 7 339 participants prévus (remarque : ce nombre est probablement sous-estimé car, pour certains projets, il manque des données pour cette variable);
  • 5 504;
  • On s’attend à 5 504 clients – la base de données comprend 2 552 dossiers, ou 46 % des dossiers individuels.

Analyse des problèmes liés à la qualité des données

Cette section présente un résumé de la qualité des données sur les clients et les projets, par variable clé.

1. Profil des participants, par variable clé

Sujet Variable Pourcentage d’achèvement Considérations relatives à la qualité
Âge Âge 81 % (2 059/2 552)
  • 3 cas ont « 0 » an
  • Une personne a « 331 » ans
  • 6 ont plus de 65 ans (66 - 74)
Âge Date de naissance 81 % (2 059/2 552)
  • Une personne est née en « 2006 »
  • 6 sont nées avant 1940 (1933 - 1939)
Pays d’origine Pays d’origine 97 % (2 463/2 552)
  • Orthographes multiples; catégories ou noms non normalisés
Profession antérieure CNP avant CLNA 82 % (2 078/2 552)
  • Une personne a « moins de 61 ans »
  • 41 cas sont codés  « S.O. »
Statut d’immigrant Catégorie d’immigrants 92 % (2 344/2 552)  
Compét. linguist. – Écoute (prétest) Écoute_avant 88 % (2 248/2 552)  
Compét. linguist. – Conversation (prétest) Conversation_avant 88 % (2 235/2 552)  
Compét. linguist. – Lecture (prétest) Lecture_avant 88 % (2 250/2 552)  
Compét. linguist. – Rédaction (prétest) Rédaction_avant 88 % (2 249/2 552)  
Programme à temps plein Programme à temps plein 94 % (2 401/2 552)
  • Il semble que cette variable du programme soit signalée dans le questionnaire du client
Programme à temps partiel Programme à temps partiel 92 % (2 357/2 552)
  • Il semble que cette variable du programme soit signalée dans le questionnaire du client
Composante de la formation linguistique Formation linguistique 94 % (2 406/2 552)
  • Il semble que cette variable du programme soit signalée dans le questionnaire du client
Composante de stage Stage 87 % (2 211/2 552)
  • Il semble que cette variable du programme soit signalée dans le questionnaire du client
Composante de mentorat Mentorat 83 % (2 104/2 552)
  • Il semble que cette variable du programme soit signalée dans le questionnaire du client
Composante de réseautage Réseautage 85 % (2 178/2 552)
  • Il semble que cette variable du programme soit signalée dans le questionnaire du client
Composante de bénévolat Bénévolat 80 % (2 049/2 552)
  • Il semble que cette variable du programme soit signalée dans le questionnaire du client

2. Résultats des participants, par variable clé

Sujet Variable Pourcentage d’achèvement Considérations relatives à la qualité
RÉSULTATS SUR LE PLAN DES COMPÉTENCES
Compét. linguist. – Écoute (post-test) Écoute_après 64 % (1 625/2 552)
  • Il manque des données dans environ un tiers des dossiers individuels – à utiliser avec prudence
Compét. linguist. – Conversation (post-test) Conversation_après 64 % (1 622/2 552)
  • Il manque des données dans environ un tiers des dossiers individuels – à utiliser avec prudence 
Compét. linguist. – Lecture (post-test) Lecture_après 64 % (1 634/2 552)
  • Il manque des données dans environ un tiers des dossiers individuels – à utiliser avec prudence 
Compét. linguist. – Rédaction (post-test) Écriture_après 64 % (1 631/2 552)
  • Il manque des données dans environ un tiers des dossiers individuels – à utiliser avec prudence 
RÉSULTATS OBTENUS IMMÉDIATEMENT APRÈS LES CLNA
Situation d’emploi immédiatement après les CLNA Résultats signalés immédiatement après les CLNA 38 % (975/2 552)
  • Il manque des données dans environ 60 % des dossiers individuels – probabilité de distorsions importantes dans les renseignements existants en raison de la quantité de données manquantes – ne pas utiliser.
Situation d’emploi au moment du suivi Résultats signalés d’après le suivi 39 % (987/2 552)
  • Il manque des données dans environ 60 % des dossiers individuels – probabilité de distorsions importantes dans les renseignements existants en raison de la quantité de données manquantes – ne pas utiliser.
Emploi correspondant aux capacités immédiatement après les CLNA Emploi correspondant aux capacités immédiatement après les CLNA 23 %  (592/2 552)
  • Il manque des données dans environ les trois quarts des dossiers individuels – probabilité de distorsions importantes dans les renseignements existants en raison de la quantité de données manquantes –  ne pas utiliser. 
Emploi ne correspondant pas aux capacités immédiatement après les CLNA Emploi ne correspondant pas aux capacités immédiatement après les CLNA 23 % (590/2 552)
  • Il manque des données dans environ les trois quarts des dossiers individuels – probabilité de distorsions importantes dans les renseignements existants en raison de la quantité de données manquantes – ne pas utiliser.  
Sans emploi immédiatement après les CLNA Sans emploi immédiatement après les CLNA 25 % (627/2 552)
  • Il manque des données dans environ les trois quarts des dossiers individuels – probabilité de distorsions importantes dans les renseignements existants en raison de la quantité de données manquantes – ne pas utiliser.   
RÉSULTATS LORS DU SUIVI
Inscrit à une formation complémentaire immédiatement après les CLNA Inscrit à une formation complémentaire immédiatement après les CLNA 11 % (282/2 552)
  • Il manque des données dans environ neuf dossiers individuels sur dix – probabilité de distorsions importantes dans les renseignements existants en raison de la quantité de données manquantes – ne pas utiliser.    
Emploi correspondant aux capacités lors du suivi Emploi correspondant aux capacités au moment du suivi 15 % (381/2 552)
  • Il manque des données dans environ huit dossiers individuels sur dix – probabilité de distorsions importantes dans les renseignements existants en raison de la quantité de données manquantes – ne pas utiliser.
Emploi ne correspondant pas aux capacités lors du suivi Emploi ne correspondant pas aux capacités au moment du suivi 15 % (382/2 552)
  • Il manque des données dans environ huit dossiers individuels sur dix – probabilité de distorsions importantes dans les renseignements existants en raison de la quantité de données manquantes – ne pas utiliser. 
Sans emploi lors du suivi Sans emploi lors du suivi 17 % (425/2 552)
  • Il manque des données dans environ huit dossiers individuels sur dix – probabilité de distorsions importantes dans les renseignements existants en raison de la quantité de données manquantes – ne pas utiliser. 
Inscrit à une formation complémentaire lors du suivi Inscrit à une formation complémentaire lors du suivi 7 % (192/2 552)
  • Il manque des données dans environ neuf dossiers individuels sur dix – probabilité de distorsions importantes dans les renseignements existants en raison de la quantité de données manquantes – ne pas utiliser. 

3. Données sur les projets, par variable clé

Sujet Variable Pourcentage d’achèvement Considérations relatives à la qualité
Exercice Exercice 100 % (253/253)
  • Tous les cas se situent dans le délai de quatre ans.
Fournisseur de services Fournisseur de services 100 % (253/253)
  • La liste comprend 165 FS, mais 25 sont indiqués en double, car l’orthographe et la saisie pour ces champs de texte ne sont pas normalisées.
Titre du projet Titre du projet 100 % (253/253)
  • Certains titres comme « CLNA » ou « projet de CLNA » sont discutables.
Type de projet, comme projet de conception, projet de prestation, ou les deux Type de projet 100 % (253/253)
  • Orthographe et étiquette complètes et normalisées
Région Région 100 % (253/253)
  • Il y a quelques problèmes concernant le chevauchement de catégories pour cette variable (p. ex.  « Colombie-Britannique » et « Colombie-Britannique et Yukon »).
  • Il n’y a pas de correspondance entre cette variable et la variable « province » dans certains cas.
Ville Ville 97 %
(245/253)
  • Il n’y a pas d’orthographe normalisée ou de consensus sur le format. Dans certains cas, plusieurs villes sont entrées dans le champ sous une seule catégorie. Dans d’autres, la ville est une région plus grande (p. ex. île de Vancouver).
Province Province 100 % (253/253)
  • Il n’y a pas de correspondance entre cette variable et la variable « région » dans certains cas.
CNP Codes CNP 43 %
(108/253)
  • Plus de la moitié des projets n’ont pas de codes CNP. Les données doivent être utilisées avec beaucoup de prudence.
  • Il est difficile d’obtenir des données du champ « profession » du fait qu’on peut y entrer librement du texte et que le champ n’est pas normalisé.
Montant du projet en dollars Valeur du projet

79 %
(200/253)
  • Le montant associé à 18 cas est nul.
  • Aucun montant n’est associé à un cas sur cinq (espace non rempli).
  • La valeur totale des projets équivaut à 24,1 M$. Cela doit être vérifié par rapport aux fonds réels prévus dans les ententes de contribution, au moyen du système financier.
Nombre prévu de participants Nombre prévu de participants 63 %
(116/183)
projets de conception non compris
  • Six projets de prestation comportent des participants prévus?
  • Large éventail de participants de 3 à 5 000 – indique que la définition de « projet » peut poser un problème.
  • Les données doivent être utilisées avec beaucoup de prudence.
Participants inscrits Participants inscrits 31 %
(57/183)
projets de conception non compris
  • L’inscription de participants n’est signalée que pour un projet sur trois. Les données ne devraient probablement pas être utilisées.
Participants ayant terminé Participants ayant terminé 22 %
(40/183)
projets de conception non compris
  • L’inscription de participants n’est signalée que pour un projet sur cinq. Les données ne devraient probablement pas être utilisées.

 

Détails de la page

Date de modification :