Évaluation du Programme des étudiants étrangers : Méthodologie

2. Méthodologie

2.1 Portée de l’évaluation

La portée de l’évaluation a été déterminée à la phase de planification, en consultation avec les directions générales de CIC qui participent à l’exécution du PEE. L’évaluation portait sur le Programme des étudiants étrangers, de même que sur l’utilisation du Programme de permis de travail hors campus et du Programme de permis de travail postdiplôme. Cependant, les résultats des deux derniers programmes n’ont pas été inclus dans la présente évaluationNote de bas de page 1. De plus, l’évaluation traitait des cinq thèmes fondamentaux énoncés dans la Directive sur la fonction d’évaluation du Secrétariat du Conseil du Trésor.

2.1.1 Ajustement de la portée

Compte tenu de l’obligation d’évaluer le PEE conformément aux exigences ministérielles relatives à la portée des évaluations, l’évaluation a été ajustée de la façon suivante :

  • méthodologie limitée à trois sources de données : entrevues avec des informateurs clés, examen de documents et analyse des données administrativesNote de bas de page 2;
  • accent mis sur l’évaluation des résultats immédiats attendus du Programme, en traitant des questions relevées dans l’évaluation précédente concernant l’intégrité du Programme et le traitement des demandes;
  • réalisation de l’évaluation à l’interne, par une équipe de quatre évaluateurs qui avaient 180 jours-personnes pour la réaliser.

En raison des modifications réglementaires qui sont entrées en vigueur en 2014, la présente évaluation du PEE devrait servir de référence à celle qui aura lieu en 2018-2019. La prochaine évaluation du PEE devant être réalisée en 2018-2019, elle devrait permettre une analyse complète des résultats immédiats et intermédiaires.

D’autres travaux ministériels en cours sur les étudiants étrangers ont contribué à la décision de réduire la portée de l’évaluation. CIC effectue en ce moment une évaluation de la catégorie de l’expérience canadienne (CEC), qui porte sur les voies menant du statut de résident temporaire à celui de résident permanent empruntées par les clients (y compris les étudiants étrangers), de 2008 à 2013. L’évaluation de la CEC devrait être achevée à l’automne 2015. Par conséquent, cette évaluation du PEE n’étudie pas en détail cet aspect du Programme. De plus, le Ministère réalise actuellement un examen du Programme de permis de travail postdiplôme, dans le cadre de son examen plus vaste du Programme des travailleurs étrangers temporaires qui a été annoncé par le gouvernement du Canada en 2012. Cet examen présentera un profil de ses clients de 2002 à 2013, ainsi que les retombées économiques attribuables à ceux qui obtiennent le statut de résident permanent, avec pour objectif général de déterminer si le programme défend toujours les intérêts économiques et culturels globaux du Canada, justifiant ainsi le maintien de l’exemption relative au processus d’étude d’impact sur le marché du travail. Cet examen devrait être terminé à l’hiver 2014-2015.

2.2 Thèmes et questions de l’évaluation

Conformément aux exigences de la Directive sur la fonction d’évaluationNote de bas de page 3 du Secrétariat du Conseil du Trésor, l’évaluation examine la pertinence et le rendement du PEE de 2009 à 2013. Le rendement du PEE a été évalué en fonction des résultats immédiats attendus suivants, qui sont également décrits dans le modèle logique du PEENote de bas de page 4 :

  • compréhension commune chez les intervenants du PEE des rôles et responsabilités, des objectifs des politiques et des programmes, ainsi que des relations efficaces;
  • politiques et programmes adaptés qui facilitent l’accès des étudiants étrangers aux possibilités d’études et d’emploi ainsi que leur transition à la résidence permanente;
  • processus de sélection en temps opportun et uniformes, tout en préservant l’intégrité du Programme;
  • arrivée d’étudiants étrangers au Canada et poursuite active de leurs études par ceux-ci;
  • acquisition d’expérience de travail au Canada par les étudiants étrangers.

Les questions d’évaluation, classées selon les thèmes fondamentaux, sont présentées dans le tableau 2-1Note de bas de page 5.

Tableau 2-1 : Questions d’évaluation—Pertinence
Thèmes fondamentaux Questions d’évaluation Section
Besoin continu du programme Dans quelle mesure le Programme des étudiants étrangers est-il toujours nécessaire? 3.1
Harmonisation avec les priorités du gouvernement Dans quelle mesure les objectifs du Programme des étudiants étrangers cadrent-ils avec les priorités du Ministère et du gouvernement, dans son ensemble? 3.2
Harmonisation avec les rôles et responsabilités du gouvernement fédéral Dans quelle mesure le Programme des étudiants étrangers cadre-t-il avec les rôles et les responsabilités du gouvernement fédéral? 3.3
Tableau 2-1 : Questions d’évaluation—Rendement
Thèmes fondamentaux Questions d’évaluation Section
Atteinte des résultats attendus : Résultats en matière de gestion du Programme Dans quelle mesure la mobilisation des intervenants contribue-t-elle au rendement du PEE? 4.1
Dans quelle mesure les politiques et programmes liés au PEE facilitent-ils l’accès des étudiants étrangers aux possibilités d’études et d’emploi? Facilitent-ils la transition à la résidence permanente? 4.2
Dans quelle mesure les étudiants étrangers tirent-ils profit des possibilités d’emploi au Canada et acquièrent-ils une expérience de travail canadienne? 4.2
Dans quelle mesure le Ministère a-t-il appliqué les recommandations relatives à l’intégrité du Programme et le traitement des demandes formulées à la suite de l’évaluation précédente? 4.3
Atteinte des résultats attendus : Résultats en matière de traitement des demandes Dans quelle mesure les étudiants sont-ils admis au Canada et y étudient-ils? 5.1
Dans quelle mesure les décisions de sélection sont-elles uniformes et prises en temps opportun ? Quelles ont été les répercussions des initiatives de modernisation de CIC sur le PEE? 5.2-5.4
Dans quelle mesure les processus de sélection contribuent-ils à l’intégrité du Programme? 5.5
Démonstration de l’efficience et de l’économie Dans quelle mesure les ressources du Programme sont-elles gérées efficacement afin de faciliter l’atteinte des résultats? Les coûts sont-ils comparables à ceux envisagés pour d’autres programmes similaires? 6.1-6.2
Dans quelle mesure des solutions de rechange à la structure et au mode de prestation actuels du PEE permettraient-elles d’améliorer son efficacité ou de réaliser des économies? Note *

2.3 Méthodes de collecte des données

L’évaluation du PEE comprenait trois sources de données, décrites de façon plus détaillée ci-dessous. La collecte et l’analyse des données aux fins de cette évaluation se sont déroulées de février à septembre 2014.

2.3.1 Examen de documents

Un examen des documents du programme a été réalisé afin de fournir l’historique et le contexte du PEE, ainsi que d’alimenter l’évaluation de la pertinence et du rendement du Programme. Des documents du gouvernement canadien, par exemple des discours du Trône, des budgets, de même que des documents sur les politiques et les stratégies, ont été examinés afin de définir le contexte du Programme et de recueillir des renseignements sur CIC et les priorités du gouvernement canadien. Des documents ministériels, notamment l’évaluation du PEE réalisée en 2010, les guides relatifs au traitement des demandes et les rapports de surveillance, ont servi à examiner certaines questions d’évaluation. Des documents issus des autres ministères ont également été examinés pour évaluer la pertinence du Programme (p. ex. documents du MAECD sur la Stratégie en matière d’éducation internationale). L’annexe B présente une bibliographie qui énumère les documents ayant servi à rédiger le présent rapport.

Une comparaison des délais de traitement et des possibilités d’emploi pour les étudiants étrangers dans d’autres pays a été réalisée, quoiqu’à petite échelle. Les programmes d’études des États-Unis, du Royaume-Uni et de l’Australie ont été comparés à ceux du Canada. Ces trois pays ont été choisis parce qu’ils sont membres de la Conférence des cinq nations et qu’ils sont souvent considérés comme les concurrents directs du Canada pour attirer des étudiants étrangersNote de bas de page 6.

2.3.2 Analyse des données administratives

Les données administratives du Système mondial de gestion des cas (SMGC) de CIC et du Système de soutien des opérations des bureaux locaux (SSOBL) ont été utilisées pour évaluer le volume de demandes faites par des étudiants étrangers, le nombre d’entrées et le nombre d’étudiants étrangers présents au 1er décembre, ainsi que pour dresser un profil démographique des étudiants étrangers en fonction de renseignements comme les nombres et les types de demandes de permis d’études et de visas de résident temporaire (VRT), ainsi que le temps nécessaire pour les traiter. La Direction générale de la gestion financière de CIC a également fourni des données sur quatre ans concernant les coûts liés au PEE, données qui ont servi à analyser l’utilisation des ressources aux fins du Programme. Les données de quatre années seulement étaient disponibles aux fins de cette évaluation, puisque CIC n’a pas produit de modèle de gestion des coûts en 2008-2009.

2.3.3 Entrevues

Les entrevues ont été une source de données essentielle sur la majorité des questions d’évaluation. Au total, 33 entrevues ont été menées auprès de représentants de cinq groupes d’intervenants.

Tableau 2-2 : Entrevues effectuées
Groupe de répondants Nombre de personnes interrogées
Haute direction et personnel de CIC (Direction générale de l’immigration, Direction générale de la gestion opérationnelle et de la coordination, Région internationale) 9
Personnel des bureaux régionaux et locaux de CIC, Région du traitement centralisé et bureaux canadiens des visas à l’étranger prenant part au traitement des demandes de permis d’étudesNote de bas de page 7 12
Représentants des gouvernements provinciauxNote de bas de page 8 5
Haute direction du Consortium canadien de l’éducation internationale (CCEI), qui représente plus de 500 établissements d’enseignement et conseils scolaires du CanadaNote de bas de page 9 5
Représentants des autres ministères fédéraux prenant part au PEE (MAECD, ASFC) 2

Les entrevues ont été menées par téléphone et en personne, selon la préférence et la disponibilité des répondants. Lorsque des renseignements qualitatifs sont présentés dans le rapport, l’échelle d’analyse des réponses fournie dans le tableau 2-3 a été utilisée.

Tableau 2-3 : Échelle d’analyse des réponses aux entrevues
Descripteur Signification
Tous Les résultats reflètent l’opinion de 100 % des personnes interrogées.
La majorité/la plupart Les résultats reflètent l’opinion d’au moins 75 %, mais de moins de 100 % des personnes interrogées.
Un grand nombre Les résultats reflètent l’opinion d’au moins 50 %, mais de moins de 75 % des personnes interrogées.
Certains Les résultats reflètent l’opinion d’au moins 2 %, mais de moins de 50 % des personnes interrogées.
Un petit nombre Les résultats reflètent l’opinion d’au moins deux répondants, mais de moins de 25 % des personnes interrogées.
Limites et considérations

Les évaluateurs ont dû faire face à plusieurs contraintes liées aux données. Ces contraintes, ainsi que les stratégies d’atténuation, sont décrites dans cette section. Il est important de souligner qu’aucune de ces contraintes n’a eu de répercussions importantes sur les résultats de l’évaluation. Par conséquent, les données présentées appuyant les constatations de l’évaluation devraient être considérées comme fiables et les constatations peuvent être utilisées en toute confiance.

Renseignements limités et préoccupations quant à la fiabilité des données sur les étudiants inscrits à un programme d’études de courte duréeNote de bas de page 10—Les données sur cette population dans le SMGC et le SSOBL sont saisies uniquement dans le cas des pays dont les ressortissants ont besoin d’un visa, ce qui signifie qu’elles ne représentent pas la population entière d’étudiants inscrits à un programme d’études de courte durée. De plus, le Ministère a remarqué des irrégularités dans la codification des visas pour les étudiants inscrits à un programme d’études de courte durée qui sont dispensés de l’obligation d’avoir un permis d’études (p. ex. ils sont parfois désignés comme des visiteurs, parfois comme des étudiants inscrits à un programme d’études de courte durée). Par conséquent, le nombre de demandes de VRT pour études approuvées a été utilisé comme données de substitution pour estimer la population minimale de ce type d’étudiant étranger au Canada (c.-à-d. seulement ceux provenant de pays dont les ressortissants ont besoin d’un visa). Cet enjeu lié aux données sur les étudiants inscrits à un programme d’études de courte durée n’a pas eu de répercussions sur les résultats de l’évaluation, puisque ces renseignements sont présentés uniquement pour fournir le nombre d’entrées et pour évaluer la rapidité du traitement des demandes de VRT pour études.

Renseignements limités sur les délais de traitement des demandes de certains groupes d’étudiants étrangers—Les délais de traitement des demandes de changement de statut présentées au Canada, en vue de passer de résident temporaire à étudiant étranger, n’étaient pas disponibles, car ces données ne sont pas saisies dans le SSOBL (c.-à-d. lorsqu’un visiteur ou un travailleur se trouvant déjà au Canada devient un étudiant pendant qu’il est au pays). Par conséquent, en ce qui concerne le traitement au pays, il a été uniquement possible d’obtenir les délais de traitement des demandes de prolongation du séjour en tant qu’étudiant.

Préoccupations quant à la fiabilité de certains champs de données administratives—En 2014, les ministères ont remarqué un enjeu d’uniformité dans la codification des variables « Niveau d’études » et « Dernier pays de résidence permanente ». Par conséquent, les données relatives à ces variables constituent des estimations préliminaires et font actuellement l’objet d’un examen dans le cadre de l’exercice global d’assurance de la qualité des données sur les résidents temporaires. Bien que les données sur le domaine d’études soient saisies dans le formulaire de demande (les demandeurs doivent le sélectionner dans une liste déroulante contenant 13 options), elles n’étaient pas disponibles pour l’évaluation parce que ce champ n’est pas obligatoire et qu’aucune règle administrative n’est en place à l’heure actuelle pour leur regroupement aux fins de production de rapports.

Absence de données sur la connaissance des langues officielles—Jusqu’en juin 2014, la connaissance des langues officielles ne faisait pas partie des données recueillies dans le formulaire de demande de permis d’études.

Détails de la page

Date de modification :