Évaluation de la catégorie de l’expérience canadienne
2 Méthodologie
2.1 Approche de l’évaluation
La portée et l’approche de l’évaluation ont été déterminées durant la phase de planification, après consultation des directions générales de Citoyenneté et Immigration Canada (CIC) qui ont participé à la conception, la gestion et l’exécution du Programme de la catégorie de l’expérience canadienne. Ce travail de planification a comporté l’élaboration d’un modèle logique et d’un cadre d’évaluation, y compris les questions de l’évaluation et les indicateurs. Les paramètres de l’évaluation ont été approuvés par le Comité d’évaluation ministériel de CIC en janvier 2014. L’évaluation a été réalisée à l’interne, avec un contrat ciblé pour la réalisation du sondage auprès des DP de la CEC.
2.2 Portée de l’évaluation
L’évaluation a porté sur la pertinence et le rendement de la catégorie de l’expérience canadienne, et elle a été guidée par un modèle logique indiquant les résultats escomptés immédiats et intermédiaires du programme (voir l’appendice B : Modèle logique de la catégorie de l’expérience canadienne). Les questions ont été élaborées afin d’aborder ces thèmes fondamentaux, et elles figurent au tableau 2.1.
Tableau 2.1 : Questions de l’évaluation
Pertinence
- Existe-il un besoin continu de la CEC?
- La CEC cadre-t-elle avec les priorités et les objectifs de CIC et du gouvernement du Canada?
- La CEC concorde-t-elle avec les rôles et responsabilités du gouvernement fédéral?
Rendement - Efficacité
- Dans quelle mesure les intervenants et les immigrants éventuels sont-ils renseignés sur la CEC?
- Dans quelle mesure les diplômés étrangers et les travailleurs étrangers temporaires qualifiés présentent-ils une demande de résidence permanente au titre de la CEC?
- Dans quelle mesure la CEC a-t-elle augmenté l’offre de travailleurs qualifiés qui ont fait des études au Canada et/ou ont de l’expérience de travail canadienne, et qui possèdent des compétences linguistiques?
- Dans quelle mesure les résidents permanents de la CEC restent-ils au Canada et s’établissent-ils économiquement?
- Dans quelle mesure les résidents permanents de la CEC intègrent-ils rapidement le marché du travail, et à un niveau correspondant à leurs compétences?
Rendement – Gestion du programme et utilisation des ressources
- Dans quelle mesure la gestion de la CEC favorise-t-elle une exécution efficace du programme?
- Dans quelle mesure le processus de la CEC est-il simplifié et opportun? L’initiative de modernisation de la CIC a-t-elle eu des répercussions?
- Les ressources du programme sont-elles gérées efficacement afin de faciliter l’obtention de résultats?
- Dans quelle mesure l’exécution du programme de la CEC est-elle efficiente?
Des indicateurs de rendement ont été définis pour chaque question de l’évaluation afin de constituer le cadre d’évaluation aux fins de l’étude. Les questions de l’évaluation et les indicateurs de rendement sont présentés dans le rapport d’évaluation détaillé.
2.3 Méthodes de collecte de données
Les questions de l’évaluation et les indicateurs de rendement ont été abordés utilisant plusieurs sources de données probantes afin d’obtenir des données qualitatives et quantitatives d’une grande diversité de points de vue, y compris des gestionnaires, des intervenants et des clients du programme. Ces sources de données probantes sont présentées au tableau 2.2. De plus amples renseignements sur les méthodes de collecte des données utilisées pour l’évaluation figurent dans le rapport d’évaluation détaillé.
Tableau 2.2 : Sources de données probantes utilisées pour l’évaluation
Sources de données probantes
Analyse documentaire et examen des documents
L’examen a porté sur des documents de base pertinents, relatifs au programme et aux politiques, ainsi que des rapports et des articles d’études, publiés au Canada et à l’étranger, sur les programmes permettant d’effectuer la transition vers la résidence permanente, et sur les pénuries de main-d’œuvre au Canada. L’examen des documents fournit l’historique et le contexte du programme, renseignant l’évaluation de la pertinence et du rendement de la CEC.
Entrevues
Trente (30) entrevues d’informateurs principaux ont été menées auprès de treize (13) représentants de CIC qui ont participé à la conception et à l’exécution du programme, ainsi qu’auprès de sept (7) représentants d’autres ministères fédéraux ou provinciaux et dix (10) principaux intervenants externes, y compris des représentants d’organismes liés à l’emploi ou à l’éducation et des représentants en immigration.
Analyse des données administratives
Les données administratives du Système mondial de gestion des cas (SMGC), du Système de traitement informatisé des dossiers d’immigration (STIDI) et du Système de soutien des opérations des bureaux locaux (SSOBL) ont été utilisées pour établir le profil des demandes et des admissions au titre de la CEC depuis la création du programme jusqu’en 2014.
La Banque de données longitudinales sur les immigrants (BDIM) a fourni de l’information sur l’établissement économique et la mobilité interprovinciale des DP de la CEC qui ont été admis entre 2009 et 2012 et qui ont rempli une déclaration d’impôt sur le revenu durant cette période.C.Note de bas de page 4
Le Système de mesure pour la reddition des comptes concernant les programmes de contributions de l’immigration (iSMRP) et le système Immigration — Environnement de déclarations d’ententes de contribution (iEDEC) a fourni des renseignements sur l’utilisation des services d’établissement par les DP de la CEC admis de 2009 à 2013, qui ont obtenu des services jusqu’à la fin de juin 2014.Note de bas de page 5
Afin d’obtenir des renseignements sur les communications liées à la CEC, des rapports sommaires sur les activités de sensibilisation par région de CIC ont été examinés ainsi que des échantillons de produits et quelques statistiques du site Web et du Télécentre de CIC.
Afin d’étudier l’utilisation des ressources de la CEC, les coûts d’exécution du programme ont été examinés par rapport au volume de demandes traitées. Les données de gestion des coûts de CIC y compris les coûts de traitement des demandes d’immigrants de la CEC pour le gouvernement fédéral, ont été utilisées à cette fin.
Sondage auprès des DP de la CEC
Un sondage a été effectué (par téléphone et en ligne) auprès de 1 315 DP de la CEC admis au Canada de 2009 à 2013. Le sondage a permis de recueillir des renseignements sur l’expérience vécue par les DP en ce qui concerne la présentation de leur demande au titre du programme; leurs études et leurs emplois précédents à l’extérieur du Canada et durant leur séjour au Canada à titre de résidents temporaires, leurs études et leurs emplois au Canada à titre de résidents permanents, et leur adaptation à la vie au Canada. La marge d’erreur du sondage s’est située à ±2,6 %, avec un intervalle de confiance de 95 %.
Sondage auprès des employeurs
Un sondage en ligne a été effectué auprès de 37 employeurs actuels ou récents désignés par les DP de la CEC dans le sondage auprès de ces DP (décrit ci-dessus)Note de bas de page 6. Ce sondage avait pour but d’obtenir le point de vue des employeurs concernant leur expérience d’emploi d’un résident permanent de la CEC, y compris leur perception de la manière dont cette personne s’est adaptée à l’environnement de travail, et la sensibilisation de l’employeur à la CEC. Le taux de participation au sondage s’est situé à 20,1 %.
Sondage auprès des établissements d’enseignement
Un sondage a été effectué en ligne auprès de 43 établissements membres de l’Association des universités et collèges du Canada (AUCC) et de Collèges et instituts Canada à l’extérieur du Québec. Ce sondage avait pour objectif d’évaluer le degré de sensibilisation à la CEC, ainsi que l’ampleur des efforts de sensibilisation déployés par les établissements d’enseignement. Le taux de participation au sondage s’est situé à 24,6 %.
2.4 Limites et points à considérer
Certaines limites ont été observées concernant le nombre restreint de répondants aux sondages auprès des employeurs et des établissements d’enseignement, le caractère représentatif des données des systèmes iSMRP et iEDEC, et la faible quantité de données disponibles sur les résultats à long terme des DP de la CEC. Diverses stratégies ont été utilisées pour atténuer ces limites et pour assurer que l’évaluation présente des renseignements fiables à l’appui de constatations solides. Ces limites et les stratégies d’atténuation connexes sont précisées dans le rapport d’évaluation détaillé.
Dans l’ensemble, l’évaluation est fondée sur une méthodologie équilibrée utilisant des sources de données quantitatives et qualitatives, permettant la triangulation des résultats. Les diverses sources de données étaient complémentaires et ont permis de combler certaines lacunes en matière d’information. De manière générale, les résultats ont convergé vers des constatations communes et intégrées. La triangulation des sources multiples de données ainsi que les stratégies d’atténuation utilisées dans le cadre de l’évaluation ont été jugées suffisantes pour garantir que les constatations issues de l’évaluation peuvent être utilisées en toute confiance.
Détails de la page
- Date de modification :