Évaluation des instructions ministérielles (mise en oeuvre)

2. Méthodologie

La collecte des données pour cette évaluation a été effectuée de mars à juin 2011. La période visée par l’évaluation s’échelonne de l’entrée en vigueur du budget de 2008 (le 18 juin 2008) jusqu’à la fin de la collecte des données, y compris la période après l’entrée en vigueur des IM2 (le 26 juin 2010), car la portée de l’évaluation déborde du cadre des IM1.

Plusieurs sources de données tant quantitatives que qualitatives ont servi aux fins de l’évaluation. Même si le nombre et le type de sources utilisées pour chaque question variaient, toutes les questions étaient examinées en utilisant deux sources ou plus. Recourir à de multiples sources de données nous permet d’examiner chaque question sous plusieurs angles et d’avoir davantage confiance en la fiabilité et la validité des constatations lorsque ces sources convergent.

2.1 Examen des documents

L’examen des documents avait pour but de permettre aux évaluateurs de se familiariser avec les IM et leur contexte et de recueillir des renseignements pertinents au sujet des programmes. Les principaux documents examinés comprenaient les suivants : des rapports statistiques, des documents budgétaires fédéraux de 2008, des notes d’information, procédures opérationnelles pour le TQF, des bulletins opérationnels, le rapport de la vérificatrice générale de novembre 2009 et d’autres documents d’ordre général portant sur les politiques d’immigration applicables aux travailleurs qualifiés. L’Annexe D fournit une liste des documents examinés.

2.2 Analyse des données administratives

Lorsque CIC a mis en œuvre les IM1 et créé le BRCD, il a également entrepris une collecte de données exhaustive et instauré des systèmes de surveillance qui ont fourni de vastes données administratives sur le traitement des demandes dans le cadre des IM. L’analyse de ces données a été une source d’information essentielle pour l’évaluation. Des données sur les demandes de TQF présentées en vertu des IM1, en vertu des IM2 et avant l’entrée en vigueur des IM ont été extraites du Portail du magasin des données de recherche de CIC, des rapports mensuels sur l’application du projet de loi C-50, et des sommaires de la production au BRCD pour les demandes de TQF.

2.3 Entrevues auprès des informateurs principaux

Des entrevues avec des intervenants clés ont été menées afin d’évaluer la mise en œuvre et le fonctionnement du programme, de connaître l’avis des personnes interviewées sur l’atteinte des objectifs à court et à long terme des IM, d’examiner les communications et de recueillir des suggestions pour améliorer le programme. Des informateurs principaux ont été ciblés et des guides d’entrevue ont été conçus. Une liste des personnes interviewées se trouve à l’Annexe E. L’Annexe F renferme les guides et les protocoles d’entrevue. En tout, 31 personnes ont été interviewées, dont des fonctionnaires de l’administration centrale (AC) de CIC, des gestionnaires du programme d’immigration dans les missions et des responsables de l’immigration dans les gouvernements provinciaux. Le tableau 2-1 fournit une ventilation des personnes interviewées dans chaque catégorie. La durée des entrevues allait de 45 minutes à deux heures.

Tableau 2-1 :  Résumé des personnes interviewées

2.4 Visite au BRCD

Pour savoir comment les demandes dans le cadre des IM sont traitées et pour poser des questions au sujet du premier ensemble d’IM, l’équipe chargée de l’évaluation s’est rendue au Bureau de réception centralisée des demandes situé à Sydney, en Nouvelle-Écosse. On a d’abord effectué une visite guidée du BRCD pour observer le traitement des demandes dans le cadre des IM1 et des IM2. Ensuite, les gestionnaires du BRCD ont été interviewés lors d’une séance de groupe qui a duré cinq heures, ce qui a permis de connaître en profondeur la perspective du personnel du BRCD sur les questions de l’évaluation. Enfin, on a examiné un échantillon aléatoire de 90 demandes reçues au BRCD dans le cadre des IM1 et comparé leur état d’avancement réel aux résultats escomptés des IM1.

2.5 Sondage auprès des bureaux des visas

Un sondage auprès des bureaux canadiens des visas à l’étranger (BCVE) a été réalisé en juin 2011. Étant donné qu’un nombre précis de BCVE utilisaient les IM1, il n’y avait pas lieu de sonder un échantillon, ce qui éliminait la possibilité d’erreurs d’échantillonnage et la nécessité d’effectuer des tests statistiques sur les données obtenues dans le cadre du sondage. Le questionnaire a été conçu à partir des exigences du cadre d’évaluation et un exemplaire se trouve à l’Annexe F.

Le sondage a été mis à l’essai auprès des bureaux de visas de Londres et de Buffalo. On a demandé aux gestionnaires du programme d’immigration de remplir le questionnaire et de répondre à une courte liste de questions sur le questionnaire. Leurs commentaires ont été utilisés pour réviser le questionnaire.

Pour maximiser le taux de réponse, la Région internationale de CIC a fait parvenir par courriel le sondage à tous les BCVE (à l’exception de ceux de Londres et de Buffalo). On a demandé aux missions de renvoyer une réponse consolidée (un sondage) par bureau. Après l’envoi d’un rappel, le taux de réponse a été de 77 % (37 sur 48).

2.6 Évaluation des données financières

Étant donné que le cadre d’évaluation incluait une question sur la rentabilité du BRCD, l’équipe chargée de l’évaluation a travaillé en collaboration avec des représentants des Finances, de la Région du traitement centralisé et de la Région internationale pour recueillir et analyser les données financières. L’objectif consistait plus précisément à utiliser les données tirées du Modèle de gestion des coûts (MGC)^{Note de bas de page 12} de CIC pour comparer les coûts associés au traitement d’une demande de TQF avant la mise en œuvre des IM aux coûts de traitement d’une demande dans le cadre des IM1.

2.7 Limites de la méthodologie

L’évaluation comporte un bon équilibre de sources de données quantitatives et qualitatives permettant de faire la triangulation des résultats. Cependant, il convient de souligner deux préoccupations liées à la méthodologie.

La première découle du fait que l’étude portait principalement sur la mise en œuvre des IM1, tandis que la collecte des données a été effectuée alors que les IM2 étaient en place depuis presque un an. Par conséquent, il y avait une possibilité que les informateurs principaux confondent les deux ensembles d’IM. Même si l’équipe chargée de l’évaluation a fait très attention de faire la distinction entre les deux ensembles d’instructions lors des entrevues, elle n’a pas pu faire de même dans le cadre du sondage, qui a été rempli en ligne, sans que l’on puisse approfondir ou clarifier les réponses. Dans les cas où des données contextuelles dans les réponses au sondage portaient à croire qu’on confondait les IM1 et les IM2, les évaluateurs n’ont pas inclus la réponse dans l’analyse.

Une autre limite de la méthodologie avait trait aux données financières disponibles. Comme la section 3.3.4 sur l’économie et l’efficience l’abordera plus longuement, CIC tient des données financières sur le traitement des demandes, mais ces données ne sont pas suffisamment détaillées pour permettre une comparaison des coûts avant et après les IM. Pour corriger le problème, on a élargi la portée de l’évaluation pour jauger si le BRCD atteignait ses autres objectifs, qui contribueraient tous à assurer l’efficacité du processus global.

• Précédent
• 1
• 2
• 3
• 4
• 5
• 6 (présent)
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• Suivant