Évaluation du Programme fédéral d’immigration des gens d’affaires — 2. Méthodologie

2.1. Enjeux et questions de l’évaluation

L’évaluation analyse la mesure dans laquelle les résultats immédiats et intermédiaires de ce programme ont été atteints. Les questions abordées au cours de l’évaluation ont été élaborées afin d’établir la mesure dans laquelle le programme produit les résultats escomptés.

Le premier résultat immédiat du PIGA est la disponibilité d’un processus de sélection cohérent, objectif et efficient. Ensuite, l’admission d’immigrants entrepreneurs doit contribuer au lancement d’entreprises ainsi qu’à la création et au maintien d’emplois conformément aux conditions applicables à cette catégorie d’immigration économique. Enfin, les placements des investisseurs doivent générer des investissements provinciaux supplémentaires dans le développement économique.

On s’attend à ce que les trois résultats immédiats susmentionnés engendrent les résultats intermédiaires ci-dessous à plus long terme :

• les immigrants sélectionnés et admis des catégories des gens d’affaires immigrants s’établissent économiquement au Canada;
• de nouvelles possibilités d’emploi pour tous les Canadiens;
• les bénéfices découlant des activités de développement économique accrues sont partagés à la grandeur du Canada.

À terme, le PIGA devrait contribuer à la migration de résidents permanents qui renforce l’économie canadienne.

Suivent les enjeux et questions abordés au cours de l’évaluation.

Pertinence

• 1) Existe-t-il toujours un besoin envers le Programme d’immigration des gens d’affaires?
• 2) Le Programme d’immigration des gens d’affaires correspond-il aux priorités du Ministère et du gouvernement dans son ensemble?
• 3) Le Programme d’immigration des gens d’affaires s’harmonise-t-il aux rôles et aux responsabilités du gouvernement fédéral?

Rendement du programme – résultats en matière de gestion

• 4) Les directives et les conseils stratégiques permettent-ils d’assurer une mise en œuvre efficace du programme?
• 5) Les décisions de sélection du Programme d’immigration des gens d’affaires ont-elles été opportunes, uniformes et objectives?
• 6) Dans quelle mesure le suivi continu des conditions de la catégorie des immigrants entrepreneurs a-t-il été efficace?

Rendement du programme – résultats du programme

• 7) La catégorie des immigrants entrepreneurs a-t-elle contribué à la création de nouvelles entreprises ou à l’acquisition d’entreprises existantes et à la création d’emplois?
• 8) Dans quelle mesure les gens d’affaires immigrants s’établissent-ils économiquement?
• 9) Dans quelle mesure les avantages économiques de l’immigration des gens d’affaires sont-ils partagés dans l’ensemble du Canada (l’ensemble du PIGA) et dans les provinces participantes (les investisseurs uniquement)?
• 10) Y a-t-il eu des répercussions imprévues associées au PIGA?

Rendement du programme : efficience et économie

• 11) Les critères de sélection du PIGA sont-ils efficaces pour repérer les demandeurs qui s’établiront économiquement?^{Footnote 11} Y a-t-il d’autres facteurs de sélection qui pourraient permettre d’atteindre les objectifs plus efficacement?
• 12) Dans quelle mesure l’approche actuelle pour sélectionner les gens d’affaires immigrants est-elle rentable?

Les indicateurs de rendement ont été établis pour chacune des questions de l’évaluation. Ils sont présentés à l’annexe B, Enjeux, questions et indicateurs de l’évaluation.

2.2. Portée de l’évaluation

L’évaluation a porté sur l’exécution du PIGA de 2007 à 2011 de même que sur le rendement du programme au cours de la même période.

Des données administratives sont devenues disponibles au-delà de 2011 alors que la collecte de données aux fins de l’évaluation était achevée; toutefois, 2011 est la dernière année pour laquelle les données administratives ont été prises en compte dans le cadre de cette évaluation. L’ajout de données au-delà de 2011 a été envisagé, mais l’échéancier de l’évaluation n’a pas permis de le faire. L’emploi des données disponibles jusqu’à 2011 cadre aussi avec la période de référence couverte par les autres méthodes (par exemple les entrevues auprès d’informateurs clés, les études de cas et le sondage).

Il convient de souligner qu’en vertu de l’Accord Canada-Québec, la province du Québec est seule responsable de ses programmes de sélection. Ainsi, les demandes soumises par des gens d’affaires immigrants sélectionnés par le Québec seraient traitées dans le cadre du Programme d’immigration des gens d’affaires du Québec (PIGAQ). La présente évaluation exclut les gens d’affaires immigrants qui détenaient un certificat de sélection du Québec (CSQ) et n’inclut que les gens d’affaires immigrants admis dans le cadre du PIGA fédéral et comptant s’établir dans une autre province ou un autre territoire que le Québec.

2.3. Méthodes de collecte des données

Les questions d’évaluation et les indicateurs de rendement ont été analysés à l’aide de plusieurs sources de données, ceci afin de rassembler des données qualitatives et quantitatives provenant d’un vaste éventail de points de vue, notamment celui des gestionnaires, des partenaires et des clients du programme.

L’approche misant sur plusieurs sources de données a comporté six méthodes. Les données et les renseignements recueillis ont été incorporés dans une matrice de données probantes qui a permis de trianguler les renseignements en prenant en compte différentes sources de données. C’est sur cette base que les constatations principales, les conclusions et les recommandations ont été formulées.

L’évaluation a été menée selon une démarche approche hybride dans laquelle la Direction générale de la recherche et de l’évaluation de Citoyenneté et Immigration Canada (CIC) et des experts-conseils indépendants ont exécuté de concert toutes les phases de l’évaluation.

L’évaluation était fondée sur les six sources de données suivantes : revue de la littérature et examen des documents, entrevues auprès d’informateurs clés, études de cas sur place, sondage téléphonique, analyse de données administratives et analyse du rapport coût-efficacité.

2.3.1. Revue de la littérature et examen des documents

Un examen combiné de la littérature et de documents a fourni des renseignements généraux et une mise en contexte et a guidé l’appréciation de la pertinence et du rendement du PIGA. Les documents de politiques et de programmes fédéraux pertinents se rapportant au PIGA ont été pris en compte, ainsi que des rapports et des articles de recherche publiés au Canada et à l’étranger sur les programmes d’immigration de gens d’affaires. Des programmes étrangers ont été inclus dans l’examen. La bibliographie des documents cités est fournie dans les annexes techniques.

2.3.2. Entrevues auprès d’informateurs clés

Trente-neuf entrevues auprès d’informateurs clés (EIC) ont été menées, en personne et par téléphone, afin d’obtenir les impressions de groupes d’intervenants clés sur la pertinence, la conception, la mise en œuvre et le rendement du PIGA. Le tableau ci-dessous montre le nombre d’entrevues selon le type. Le guide d’entrevue auprès des informateurs clés est présenté dans les annexes techniques.

2.3.3. Études de cas sur place

Des études de cas ont été effectuées sur place dans des bureaux canadiens des visas à l’étranger (BCVE) afin d’interviewer des membres du personnel au fait d’enjeux propres au contexte opérationnel et international. Trois études de cas ont été effectuées sur place dans des BCVE à Londres, Paris et Hong Kong. Ces BCVE ont été sélectionnés pour garantir que l’évaluation ait accès à une bonne représentation des différents BCVE qui exécutent le PIGA à la grandeur du réseau de CIC (c’est-à-dire des bureaux dans lesquels le PIGA représente une petite et une grande part de la charge de travail), mais représentant tout de même une part importante des demandes traitées. Deux des BCVE visités recevaient un nombre considérable de demandes dans le cadre du PIGA et l’autre, un faible volume de demandes. Ainsi, une perspective équilibrée du contexte opérationnel a été obtenue. Le Guide d’entrevue aux fins de l’étude de cas est présenté dans les annexes techniques.

L’échelle présentée dans le tableau ci-dessous est utilisée lorsque des données qualitatives sont présentées dans le rapport.

2.3.4. Sondage téléphonique

Un sondage téléphonique a été effectué auprès d’immigrants admis au Canada dans le cadre du PIGA entre 2007 et 2011 afin d’obtenir des renseignements sur ce qu’ils ont vécu dans le cadre de leur demande et sur leur établissement économique au Canada. Deux envois postaux ont été adressés à 12 364 des 12 402 immigrants admis dans le cadre du PIGA pour qui une adresse complète était disponible afin d’obtenir leur consentement éclairé à participer au sondage téléphonique. Ainsi, 1 042 consentements ont été obtenus, soit 8,4 % de la population contactée. De ce nombre, 877 immigrants ont été interviewés, ce qui donne une marge d’erreur de ± 3,2 % à un niveau de confiance de 95 % à l’égard des données collectées au moyen du sondage. Le nombre d’immigrants sondés correspond à 84,2 % de ceux qui ont donné leur consentement écrit au sondage et à 7,1 % de la population totale contactée. Le sondage a été réalisé dans sept langues (anglais, français, mandarin, cantonais, farsi, coréen et japonais). Le questionnaire de sondage sur le PIGA est présenté dans les annexes techniques. Tel que présenté plus en détail dans la section intitulée « Limites » du présent rapport (voir la section 2.4), les résultats du sondage ont été pondérés afin d’assurer une représentation appropriée de la population des gens d’affaires immigrants de façon à ce que les résultats du sondage puissent être utilisés avec confiance.

2.3.5. Analyse des données administratives

Une analyse des données administratives des bases de données du gouvernement du Canada (GC) disponibles a fourni des renseignements sur le traitement des demandes, les caractéristiques des immigrants admis et les résultats économiques des immigrants. Ces bases de données comprennent le Système mondial de gestion des cas (SMGC), le Système de traitement informatisé des dossiers d’immigration (STIDI) et le Système de soutien des opérations des bureaux locaux (SSOBL) qui a fourni des renseignements sur les demandes et les admissions dans le cadre du PIGA.

L’analyse a été étayée par des renseignements provenant de la Base de données longitudinales sur l’immigration (BDIM)^{Footnote 12} et de la Base de données sur la dynamique canadienne entre employeurs et employés (BDDCEE) sur les résultats économiques des gens d’affaires immigrants. La BDDCEE fournit des renseignements sur la population des entreprises et des propriétaires d’entreprise qui déclarent des revenus aux fins de l’impôt sur le revenu des sociétés, tandis que la BDIM fournit des renseignements sur la population des déclarants à titre individuel. En plus de faire état des résultats économiques des gens d’affaires immigrants, la BDIM fournit des renseignements sur l’émigration et la mobilité interprovinciale.

Bien que la BDIM représente toute la population des déclarants à titre individuel, les immigrants admis ne s’y retrouvent pas tous. Cela peut s’expliquer par différentes raisons, par exemple le fait de n’avoir jamais produit de déclaration de revenu personnel ou de ne pas être couplé à la BDIM même après avoir présenté une déclaration de revenus. Dans l’ensemble, la plupart des gens d’affaires immigrants admis entre 1995 et 2010 étaient saisis dans la BDIM. Le taux de saisie des immigrants admis qui présentent une déclaration de revenus chaque année depuis leur admission est similaire dans toutes les catégories du PIGA. Les taux de saisie les plus faibles s’appliquent soit à l’année d’admission (an 0) ou à la dernière année d’observation prise en compte pour une cohorte donnée dans l’étude, et ils atteignent un creux de 58 % des EN, 48 % des TA et 52 % des IN pour certaines cohortes. Les taux de saisie les plus élevés s’appliquent généralement entre la première et la troisième année depuis l’admission et ils atteignent 85 % des EN, 82 % des TA et 86 % des IN pour certaines cohortes (pour plus de détails sur les taux de saisie, voir l’annexe C).

Le champ d’intérêt principal de l’évaluation était le PIGA de 2007 à 2011, mais les tendances à plus long terme des demandes reçues dans le cadre du PIGA (de 1995 à 2011) ainsi que la mobilité et les résultats économiques des gens d’affaires immigrants (de 1995 à 2010) ont été analysées.

Par conséquent, il y a plusieurs points à considérer concernant la triangulation des renseignements tirés de la BDIM, de la BDDCEE et du sondage auprès des gens d’affaires immigrants. Les résultats de la BDIM couvrent plusieurs cohortes et années d’imposition (1995 à 2010); les résultats de la BDDCEE sont fournis pour une seule année d’imposition (2009) et plusieurs cohortes (1995 à 2009); les résultats du sondage ont été saisis en 2013 pour les cohortes de 2007 à 2011. En outre, les résultats de la BDIM ne saisissent pas les activités d’entreprises constituées en société, tandis que les résultats de la BDDCEE et du sondage prennent en compte les activités d’entreprises constituées ou non en société. Cela étant, il est à prévoir que les résultats provenant des différentes sources de données différeront dans une certaine mesure, puisqu’ils s’appliquent à différentes cohortes et années d’imposition et saisissent des concepts différents. Il faudra interpréter les résultats tirés de ces différentes sources de données de façon différente afin de tenir compte des spécificités méthodologiques.

2.3.6. Analyse des coûts du programme

Afin d’analyser l’utilisation des ressources par le PIGA, les coûts d’exécution du programme ont été examinés par rapport au nombre de demandes traitées. Les données issues du modèle de gestion des coûts de CIC, y compris les coûts fédéraux liés au traitement des demandes du PIGA des volets fédéral et québécois, ont été utilisées à cette fin. Les données n’ont pas permis de différencier les coûts engagés pour le PIGA fédéral et pour la mise en œuvre du PIGA du Québec.

2.4. Limites et points à considérer

L’évaluation a employé un bon équilibre de sources de données quantitatives et qualitatives autorisant la triangulation des résultats. Des stratégies d’atténuation des limites ont été mises en œuvre et, de pair avec la triangulation des nombreuses sources de données, elles ont été jugées suffisantes pour garantir que les constatations issues de l’évaluation peuvent être utilisées en toute confiance. Néanmoins, les limites des méthodes d’évaluation et les stratégies d’atténuation ci-dessous devraient prises en compte.

• Lacunes dans la revue de la littérature et l’examen des documents : Bien que CIC possède un bon éventail de documents sur le PIGA, il manque d’études universitaires sur les activités économiques des gens d’affaires immigrants. De façon générale, les études disponibles portent sur l’emploi autonome des immigrants, sans distinction de la catégorie dont ils faisaient partie à leur admission au Canada.

  Stratégie d’atténuation : Cette lacune a été corrigée au moyen de la collecte directe de renseignements sur les résultats économiques de gens d’affaires immigrants dans le cadre du sondage téléphonique et de l’analyse des données administratives des revenus qu’ils déclarent à l’Agence du revenu du Canada. Toutefois, les renseignements obtenus de ces autres sources de données probantes ne s’appliquent qu’aux cohortes en question et ne peuvent être généralisés à toutes les cohortes d’admission depuis le lancement du programme. À ce titre, les stratégies d’atténuation ne pouvaient pallier entièrement le manque d’études pertinentes sur les activités économiques des gens d’affaires immigrants.

• Représentativité des répondants au sondage : L’échantillon du sondage obtenu au moyen du processus de consentement éclairé différait de la population totale des gens d’affaires immigrants admis entre 2007 et 2011, les EN étant surreprésentés et les IN, sous-représentés. En outre, les répondants originaires d’Asie étaient sous-représentés dans l’échantillon.

  Par ailleurs, les résultats du sondage téléphonique mené auprès des gens d’affaires immigrants peuvent toutefois présenter une asymétrie positive vers les répondants qui respectent davantage les conditions imposées à la catégorie EN. Ce biais d’autosélection est toutefois tel que celui auquel on s’attendrait de n’importe quel sondage.

  Stratégie d’atténuation : Les résultats du sondage ont été pondérés pour tenir compte de ces déséquilibres et ainsi garantir qu’ils sont représentatifs de la population totale du PIGA (pour en savoir plus sur la pondération, voir l’annexe D). La taille de l’échantillon du sondage sur le PIGA était suffisante pour qu’il soit possible de rapporter les moyennes pour le PIGA et ses trois catégories sur tous les indicateurs.

• Lacunes dans les données administratives : Des lacunes ont été relevées dans plusieurs sources de données administratives. Premièrement, en raison de problèmes d’homogénéité des renseignements relatifs aux critères de sélection cotés dans le STIDI et le SMGC, il a été impossible d’utiliser cette information pour obtenir une description du pointage que les gens d’affaires immigrants ont obtenu sur la grille de sélection et, ainsi, examiner les critères de sélection qui expliqueraient mieux le rendement économique.

  Stratégie d’atténuation : Les dossiers de demande et d’admission saisissent des renseignements de nature similaire (p. ex. des renseignements relatifs aux caractéristiques sociodémographiques des personnes), dans certains cas, à un niveau de détail moindre, mais malgré tout suffisant pour permettre l’analyse sociodémographique de la cohorte du PIGA. En outre, des données qualitatives sur ce sujet ont été recueillies.^{Footnote 13}

  Deuxièmement, des données tirées du Système informatisé de suivi des entrepreneurs (SISE) et du Système informatisé de suivi des placements (SISP) devaient être utilisées pour évaluer les activités économiques des EN et des IN de même que le degré de suivi et le respect des conditions imposées aux EN. Malheureusement, ces bases de données de CIC ont un taux élevé de valeurs manquantes, en particulier pour les années de référence. L’évaluation n’a donc pas pu puiser dans ces sources d’information.

  Stratégie d’atténuation : Cette limite avait été anticipée lors de la planification de l’évaluation. L’évaluation a donc été structurée de façon à réunir l’information nécessaire au moyen d’autres sources de données, notamment les EIP avec des représentants de CIC et le sondage téléphonique effectué auprès de gens d’affaires immigrants.

  Troisièmement, des données administratives sur les demandes, les admissions et les déclarations de revenus devenues disponibles une fois l’évaluation achevée couvraient d’autres années que celles couvertes par la collecte de données, mais l’analyse a été restreinte à la période de référence initiale de l’évaluation (2007 à 2011), de façon à cadrer avec la période couverte par d’autres méthodes, notamment les entrevues auprès d’informateurs clés, les études de cas et le sondage, les répondants prenant ainsi en compte la même période d’activité du PIGA, d’une source de données à l’autre.

• Définition et interprétation du rendement économique : L’établissement et le rendement économique sont des concepts difficiles à définir. Une fois définis, leur opérationnalisation et leur interprétation présentent aussi des défis. Étant donné la nature des activités commerciales dans lesquelles les gens d’affaires immigrants sont susceptibles de s’engager au Canada et du système fiscal canadien (p. ex. les déductions qu’il est possible d’obtenir), il est difficile d’apprécier intégralement l’étendue du rendement économique des gens d’affaires immigrants.

  Stratégie d’atténuation : L’évaluation a adopté une approche prudente pour définir et mesurer le rendement économique des gens d’affaires immigrants. Cela étant, les résultats fournissent une estimation minimum de leur rendement économique au Canada. Pour en savoir plus sur l’évaluation du rendement économique, voir la section 5.1.

• Lacunes des données financières : Dans le modèle de gestion des coûts de CIC (MGC), les données financières sur les gens d’affaires immigrants au Canada et au Québec sont saisies dans leur forme agrégée, ce qui a limité la capacité de l’équipe d’évaluation de se concentrer seulement sur les coûts engagés par le volet fédéral du programme. Ainsi, l’analyse des coûts présentée ici comprend les coûts relatif au volet fédéral et québécois du PIGA. En outre, la portée des données financières disponibles était limitée en raison de l’absence de données dans le MGC de CIC pour l’exercice 2008-2009.

Malgré toutes les limites susmentionnées, la conception de l’évaluation et les méthodes de collecte de données ont permis d’en atténuer les répercussions. Des stratégies ont été mises en œuvre pour garantir que l’évaluation présente des renseignements précieux et fiables pour étayer des constatations solides. Dans la mesure du possible, plusieurs sources de données ont été utilisées pour répondre aux questions d’évaluation. Malgré les différentes approches méthodologiques, les résultats provenant des différentes sources de données convergent généralement vers des constatations communes et intégrées. Il avait aussi été prévu dès le départ d’utiliser différentes sources de données de façon à ce qu’elles se complètent l’une l’autre afin de corriger des lacunes en matière d’information.

Les méthodes et les limites de l’évaluation sont présentées de façon plus détaillée dans les annexes techniques.

• Précédent
• 1
• 2
• 3
• 4
• 5
• 6 (présent)
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• Suivant