Évaluation du Programme d’accueil

2. Méthodologie de l’évaluation

Les évaluateurs ont utilisé de multiples sources de données, y compris des méthodes qualitatives et quantitatives. La section suivante décrit les sources de données primaires et secondaires ainsi que les points forts et limites de l’étude. Une description détaillée de la méthodologie utilisée dans la présente évaluation se trouve à l’appendice A.

2.1. Sources de données primaires

2.1.1. Entrevues

Trente-deux entrevues ont été menées avec trois groupes d’intervenants du Programme d’accueil afin de recueillir de l’information sur toutes les questions examinées par cette évaluation. Les groupes de personnes interrogées comprenaient des gestionnaires de CIC (n=12), d’autres employés de CIC (n=15) ainsi que des représentants des provinces/territoires (n=5). La répartition régionale de chaque groupe se trouve à l’intérieur du tableau 2-1.

Tableau 2-1: Répartition régionale des participants aux entrevues
  Location Total
AC Ont Atl Alb Yuk C.-B. Man
Directeurs et gestionnaires de CIC 7 2 2 1 - - - 12
Agent de programme et gestionnaires locaux de CIC 4 7 2 1 1 - - 15
Représentants des provinces/territoires - 1 1 1 - 1 1 5

2.1.2. Sondages

Au total, 336 intervenants variés du Programme d’accueil ont répondu aux questionnaires (tableau 2-2). Quatre sondages distincts ont été administrés à divers intervenants, notamment à des gestionnaires et des employés de FS offrant le Programme d’accueil, ainsi qu’à des clients et des bénévoles.

Tableau 2-2: Nombre d’intervenants interrogés
  Groupes d’intervenants du Programme d’accueil Total
Gestionnaires / directeurs des FS Employés des FS Clients Bénévoles
Nombre de répondants 32 44 92 168 336

2.1.3. Groupes de discussion

Des groupes de discussion distincts ont été organisés avec des agents de CIC, des représentants des FS et une combinaison de bénévoles et de clients du Programme d’accueil. Au total, 18 groupes de discussion comprenant 183 différents participants/intervenants du Programme d’accueil ont été organisés dans six villes au Canada. Un groupe de discussion en français a été organisé avec des FS. Le but des groupes de discussion formés d’employés de CIC et des FS était de recueillir des données sur la nécessité, l’exécution et la gestion du Programme. Les groupes de discussion formés de clients et de bénévoles se concentraient sur leur expérience de participation au Programme. La répartition des participants se trouve au tableau 2-3.

*NOTE : Les groupes de discussion formés d’agents de CIC et des FS comprenaient ceux qui offrent le PEAI et/ou le Programme d’accueil.

Tableau 2-3: Groupes de discussion selon le lieu et le genre de participant*
Lieu Nombre de groupes de discussion Participants du Programme Représentants des FS
Agents de CIC Bénévoles du Programme d’accueil Clients du Programme d’accueil
Toronto 3 9 3 6 16
Hamilton 2 6 13 11 S.O.
Mississauga 3 8 4 6 15
Halifax 3 3 9 3 8
EdmontonNote de bas de page 3 4 4 7 6 18
Calgary 3 3 4 5 16
Total 18 33 40 37 73

2.2. Sources de données secondaires

2.2.1. Étude de documents

Une étude détaillée des documents a été entreprise avec un accent particulier sur la pertinence du Programme. Trois grandes questions ont été examinées au sujet de la pertinence : le besoin continu du Programme d’accueil, l’harmonisation aux priorités du gouvernement du Canada et de CIC ainsi que les rôles et responsabilités du gouvernement fédéral dans le financement et l’élaboration de tels programmes. L’étude de documents a également fourni de l’information sur des questions particulières liées au rendement, à la conception et à l’exécution du Programme. Une grande variété de documents fédéraux, ministériels et relatifs au Programme ont été étudiés ainsi que des documents des fournisseurs de services, notamment des sites Web, du matériel de formation et de promotion, des statistiques liées au Programme, des lignes directrices, des outils ainsi que des formulaires d’évaluation des besoins et de la demande. Voir l’appendice B pour une liste complète des documents étudiés.

2.2.2. Analyse documentaire

La documentation examinée comprenait des documents et des archives affichés en ligne et provenant de la bibliothèque. Cette analyse a permis de recueillir de l’information contextuelle sur le besoin du Programme d’accueil, le rôle du réseautage dans l’établissement des immigrants, la relation avec d’autres programme d’établissement et une comparaison avec des programmes semblables dans d’autres administrations. Une liste de références peut être consultée à l’appendice C.

2.2.3. Analyse des données administratives

Le iSMRP ainsi que le Système intégré des finances et du matériel, aussi connu sous le nom de SAP, ont été examinés et analysés afin de préparer un profil des fournisseurs de services, des services et des clients du Programme. L’iSMRP est un système en ligne que les fournisseurs de services utilisent pour transmettre à CIC de l’information sur leurs services et leurs clients. Ce Système recueille de l’information sur le Programme d’accueil depuis avril 2004 Note de bas de page 4. SAP est un système de données financières qui fait le suivi de tous les fonds engagés et dépensés par CIC et sert de dépôt central des données financières pour toutes les ententes de contribution (EC)Note de bas de page 5.

Pour le Programme d’accueil, l’iSMRP recueille de l’information sur le nombre de clients jumelés en vue d’activités individuelles et familiales, le nombre de clients participant à des activités continues ainsi qu’à des activités ponctuelles en groupe. L’information de l’iSMRP est complétée par des données du Système de soutien des opérations des bureaux locaux (SSOBL) de CIC, ce qui permet une analyse complète du profil des immigrants qui participent au Programme, selon leurs caractéristiques individuelles (sexe, pays d’origine, âge, etc.). L’iSMRP recueille également de l’information sur le nombre de bénévoles, de séances d’orientation et de bénévoles formés. Les séances de promotion et de recrutement qu’organisent les fournisseurs de services sont d’autres services qui sont saisis dans l’iSMRP. L’information qui n’est pas saisie dans l’iSMRP comprend : le nombre de bénévoles qui participent à des activités de groupe, le temps que les bénévoles passent avec des clients (lors des jumelages individuels ou des activités de groupe), ou le type d’activités de groupe.

2.3. Limites et points forts de l’évaluation

La méthodologie utilisée dans la présente évaluation comportait les limites suivantes.

Manque d’accès à de vastes données secondaires fiables – Il se peut que les données sur le nombre et les caractéristiques des clients ayant obtenu des services soient incomplètes. Une comparaison des données de l’iSMRP et des bases de données du SAP montre en effet qu’un pourcentage important de FS ne produisent pas de rapports dans l’iSMRP. D’après le SAP, entre 2004-2005 et 2007-2008, des ententes de contribution ont été signés avec 58 FS pour l’exécution du Programme d’accueil; cependant, seulement 45 FS (78 %) ont rapporté des données dans l’iSMRP. De façon analogue, les groupes de discussion des FS ont permis de constater non seulement que des FS ne rendent pas compte de leurs données dans l’iSMRP, mais aussi que certains n’étaient pas sûrs de le faire correctement. En outre, certains clients ne figurent pas dans l’iSMRP parce qu’ils ne veulent pas ou ne peuvent pas fournir leur numéro de carte de résident permanent. Ces éléments limitent davantage l’utilisation des données de l’iSMRP pour analyser la portée du Programme, faire des comparaisons d’une année à l’autre et effectuer des analyses coût-efficacité adéquates. Étant donné ces limites, il faut donc examiner avec prudence les conclusions fondées sur les données de l’iSMRP fournies dans le présent rapport.

Représentativité des données recueillies – Comme indiqué auparavant, l’information sur les populations totales de clients et de bénévoles n’était pas disponible dans les données recueillies dans l’iSMRP. Il a donc été impossible d’obtenir un échantillon aléatoire ou de comparer les caractéristiques des répondants au sondage avec celles de leurs populations respectives pour déterminer si elles étaient statistiquement représentatives. Par conséquent, les résultats des sondages auprès des clients et des bénévoles ne peuvent servir que d’indication de la perception de ces deux groupes et ne peuvent être interprétés comme étant représentatifs des populations entières.

Manque d’information sur les résultats liés aux clients – Bien que CIC recueille de l’information financière grâce au SAP et des extrants grâce à l’iSMRP, il ne dispose pas d’une approche systématique pour recueillir de l’information sur les résultats liés aux clients. CIC s’affaire actuellement à combler cette lacune, mais une nouvelle méthodologie de collecte de données sur les résultats ne sera pas disponible avant deux autres années. L’évaluation s’est donc largement fondée sur les sondages et les groupes de discussion pour obtenir de l’information sur les résultats liés aux clients.

Les évaluateurs ont fait appel à plusieurs méthodes pour enrichir la collecte des données et augmenter la confiance dans les résultats globaux. Les points forts de la méthodologie de l’évaluation sont :

  • Le recours à de multiples sources de données, notamment des données qualitatives et quantitatives permettant la triangulation des constatations;
  • De multiples intervenants ont été consultés, notamment cinq groupes distincts d’intervenants (p. ex. clients, bénévoles, FS, représentants de CIC et représentants des provinces/territoires), ce qui a augmenté la fiabilité des données;
  • La représentation régionale a été obtenue grâce aux sondages, entrevues et groupes de discussion;
  • Le sondage auprès des clients était disponible dans neuf langues différentes et offert par trois modes différents de communication (en ligne, sur papier, par téléphone) afin d’augmenter le nombre et l’éventail de clients désireux de participer;
  • Plus de la moitié des FS (55 %)Note de bas de page 6 engagés dans l’exécution du Programme d’accueil ont participé à l’évaluation.
Signaler un problème ou une erreur sur cette page
Veuillez cocher toutes les réponses pertinentes :

Déclaration de confidentialité

Merci de votre aide!

Vous ne recevrez pas de réponse. Pour toute question, contactez-nous.

Date de modification :