Évaluation du Programme d’établissement et d’adaptation des immigrants (PEAI)

3. Méthodologie de l’évaluation

L’évaluation s’appuie sur de multiples sources de données, y compris des méthodes qualitatives et quantitatives. La présente section décrit les sources de données primaires et secondaires, ainsi que les forces et les limites de l’étude. La collecte des données s’est déroulée de juillet 2009 à février 2010.

3.1. Sources de données primaires

3.1.1. Entrevues

Au total, 32 entrevues ont été tenues avec trois groupes d’intervenants du PEAI pour recueillir des informations sur tous les aspects de l’évaluation. Les groupes de participants étaient formés de cadres de CIC (n = 12), d’autres employés de CIC (n = 15) et de représentants provinciaux et territoriaux (n = 5). Le Tableau 3-1 présente la distribution régionale de chaque groupe.

3.1.2. Sondages

Au total, 814 questionnaires de sondage ont été remplis par divers intervenants du PEAI (Tableau 3-2). Quatre sondages uniques ont été menés auprès de divers intervenants, dont des gestionnaires de FS, des employés de FS responsables de projets du volet A du PEAI, des employés de FS responsables de projets du volet B du PEAI, et des clients.

3.1.3. Groupes de discussion

Plusieurs groupes de discussion distincts ont été organisés avec des agents de CIC, des représentants des FS et des clients du PEAI. Au total, 18 groupes de discussion comptant 173 participants et intervenants du PEAI se sont tenus dans six villes du Canada. Un groupe de discussion avec des représentants des FS s’est déroulé en français. Les séances tenues avec les employés de CIC et des FS visaient à recueillir des données sur l’utilité, la prestation et la gestion du Programme. Les séances tenues avec les clients portaient sur leur expérience en tant que participants au Programme. La répartition des participants est présentée au Tableau 3-3.

3.2. Sources de données secondaires

3.2.1. Examen de documents

Dans le cadre de cet exercice, une attention particulière a été accordée à la collecte de données sur la pertinence du Programme. L’examen a également permis de recueillir des renseignements sur les aspects particuliers du rendement, de la conception et de la prestation du Programme. L’échantillon de documents examinés comprend une grande variété de documents du gouvernement fédéral et de CIC, des documents propres au Programme, ainsi que du matériel des FS comme des sites Web, du matériel promotionnel et didactique, des statistiques sur le Programme, des lignes directrices, des outils ainsi que des formulaires d’inscription et d’évaluation des besoins.

3.2.2. Recension des écrits

Cet exercice a porté sur des documents et des archives trouvés sur Internet et en bibliothèque. La recension des écrits a permis de recueillir des renseignements contextuels sur l’utilité du PEAI, d’établir des liens avec d’autres programmes d’établissement et d’établir des comparaisons avec des programmes similaires d’autres provinces et territoires. Une liste d’ouvrages de référence est fournie à l’appendice B.

3.2.3. Analyse de données administratives

La base de données de l’iSMRP a été examinée et analysée afin d’établir le profil des fournisseurs de services, des services du Programme et des clients. L’iSMRP est un système exploité sur Internet qui permet aux FS de transmettre à CIC des données sur leurs services et leurs clients. Des données sur le volet A du PEAI y sont collectées depuis avril 2004^{Note de bas de page 10}. Le volet B du PEAI n’était pas couvert par les données de l’iSMRP puisqu’il n’incluait pas des services offerts directement aux nouveaux arrivants.

Les données relatives au PEAI qui sont versées dans l’iSMRP portent sur le type et le nombre de services fournis ainsi que sur le nombre de clients qui ont reçu des services sous ce programme. Les données des clients reportées de ce système sont enrichies de celles du Système de soutien des opérations des bureaux locaux (SSOBL) de CIC, ce qui permet d’effectuer une analyse approfondie du profil des immigrants participant au Programme selon leurs caractéristiques personnelles (sexe, pays d’origine, âge, etc.). Les FS peuvent choisir de déclarer des données individuelles ou regroupées sur les clients dans l’iSMRP. La méthode de déclaration individuelle est utilisée par un peu plus de 80 % des FS du PEAI et permet d’établir des liens entre les clients et les services. Les autres FS utilisent la méthode de déclaration regroupée, ou une combinaison des deux méthodes, de sorte que des liens ne peuvent être établis entre les clients servis et les services fournis^{Note de bas de page 11}.

3.3. Forces et limites de l’évaluation

La méthodologie utilisée aux fins de l’évaluation comportait les limites suivantes :

• Accès limité à des données administratives fiables et exhaustives – Les données sur le nombre de clients servis, leurs caractéristiques et les services fournis sont incomplètes. Pour établir la représentativité des données de l’iSMRP relativement au nombre de FS déclarants, il a fallu utiliser le Système intégré des finances et du matériel (SIFM), également appelé SAP. Le SAP est un système de données financières dans lequel sont consignés tous les fonds engagés par CIC; il sert aussi de dépôt central des données financières de toutes les ententes de contribution^{Note de bas de page 12}. Une comparaison des données conservées dans les systèmes iSMRP et SAP montre qu’une proportion considérable de FS ne versent pas de données dans l’iSMRP : selon le SAP, entre 2004-2005 et 2007-2008, des ententes de contribution ont été signées avec 204 FS uniques pour exécuter des projets liés au volet A du PEAI; toutefois, seulement 142 d’entre eux (70 %) ont déclaré des données dans l’iSMRP. De plus, selon les séances de discussion tenues avec les représentants des FS, outre le fait que certains FS ne versent pas de données dans l’iSMRP, d’autres ne sont pas certains de procéder correctement. Un examen des données déclarées dans l’iSMRP par chaque fournisseur de services a révélé des écarts importants quant au nombre de services déclarés. Les données de 31 % (ou 43 sur 142) des FS déclarants ont donc été éliminées de l’analyse. Cela signifie que l’évaluation repose sur les renseignements fournis par 49 % (99 sur 204) des FS qui ont reçu du financement sous le volet A du PEAI. Les FS ont également signalé une contrainte opérationnelle, à savoir que certains clients ne veulent ou ne peuvent pas fournir le numéro de leur carte de résident permanent; tous les renseignements ne sont donc pas déclarés dans l’iSMRP. Tous ces facteurs nous ont empêchés d’utiliser les données de l’iSMRP pour commenter pleinement sur la portée du Programme, effectuer des comparaisons d’une année à l’autre et effectuer des analyses de rentabilité adéquates. En raison de ces contraintes, les données de l’iSMRP présentées ici doivent être interprétées avec circonspection.
• Représentativité des données recueillies – Tel qu’il a été mentionné plus haut, les données déclarées dans l’iSMRP n’ont pu être utilisées pour établir le profil de tous les groupes de clients et de bénévoles. Il n’a donc pas été possible d’établir un échantillon aléatoire ni de comparer les caractéristiques des répondants aux sondages à celles de leurs groupes respectifs pour établir la représentativité statistique. Ainsi, les résultats des sondages menés auprès des clients et des bénévoles donnent seulement une idée des opinions des répondants et ne peuvent être jugés représentatifs de ces deux groupes.
• Manque de renseignements sur les résultats des clients – Bien que CIC recueille des données financières au moyen du SAP et des données sur les extrants à l’aide de l’iSMRP, il lui manque une méthode systématique pour recueillir des renseignements sur les résultats des clients. Pour appuyer la nouvelle approche en matière d’établissement, CIC travaille actuellement à corriger cette lacune, mais aucune nouvelle méthode de collecte de données sur les résultats ne sera mise en œuvre avant une autre année au moins. La partie de l’évaluation portant sur les résultats des clients repose donc considérablement sur les sondages et les groupes de discussion.

Différentes méthodes ont été utilisées dans le cadre de l’évaluation pour enrichir les données recueillies et augmenter le niveau de confiance des résultats globaux. Les principales forces de la méthode d’évaluation sont les suivantes :

• l’utilisation de multiples sources d’information, y compris des données qualitatives et quantitatives, a permis d’effectuer la triangulation des résultats;
• de multiples intervenants ont été consultés, dont quatre groupes distincts (des clients, des représentants des FS, des représentants de CIC et des représentants des provinces et territoires), ce qui a augmenté la fiabilité des données;
• les sondages, entrevues et groupes de discussion ont permis d’assurer une représentation régionale;
• le sondage auprès des clients était disponible dans neuf langues différentes et a été réalisé par trois moyens de communication différents (en ligne, sur papier et par téléphone) afin d’augmenter le nombre et la diversité des participants;
• près du tiers des FS (32 %) participant à la prestation du PEAI ont contribué à l’évaluation^{Note de bas de page 13}.

• Précédent
• 1
• 2
• 3
• 4
• 5 (présent)
• 6
• 7
• 8
• 9
• 10
• Suivant