Évaluation du Programme de prêts aux immigrants
2 Méthodologie
2.1 Méthode d’évaluation
La portée et la méthode de l’évaluation ont été établies durant une phase de planification, en consultation avec les directions générales de CIC participant à l’exécution du Programme de prêts aux immigrants. Le modèle logique et le cadre d’évaluation ont été mis au point durant des échanges avec les secteurs de programme. Les paramètres de l’évaluation ont été approuvés par le Comité d’évaluation ministériel en octobre 2013. L’évaluation a été réalisée par le personnel du Ministère.
Il a été décidé qu’une évaluation de taille moyenne serait effectuée et que le niveau des efforts reposerait sur plusieurs facteurs, notamment les suivants :
- le Programme de prêts aux immigrants n’a jamais fait l’objet d’une évaluation;
- Il a été recommandé dans l’Évaluation des réfugiés parrainés par le gouvernement et du Programme d’aide à la réinstallationNotes de bas de page 28, réalisée en 2010-2011, de procéder à un examen des prêts de transport et de visite médicale;
- le Programme a subi des changements au fil des ans en raison de contraintes financières;
- des options de politiques et des recommandations ont été étudiées et continuent de l’être;
- des groupes d’intervenants ont manifesté beaucoup d’intérêt à l’égard du Programme.
2.2 Portée de l’évaluation
L’évaluation a porté sur la pertinence, l’exécution et le rendement du Programme de prêts aux immigrants, et elle a été guidée par le modèle logique du Programme qui renferme les résultats escomptés immédiats et intermédiairesNotes de bas de page 29 :
Résultats immédiats
- L’élaboration, la gestion et la gouvernance du Programme appuient efficacement la prestation du Programme et la prise de décisions.
- Les personnes dans le besoin reçoivent des prêts ou des contributions en fonction de leurs besoins afin de couvrir les coûts associés à l’admissibilité et au transport, les frais relatifs au droit de résidence permanente, ainsi que les autres dépenses admissibles liées à l’établissement.
- Les bénéficiaires de prêts sont pleinement conscients de la signification et de la nature de l’accord de prêt qu’ils ont signé.
- Les services de recouvrement sont accessibles et efficaces, répondent aux besoins des clients et facilitent le remboursement des prêts.
Résultats intermédiaires
- Les prêts contribuent à l’établissement de leurs bénéficiaires.
- Les prêts sont remboursés intégralement et en temps opportun.
- L’avance consentie par le Trésor est reconstituée adéquatement afin d’assurer le maintien du Programme de prêts aux immigrants.
2.2.1 Questions d’évaluation et enjeux
Les questions d’évaluation, formulées en fonction de thèmes fondamentauxNotes de bas de page 30, sont énoncées au tableau 6.
| PERTINENCE (besoin, harmonisation et rôle) | Section |
|---|---|
| Existe-t-il un besoin constant d’offrir des prêts aux immigrants? | 5.3 |
| L’octroi de prêts aux immigrants correspond-il aux objectifs et aux priorités à l’échelle ministérielle, gouvernementale et internationale? | 5.2 |
| L’octroi de prêts pour l’immigration cadre-t-il avec les rôles et les responsabilités fédéraux? | 5.1 |
| RENDEMENT (obtention des résultats escomptés) | Section |
|---|---|
| À quel point les services de recouvrement et le soutien des clients facilitent-ils le paiement des prêts? | 4.4 |
| Dans quelle mesure les personnes qui ont besoin d’aide ont-elles accès aux prêts (ou contributions)? | 4.2 |
| Dans quelle mesure les bénéficiaires de prêts comprennent-ils la signification et la nature de l’accord de prêt qu’ils ont signé? | 4.3 |
| Dans quelle mesure l’élaboration, la gestion et la gouvernance du Programme appuient elles efficacement la prise de décisions et l’exécution du programme? | 3.1 3.3 |
| Dans quelle mesure les prêts pour l’immigration contribuent-ils à l’établissement des bénéficiaires? | 4.6 |
| Dans quelle mesure les prêts sont-ils remboursés en entier et dans le délai prescrit? | 4.5 |
| Dans quelle mesure le Trésor est-il renfloué adéquatement après l’octroi des avances au titre du Programme de prêts aux immigrants? | 3.1 |
| RENDEMENT (démonstration d’efficience et d’économie) | Section |
|---|---|
| Les ressources du Programme sont-elles gérées efficacement afin de faciliter l’obtention de résultats? | 3.2 |
| Existe-t-il d’autres méthodes d’exécution du Programme qui pourraient améliorer l’efficience? | Notes de bas de page * |
2.2.2 Échéancier de l’évaluation
L’évaluation vise la période de 2003 à 2012. Cette période a été choisie compte tenu du fait que la période de remboursement du prêt peut aller jusqu’à six ans après l’arrivée du bénéficiaire et dans certains cas, dépasser cette durée. Dans certaines circonstances, toutefois, un délai plus court a été utilisé, selon la disponibilité des sources et des données. Les délais sont précisés tout au long du rapport s’il y a lieu.
2.2.3 Centre d’intérêt de l’évaluation
L’évaluation s’est surtout concentrée sur les RPG et les RPSP puisque ces réfugiés représentent la vaste majorité des bénéficiaires (97,8 %), et les prêts de transport, d’admissibilité et d’aide à l’établissement, puisque ce sont les prêts consentis le plus fréquemment durant la période visée. Les prêts au titre des FDRP n’ont pas été examinés en raison de leur faible nombre (six prêts de 2008 à 2012).
2.3 Modes de collecte des données
L’évaluation du Programme de prêts aux immigrants fait appel à plusieurs sources pour permettre la triangulation de l’information (voir le tableau 7). Une combinaison de données quantitatives et qualitatives a été utilisée, et une matrice des sources a servi de guide tout au long du processus.
| Source | Description | Objet |
|---|---|---|
| Analyse documentaire | Une analyse des documents pertinents du gouvernement du Canada (p. ex. discours du Trône, budgets, documents de politique); documents ministériels (p. ex. guides, bulletins opérationnels); et documents d’autres ministères (p. ex. documents sur le Programme canadien de prêts aux étudiants). | Pour fournir le contexte et des renseignements généraux (p. ex. historiques) sur le programme, et étayer l’évaluation de la prestation, de la pertinence et du rendement du Programme. |
| Examen des documents | Recherches en ligne, y compris dans les ressources de Metropolis Canada; documents et publications sur l’établissement et provenant des organisations non gouvernementales. | Pour mieux comprendre le contexte général des réfugiés, les tendances liées à la réinstallation des réfugiés au Canada, et l’incidence sur les résultats en matière d’établissement et d’intégration. |
| Entrevues | Entrevues avec des personnes ou des groupes qui connaissent le Programme ou qui ont vécu une expérience liée à l’exécution du Programme. La liste des entrevues a été dressée en consultation avec des représentants du Programme. Cinquante-trois entretiens ont été effectués auprès de 67 personnes de CIC (AC), des bureaux des visas à l’étranger et des bureaux régionaux ainsi que des groupes d’intervenants externes (HCR, OIM). | Pour mieux comprendre les activités accomplies dans le cadre du Programme, la pertinence constante du Programme et le niveau de rendement perçu du Programme. |
| Groupes de discussion | Sept groupes de discussion incluant des RPG et cinq incluant des RPSP. Les groupes de discussion se sont réunis à Vancouver, Calgary, Lethbridge, Winnipeg, Toronto, Ottawa et Halifax. Au total, 117 personnes ont participé aux groupes de discussion. | Pour obtenir de l’information sur l’expérience personnelle des participants ayant trait au Programme et sur l’incidence du Programme sur la réinstallation, l’établissement et l’intégration rapide. |
| Sondage auprès des fournisseurs de services du PAR (FS PAR) | Sondage en ligne auprès des FS (financés par le PAR) qui offrent des services d’établissement aux RPG et aux RPSP. Dix neuf FS PAR ont répondu, ce qui représente un taux de réponse de 76,0 %. | Pour évaluer l’exécution et le rendement du Programme, en particulier les résultats sur le plan de l’établissement. |
| Sondage auprès des bénéficiaires de prêts | Sondage téléphonique et en ligne auprès des RPG et des RPSP. Au total, 742 personnes ont répondu au sondage. La marge d’erreur est de plus ou moins 3,55 % et le niveau de fiabilité se situe à 95 %. | Pour évaluer le rendement du Programme sur le plan des incidences à court et à long terme pour les bénéficiaires de prêts et leur famille, et évaluer l’exécution du Programme du point de vue du client. |
| Sondage auprès des signataires d’entente de parrainage (SEP) | Sondage en ligne auprès des SEP qui offrent une aide à l’établissement aux RPSP. Un total de 20 organisations a répondu au sondage, ce qui représente un taux de réponse de 24,7 %. | Pour évaluer l’exécution et le rendement du Programme, en particulier les résultats relatifs à l’établissement. |
| Analyse des données administratives | Une analyse des données administratives de diverses sources, y compris les bases de données financières de CIC, le Système mondial de gestion des cas (SMGC) et le SSOBL. | Pour établir le profil des comptes de prêts et des bénéficiaires de prêts, et évaluer le rendement du Programme, en particulier le remboursement des prêts. |
| Analyse de la Banque de données longitudinales sur les immigrants (BDIM)Notes de bas de page *† | Analyse de l’incidence du revenu, du niveau de revenu et du recours à l’aide sociale parmi les RPG et les RPSP qui se sont établis avant et après l’adoption de la LIPR. | Pour évaluer le rendement relativement à l’incidence potentielle sur l’établissement et l’intégration. |
Les données qualitatives sont présentées dans le rapport selon l’échelle indiquée au tableau 8. Il convient de noter que dans certains cas (lorsque le nombre de répondants était trop faible ou que la question avait donné lieu à de l’information plus descriptive), les réponses n’ont pas été codées; une approche récapitulative a plutôt été utilisée pour analyser les données.
| Description | Pourcentage des répondants |
|---|---|
| Tous | Les constatations correspondent à l’opinion 100 % des répondants. |
| Majorité/plupart | Les constatations correspondent à l’opinion d’au moins 75 %, mais de moins de 100 % des répondants. |
| Plusieurs/nombreux | Les constatations correspondent à l’opinion d’au moins 50 %, mais de moins de 75 % des répondants. |
| Certains | Les constatations correspondent à l’opinion d’au moins 25 %, mais de moins de 50 % des répondants. |
| Quelques | Les constatations correspondent à l’opinion d’au moins deux répondants, mais de moins de 25 % des répondants. |
Ces sources, ainsi que les instruments de collecte de données, sont décrits plus en détail dans les annexes techniques.
2.4 Limites
Bien que l’évaluation soit fondée sur une juste mesure de sources de données qualitatives et quantitatives et qu’elle permette la triangulation des résultats, il y a lieu de présenter quelques limites. Ces limites ont été atténuées comme il est décrit ci-dessous et elles n’ont donc pas eu une grande incidence sur les constatations.
- Divers systèmes de données ont été utilisés par CIC pour consigner des renseignements sur les prêts et les bénéficiaires de prêts. Par conséquent, certaines données uniquement consignées sur des microfiches ont dû être de nouveau entrées manuellement et une méthode d’échantillonnage a servi à constituer l’ensemble de données administratives. Dans d’autres cas, lorsque des données démographiques sur les bénéficiaires de prêts étaient nécessaires, l’analyse a été fondée sur un sous-groupe de prêts (de 2008 à 2012), représentant 99,7 % des prêts (un total de 25 858 comptes) consentis durant cette période. Enfin, puisque les données sur les contributions et les données sur les prêts sont consignées dans des systèmes distincts, des ensembles de données ont été établis et des correspondances ont été établies entre les données des deux systèmes; des règles opérationnelles ont été élaborées.
- Comme il n’y avait pas d’information sur les prêts dans le fichier de données sur l’établissement, il n’a pas été possible d’établir une correspondance avec les données de la BDIM. Puisque presque tous les réfugiés reçoivent un prêt, une analyse de la situation économique a été réalisée à l’égard de tous les RPG et les RPSP qui ont représenté les bénéficiaires.
- Le sondage auprès des bénéficiaires de prêts ne pouvait pas être réalisé dans toutes les langues déterminées à l’origine en raison de la difficulté à trouver des enquêteurs pouvant parler le birman et le somali. Le sondage n’a pas pu être réalisé en birman, mais il a pu être présenté en ligne en langue somalienne.
- Le taux de réponse au sondage auprès des SEP a été relativement faible. Les résultats du sondage ont été indiqués comme des données qualitatives conjointement avec les constatations provenant d’autres sources.
Détails de la page
- Date de modification :