Évaluation des initiatives d’orientation à l’étranger

2. Méthodologie

Le Comité ministériel de l’évaluation de CIC a approuvé les modalités de l’évaluation en mars 2011. La portée et la méthodologie de l’évaluation étaient exposées dans le plan mis au point durant l’étape de planification qui a précédé l’évaluation. Cette étape s’est déroulée d’avril à juin 2011 et elle a été réalisée en consultation avec toutes les directions générales de CIC qui sont parties prenantes dans les initiatives.

2.1 Thèmes et questions d’évaluation

L’évaluation des initiatives d’orientation à l’étranger portait sur trois grands thèmes : la pertinence, la conception et la mise en œuvre, et le rendement. Conformément aux exigences établies dans la Directive sur la fonction d’évaluation (Secrétariat du Conseil du Trésor du Canada, 2009), la pertinence des programmes a été évaluée en fonction 1) du besoin continu, 2) de la conformité avec les rôles et les responsabilités du gouvernement fédéral, et 3) de l’harmonisation avec les priorités et les objectifs du gouvernement et du Ministère. L’évaluation du rendement des programmes reposait sur un examen de ses résultats en matière d’efficacité (4) et d’efficience et d’économie (5) (Tableau 2-1). Voir l’annexe A pour ce qui est du modèle logique et l’annexe B pour ce qui est de la grille d’évaluation, qui comporte des méthodologies et des indicateurs particuliers pour chaque question d’évaluation.

2.2 Portée de l’évaluation

Comme OCE a fait l’objet d’une évaluation pour la dernière fois en 2004-2005, la présente évaluation s’étendait aux activités d’OCE pour la période de 2005-2006 — 2010-2011. Le PIEA n’ayant quant à lui jamais été évalué, la présente évaluation a porté sur les activités du PIEA depuis sa mise sur pied en 2008. Pour ce qui est du PCII, l’évaluation a porté principalement sur la première année de fonctionnement sous l’égide de CIC (2010-2011). Toutefois, comme certains des participants au sondage mené auprès des TQF avaient bénéficié du PCII au moment où il relevait encore de la compétence de Ressources humaines et Développement des compétences Canada (RHDCC), ces données portent également sur les activités du PCII en 2009-2010.

2.3 Méthodes de collecte des données

L’évaluation des initiatives d’orientation à l’étranger était basé sur plusieurs sources de renseignements et méthodes de recherche complémentaires pour garantir la fiabilité de l’information et des données recueillies. Après la collecte des données, chaque série de renseignements a été analysée séparément au moyen d’une matrice des données structurée en deux sections — les questions d’évaluation et les indicateurs. Plusieurs séances de réflexion ont été tenues avec des membres de l’équipe de projet pour examiner les constats tirés de chaque série d’informations et dégager les constatations générales et conclusions. Chaque méthode est décrite de façon plus détaillée ci-dessous.

Tableau ‎2-1 : Sommaire des thèmes et questions d’évaluation

2.3.1 Entrevues

Au total, 72 entrevues ont été réalisées pour les besoins de l’évaluation (tableau 2-2). Elles ont été menées auprès de six groupes d’intervenants clés (représentants de CIC, représentants des provinces et territoires, agents d’exécution, fournisseurs de services, autres intervenants et universitaires et experts). La liste des personnes interviewées a été établie par la Direction générale de la recherche et de l’évaluation en consultation avec les secteurs des politiques et des programmes. Ces personnes ont été choisies en fonction de leur connaissance des initiatives évaluées.

Les entrevues étaient fait au fin de répondre à toutes les questions reportées dans le tableau d’évaluation, c’est-à-dire celles ayant trait à la pertinence du programme, à sa conception et sa mise en œuvre, et à son rendement (voir l’annexe technique D pour les guides d’entrevue).

Tableau ‎2-2 : Tableau récapitulatif des entrevues réalisées

Six autres entrevues ont été menées auprès de représentants et de coordonnateurs du programme de l’OIM aux États-Unis et en Australie en vue de recueillir de l’information sur les pratiques exemplaires en matière de prestation des services d’orientation pré-départ aux réfugiés.

Les résultats des entrevues ont été résumés dans un tableau de notes d’entrevue, puis codés et analysés pour qu’il soit possible d’en dégager les principaux thèmes. Dans ce rapport, les résultats des entrevues sont présentés selon l’échelle décrite au tableau 2-3. Il est à noter que dans certains cas (c.-à-d. quand le nombre de personnes interviewées était trop peu ou que la question avait donné lieu à une réponse contenant de l’information plus descriptive), les réponses n’ont pas été codées et une approche récapitulative a alors été privilégiée pour analyser l’information.

Tableau ‎2-3 : Échelle de présentation des résultats des entrevues

2.3.2 Analyse des données administratives

Les données administratives tirées principalement des rapports annuels de chacune des initiatives ont été analysées pour distribuer les données sur les participants selon le lieu de prestation des services d’orientation pré-départ et le groupe cible. Les données de CIC sur les immigrants reçus (selon l’année et la catégorie d’immigrants) ont aussi servi pour examiner les indicateurs de la pertinence des lieux de prestation des services d’orientation pré-départ, ainsi que la proportion des personnes ayant suivi des séances d’orientation pré-départ en fonction des pays sources.

Les calculs du temps consacré par les ETP aux initiatives ont été fournis par les représentants de chacun des programmes, tandis que les montants des dépenses totales engagées par les agents d’exécution ont été tirés des feuilles de suivi financier de CIC. Cette information a servi à établir le coût total de chacune des initiatives et le coût par participant.

2.3.3 Visites des sites

On a effectué des visites des sites à Manille (Philippines), à Taipei (Taïwan) et à Hong Kong entre le 30 novembre et le 13 décembre 2011. Ces visites avaient pour objectif d’obtenir des renseignements qui permettraient de mieux comprendre le mode de fonctionnement des programmes d’orientation pré-départ, y compris la manière dont ils sont gérés par les partenaires locaux, et de rassembler de la documentation et des outils (p. ex. brochures publicitaires, programmes d’études). Durant ces visites, les activités suivantes s’étaient entrepris :

• visite des missions canadiennes à Manille et à Hong Kong, des bureaux de S.U.C.C.E.S.S. à Taipei et des bureaux de l’OIM et de l’ACCC à Manille;
• entrevues ou réunions avec le personnel des missions à Manille et à Hong Kong, les représentants de S.U.C.C.E.S.S. à Taipei, et les représentants de l’OIM et de l’ACCC à Manille;
• participation ou observation lors de diverses séances [p. ex. atelier du PIEA sur les services bancaires, séance d’orientation pré-départ du PIEA, séance d’orientation individuelle avec les AF (PIEA), séance d’orientation pré-départ du PCII (séance GO) et séance Mon plan d’action (MPA), et deux séances d’OCE].

On a élaboré un protocole d’observation et des guides d’entrevue pour recueillir des informations durant les visites des sites (ces instruments se trouvent à l’annexe technique E).

2.3.4 Groupes de consultation réunissant des aides familiaux résidants

Trois groupes de consultation réunissant en tout 32 AF^{Note de bas de page 13} ont été constitués à Oakville, Milton et Burlington (Tableau 2-4) dans le but de savoir si OCE et le PIEA ont été utiles aux eux (p. ex. utilité des renseignements fournis, dans quelle mesure ces initiatives les ont aidés à se préparer à la vie au Canada). Les groupes de consultation ont été formés avec l’aide du centre multiculturel de Halton, qui s’est chargé de présélectionner les participants parmi les clients actuels, de faire les invitations, de fixer le lieu de réunion et d’obtenir des services de traduction.

Tableau ‎2-4 : Nombre de participants aux groupes de consultation, selon le lieu et l’initiative d’orientation

On a demandé aux participants de répondre à un sondage préliminaire au moment de leur enregistrement afin de recueillir des renseignements démographiques (p. ex. pays de naissance, âge, niveau de scolarité). Le questionnaire de ce sondage et le guide du modérateur pour les groupes de discussion se trouvent à l’annexe technique F. Tous les participants étaient Philippins établis au Canada en provenance des Philippines, de Taïwan, de Macao ou de Hong Kong. Un peu moins de la moitié des participants (15 sur 32) avaient entre 25 et 35 ans, une douzaine avaient entre 36 et 45 ans, et les autres (5) étaient âgés de 46 à 55 ans. La plupart des participants (29 sur 32) avaient l’education de niveau postsecondaire (p. ex. collège, université).

2.3.5 Analyse des réponses au sondage sur le programme OCE

La DGGPI mène un sondage auprès des bénéficiaires du programme OCE afin de connaître l’utilité de l’information fournie durant les séances d’orientation pré-départ^{Note de bas de page 14}. Pour les besoins de l’évaluation, nous avons extrait les questionnaires de sondage de la base de données en décembre 2011. Il s’agit des questionnaires remplis par 915 personnes qui ont assisté à une séance d’OCE entre octobre 2009 et septembre 2011 (tableau 2-5). Comme ces personnes ont accepté de répondre au sondage, nous ne sommes pas ici en présence d’un échantillon aléatoire.

Tableau ‎2-5 : Nombre de questionnaires analysés, selon la catégorie d’immigration

Environ 26 000 personnes ont assisté à une séance d’OCE durant cette période; le sondage sur le programme OCE s’adresse donc à quelque 3,5 % de la population totale des participants (marge d’erreur de 1,9 %, 19 fois sur 20, ou 95 % du temps). Voir l’annexe technique G pour une comparaison de la population des participants au programme OCE et de la population sondée.

2.3.6 Sondage auprès des travailleurs qualifiés (fédéral)

Les TQF forment la seule catégorie d’immigrants qui peuvent participer à n’importe laquelle des trois initiatives d’orientation. On a donc sondé explicitement ce groupe afin de recueillir de l’information sur les résultats des initiatives, de sorte que l’on puisse établir une comparaison entre les trois initiatives. Le sondage s’adressait également aux TQF qui n’ont pas assisté à une séance d’orientation pré-départ, de sorte que l’on a pu faire une comparaison entre les travailleurs qui avaient pris part à une telle séance et ceux qui ne l’avaient pas fait (voir l’annexe technique H pour le questionnaire du sondage auprès des TQF). Le questionnaire était offert en plusieurs langues : anglais, français, coréen, chinois traditionnel et chinois simplifié.

L’échantillon du sondage auprès des TQF a été formé de manière à garantir un consentement éclairé. Au total, 23 450 lettres ont été expédiées et 3 034 personnes (13 % du total) ont consenti à participer au sondage (voir l’annexe technique I pour plus de détails sur ce processus). Le sondage a été réalisé en ligne du 16 septembre 2011 au 12 janvier 2012. En tout, 3 278^{Note de bas de page 16} personnes avaient été invitées à participer au sondage et de ce nombre, 2 360 ont répondu au questionnaire, ce qui donne un taux de réponse de 72,0 %, ou 10,0 % de la population totale. Le tableau 2-6 donne la répartition des répondants selon l’initiative d’orientation. Certains répondants pouvaient avoir participé à la fois au PCII et à OCE. C’est pourquoi on avait inclus dans le sondage une question qui visait à déterminer si le répondant avait participé aux deux programmes et, dans l’affirmative, celui-ci était invité à donner ses réponses en fonction de la dernière séance d’orientation pré-départ à laquelle il avait assisté.

Tableau ‎2-6 : Nombre de répondants au sondage mené auprès des TQF, selon l’initiative d’orientation

Le haut taux de réponse (72,0 %) et la grande taille de l’échantillon (2 360) témoignent d’un bon niveau de fiabilité des données. La marge d’erreur est de 1,9 %, 19 fois sur 20 (ou 95 % du temps), ce qui est faible. Dans la plupart des cas, l’échantillon est de composition très variée, comptant un nombre suffisant de répondants de différents âges, de différents niveaux de scolarité, de différentes régions du Canada et d’origines nationales différentes. Voir l’annexe technique J pour une comparaison de la population des TQF et de la population sondée des TQF.

2.3.7 Examen de documents

On a procédé à l’examen de documents pour examiner la pertinence du programme, sa conception et sa mise en œuvre, ainsi que les pratiques exemplaires en matière d’exécution. L’étude a porté sur la documentation suivante :

Cette étude a été réalisée au moyen d’un tableau Excel structuré en fonction des questions d’évaluation et des indicateurs (voir l’annexe technique K pour la liste des documents étudiés aux fins de l’évaluation).

2.4 Limites et éléments à considérer

Bien que l’évaluation soit fondée sur une juste mesure de données qualitatives et quantitatives et qu’elle permette la triangulation des résultats, il y a lieu de présenter quelques considérations d’ordre méthodologique.

Les résultats du sondage auprès des TQF sont fiables dans l’ensemble; cependant, le niveau de fiabilité varie selon l’initiative d’orientation.

La méthodologie du sondage incluait dans l’échantillon les personnes qui avaient participé à l’une ou l’autre des trois initiatives d’orientation, de même que celles qui n’avaient assisté à aucune séance d’orientation pré-départ, ce qui permettait d’établir une comparaison entre les participants aux diverses initiatives d’orientation, ainsi qu’entre ces participants et les non-participants. Les résultats du sondage présentent un bon niveau de fiabilité grâce au taux de réponse élevé (72,0 %) et à la grande taille de l’échantillon (2 360). Toutefois, lorsqu’on regarde le nombre de réponses reçues pour chacune des initiatives d’orientation, on constate que les réponses des participants au PCII (599 répondants) et des bénéficiaires d’OCE (445 répondants) sont plus fiables que celles des participants au PIEA (89 répondants). Il y a donc lieu de faire preuve de prudence pour tirer des conclusions à partir des données du sondage sur le PIEA.

On dispose de peu de données pour évaluer les répercussions d’OCE et du PIEA sur les AF.

Au départ, le sondage sur le programme OCE n’avait permis de recueillir qu’une dizaine de questionnaires remplis auprès des AF. Pour lever cet obstacle, les représentants du programme se sont entendus avec l’OIM pour distribuer électroniquement les questionnaires du sondage aux AF, étant donné que cette organisation avait commencé récemment à recueillir les adresses courriel de ses membres. Cette mesure s’est avérée efficace en ce qu’elle a porté à 72 le nombre de questionnaires remplis. Le processus d’évaluation portait aussi sur les groupes de consultation réunissant des AF, ce qui a permis de compléter les résultats du sondage et de recueillir plus d’informations sur les répercussions d’OCE et du PIEA — précisons toutefois que les participants n’ont pas été choisis aléatoirement, puisqu’ils ont été désignés par un organisme de services d’établissement. C’est pourquoi les résultats pour le groupe des AF ne peuvent être considérés comme représentatifs de l’ensemble des AF.

Le sondage sur le programme OCE n’a pas été conçu en fonction de l’évaluation et n’a permis d’obtenir qu’un petit nombre de réponses de la part des réfugiés.

Le sondage sur le programme OCE n’ayant pas été conçu initialement en fonction de l’évaluation, il ne renseigne pas sur tous les thèmes ni sur tous les indicateurs. Mentionnons, par exemple, les indicateurs qui ont trait à l’efficacité du matériel publicitaire (p. ex. comment les participants ont découvert l’existence des séances d’orientation), au caractère raisonnable de l’intervalle de temps écoulé entre la séance d’orientation et le moment du départ, et au degré de préparation à l’emploi des personnes qui ont participé aux séances d’orientation avant le départ. Seules les questions du sondage qui allaient de pair avec les indicateurs de l’évaluation ont été analysées.

Par ailleurs, compte tenu de la taille de la population de réfugiés au Canada, le sondage sur OCE n’a permis d’obtenir qu’un petit nombre de réponses de la part des réfugiés. On a constaté de plus que la formule des groupes de consultation réunissant des réfugiés ne permettrait pas de compléter adéquatement les résultats du sondage. Un examen des données sur les immigrants reçus a permis de conclure qu’il aurait été difficile de trouver au même endroit et en nombre suffisant des réfugiés qui ont les mêmes antécédents culturels et qui sont arrivés au Canada dans les 3 à 9 mois suivant la séance d’orientation. Pour résoudre ce problème, on a cherché à obtenir des renseignements additionnels sur les pratiques exemplaires dans la prestation des services d’orientation pré-départ aux réfugiés. C’est ainsi qu’ont été menées d’autres entrevues avec les représentants des programmes d’orientation pré-départ d’autres pays et les coordonnateurs de programmes rattachés à l’OIM, et qu’a été fait un nouvel examen de la littérature et de la documentation pour déterminer les meilleures pratiques pour la prestation des services d’orientation pré-départ aux réfugiés.

Les participants aux séances d’orientation pré-départ ne font pas l’objet d’un suivi systématique.

L’ACCC et S.U.C.C.E.S.S. font un suivi des participants aux séances d’orientation pré-départ (nom et coordonnées); toutefois, les systèmes de CIC n’ont pas été conçus de façon à repérer les réfugiés et les immigrants entrés au Canada qui ont participé à une séance d’orientation pré-départ^{Note de bas de page 18}. À cela s’ajoute le fait que la période écoulée entre la séance d’orientation et l’arrivée au Canada varie selon les individus. Par exemple, un candidat peut assister à une séance d’orientation aussi tôt qu’un an ou aussi tard qu’une semaine avant son départ pour le Canada. Aussi est-il difficile de calculer la proportion d’individus entrant au Canada qui ont participé à une séance d’orientation à l’étranger — information pourtant indispensable à l’examen des résultats et de la portée du programme, ainsi qu’au calcul de la taille de l’échantillon nécessaire pour garantir un consentement éclairé. Par conséquent, il a fallu faire certaines hypothèses sur la période écoulée entre la séance d’orientation pré-départ et l’arrivée au Canada. Par exemple, d’après les données du sondage sur le programme OCE et du sondage auprès des TQF, les bénéficiaires d’OCE seraient arrivés au Canada entre un et six mois après avoir pris part à la séance d’orientation. Il se peut que les participants soient arrivés plus tôt ou plus tard que cela.

• Précédent
• 1
• 2
• 3
• 4
• 5
• 6 (présent)
• 7
• 8
• 9
• Suivant