Évaluation de l’initiative Se rendre au Canada : portail sur l’immigration

2. Cadre et méthodologie de l'évaluation

2.1. Objectifs et portée de l’évaluation et questions étudiées

2.1.1. Objectifs

Les objectifs de la présente évaluation étaient d’évaluer :

1. La pertinence de ce programme en termes :
   1. de besoin continu ;
   2. de concordance avec les objectifs et priorités gouvernementaux ;
   3. de compatibilité avec les rôles et responsabilités fédéraux.
2. Le rendement de ce programme pour atteindre les résultats en termes :
   1. d'efficacité, au regard des résultats escomptés des programmes, particulièrement les résultats immédiats et à moyen terme ;
   2. d’efficience et l’économie, au regard de la conception et de la prestation du programme de SRC-PI et des pratiques exemplaires adoptées par les autres ordres de gouvernement, en portant une attention particulière la capacité de ces approches et pratiques à répondre aux besoins d’information des nouveaux arrivants et des immigrants potentiels, en ce qui a trait au travail et à l’établissement au Canada.

L’évaluation a aussi été l’occasion d’examiner les questions de gouvernance, de collaboration et d’établissement des priorités entre les partenaires du programme SRC-PI.

2.1.2. Portée

Cette étude a été entreprise à la suite d’un engagement pris auprès du Conseil du Trésor de mener une évaluation sommative de l’Initiative SRC-PI en 2009-2010. L’évaluation a été retardée d’un an afin que soit validé au préalable le Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) du programme, et évaluée la capacité de données en 2009-2010. Ainsi, l’évaluation, menée d’avril 2010 à mars 2011, a couvert la période allant d’avril 2005 à avril 2010 et a porté essentiellement sur les résultats exposés dans le modèle logique du programme, lequel résultait de l’exercice de validation du CGRR. L’évaluation était axée précisément sur les portails SRC-PI et P/T et ne couvrait pas les portails municipaux.

Pendant la conduite de l’évaluation, des changements ont été apportés au programme, mais ils n’ont pas été pris en compte dans le rapport d’évaluation, car ils sont survenus en dehors de la période examinée. Toutefois, ces changements peuvent influencer les actions menées en réponse aux conclusions des présentes. Il est à noter que de nouvelles discussions sont prévues entre les partenaires du Portail au sujet de l’intégration de SRC-PI au site principal de CIC et qu’une nouvelle articulation de la structure de gouvernance et des processus de prise de décision chez les partenaires du Portail est également prévue. Dans la mesure du possible, ces considérations ont été prises en compte dans les conclusions et recommandations du rapport.

2.1.3. Questions d’évaluation

De multiples sources de données ont été utilisées pour répondre aux questions de l’évaluation (Tableau 2-1), soit :

• L’examen de la documentation ;
• Des entrevues avec les informateurs clés ;
• Des sondages auprès des utilisateurs de SRC-PI ;
• Des sondages auprès des intermédiaires ;
• Des groupes de discussion composés d’utilisateurs et de non-utilisateurs de SRC-PI ;
• Une évaluation de la qualité et de la cohérence de l’information des sites SRC-PI et P/T par un expert en la matière ;
• Des analyses des fichiers journaux Web et de l’analytique disponibles.

Un tableau de concordance entre les questions d’évaluation et les méthodologies utilisées pour y répondre est présenté avec le cadre d’évaluation fourni en annexe A2. Ce cadre indique aussi la section du rapport dans laquelle l’information relative à chaque question d’évaluation peut être trouvée.

Tableau 2-1 :  Enjeux et questions d’évaluation

Questions d’évaluation

Pertinence

1. L’Initiative concorde-t-elle toujours avec les priorités des ministères et du gouvernement dans son ensemble?

2. L’Initiative SRC-PI répond-elle toujours à un besoin établi?

3. CIC et RHDCC sont-ils les plus à même de fournir ces produits et outils d’information?

Conception et livraison

4. Le Portail est-il opérationnel et convivial?

5. La structure de gouvernance du Portail, à l’interne au sein de chacun des ministères (CIC et RHDCC), entre CIC et RHDCC, et entre le GC et les P/T est-elle efficace?

6. L’URL du Portail est-elle la plus appropriée, la plus efficiente et la plus efficace par rapport aux besoins de la population cible?

Rendement

7. La population cible connaît-elle l’existence de SRC-PI? Utilise-t-elle SRC-PI? Pourquoi ou pourquoi pas?

8. La collaboration et l’établissement des priorités chez chacun des partenaires fédéral, provinciaux et territoriaux et entre eux se font-ils efficacement?

9. Les portails provinciaux et territoriaux contiennent-ils et offrent-ils des liens vers de l’information compréhensible, pertinente et à jour sur :

• l’immigration, l’établissement, la vie au pays, les visites et les études dans les provinces et territoires?
• le travail dans les provinces et territoires?

10. Le Portail contient-il et fournit-il des liens vers des informations pertinentes, à jour et compréhensibles sur :

• l’immigration, l’établissement, la vie, les visites et les études au Canada?
• le travail au Canada?

11. La population cible acquiert-elle des connaissances sur les provinces, territoires et collectivités canadiennes et obtient-elle de l’information sur l’établissement?

12. La population cible obtient-elle de l’information sur l’immigration au Canada, ainsi que sur la vie et le travail dans ce pays?

13. Le Portail contribue-t-il à ce que la population cible prenne des décisions éclairées en matière d’immigration, se prépare en vue du processus d’immigration et s’intègre au Canada à son arrivée?

14. Le site SRC-PI a-t-il eu des résultats inattendus et si oui, lesquels?

15. La prestation de SRC-PI est-elle efficiente et efficace sur le plan des coûts?

2.2. Méthodologies

2.2.1. Examen de la documentation

Voici les types de documents qui ont été examinés dans le cadre de cette évaluation (on trouvera la liste complète des documents examinés à l’annexe D) :

• les documents relatifs aux priorités et aux engagements de CIC, de RHDCC et d’autres ministères ;
• les documents de programme de SRC-PI comme les politiques, les notes de breffage, les rapports financiers, les rapports statistiques, les documents traitant de l’opinion publique et d’autres recherches, les rapports de tests de facilité d’utilisation, les rapports d’optimisation de moteur de recherche, les documents de stratégie Web, etc. ;
• les rapports sur SRC-PI produits sur le Web ;
• le CGRR de SRC-PI et l’évaluation de la capacité de données ;
• les plans de service annuels de la Colombie-Britannique et du Manitoba, les ententes de contribution pour les portails provinciaux et leurs rapports financiers et d’activités, les lettres d’entente (LE), les protocoles d’entente (PE), les plans d’action et les rapports provisoires ;
• les matériels de communication et de promotion, dont les forums de questions, les communiqués de presse, les feuillets de renseignements.

2.2.2. Entrevues avec des informateurs clés

Des entrevues ont été menées auprès de 41 informateurs clés parmi les groupes intéressés suivants :

• fonctionnaires de CIC, anciens et actuels (au nombre de 14) ;
• fonctionnaires de RHDCC, anciens et actuels (au nombre de 8) ;
• représentants des portails provinciaux et territoriaux (au nombre de 11) ;
• représentants des autres ministères disposant ou non de portails Web (au nombre de 8).

2.2.3. Sondage en ligne auprès des utilisateurs

Un sondage a été mené en ligne auprès des utilisateurs pour recueillir de l’information de ceux qui avaient effectivement utilisé soit le site Web SRC ou le site Web Travailler au Canada. Le sondage était conçu pour obtenir des utilisateurs leur perception personnelle des sites Web, notamment de leur disposition, de la qualité et de l’utilité du contenu, et de leur fonctionnalité générale. Le sondage en ligne a aussi servi à déterminer quelle information les utilisateurs consultaient le plus fréquemment sur SRC-PI et si l’information fournie avait la résonnance voulue chez les utilisateurs. Le sondage a été rempli par 299 personnes, qui y ont accédé par le biais des sites indiqués au Tableau 2-2. SRC-PI cible les immigrants potentiels et les nouveaux arrivants au Canada, mais tant qu’une personne n’a pas présenté de demande dans le cadre d’un programme d’immigration, la taille d’un groupe cible et ses caractéristiques demeurent inconnues. Le programme cible aussi les amis et membres de la famille des nouveaux arrivants au Canada, et CIC n’a pas d’information sur la taille de ce groupe ou ses caractéristiques. Par conséquent, la population de ce sondage est inconnue.

Parmi les personnes qui ont participé au sondage, 51 % (soit 153 personnes) ne résidaient pas au Canada, et 4 % supplémentaires ont dit n’habiter au Canada que temporairement, ce qui donne à penser que le sondage est basé en partie sur des immigrants. Plus d’hommes (56 %) que de femmes (44 %) ont répondu au sondage, 80 % de tous les répondants étant âgés de 20 à 49 ans. Ces caractéristiques correspondent aux modèles d’immigration et de réponses observés à CIC dans le passé. En outre, 20 % (soit 60 personnes) des sondages ont été remplis en français.

Le sondage en ligne était disponible grâce à un lien pour quiconque consultait le site Web SRC, le site Web Travailler au Canada, la page Facebook de Travailler au Canada et la page Twitter de Travailler au Canada. Au cours d’un mois ordinaire en 2010, le site Travailler au Canada a reçu environ 195 000 visiteurs uniques par rapport à 53 000 visiteurs uniques sur le site SRC. Ce ratio SRC-Travailler au Canada est de 0,27, ce qui correspond à peu près au ratio des répondants au sondage auprès des utilisateurs (0,25).

* La colonne « Autres » comprend ceux qui ont accédé au sondage directement à partir d’un signet.

2.2.4. Sondage auprès des intermédiaires

Un sondage a été mené auprès des intermédiaires afin d’évaluer l’utilisation de SRC-PI et son utilité pour fournir des services et de l’information aux nouveaux immigrants et aux immigrants potentiels. Le sondage auprès des intermédiaires a été envoyé aux groupes organisationnels suivants :

• les fournisseurs de services (FS) ;
• les missions étrangères au Canada ;
• les bureaux des visas canadiens à l’étranger ;
• les associations nationales ;
• les conseils sectoriels.

L’échantillon des FS, y compris ceux qui ne reçoivent pas de financement fédéral, a été établi au hasard à partir d’une liste de base d’organisations de services aux immigrants de tout le Canada, laquelle avait elle-même été créée grâce à une recherche Web des utilisateurs possibles de SRC-PI. Des sondages ont aussi été envoyés à toutes les missions et à tous les consulats étrangers au Canada (dont la liste a été fournie par le ministère des Affaires étrangères) et à tous les bureaux des visas de CIC à l’étranger, deux groupes considérés comme des utilisateurs vraisemblables de SRC-PI. Plusieurs conseils sectoriels et associations nationales, qui sont des groupes cibles de SRC-PI, ont aussi été retenus comme répondants potentiels.

Le Tableau 2-3 présente une ventilation des représentants qui ont été invités à remplir le sondage auprès des intermédiaires et de ceux qui l’ont rempli – pour un taux de réponse global de 33 %, ce qui est plus bas que prévu. Ce taux est cependant considéré comme se situant dans la moyenne des taux de réponse pour les sondages en ligne^{Note de bas de page 16}.

2.2.5. Groupes de discussion

Des groupes de discussion ont eu lieu avec deux groupes d’immigrants différents^{Note de bas de page 19} : ceux qui avaient utilisé le site Web SRC ou le site Web Travailler au Canada (groupes d’utilisateurs) et ceux qui n’avaient pas utilisé les sites Web SRC ou Travailler au Canada, mais qui avaient utilisé d’autres sources Internet pour venir au Canada (groupes de non-utilisateurs). Les groupes de discussion étaient conçus de façon à déterminer où les participants avaient trouvé l’information dont ils avaient besoin pour venir au Canada ou pour aider d’autres personnes à venir au Canada. Autrement dit, ces groupes de discussion ont aidé à évaluer la pertinence des sites Web SRC-PI et de l’information contenue sur SRC-PI. Tant les utilisateurs que les non-utilisateurs se sont vu présenter des pages de Travailler au Canada, de SRC et des sites Web provinciaux et territoriaux et devaient prendre connaissance de la disposition du site et commenter SRC-PI et, si possible, l’efficacité de SRC-PI par rapport à d’autres sources.

Les participants aux groupes de discussion ont été recrutés à l’aide du sondage en ligne auprès des utilisateurs ainsi que grâce à une coordination et une collaboration avec les fournisseurs de services (FS) financés au niveau fédéral, qui ont offert de participer au recrutement. Un total de douze groupes de discussion ont eu lieu (six avec des utilisateurs et six avec des non-utilisateurs de SRC-PI) dans les bureaux des FS, avec un total de 91 immigrants récents^{Note de bas de page 20} dans les villes suivantes :

• Vancouver (2 groupes d’utilisateurs et 2 groupes de non-utilisateurs) ;
• Edmonton (1 groupe d’utilisateurs et 1 groupe de non-utilisateurs) ;
• Winnipeg (1 groupe d’utilisateurs) ;
• Toronto (2 groupes d’utilisateurs et 1 groupe de non-utilisateurs) ;
• Montréal (1 groupe de non-utilisateurs) ;
• Halifax (1 groupe de non-utilisateurs).

Le groupe de discussion de Montréal se tenait en français.

2.2.6. Évaluation par un expert en la matière

Un expert^{Note de bas de page 21} en contenu relatif à l’immigration et à l’établissement a évalué la qualité (pertinence, à propos et clarté) de l’information présentée sur les sites SRC, Travailler au Canada et provinciaux et territoriaux et a également évalué l’uniformité de l’information présentée sur les portails provinciaux et territoriaux (on trouvera à l’annexe C la liste des sites Web évalués) avec celle de SRC-PI. L’expert en la matière a examiné les contenus en fonction des six catégories suivantes : immigration, établissement, vie au pays, visite, études, et travail.

2.2.7. Fichiers journaux et analytique Web^{Note de bas de page 22}

Les rapports d’analytique Web et les analyses de fichiers journaux effectués par les consultants ont été utilisés pour recueillir de l’information sur les renvois, le trafic de site Web, les modèles d’utilisation, le comportement des utilisateurs et l’efficacité du site Web. L’évaluation a aussi étudié le nombre d’erreurs qui se produisent sur chacun des sites. Le Tableau 2-4 présente l’information fournie par les partenaires du Portail pour alimenter la composante de l’analytique Web de l’évaluation.

2.3. Limites de la méthodologie

La méthodologie employée pour cette étude comportait plusieurs limites qui sont énumérées ci-dessous.

• Il a été impossible d’effectuer des comparaisons de coûts entre l’Initiative SRC-PI et les initiatives des autres ministères en raison des importantes différences des sites Web en termes de portée, de saisie de données Web, de même que de plan technique. Ces facteurs ont restreint l’exhaustivité de l’évaluation de l’efficience et de l’efficacité par rapport au coût de SRC-PI (Question d’évaluation 15) en comparaison d’autres initiatives.
• La quantité moins élevée que prévu de sondages en ligne auprès des utilisateurs qui ont été remplis (escomptés : 500^{Note de bas de page 23}, recueillis : 299) a empêché certaines analyses de sous-groupes comme l’âge, le pays de naissance ou la durée de présence au Canada. Les analyses de ces sous-groupes auraient présenté des marges d’erreur importantes. Des tentatives ont eu lieu pour augmenter le nombre de sondages remplis – par exemple, le suivi constant des sondages, l’allongement de la durée de la présence du sondage sur le terrain. Les taux de réponse moins élevés chez certains groupes d’intermédiaires (p. ex. 97 missions étrangères au Canada ont été invitées à remplir le sondage, mais seulement 11 ont répondu) ont empêché l’analyse (en raison de l’importance de la marge d’erreur) par groupe d’intermédiaires et diminué la capacité de tirer des conclusions à partir de ces seules données.
• Il n’a pas été possible de savoir si les répondants aux sondages en ligne et les utilisateurs de SRC-PI dans les groupes de discussion étaient représentatifs des utilisateurs du Portail. Les répondants aux sondages et les utilisateurs participant aux groupes de discussion avaient généralement des opinions positives sur SRC-PI et ont peut-être fait pencher la balance dans ce sens. Habituellement, l’analyse des biais des non-répondants consiste en une comparaison des variables présentes dans l’échantillon du sondage avec celles présentes dans le cadre d’échantillonnage. Cette comparaison permet de mesurer la différence entre la véritable population (c.-à-d. tous les utilisateurs ou les non-utilisateurs) et l’échantillon du sondage (c.-à-d. les utilisateurs qui ont rempli le sondage, et ceux qui ont suivi les groupes de discussion). Comme il n’y avait pas d’information sur la population du sondage (les utilisateurs de SRC-PI et les non-utilisateurs de SRC-PI), il a été impossible de déterminer si les participants au sondage et aux groupes de discussion formaient un échantillon représentatif de tous les utilisateurs et non-utilisateurs de SRC-PI. Cependant, les caractéristiques des répondants utilisateurs correspondent aux modèles de répondants et d’immigrants étudiés antérieurement par CIC. De plus, la triangulation de plusieurs sources de données a été effectuée afin d’améliorer la fiabilité des conclusions du sondage.
• Certains participants aux groupes de discussion étaient incapables de se souvenir clairement de leur expérience relative à leur venue au Canada et de leur utilisation des sources d’information Internet, ce qui a pu faire en sorte que certains n’ont peut-être pas fourni autant d’information pertinente que d’autres, et certains des obstacles et défis auxquels on a pu faire face ont pu être oubliés. Heureusement, l’impact de cette limite a été réduit au minimum grâce à la participation de plus aux groupes de discussion de 90 personnes qui avaient une expérience de SRC-PI ou qui avaient immigré au Canada moins de cinq ans avant leur participation aux groupes de discussion, et la majorité d’entre eux avaient un souvenir précis.
• Des incohérences ont été notées dans les techniques de rapport Web et de collecte de données entre les partenaires de l’Initiative (Travailler au Canada, SRC et les provinces et territoires). La disponibilité de données comparables à des fins d’analyse entre SRC et Travailler au Canada s’en est trouvée limitée. On n’a pas cherché à faire des comparaisons entre les partenaires P/T ; toutefois, le fait de devoir présenter des rapports sur des paramètres différents, sur des périodes de temps diverses et recueillis à des intervalles différents, a posé des problèmes d’évaluation. Par souci d’atténuer ce facteur, des rapports analytiques et des fichiers journaux additionnels ont été demandés, mais tous les partenaires n’ont pas pu en fournir. L’utilisation d’ensembles analytiques différents (utilisant différents algorithmes) d’un partenaire du Portail à l’autre pour déterminer le nombre de visites et de visiteurs uniques et mesurer d’autres paramètres clés a aussi entravé l’analyse de l’efficacité des activités promotionnelles à partir de l’utilisation du site Web. De plus, seuls quelques provinces et territoires ont été en mesure de fournir des données longitudinales, avec pour conséquence qu’il a été impossible de mener des analyses évolutives des tendances, lesquelles auraient permis de déterminer l’efficacité des portails provinciaux et territoriaux au fil du temps.

• Précédent
• 1
• 2
• 3
• 4
• 5 (présent)
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• Suivant