2. Méthodologie
2.1. Enjeux et questions de l’évaluation
L’évaluation s’est déroulée conformément aux exigences de la Directive sur la fonction d’évaluation (Secrétariat du Conseil du Trésor, 2009) et a porté sur la pertinence et le rendement. Les questions de l’évaluation, organisées par enjeu essentiel, sont présentées au tableau 2.1 (voir à l’annexe A l’ensemble complet des questions de l’évaluation, des indicateurs et des méthodologies). Le modèle logique de la réglementation des consultants en immigration se trouve à l’annexe B.
Tableau 2.1 : Questions de l’évaluation : Réglementation des consultants en immigration
Item | Questions fondamentales | Questions de l’évaluation | Section du rapport |
---|---|---|---|
Pertinence | Nécessité de maintenir le programme (détermination de la mesure dans laquelle le programme continue de répondre à un besoin démontrable et de répondre aux besoins des Canadiens) | 1.1 À quel besoin la réglementation des consultants en immigration répond-elle? | 3.1.1 |
Concordance avec les priorités du gouvernement (évaluation des liens entre les objectifs du programme et i) les priorités du gouvernement fédéral et ii) les résultats stratégiques du Ministère) | 1.2 La réglementation des consultants en immigration concorde-t-elle avec les rôles et les responsabilités du gouvernement fédéral et avec les priorités du GdC et de CIC? | 3.1.2 | |
Concordance avec les rôles et les responsabilités du gouvernement fédéral (évaluation des rôles et des responsabilités du gouvernement fédéral dans l’exécution du programme) | |||
Rendement | Atteinte des résultats attendus (évaluation des progrès réalisés en vue d’atteindre les résultats attendus (y compris les résultats immédiats, intermédiaires et finals) par rapport aux cibles de rendement, à la portée du programme, à la conception du programme, notamment au lien et à la contribution des extrants aux résultats) | 2.1 Les processus de gouvernance et de gestion appropriés sont-ils en place pour atteindre les résultats des programmes? | 3.2.1 |
2.2 Le CRCIC est-il un organisme viable, transparent, responsable et intelligemment géré? (Capacité) | 3.2.2 | ||
2.3 Le CRCIC a-t-il bien renseigné les groupes d’intervenants sur la profession de consultant en immigration? (Communications) | 3.2.3 | ||
2.4 Les membres bénéficient-ils de l’accréditation du CRCIC? Bénéficient-ils de possibilités de perfectionnement professionnel pour enrichir leurs compétences et leurs qualifications? (Compétences) | 3.2.4 | ||
2.5 Dans quelle mesure existe-t-il un mécanisme en matière de plaintes et de discipline qui soit juste, transparent et accessible pour réglementer la conduite des membres? (Conformité) | 3.2.5 | ||
Démonstration d’efficacité et de rentabilité (évaluation de l’utilisation des ressources par rapport à la production d’extrants et progrès en vue d’atteindre les résultats attendus) | 3.1 Les ressources des programmes ont-elles été utilisées judicieusement pour atteindre les résultats des programmes? | 3.2.6 |
2.2. Portée de l’évaluation
La démarche et la méthode d’évaluation ont été fixées dans un plan d’évaluation élaboré avant le début de l’évaluation. La phase de planification s’est déroulée entre octobre 2012 et janvier 2013 avec le concours de toutes les directions générales de CIC qui s’occupent de la réglementation des consultants en immigration, de même qu’avec le CRCIC. L’évaluation est alignée sur le Plan d’évaluation du ministère axé sur les risques, conçu partiellement sur la base d’une évaluation qui fournit à la haute direction des renseignements sur les façons dont le ministère assure la surveillance judicieuse des programmes, en fonction du niveau de risque. Le niveau d’effort exigé par l’évaluation a été étalonné pour s’assurer que le ministère respecte bien ses modalités de couverture. Note de bas de page 11
Compte tenu du fait que le CRCIC est de création récente, l’évaluation a été conçue comme évaluation de mise en œuvre et elle a déterminé dans quelle mesure le CRCIC a réussi à atteindre ce qui était énoncé dans l’accord de contribution dans les domaines du renforcement des capacités, des communications, des compétences et de la conformité. Compte tenu de la chronologie de l’évaluation, seuls les résultats immédiats attendus ont été analysés :
- le CRCIC est un organisme viable, transparent, responsable et bien administré;
- les groupes d’intervenants possèdent des renseignements sur le secteur des consultants en immigration, notamment sur l’accréditation, les risques de fraude et les mécanismes de recours;
- les membres bénéficient de l’accréditation et de possibilités de perfectionnement professionnel pour constamment enrichir leurs compétences et leurs qualifications;
- des procédures disciplinaires et de règlement des plaintes justes, transparentes et accessibles sont établies.
L’évaluation a porté sur les activités du CRCIC depuis sa création à titre d’organisme officiel de réglementation de la profession de consultant en immigration entre juin 2011 et décembre 2012. Néanmoins, étant donné que l’accord de contribution a été signé avant que le CRCIC n’entre en service (en mars 2011), l’évaluation a également porté sur les activités qui se sont déroulées entre le moment où l’accord a été signé et le mois de juin 2011. Les activités de l’organisme de réglementation préalable, la SCCI, étaient hors de la portée de cette évaluation. En outre, étant donné que l’évaluation s’est concentrée sur les activités du CRCIC, elle n’a pas analysé en profondeur la question des représentants non autorisés. Note de bas de page 12
2.3. Méthodes de collecte de données
L’évaluation s’appuie sur plusieurs sources de renseignements et méthodes de recherche complémentaires pour garantir la fiabilité des informations et des données recueillies. La collecte des données pour cette évaluation a été effectuée entre janvier et avril 2013, avec une mise à jour de l’évaluation des données financières complétée en février 2014. Chacune des sources de renseignement auxquelles l’évaluation a fait appel est décrite plus en détail ci-après.
2.3.1. Examen des documents
Un examen ded documents pertinents sur le programme a été réalisé afin de le mettre en contexte, ce qui a contribué à l’évaluation de l’utilité et du rendement du CRCIC. Certains documents officiels du gouvernement, comme les discours du Trône, les discours du budget et les documents politiques et stratégiques ont été examinés pour y trouver des renseignements généraux contextuels et des renseignements sur les priorités de CIC et du gouvernement du Canada. Les rapports gouvernementaux préalables sur la profession de consultant en immigration ont été examinés pour recueillir des renseignements sur le secteur et la nécessité de le réglementer. Certains documents de référence du Ministère, notamment les documents sur les accords de contribution et les guides de traitement ont été utilisés pour répondre à certaines questions d’évaluation. Voir les annexes techniques pour une liste des documents examinés.
2.3.2. Analyse des données administratives
Les données administratives du CRCIC ont servi à brosser un profil des membres du CRCIC et également à évaluer les progrès réalisés par le CRCIC dans le cadre des activités et des extrants mentionnés dans l’accord de contribution. La Division de la gestion financière des subventions et contributions (GFSC) de la Direction générale de la gestion financière de CIC a également procédé à une analyse de la situation financière du CRCIC, qui a éclairé l’évaluation quant à la viabilité financière de l’organisme, de son utilisation des ressources et de la capacité globale, selon les renseignements présentés à l’époque, du CRCIC à respecter le calendrier de remboursement négocié.
Les données administratives de CIC extraites du Système mondial de gestion des cas (SMGC) ont servi à déterminer dans quelle mesure les immigrants au Canada se prévalent des services de consultants en immigration. D’autres données administratives de CIC provenant de la DGGOC ont permis de connaître le nombre et le type de plaintes reçues par le Ministère au sujet de consultants en immigration. Les données administratives de l’ASFC ont également été analysées pour examiner le volume de cas qui lui ont été adressés par le CRCIC ou par CIC, de même que les résultats de ces renvois.
2.3.3. Entrevues
Au total, 38 entrevues ont été réalisées pour les besoins de l’évaluation (tableau 2.2). Les entrevues ont eu lieu avec quatre grands groupes d’intervenants (voir les annexes techniques pour les guides d’entrevue). Parmi ces groupes, il faut mentionner la haute direction de CIC et les agents de programme qui collaborent avec le CRCIC; les représentants du CRCIC (y compris les présidents-directeurs généraux préalable et actuel, le personnel du CRCIC et les membres du conseil d’administration); les représentants d’autres ministères gouvernementaux (AMG) impliqués dans la réglementation de la profession de consultant en immigration (c.-à-d., l’Agence des services frontaliers du Canada, Emploi et Développement social Canada et la Commission de l’immigration et du statut de réfugié); et d’autres intervenants du secteur des représentants en immigration (les groupes de pression en immigration).
Tableau 2.2 : Tableau récapitulatif des entrevues réalisées
Groupe des personnes interrogées | Nombre d’entrevues |
---|---|
Représentants de CIC | 15 |
Effectif du CRCIC | 17 |
Représentants d’autres ministères | 4 |
Autres intervenants | 2 |
Total | 38 |
Les entrevues se sont déroulées en personne et au téléphone. Lorsque des données qualitatives sont présentées dans ce rapport, l’échelle illustrée au tableau 2.3 a été utilisée. Note de bas de page 13
Tableau 2.3 : Échelle d’analyse des données d’entrevue
Descripteur | Sens |
---|---|
Tous | Les résultats reflètent les points de vue et les avis de la totalité des personnes interrogées. |
Majorité / Plupart | Les résultats reflètent les points de vue et les avis d’au moins 75 %, mais de moins de 100 % des personnes interrogées. |
Beaucoup | Les résultats reflètent les points de vue et les avis d’au moins 50 %, mais de moins de 75 % des personnes interrogées. |
Certains | Les résultats reflètent les points de vue et les avis d’au moinjs 25 %, mais de moins de 50 % des personnes interrogées. |
Quelques-uns | Les résultats reflètent les points de vue et les avis d’au moins deux répondants, mais de moins de 25 % des personnes interrogées |
Une visite sur place a eu lieu en mars 2013 au siège social du CRCIC à Burlington (Ontario). Cette visite a permis aux membres de l’équipe d’évaluation d’interroger des membres du personnel du CRCIC en personne, d’observer les installations que le CRCIC s’est procurées par le biais de l’accord de contribution, et de mieux comprendre l’environnement opérationnel du CRCIC.
Outre les 15 entrevues qui ont été menées avec des représentants de CIC, l’équipe d’évaluation a également posé des questions sur la validation des représentants autorisés et sur les mécanismes de dépôt de plaintes dans cinq bureaux de CIC à l’étranger. Ces questions ont été posées à des agents de CIC à Delhi, Beijing, Hong Kong, Londres et Paris à l’occasion de visites sur place organisées à l’appui d’autres études d’évaluation. Ces données ne représentent pas une source de données distincte, mais elles ont permis de mieux mettre en contexte les résultats de l’évaluation.
2.3.4. Sondage auprès des membres du CRCIC
Pour connaître les points de vue des membres du CRCIC, CIC a conçu un sondage en ligne (de concert avec le CRCIC). Ce sondage comportait des questions sur l’expérience vécue par les membres lorsqu’ils sont devenus membres du CRCIC, sur la qualité des renseignements reçus de la part du CRCIC et sur la procédure en matière de plaintes et de discipline du CRCIC, ainsi que sur leurs points de vue sur la réglementation de la profession de consultant en immigration, sans oublier des questions sur les caractéristiques démographiques (voir l’instrument de sondage dans les annexes techniques).
Des invitations à répondre à ce sondage ont été transmises aux membres par l’entremise de la liste des membres du CRCIC et le sondage a fait l’objet d’un test prélable avant d’être administré à la totalité des membres. Au total, 2 436 membres Note de bas de page 14 ont été invités à répondre au sondage, et 1 263 membres ont rempli le sondage entre mars et avril 2013 (tableau 2.4).
Tableau 2.4 : Taux de réponse au sondage auprès des membres du CRCIC
Type de réponse | Nombre | % |
---|---|---|
Sondage rempli | 1 263 | 51,8 % |
Sondage partiellement rempli | 179 | 7,3 % |
N’a pas répondu | 994 | 40,8 % |
Total | 2 436 | 100 % |
Le sondage a atteint une marge d’erreur de ±1,91 % en utilisant un intervalle de confiance de 95 %. Note de bas de page 15
2.4. Limites et considérations
L’évaluation comporte un ensemble équilibré de sources de données quantitatives et qualitatives qui permettent de faire la triangulation des résultats. Même si elles sont atténuées par l’utilisation de sources de données multiples, il convient de signaler certaines limites dans les méthodes d’évaluation :
- Les données administratives disponibles étaient limitées pour analyser et dégager les tendances relatives au recours à des consultants en immigration. Avant l’entrée en service du SMGC, les systèmes de CIC ne permettaient pas de colliger de l’information à propos de l’organisme de réglementation dont le représentant faisait partie. La première année complète pour laquelle ces données sont disponibles est 2012.
- Étant donné que le CRCIC a été créé comme organisme indépendant, les personnes interrogées en dehors de l’organisme avaient des connaissances limitées de son fonctionnement. L’absence de points de vue extérieurs tirés des entrevues a été atténuée par l’utilisation de renseignements provenant de l’examen des données administratives, ainsi que du sondage auprès des membres du CRCIC.
- Les entrevues avec les membres de CIC travaillant dans des missions à l’étranger n’ont pas été intégrées dans l’évaluation comme source de données distincte. Toutefois, il a été déterminé par la suite qu’il était possible de mieux comprendre les processus en place pour valider le recours à des représentants et pour porter plainte en recueillant des renseignements auprès de certaines missions dans le cadre d’études de cas menées pour d’autres évaluations. Afin de renforcer les résultats relatifs à ces processus, des représentants de la Région du traitement centralisé (RTC) de CIC ont également été interrogés.
- Il y a certaines différences entre les répondants au sondage et la population générale des membres du CRCIC, notamment une légère sous-représentation des membres du CRCIC qui étaient au préalable membres de la SCCI et une légère surreprésentation des membres qui possèdent une moindre expérience de la profession de consultant en immigration. Les différences dans les résultats du sondage entre les deux groupes étaient cependant minimes, d’où le niveau élevé de confiance dans les résultats obtenus.
Détails de la page
- Date de modification :