Évaluation du Projet pilote relatif aux examens et aux interventions ministériels

2. Méthodologie d’évaluation

2.1 Questions et portée de l’évaluation

L’évaluation du Projet pilote a été effectuée conformément aux exigences de la Directive sur la fonction d’évaluation (2009) du Conseil du Trésor et a consisté à examiner les questions de pertinence et de rendement. Étant donné que le Projet pilote a été récemment mis en œuvre, l’évaluation a examiné : si le Projet pilote a été mis en œuvre comme prévu, l’efficacité de la mise en œuvre, la valeur ajoutée de la capacité d’intervention de CIC pour régler les questions de crédibilité et d’intégrité du programme; le bien-fondé de la répartition de la tenue des examens et des interventions entre CIC et l’ASFC et la contribution du Projet pilote aux résultats escomptés des réformes apportées au système d’octroi de l’asile au Canada. L’évaluation de la fonction des examens et des interventions de l’ASFC sortait du cadre de cette évaluation.

L’évaluation a porté sur une période d’un an, de l’entrée en vigueur de la réforme en décembre 2012 jusqu’à la fin de décembre 2013, bien qu’on ait utilisé les données disponibles portant sur la période se terminant en juin 2014. Les questions d’évaluation, organisées par question fondamentale, sont présentées au Tableau 2.1 (pour les questions d’évaluation, les indicateurs et les méthodologies, se reporter aux appendices techniques). On n’a pas élaboré de modèle logique pour le Projet pilote des EI, mais il a été intégré à titre d’activité au modèle logique du système d’octroi de l’asile au Canada, qui figure à l’appendice A.

Tableau 2.1 Questions d’évaluation : évaluation du Projet pilote relatif aux examens et aux interventions ministériels

2.2 Méthodes de collecte des données

La collecte des données pour cette évaluation s’est déroulée de mars à juillet 2014, et a englobé de nombreuses sources de données pour s’assurer de la solidité des renseignements et des données recueillis, qui sont décrites ci-dessous.

2.2.1 Examen des documents

Les documents de programme pertinents (voir les appendices techniques pour une liste des documents) ont été examinés pour recueillir les renseignements de base et le contexte du Projet pilote, et en évaluer la pertinence et le rendement, notamment :

• documents gouvernementaux, tels que les discours du Trône, les discours du budget et les Rapports sur les plans et les priorités;
• documents liés à la mise en œuvre et au fonctionnement du Projet pilote (p. ex., budgets, matériel de formation, procédures normalisées de fonctionnement, manuels de traitement et tableau de bord opérationnels);
• décisions écrites de la SPR;
• études et analyses produites par la DCAEP (p. ex., rapports sur les paramètres de réussite).

2.2.2 Entrevues

On a procédé au total à 32 entrevues (en personne et par téléphone) de trois groupes d’intervenants clés (Tableau 2.2), notamment de ^{Note de bas de page 11} :

• cadres supérieurs et agents de programme de CIC participant au Projet pilote, tant à l’administration centrale que dans les régions;
• représentants de l’ASFC; et
• représentants de la CISR^{Note de bas de page 12}

En raison du faible nombre d’entrevues dans chaque groupe interrogé, une approche sommaire d’analyse a été adoptée pour élaborer les thèmes clés (pour les guides d’entrevue, se reporter aux appendices techniques).

2.2.3 Groupes de discussion

On a tenu cinq groupes de discussion avec des agents principaux d’immigration (API) et des agents d’examen et d’intervention (AEI), y compris trois groupes de discussion en personne au bureau des EI de Toronto (17 participants); un groupe de discussion en personne au bureau des EI de Montréal (trois participants) et un groupe de discussion par téléphone avec le bureau des EI de Vancouver (trois participants). On a analysé les résultats des groupes de discussion pour déterminer les thèmes clés liés aux difficultés posées par la mise en œuvre du Projet pilote, les mécanismes de coordination et de communication, et les résultats (se reporter aux appendices techniques pour le guide de l’animateur).

2.2.4 Program Data Analysis

Les données financières et les données sur le rendement disponibles ont été utilisées pour fournir de l’information sur la pertinence et le rendement du Projet pilote. Le continuum des demandeurs d’asile (CDA)^{Note de bas de page 13} as ainsi que les données du Système national de gestion des cas (SNGC) ont été analysés pour déterminer le nombre et le type d’examens et d’interventions réalisés, ainsi que les résultats. Cela a permis d’appuyer l’analyse des contributions du Projet pilote à la préservation de l’intégrité du système d’octroi de l’asile. On a utilisé les données financières du Bureau de la gestion des réformes du système d’octroi de l’asile et de la Direction générale de la gestion financière de CIC pour comparer les dépenses réelles aux dépenses prévues du Projet pilote.

2.3 Limites et considérations

Les limites de l’évaluation, ainsi que les stratégies d’atténuation employées pour les résoudre sont les suivantes :

• Choix du moment de l’évaluation. Au moment de l’évaluation, le Projet pilote avait été mis en œuvre depuis un an seulement. Pour cette raison, la prudence est de mise au moment de la lecture des résultats, étant donné qu’ils peuvent refléter des stades de la mise en œuvre et des problèmes liés à la transition qui sont rattachés à l’élaboration de nouveaux processus opérationnels et de nouveaux outils, ainsi qu’à l’embauche de nouveaux employés. Lorsque les premiers stades de la mise en œuvre sont pris en considération dans les constatations, cela est indiqué dans le rapport.
• Accès aux décideurs de la CISR. Étant donné que la CISR est un tribunal indépendant, il n’a pas été possible d’obtenir les points de vue des décideurs de la CISR, qui auraient pu appuyer l’analyse, l’utilité et la valeur ajoutée des examens et des interventions. L’équipe d’évaluation a plutôt examiné un petit échantillon de décisions de la CISR, qui ont procuré une source d’éléments de preuve par procuration sur l’utilité des interventions. L’équipe d’évaluation s’est également entretenue avec des représentants du greffe de la SPR et de la Section d’appel des réfugiés (SAR) pour obtenir leurs points de vue sur les répercussions du Projet pilote sur les processus du greffe de la CISR.
• Incohérences des données. Les données obtenues du continuum des demandeurs d’asile (CDA) étaient différentes des données extraites d’autres sources d’information administratives (p. ex., extrait du SNGC, rapports sur les paramètres de réussite et tableaux de bord de la Direction générale de la gestion du rendement des opérations [DGGRO]). Cela est en partie attribuable au fait que différents processus opérationnels ont été appliqués aux différentes sources de données. Ces différences sont également le résultat de la période visée par les données saisies, mises à jour ou nettoyées. Par exemple, les données utilisées dans les rapports sur les paramètres de réussite représentent un instantané des données extraites à un moment particulier, tandis que les données recueillies des tableaux de bord correspondent aux données à jour du SNGC, qui peuvent avoir été améliorées ou nettoyées au fil du temps. Pour surmonter ces limites, des données à jour extraites directement du SNGC et validées par la DGGRO on été utilisés. En outre, d’autres sources d’information, en plus des données, on été utilisés pour appuyer les constatations de l’évaluation et renforcer la confiance dans les résultats.

• Précédent
• 1
• 2
• 3
• 4
• 5 (présent)
• 6
• 7
• 8
• Suivant