Conseils sur les méthodes alternatives pour l’évaluation de la compétence orale

Trousse d’outils pour les gestionnaires d’embauche

Table des matières

• Introduction
• Comment concevoir l’évaluation
  • Méthode d'évaluation
  • Suggestion de démarche pour concevoir l’évaluation
  • Élaboration de questions d’entrevue
    • Grands principes (pour tous les niveaux)
    • Questions de niveau B
    • Questions de niveau C
• Comment évaluer les candidates et candidats
• Les niveaux B et C démystifiés
• Exemple de feuille de notes pour les intervieweuses et intervieweurs (niveau B)
• Exemple de feuille de notes pour les intervieweuses et intervieweurs (niveau C)
• Exemple de feuille de cotation pour les intervieweuses et intervieweurs
• Exemple d’entrevue de niveau B
• Exemple d’entrevue de niveau C

Introduction

La Commission de la fonction publique (CFP) offre aux ministères et organismes autorisés une plus grande flexibilité pour pourvoir des postes bilingues en leur permettant d’utiliser des méthodes alternatives d’évaluation de la langue seconde.

La CFP a élaboré la présente Trousse d’outils afin d’appuyer les gestionnaires d’embauche lors de l’évaluation de la compétence orale. Cette trousse comprend :

• de l’information sur la conception de l’évaluation;
• des conseils sur l’évaluation des candidates et candidats;
• des exemples d’entrevue.

Les suggestions et exemples contenus dans cette trousse sont fournis à titre indicatif. D’autres stratégies et méthodes peuvent être utilisées et s’avérer tout aussi valides.

Les postes de niveau A étant plutôt rares, les exemples et conseils fournis touchent principalement l’évaluation des niveaux B et C.

Comment concevoir l’évaluation

Méthode d'évaluation

• L’évaluation peut être menée à l’aide de n’importe quelle méthode, pourvu qu’elle dure au moins 10 minutes pour le niveau B, et 15 minutes pour le niveau C. Cela permettra de recueillir un échantillon linguistique suffisant pour bien évaluer la candidate ou le candidat.
• La prise de notes par les personnes évaluées est laissée à la discrétion des gestionnaires d’embauche.
• L’utilisation d’entrevues semi-structurées est suggérée, mais n’est pas obligatoire.
• Marche à suivre proposée pour les entrevues semi-structurées :
  • Utiliser le même protocole d’entrevue pour toutes les personnes évaluées dans le cadre d’un même processus de dotation.
  • Poser des questions équivalentes à toutes les personnes évaluées.
  • Poser des questions de suivi adaptées à chaque personne, selon un protocole préétabli.
  • Éviter d’utiliser les mêmes questions pour un grand nombre de personnes afin de préserver la confidentialité du contenu de l’évaluation.
  • Évaluer les réponses de manière standardisée, en fonction de critères préétablis.

Suggestion de démarche pour concevoir l’évaluation

1. Se familiariser avec les Normes de qualification relatives aux langues officielles

• Lire les descriptions et les exemples fournis pour tous les niveaux (A, B et C). Cela permet de mieux situer le niveau évalué par rapport aux autres niveaux.

2. Déterminer les éléments à évaluer

• Au niveau B, la personne doit être en mesure de :
• prendre part à une conversation sur des sujets concrets;
• décrire les mesures prises;
• donner des descriptions et des explications factuelles;
• décrire les démarches entreprises ou les événements qui sont arrivés en citant les faits;
• présenter des exposés sur des sujets concrets et répondre à des questions de suivi factuelles;
• etc.
• Au niveau C, la personne doit être en mesure de :
• soutenir une opinion;
• discuter d’idées hypothétiques et conditionnelles;
• donner des explications comportant des éléments compliqués, des questions hypothétiques ou des idées complexes et abstraites;
• faire face à des situations qui exigent de persuader ou négocier, de présenter des arguments complexes;
• donner des conseils aux employés ou aux clients concernant des questions délicates ou complexes;
• etc.
• Relever les aspects et activités qui correspondent le plus à ce que la ou le titulaire du poste à doter devra accomplir. Ceux-ci feront l’objet de l’évaluation.
• S’assurer qu’ils sont suffisamment diversifiés pour vérifier que les personnes évaluées peuvent utiliser leur seconde langue officielle dans diverses situations.

3. Créer le contenu de l’évaluation

• Rédiger les questions ou interventions en vous référant à la section « Élaboration de questions d’entrevue » ci-dessous.
• Examiner une gamme d’options, dont les suivantes :
• Élaborer des questions génériques qui conviennent à toutes les personnes évaluées;
• Élaborer des questions en se fondant sur l’expérience des personnes évaluées.
• Faire réviser le contenu de l’évaluation par quelqu’un d’autre.
• S’assurer que le contenu est de qualité comparable dans les deux langues officielles, s’il y a lieu.
• Tester le contenu au préalable pour s’assurer d’obtenir les résultats escomptés.

Élaboration de questions d’entrevue

Grands principes (pour tous les niveaux)

• Formuler des questions qui visent le bon niveau de difficulté. Cela amène les personnes évaluées à démontrer leur compétence sans les contraindre à répondre à un niveau inférieur ou supérieur à ce qui est exigé pour le poste.
• Pour chaque sujet traité, formuler une question principale et prévoir des questions de suivi.
• Être clair et concis.
• Il est recommandé de lire les questions à voix haute. On doit pouvoir les énoncer facilement pendant l’évaluation.
• Éviter les questions inutilement compliquées. Une personne dont la première langue officielle est la langue évaluée devrait être en mesure de comprendre les questions et d’y répondre.

• Formuler des questions qui permettent aux personnes évaluées de développer une réponse de quelques phrases consécutives. Pour ce faire, privilégier les questions ouvertes et limiter l’utilisation de questions fermées ou à alternative. Les questions ouvertes commencent par un terme interrogatif (comment, pourquoi, etc.) et l'on ne peut y répondre par un simple « oui » ou « non ». Elles permettent d'obtenir un échantillon linguistique plus complet.
  Exemples de questions ouvertes (à privilégier) :
  • Quelles étaient les étapes de ce projet?
  • Comment procédez-vous pour (…)?
  • Quelle a été votre réaction quand (…)?
  Exemples de questions fermées ou à alternative (à éviter) :
  • Est-ce que la première étape de ce projet était la planification? (question fermée)
  • Avez-vous fait ce projet seul ou en équipe? (question à alternative)
  • Devez-vous faire X avant de faire Y? (question fermée)
  • Étiez-vous satisfait ou insatisfait du résultat? (question à alternative)
• Ne pas présenter de sujets qui pourraient heurter la sensibilité des personnes évaluées (p. ex. politique, religion, expériences et situations négatives).
• Élaborer des questions qui permettent d’évaluer la capacité à s’exprimer dans sa seconde langue officielle, et non la connaissance d’un sujet en particulier.
• Formuler des questions qui sont à la portée du niveau évalué, tant sur le plan du vocabulaire que de la grammaire utilisés. Par exemple, il faut éviter d’employer des termes trop spécialisés ou des expressions.
  À faire :
  • Pourquoi ce client était-il en colère?
  • Quelles étaient les étapes de ce projet?
  À éviter :
  • Pourquoi ce client est-il entré en furie?
  • Par quels jalons vous, votre équipe ainsi que vos partenaires d’affaires êtes-vous passés pour mener ce projet à bien?

Questions de niveau B

• Élaborer des questions qui traitent de sujets concrets et factuels liés au monde du travail, c’est-à-dire des questions qui s’orientent vers des faits ou des procédures (étapes à suivre, information requise, etc.).
• Inclure des questions qui permettent d’évaluer la capacité à situer des événements dans le temps (passé, présent, futur).
• Éviter les questions trop simples qui amènent les personnes évaluées à discuter de sujets très familiers et routiniers (niveau A).
• Certaines personnes se contenteront de fournir de courtes réponses. Elles peuvent peut-être en faire plus.
• D’autres fourniront des réponses plus longues, mais simples. Cela peut laisser croire que la personne est plus compétente qu’elle ne l’est en réalité.
• Exemples de questions trop simples :
• Qui fait / a fait X?
• Où travaillez-vous?
• Quand avez-vous fait X?

• Éviter les questions trop complexes qui amènent les personnes évaluées à donner des explications détaillées, à exprimer leur opinion ou encore à discuter de sujets hypothétiques (niveau C). Il est normal que les personnes qui s’expriment au niveau B éprouvent de la difficulté à répondre à ce type de questions. Cela risque de leur causer un stress inutile sans ajouter d’information valable à l’évaluation. Voir la section suivante pour des exemples de questions de niveau C.
• Regarder les vidéos « Comment évaluer le niveau B » et « Conseils pour mener les EPP-B ». Des renseignements pertinents sur l’évaluation du niveau B s’y trouvent.

Questions de niveau C

• Élaborer une ou deux questions exploratoires. Ces questions permettront d’identifier des sujets à approfondir dans le but d’obtenir des explications détaillées.
• Élaborer plusieurs questions qui amènent les personnes évaluées à donner des explications détaillées, à soutenir leur opinion^{Note explicative E1} ou encore à discuter de sujets hypothétiques. S’assurer de varier le type de questions.

Exemples :

• Quelles ont été les répercussions de X sur Y? (explications détaillées)
• Que feriez-vous si (…)? (question hypothétique)
• Que pensez-vous de (…)? (question d’opinion)
• Inclure des questions qui permettent d’évaluer la capacité à utiliser un vocabulaire précis ainsi qu’une grande variété de structures grammaticales et de temps de verbes.
• Éviter les questions trop simples qui amènent les personnes évaluées à discuter de sujets très familiers et routiniers (niveau A).

Comment évaluer les candidates et candidats

Avant l’évaluation

• Prendre connaissance des Normes de qualification relatives aux langues officielles afin de comprendre ce qui est attendu au niveau évalué (A, B ou C).

Pendant l’évaluation

• Évaluer les candidates et candidats en fonction de la norme évaluée. Ne pas les comparer entre eux.
• Évaluer la langue, c'est-à-dire la clarté du message communiqué, et non le contenu des réponses.
• Prendre en considération autant les points forts que les points faibles.
• Déterminer si la personne évaluée peut soutenir une performance égale ou supérieure au niveau évalué de façon constante.

Après l’évaluation

• Faire l’intégration des résultats afin d’obtenir un résultat final (s’il y a plus d’une personne qui fait passer les entrevues).
• Assigner un résultat final :
• Satisfait aux exigences du niveau évalué (réussite)
• Comprend autant les performances qui satisfont tout juste aux exigences du niveau évalué que celles de personnes parfaitement bilingues.
• Ne satisfait pas aux exigences du niveau évalué (échec)
• Comprend autant les performances qui sont légèrement en deçà de la norme que celles qui n’y répondent absolument pas.
• Consigner tout renseignement qui pourrait être utile dans le cadre de séances de discussion informelle ou de séances de rétroaction avec les personnes évaluées.

Les niveaux B et C démystifiés

Voici quelques astuces pour mieux comprendre ce qui est attendu aux niveaux B et C.

1. Prendre connaissance de la description des niveaux A, B et C des Normes de qualification relatives aux langues officielles afin d’être en mesure de mieux différencier chaque niveau.


2. Consulter la description des niveaux B et C de l’Évaluation linguistique à l’oral (voir la section « Niveaux »). Ces descriptions ont été établies par la CFP à partir des Normes de qualification relatives aux langues officielles et brossent un portrait-robot des performances typiques de niveaux B et C.

Exemple de feuille de notes pour les intervieweuses et intervieweurs (niveau B)

Candidat(e) :	Légende	D = Démontré de façon soutenue P = Parfois démontré N = Non démontré ou rarement démontré
Intervieweur(-euse) :
Date :

Indicateurs comportementaux	D / P / N	Notes et exemples
Comprend les questions et les interventions qui portent sur des sujets concrets liés au travail, et qui sont énoncées dans une langue standard, à un débit normal.
Parle avec spontanéité, même si les pauses pour se corriger et pour réfléchir à la grammaire ou au vocabulaire sont évidentes dans les séquences plus longues.
Utilise le vocabulaire nécessaire pour discuter de situations et de sujets concrets et non courants. Des problèmes de vocabulaire peuvent survenir, mais la plupart des passages sont clairs.
Utilise une variété de structures grammaticales simples pour discuter de situations et de sujets concrets et non courants. Situe les événements dans le temps (passé, présent, futur) et lie une série d’éléments simples. Des problèmes de grammaire peuvent survenir, mais la plupart des passages sont clairs.
La prononciation est en général suffisamment claire pour être comprise.
Commentaires généraux :

Exemple de feuille de notes pour les intervieweuses et intervieweurs (niveau C)

Candidat(e) :	Légende	D = Démontré de façon soutenue P = Parfois démontré N = Non démontré ou rarement démontré
Intervieweur(-euse) :
Date :

Indicateurs comportementaux	D / P / N	Notes et exemples
Comprend les questions et interventions complexes qui portent sur des sujets liés au travail, et qui sont énoncées dans une langue standard, à un débit normal.
Possède une élocution relativement naturelle et constante, hésite à l’occasion, mais plutôt pour chercher ses idées (ce qui est normal, même dans la première langue officielle). À ce niveau, la personne ne pourra pas s’exprimer avec la même aisance et au même rythme qu’un locuteur natif.
Utilise un vocabulaire suffisamment étendu pour parler de sujets complexes, abstraits et hypothétiques avec une maîtrise relativement élevée. Les erreurs causent rarement des malentendus.
Utilise une grande variété de structures grammaticales et de temps de verbes qui permettent de parler de sujets complexes, abstraits et hypothétiques avec une maîtrise relativement élevée. Les erreurs causent rarement des malentendus.
La prononciation est généralement très claire.
Commentaires généraux :

Exemple de feuille de cotation pour les intervieweuses et intervieweurs

Candidat(e) :	Date :
Intervieweur(-euse) :	Durée totale de l’évaluation :
Questions : 1- 2- 3- …
Description de la norme (Liste des aspects évalués tirés des Normes de qualification relatives aux langues officielles)

 

Résultat final Niveau requis :	B ☐ C ☐
Satisfait aux exigences du niveau requis (réussite)	☐
Ne satisfait pas aux exigences du niveau requis (échec)	☐
Justification et notes

Exemple d’entrevue de niveau B

A. Posez des questions exploratoires liées au travail. Exemples :

• Quelles sont vos tâches principales au travail?
• Qu'est-ce qui vous intéresse le plus dans ce poste?
• Quels projets importants avez-vous faits à l'école?

B. Posez votre 1re question. Exemples :

• Quelles sont les étapes nécessaires pour faire X?
• Comment faites-vous (...)?
• Que faites-vous quand (...)?

Posez des questions de suivi.

C. Posez votre 2e question. Exemples :

• Expliquez X.
• Décrivez Y.

Posez des questions de suivi.

D. Posez votre 3e question (événement passé). Exemples :

• Dans votre CV, il est indiqué que vous avez fait Z. Décrivez ce que vous avez fait.
• Comment avez-vous réagi quand (...)?
• Pourquoi le client était-il satisfait?

Posez des questions de suivi.

E. Posez votre 4e question (événement futur). Exemples :

• Expliquez quelles seront vos priorités au travail au cours des prochaines semaines.
• Parlez-moi des cours que vous suivrez cette année pour le travail.
• Quels sont vos objectifs de carrière?

Posez des questions de suivi.

Astuces :

• Posez des questions ouvertes pour inciter la personne évaluée à développer sa réponse.
• Choisissez des sujets concrets et factuels.
• Faites en sorte que l’évaluation dure au moins 10 minutes, et que la personne évaluée soit celle qui parle le plus pendant ces 10 minutes.

Exemple d’entrevue de niveau C

A. Posez une ou deux questions exploratoires liées au travail afin d’identifier les sujets à approfondir par la suite. Exemples :

• Quelles sont vos tâches principales au travail?
• Quelles sont les étapes nécessaires pour faire X?
• Dans votre CV, il est indiqué que vous avez fait Z. Décrivez ce que vous avez fait.

B. Posez une question pour obtenir des explications détaillées. Exemples :

• Expliquez comment/pourquoi (aspect complexe du travail de la personne évaluée).
• Quelles ont été les répercussions de X sur Y?

Posez des questions de suivi.

C. Demandez à la personne évaluée de discuter d'une situation hypothétique. Exemples :

• Que feriez-vous si (…)?
• Qu'est-ce qui se serait passé si (...)?

Posez des questions de suivi.

D. Demandez à la personne évaluée de donner et de soutenir son opinion. Exemples:

• Que pensez-vous de (…)? Pourquoi?
• À votre avis, qu'est-ce qui caractérise un bon employé : X ou Y? Pourquoi?
• Selon vous, est-il réellement avantageux de (...)? Pourquoi?

Posez des questions de suivi.

Astuces :

• Posez des questions ouvertes pour inciter la personne évaluée à développer sa réponse.
• Choisissez des sujets complexes, abstraits et hypothétiques.
• Faites en sorte que l’évaluation dure au moins 15 minutes, et que la personne évaluée soit celle qui parle le plus pendant ces 15 minutes. Dans certains cas, la performance pourrait être inégale. Il faudra alors prolonger l’évaluation un peu pour déterminer si la personne évaluée peut soutenir sa performance au niveau évalué de façon constante.