Les simulations

Mises en situation: Pour plus de réalisme

Le présent guide donne des renseignements pratiques sur l'élaboration des mises en situation, ou simulations. On y traite du choix du contenu de la simulation, de la présentation de problèmes aux candidats et de l'évaluation du rendement de ces derniers.

Les mises en situation, ou les simulations, ont pour but de placer les candidats dans des situations réalistes pour les amener à manifester une ou plusieurs qualités pertinentes au poste. Le contenu de la simulation peut provenir directement de situations réelles de travail ou être conçu de façon plus générale et présenter des situations et des problèmes qui ne sont pas particuliers à une situation de travail donnée.

Une caractéristique importante des mises en situation est le fait que les candidats doivent démontrer, au moment du processus de sélection, comment ils effectueront réellement leur travail et les tâches reliées à leur travail.

On peut utiliser les mises en situation pour évaluer autant des qualités simples que des qualités complexes. Par exemple, il est facile d'évaluer une qualité relativement simple comme la capacité d'utiliser une machine donnée, en demandant aux candidats d'en faire directement la démonstration. Des qualités plus complexes, par exemple la capacité de résoudre des problèmes administratifs, peuvent être évaluées en présentant aux candidats un scénario administratif réaliste au cours duquel ils doivent régler des problèmes pertinents.

On peut avoir recours aux mises en situation pour évaluer plus d'une qualité à la fois. Par exemple, une mise en situation visant à évaluer la capacité de résoudre des problèmes administratifs pourrait exiger que les candidats fassent un exposé oral des solutions qu'ils proposent à un problème administratif donné. Ceci permettrait d'évaluer leur capacité à communiquer oralement, en plus de leur capacité à résoudre des problèmes administratifs.

Élaboration des mises en situation: 3 étapes de base

Les mises en situation doivent fournir de l'information qui soit reliée à la ou aux qualités à évaluer. En suivant les trois étapes suivantes, vous vous assurez que la mise en situation élaborée vous fournira des renseignements valables et fiables pour l'évaluation.

Première étape

Déterminer les situations pertinentes au poste.

Deuxième étape

Élaborer le contenu de la simulation.

Troisième étape

Évaluer le rendement des candidats.

Dans ce qui suit, la capacité de donner des conseils professionnels au sein d'un service de consultation servira d'exemple pour illustrer les étapes susmentionnées.

Première étape : Déterminer les situations pertinentes au poste.

Obtenez l'information dont vous aurez besoin pour élaborer l'exercice de simulation.

Comme première étape de l'élaboration de la simulation, commencez par déterminer les situations du poste qui sont pertinentes à la ou aux qualités à évaluer. Le contenu de la simulation sera élaboré à partir de cette information.

Des qualités aux situations de travail pertinentes

Pour chaque qualité à évaluer, demandez-vous:

1. Comment cette qualité se manifeste chez les titulaires? Que font les titulaires chez qui cette qualité est forte? Que font les titulaires chez qui cette qualité est faible? Si un rendement efficace se manifeste par des aspects ou des éléments différents?
2. Quels genres de problèmes font appel à cette qualité? Dans quelles situations cette qualité est-elle démontrée? Quels aspects de la situation sont essentiels, cruciaux ou importants? Quelle est la différence entre des problèmes faciles et des problèmes difficiles?
3. Quelle est l'incidence des différentes mesures qui pourraient être prises dans les différentes situations? Quelle est la différence entre une mesure efficace et une mesure inefficace?

Exemple

Prenons par exemple la capacité de donner des conseils professionnels au sein d'un service de consultation. En posant les questions énumérées ci-dessus, nous pourrions constater ce qui suit:

• Les titulaires de ce poste qui excellent à donner des conseils professionnels savent quelles questions poser,
  
  
  1. écoutent attentivement les préoccupations de leurs clients et
  2. font preuve de persuasion dans la présentation de leurs idées.
• Le face-à-face avec les clients constitue une situation importante et ces rencontres ne se déroulent pas entre deux personnes, mais avec un groupe de clients.
• La satisfaction du client est le résultat le plus important obtenu grâce à une consultation efficace et des conseils professionnels. Dans cette situation, les clients sentent que leurs problèmes sont compris et pris en considération dans la solution proposée; ils trouvent facile de s'y rallier.

Les renseignements ci-dessus fournissent des situations de travail pertinentes qui peuvent être utilisées dans l'élaboration du contenu d'une mise en situation.

Deuxième étape : élaborer le contenu de la simulation

C'est à cette étape que le scénario de la simulation est établi et que les items à y inclure sont choisis ou élaborés. On doit également décider de la façon de présenter l'exercice de simulation aux candidats et de ce que ces derniers auront à faire.

Quelle similitude les items et les scénarios devront-ils avoir avec les situations de travail réelles?

Les items et les scénarios de la simulation peuvent être tirés directement de la situation de travail sans quelque autre modification. Par contre, ils peuvent sembler tout à fait différents, en apparence, de ceux observés dans des situations réelles, mais porteront sur les mêmes qualités.

Fondamentalement, l'exercice de simulation doit offrir la possibilité de voir la ou les qualités en action. Cette exigence est plus importante que la similitude entre le matériel d'évaluation et les tâches réelles du poste. Les points suivants peuvent être utiles pour décider du degré de similitude que les scénarios et le contenu devraient avoir avec les situations de travail réelles.

1. Lorsque la recherche porte sur des compétences générales, le contenu de la simulation ne devrait pas être trop semblable à celui du poste. Prenons, par exemple, l'évaluation de la capacité de résoudre des problèmes. Si les problèmes présentés aux candidats sont trop semblables à ceux auxquels ils font face en cours d'emploi, on ne pourra déterminer si la bonne réponse est attribuable à la capacité de résoudre des problèmes ou au fait d'être familier avec la façon dont ce genre de problème a été traité par le passé. Règle générale, plus la qualité est générale, moins le scénario et le contenu des exercices ont besoin de ressembler aux situations réelles.

Le « double enjeu » : Un problème à éviter

Nous sommes confrontés au problème du « double enjeu » lorsque la démonstration d'une qualité dépend à ce point d'une autre qualité qu'il est impossible d'évaluer cette qualité de façon distincte. Prenons le cas oû une exercice de mise en situation s'appuie fortement sur des connaissances techniques, il est possible que le rendement par rapport à d'autres qualités (p. ex., capacités) qui ne sont pas nécessairement reliées à la maîtrise des aspects techniques soit diminué. Pour résoudre ce problème, on peut évaluer les connaissances en utilisant une autre méthode d'évaluation et on peut élaborer la simulation de façon à minimiser le rôle des connaissances techniques (p. ex., fournir aux candidats des informations de base expliquant les connaissances nécessaires pour effectuer l'exercice de simulation; placer les candidats dans un scénario neutre qui n'exige pas de connaissances techniques; etc.).

2. Lorsqu'il est possible que certains candidats soient familiers avec les fonctions et les attributions du poste ou avec la position de la direction face à un problème courant, le contenu de la simulation ne devrait pas trop ressembler aux situations reliées au poste. Ce genre d'« information privilégiée » procurerait un avantage injuste à certains candidats.

Que les items et le scénario de la simulation soient ou non semblables aux situations de travail, ils devraient être du même niveau de complexité ou de difficulté que celles-ci.

Sous quelles formes peut-on présenter les items de la simulation?

Les formes que peuvent prendre les mises en situation sont presque sans fin; mais ces formes se classent habituellement dans une des trois catégories suivantes:

• Documents écrits: Lettres, notes de service, rapports, propositions de programmes, calendriers d'activités, prévisions financières, rapports des écarts, notes d'accompagnement, plans de travail, organigrammes, etc.
• Appareils: Machines à écrire, terminaux d'ordinateur, machines de traitement de textes, moteurs, outils, etc.
• Matériel audio-visuel: Discussions enregistrées sur bandes magnétoscopiques, films, etc.

Chaque forme possède ses avantages. Les documents écrits, par exemple, sont très polyvalents, faciles à utiliser et à reproduire. D'autres formes sont moins polyvalentes, mais conviennent mieux que les documents écrits pour évaluer certaines qualités.

Lorsque l'exercice de simulation exige une interaction avec des gens, des acteurs peuvent servir à extérioriser les capacités souhaitées (p. ex., capacités d'interviewer, de négocier, de vendre, etc.) pour s'assurer que les candidats aient à relever des défis semblables.

Normalisez votre exercice

Tous les candidats devraient recevoir la même information de base, les mêmes directives et les mêmes échéanciers.

Lorsque les exercices sont « interactifs », comme dans l'évaluation de la capacité d'interviewer ou de négocier, il convient d'avoir une réaction naturelle au comportement du candidat. Il peut être utile en ces circonstances d'avoir recours à un « script adaptable ». Par exemple, si l'on s'attend à ce que les candidats obtiennent de l'information en posant des questions, l'information qui leur sera donnée devrait dépendre des questions posées. Les candidats qui posent le bon genre de questions obtiendront davantage d'information. Toutefois, tous les candidats qui posent la même question devraient recevoir la même réponse. Les réponses qui peuvent être données aux différentes questions constituent un « script adaptable ».

Voici quelques suggestions supplémentaires:

1. Mettez vos directives par écrit. Il est ainsi plus facile de vérifier si elles sont claires et si rien n'a été oublié. Cela permet aussi de s'assurer que tous les candidats reçoivent les mêmes directives. Assurez-vous que les candidats savent ce qu'ils ont besoin de savoir sur la tâche: de combien de temps ils disposent; ce qu'ils doivent rédiger, s'il s'agit d'un texte écrit - combien de pages; si c'est un exposé - à qui il s'adresse et la durée souhaitée; devront-ils s'entretenir avec les membres du jury? avec d'autres candidats?; etc.
2. Certains documents peuvent être remis à l'avance. Pour les simulations plus compliquées, on peut remettre à l'avance aux candidats une série de documents pour étude. Par exemple, la série de documents pourrait leur être postée une semaine avant l'exercice.
3. Fixez des délais convenables. à moins que la vitesse d'exécution du travail soit la qualité à évaluer, les délais doivent permettre à la plupart des candidats de terminer leur tâche.
4. Informez les candidats des qualités qui seront évaluées et des critères qui serviront à évaluer leur rendement (p. ex., vitesse, exactitude, qualité, précision, nombre d'unités, style, une combinaison de ces éléments).

Cette information sera utile au candidat sans compromettre l'instrument d'évaluation.

Reprenons notre exemple

Pour évaluer la capacité de donner des conseils professionnels au sein d'un service de consultation, nous avons décidé de donner aux candidats de la documentation sur un certain problème de politique. Ce problème n'exige pas de connaissances spécialisées ou techniques. On a remis aux candidats les documents une semaine à l'avance pour qu'ils les lisent et se préparent. La prochaine étape consiste en deux réunions d'une heure chacune. Au cours de la première réunion, prévue pour 9 h, le candidat rencontre le jury pour lui poser des questions et obtenir de l'information. Dans la deuxième réunion, prévue pour 13 h, le candidat propose une solution au jury et essaie d'obtenir son accord sur un plan d'action.

Troisième étape : évaluer le rendement des candidats

Définissez d'avance ce que vous cherchez.

En examinant les situations de travail reliées à la ou aux qualités à évaluer (1ère étape), vous avez déjà déterminé l'incidence des différentes mesures possibles ainsi que la différence entre des mesures efficaces et des mesures inefficaces. Cette information sera utile pour évaluer le rendement des candidats.

Il arrive souvent que les qualités soient décomposées en critères d'évaluation. Par exmeple, à partir de notre analyse du poste, nous pouvons décider d'évaluer

1. la qualité des questions posées,
2. dans quelle mesure les candidats sont attentifs aux préoccupations du client et
3. la persuasion dont ils font preuve en présentant leurs idées.

Échelles de cotation

Les échelles de cotation conviennent bien pour évaluer le rendement des candidats dans les mises en situation. Que l'on ait recours à une mesure numérique ou narrative, il est recommandé de décrire chaque niveau de la façon la plus précise possible, avant l'évaluation réelle. Une bonne méthode consiste à décrire les comportements qui devraient obtenir une cote donnée. Ces descriptions de comportements sont parfois qualifiées de « repères ». Les candidats devraient toujours être évalués par rapport à ces repères, et non pas les uns par rapport aux autres.

Ces repères ne sont pas nécessairement « précis », puisqu'il y a souvent plus d'une bonne façon de faire. Dans de tels cas, on pourrait dresser la liste des caractéristiques d'une action efficace. Prenons par exemple l'évaluation de la qualité des questions posées par un candidat. La description repère pour la cote « excellent », ou « 5 sur 5 », serait la suivante: « toutes les questions importantes ont été posées, relativement peu de questions hors de propos ont été posées, les questions sont claires et pertinentes ».

Plusieurs évaluateurs

L'évaluation du rendement des candidats au moyen de mises en situation comporte habituellement des jugements intégratifs. C'est précisément dans ces circonstances que le jugement combiné de plusieurs évaluateurs est préférable. Les opinions des évaluateurs devraient être intégrées par consensus. Chacun d'eux devrait coter le rendement de chaque candidat de façon indépendante. Les cotes des évaluateurs devraient ensuite être comparées. On peut alors discuter des divergences et donner les raisons des différences de cotes. Ensuite, chaque évaluateur devrait accorder une seconde cote et ainsi de suite jusqu'à ce qu'on en arrive à un consensus.

Présentés ainsi, les exercices de simulation sont des exercices d'évaluation très utiles. Ils constituent des instruments d'évaluation solides et fiables. L'avantage de ces exercices est qu'ils peuvent être facilement élaborés par les gestionnaires et les agents de dotation. Même si leur préparation prend plus de temps que certaines autres méthodes traditionnelles d'évaluation, celle-ci fournit au jury de sélection l'occasion d'observer le candidat au moment oû il se sert des qualités nécessaires pour le psote à doter d'une façon très réaliste.

Pour de l'orientation et des conseils sur l'élaboration de mises en situation, vous pouvez communiquer avec les Services de consultation :

Téléphone: 819-420-8671

Télécopieur : 819-420-8594

Courriel : CFP.CPP-PPC.PSC@cfp-psc.gc.ca