Évaluation du Centre des services aux consommateurs
Rapport d'évaluation final

Préparé pour :

Agence de la consommation en matière financière du Canada

Préparé par :

Alison Taylor
Performance Solutions inc.
79, rue Kenilworth
Ottawa (Ontario)  K1Y 3Y6

Courriel : Alison.Taylor@live.com

Date : Novembre 2023

Sauf avis contraire, le contenu de ce document peut, sans frais ni autre permission, être reproduit en tout ou en partie et par quelque moyen que ce soit à des fins personnelles ou publiques, mais non à des fins commerciales. La reproduction et la distribution commerciales sont interdites, sauf avec l’autorisation écrite de l’Agence de la consommation en matière financière du Canada.

Pour de plus amples renseignements, veuillez communiquer avec :

Agence de la consommation en matière financière du Canada

427, avenue Laurier Ouest

Ottawa (Ontario) K1R 7Y2

www.canada.ca/fr/agence-consommation-matiere-financiere

No de catalogue : FC5-91/1-2024F-PDF (PDF électronique, français)

ISBN 978-0-660-72890-2

© Sa Majesté le Roi du chef du Canada, représentée par la ministre des Finances du Canada, juillet 2024

Also available in English under the title: Evaluation of the Consumer Services Centre - Final evaluation report

Sommaire

Pour que l’Agence de la consommation en matière financière du Canada (ACFC) puisse réaliser ses priorités, elle a besoin d’un soutien efficace et rapide de toutes ses directions et de tous ses services. La présente évaluation vise à mettre à la disposition de l’Agence des renseignements stratégiques, objectifs et fondés sur des données probantes à propos du Centre des services aux consommateurs (CSC). Les objectifs de l’évaluation sont d’évaluer le rôle et la fonction que le CSC remplit à l’heure actuelle, et de mettre en évidence les possibilités d’optimiser ses contributions.^{Note de bas de page 1}  Plus précisément, l’évaluation a permis de déterminer dans quelle mesure :

1. le CSC contribue à la réalisation des priorités et des objectifs stratégiques de l’ACFC;
2. des services efficaces et efficients sont offerts aux consommateurs de produits et services financiers.

Concordance avec les objectifs stratégiques de l’ACFC

En théorie, les activités du CSC concordent bien avec le résultat stratégique du Cadre ministériel des résultats (CMR) de l’ACFC, qui est de protéger les consommateurs de produits et services financiers. De plus, les activités du CSC concordent bien avec les objectifs stratégiques du plan d’activités de l’ACFC, soit d’« être la source faisant autorité en matière d’information destinée aux consommateurs canadiens de produits et services financiers » et de « renforcer la littératie financière des Canadiens afin de leur permettre de naviguer à travers un monde de plus en plus numérique ».^{Note de bas de page 2}  En outre, la prestation de services du CSC est conforme aux politiques fédérales, en particulier la Politique sur les services et le numérique du Conseil du Trésor (CT), qui est ancrée dans le principe des services axés sur les clients et dans une culture d’excellence en gestion des services. Toutefois, dans la pratique, les documents organisationnels relatifs au rendement et à la planification, y compris le Cadre ministériel des résultats (CMR), les plans d’activités et les rapports annuels, ne mentionnent que très rarement le CSC. On ne mentionne le CSC que pour indiquer qu’une évaluation officielle sera menée ou déclarer le nombre de plaintes individuelles reçues par son entremise.^{Note de bas de page 3}  Il est donc difficile de comprendre comment, dans la pratique, le CSC contribue à la réalisation des stratégies et des résultats organisationnels. Cette information ne fait pas partie de l’historique du rendement organisationnel.

Le CSC doit raconter son historique de rendement afin de démontrer sa pertinence et sa contribution en lien avec les objectifs stratégiques de l’ACFC et les consommateurs canadiens. Pour mieux comprendre sa mission, le CSC aura besoin de résultats stratégiques et de mesures de rendement clairement définis.

Le CSC a la possibilité d’acquérir une expertise approfondie en ce qui a trait aux enjeux touchant les consommateurs. Cette expertise pourrait être utilisée pour orienter la portée et l’approche des politiques de l’ACFC et contribuer à la résolution de problèmes complexes, ce qui permettrait d’assurer une meilleure harmonisation avec les priorités et les objectifs de l’Agence. Le CSC déploie des efforts importants pour consigner l’information sur les plaintes individuelles et faire un suivi de celles qui font l’objet d’un renvoi à un niveau supérieur, mais semble ne pas en faire assez pour analyser en profondeur ces plaintes afin de cerner les possibles tendances et préoccupations communes, ce qui apparaît être un problème généralisé. La transformation des données en renseignements exploitables est limitée.

Il est nécessaire d’assurer une mobilisation plus stratégique et officielle de la Direction des affaires publiques (DAP), de la Direction de la recherche, des politiques et de l’éducation (DRPE) et de la Direction de la surveillance et de la mise en application (DSMA), ce qui comprend la communication de renseignements. Dans une large mesure, il existe un manque de clarté quant à la nature des renseignements qui devraient être communiqués (leur type ou leur niveau), même si les intervenants internes s’entendent généralement pour dire que les données du CSC pourraient être utilisées comme « système d’alerte précoce » pour les tendances et les enjeux qui se profilent, afin de faciliter la gestion des risques et d’orienter l’élaboration des politiques. Toutefois, le CSC ne possède pas la capacité d’analyse des données nécessaire pour analyser ses propres données afin de communiquer des renseignements sur les tendances et les enjeux qui se profilent à d’autres unités opérationnelles/directions. Une fonction d’analyse des données serait le principal point de contact avec d’autres unités opérationnelles pour améliorer la mesure dans laquelle le rendement et les résultats du CSC cadrent avec les priorités et objectifs stratégiques de l’ACFC. De plus, une fonction d’analyse des données du CSC permettrait d’élaborer de meilleurs renseignements sur le rendement, y compris des indicateurs de rendement clés liés à la satisfaction de la clientèle, à l’efficience et à l’économie. Pour leur part, la DRPE, la DSMA et la DAP devraient donner une rétroaction plus régulière sur la question de savoir si elles utilisent les données du CSC et la manière dont elles les utilisent, le cas échéant. Il faut améliorer la collaboration et la communication entre le CSC et les autres unités opérationnelles en établissant des protocoles plus formels d’analyse des données et d’échange de renseignements.

Des efforts considérables sont déployés pour offrir de la formation et un soutien au personnel de première ligne du CSC qui traite les demandes de renseignements et les plaintes des consommateurs. Toutefois, aucune formation officielle se donnant en classe n’est actuellement offerte aux employés du CSC. Deux types de formation ont été cernés : 1) une formation officielle externe donnée en classe au sujet de l’étiquette des centres d’appels et la gestion des clients difficiles et 2) des séances d’information internes plus régulières sur les nouvelles politiques et initiatives, et sur les lois et règlements de base (p. ex. la Loi sur les banques).

Pour veiller à ce que les services du CSC cadrent davantage avec les priorités de l’Agence et assurer l’exactitude de l’information présentée aux consommateurs, il serait également utile que le CSC soit informé des politiques et des plans plus tôt dans le processus. En général, le fait de savoir plus tôt permet de mieux répondre aux consommateurs et se traduit par une augmentation du niveau de confiance de ceux-ci.

Recommandations

Formation

1. Offrir une formation régulière en classe sur l’étiquette des centres d’appels aux employés actuels et nouveaux, en consultation avec les employés du CSC, en tirant parti de la formation existante utilisée par des centres d’appels ou de contact semblables.
2. Revoir les manuels de formation en consultation avec les employés du CSC et les quatre centres de contact qui ont participé à l’étude de cas menée dans le cadre de l’évaluation, afin de déterminer s’ils devraient être mis à jour, et de quelle façon.
3. À l’instar de ce qui se fait avec la DSMA et en consultation avec les employés du CSC, tenir des séances mensuelles d’échange de renseignements entre la DRPE, la DAP et le CSC concernant les lois (p. ex. Loi sur les banques) et les règlements de base, les priorités clés et les défis et risques actuels.

Analyse de données

4. Établir une fonction d’analyse des données au sein du CSC qui effectuerait des analyses stratégiques des données du centre pour cerner les tendances et les enjeux qui se profilent et qui agirait à titre de principal point de contact pour la communication de renseignements pertinents et opportuns aux intervenants internes de l’ACFC.
5. Mettre sur pied une table ronde de gestion des données composée d’administrateurs de données et d’autres intervenants internes clés pour clarifier les rôles et les responsabilités en matière de gestion des données du CSC et déterminer les ensembles de données et les protocoles d’échange des données, ainsi que le type et la fréquence des analyses de l’information du CSC.
6. Élaborer un cadre ou un plan interne d’échange des renseignements et des données se fondant sur les résultats de la table ronde sur la gestion des données, qui pourrait être mis en œuvre par la nouvelle fonction d’analyse des données du CSC.
7. Envisager de tenir un atelier animé ou une retraite pour énoncer le mandat et les résultats stratégiques du CSC.
8. Élaborer un profil d’information sur le rendement (PIR) qui servirait d’outil pour présenter l’historique du rendement du CSC, y compris les résultats stratégiques et les indicateurs de rendement clés, notamment la satisfaction de la clientèle et l’efficience du service.
9. Rendre des comptes sur un ou plusieurs indicateurs de rendement clés du PIR dans le cadre de la planification des activités et de la production des rapports de l’Agence afin de démontrer la conformité du CSC avec les objectifs stratégiques de l’ACFC et de répondre aux exigences en matière de rapports publics.

Offrir des services efficaces et efficients

Collectivement, les personnes interrogées ont démontré une très bonne compréhension du mandat de base du CSC, qui consiste à contribuer à la réalisation des priorités et des objectifs de l’Agence. Dans leur ensemble, les entrevues montrent que le CSC est perçu comme performant et efficace sur le plan de l’accessibilité et de la rapidité de réponse aux appels et à la correspondance écrite. En effet, il respecte continuellement sa norme de service qui consiste à répondre à 80 % de la correspondance écrite dans un délai de huit jours. Il n’existe actuellement aucune norme de service applicable aux appels téléphoniques en raison de la technologie qui est utilisée depuis la pandémie de COVID, mais le CSC est bien connu pour répondre aux appels rapidement. Les temps d’attente ne sont pas trop longs, comme c’est parfois le cas avec d’autres centres d’appels. Enfin, il est prévu de mettre en place des normes de service applicables aux appels téléphoniques et d’inclure une fonction de sondage après appel dans le nouveau système de gestion du contenu (SGC), afin d’évaluer le rendement des agents.

Il convient de se pencher sur la question de l’efficience des services. Il n’existe actuellement aucune mesure d’efficience permettant d’évaluer si le CSC fournit des services à un bon rapport coût-efficacité. Comme le coût par appel, le coût par ETP et le volume d’appels par ETP (qui sont des mesures d’efficience) n’ont pas été calculés avant la présente évaluation, cette information devrait être considérée comme un point de comparaison dont on pourra se servir ultérieurement aux fins des rapports et des évaluations en matière de rendement. Cela pourrait faire partie d’une fonction d’analyse des données. Il conviendrait d’envisager de rester en liaison avec les autres centres de contact du gouvernement canadien afin de comparer ces informations dans la mesure du possible.

Le CSC a terminé la première des deux phases de mise en œuvre du logiciel Microsoft Dynamics 365.^{Note de bas de page 4}  Ce projet vise à configurer Microsoft Dynamics 365 à l’appui des opérations du CSC. Il comprend la configuration du système Dynamics 365 pour l’exécution des processus opérationnels du CSC qui étaient pris en charge par WebCIMS, l’ancien système de gestion des cas de l’Agence, l’intégration avec le système de services téléphoniques Azure (Omnicanal), et la mise en œuvre des fonctionnalités de tableau de bord et de production de rapports dont le CSC a besoin.^{Note de bas de page 5}  Le résultat attendu est l’amélioration des flux de travail opérationnels, des rapports et des analyses du CSC. Pour qu’on obtienne ce résultat, les termes et les catégories de données utilisés par la DRPE et la DSMA afin de saisir et d’extraire les données devraient être les mêmes que ceux utilisés par le CSC, lorsqu’il existe des ensembles de données communs. À la lumière de la stratégie de données et d’analyse, il n’est pas évident que ce sera le cas. Lorsque la DRPE et la DSMA élaborent leurs glossaires opérationnels, elles devraient en tenir compte pour assurer que les données sont recueillies de façon uniforme d’une direction à l’autre. Bien qu’il y ait des similitudes dans la façon dont les données sont saisies dans le SGC, des efforts supplémentaires doivent être déployés pour déterminer qui sont les propriétaires de quels ensembles de données et qui sont responsables de la qualité des données et de la production de rapports sur les données.

La responsabilité de la correspondance du commissaire incombe actuellement au CSC. Cette fonction a été déléguée au CSC sans évaluation de son incidence sur les ressources et les autres tâches du centre. Il n’existe pas de statistiques ou de rapports distincts sur le volume de correspondance par ETP, mais des entrevues avec certains membres du personnel du CSC ont révélé que cette tâche crée une pression sur les ressources, ce qui a une incidence sur d’autres projets, notamment l’élaboration de documents de formation.

Selon la rétroaction obtenue dans le cadre du sondage auprès des consommateurs, 55 % des consommateurs qui ont communiqué avec le CSC au cours des derniers mois ont déclaré qu’ils étaient en désaccord ou fortement en désaccord en réponse à la question sur la mesure dans laquelle ils étaient d’accord ou non pour dire que le CSC a répondu à leurs attentes. Au total, 57 % des répondants ont déclaré être en désaccord ou fortement en désaccord en réponse à la question sur la mesure dans laquelle ils étaient d’accord ou non pour dire que les renseignements communiqués par le CSC les ont aidés à résoudre leur problème. Au total, 35 % des répondants ont déclaré être en désaccord ou fortement en désaccord en réponse à la question sur la mesure dans laquelle ils étaient d’accord ou non pour dire qu’ils ont reçu des renseignements exacts; 38 % ont donné une réponse neutre. Enfin, 53 % des répondants ont évalué la qualité globale du service offert comme étant faible ou très faible. Au total, 48 % des répondants ont évalué la qualité du service offert comme étant excellente, bonne ou moyenne.

Des discussions avec certains membres du personnel du CSC semblent indiquer qu’il existe une préoccupation générale à l’égard du fait qu’il peut être difficile d’expliquer aux clients que l’Agence ne peut ni régler les plaintes individuelles, ni accorder une indemnisation. La gestion des attentes à cet égard pose un défi. Du point de vue de l’évaluation, il existe un risque que les attentes des consommateurs ne soient pas comblées et qu’elles donnent lieu à un faible taux de satisfaction. Une telle situation peut être causée par une mauvaise compréhension du mandat de l’ACFC ou par des communications externes qui ne sont pas assez claires. Il est donc important de tenir compte de ce contexte lors de l’évaluation des résultats du sondage. Pour les raisons susmentionnées, les résultats du sondage devraient être considérés comme un point de comparaison. Des efforts doivent être déployés pour améliorer la compréhension qu’ont les clients de la portée des services du CSC et de son mandat.

Recommandations

10. Les communications externes du CSC et de l’ACFC devraient énoncer clairement la portée et le mandat du centre de contact ainsi que ses limites.
11. Le sondage sur la satisfaction de la clientèle devrait être répété et les données actuelles devraient servir de point de comparaison pour évaluer les améliorations.
12. Élaborer et mettre en œuvre des indicateurs de rendement pour évaluer l’efficience des services dans le cadre du profil d’information sur le rendement (PIR), y compris le coût par ETP, le coût par appel et le volume d’appels par ETP, qui serviront de base, à l’avenir, pour la mesure du rendement et la production de rapports. On pourrait également envisager d’utiliser la résolution au premier appel, le taux moyen d’abandon d’appel et du taux de transfert.
13. Selon les besoins, dans le cadre de la mise en œuvre de la stratégie de données et d’analyse de l’ACFC, veiller à ce qu’il y ait un vocabulaire commun ainsi que des ensembles de données du SGC pouvant être partagés entre le CSC, la DRPE, la DSMA et la DAP.
14. Entreprendre un examen de l’efficience pour évaluer l’incidence du volume de correspondance du commissaire sur les autres livrables du CSC et élaborer des options de gestion de la charge de travail.

Autorité

La présente évaluation était mentionnée dans le Plan d’activités 2022-2023 de l’ACFC. Voici l’engagement pris dans ce plan :

Contexte

En tant que porte-parole faisant autorité en matière de protection des consommateurs de produits et services financiers, l’ACFC joue un rôle essentiel dans la surveillance du secteur financier fédéral au Canada. La protection des consommateurs est importante pour les Canadiens. Elle renforce la confiance dans le système financier canadien. L’ACFC s’acquitte de son mandat de deux façons principales : en surveillant les institutions financières sous réglementation fédérale et d’autres entités réglementées, et en améliorant la littératie financière des Canadiens grâce à la recherche, à l’éducation et à sa contribution à l’élaboration de politiques. Les ressources budgétaires, les employés et les activités de l’Agence étaient organisés en fonction de ces deux responsabilités essentielles. En 2022 2023, l’ACFC est passée à une seule responsabilité essentielle (voir le Cadre ministériel des résultats), à savoir la protection des consommateurs de produits et services financiers, afin de mieux rendre compte de son approche intégrée à l’égard de la réalisation de son mandat.^{Note de bas de page 6}  L’Agence a deux programmes habilitants, le premier étant la surveillance et la mise en application, et le deuxième étant la recherche, les politiques et l’éducation.

En 2018, le gouvernement du Canada a adopté une loi visant à améliorer la protection des consommateurs et à accorder à l’ACFC des pouvoirs supplémentaires en renforçant son autorité en matière de surveillance. Cette loi a modifié la Loi sur l’Agence de la consommation en matière financière du Canada et instauré un nouveau régime de protection des consommateurs de produits et services financiers (le régime) dans la Loi sur les banques. Le régime constitue un jalon important pour la protection des consommateurs au Canada. À l’appui de sa mise en œuvre, le gouvernement a publié le Règlement sur le régime de protection des consommateurs en matière financière en août 2021. Les derniers éléments du régime sont entrés en vigueur le 30 juin 2022.

En juillet 2021, l’ACFC a publié le document Faisons des changements qui comptent : Stratégie nationale pour la littératie financière 2021-2026. Cette stratégie nationale pour la littératie financière renouvelée présente la vision d’un Canada où chacun peut renforcer sa résilience financière dans un monde de plus en plus numérique. L’ACFC a consulté plus de 90 organismes à l’échelle du pays pour élaborer la stratégie, qui s’appuie sur les leçons tirées à la suite du lancement de la première stratégie en 2015. Les conséquences économiques de la pandémie de COVID 19 se reflètent dans la stratégie. Elle tient compte de l’évolution du marché financier et comprend de nouvelles perspectives de recherche. Elle met l’accent sur les mesures que les intervenants peuvent prendre pour améliorer l’écosystème financier et aider les Canadiens à renforcer leur résilience financière. L’ACFC a tenu des discussions ciblées avec les intervenants afin d’élaborer un plan de mesure pour évaluer l’efficacité des initiatives énoncées dans la Stratégie nationale pour la littératie financière. Le plan a été publié en 2022.^{Note de bas de page 7} 

Pour pouvoir réaliser ses priorités, l’Agence a besoin d’un soutien efficace et rapide de toutes ses directions et de tous ses services. L’objectif général de l’évaluation du Centre des services aux consommateurs est de présenter des renseignements utiles pour évaluer la mesure dans laquelle il peut contribuer à la réalisation du mandat et des priorités de l’Agence et offrir un excellent service aux consommateurs canadiens.

L’ACFC a des obligations multiples et complexes en matière de gestion et de conformité liées aux exigences législatives, notamment en vertu de la Loi sur l’ACFC et de la Loi sur la gestion des finances publiques (LGFP). Cette évaluation n’évalue pas les obligations de l’Agence ou du CSC en ce qui a trait aux exigences législatives ou réglementaires liées à l’ACFC.

Centre des services aux consommateurs

Créé en 2011, le Centre des services aux consommateurs (CSC) interagit de diverses façons avec les consommateurs de produits et services financiers et les intervenants pour aider l’Agence à s’acquitter de son mandat en matière de littératie financière et de protection des consommateurs. Le CSC ne règle pas les différends individuels et n’offre pas de recours ou d’indemnisation.^{Note de bas de page 8} 

Les principales responsabilités du CSC comprennent le traitement, le tri et la consignation des demandes de renseignements des consommateurs. Le CSC est également chargé de faire rapport sur les plaintes des consommateurs, de communiquer aux consommateurs des renseignements sur le traitement des plaintes et de les aiguiller vers des renseignements, des ressources et des outils financiers, au besoin. Dans le cadre de ses échanges avec les consommateurs et d’autres intervenants, le CSC doit parfois traiter de la correspondance qui porte sur des sujets délicats et des questions hautement médiatisées.

Le CSC recueille et communique également des données à l’interne dans le but d’éclairer l’élaboration de politiques et la prise de décisions. Les plaintes reçues directement par le CSC font l’objet d’un tri pour cerner tout manquement aux obligations en matière de pratiques commerciales qu’une entité réglementée pourrait avoir commis. Les plaintes pour lesquelles un manquement potentiel est cerné sont transmises à la DSMA pour qu’un examen plus approfondi soit effectué s’il y a lieu. Pour ce qui est des demandes de renseignements ou des plaintes qui ne se rapportent pas aux obligations en matière de pratiques commerciales dont l’ACFC surveille l’application, l’Agence aiguille les plaignants vers l’organisme de réglementation ou l’organisme de protection des consommateurs compétent, dans la mesure du possible. En 2021-2022, l’ACFC a reçu 4 745 plaintes de consommateurs. De ce nombre, 295 concernaient des mesures de protection des consommateurs dont l’ACFC surveille l’application et ont été renvoyées à l’équipe de la surveillance, pour examen.^{Note de bas de page 9} 

Mesure du rendement et résultats

L’importance accordée aux rapports axés sur le rendement et les résultats des ministères et organismes fédéraux est constante et croissante.

En juillet 2016, le Conseil du Trésor du Canada (CT) a publié la nouvelle Politique sur les résultats. La mesure du rendement est définie par le Secrétariat du Conseil du Trésor (SCT) comme les processus ou systèmes de sélection, d’élaboration et d’utilisation continue de mesures de rendement pour guider le processus décisionnel.^{Note de bas de page 10}  La mesure du rendement est un outil de gestion axé sur les résultats que les institutions fédérales doivent utiliser pour la prise de décisions, l’amélioration du rendement et la production de rapports. La mesure du rendement aide à clarifier les attentes en matière de prestation de services, à favoriser les améliorations et à contribuer à la gestion axée sur les résultats. Elle renforce également la responsabilisation en assurant la transparence en matière de rendement.

La Direction des services intégrés (DSI) assure une surveillance fonctionnelle de l’établissement de la mesure du rendement et de la collecte de données en matière de rendement au sein de l’Agence, et elle est responsable de l’élaboration de mesures de rendement pour l’Agence, ce qui comprend le Cadre ministériel des résultats (CMR) et le profil d’information sur le rendement (PIR). Le rendement de la DSI n’est pas évalué dans le cadre de la présente évaluation, mais elle a été consultée aux fins de celle-ci. Il convient de souligner que, comme l’ACFC n’est pas financée au moyen de crédits, elle n’est pas tenue de préparer un plan ministériel ou un Rapport sur les résultats ministériels. Les exigences en matière de production de rapports annuels qu’elle doit respecter sont prévues dans la Loi sur l’ACFC et comprennent notamment un plan d’activités annuel et un rapport annuel.

Excellence du service

Une importance croissante est accordée à l’objectif de favoriser une culture de l’excellence en matière de service à la clientèle et de veiller à ce que les services soient axés sur les citoyens et les clients et répondent aux attentes en matière de rapidité et de qualité. La Politique sur les services et le numérique du CT décrit les principales exigences liées aux services externes et aux services internes offerts à l’échelle de l’organisation.

La Politique sur les services et le numérique du CT et les instruments à l’appui constituent un ensemble intégré de règles qui indiquent comment les organismes du gouvernement du Canada gèrent la prestation des services, l’information et les données, la technologie de l’information, et la cybersécurité à l’ère numérique. L’objectif de cette politique est le suivant : « L’expérience du client face aux services et les activités opérationnelles du gouvernement sont améliorées par des approches de transformation numérique. » Elle vise également à assurer l’élaboration et la prestation de services axés sur le client dès la conception. La Politique sur les services et le numérique met l’accent sur le client, en assurant une prise en compte proactive, à l’étape de la conception, d’exigences clés de ces fonctions dans le cadre de l’élaboration des activités et des services.^{Note de bas de page 11} 

Cette politique définit le terme « service » comme suit : « Extrant final précis qui comble un ou plusieurs besoins d’un bénéficiaire visé et qui contribue à l’obtention d’un résultat ». Les normes de service représentent un engagement public à fournir un niveau de rendement mesurable auquel les clients peuvent s’attendre dans des conditions normales. Les normes de service sont un élément essentiel pour atteindre l’excellence en matière de service, et elles contribuent directement à une gestion axée sur les résultats et à l’obtention des résultats.^{Note de bas de page 12} 

La Politique sur les services et le numérique du CT s’applique aux services externes et internes du gouvernement du Canada. Bien que les services internes organisationnels ne soient pas inclus dans la portée de la politique, les principes clés de celle-ci sont pertinents. La politique a pour but de veiller à ce que les services soient conçus et fournis en tenant compte des besoins des clients (p. ex. facilité d’accès, exactitude, rapidité) et de la gestion (conformité aux politiques, sécurité et intégrité). La politique exige que « les normes de service et de l’information sur le rendement de la prestation des services prioritaires en temps réel soient mises à la disposition des clients par l’entremise de Canada.ca pour les services externes et des outils internes de collaboration pour les services internes intégrés ». Parmi les autres exigences, mentionnons la mise en place de mécanismes de rétroaction des clients et la résolution rapide des problèmes liés au service à la clientèle.

En vertu de l’article 4.2.1.4 de la Politique sur les services et le numérique du CT, les administrateurs généraux doivent « veiller à ce que les services aient des normes exhaustives et transparentes axées sur les clients, des cibles connexes et de l’information sur le rendement, et ce, pour tous les modes de prestation des services utilisés, et que les renseignements à ce sujet soient offerts sur le site Web du ministère ».

Il est essentiel de mesurer et de respecter les normes de service pour assurer un bon service à la clientèle et gérer efficacement le rendement. Les normes de service aident à clarifier les attentes des clients et des employés, et à favoriser l’amélioration des services. Les Canadiens ont une confiance accrue envers le gouvernement lorsque les normes sont respectées de façon constante. Les ministères et organismes sont encouragés à allouer des ressources pour assurer le respect des nouveaux niveaux de service améliorés. Les services qui ne respectent pas les normes risquent d’éroder la confiance envers le gouvernement.

Collectivement, ces initiatives mettent en évidence l’importance croissante accordée à la gestion des programmes et des services avec une compréhension claire des objectifs que l’on tente d’atteindre et de la façon dont le succès sera mesuré et à quel coût. Par conséquent, on s’attend à ce que le CSC respecte les mêmes principes et exigences que le gouvernement s’est engagé à respecter pour les services externes, notamment en veillant à ce qu’un système efficace de mesure du rendement soit en place, que des normes de service axées sur le client soient élaborées, et que des rapports transparents sur les résultats soient présentés aux Canadiens.

Objectifs de l'évaluation

L’objectif de l’évaluation est de communiquer à l’Agence des renseignements stratégiques, objectifs et fondés sur des données probantes sur le CSC. Les objectifs de l’évaluation sont d’évaluer le rôle et la fonction du CSC à l’heure actuelle, et de mettre en évidence les possibilités d’optimiser ses contributions.^{Note de bas de page 13}  Plus précisément, l’évaluation établira la mesure dans laquelle :

1. le CSC contribue à la réalisation des priorités et des objectifs stratégiques de l’ACFC;
2. des services efficaces et efficients sont offerts aux consommateurs de produits et services financiers.

Cette évaluation a permis d’évaluer la pertinence du programme et le rendement de ce dernier, conformément à la Politique sur les résultats du Conseil du Trésor. Il s’agit de la première évaluation officielle du CSC. Par conséquent, l’évaluation doit être considérée comme un point de comparaison pour les évaluations et les examens de ce service qui seront effectués par la suite.

Méthode

La portée de l’évaluation a été établie à la lumière d’entrevues, d’un examen des politiques pertinentes du CT (p. ex. Politique sur les résultats du CT, Politique sur les services et le numérique du CT) et d’exigences connexes. En outre, les engagements de l’ACFC liés à la mesure du rendement et à l’excellence du service, y compris le Cadre ministériel des résultats, les plans d’activités et les rapports annuels, ont été examinés. Enfin, on a cherché et analysé des évaluations, études et rapports pertinents portant sur des centres de contact semblables.

L’évaluation vise la période de février à novembre 2023.

Une matrice d’évaluation comprenant les enjeux, les questions, les indicateurs et les sources de données d’évaluation a été élaborée au cours de la phase de planification (voir l’annexe B) à la lumière de six sources de données, y compris un sondage sur la satisfaction de la clientèle du CSC.

Plusieurs méthodes ont été utilisées pour évaluer le programme. Les voici :

• Examen des données et des documents : Les données et les documents ont été examinés pour communiquer de l’information sur le CSC et sur son contexte dans le cadre de la phase de planification de l’évaluation, et pour déterminer les réponses aux questions d’évaluation.
• Revue de la littérature : La littérature a été examinée pour obtenir de l’information sur le CSC et sur son contexte dans le cadre de la phase de planification de l’évaluation, et pour déterminer les réponses aux questions d’évaluation. Une recherche a été effectuée afin de déterminer s’il existe des points de repère appropriés dans d’autres administrations.
• Entrevues : Des entrevues structurées ont été menées auprès de 22 intervenants clés de l’ACFC.
• Étude de cas : Une étude de cas portant sur quatre centres d’appels semblables a été menée. Les centres d’appels sont ceux des institutions suivantes : la Banque du Canada, la Société d’assurance-dépôts du Canada, le ministère des Finances et la Commission des valeurs mobilières de l’Ontario. La portée et les questions de l’étude de cas sont tirées de l’énoncé des travaux du contrat.
• Sondage : Un sondage sur la satisfaction de la clientèle a été réalisé.

Il convient de souligner que le rapport final est terminé et a été présenté le 15 décembre 2023, sans réponse de la direction.

Constatations

Les champs d’enquête et les critères suivants sont fondés sur l’énoncé des travaux du contrat, la Politique sur les résultats du CT, la Politique sur les services et le numérique du CT, ainsi que sur des questions d’évaluation normalisées concernant la pertinence, le besoin continu et le rendement (efficacité et efficience). Les constatations et les conclusions ci-dessous sont fondées sur les nombreuses sources de données qui ont été utilisées au cours de l’évaluation. Elles sont présentées par question d’évaluation (pertinence, besoin continu et rendement).

Pertinence et vbesoin continu

Champ d’enquête 1 (interne) : Dans quelle mesure les services du CSC contribuent-ils à la réalisation des priorités et des objectifs stratégiques de l’ACFC? Le CSC recueille-t-il des données et des renseignements utiles ? Comment les autres directions utilisent-elles les renseignements qu’elles reçoivent du CSC? Quelle valeur ajoutée le CSC pourrait-il apporter aux directions de l’ACFC?

Mesure dans laquelle les services du CSC cadrent avec les priorités et les objectifs stratégiques de l’ACFC

En théorie, les activités du CSC cadrent bien avec le résultat stratégique du Cadre ministériel des résultats (CMR) de l’ACFC, qui est la protection des consommateurs de produits et services financiers. Les activités du CSC cadrent également bien avec les objectifs stratégiques du plan d’activités qui consistent à « être la source faisant autorité en matière d’information destinée aux consommateurs canadiens de produits et services financiers » et à « renforcer la littératie financière des Canadiens afin de leur permettre de naviguer à travers un monde de plus en plus numérique ». Il convient également de souligner que le Plan d’activités 2022-2023 de l’ACFC prévoyait l’élaboration d’une stratégie de marketing et de communication afin de « faire mieux connaître son rôle d’organisme de réglementation qui protège les consommateurs de produits et services financiers en surveillant les institutions financières, de même que le travail qu’elle accomplit de concert avec d’autres organismes de réglementation pour veiller à ce que le système financier soit digne de la confiance des consommateurs ».^{Note de bas de page 14}  Bien que la campagne n’ait pas eu lieu, la Direction des affaires publiques cherche à atteindre cet objectif dans le cadre de ses activités continues de communication et de marketing, ce qui pourrait avoir une incidence sur le CSC, plus précisément en faisant augmenter le volume de demandes de renseignements. En outre, le CSC fournit ses services en se conformant aux politiques fédérales, notamment la Politique sur les services et le numérique du CT, qui est ancrée dans les principes des services axés sur les clients et d’une culture d’excellence en matière de gestion des services.

Toutefois, à la lumière d’un examen des documents organisationnels relatifs au rendement et à la planification, y compris le Cadre ministériel des résultats (CMR), les plans d’activités et les rapports annuels, on constate que le CSC n’est que très rarement mentionné. On ne mentionne le CSC que pour indiquer qu’une évaluation officielle sera menée.^{Note de bas de page 15}  Il est donc difficile de comprendre comment, dans la pratique, le CSC contribue à la réalisation des stratégies et des résultats de l’organisation. Cette information ne fait pas partie de l’historique du rendement organisationnel.

Les entrevues ont révélé un consensus selon lequel, en principe, le CSC contribue de manière générale à la réalisation des priorités et des objectifs de l’Agence, mais également le point de vue que le CSC ne répond pas directement aux besoins opérationnels dans la pratique. Par exemple, beaucoup de données actuellement saisies dans le SGC ne sont pas utilisées ou considérées comme pertinentes. Les personnes interrogées ont indiqué que, pour être utiles et pertinentes, les données devaient être analysées sous forme agrégée afin de dégager des tendances et des enjeux.

La possibilité de faire cadrer les services du CSC avec les priorités stratégiques de l’Agence, telles qu’elles sont définies dans le Plan d’activités ou le Cadre ministériel des résultats (CMR), doit être analysée. Le tableau suivant illustre la manière dont le CSC pourrait fournir des services qui cadrent avec les priorités et les objectifs stratégiques de l’Agence et contribuer à la réalisation de ceux-ci.

Liens potentiels entre le CSC et les engagements organisationnels

Comme le montre le tableau, il est possible de mieux intégrer le CSC dans les documents de l’Agence relatifs à la planification et au rendement, ainsi que dans les rapports sur le rendement. Pour ce faire, il faudra que les résultats stratégiques et les mesures de rendement du CSC soient clairement définis. Ce point est abordé plus en détail dans le « Champ d’enquête 3 : Mesure du rendement ».

Les intervenants internes interrogés ont généralement bien compris l’importance du Centre pour garantir un accès équitable et transparent à l’Agence et aider l’ACFC à s’acquitter de son mandat. En outre, l’évaluation a révélé un intérêt manifeste pour le Centre relativement à son potentiel en tant que fonction consultative, de fournir des renseignements sur les tendances et enjeux qui se profilent. Les entrevues et l’analyse documentaire indiquent que le groupe a le potentiel de développer une expertise approfondie concernant les problèmes soulevés par les consommateurs, ce qui serait utile pour définir la portée et l’approche des politiques de l’ACFC et pourrait aider à résoudre des problèmes complexes. Cette expertise permettrait d’assurer une meilleure concordance avec les priorités et les objectifs de l’Agence.

Certaines personnes interrogées ont avancé la possibilité de regrouper le CSC avec d’autres centres d’appel ou de contact, en particulier ceux qui relèvent de la Loi sur les banques. Un tel modèle mériterait d’être étudié, pour savoir s’il est rentable sur le plan de l’efficacité et de l’efficience, notamment en termes d’économies de coûts et de capacité à mieux gérer le volume. La Société d’assurance dépôts du Canada (SADC) a actuellement une entente avec Service Canada pour la prestation d’un service téléphonique dans lequel la SADC est regroupée avec d’autres organisations. Cette entente a permis de réaliser des économies et d’améliorer l’efficacité des services, tout en permettant à la SADC de faire face à toute augmentation imprévue du volume d’appels. Cependant, comme les agents d’appels ne traitent pas exclusivement le contenu de la SADC, la courbe d’apprentissage est importante pour acquérir les connaissances nécessaires. Les agents polyvalents coûtent plus cher, ont des besoins en formation plus élevés et sont moins efficients pour chaque compétence individuelle, mais ils permettent de gérer avec plus de souplesse les différents types de services. En revanche, les agents spécialisés coûtent moins cher en salaires et en formation, et il peut être plus facile de les gérer. Le taux de roulement des agents d’appels polyvalents est également plus élevé, ce qui implique un réinvestissement continu dans la formation. Cela pourrait se traduire par une baisse de la qualité et de l’exactitude des renseignements fournis et par des risques accrus d’atteinte à la réputation. Pour mieux gérer ces risques, la SADC travaille actuellement à l’élaboration d’une stratégie pour les services des centres de contact fournis par Service Canada. Le recours à une combinaison d’agents spécialisés et polyvalents pourrait permettre d’améliorer le rendement. Le fait de recourir à un petit nombre d’agents polyvalents peut faire la différence, notamment du fait de la réduction du volume de formation et d’une plus grande souplesse dans la gestion des différents types de services.^{Note de bas de page 16}

Mesure dans laquelle les renseignements fournis par le CSC sont utilisés pour éclairer le processus décisionnel et l’établissement des priorités de l’ACFC

Le CSC fournit actuellement des rapports réguliers sur le volume des appels et de la correspondance écrite, ainsi que sur les trois principaux motifs d’appel sous forme de puces. Il consigne également les coordonnées de chaque personne dans le nouveau système de gestion du contenu (SGC) de Microsoft Dynamics. Lors des entrevues, le personnel du CSC et les représentants des directions opérationnelles ont fait remarquer qu’il y avait un manque de collaboration avec les autres directions en ce qui concerne l’information et les données du CSC. Il s’agit généralement d’une communication à sens unique, l’employé du CSC fournissant des informations sur un problème potentiel à une unité opérationnelle particulière, avec peu ou pas de retour sur l’utilité ou l’utilisation de ces informations, à moins que la direction (DRPE ou DSMA) ne le contacte pour demander plus d’informations. Il serait utile que la DAP, la DRPE et la DSMA fournissent une rétroaction plus régulière sur la question de savoir si les données du CSC sont utilisées et le cas échéant, sur la façon dont elles le sont. Il serait également utile d’informer plus tôt dans le processus le CSC que des lignes directrices ou des dispositions législatives sont en cours d’élaboration ou qu’une consultation est prévue. En général, le fait de savoir à l’avance permet de mieux répondre aux consommateurs et de renforcer leur niveau de confiance. Le CSC doit être considéré comme une extension interne permanente des équipes de la DRPE et de la DSMA.

Pour sa part, le CSC semble bien intégré aux autres unités opérationnelles de la DAP et utilise souvent les informations élaborées par l’équipe Information aux consommateurs comme source d’information pour rédiger des projets et répondre aux consommateurs qui communiquent avec le CSC.

Du point de vue de l’échange des données, il faut améliorer la collaboration et la communication entre le CSC et les unités opérationnelles de la DSMA et de la DRPE, en établissant des protocoles plus formels. En outre, il est nécessaire de clarifier le processus opérationnel pour l’acheminement des informations et des données du CSC aux autres unités opérationnelles de l’Agence. On ne sait pas clairement si les données saisies dans le SGC sont utilisées par d’autres unités opérationnelles et, dans l’affirmative, quand elles le sont et les fins auxquelles elles sont utilisées. Par conséquent, la capacité du CSC de maximiser son potentiel d’apporter une valeur ajoutée et de contribuer à la prise de décisions et à l’établissement des priorités est limitée. Si le CSC comprenait mieux comment les données ont été utilisées ou non utilisées, cela pourrait donner lieu à l’élaboration de meilleures données et à des analyses qui sont plus utiles pour les unités opérationnelles de la DSMA et de la DRPE.

Le CSC déploie des efforts importants pour consigner l’information sur les plaintes individuelles et faire un suivi de celles qui font l’objet d’un renvoi à un niveau supérieur, mais semble ne pas en faire assez pour analyser en profondeur ces plaintes afin de cerner les possibles tendances et préoccupations communes, ce qui apparaît être un problème généralisé. En d’autres termes, le contenu des requêtes des consommateurs semble être consigné adéquatement, mais il n’est pas suffisamment analysé pour permettre de dégager des tendances et des enjeux qui se profilent. La transformation des données en renseignements exploitables est limitée. Le CSC fournit des renseignements opérationnels exploitables (principalement à la DSMA, mais aussi à l’équipe Information aux consommateurs pour les pages Web), mais ne le fait pas régulièrement.

Des procédures sont en place pour la saisie d’informations dans WebCims, le SGC qui était utilisé avant le développement du nouveau système Microsoft Dynamics, pour les tâches quotidiennes, les messages vocaux, l’acheminement des plaintes, etc. Ces procédures sont documentées individuellement dans des courriels et il ne semble pas y avoir de document unique et centralisé sur les procédures. En outre, il ne semble pas y avoir de critères formels (par exemple, le niveau de risque) ou de processus (par exemple, des notes d’information) pour renvoyer les problèmes aux échelons supérieurs. Il semblerait que les problèmes soient, pour la majorité, transmis aux échelons supérieurs par courriel, avec peu ou pas d’analyse, ce qui peut expliquer en partie pourquoi certains intervenants internes pensent ne pas bien comprendre ce que fait le CSC ou la valeur ajoutée qu’il pourrait apporter à la prise de décisions et à l’établissement des priorités en fournissant une analyse des enjeux et des tendances à partir de ses données. Les entrevues avec les principaux intervenants internes ont confirmé cette observation. Les employés du CSC ont indiqué que le renvoi ou l’acheminement des plaintes aux échelons supérieurs semble souvent être une décision fondée sur le jugement de chacun. Par conséquent, bien que la façon de faire soit clairement définie, les employés du CSC ne savent pas toujours si un problème doit être renvoyé et quand il doit l’être.

Les entrevues ont révélé que les rôles et les responsabilités en matière d’analyse des données du CSC n’étaient pas bien compris. Certains membres du personnel du CSC estimaient qu’ils n’étaient pas responsables des données une fois qu’elles avaient été entrées dans le système; d’autres directions ont estimé qu’elles n’étaient pas l’administrateur des données. Les gens s’attendent à ce que le CSC fournisse lui même une analyse des données. Pour sa part, le CSC ne dispose pas des ressources ou de l’expertise nécessaires pour le faire.

Dans l’idéal, le CSC devrait être une entité bidirectionnelle – les clients externes sont les consommateurs de produits et services financiers canadiens. Mais il existe aussi des clients internes – les deux directions opérationnelles et, en outre, la DAP et la DSI. À l’interne, le CSC doit être mieux placé pour transmettre les bonnes informations au bon moment à l’unité opérationnelle interne ou au client concerné, de manière à soutenir et éclairer la prise de décisions et l’établissement des priorités. Pour leur part, la DAP, la DSMA et la DRPE doivent fournir des informations sur les activités prévues de manière plus proactive et plus précoce.

Mesure dans laquelle les directions opérationnelles de l’ACFC sont satisfaites du niveau d’information fourni

L’approche actuelle est transactionnelle, mais il faudrait une collaboration plus stratégique et plus formelle avec la DAP, la DRPE et la DSMA, ce qui comprend la communication de renseignements. Les personnes interrogées à l’interne ont généralement estimé que les données actuelles n’étaient pas utiles ou pertinentes pour la prise de décisions ou l’établissement de priorités; dans la plupart des cas, cela résultait d’un manque d’analyse des tendances. Actuellement, les données du CSC stockées dans le SGC sont des dossiers d’appels individuels et de la correspondance écrite. Les entrevues menées à tous les niveaux de l’ACFC ont révélé que, dans une large mesure, il existe un manque de clarté quant au type ou niveau d’information qui devrait être fourni, bien que les intervenants internes s’entendent généralement pour dire que les données du CSC pourraient être utilisées comme « système d’alerte précoce » pour les tendances et les enjeux qui se profilent afin de faciliter la gestion des risques.

Le CSC dispose des ressources et des outils nécessaires pour contribuer efficacement à la réalisation du mandat et des priorités de l’ACFC.

L’examen des documents et les entrevues montrent que des efforts importants ont été déployés pour fournir une formation et un soutien au personnel de première ligne du CSC qui traite les demandes de renseignements et les plaintes des clients. Toutefois, aucune formation en bonne et due forme n’est actuellement dispensée aux employés du CSC. Les employés du CSC estiment que la majeure partie de la formation se fait « sur le tas » et qu’ils se familiarisent avec le type de renseignements à fournir aux clients principalement à partir de « macros » préautorisées et en se renseignant les uns les autres. Toutefois, il convient de souligner qu’il existe un guide de référence qui contient des exemples de réponses à des types de plaintes particuliers. Il existe également un manuel d’aide au personnel du CSC qui explique en détail comment gérer la correspondance écrite. Ces documents sont en cours de révision. Par conséquent, il pourrait être opportun de revoir ces guides avec les agents du CSC et les quatre centres d’appel qui ont participé à l’étude de cas menée dans le cadre de l’évaluation, afin de déterminer s’ils doivent être mis à jour et comment ils doivent l’être. Le ministère des Finances dispose d’un manuel de formation sur les procédures, intitulé « Guide to Responding to Public Inquiries in a Hybrid Workplace » (Guide pour répondre aux demandes du public dans un milieu de travail hybride) (février 2023), lequel peut servir de pratique exemplaire à cet égard.

La formation n’améliore pas seulement le service à la clientèle, elle peut aussi contribuer à réduire le taux de roulement du personnel en améliorant la satisfaction des employés. Les employés du CSC ont exprimé le souhait de bénéficier d’une formation plus formelle dans un certain nombre de domaines, de manière à faciliter la gestion des consommateurs externes et la communication interne de renseignements et de données. Ceci est particulièrement important pour les nouveaux employés du CSC. Deux types de formation ont été cernés : 1) une formation officielle externe se donnant en classe sur l’étiquette des centres d’appels et la gestion des clients difficiles et 2) des séances d’information internes plus régulières sur les nouvelles politiques et initiatives, ainsi que sur les lois et les règlements de base (par exemple, la Loi sur les banques). Un modèle de formation est celui de la Commission des valeurs mobilières de l’Ontario (CVMO), qui s’appuie sur la formation en matière de gestion des clients difficiles dispensée par un hôpital local. De même, la Banque du Canada s’appuie sur la formation dispensée par le Centre de détresse d’Ottawa et sur la formation des guides du Musée canadien de l’histoire. En outre, la CVMO a constaté qu’il était important de se tenir au courant des tendances législatives, réglementaires et commerciales; des réunions hebdomadaires sont organisées avec l’équipe pour faire le point sur les enjeux émergents. Les entrevues avec le personnel du CSC ont aussi révélé que les « macros » étaient obsolètes et qu’elles devaient être mises à jour.

Enfin, comme indiqué ci dessus, le CSC ne dispose pas d’une capacité d’analyse des données semblable à celle dont disposent d’autres équipes (par exemple, RADAR). Cette fonction pourrait être utilisée pour analyser les plaintes des consommateurs et d’autres appels dans le but de déceler des tendances et enjeux qui se profilent. Comme l’indique la stratégie de données et d’analyse, pas plus tard qu’au cours de l’exercice 2016 2017, l’ACFC était une petite agence comptant moins d’une centaine d’employés et disposant d’un budget de moins de 20 millions de dollars. Le rapport indique que : 

Le renforcement des capacités de l’Agence en matière de données et d’analyse constitue une priorité essentielle de la stratégie. Il en va de même pour le CSC, qui ne dispose pas de la capacité d’analyse des données nécessaire pour analyser ses propres données en vue de fournir de l’information sur les tendances et les enjeux qui se profilent à d’autres unités opérationnelles ou à d’autres directions. En règle générale, l’entité qui recueille les données est également tenue de les analyser afin de mieux comprendre ses propres activités.

La fonction d’analyse des données susmentionnée permettrait de fournir des données plus solides sur le rendement, notamment des indicateurs de rendement clés liés à la satisfaction des clients, à l’efficience et à l’économie. Cette fonction agirait à titre de principal point de contact avec d’autres unités opérationnelles, y compris la DSI, afin d’améliorer la concordance du rendement et des résultats du CSC avec les priorités, les objectifs stratégiques et les documents connexes de l’ACFC, y compris le Cadre ministériel des résultats (CMR), les plans d’activités et les rapports annuels.

Recommandations

1. Offrir une formation régulière en classe sur l’étiquette des centres d’appels aux employés actuels et nouveaux, en consultation avec les employés du CSC, en tirant parti de la formation existante utilisée par des centres d’appels ou de contact semblables.
2. À l’instar de ce qui se fait avec la DSMA et en consultation avec les employés du CSC, tenir des séances mensuelles d’échange de renseignements entre la DRPE, la DAP et le CSC concernant les lois (p. ex. Loi sur les banques) et les règlements de base, les priorités clés et les défis et risques actuels.
3. Revoir les manuels de formation en consultation avec les employés du CSC et les quatre centres de contact qui ont participé à l’étude de cas menée dans le cadre de l’évaluation, afin de déterminer s’ils devraient être mis à jour, et de quelle façon.
4. Établir une fonction d’analyse des données au sein du CSC qui effectuerait des analyses stratégiques des données du centre pour cerner les tendances et les enjeux qui se profilent et qui agirait à titre de principal point de contact pour la communication de renseignements pertinents et opportuns aux intervenants internes de l’ACFC.
5. Mettre sur pied une table ronde de gestion des données composée d’administrateurs de données désignés dans la stratégie de données et d’analyse et d’autres intervenants internes clés pour clarifier les rôles et les responsabilités en matière de gestion des données du CSC et déterminer les ensembles de données et les protocoles d’échange des données, ainsi que le type et la fréquence des analyses de l’information du CSC.
6. Élaborer un cadre ou un plan interne d’échange des renseignements et des données se fondant sur les résultats de la table ronde sur la gestion des données, qui pourrait être mis en œuvre par la nouvelle fonction d’analyse des données du CSC.

Champ d’enquête 2 (externe) : Dans quelle mesure existe-t-il un besoin continu pour les services du CSC ?

Exigences législatives

Les Canadiens éprouvent toujours le besoin de faire appel au Centre des services aux consommateurs de l’ACFC et de recevoir des informations par tous les moyens mis à leur disposition (téléphone, Internet, correspondance écrite). Le fondement législatif du CSC repose sur la Loi sur les banques (article 627.54) qui stipule 

Volume d’appels comparativement à celui d’autres centres de contact^{Note de bas de page 18} 

Au total, le CSC a répondu à 7 767 appels en 2022-2023. Le volume total de tous les contacts avec le CSC s’est chiffré à 13 094 contacts en 2022-2023, ce qui comprend les appels et la correspondance écrite. L’étude de cas ne contenait pas suffisamment de données probantes concernant le volume total de contacts et le volume total d’appels des quatre centres de contact pour entreprendre une analyse comparative. Par conséquent, les chiffres du CSC doivent être considérés comme un point de comparaison pour les analyses du rendement et les rapports qui seront effectués à l’avenir.

Rendement

L’évaluation du rendement consiste à évaluer la mesure dans laquelle le programme a atteint ses objectifs et la mesure dans laquelle il est capable de le faire à un bon rapport coût-efficacité, d’une façon qui démontre l’économie et l’efficience.

Champ d’enquête 3 : Le CSC a mis en œuvre des processus et des pratiques de mesure du rendement suffisamment robustes.

Les normes de service et les autres indicateurs de rendement qui existent à l’heure actuelle sont appropriés et pertinents :

L’un des principaux objectifs de ce champ d’enquête est d’évaluer l’état actuel de la mesure du rendement du CSC et de formuler des recommandations sur la manière dont le CSC peut mettre en place un système de mesure du rendement solide et pertinent. Le système de mesure du rendement du CSC nécessite un leadership fort pour que l’élaboration et l’utilisation de données sur le rendement pour énoncer les résultats arrivent à maturité. Il existe des données probantes indiquant la présence d’un leadership efficace et d’une bonne gouvernance pour appuyer la mesure du rendement. En outre, il existe des données probantes indiquant qu’en se fondant sur la structure de gouvernance actuelle de l’Agence, celle-ci a le potentiel d’utiliser des approches intégrées dans le cadre de ses activités actuelles et prévues de mesure du rendement et de planification en ce qui a trait au CSC. Toutefois, dans la pratique, le CSC n’est pas inclus dans le Cadre ministériel des résultats et ce service est rarement mentionné dans les plans d’activités et les rapports annuels. Le CSC rend des comptes sur certaines mesures dans le cadre du Répertoire de services du GC. Toutefois, pour accroître sa pertinence, le CSC doit raconter un meilleur historique de rendement et être mieux intégré dans les processus actuels de planification et de production de rapports de l’Agence. En outre, le CSC doit définir clairement son mandat, sa mission et les résultats attendus aux fins de l’élaboration d’un système de mesure du rendement plus solide. Il pourrait être avantageux d’envisager de tenir un atelier animé ou une retraite.

Il pourrait être utile d’avoir un cadre de mesure du rendement ou un profil d’information sur le rendement (PIR) pour le CSC. Un PIR permettrait de présenter l’historique de rendement, d’élaborer des indicateurs de rendement clés (IRC) et des normes de service, de canaliser les efforts de collecte de données, et de produire des rapports plus stratégiques pour la haute direction. Un PIR permettrait également d’établir des liens (et d’assurer la conformité) entre le CSC et le Cadre ministériel des résultats. Un PIR pour le CSC pourrait servir d’outil de travail et ne doit pas nécessairement faire officiellement partie du CMR. Comme solution de rechange à un PIR, l’ajout d’un IRC ou deux dans le Cadre ministériel des résultats et dans tout PIR élaboré pour la DRPE ou la DSMA permettrait de renforcer les liens entre le CSC et les priorités organisationnelles et favoriser une meilleure coordination de l’échange de données, de la gestion des données et de la production de rapports. Cette option permettrait également d’établir les liens nécessaires pour exposer clairement comment le CSC contribue à la réalisation des priorités et des objectifs organisationnels et guider les contributions du CSC au Plan d’activités.

L’examen de la documentation fournie révèle que l’accent est mis sur des données volumétriques, à savoir le nombre et la fréquence des appels et autres formes de contacts avec le CSC. Les informations qualitatives sur le rendement des services du CSC ne sont pas suffisantes, notamment en ce qui concerne la satisfaction des clients. Il est donc difficile d’évaluer le rendement des services dans une perspective de services axés sur les clients. L’évaluation a permis de déterminer qu’il existe deux (2) normes de service en vigueur pour la correspondance écrite. Aucune n’a été conçue ou mise en œuvre en tenant compte des commentaires des clients, car le CSC ne dispose pas actuellement d’un mécanisme pour obtenir la rétroaction des clients, comme un sondage de satisfaction de la clientèle.

Il n’existe actuellement aucune norme de service pour les appels téléphoniques, faute de moyens technologiques, bien qu’il y ait eu un système d’évaluation des appels avant la pandémie de COVID-19. Le nouveau système de téléphonie Omnicanal qui a été mis en place à l’automne 2023 prévoit l’utilisation des critères suivants pour évaluer le rendement des agents d’appels :

• Présentation
• Compétences non techniques (bonne grammaire, empathie, etc.)
• Recherche d’informations (capacité à trouver les bonnes informations)
• Connaissance des produits (fournir des informations détaillées et précises)
• Fin de l’appel^{Note de bas de page 19} 

Pris ensemble, ces critères pourraient être considérés comme une mesure de la qualité des appels pour les agents. La plupart des centres calculent cette mesure en attribuant une note globale à chaque interaction, laquelle comprend souvent plusieurs mesures de base de satisfaction de la clientèle, telles que celles mentionnées ci dessus. Le nouveau système prévoit également un sondage consécutif à l’appel qui évaluera la satisfaction des clients. La durée des appels est différente de la durée moyenne de traitement, qui est le temps moyen qu’un agent consacre à chaque appel, depuis le moment où l’appel est pris jusqu’à ce que l’agent ou le client raccroche, et qui comprend le temps de conversation, le temps d’attente et le temps de travail après l’appel.

Le CSC applique actuellement les normes de service suivantes :

Il convient de noter que l’enregistrement des appels n’est pas possible avec la technologie en place à l’heure actuelle, mais qu’il est prévu que cette fonctionnalité soit déployée dans le nouveau système de téléphonie Omnicanal.

Recommandations

7. Envisager de tenir un atelier animé ou une retraite pour énoncer le mandat et les résultats stratégiques du CSC.
8. Élaborer un profil de l’information sur le rendement (PIR) qui servirait d’outil pour présenter l’historique du rendement du CSC, y compris les résultats stratégiques et les indicateurs de rendement clés, notamment la satisfaction de la clientèle et l’efficience du service.
9. Rendre des comptes sur un ou plusieurs des indicateurs de rendement clés du PIR dans le cadre de la planification des activités et de la production de rapports de l’Agence afin de démontrer la conformité du CSC avec les objectifs stratégiques de l’ACFC et de répondre aux exigences en matière de rapports publics.

Champ d’enquête 4 : Dans quelle mesure le CSC a-t-il obtenu les extrants et les résultats attendus?

Niveau de compréhension du rôle et des activités actuelles du CSC au sein de l’Agence

Comme il a été mentionné précédemment, les personnes interrogées ont collectivement démontré une solide compréhension du mandat de base du CSC qui est de contribuer à la réalisation des priorités et des objectifs de l’Agence. Toutefois, son rôle interne de soutien des directions opérationnelles est compris moins clairement par les intervenants, notamment en ce qui concerne les données et l’information qui devraient être fournies pour éclairer la prise de décisions et l’établissement des priorités.

Niveau de satisfaction de la clientèle comparativement à celui de centres de contact semblables

Prises collectivement, les entrevues démontrent que les gens perçoivent que le CSC a un bon rendement en ce qui a trait à l’accessibilité du service et à la rapidité de réponse aux appels et à la correspondance écrite. En fait, elle respecte continuellement sa norme de service prévoyant que les employés doivent répondre à 80 % de la correspondance écrite dans un délai de huit jours. Il n’y a actuellement aucune norme de service pour les appels téléphoniques compte tenu de la technologie en place depuis la pandémie de COVID-19, mais le CSC est bien connu pour répondre aux appels rapidement. Les temps d’attente ne sont pas trop longs, comme c’est parfois le cas avec d’autres centres d’appels.

Le degré d’exactitude de l’information est moins bien connu, car il n’y a pas de mesure du rendement connexe. Cependant, le processus opérationnel d’apprentissage en milieu de travail peut nécessiter beaucoup de travail. Les agents doivent développer leur expertise à partir d’un ensemble de quelque 600 « macros » ou réponses préétablies aux demandes de renseignements. Les mises à jour de cette information ne sont pas toujours effectuées en temps opportun et la collaboration entre les directions opérationnelles (DSMA et DAP) et le CSC à cet égard pourrait être améliorée.

Comme il n’y a pas en ce moment d’IRC ou de renseignements sur le rendement liés à la satisfaction de la clientèle, un sondage auprès des clients a été mis à l’essai dans le cadre de l’évaluation. Une mesure traditionnellement utilisée pour les centres de contact, la cote de satisfaction de la clientèle (CSAT), a été employée pour mesurer la satisfaction de la clientèle à l’aide des données obtenues au moyen du sondage. Généralement, les centres de contact recueillent des données pour cette mesure en demandant aux clients d’évaluer leur niveau de satisfaction sur une échelle de 1 à 5. Il s’agit donc de la méthodologie qui a été utilisée pour évaluer la satisfaction des clients du CSC à l’égard de leurs appels.

Les critères suivants ont été utilisés :

• service conforme aux attentes
• résolution du problème
• renseignements exacts
• satisfaction à l’égard de la qualité globale du service fourni

Les critères sont dérivés du sondage annuel visant les centres d’appels mené par l’Institut des services axés sur les citoyens (ISAC).

Le sondage auprès des consommateurs a été publié sur le site Canada.ca et on a demandé aux membres du public de le remplir s’ils avaient récemment utilisé les services du CSC. Au terme d’un appel avec un consommateur, le représentant du CSC lui demandait s’il voulait répondre à un sondage sur le service qu’il avait reçu. Ensuite, le sondage était envoyé par courriel au consommateur. Cela dit, si le consommateur avait des préoccupations en matière de protection des renseignements personnels en lien avec la communication de son adresse de courriel, il était invité à répondre au sondage sur une page Web du site Canada.ca. Le sondage était accessible sur un site public et n’importe qui pouvait y répondre. Le sondage a également été envoyé par courriel aux consommateurs qui ont reçu une réponse du CSC. Les données utilisées ci-dessous sont une combinaison de celles obtenues avec le sondage accessible sur le site Canada.ca et les sondages envoyés par courriel aux consommateurs. Les mêmes questions de sondage ont été utilisées pour tous les consommateurs. Au total, 128 réponses ont été reçues.

Question 1 : Dans quelle mesure êtes-vous d’accord ou non pour dire que le Centre de services aux consommateurs de l’ACFC a répondu à vos attentes ? (128 réponses)

Questrion 2 : Dans quelle mesure êtes-vous d’accord ou non pour dire que les renseignements communiqués par le Centre de services aux consommateurs de l’ACFC vous ont aidé à résoudre votre problème? (128 réponses)

Question 3 : Dans quelle mesure êtes-vous d’accord ou non pour dire que vous avez reçu des renseignements exacts ? (128 réponses) 

Question 4 : Comment évaluez-vous la qualité globale du service offert ? (128 réponses)

Au total, 55 % des gens ont répondu qu’ils étaient en désaccord ou fortement en désaccord à la question sur la mesure dans laquelle ils étaient d’accord ou non pour dire que le CSC a répondu à leurs attentes. Au total, 57 % ont répondu qu’ils étaient en désaccord ou fortement en désaccord à la question sur la mesure dans laquelle ils étaient d’accord ou non pour dire que les renseignements communiqués par le CSC les ont aidés à résoudre leur problème. Au total, 35 % des gens ont répondu qu’ils étaient en désaccord ou fortement en désaccord à la question sur la mesure dans laquelle ils étaient d’accord ou non pour dire qu’ils ont reçu des renseignements exacts; 38 % ont donné une réponse neutre. Enfin, au total, 53 % des gens ont évalué la qualité globale du service offert comme faible ou très faible, alors que 48 % l’ont évaluée comme excellente, bonne ou moyenne.

Des discussions avec certains membres du personnel du CSC semblent indiquer qu’il existe une préoccupation générale à l’égard du fait qu’il peut être difficile d’expliquer aux clients que l’Agence ne peut ni régler les plaintes individuelles, ni accorder une indemnisation. La gestion des attentes à cet égard pose un défi. Du point de vue de l’évaluation, il existe un risque que les attentes des consommateurs ne soient pas comblées et qu’elles donnent lieu à un faible taux de satisfaction. Une telle situation peut être causée par une mauvaise compréhension du mandat de l’ACFC ou par des communications externes qui ne sont pas assez claires. Il est donc important de tenir compte de ce contexte lors de l’évaluation des résultats du sondage. Pour les raisons susmentionnées, les résultats du sondage devraient être considérés comme un point de comparaison. Des efforts doivent être déployés pour améliorer la compréhension qu’ont les clients de la portée des services du CSC et de son mandat.

Le fait que les résultats du sondage sur la satisfaction de la clientèle du CSC soient le reflet d’un faible niveau de compréhension du type de services que celui-ci peut offrir n’est pas surprenant. Le CSC n’est pas un centre d’appels ou de contact typique qui règle les plaintes individuelles. Il est limité par son mandat et il fournit des connaissances et des renseignements de nature générale. De plus, il sert de relais pour les plaintes qui sont renvoyées à la DSMA aux fins d’examen. Les agents du CSC doivent être munis d’un langage clair et concis pour expliquer de façon proactive leur rôle et ses limites. De plus, les communications externes de nature générale de l’ACFC (p. ex., les pages Web) devraient énoncer clairement l’objet et la portée du mandat du CSC et expliquer ses limites en tant que centre de contact de l’ACFC, ce qui devrait s’inscrire dans les efforts visant à raconter l’historique de rendement du CSC. Une fois ce travail accompli, le sondage devrait être mené de nouveau, idéalement à l’intérieur d’une période de deux ans.

Recommandations

10. Les communications externes du CSC et de l’ACFC devraient énoncer clairement la portée et le mandat du centre de contact ainsi que ses limites.
11. Le sondage sur la satisfaction de la clientèle devrait être répété et les données actuelles devraient servir de point de comparaison pour évaluer les améliorations.

Champ d’enquête 5 : Dans quelle mesure le CSC a-t-il été géré de manière efficiente et économique ? Les ressources humaines du CSC sont-elles suffisantes pour lui permettre de remplir son rôle ? Y a-t-il d’autres technologies ou fonctionnalités que le CSC pourrait utiliser pour accroître son efficience et son efficacité ?

La démonstration de l’économie et de l’efficience est définie comme une évaluation de l’utilisation des ressources (c.-à-d. les intrants de programme) en lien avec la production des extrants.^{Note de bas de page 22}  L’économie consiste à réduire au minimum l’utilisation des intrants du programme. L’efficience désigne le taux d’utilisation des ressources dans la production d’un extrant, une plus grande efficience étant obtenue lorsque le même niveau ou un niveau inférieur de ressources est utilisé pour produire un niveau donné d’extrant. Un programme est hautement économique et efficient lorsque les intrants de ressources financières sont réduits au minimum et les extrants sont maximisés.

Utilisation de la technologie et question de savoir si elle est optimisée

L’ACFC se trouve à un moment charnière où tout est en branle pour remanier et moderniser l’environnement numérique de l’Agence : un mandat élargi, un nouveau cadre législatif, le besoin de moderniser les processus opérationnels, et les activités nécessaires de renouvellement de la technologie de l’information à l’appui. Ce contexte a une incidence sur le CSC. Le CSC a pour mandat de recevoir les plaintes et les demandes de renseignements directement des consommateurs canadiens de produits et services financiers en ce qui a trait aux entités financières sous réglementation fédérale, et il fournit aux Canadiens des renseignements sur les produits et services financiers, y compris le processus de traitement des plaintes de leur banque. Le SGC et la plateforme qui étaient utilisés antérieurement étaient en fin de vie et profondément désuets, et ne permettaient pas adéquatement de réaliser ce mandat.

Le CSC a terminé la première des deux phases de la mise en œuvre du logiciel Microsoft Dynamics 365.^{Note de bas de page 23}  Ce projet vise à configurer Microsoft Dynamics 365 à l’appui des opérations du CSC. Il comprend la configuration du système Dynamics 365 pour l’exécution des processus opérationnels du CSC qui étaient pris en charge par WebCIMS, l’ancien système de gestion des cas de l’Agence, l’intégration avec le système de services téléphoniques Azure (Omnicanal), et la mise en œuvre des fonctionnalités de tableau de bord et de production de rapports dont le CSC a besoin.^{Note de bas de page 24}  Le résultat attendu est l’amélioration des flux de travail opérationnels, des rapports et des analyses du CSC. Pour qu’on obtienne ce résultat, les termes et les catégories de données utilisés par la DRPE et la DSMA afin de saisir et d’extraire les données devraient être les mêmes que ceux utilisés par le CSC, lorsqu’il existe des ensembles de données communs. À la lumière de la stratégie de données et d’analyse, il n’est pas évident que ce sera le cas. Lorsque la DRPE et la DSMA élaborent leurs glossaires opérationnels, elles devraient en tenir compte pour assurer que les données sont recueillies de façon uniforme d’une direction à l’autre. Bien qu’il y ait des similitudes dans la façon dont les données sont saisies dans le SGC, des efforts supplémentaires doivent être déployés pour déterminer qui sont les propriétaires de quels ensembles de données et qui sont responsables de la qualité des données et de la production de rapports sur les données.

Données probantes indiquant que des stratégies sont en place pour obtenir les extrants et les résultats de manière économique et que des mesures sont en place pour évaluer l’efficience et l’économie :

• Coût par appel
• Coût par ETP
• Volume de demandes de renseignements total / par ETP
• Volume d’appels total / par ETP

Perception des employés du CSC à l’égard de la charge de travail

Il faut se pencher sur l’efficience et l’économie. À l’heure actuelle, il n’existe pas d’indicateurs de rendement ou de points de comparaison pour déterminer dans quelle mesure le CSC est efficient et économique. Dans le cadre de cette évaluation, une analyse du coût par appel et du coût par ETP a été menée pour illustrer l’importance de ces types d’indicateurs de rendement. Le coût par appel est généralement calculé en fonction des coûts salariaux totaux et des coûts totaux de fonctionnement et d’entretien.^{Note de bas de page 25}  Le coût par appel du CSC est de 68,11 $.^{Note de bas de page 26}  Il convient de souligner que c’est la première fois que cette mesure est calculée et qu’elle devrait donc être utilisée comme point de comparaison pour les analyses du rendement et les rapports qui seront effectués ultérieurement.

Le coût par ETP est également une mesure utile. Les données ci-dessous ne sont pas destinées à servir de point de comparaison. Cela dit, elles sont un exemple de ventilation de certains des coûts potentiels d’une équipe interne composée de quatre représentants du service à la clientèle et d’un gestionnaire, lesquels coûts sont fondés sur la recherche documentaire.^{Note de bas de page 27}

• Salaire et avantages sociaux (dollars US) 141 284 $
• Gestionnaire du service à la clientèle 45 726 $
• Coûts d’embauche 20 645 $
• Locaux à bureaux 48 000 $
• Logiciels et matériel informatique 3 600 $

Les autres coûts indirects de fonctionnement qui ne sont pas inclus dans cette liste sont la formation, le soutien en GI/TI, les fournitures de bureau, les frais, les commissions et les coûts liés à d’autres membres de l’équipe comme les formateurs, les analystes et les encadreurs en assurance de la qualité. Ces coûts peuvent représenter 200 000 $ US de plus par année. Le coût total moyen par ETP pour une équipe interne de quatre (4) représentants et un gestionnaire aux États-Unis se chiffre à 459 255 $ US par année, ou 91 851 $ US par employé,^{Note de bas de page 28}  ce qui correspond à un montant de 125 680 CAD.^{Note de bas de page 29}  Le coût par ETP pour le CSC est de 156 885 CAD.^{Note de bas de page 30}     

Le volume d’appels par ETP est une autre mesure utile de l’efficience. Les agents du CSC ont répondu en moyenne à 10,5 appels par jour par personne.^{Note de bas de page 31}  Les entrevues ont révélé que les trois agents du CSC croyaient répondre à un nombre de 10 à 15 appels par jour par personne et étaient d’avis qu’ils étaient en mesure de gérer le volume d’appels actuel et en général, le nombre total de contacts, ce qui comprend les appels et la correspondance écrite. Le CSC a traité une moyenne de 13 094 contacts totaux, ce qui comprend les appels et la correspondance écrite, d’avril 2022 à mars 2023, ce qui devrait être considéré comme un point de comparaison pour les analyses et rapports de rendement qui seront effectués à l’avenir.

Les mesures de l’efficience que sont le coût par appel, le coût par ETP et le volume d’appels par ETP n’ont pas été calculées avant cette évaluation. L’information recueillie dans le cadre de cette évaluation devrait être considérée comme un point de comparaison pour les rapports et évaluations de rendement futurs, ce qui pourrait faire partie d’une fonction d’analyse des données. Il faudrait envisager de rester en liaison avec d’autres centres de contact du gouvernement canadien afin de comparer ces données dans la mesure du possible.

Le CSC pourrait envisager d’utiliser également les mesures suivantes : résolution au premier appel, taux moyen d’abandon d’appel et taux de transfert. Ce dernier se définit comme le nombre d’interactions qui sont renvoyées à un autre ministère ou organisme. Maintenir ce nombre aussi bas que possible mène généralement à de meilleurs résultats. Pour l’industrie des centres d’appels aux États-Unis, le taux de transfert moyen est de 9,9 %.^{Note de bas de page 32}

La résolution au premier appel (RPA) consiste à fournir une solution à la demande du client à la première tentative. Cette mesure est considérée comme un important facteur de satisfaction de la clientèle. Selon des rapports, les centres d’appels du secteur privé aux États-Unis affichant un taux de RPA de 85 % avaient des coûts de fonctionnement moins élevés et un plus haut niveau de satisfaction des employés.^{Note de bas de page 33}  Le taux global de résolution au premier appel pour les centres d’appels se situe entre 70 et 75 %. Ce taux de référence semble indiquer que la plupart des agents de centre d’appels peuvent résoudre les problèmes des consommateurs du premier coup, sans effectuer de suivi ou de tâches supplémentaires.^{Note de bas de page 34}  Les taux de résolution au premier appel aident également à déterminer quels agents ont besoin d’aide supplémentaire. La satisfaction de la clientèle et la résolution au premier appel étaient les deux mesures les plus populaires pour mesurer le succès dans les centres d’appels.^{Note de bas de page 35}

Il convient de noter que la responsabilité de la correspondance du commissaire incombe actuellement au CSC. Cette fonction a été déléguée au CSC sans évaluation de son incidence sur les ressources et les autres tâches du centre. Il n’existe pas de statistiques ou de rapports distincts sur le volume de correspondance par ETP, mais des entrevues avec certains membres du personnel du CSC ont révélé que cette tâche crée une pression sur les ressources, ce qui a une incidence sur d’autres projets, notamment l’élaboration de documents de formation. On pourrait envisager d’évaluer le volume et l’impact de la correspondance du commissaire sur l’unité, notamment pour déterminer si cette tâche devrait être confiée au Secrétariat du commissaire, qui s’en occupait initialement, pour libérer les ressources nécessaires à l’élaboration et à la mise en œuvre de matériel de formation écrit et permettre au CSC de faire face à d’autres pressions. Il est nécessaire de procéder à une analyse plus poussée du niveau d’effort requis pour traiter la correspondance du commissaire.

Recommandations

12. Élaborer et mettre en œuvre des indicateurs de rendement pour évaluer l’efficience des services dans le cadre du profil d’information sur le rendement (PIR), y compris le coût par ETP, le coût par appel et le volume d’appels par ETP. On pourrait également envisager d’utiliser la résolution au premier appel, le taux moyen d’abandon d’appel et le taux de transfert.
13. Selon les besoins, dans le cadre de la mise en œuvre de la stratégie de données et d’analyse de l’ACFC, veiller à ce qu’il y ait un vocabulaire commun ainsi que des ensembles de données du SGC pouvant être partagés entre le CSC, la DRPE, la DSMA et la DAP.
14. Entreprendre un examen de l’efficience pour évaluer l’incidence du volume de correspondance du commissaire sur les autres livrables du CSC et élaborer des options de gestion de la charge de travail.

Champ d’enquête 6 : Étude de cas

Les renseignements recueillis auprès des quatre participants à l’étude de cas — la Banque du Canada, la Société d’assurance-dépôts du Canada, le ministère des Finances et la Commission des valeurs mobilières de l’Ontario — étaient de nature très anecdotique et étaient propres à chaque entité, ce qui rendait complexe la tâche de réaliser une analyse horizontale ou de déterminer des thèmes ou des tendances clés. Certaines pratiques exemplaires en matière de formation ont été mentionnées dans le présent rapport aux fins d’examen. De plus, on a cherché à obtenir de l’information sur les mesures de l’efficience dans le cadre de l’évaluation dans le but d’obtenir des moyennes qui pourraient servir de points de comparaison avec le CSC, mais de tels renseignements étaient rarement disponibles.

Conclusion

Le CSC doit être mieux placé pour contribuer à la réalisation des priorités et des objectifs stratégiques de l’ACFC. Il faut améliorer les communications et l’échange de renseignements entre le CSC et les deux directions opérationnelles — la Direction de la recherche, des politiques et de l’éducation (DRPE), la Direction de la surveillance et de la mise en application (DSMA) — et entre le CSC et la Direction des affaires publiques (DAP). Le CSC n’a pas la fonction essentielle d’analyse des données dont il a besoin pour fournir aux intervenants internes une analyse des tendances et des enjeux qui se profilent afin de guider l’élaboration de politiques et la prise de décisions, d’établir des protocoles écrits d’échange de données et d’agir comme principal agent de liaison avec les directions. Pour leur part, la DAP, la DRPE et la DSMA doivent améliorer leurs communications avec le CSC en donnant des séances d’information plus opportunes en ce qui concerne les initiatives de l’Agence, et préciser quels types de données du CSC leur sont utiles.^{Note de bas de page 36}  Une table ronde sur la gestion des données pourrait aider à clarifier les rôles et les responsabilités du CSC en matière de gestion des données, à déterminer les ensembles de données et les protocoles d’échange des données ainsi que le type et la fréquence des analyses, et à envisager un cadre ou un plan d’échange de renseignements qui pourrait être mis en œuvre par une nouvelle fonction d’analyse des données du CSC.

Le CSC pourrait bénéficier d’un alignement plus stratégique sur les actuels exercices en matière de planification et de rendement, y compris la planification stratégique et les rapports annuels. Il faudrait envisager l’élaboration d’un profil d’information sur le rendement (PIR) comme outil pour énoncer des résultats attendus et des indicateurs de rendement clés pour le CSC venant à l’appui de la planification des activités et la production de rapports sur le rendement, tant pour le CSC que pour l’Agence dans son ensemble, en ce qui a trait à la satisfaction de la clientèle et l’efficience. Il n’est pas nécessaire qu’un PIR du CSC fasse officiellement partie du Cadre ministériel des résultats (CMR).

À propos de l’évaluation

Pouvoir d’approbation

Le commissaire de l’ACFC a approuvé cette évaluation dans le cadre du Plan d’activités 2021-2022.

Objectifs de l’évaluation

Cette évaluation portait sur le Centre des services aux consommateurs (CSC). Le programme est géré par la Direction des affaires publiques. Le service n’est pas mentionné dans le Cadre ministériel des résultats de l’Agence de la consommation en matière financière du Canada (ACFC). Cependant, il vient à l’appui d’un approvisionnement équitable, ouvert et transparent qui offre une valeur optimale pour la population canadienne et est livré avec efficacité et efficience à la satisfaction du gouvernement et des Canadiens.

L’évaluation avait pour objectif d’évaluer la mesure dans laquelle :

1. le CSC contribue à la réalisation des priorités et des objectifs stratégiques de l’ACFC;
2. des services efficaces et efficients sont offerts aux consommateurs de produits et services financiers.

Approche de l’évaluation

L’évaluation a été effectuée conformément aux Normes d’évaluation pour le gouvernement du Canada. L’évaluation a eu lieu entre février et novembre 2023 et s’est déroulée en quatre phases : planification préalable, planification, examen et production de rapport. Une matrice d’évaluation a été élaborée à partir des cinq questions fondamentales du Conseil du Trésor qui doivent être abordées dans les évaluations. Les sources de données suivantes ont été utilisées pour obtenir de l’information concernant les champs d’enquête afin de répondre aux questions de la matrice d’évaluation :

• Examen des données et des documents : Dans le cadre de l’examen des documents, les principaux documents fournissant de l’information sur le programme et le contexte dans lequel celui-ci s’inscrit ont été évalués lors de la phase de planification. De plus, cet examen a fourni des renseignements pour l’analyse des questions d’évaluation. Les principaux documents comprennent des documents sur l’administration du programme, des documents de surveillance et des rapports.
• Revue de la littérature : Dans le cadre de la revue de la littérature, des documents secondaires fournissant de l’information sur le programme et le contexte dans lequel celui-ci s’inscrit ont été évalués lors de la phase de planification. De plus, la revue de la littérature a fourni des renseignements pour l’analyse des questions d’évaluation.
• Entrevues : Vingt-deux entrevues structurées ont été menées avec d’importants représentants de l’organisation.
• Étude de cas : Une étude de cas portant sur quatre centres d’appels semblables a été menée. Les centres d’appels sont ceux des institutions suivantes : la Banque du Canada, la Société d’assurance-dépôts du Canada, le ministère des Finances et la Commission des valeurs mobilières de l’Ontario. La portée et les questions de l’étude de cas sont tirées de l’énoncé des travaux du contrat.

Limites de l’évaluation

Même si l’évaluation était fondée sur un large éventail de sources d’information, tant qualitatives que quantitatives, il est important de mentionner que la recherche en sciences sociales comporte des limites. Des enjeux clés ont été ciblés durant l’évaluation afin de répondre aux questions liées à la Politique sur les résultats du Conseil du Trésor. Le rendement global du CSC aurait pu être mesuré de diverses autres façons. De plus, comme l’équipe d’évaluation n’a pas été en mesure de comparer directement le rendement du programme à celui d’un programme identique dans une autre administration et que chaque administration utilise des principes fondateurs différents pour ses fonctions de centre d’appels, il n’a pas été possible de comparer le programme à un programme semblable. Par conséquent, l’étude de cas a été utilisée pour éclairer les champs d’enquête de l’évaluation de manière générale.

Rapports

En fonction des éléments de preuve, un document provisoire d’observations et de conclusions du directeur a été préparé aux fins de validation. Par la suite, ce document a été envoyé au sous-commissaire adjoint de la Direction des affaires publiques, qui est responsable du CSC, pour examen et commentaires. La validation des faits et tout autre commentaire sur les observations et les conclusions du directeur à valider ont été évalués et, lorsqu’il y avait lieu, intégrés. Le rapport final provisoire, y compris les recommandations, a ensuite été envoyé au sous-commissaire adjoint de la Direction des affaires publiques, aux fins de l’élaboration des réponses de la direction aux recommandations.

Équipe de projet

L’évaluation a été effectuée par un experte-conseil indépendante avec le soutien de la gestionnaire, Centre des services aux consommateurs et du directeur, Services et information aux consommateurs, et sous la direction générale du sous-commissaire adjoint de la Direction des affaires publiques. L’évaluation a été examinée par le chef de l’évaluation de l’ACFC.

Annexe A : Glossaire des termes

Économie : Il y a économie lorsque le coût des ressources utilisées se rapproche de la quantité minimale de ressources requises pour obtenir les résultats escomptés.

Efficacité : Impacts d’un programme, d’une politique ou d’une autre entité, ou mesure dans laquelle ceux-ci produisent les résultats attendus (Politique sur les résultats du CT).

Efficience : Mesure dans laquelle les ressources sont utilisées de manière à produire un plus grand niveau d’extrants avec le même niveau d’intrants, ou le même niveau d’extrants avec un plus faible niveau d’intrants. Les niveaux d’intrants et d’extrants peuvent se traduire par des hausses ou des baisses de qualité, de quantité, ou les deux (Politique sur les résultats du CT).

Mesure de rendement : Processus et systèmes de sélection, d’élaboration et d’utilisation continue des mesures du rendement afin de guider la prise de décisions (Lexique de la gestion axée sur les résultats du CT).

Norme de service : Engagement public à l’égard d’un niveau de rendement mesurable auquel les clients peuvent s’attendre dans des circonstances normales (Ligne directrice sur les normes de service du CT).

Pertinence : Mesure dans laquelle un programme, une politique ou une autre entité répond ou est réceptif à un besoin démontrable. La pertinence peut aussi servir à déterminer si un programme, une politique ou une autre entité est une priorité du gouvernement ou relève d’une responsabilité fédérale.

Service : Extrant final précis qui comble un ou plusieurs besoins d’un bénéficiaire visé et qui contribue à l’obtention d’un résultat (Politique sur les services et le numérique du CT).

Annexe B : Matrice d'évaluation

Questions - Pertinence

Champ d’enquête 1 (interne) :

• Dans quelle mesure les services du CSC contribuent-ils à la réalisation des priorités et des objectifs stratégiques de l’ACFC?
• Le CSC recueille-t-il des données et des renseignements utiles?
• Comment les autres directions utilisent-elles les renseignements qu’elles reçoivent du CSC?
• Quelle valeur ajoutée le CSC pourrait-il apporter aux directions de l’ACFC?

Indicateurs

• Perception que les services du CSC cadrent avec les priorités et les objectifs stratégiques de l’ACFC
• Évaluation des liens entre les fonctions du CSC et le mandat, les priorités et objectifs stratégiques de l’ACFC
• L’information du CSC est utilisée pour guider l’ACFC dans la prise de décisions et l’établissement de priorités.
• Les directions opérationnelles de l’ACFC sont satisfaites du niveau d’information fourni.
• Le CSC dispose des ressources et outils dont il a besoin pour contribuer efficacement à la réalisation du mandat et des priorités de l’ACFC.

Sources de données et méthodes utilisées

• Examen des documents
• Recherche documentaire
• Entrevues

Risques et stratégies d'atténuation des risques

• Il existe un risque que le rôle du CSC ne soit pas bien compris ou ne puisse pas être expliqué par les principaux intervenants. Ce risque sera atténué par l’évaluation des liens entre les fonctions du CSC et le mandat et les objectifs stratégiques de l’ACFC.

Champ d’enquête 2 (externe) :

• Dans quelle mesure existe-t-il un besoin continu pour les services du CSC?

Indicateurs

• Volume d’appels comparativement à celui de centres d’appels semblables
• Taux de satisfaction de la clientèle (CSAT) du CSC comparativement à celui d’autres centres d’appels
• Exigences législatives

Sources de données et méthodes utilisées

• Données du CSC
• Étude de cas
• Recherche documentaire
• Sondage téléphonique sur la satisfaction de la clientèle
• Données de l’Outil de mesures communes (OMC) de l’Institut des services axés sur les citoyens (ISAC)

Risques et stratégies d'atténuation des risques

• Il existe un risque que le volume d’appels et le taux de satisfaction de la clientèle ne soient pas comparables à ceux d’autres entités semblables. Ce risque sera atténué en menant une étude de cas et une recherche documentaire, de même qu’en utilisant l’OMC de l’ISAC.

Questions - rendement (efficience, économie) MCChamp d’enquête 3 :

• Le CSC a mis en œuvre des processus et des pratiques de mesure du rendement suffisamment robustes. de l’ISAC

Indicateurs

• Les normes de service actuelles et les indicateurs de rendement sont clairement définis et sont appropriés et pertinents (voir le cadre de référence de l’évaluation pour obtenir des renseignements plus détaillés)

Sources de données et méthodes utilisées

• Politique sur les résultats du CT
• Politique sur les services et le numérique du CT
• Analyse comparant les IRC avec les données de l’OMC de l’ISAC
• Examen des documents
• Recherche documentaire

Risques et stratégies d'atténuation des risques

• Les IRC actuels sont largement axés sur le volume et ne portent pas sur la valeur qualitative, par exemple sur la satisfaction de la clientèle. Ce risque sera atténué en menant un sondage téléphonique sur la satisfaction de la clientèle.
• Analyse comparative fondée sur une étude de cas et les données de l’OMC de l’ISAC.
• Il existe un risque que les capacités ne soient pas suffisantes pour permettre à l’Agence de mesurer le rendement efficacement et d’améliorer le CSC. Ce risque sera atténué par l’inclusion de recommandations fondées sur des données probantes dans le rapport final afin d’appuyer l’élaboration d’un solide système de mesure du rendement.

Champ d’enquête 4 (efficacité) : 

• Dans quelle mesure le CSC a-t-il obtenu les extrants et les résultats attendus ?

Indicateurs

• Niveau de compréhension du rôle et des activités du CSC au sein de l’Agence à l’heure actuelle
• Niveau de satisfaction de la clientèle comparativement à celui de centres d’appels semblables (voir le cadre de référence de l’évaluation pour obtenir des renseignements plus détaillés).

Sources de données et méthodes utilisées

• Entrevues
• Sondage téléphonique sur la satisfaction de la clientèle
• Analyse comparative avec les données de l’OMC de l’ISAC
• Recherche documentaire

Risques et stratégies d'atténuation des risques

• Il existe un risque que les attentes des consommateurs ne soient pas comblées ou ne puissent pas l’être parce qu’elles dépassent la portée de qui peut être accompli dans le cadre du mandat de l’ACFC et du CSC. Ce risque sera atténué en menant une analyse comparative de l’efficacité et l’efficience du CSC et de celles des centres d’appels semblables, de même qu’une analyse comparative avec les données de l’OMC de l’ISAC.
• Il existe un risque que les extrants et les résultats attendus du CSC ne soient pas clairement définis, car il n’y a pas de modèle logique ou de PIR pour le programme. Ce risque sera atténué en menant une analyse comparative de la satisfaction de la clientèle du CSC par rapport à celle de la clientèle d’entités semblables, au moyen d’une étude de cas et des données de l’OMC de l’ISAC.

Champ d’enquête 5 (efficience et économie) :

• Dans quelle mesure le CSC a-t-il été géré de manière efficiente et économique?
• Les ressources humaines du CSC sont-elles suffisantes pour lui permettre de remplir son rôle? Y a-t-il d’autres technologies ou fonctionnalités que le CSC pourrait utiliser pour accroître son efficience et son efficacité?

Indicateurs

• Processus opérationnels clairement définis et normalisés
• Mesures en place pour évaluer l’efficience et l’efficacité
• Volume d’appels total / par ETP
• Coût par appel / par ETP
• Perception de la charge de travail des employés du CSC
• Utilisation de la technologie et question de savoir si elle est optimisée ou non (étude de cas)
• Comment les données et les renseignements circulent entre le CSC et les directions opérationnelles (à déterminer)

Sources de données et mesures utilisées

• Entrevues
• Examen des documents
• Recherche documentaire
• Analyse comparative avec les données de l’OMC de l’ISAC si celles-ci sont disponibles

Risques et stratégies d'atténuation des risques

• Il existe un risque que les extrants et les résultats attendus du CSC ne soient pas clairement définis, car il n’y a pas de modèle logique ou de PIR pour le programme. Ce risque sera atténué en menant une analyse comparative de l’efficience et de l’économie au moyen des données de l’OMC de l’ISAC.

Champ d’enquête 6 : Étude de cas

• Tenue d’une étude de cas visant quatre autres centres d’appels avec des caractéristiques et un mandat qui ressemblent à ceux du CSC

Indicateurs

• Veuillez décrire en vos propres mots le but de votre centre d’appels.
• Est-ce qu’une évaluation ou un examen en bonne et due forme a été entrepris? Le cas échéant, pourriez-vous en partager les résultats avec l’ACFC?
• Quels sont les principaux succès de votre centre d’appels? Quels ont été les plus grands défis? Quelles sont les pratiques exemplaires que l’ACFC pourrait mettre à profit?
• Quels sont vos volumes (d’appels et de correspondance) et la charge de travail de vos employés dans vos centres d’appels?
• Quels niveaux, compétences ou ensembles de compétences des équipes de centres d’appels semblables possèdent-elles dont le CSC pourrait bénéficier (p. ex., analystes de données)?
• Quelles technologies vos centres d’appels utilisent-ils?
• Quelles sont les normes de service pour vos centres d’appels et comment le rendement est-il mesuré?
• Qui sont vos clients internes et externes?

Sources de données et méthodes utilisées

• Entrevues pour l’étude de cas
• Données de l’OMC de l’ISAC

Risques et stratégies d'atténuation des risques

• Il existe un risque que les centres d’appels ne possèdent pas d’information sur le rendement pertinente en ce qui a trait à l’efficacité, l’efficience et l’économie. L’étude de cas va s’appuyer sur leurs mesures et normes de service existantes. Ce risque peut être atténué en utilisant les données de l’OMC de l’ISAC pour compléter les conclusions et combler les lacunes dans les données.