L’expérimentation est simplement une bonne pratique de politique publique
Dan Monafu, Innovation et expérimentation au Secrétariat du Conseil du Trésor du Canada
De nos jours, de nombreux documents de politique au gouvernement débutent de la façon suivante :
« Les défis hautement complexes, les changements fondamentaux sur les plans démographique, économique et environnemental, les technologies perturbatrices et les attentes changeantes des clients et des citoyens exigent des interventions de plus en plus agiles, adaptatives, axées sur les données et mesurables de la part des fournisseurs de services publics et privés. »
Traduction : tout change, et la fonction publique doit être en mesure non seulement de tenir bon, mais de continuellement s’adapter à de nouvelles réalités afin de demeurer pertinente dans la vie des Canadiens.
Le problème, c’est qu’au fil du temps, nous sommes devenus excellents dans l’élaboration d’énoncés de vision, avec des plans détaillés de la façon dont les choses doivent fonctionner – cependant, notre capacité à mettre ces plans en pratique s’est en réalité affaiblie, en dépit des attentes accrues de la part du public.
C’est pourquoi nous, en tant que gouvernement du Canada, nous nous transformons constamment, et en raison de notre taille en tant que grande organisation, jamais en un seul secteur à la fois : nos priorités en matière de transformation se chevauchent et se combinent, ce qui occasionne de fortes tensions systémiques pour toutes les parties de notre organisation. Prenez, par exemple, la transition de l’analogique au numérique (dans la prestation de services), de l’approche en cascades à l’approche agile (dans la gestion de projets), ou des intrants aux résultats (subventions et contributions) comme les exemples bien connus de ce que je veux dire.
Quel est le rôle de mon équipe ? Je travaille pour l’équipe de l’innovation et de l’expérimentation au Secrétariat du Conseil du Trésor du Canada (voir l’encadré pour plus de renseignements), qui a reçu la tâche de promouvoir les principes de l’expérimentation dans l’ensemble du gouvernement du Canada en collaboration avec nos collègues de l’Unité de l’impact et de l’innovation du Bureau du Conseil privé. Par l’expérimentation, nous signifions des activités qui cherchent à explorer, à faire des essais et à comparer les effets des politiques, des interventions et des approches, pour éclairer la prise de décision basée sur des données probantes. En bref, j’aime considérer cela comme une tentative de répondre à la question (d’une simplicité trompeuse) : « comment savez-vous ce qui fonctionne? »
Je considère l’expérimentation comme un outil parmi tant d’autres; elle est précise dans le sens qu’elle ne répond à rien d’autre en dehors de la portée de ce qui est comparé. Mais elle vous donnera une réponse. Et elle fonctionne sans égard du secteur d’activité, qu’il s’agisse d’un contexte politique, réglementaire, de prestation de services, ou de services internes. Dans la mesure où vous recueillez des renseignements (sous forme de points de données, par exemple) qui vous permettent de mettre à l’essai et de comparer de manière rigoureuse les interventions pour constater si l’une d’entre elles fonctionne mieux qu’une autre, vous effectuez de l’expérimentation.
L’équipe de l’innovation et de l’expérimentation au SCT travaille sur les trois fronts suivants :
- nous aidons à bâtir la demande institutionnelle en matière d’expérimentation en présentant les incidences des expériences réussies et en misant sur les politiques et les processus existants;
- nous aidons les équipes à renforcer la capacité expérimentale au moyen de la formation, de l’engagement et du soutien général pour concevoir et mener des expériences de manière efficace et éthique;
- nous travaillons avec des partenaires pour ancrer les expériences dans l’appareil gouvernemental pour amorcer des changements systémiques au soutien de l’expérimentation.
J’ai déjà écrit sur la valeur de l’expérimentation (en anglais seulement) et sur ceux qui en font à d’autres endroits au monde où l’on adopte cette approche (indice : le gouvernement du Canada n’est pas seul), mais je trouve que, lorsque je m’adresse aux fonctionnaires de différents ministères à propos des raisons pour lesquelles nous devrions commencer à faire de l’expérimentation, on commence à comprendre habituellement lorsque quelqu’un mentionne par inadvertance les échecs à grande échelle de projets de technologie de l’information (TI).
gouvernementales : comment les concevoir et les mettre en œuvre? » pendant le Salon de
l’innovation 2019, le 22 mai 2019
En réfléchissant à partir d’une approche axée sur l’expérimentation, je me demande souvent si nos résultats auraient été différents si des éléments précis avaient tout d’abord été rigoureusement mis à l’essai à petite échelle (par exemple, comparer le modèle en place à un nouveau système proposé avec quelques indicateurs, disons la fiabilité des calculs et l’indisponibilité du système). Alors, dans un sens, l’expérimentation pourrait intuitivement nous sembler risquée lorsqu’on la considère simplement sur le plan sémantique, mais elle contribue à réduire en fait le risque dans des situations où le résultat nous est simplement inconnu.
Une chose que j’ai apprise au cours des dernières années où j’ai travaillé dans le secteur de l’expérimentation, c’est que l’expérimentation revêt rapidement un caractère théorique si je n’offre aucun exemple de ce que je veux dire en pratique. Voici donc un tel exemple :
La Commission de la santé mentale du Canada a mené de nombreuses expériences pour mettre à l’essai Logement d’abord (en anglais), une approche axée sur l’offre de logement aux itinérants avec des besoins complexes comme principale priorité, avant de s’attaquer à d’autres problèmes. Les participants ont été placés de manière aléatoire dans un groupe de Logement d’abord ou dans un groupe qui continuait à recevoir les services habituels offerts aux itinérants avec des besoins élevés. Ces expériences ont démontré que la mise en priorité du logement avant les autres interventions se traduisait par de meilleurs résultats, en regard tant des économies financières pour le gouvernement que des mesures de la qualité de la vie améliorée pour les participants. La force des données probantes expérimentales a aidé établir Logement d’abord comme pratique que favorisaient les gouvernements pour s’occuper des itinérants.
Afin que les exemples d’expérimentation comme Logement d’abord soient de plus en plus omniprésents au gouvernement du Canada, notre équipe s’est engagée, l’année dernière, dans un nouveau modèle d’apprentissage par la pratique appelé L’expérimentation à l’œuvre, où nous avons jumelé des ministères qui désiraient faire une expérience accompagnés d’experts en méthodologies de conception expérimentale du gouvernement du Canada. Cette expérience était ouverte par défaut, de sorte que chacun pouvait suivre le long du parcours pour comprendre ce qui est nécessaire pour établir et mener des projets expérimentaux.
L’expérimentation à l’œuvre 1, le 3 juin 2019
Nous avons publié récemment les rapports L’impact et L’échec (en anglais seulement) sur l’expérience de la première cohorte et un résumé de notre projet (en anglais seulement) en lui-même sur notre Medium.com blog, au cas où vous les auriez manqués. Nous avons conclu que le jumelage des experts avec les équipes du projet qui désiraient faire l’expérience faisait en fait partie intégrante de la réussite de la cohorte : les ministères n’ont pas suffisamment accès à l’expertise en matière de conception expérimentale pour les guider dans le processus d’expérimentation.
Cependant, l’observation qui me frappe le plus, c’est que ce qui prend toujours le plus de temps, c’est la mise en œuvre du projet : l’expérimentation est une méthodologie comme toutes les autres, et une fois que vous avez quelqu’un qui a été formé à cet égard, la réalisation de l’expérience ne constitue pas le principal obstacle. La partie la plus difficile consiste à s’assurer que le système est en mesure de modifier avec cohérence tout ce qui doit être modifié, tout d’abord pour permettre l’expérimentation (par exemple, établir une collecte de données régulière, normaliser ces données afin qu’elles soient lisibles et uniformes), ensuite, constamment adapter ces processus pour les améliorer graduellement.
Mon équipe se concentre sur deux résultats, ces jours-ci : s’assurer que toutes les fonctions sont bien intégrées au pipeline d’expérimentation pour qu’elle se réalise, et permettre aux données probantes d’être intégrées à la prise de décision. Et cela représente un travail difficile, compte tenu du nombre de secteurs distincts qui habituellement doivent être rassemblés pour la réalisation de l’expérience : qu’il s’agisse d’une bonne fonction de recherche et de développement qui génère les renseignements et les données (habituellement trouvées dans le contexte des communications et des services), des gestionnaires de projet qui prennent des décisions sur la conception ou la refonte des fonctions (responsables du projet), ou enfin de ceux qui saisissent les recommandations pour que des améliorations soient continuellement apportées dans le cadre de cycles d’itération (fonctions de mesure du rendement, d’audit et d’évaluation) plus rapides.
Par exemple, le projet de Santé Canada pour L’expérimentation à l’œuvre (en anglais seulement) exigeait l’exécution de la mise en œuvre d’essai A/B aléatoire en temps réel afin d’améliorer le processus de signalement d’un incident concernant un produit de consommation (en anglais seulement). L’équipe de projet dont on avait besoin pour que cela se concrétise se composait d’experts en la matière du programme même, de spécialistes en gestion de l’information et en technologie de l’information du programme et de la Direction de la gestion de l’information et de la technologie ministérielle, de conseillers de la Direction des communications numériques, en plus des experts en design expérimental fournis dans le cadre de L’expérimentation à l’œuvre. Voilà beaucoup de personnes qui ne travaillaient pas habituellement ensemble!
Par conséquent, comment obtenons-nous un système suffisamment mature pour que de telles collaborations soient une pratique commune au gouvernement du Canada? Notre réponse est la suivante : continuer de travailler dur sur de nombreux fronts, qu’il s’agisse de créer une deuxième (espérons-le, une plus grande et meilleure) cohorte de L’expérimentation à l’œuvre, de peaufiner continuellement ce que doivent signaler les ministères en ce qui a trait à ce qu’ils ont accompli dans cet espace afin de faire preuve d’une capacité expérimentale croissante, ou de créer des réseaux de professionnels à l’intérieur et à l’extérieur du gouvernement du Canada.
En fin de compte, je considère l’expérimentation simplement comme une bonne pratique de politique publique. Elle ne répondra nullement à toutes les questions, mais elle vous dira ce qui fonctionne.
Détails de la page
- Date de modification :