L’expérimentation à l’œuvre

Ce que nous avons fait

L’expérience était un essai A/B aléatoire qui utilisait les éléments suivants :

• la page d’accueil existante pour signaler un incident concernant un produit de consommation (Figure 1);
• une page d’accueil modifiée (Figure 2).

Le but de l’expérience était de déterminer si des changements dans le libellé et la présentation pourraient inciter les utilisateurs à remplir le rapport d’incident concernant un produit de consommation ou un produit cosmétique.

La page d’accueil modifiée a amélioré l’interface utilisateur grâce aux éléments suivants :

• un bouton qui facilite la soumission d’un rapport d’incident;
• des instructions en langage clair et simple sur la façon de remplir le rapport d’incident.

La page d’accueil modifiée fournissait des instructions plus claires aux utilisateurs sur les éléments suivants :

• les incidents qui devraient être signalés au Programme de la sécurité des produits de consommation;
• la raison pour laquelle les incidents devraient être signalés au programme;
• la façon de signaler ces incidents.

En ce qui concerne l’expérience, les utilisateurs ont été dirigés soit vers la page d’accueil existante (c’est‑à-dire le groupe témoin), soit vers la page d’accueil modifiée (c’est-à-dire le groupe expérimental).

Figure 1 : page d’accueil existante 

Figure 2 : page d’accueil modifiée

Ce que nous avons découvert

L’expérience a duré trois mois, du 12 décembre 2018 au 11 mars 2019. Au cours de cette période, la page d’accueil existante a été consultée 2 592 fois et la page d’accueil modifiée, 1 999 fois.

Après avoir accédé à la page d’accueil, les visiteurs cliquaient sur un lien pour accéder au rapport d’incident concernant un produit de consommation. Un plus grand nombre de visiteurs de la page modifiée ont accédé au rapport d’incident concernant un produit de consommation ou un produit cosmétique (61 %), comparativement aux visiteurs de la page existante (27 %). La différence (34 %) dans le pourcentage de visiteurs qui ont accédé au rapport d’incident est statistiquement significative. Cette différence indique que le fait de rendre la page d’accueil plus axée sur l’utilisateur a joué un rôle important pour inciter les utilisateurs à accéder au rapport d’incident.

Ce que nous avons appris

Lacunes dans les données

Il n’y avait pas de données de base historiques pour la page Web du rapport d’incident parce que l’analyse du rapport n’avait pas fait l’objet d’un suivi auparavant. Le rapport est une page Web unique et les données ne sont recueillies que lorsqu’un utilisateur soumet un rapport, de sorte qu’aucune information sur les comportements des utilisateurs n’est disponible, mis à part le nombre de rapports soumis.

L’ouverture est le moteur de l’innovation

La haute direction s’est rapidement montrée favorable à l’amélioration de la page d’accueil, ce qui a permis d’organiser des séances de remue-méninges visant à explorer différentes façons de mettre à l’essai le site Web actuel. Il y a eu de nombreuses discussions fructueuses sur la façon de changer la page d’accueil. Les séances et les discussions ont donné lieu à une page d’accueil informative qui a amélioré l’expérience de l’utilisateur.

Favoriser la collaboration

Dans un monde idéal, toutes les compétences nécessaires à un projet seraient connues dès le départ. Dans la pratique, des problèmes sont apparus tout au long du projet, lesquels ont nécessité des connaissances et un savoir-faire différents. Par conséquent, des réunions d’équipe ont été organisées régulièrement, ce qui a permis non seulement de préciser les rôles, mais aussi de cerner les défis avant qu’ils ne deviennent des problèmes. Les réunions régulières ont favorisé le travail d’équipe et la collaboration ainsi qu’un sentiment de confiance et un intérêt soutenu dans le projet.

Écouter vos utilisateurs

Il existe de nombreuses applications pour les données recueillies dans le système de déclaration des incidents. Le personnel a utilisé les données pour déterminer, évaluer et gérer les risques pour appuyer la Loi canadienne sur la sécurité des produits de consommation. Dans ce contexte, il était essentiel d’obtenir l’aide d’intervenants internes du programme pour combler l’écart qui existait entre les experts en la matière, les programmeurs et les agents de communication.

En savoir plus sur le blogue EO

Haut de la page

Ce que nous avons fait

L’équipe du projet a été confrontée à des contraintes qui l’ont empêchée de mettre en œuvre une conception expérimentale officielle, comme un essai contrôlé randomisé, un essai A/B et un essai contrôlé avant et après la conception. En conséquence, l’équipe de projet a mis en œuvre un essai incontrôlé avant et après la conception et a suivi l’évolution du taux de demandes soumises avant et après la mise en œuvre de la nouvelle stratégie de promotion.

L’analyse de l’équipe a été complétée par des données recueillies dans le cadre d’un sondage post-initiative et d’entrevues avec les bénéficiaires des subventions.

Pour atteindre les jeunes, l’équipe du projet a utilisé les moyens suivants :

• recours à la liste de distribution des jeunes et des intervenants auprès des jeunes gérée par le Secrétariat à la jeunesse du Bureau du Conseil privé (cette liste contient le nom d’environ 17 000 personnes);
• envoi par courriel à 600 intervenants auprès des jeunes connus de Patrimoine canadien;
• publicité sur Twitter à l’aide de comptes liés à Patrimoine canadien.

Ce que nous avons découvert

Voici les résultats du projet qui s’est terminé en juin 2018 :

• plus de 200 personnes ont téléchargé le formulaire de demande de financement;
• 70 demandes dûment remplies ont été reçues;
• 33 projets distincts ont été financés par des subventions de 250 dollars, 500 dollars ou 1 000 dollars dans le cadre de l’initiative.

Ces chiffres étaient 10 fois plus élevés que le seuil minimal de réussite (qui a été fixé à 7 demandes ou plus).

Les résultats les plus impressionnants du sondage post-initiative sont les suivants :

• 95,5 % des répondants (21 sur 22) étaient fortement d’accord pour recommander l’initiative à un ami;
• 86,4 % des répondants (20 sur 22) étaient très satisfaits de l’initiative dans son ensemble.

Par conséquent, pour ce qui est de la satisfaction des participants, l’initiative des micro-subventions a été un succès.

Certaines questions et réponses du sondage post-initiative

« L’événement ou l’initiative que vous proposez a-t-il été créé après avoir découvert l’Initiative Paul Yuzyk pour le multiculturalisme, ou l’aviez-vous envisagé avant?  »

Cette question a donné lieu à 24 réponses :

• 16 répondants (66,7 %) ont indiqué que les projets proposés avaient été créés après la découverte de l’Initiative Paul Yuzyk;
• 8 (33,3 %) répondants ont fait savoir que leur projet avait été envisagé avant d’avoir entendu parler de l’initiative.

 « Avez-vous reçu du financement ou un soutien pour ce projet d’autres sources (y compris des contributions personnelles)?  »

Cette question a reçu des réponses de 24 répondants, dont 14 (58,3 % de tous les répondants) ont indiqué qu’ils n’avaient rien reçu.

D’après les réponses à ces questions, nous croyons que 16 projets qui n’auraient pas existé autrement ont été financés et exécutés. Cette conclusion est renforcée par le fait que 14 des 24 répondants n’ont obtenu aucune autre source de financement pour leur projet.

L’expérience des micro-subventions pour les jeunes nous a montré que les jeunes sont prêts à collaborer avec le gouvernement du Canada sur des questions importantes et complexes. Toutefois, nous devons nous attaquer à plusieurs obstacles administratifs afin de rendre ces engagements plus conviviaux pour les jeunes, plus économiques et plus transparents en ce qui a trait aux résultats.

Ce que nous avons appris

Il est difficile de déterminer l’incidence des projets qui ont reçu du financement. Les problèmes complexes exigent des données complexes, comme des données de base et des interactions longitudinales qui montrent les changements au fil du temps, pour montrer les relations causales. De telles données et interactions n’étaient pas disponibles dans le cas d’un petit projet ponctuel dont les exigences en matière de rapports étaient limitées.

Parler à nos bénéficiaires valait bien l’investissement.

Notre sondage post-initiative et nos entrevues de suivi ont été essentiels pour comprendre l’expérience de l’utilisateur final. En ce qui concerne la satisfaction des bénéficiaires, la micro-subvention s’est avérée un franc succès. Toutefois, nos bénéficiaires ont également souligné les domaines à améliorer.

L’analyse comportementale est la clé pour définir de bonnes exigences en matière de rapports.

Comme condition de financement, les candidats devaient remplir le sondage post-initiative et afficher une photo sur les médias sociaux. Nous avons été surpris de constater que l’adoption d’une approche obligatoire n’a pas donné lieu à une conformité totale. De toute évidence, il ne suffit pas de rendre quelque chose obligatoire pour que l’on s’y conforme. Il existe des possibilités d’étudier des méthodes permettant d’accroître la conformité aux exigences post-initiative en matière de rapports, y compris l’augmentation du nombre de façons de faire rapport.

Expériences itératives

Au printemps et à l’été 2018, l’équipe du projet a rencontré des experts désignés de l’initiative EO. Ensemble, ils ont élaboré de multiples hypothèses et modèles pour les essais futurs, en se fondant sur les données recueillies au cours de l’initiative (comme le nombre de participants et la ventilation selon le sexe des candidats). Les données recueillies au cours de l’initiative ont servi à démontrer ce qu’il faut pour qu’un projet devienne une expérience. Pour ce faire, nous avons recueilli des données avant les expériences au cours de la première année de l’initiative et élaboré une hypothèse pour les essais futurs, ce qui pourrait également aider à élaborer et à améliorer les programmes de Patrimoine canadien.

En savoir plus sur le blogue EO

Haut de la page

Ce que nous avons fait

Nous avons utilisé l’application mobile Carrot Rewards pour évaluer si les propriétaires de la Colombie-Britannique, de l’Ontario et de Terre-Neuve étaient en mesure de comprendre l’information sur l’efficacité énergétique et la consommation d’énergie de leur maison, comme le montre l’étiquette ÉnerGuide. La compréhension a été mesurée en vérifiant si les participants pouvaient répondre correctement aux questions sur l’efficacité énergétique et la consommation d’énergie après avoir vu diverses échelles d’étiquetage qui représentaient l’efficacité énergétique d’une maison fictive. Au total, environ 30 000 utilisateurs de l’application Carrot Rewards ont participé à l’expérience en ligne; les données ont été recueillies en novembre et décembre 2018.

Les participants ont participé à3 modules dans le cadre desquels leur compréhension de l’efficacité énergétique a été évaluée à l’aide des ressources suivantes :

• ÉnerGuide de Ressources naturelles Canada;
• la certification de l’efficacité énergétique du Royaume-Uni;
• le système de cote d’efficacité énergétique résidentielle des États-Unis.

Nous avons montré aux participants un assortiment aléatoire d’étiquettes provenant d’organismes dans les 3 pays énumérés ci-dessus, puis nous leur avons demandé de les interpréter. Nous avons ensuite recueilli les données sur la façon dont les participants ont interprété les étiquettes, ce qui nous a permis de tirer des conclusions quant à la clarté et à l’efficacité des étiquettes.

Ce que nous avons découvert

Cette expérience a montré que, dans certains cas, les propriétaires comprenaient assez bien le message sur l’efficacité énergétique de l’étiquette. Dans d’autres cas, cependant, ils ont mal interprété ou n’ont pas compris ce que l’étiquette tentait de communiquer. L’étiquette ÉnerGuide fournit plus d’information que les étiquettes provenant du Royaume-Uni ou des États-Unis; toutefois, l’échelle de cotation ÉnerGuide n’est pas aussi claire. D’après nos résultats, il est évident que les utilisateurs ont de la difficulté à interpréter la cote d’efficacité énergétique relativement à maison de référence. Les utilisateurs peuvent également avoir de la difficulté à comprendre l’efficacité énergétique lorsqu’ils lisent l’information sur la consommation d’énergie figurant sur certaines étiquettes ÉnerGuide.

L’expérience a permis de cerner des possibilités d’analyse plus approfondie et d’amélioration de la conception de l’étiquette ÉnerGuide. Les prochains résultats orienteront et feront progresser nos efforts en vue d’améliorer l’étiquetage sur l’efficacité énergétique afin de mieux informer les Canadiens.

Haut de la page

Ce que nous avons fait

Nous avons utilisé l’application Carrot Rewards pour effectuer les activités suivantes :

• évaluer les connaissances des propriétaires au sujet du processus d’évaluation des maisons ÉnerGuide;
• vérifier si un plus grand nombre de propriétaires de la Colombie-Britannique, de l’Ontario et de Terre-Neuve feraient appel à un fournisseur de services d’évaluation de l’efficacité énergétique résidentielle lorsqu’il y a de l’information sur le coût, le confort ou d’autres informations traditionnelles (le témoin) ÉnerGuide.

Les participants ont été répartis au hasard en 3 groupes et tous les participants ont répondu à des questions sur leur connaissance du processus d’évaluation de l’efficacité énergétique résidentielle ÉnerGuide. Une fois que les participants ont répondu au sondage, leur utilisation des services d’évaluation résidentielle a été mesurée en surveillant le taux de clics et le nombre de codes postaux entrés sur la page Web de Ressources naturelles Canada Fournisseurs de services dans votre communauté. Au total, environ 30 000 propriétaires ont participé à l’expérience en ligne; les données ont été recueillies en décembre 2018 et en janvier 2019.

Les participants ont rempli des offres de récompense semblables, bien que subtilement différentes, liées au processus d’évaluation de l’efficacité énergétique résidentielle ÉnerGuide, qui comprenait 1 des 3 essais randomisés des messages suivants :

• les messages neutres (témoins) comprenaient un énoncé comme « une évaluation ÉnerGuide est un outil puissant »;
• les messages axés sur le coût contenaient les mêmes renseignements que les messages neutres (témoins), mais aussi des messages sur les coûts, comme « une évaluation ÉnerGuide peut vous permettre de réduire vos factures d’énergie »;
• les messages axés sur le confort contenaient les mêmes renseignements que les messages neutres (témoins), mais aussi des messages sur le confort, comme « une évaluation ÉnerGuide peut vous garder au chaud cet hiver ».
• Les offres axées sur le coût et le confort comprenaient également deux questions supplémentaires sur le coût (réduction des factures mensuelles) ou le confort (perte de chaleur dans les maisons plus anciennes) afin de renforcer l’effet éventuel de la formulation des messages.

Ce que nous avons découvert

Il y avait peu de différence dans le degré d’efficacité des messages. Les messages axés sur le coût ont eu un effet statistiquement important et ont généré un taux de clics légèrement plus élevé (78,9 %) que celui des messages neutres (témoins) (77,8 %). Toutefois, la différence entre le taux de clics générés par les messages axés sur le confort (78,7 %) et le taux généré par les messages neutres (témoins) (77,8 %) n’était pas statistiquement important.

La distinction entre les messages axés sur le coût et ceux axés sur le confort est très subtile, ce qui peut avoir été une des limites de l’expérience, surtout lorsqu’elle a été présentée au moyen d’une application mobile. La puissance statistique de l’expérience a été considérablement réduite pour les raisons suivantes :

• seuls 23 551 des 30 000 participants ont cliqué sur le lien;
• seuls 16 131 participants ont entré leur code postal.

Ce taux d’attrition limite encore davantage les distinctions pouvant être faites entre les différents essais de messages. Fait intéressant, cette expérience a fait ressortir un taux d’entrée du code postal d’environ 54 % lorsque l’application Carrot Rewards a été utilisée comme moyen de sensibilisation pour inciter les propriétaires à chercher un fournisseur de services ÉnerGuide.

Ces travaux ont ouvert la voie à d’autres expériences axées sur la formulation de messages. Toutefois, la mise au point d’une expérience qui compare l’incidence de la formulation des messages sur les consommateurs nécessitera les éléments suivants :

• une recherche supplémentaire;
• un plus grand échantillon de réponses;
• des interventions plus rigoureuses pour être en mesure de voir les différences importantes, y compris sur le plan statistique, dans l’utilisation d’une évaluation de l’efficacité énergétique résidentielle ÉnerGuide.

Ce que nous avons appris

Au-delà de la réalisation des expériences, nous avons intentionnellement renforcé notre capacité et nos pratiques en matière d’expérimentation en participant à l’initiative EO. Nos réflexions sur notre expérience et nos conseils pour ceux qui s’intéressent à l’expérimentation dans le secteur public sont présentés ci-dessous :

• Considérez l’expérimentation comme un processus systématique d’apprentissage par la pratique pour orienter et évaluer les politiques et les mesures prises à l’égard des services.
• Assurez-vous de connaître votre propre contexte et celui de vos utilisateurs et où vous et votre organisation, vos partenaires potentiels et vos utilisateurs en êtes lorsqu’il s’agit de ce que vous essayez de faire et comment l’expérimentation peut vous aider.
• Faites vos recherches. Nous avons pris de l’avance parce que nous avions travaillé au projet ÉnerGuide et savions où nous pouvions faire des expériences pour créer de la valeur.
• Définissez clairement le problème et les questions de recherche. Tout au long de notre parcours, nous revenions sans cesse sur le problème et sur les questions de recherche.
• Déterminez les outils existants à utiliser ou en créez-en de nouveaux pour faciliter l’expérimentation. Par exemple, l’étiquette ÉnerGuide est un outil existant, et l’application mobile Carrot Rewards de l’entreprise Carrot Insights est un nouvel outil qui nous a permis de joindre un nombre suffisant de Canadiens. Nous devions faire participer directement les utilisateurs de nos politiques, services et outils, et nous avons pu le faire en travaillant avec des partenaires.
• Utilisez l’expérimentation pour mieux faire la distinction entre l’opinion et le comportement. Lorsqu’il s’agit de produire des données probantes et de comprendre ce qui fonctionne, il y a une différence entre les deux éléments suivants :
• partager quelque chose avec un intervenant et lui demander son opinion à ce sujet;
• concevoir une expérience pour voir si et comment ils la comprennent, interagissent avec elle et l’utilisent pour accomplir une tâche.
• Soyez ambitieux, sans toutefois négliger la faisabilité. Si vous travaillez d’une nouvelle façon et dans des délais précis, il est probablement préférable d’avoir une expérience claire et à l’échelle appropriée qui vous donnera des résultats utilisables plutôt que quelque chose de très complexe qui est beaucoup plus difficile à exécuter avec vos contraintes.
• Être conscient du fait que l’expérimentation prend du temps et nécessite les éléments suivants :
• des relations qui font fonctionner l’expérimentation (compréhension commune, partenariat, création conjointe);
• des composantes logistiques gérées (conception du contenu, production, essais);
• des acquisitions et -des approbations (partage des données, approbation du contenu);
• de l’apprentissage continu pour créer quelque chose de nouveau.
• Évaluez les compétences de l’équipe et travaillez en équipe. Si vous n’avez jamais effectué de recherche auprès d’utilisateurs ou mené un essai contrôlé randomisé auparavant, travaillez avec d’autres personnes qui ont de l’expérience. Tirez parti des avantages que procurent les équipes interfonctionnelles et pluridisciplinaires.

En savoir plus sur le blogue EO

Pour de plus amples renseignements EO, l’expérimentation au gouvernement du Canada ou pour savoir comment participer à des activités d’apprentissage à venir, suivez-nous sur les médias sociaux.