Accroître le taux de réponse à un sondage de Statistique Canada – juillet 2017

Accroître le taux de réponse à un sondage de Statistique Canada

[ Version PDF ]

Remerciements

Le Centre aimerait remercier :

  • Dr Dilip Soman, du Behavioural Economics Research Centre, de l’Université de Toronto
  • Gabrielle Beaudoin, directrice générale, Direction des communications et de la diffusion, Statistique Canada
  • France Bilocq, directrice adjointe, Direction des communications et de la diffusion, Statistique Canada
  • Lise Rivais, directrice, Division de la planification et de la recherche en matière de collecte, Statistique Canada
  • François Laflamme, chef de la recherche, Division de la planification et de la recherche en matière de collecte, Statistique Canada

Coordonnées de la personne-ressource

Elizabeth Hardy
Chef, Étude des comportements et innovation en matière de politiques
Centre d’innovation, Bureau du Conseil privé
Elizabeth.hardy@pco-bcp.gc.ca

Résumé

Dans les dernières années, le taux de réponse des Canadiens aux sondages obligatoires et volontaires du gouvernement du Canada a diminué de façon constante. Pour régler ce problème, au printemps 2016, Statistique Canada a communiqué avec le Centre d’innovation (le Centre) du Bureau du Conseil privé pour une consultation sur la manière d’accroître le taux de réponse à ces sondages. Le Centre a mis sur pied une expérience basée sur l’introspection comportementale (IC), une approche multidisciplinaire qui applique les connaissances et les outils des sciences du comportement, dont l’économie comportementale, la psychologie et le marketing social afin de provoquer des changements positifs dans le comportement.

En collaboration avec des spécialistes du comportement du Behavioural Economics in Action Research Centre (BEAR), de la Rotman School of Management, de l’Université de Toronto, le Centre a mis au point deux interventions simples et à faible coût basées sur l’IC. L’enquête financière sur les fermes, une enquête nationale obligatoire, recueille des données financières essentielles de nature stratégique sur environ 10 000 fermes au total. Ces données sont utilisées pour guider les politiques et les programmes du gouvernement du Canada. Actuellement, ce sondage est effectué par téléphone, après que les agriculteurs aient reçu la lettre d’avis initiale par courrier. L’expérience comportait l’essai de deux nouveaux avis envoyés aux agriculteurs après l’avis initial : une lettre de rappel et une lettre de rappel qui comprenait une modification importante du processus, soit un délai de cinq jours pour appeler de façon proactive Statistique Canada afin de fixer un rendez-vous pour remplir le sondage.

En juillet 2016, 4 542 fermes qui n’avaient pas rempli le sond- age ont été répartis en trois groupes dans le cadre d’un essai contrôlé randomisé (ECR) : un groupe de contrôle (aucune lettre de rappel), un deuxième groupe (lettre de rappel)   et un troisième groupe (lettre de rappel avec modification du processus). Les résultats de l’ECR ont révélé que l’envoi d’une lettre de rappel avec modification du processus a augmenté de façon importante le taux de réponse global national de 6,8 % (% par rapport au groupe de contrôle), et le taux de réponse provincial a connu une augmentation allant jusqu’à 15,6 % (% par rapport au groupe de contrôle).

Personne qui dessine des graphiques

Ce projet de recherche a démontré qu’il est possible d’accroître le taux de réponse à un sondage du gouvernement du Canada en tirant parti des principes de l’IC, données  qui ont été validées de façon expérimentale à l’aide d’un ECR. Statistique Canada est l’un des premiers ministères à tirer parti du pouvoir de l’expérimentation pour produire de meilleures données et des résultats fondés sur des éléments probants pour améliorer la prestation de services et les résultats des programmes.

Introduction

Pendant plusieurs années, Statistique Canada a observé un déclin constant du nombre de personnes et d’entreprises qui remplissent les sondages volontaires et obligatoires du gouvernement du Canada. Par exemple, dans les cinq dernières années, le taux de réponse global aux sondages auprès des ménages de Statistique Canada a diminué de quatre pour cent. Statistique Canada, qui s’est rendu compte qu’il devait explorer des approches alternatives pour inciter les gens à répondre aux sondages, a décidé de collaborer avec le Centre d’innovation (le Centre) du Bureau du Conseil privé, afin d’utiliser les principes d’introspection comportementale (IC) pour accroître la participation à un sondage agricole obligatoire.

Après un examen minutieux de nombreux sondages de Statistique Canada, il a été décidé d’axer principalement le projet de recherche sur l’Enquête financière sur les fermes, une initiative d’Agriculture et Agroalimentaire Canada et de Statistique Canada, qui fournit des données sur l’actif, le passif, les revenus, les dépenses, les investissements en capital et les ventes d’immobilisations des exploitations agricoles. Ces renseignements sont nécessaires pour examiner les répercussions des programmes et politiques agricoles fédéraux et provinciaux sur les différentes exploitations agricoles. Pour créer une liste répartie par province des différents types et tailles de fermes, le sondage est basé sur le Recensement de l’agriculture. La population ciblée par le sondage est constituée de toutes les exploitations agricoles actives du Canada. Les exploitations agricoles qui sont exclues de cette population-cible comprennent celles qui ont des ventes agricoles de moins de 25 000 $, celles qui sont rattachées à une institution,  les  pâturages communautaires, les exploitations situées sur les réserves des Premières nations dans certaines provinces et les fermes qui appartiennent à des sociétés de portefeuilles multiples. La taille de l’échantillon de ce sondage est d’environ 10 000 unités de la population-cible.

"Statistique Canada, qui s’est rendu compte qu’il devait explorer des approches alternatives pour inciter les gens à répondre aux sondages, a décidé de collaborer avec le Centre d’innovation (le Centre) du Bureau du Conseil privé, afin d’utiliser les principes d’introspection comportementale (IC) pour accroître la participation à un sondage agricole obligatoire."

La participation au sondage par les exploitations sélectionnées est obligatoire. Actuellement, les participants sont avisés par courrier; ils reçoivent une lettre d’avis qui comprend une copie papier du questionnaire pour référence et pour se préparer. Plusieurs semaines après l’envoi de la lettre d’avis, les employés de Statistique Canada appellent les participants pour recueillir les données par le biais d’une entrevue téléphonique de 25 minutes. Si un participant refuse de répondre aux questions durant le premier appel téléphonique, Statistique Canada continue d’essayer d’obtenir des réponses jusqu’à ce que la période de collecte de données se termine. Afin de réduire le fardeau qui pèse sur les agriculteurs, Statistique Canada offre aux participants d’utiliser les données fiscales du répondant, que l’Agence du Revenu du Canada a recueilli, pour répondre aux questions sur les revenus et les dépenses.

L’expérience

Le Centre a travaillé avec un spécialiste du comportement du Behavioural Economics in Action Research Centre (BEAR),  de la Rotman School of Management, de l’Université de Toronto, pour élaborer une expérience visant à vérifier si deux interventions simples et faibles en coûts auront une incidence sur le taux de réponse à l’Enquête financière sur les fermes : une lettre de rappel et une lettre de rappel avec modification du processus. Les lettres de rappel intégraient les principes de la science du comportement, dont l’encadrement et l’imposition d’une date limite, afin d’inciter les participants à répondre au sondage. Une lettre d’avis initiale, pour renseigner les participants sur le sondage et leur demander de le remplir, a été envoyée en juin 2016.

Intervention 1—lettre de rappel amical

Cette version (voir la figure 1) était une lettre de rappel « amical » relativement simple, intégrant les princi- pes de l’IC comme l’encadrement, le regroupement et la simplification. Une recherche poussée dans le domaine des sciences du comportement a démontré que la simplification des processus, l’ajout de langage clair et le regroupement des concepts peuvent accroître la facilité cognitive et donner de meilleurs résultats.

Intervention 2—lettre de rappel avec modification du processus

Cette version (voir la figure 2) intègre également les principes d’encadrement, de regroupement et de sim- plification, mais comprend également l’ajout d’une modifi- cation du processus. Actuellement, Statistique Canada télé- phone aux participants à différentes heures de la journée dans l’espoir qu’ils auront le temps de remplir le sondage.

Avec cette intervention, les participants ont cinq jours pour appeler de façon proactive Statistique Canada afin de fixer un rendez-vous pour remplir le sondage. L’idée d’encourager les participants à appeler de façon proactive Statistique Canada pour fixer un rendez-vous est basée sur des recherches existantes qui démontrent qu’il est plus probable que les personnes agiront, comme aller à un rendez-vous médical, si une date et une heure ont été prévues. Bien que le système de rendez-vous actuel ne permette pas de fixer des rendez-vous à l’avance, nous voulions vérifier si le fait d’encourager les agriculteurs à appeler de façon proactive pour fixer une heure de rendez-vous qui leur convenait aurait une incidence sur les résultats. De plus, une étude existante en sciences du comportement démontre que le fait d’imposer une date limite peut créer un sentiment d’urgence et encourager les gens à agir. La lettre comprenait également une partie détachable pour inciter les participants à écrire la date et l’heure de leur rendez-vous et ainsi s’assurer qu’ils ne l’oublient pas.

Essai contrôlé randomisé

Un essai contrôlé randomisé (ECR) a été mis sur pied pour tester et comparer l’efficacité des deux lettres de rappel par rapport au groupe de contrôle (aucune lettre de rappel). Le 14 juillet 2016, 4 542 participants qui n’avaient pas encore rempli l’Enquête financière sur les fermes ont été répartis dans les groupes suivants :

  • Groupe de contrôle : aucune lettre de rappel
  • Intervention 1 : Lettre de rappel amical
  • Intervention 2 : Lettre de rappel avec modification du processus

Figure 1. Intervention 1 – Lettre de rappel amical

Madame, Monsieur,

Vous avez été sélectionné pour participer à l’Enquête financière sur les fermes de 2016. Nous avons besoin des renseignements recueillis auprès de participants comme vous pour comprendre les défis des agriculteurs d’aujourd’hui. Les résultats de cette enquête permettront d’éclairer la prise de décisions stratégiques importantes, qui pourraient avoir un effet sur vous et votre entreprise.

Personne ne peut vous remplacer

Les fermes sont sélectionnées avec soin un peu partout au Canada selon des méthodes statistiques reconnues et votre ferme ne peut pas être remplacée par une autre. Nous comptons sur votre participation pour nous assurer que les résultats de l’enquête sont aussi fiables que possible.

Vous tirez profit de cette enquête, car elle fournit les faits sur lesquels s’appuyer pour :

  • établir les niveaux des subventions et fixer les prix de certains produits agricoles;
  • examiner les effets des programmes et des politiques agricoles sur différents types d’exploitations agricoles, selon la province;
  • étudier la compétitivité de l’industrie agricole.

Participer est facile et sécuritaire :

  • Un intervieweur communiquera avec vous afin de déterminer un moment qui vous convient pour mener l’interview (le jour, le soir ou la fin de semaine).
  • En vertu de la Loi sur la statistique, tous les renseignements que vous fournissez à Statistique Canada demeurent confidentiels et ne sont utilisés qu’à des fins statistiques.

Pour plus de renseignements, veuillez téléphoner au 1-XXX-XXX-XXXX (ATS : 1-XXX-XXX-XXXX) ou visiter le www.statcan.gc.ca/enquete.

Merci de votre participation à cette importante enquête,

Nom
Titre
XXXXX

Si vous avez déjà répondu à l’Enquête financière sur les fermes de 2016, veuillez accepter nos remerciements et ignorer cette lettre.

Figure 2. Intervention 2 – Lettre de rappel avec modification du processus

Madame, Monsieur,

Vous avez été sélectionné pour participer à l’Enquête financière sur les fermes de 2016. Nous avons besoin des renseignements recueillis auprès de participants comme vous pour comprendre les défis des agriculteurs d’aujourd’hui. Les résultats de cette enquête permettront d’éclairer la prise de décisions stratégiques importantes, qui pourraient avoir un effet sur vous et votre entreprise.

Vous avez 5 jours suivant la réception de cette lettre pour prendre des dispositions afin de répondre à l’enquête. Pour répondre à l’enquête dès maintenant, ou pour fixer un rendez- vous à un moment qui vous convient (le jour, le soir ou la fin de semaine), veuillez téléphoner au 1-XXX-XXX-XXXX (ATS : 1-XXX-XXX-XXXX).

Vous tirez profit de cette enquête, car elle fournit les faits sur lesquels s’appuyer pour :

  • établir les niveaux des subventions et fixer les prix de certains produits agricoles;
  • examiner les effets des programmes et des politiques agricoles sur différents types d’exploitations agricoles, selon la province;
  • étudier la compétitivité de l’industrie agricole.

Participer est facile et sécuritaire

  • Téléphonez au 1-XXX-XXX-XXXX pour répondre à l’enquête dès maintenant, ou pour fixer un rendez-vous à un moment qui vous convient (le jour, le soir ou la fin de semaine).
  • En vertu de la Loi sur la statistique, tous les renseignements que vous fournissez à Statistique Canada demeurent confidentiels et ne sont utilisés qu’à des fins statistiques.

Pour plus de renseignements, veuillez visiter le www.statcan.gc.ca/enquete. Merci de votre participation à cette importante enquête,

Nom
Titre
XXXXX

Si vous avez déjà répondu à l’Enquête financière sur les fermes de 2016, veuillez accepter nos remerciements et ignorer cette lettre.

-----------------------------------------------------------------------------------------------✂----------------------------------------------------------------------------------------------------------
Enquête financière sur les fermes, Statistique Canada
Rendez-vous fixé le :

Date :                                                 Heure :                                        

Numéro : 1-XXX-XXX-XXXX (TTY: 1-XXX-XXX-XXXX).

Résultats

Résultats nationaux

Au niveau national agrégé, les résultats de l’essai contrôlé randomisé démontrent que la lettre de rappel avec modification du processus (intervention 2), qui avisait les participants qu’ils avaient cinq jours pour appeler Statistique Canada pour fixer un rendez-vous, a augmenté de façon importante le taux de réponse à l’Enquête financière sur les fermes. Cette intervention a fait passer le taux de réponse global de 59,1 % (groupe de contrôle) à 63,1 %, une augmentation statistiquement significative (p < .05) de 6,8 % par rapport au groupe de contrôle (variation en %). La lettre de rappel amical (intervention 1) a également permis d’augmenter le taux de réponse par rapport au groupe de contrôle (de 59,1 % à 61,4 %), mais cette différence n’était pas statistiquement significative.

Figure 3. Résultats globaux de l’essai contrôlé randomisé

Version texte
Groupe
Taux de réponse
Augmentation par rapport au groupe de contrôle
Groupe de contrôle
59,1%
N/A
Intervention 1
64,4%
3,9%
Intervention 2
63,1%
6,8%

Résultats provinciaux

Si l’on ventile les résultats par province (voir Annexe A) , le taux de réponse du groupe qui a reçu la lettre de rappel avec modification du processus (intervention 2) a été beaucoup plus élevé que le groupe qui n’a pas reçu de lettre de rappel (groupe de contrôle) dans plusieurs provinces : augmentation de 15,6 % en Alberta, de 13,9 % en Colombie-Britannique et de 13,1 % dans les provinces de l’Atlantique1 (tous les % sont comparés au groupe de contrôle). Bien que cela ne soit pas statistiquement significatif, il est important de noter que dans la province de Québec, le groupe de contrôle a eu de meilleurs résultats que les autres groupes, c.-à-d. les interventions 1 et 2, ce dernier (intervention 2) ayant connu une réduction du taux de réponse de 6,5 % (% par rapport au groupe de contrôle). Il serait bon d’envisager de vérifier quels sont les facteurs sous-jacents qui ont mené à cet écart.

Figure 4. Résultats provinciaux choisis de l’essai contrôlé randomisé

1 Les provinces de l’Atlantique ont été regroupées pour que la taille de l’échantillon soit suffisamment importante pour l’analyse.

Version texte
Province
Groupe
Taux de réponse
Provinces de l’Atlantique
Groupe de contrôle
57,8%
Intervention 1
63,0%
Intervention 2
65,4%
Québec
Groupe de contrôle
61,7%
Intervention 1
64,9%
Intervention 2
57,9%
Alberta
Groupe de contrôle
52,4%
Intervention 1
54,2%
Intervention 2
60,6%
Colombie-Britannique
Groupe de contrôle
57,2%
Intervention 1
59,1%
Intervention 2
65,2%

Conclusion

Ce projet pilote en collaboration avec Statistique Canada démontre qu’il est possible d’augmenter considérablement le taux de réponse aux sondages du gouvernement du Canada par l’expérimentation et l’utilisation de l’IC. Dans le cas de l’Enquête financière sur les fermes, au niveau national agrégé, l’ajout d’une lettre de rappel intégrant une modification du processus, soit une date limite de cinq jours (intervention 2), a augmenté le taux de réponse au sondage de 6,8 % par rapport au groupe qui n’a pas reçu de lettre de rappel. Si on ventile les résultats par province, cette même intervention a entraîné une augmentation allant jusqu’à 15,6 % par rapport au groupe qui n’a pas reçu de lettre de rappel.

Statistique Canada est l’un des premiers ministères du gouvernement du Canada à tirer parti du pouvoir de l’expérimentation pour produire de meilleures données et des résultats fondés sur des éléments probants pour améliorer la prestation de services et les résultats des programmes. Cette étude démontre que d’importants changements positifs peuvent être obtenus en utilisant des approches et des interventions novatrices, simples et à faible coût.

Personne qui remplit un questionnaire

Annexe A : Tableau 1 - Résultats provinciaux

Province
Groupe
Taux de réponse
RR Intervalle de confiance
Provinces de l’Atlantique Groupe de contrôle 57,8% (49,2% - 66,3%)
  Intervention 1 63,0% (54,6% - 71,4%)
  Intervention 2 65,4% (57,8% - 72,9%)
Québec Groupe de contrôle 61,7% (55,0% - 68,2%)
  Intervention 1 64,9% (58,2% - 71,4%)
  Intervention 2 57,9% (50,9% - 64,7%)
Ontario Groupe de contrôle 69,5% (64,3% - 74,7%)
  Intervention 1 71,2% (66,1% - 76,4%)
  Intervention 2 72,4% (67,5% - 77,4%)
Manitoba Groupe de contrôle 54,1% (46,0% - 62,2%)
  Intervention 1 52,4% (44,8% - 60,0%)
  Intervention 2 54,9% (46,7% - 63,1%)
Saskatchewan Groupe de contrôle 55,2% (49,0% - 61,3%)
  Intervention 1 59,7% (53,4% - 66,0%)
  Intervention 2 59,6% (53,5% - 65,7%)
Alberta Groupe de contrôle 52,4% (45,6% - 59,1%)
  Intervention 1 54,2% (47,5% - 61,0%)
  Intervention 2 60,6% (54,3% - 66,9%)
Colombie-Britannique Groupe de contrôle 57,2% (49,5% - 64,9%)
  Intervention 1 59,1% (51,6% - 66,7%)
  Intervention 2 65,2% (57,7% - 72,7%)

*Remarque : Au niveau de signification α = 5 %, la différence significative entre le groupe de contrôle et les autres est indiquée en caractère gras.

Annexe B : Glossaire des termes

Terme
Définition
Introspection comportementale (IC) Approche multidisciplinaire qui utilise les principes et les outils de l’économie comportementale, de la psychologie et du marketing social pour provoquer des changements de comportement positifs.
Regroupement Plus l’information est facile à traiter, meilleures sont les chances que les gens y donnent suite.
Facilité cognitive Plus un texte est facile à faire, meilleures sont les chances que les gens passent à l’action.
Date limite Le fait d’imposer une date limite peut créer un sentiment d’urgence et encourager les gens à agir.
Encadrement La façon dont une demande est formulée peut avoir une forte incidence sur les réponses des personnes.
Concrétisation des intentions Il a été démontré qu’encourager les gens à élaborer un plan pour donner suite à leurs intentions favorise l’atteinte des objectifs dans divers domaines.
Essai contrôlé randomisé (ECR) Méthode de recherche qui teste l’efficacité de l’utilisation de différents types d’interventions. Cette méthode, qui consiste à faire différentes interventions (ou aucune) auprès de différents groupes de personnes et à comparer ces groupes, permet de recueillir des données qui indiquent quelles sont les interventions ayant les meilleurs résultats.
Moment choisi Changer le moment choisi pour une activité peut avoir une incidence sur la façon dont les personnes répondent.
Signaler un problème ou une erreur sur cette page
Veuillez sélectionner toutes les cases qui s'appliquent :

Merci de votre aide!

Vous ne recevrez pas de réponse. Pour toute question, contactez-nous.

Date de modification :