Unité de l’impact et de l’innovation Accroître le taux de réponse à un sondage de Statistique Canada

Résumé

Dans les dernières années, le taux de réponse des Canadiens aux sondages obligatoires et volontaires du gouvernement du Canada a diminué de façon constante. Pour régler ce problème, au printemps 2016, Statistique Canada a communiqué avec le Centre d’innovation (le Centre) du Bureau du Conseil privé pour une consultation sur la manière d’accroître le taux de réponse à ces sondages. Le Centre a mis sur pied une expérience basée sur l’introspection comportementale (IC), une approche multidisciplinaire qui applique les connaissances et les outils des sciences du comportement, dont l’économie comportementale, la psychologie et le marketing social afin de provoquer des changements positifs dans le comportement.

En collaboration avec des spécialistes du comportement du Behavioural Economics in Action Research Centre (BEAR), de la Rotman School of Management, de l’Université de Toronto, le Centre a mis au point deux interventions simples et à faible coût basées sur l’IC. L’enquête financière sur les fermes, une enquête nationale obligatoire, recueille des données financières essentielles de nature stratégique sur environ 10 000 fermes au total. Ces données sont utilisées pour guider les politiques et les programmes du gouvernement du Canada. Actuellement, ce sondage est effectué par téléphone, après que les agriculteurs aient reçu la lettre d’avis initiale par courrier. L’expérience comportait l’essai de deux nouveaux avis envoyés aux agriculteurs après l’avis initial : une lettre de rappel et une lettre de rappel qui comprenait une modification importante du processus, soit un délai de cinq jours pour appeler de façon proactive Statistique Canada afin de fixer un rendez-vous pour remplir le sondage.

En juillet 2016, 4 542 fermes qui n’avaient pas rempli le sond- age ont été répartis en trois groupes dans le cadre d’un essai contrôlé randomisé (ECR) : un groupe de contrôle (aucune lettre de rappel), un deuxième groupe (lettre de rappel) et un troisième groupe (lettre de rappel avec modification du processus). Les résultats de l’ECR ont révélé que l’envoi d’une lettre de rappel avec modification du processus a augmenté de façon importante le taux de réponse global national de 6,8 % (% par rapport au groupe de contrôle), et le taux de réponse provincial a connu une augmentation allant jusqu’à 15,6 % (% par rapport au groupe de contrôle).

Introduction

Pendant plusieurs années, Statistique Canada a observé un déclin constant du nombre de personnes et d’entreprises qui remplissent les sondages volontaires et obligatoires du gouvernement du Canada. Par exemple, dans les cinq dernières années, le taux de réponse global aux sondages auprès des ménages de Statistique Canada a diminué de quatre pour cent. Statistique Canada, qui s’est rendu compte qu’il devait explorer des approches alternatives pour inciter les gens à répondre aux sondages, a décidé de collaborer avec le Centre d’innovation (le Centre) du Bureau du Conseil privé, afin d’utiliser les principes d’introspection comportementale (IC) pour accroître la participation à un sondage agricole obligatoire.

Après un examen minutieux de nombreux sondages de Statistique Canada, il a été décidé d’axer principalement le projet de recherche sur l’Enquête financière sur les fermes, une initiative d’Agriculture et Agroalimentaire Canada et de Statistique Canada, qui fournit des données sur l’actif, le passif, les revenus, les dépenses, les investissements en capital et les ventes d’immobilisations des exploitations agricoles. Ces renseignements sont nécessaires pour examiner les répercussions des programmes et politiques agricoles fédéraux et provinciaux sur les différentes exploitations agricoles. Pour créer une liste répartie par province des différents types et tailles de fermes, le sondage est basé sur le Recensement de l’agriculture. La population ciblée par le sondage est constituée de toutes les exploitations agricoles actives du Canada. Les exploitations agricoles qui sont exclues de cette population-cible comprennent celles qui ont des ventes agricoles de moins de 25 000 $, celles qui sont rattachées à une institution, les pâturages communautaires, les exploitations situées sur les réserves des Premières nations dans certaines provinces et les fermes qui appartiennent à des sociétés de portefeuilles multiples. La taille de l’échantillon de ce sondage est d’environ 10 000 unités de la population-cible.

"Statistique Canada, qui s’est rendu compte qu’il devait explorer des approches alternatives pour inciter les gens à répondre aux sondages, a décidé de collaborer avec le Centre d’innovation (le Centre) du Bureau du Conseil privé, afin d’utiliser les principes d’introspection comportementale (IC) pour accroître la participation à un sondage agricole obligatoire."

La participation au sondage par les exploitations sélectionnées est obligatoire. Actuellement, les participants sont avisés par courrier; ils reçoivent une lettre d’avis qui comprend une copie papier du questionnaire pour référence et pour se préparer. Plusieurs semaines après l’envoi de la lettre d’avis, les employés de Statistique Canada appellent les participants pour recueillir les données par le biais d’une entrevue téléphonique de 25 minutes. Si un participant refuse de répondre aux questions durant le premier appel téléphonique, Statistique Canada continue d’essayer d’obtenir des réponses jusqu’à ce que la période de collecte de données se termine. Afin de réduire le fardeau qui pèse sur les agriculteurs, Statistique Canada offre aux participants d’utiliser les données fiscales du répondant, que l’Agence du Revenu du Canada a recueilli, pour répondre aux questions sur les revenus et les dépenses.

L’expérience

Le Centre a travaillé avec un spécialiste du comportement du Behavioural Economics in Action Research Centre (BEAR), de la Rotman School of Management, de l’Université de Toronto, pour élaborer une expérience visant à vérifier si deux interventions simples et faibles en coûts auront une incidence sur le taux de réponse à l’Enquête financière sur les fermes : une lettre de rappel et une lettre de rappel avec modification du processus. Les lettres de rappel intégraient les principes de la science du comportement, dont l’encadrement et l’imposition d’une date limite, afin d’inciter les participants à répondre au sondage. Une lettre d’avis initiale, pour renseigner les participants sur le sondage et leur demander de le remplir, a été envoyée en juin 2016.

Intervention 1—lettre de rappel amical

Cette version (voir la figure 1) était une lettre de rappel « amical » relativement simple, intégrant les princi- pes de l’IC comme l’encadrement, le regroupement et la simplification. Une recherche poussée dans le domaine des sciences du comportement a démontré que la simplification des processus, l’ajout de langage clair et le regroupement des concepts peuvent accroître la facilité cognitive et donner de meilleurs résultats.

Intervention 2—lettre de rappel avec modification du processus

Cette version (voir la figure 2) intègre également les principes d’encadrement, de regroupement et de sim- plification, mais comprend également l’ajout d’une modifi- cation du processus. Actuellement, Statistique Canada télé- phone aux participants à différentes heures de la journée dans l’espoir qu’ils auront le temps de remplir le sondage.

Avec cette intervention, les participants ont cinq jours pour appeler de façon proactive Statistique Canada afin de fixer un rendez-vous pour remplir le sondage. L’idée d’encourager les participants à appeler de façon proactive Statistique Canada pour fixer un rendez-vous est basée sur des recherches existantes qui démontrent qu’il est plus probable que les personnes agiront, comme aller à un rendez-vous médical, si une date et une heure ont été prévues. Bien que le système de rendez-vous actuel ne permette pas de fixer des rendez-vous à l’avance, nous voulions vérifier si le fait d’encourager les agriculteurs à appeler de façon proactive pour fixer une heure de rendez-vous qui leur convenait aurait une incidence sur les résultats. De plus, une étude existante en sciences du comportement démontre que le fait d’imposer une date limite peut créer un sentiment d’urgence et encourager les gens à agir. La lettre comprenait également une partie détachable pour inciter les participants à écrire la date et l’heure de leur rendez-vous et ainsi s’assurer qu’ils ne l’oublient pas.

Essai contrôlé randomisé

Un essai contrôlé randomisé (ECR) a été mis sur pied pour tester et comparer l’efficacité des deux lettres de rappel par rapport au groupe de contrôle (aucune lettre de rappel). Le 14 juillet 2016, 4 542 participants qui n’avaient pas encore rempli l’Enquête financière sur les fermes ont été répartis dans les groupes suivants :

Groupe de contrôle : aucune lettre de rappel
Intervention 1 : Lettre de rappel amical
Intervention 2 : Lettre de rappel avec modification du processus

Figure 1 - Intervention 1

Madame, Monsieur,

Vous avez été sélectionné pour participer à l’Enquête financière sur les fermes de 2016. Nous avons besoin des renseignements recueillis auprès de participants comme vous pour comprendre les défis des agriculteurs d’aujourd’hui. Les résultats de cette enquête permettront d’éclairer la prise de décisions stratégiques importantes, qui pourraient avoir un effet sur vous et votre entreprise.

Personne ne peut vous remplacer

Les fermes sont sélectionnées avec soin un peu partout au Canada selon des méthodes statistiques reconnues et votre ferme ne peut pas être remplacée par une autre. Nous comptons sur votre participation pour nous assurer que les résultats de l’enquête sont aussi fiables que possible.

Vous tirez profit de cette enquête, car elle fournit les faits sur lesquels s’appuyer pour :

établir les niveaux des subventions et fixer les prix de certains produits agricoles;
examiner les effets des programmes et des politiques agricoles sur différents types d’exploitations agricoles, selon la province;
étudier la compétitivité de l’industrie agricole.

Participer est facile et sécuritaire :

Un intervieweur communiquera avec vous afin de déterminer un moment qui vous convient pour mener l’interview (le jour, le soir ou la fin de semaine).
En vertu de la Loi sur la statistique, tous les renseignements que vous fournissez à Statistique Canada demeurent confidentiels et ne sont utilisés qu’à des fins statistiques.

Pour plus de renseignements, veuillez téléphoner au 1-XXX-XXX-XXXX (ATS : 1-XXX-XXX-XXXX) ou visiter le www.statcan.gc.ca/enquete.

Merci de votre participation à cette importante enquête,

Nom
Titre
XXXXX

Si vous avez déjà répondu à l’Enquête financière sur les fermes de 2016, veuillez accepter nos remerciements et ignorer cette lettre.

Figure 2 - Intervention 2

Madame, Monsieur,

Vous avez 5 jours suivant la réception de cette lettre pour prendre des dispositions afin de répondre à l’enquête. Pour répondre à l’enquête dès maintenant, ou pour fixer un rendez- vous à un moment qui vous convient (le jour, le soir ou la fin de semaine), veuillez téléphoner au 1-XXX-XXX-XXXX (ATS : 1-XXX-XXX-XXXX).

Vous tirez profit de cette enquête, car elle fournit les faits sur lesquels s’appuyer pour :

établir les niveaux des subventions et fixer les prix de certains produits agricoles;
examiner les effets des programmes et des politiques agricoles sur différents types d’exploitations agricoles, selon la province;
étudier la compétitivité de l’industrie agricole.

Participer est facile et sécuritaire

Téléphonez au 1-XXX-XXX-XXXX pour répondre à l’enquête dès maintenant, ou pour fixer un rendez-vous à un moment qui vous convient (le jour, le soir ou la fin de semaine).
En vertu de la Loi sur la statistique, tous les renseignements que vous fournissez à Statistique Canada demeurent confidentiels et ne sont utilisés qu’à des fins statistiques.

Pour plus de renseignements, veuillez visiter le www.statcan.gc.ca/enquete. Merci de votre participation à cette importante enquête,

Nom
Titre
XXXXX

Si vous avez déjà répondu à l’Enquête financière sur les fermes de 2016, veuillez accepter nos remerciements et ignorer cette lettre.

-----------------------------------------------------------------------------------------------✂----------------------------------------------------------------------------------------------------------
Enquête financière sur les fermes, Statistique Canada
Rendez-vous fixé le :

Date : Heure :

Numéro : 1-XXX-XXX-XXXX (TTY: 1-XXX-XXX-XXXX).

4. Resultats

Résultats nationaux

Au niveau national agrégé, les résultats de l’essai contrôlé randomisé démontrent que la lettre de rappel avec modification du processus (intervention 2), qui avisait les participants qu’ils avaient cinq jours pour appeler Statistique Canada pour fixer un rendez-vous, a augmenté de façon importante le taux de réponse à l’Enquête financière sur les fermes. Cette intervention a fait passer le taux de réponse global de 59,1 % (groupe de contrôle) à 63,1 %, une augmentation statistiquement significative (p < .05) de 6,8 % par rapport au groupe de contrôle (variation en %). La lettre de rappel amical (intervention 1) a également permis d’augmenter le taux de réponse par rapport au groupe de contrôle (de 59,1 % à 61,4 %), mais cette différence n’était pas statistiquement significative.

Figure 3. Résultats globaux de l’essai contrôlé randomisé

Version texte

Groupe	Taux de réponse	Augmentation par rapport au groupe de contrôle
Groupe de contrôle	59,1%	N/A
Intervention 1	64,4%	3,9%
Intervention 2	63,1%	6,8%

Résultats provinciaux

Si l’on ventile les résultats par province (voir Annexe A) , le taux de réponse du groupe qui a reçu la lettre de rappel avec modification du processus (intervention 2) a été beaucoup plus élevé que le groupe qui n’a pas reçu de lettre de rappel (groupe de contrôle) dans plusieurs provinces : augmentation de 15,6 % en Alberta, de 13,9 % en Colombie-Britannique et de 13,1 % dans les provinces de l’Atlantique¹ (tous les % sont comparés au groupe de contrôle). Bien que cela ne soit pas statistiquement significatif, il est important de noter que dans la province de Québec, le groupe de contrôle a eu de meilleurs résultats que les autres groupes, c.-à-d. les interventions 1 et 2, ce dernier (intervention 2) ayant connu une réduction du taux de réponse de 6,5 % (% par rapport au groupe de contrôle). Il serait bon d’envisager de vérifier quels sont les facteurs sous-jacents qui ont mené à cet écart.

Figure 4. Résultats provinciaux choisis de l’essai contrôlé randomisé

¹Les provinces de l’Atlantique ont été regroupées pour que la taille de l’échantillon soit suffisamment importante pour l’analyse.

Version texte

Province	Groupe	Taux de réponse
Provinces de l’Atlantique	Groupe de contrôle	57,8%
	Intervention 1	63,0%
	Intervention 2	65,4%
Québec	Groupe de contrôle	61,7%
	Intervention 1	64,9%
	Intervention 2	57,9%
Alberta	Groupe de contrôle	52,4%
	Intervention 1	54,2%
	Intervention 2	60,6%
Colombie-Britannique	Groupe de contrôle	57,2%
	Intervention 1	59,1%
	Intervention 2	65,2%

Conclusion

Ce projet pilote en collaboration avec Statistique Canada démontre qu’il est possible d’augmenter considérablement le taux de réponse aux sondages du gouvernement du Canada par l’expérimentation et l’utilisation de l’IC. Dans le cas de l’Enquête financière sur les fermes, au niveau national agrégé, l’ajout d’une lettre de rappel intégrant une modification du processus, soit une date limite de cinq jours (intervention 2), a augmenté le taux de réponse au sondage de 6,8 % par rapport au groupe qui n’a pas reçu de lettre de rappel. Si on ventile les résultats par province, cette même intervention a entraîné une augmentation allant jusqu’à 15,6 % par rapport au groupe qui n’a pas reçu de lettre de rappel.

Statistique Canada est l’un des premiers ministères du gouvernement du Canada à tirer parti du pouvoir de l’expérimentation pour produire de meilleures données et des résultats fondés sur des éléments probants pour améliorer la prestation de services et les résultats des programmes. Cette étude démontre que d’importants changements positifs peuvent être obtenus en utilisant des approches et des interventions novatrices, simples et à faible coût.

Annexe A : Tableau 1 - Résultats provinciaux

Province	Groupe	Taux de réponse	RR Intervalle de confiance
Provinces de l’Atlantique	Groupe de contrôle	57,8%	(49,2% - 66,3%)
	Intervention 1	63,0%	(54,6% - 71,4%)
	Intervention 2	65,4%	(57,8% - 72,9%)
Québec	Groupe de contrôle	61,7%	(55,0% - 68,2%)
	Intervention 1	64,9%	(58,2% - 71,4%)
	Intervention 2	57,9%	(50,9% - 64,7%)
Ontario	Groupe de contrôle	69,5%	(64,3% - 74,7%)
	Intervention 1	71,2%	(66,1% - 76,4%)
	Intervention 2	72,4%	(67,5% - 77,4%)
Manitoba	Groupe de contrôle	54,1%	(46,0% - 62,2%)
	Intervention 1	52,4%	(44,8% - 60,0%)
	Intervention 2	54,9%	(46,7% - 63,1%)
Saskatchewan	Groupe de contrôle	55,2%	(49,0% - 61,3%)
	Intervention 1	59,7%	(53,4% - 66,0%)
	Intervention 2	59,6%	(53,5% - 65,7%)
Alberta	Groupe de contrôle	52,4%	(45,6% - 59,1%)
	Intervention 1	54,2%	(47,5% - 61,0%)
	Intervention 2	60,6%	(54,3% - 66,9%)
Colombie-Britannique	Groupe de contrôle	57,2%	(49,5% - 64,9%)
	Intervention 1	59,1%	(51,6% - 66,7%)
	Intervention 2	65,2%	(57,7% - 72,7%)

*Remarque : Au niveau de signification α = 5 %, la différence significative entre le groupe de contrôle et les autres est indiquée en caractère gras.

Annexe B - Glossaire des termes

Terme	Définition
Introspection comportementale (IC)	Approche multidisciplinaire qui utilise les principes et les outils de l’économie comportementale, de la psychologie et du marketing social pour provoquer des changements de comportement positifs.
Regroupement	Plus l’information est facile à traiter, meilleures sont les chances que les gens y donnent suite.
Facilité cognitive	Plus un texte est facile à faire, meilleures sont les chances que les gens passent à l’action.
Date limite	Le fait d’imposer une date limite peut créer un sentiment d’urgence et encourager les gens à agir.
Encadrement	La façon dont une demande est formulée peut avoir une forte incidence sur les réponses des personnes.
Concrétisation des intentions	Il a été démontré qu’encourager les gens à élaborer un plan pour donner suite à leurs intentions favorise l’atteinte des objectifs dans divers domaines.
Essai contrôlé randomisé (ECR)	Méthode de recherche qui teste l’efficacité de l’utilisation de différents types d’interventions. Cette méthode, qui consiste à faire différentes interventions (ou aucune) auprès de différents groupes de personnes et à comparer ces groupes, permet de recueillir des données qui indiquent quelles sont les interventions ayant les meilleurs résultats.
Moment choisi	Changer le moment choisi pour une activité peut avoir une incidence sur la façon dont les personnes répondent.