Impact Canada, Unité de l'impact et de l'innovation, Bureau du Conseil privé
Publié : 2022-12-06
Date de modification : 2022-12-06
Blogue
De la théorie à la pratique
Mesurer l’impact des défis
Kiran Toor, Conseiller, Mesure de l'impact
Impact Canada, Unité de l'impact et de l'innovation, Bureau du Conseil privé
Depuis sa création il y a cinq ans, Impact Canada a élaboré et affiné sa conception de la mesure de l’impact des défis. Dans ce billet de blogue, je vais souligner la façon dont les concepts théoriques et la recherche sur la mesure de l’impact ont été mis en pratique au cours de l’année dernière à Impact Canada.
Je m’appelle Kiran Toor et j’ai rejoint Impact Canada en juin 2022 en tant que conseillère pour soutenir l’équipe des défis en matière de mesure de l’impact. Avant de rejoindre Impact Canada, je travaillais à Statistique Canada en tant qu’économiste, dirigeant des projets de recherche liés à l’évaluation de l’impact des programmes, au rendement et à la propriété des entreprises, et effectuant des analyses de données sur les tendances économiques, y compris des travaux pour Impact Canada. J’ai rejoint l’équipe pour explorer la manière dont les données sont utilisées pour éclairer les décisions en matière de politiques et de programmes, compte tenu notamment de mon expérience en tant qu’utilisatrice et analyste de données.
Qu’est-ce que l’impact signifie pour Impact Canada?
L'impact désigne « le changement attribué à nos investissements dans les programmes et les politiques. Il représente le but ou l’objectif ultime d’une politique — une réponse précise à un défi sociétal Footnote 1.» Nous nous intéressons, en particulier, au changement des résultats socio-économiques et environnementaux qui sont directement attribuables à une intervention. La mesure de l’impact est soutenue au sein d’Impact Canada comme moyen d’évaluer les effets des politiques et des programmes axés sur les résultats, afin que nous et nos partenaires puissions utiliser diverses sources de preuves pour informer nos décisions.
Conception théorique d’Impact Canada pour la mesure de l’impact
Il y a près de trois ans, Craig Joyce a présenté un guide de mesure de l’impact qui mettait en avant les approches de financement avec paiement en fonction du succès et l’utilisation de méthodes expérimentales et quasi expérimentales de mesure de l’impact pour permettre aux lecteurs des politiques et des programmes d’être des consommateurs critiques de leur propre travail de paiement en fonction du succès.
L’année dernière, Noah Conrad a donné un aperçu de différentes méthodes permettant de mesurer les effets des défis. Chaque méthode d’enquête était liée aux résultats du modèle logique d’Impact Canada, qui décrit la théorie sous-jacente à ce qu’Impact Canada s’attend à réaliser au moyen de ses défis, les résultats correspondants du processus et les résultats socio-économiques et environnementaux prévus à plus long terme que les défis visent à atteindre.
Impact Canada compte désormais 30 défis dans son portefeuille, dans des domaines allant de la santé publique, du logement et des infrastructures à la réduction des déchets alimentaires et aux technologies propres, en passant par l’alimentation et les soins de santé dans l’espace lointain. Les défis se déroulent simultanément, les stades des défis en cours variant et couvrant plusieurs années. Par conséquent, il était nécessaire d’établir une approche stratégique pour mesurer systématiquement l’impact des différents défis et exploiter de manière efficace l’information disponible sur les défis — quel que soit le stade auquel ils se trouvent. Cependant, en tant que Centre d’expertise désigné pour explorer la pertinence, l’efficacité et l’efficience des modèles de financement basés sur les résultats, nous devions également comprendre les impacts de l’initiative globale elle-même, l’ensemble du processus de conception des défis, la mise en œuvre et les résultats. Pour ce faire, nous devions aller au-delà des résultats des projets individuels et réfléchir de manière plus systématique à ce que les défis pouvaient accomplir au sein du gouvernement.
Avant de pouvoir mesurer l’impact, il fallait prendre en compte le modèle logique. Le modèle logique se décompose en trois segments :
Résultats du processus, ce qui comprend des indicateurs de sensibilisation du public, de mobilisation des talents et de création de réseaux de collaboration.
Modèles durables, ce qui comprend des indicateurs relatifs à la création de produits et de services innovants, à l’accroissement des investissements et à l’amélioration des compétences et des capacités.
Valeur publique accrue, ce qui comprend la mesure des avantages sociaux, environnementaux et économiques des défis — la raison pour laquelle les défis sont perçus comme utiles pour apporter une valeur publique.
Version texte
Résultats du processus
Lancement du défi ou de l’initiative
Sensibilisation accrue du public à un problème
Mobilisation de nouveaux talents à Établissement de réseaux et de partenariats de collaboration
Établissement de réseaux et de partenariats de collaboration
Modèles durables
Technologies, produits ou services novateurs
Amélioration des compétences et des capacités
Accroissement de l’investissement
Valeur publique accrue
Avantages sociaux
Avantages environnementaux
Avantages économiques
Efficacité et efficience du gouvernement
Les sondages ont été lancés par Impact Canada pour obtenir les commentaires des ministères du gouvernement du Canada, des membres du jury et des participants aux défis sur l’efficacité des défis, qu’il s’agisse de la mobilisation de nouveaux talents, de la sensibilisation aux enjeux et de la création de produits et services innovants. Le sondage a également été utilisé pour obtenir des points de vue sur l’utilisation des défis pour favoriser la capacité d’innovation au sein des ministères, ouvrir les processus de prise de décision du gouvernement et stimuler l’innovation.
Une analyse des réseaux sociaux (ARS) a été réalisée par des étudiants de maîtrise en sciences des données de l’UBC pour déterminer si un défi a contribué à sensibiliser à un sujet, qui a participé aux défis d’Impact Canada, si des réseaux et des partenariats ont été formés à partir des défis, et quels étaient les liens entre les participants aux défis. Cette analyse a été réalisée pour le Défi de l’alimentation dans l’espace lointain, étant donné l’attention qu’il a suscitée dans les médias sociaux grâce à la collaboration de la NASA et de l’Agence spatiale canadienne (ASC).
L’analyse quasi expérimentale a été réalisée par Statistique Canada à l’aide de son Environnement de fichiers couplables. Dans la première série d’analyses, les participants au défi ont été profilés en fonction de leur type d’organisation, de leur secteur d’activité, du nombre d’employés, des années d’activité et de l’âge et du sexe du principal décideur. Cette analyse évalue également le succès des défis à atteindre leurs objectifs économiques en évaluant les indicateurs de rendement des entreprises des participants par rapport à un groupe de contrôle. Les indicateurs évalués comprenaient les revenus, les dépenses de R-D, les traitements et salaires, l’emploi et la productivité du travail.
Ce que nous avons appris : l’importance des données et de la collaboration
L’exploration de ces trois méthodes a mis en évidence l’importance des données — tant qualitatives que quantitatives — et les aspects à prendre en compte, tels que la collecte, l’analyse, la diffusion et la tenue à jour des bases de données. Le fait de disposer des données adéquates et appropriées a permis de mesurer l’impact des défis d’Impact Canada.
L’analyse des réseaux sociaux nous a appris qu’en récupérant les gazouillis de Twitter, nous avons pu obtenir de l’information pertinente pour mesurer l’impact, tout en réduisant la charge de réponse. Grâce à notre collaboration avec les étudiants de l’UBC, c’est une méthode que nous pouvons maintenant reproduire sur la base de la méthodologie qu’ils ont créée. Nous continuons à mener des analyses des réseaux sociaux sur d’autres défis, tout en explorant d’autres outils pour permettre ce travail.
Grâce à notre partenariat avec Statistique Canada, nous avons pu mesurer l’impact économique de nos défis en utilisant ses riches données commerciales et fiscales. Les améliorations économiques sont des résultats à plus long terme qui nécessitent la réalisation d’un certain nombre de défis et une quantité suffisante de temps et de données avant et après le défi pour évaluer l’impact d’un défi donné. Cependant, grâce à des données fiscales opportunes, StatCan est en mesure de fournir des indicateurs de rendement financier pour les participants aux défis qui sont à la fois terminés et en cours, afin de nous donner une idée des impacts des défis. Nous continuons à travailler avec Statistique Canada sur une deuxième série d’analyses qui s’appuient sur la première et approfondissent la comparaison entre les participants aux défis et les non-participants afin de mesurer l’impact des défis, tout en explorant également d’autres approches quasi expérimentales telles que l’écart des différences et l’appariement par scores de propension.
Étant donné que le processus des défis est collaboratif par nature, puisque nous mobilisons les ministères, les membres du jury et les participants, la réalisation d’un sondage était non seulement un moyen efficace de recueillir de l’information là où il existe des lacunes dans les données aux fins de mesure de l’impact, mais il était également utile d’obtenir des commentaires sur les moyens d’améliorer les défis, ainsi que de recueillir de l’information sur l’expérience de nos partenaires participant à un défi. La possibilité d’adapter les questionnaires à des besoins de politiques particuliers fait des sondages une méthode qui complète bien d’autres modes d’enquête.
L’exploration de ces différentes méthodes d’enquête aide Impact Canada à mesurer l’impact des défis individuels et à évaluer les défis en tant qu’instrument du secteur public. Grâce à ce travail, Impact Canada est en mesure de continuer à offrir à ses clients des produits et services fondés sur des données probantes et de soutenir leurs approches de financement axées sur les résultats.
Qu’est-ce qui s’en vient?
Dans les mois à venir, nous présenterons les résultats des sondages et de l’analyse des réseaux sociaux que nous avons menés. Gardez un œil sur ces blogues!
Publié : 2022-12-02
Date de modification : 2024-12-31
Blogue
Rencontrez le Fellow en science du comportement de l’UII: Dr. Annabel Sibalis
Impact Canada
Impact Canada, Unité de l'impact et de l'innovation, Bureau du Conseil privé
Publié : 2022-11-24
Date de modification : 2022-11-28
Blogue
Rencontrez le Fellow en science du comportement de l’UII: Kaitlyn Fallow
Impact Canada
Impact Canada, Unité de l'impact et de l'innovation, Bureau du Conseil privé
Publié : 2022-11-21
Date de modification : 2022-11-28
Blogue
Rencontrez le Fellow en science du comportement de l’UII: Kaian Unwalla
Impact Canada
Impact Canada, Unité de l'impact et de l'innovation, Bureau du Conseil privé
Publié : 2022-11-21
Date de modification : 2022-11-28
Blogue
Rencontrez le Fellow en science du comportement de l’UII: Colin Scott
Impact Canada
Impact Canada, Unité de l'impact et de l'innovation, Bureau du Conseil privé
Publié : 2022-11-18
Date de modification : 2022-11-28
Blogue
Rencontrez le Fellow en science du comportement de l’UII: Karissa Leduc
Impact Canada
Impact Canada, Unité de l'impact et de l'innovation, Bureau du Conseil privé
Publié : 2022-11-18
Date de modification : 2022-11-28
Existe-t-il une manière optimale de communiquer au sujet des changements climatiques pour inspirer des actions en faveur de la lutte contre les changements climatiques?
Blogue
Existe-t-il une manière optimale de communiquer au sujet des changements climatiques pour inspirer des actions en faveur de la lutte contre les changements climatiques?
Impact Canada, Unité de l'impact et de l'innovation, Bureau du Conseil privé
À quelle fréquence entendez-vous parler des changements climatiques? S’agit-il généralement de mauvaises nouvelles, ou le ton est-il plus optimiste? Où voyez-vous ces informations? Qui les relaie? Comment vous sentez-vous, et que pensez-vous lorsque vous les entendez? Ce sont toutes des questions dont tiennent compte les communicateurs lorsqu’ils élaborent des messages sur les changements climatiques.
Le Canada s’est doté d’un plan climatique ambitieux, et sa réalisation nécessitera des actions de la part de tous les Canadiens. L’objectif ultime de nombreuses communications sur les changements climatiques est donc d’inviter les gens, et plus particulièrement ceux qui désirent déjà en faire davantage, à adopter des comportements qui peuvent contribuer à limiter l’intensification des changements climatiques et à protéger l’environnement. Avec cet objectif en tête, une question importante se pose pour de nombreux communicateurs du secteur public en matière de changements climatiques : quelle est la « meilleure » façon d’inciter les gens à passer à l’action? Les messages sur les changements climatiques doivent-ils avoir un ton positif ou négatif? Où l’information doit-elle être communiquée, et qui doit en être les messagers? Quels sont les pensées ou les sentiments qui pourraient permettre aux Canadiens qui veulent agir de passer à l’action?
Les réponses ne sont pas aussi simples qu’on pourrait l’espérer.
Concentrons-nous sur le contenu émotionnel des communications axées sur le climat. Il est généralement admis que l’on devrait éviter de formuler des messages « pessimistes », et que les communicateurs devraient plutôt tirer parti des émotions positives (en particulier l’espoir) dans leurs messages sur les changements climatiques. Toutefois, les résultats tirés de recherches universitaires démontrent que la situation est plus complexe. Des études de recherche font état de constatations contradictoires : certaines démontrent que l’évocation d’émotions positives est plus efficace pour inciter à l’action climatique que l’évocation d’émotions négatives, tandis que d’autres démontrent le contraire. Les données probantes les plus convaincantes que j’ai trouvées à ce sujet laissent à penser qu’il n’existe pas d’approche unique, et que le contenu émotionnel des communications climatiques doit être adapté au public visé. La ou les émotions à évoquer peuvent dépendre des pensées, des sentiments, des croyances et même des actions actuelles du public en matière de changement climatique. C’est pourquoi il est essentiel pour les communicateurs de comprendre leur public.
Qu’est-ce que le PRAAC?
C’est là qu’intervient le Programme de recherche appliquée sur l’action pour le climat (PRAAC). Le PRAAC est un programme de recherche pluriannuel mené en partenariat par l’Unité de l’impact et de l’innovation du Bureau du Conseil privé (BCP), Environnement et Changement climatique Canada (ECCC) et Ressources naturelles Canada (RNCan). Ce Programme, qui en est à sa deuxième année, vise à appliquer les connaissances et les méthodes de la science du comportement à une analyse politique rigoureuse pour promouvoir l’action climatique.
La première phase du PRAAC est une étude longitudinale de l’opinion publique menée auprès de plus de 2 000 répondants afin de recueillir des renseignements sur les pensées et sur les actions des Canadiens en matière de changements climatiques. Les résultats de cette étude nous aident à comprendre la diversité des croyances, des pensées, des intentions et des comportements des Canadiens en ce qui concerne les changements climatiques, et à suivre l’évolution de ces résultats au fil du temps. Ce travail est essentiel pour les communications, car lorsque nous comprenons comment les Canadiens pensent, ressentent et se comportent, nous pouvons créer des messages qui leur parleront.
En plus de l’étude longitudinale, dans le cadre de PRAAC, neuf chercheurs en sciences du comportement de l’Unité de l’impact et de l’innovation du BCP ont été intégrés à des équipes d’ECCC et de RNCan, et d’autres les rejoindront dans les prochains mois. Les chercheurs doivent mener des recherches, notamment des expériences rapides en ligne et des recherches sur le terrain, afin de soutenir les travaux hautement prioritaires. Je suis un chercheur en sciences du comportement intégré à l’équipe Marketing et Recherche en opinion publique d’ECCC. Dans le cadre de ce rôle, j’étudie comment les efforts de marketing d’ECCC peuvent être optimisés pour encourager les Canadiens à passer à l’action pour lutter contre les changements climatiques. Cela comprend la communication et l’application des résultats de l’enquête longitudinale aux travaux de l’équipe, ainsi que la réalisation de nouvelles recherches. L’un de mes projets de recherche actuels consiste à étudier comment les intentions des Canadiens d’agir pour atténuer les changements climatiques peuvent être influencées par différentes communications suscitant des émotions. Ce projet aidera ECCC à comprendre comment différents Canadiens (qui pensent, ressentent et croient différentes choses au sujet des changements climatiques) peuvent réagir différemment à différents types de messages axés sur le climat, ce qui permettra ultimement de comprendre quelles émotions sont les plus efficaces pour autonomiser et pour encourager les Canadiens qui désirent déjà adopter des comportements davantage en faveur de la lutte contre les changements climatiques à passer aux prochaines étapes.
Quelles sont les recherches à venir dans le domaine du climat et de la communication?
Le PRAAC a tout juste un an; en tant que programme de recherche pluriannuel, il ne fait que commencer. Dans le domaine des communications sur le climat, des études futures sont prévues pour examiner comment divers leviers de communication peuvent être utilisés pour optimiser les messages, notamment le fait de recourir à des messagers idéaux, de cadrer les messages, etc. Plus largement, les chercheurs en sciences du comportement qui travaillent dans le cadre du PRAAC prévoient mener des recherches passionnantes pour explorer les motivations et les obstacles à l’adoption de comportements essentiels en faveur de la lutte contre les changements climatiques (notamment l’adoption de véhicules électriques, l’installation de thermopompes électriques et la réduction de la consommation d’énergie dans les habitations, la réduction des déchets et de l’utilisation du plastique, et bien d’autres choses encore) ainsi que la conception et l’essai de solutions fondées sur le comportement qui pourraient être transposés à grande échelle afin de promouvoir une action plus importante en faveur de la lutte contre les changements climatiques à l’échelle nationale.
Publié : 2022-11-28
Date de modification : 2026-06-01
