De la théorie à la pratique

Depuis sa création il y a cinq ans, Impact Canada a élaboré et affiné sa conception de la mesure de l’impact des défis. Dans ce billet de blogue, je vais souligner la façon dont les concepts théoriques et la recherche sur la mesure de l’impact ont été mis en pratique au cours de l’année dernière à Impact Canada.

Je m’appelle Kiran Toor et j’ai rejoint Impact Canada en juin 2022 en tant que conseillère pour soutenir l’équipe des défis en matière de mesure de l’impact. Avant de rejoindre Impact Canada, je travaillais à Statistique Canada en tant qu’économiste, dirigeant des projets de recherche liés à l’évaluation de l’impact des programmes, au rendement et à la propriété des entreprises, et effectuant des analyses de données sur les tendances économiques, y compris des travaux pour Impact Canada. J’ai rejoint l’équipe pour explorer la manière dont les données sont utilisées pour éclairer les décisions en matière de politiques et de programmes, compte tenu notamment de mon expérience en tant qu’utilisatrice et analyste de données.

Qu’est-ce que l’impact signifie pour Impact Canada?

L'impact désigne « le changement attribué à nos investissements dans les programmes et les politiques. Il représente le but ou l’objectif ultime d’une politique — une réponse précise à un défi sociétal ^{Footnote 1}.» Nous nous intéressons, en particulier, au changement des résultats socio-économiques et environnementaux qui sont directement attribuables à une intervention. La mesure de l’impact est soutenue au sein d’Impact Canada comme moyen d’évaluer les effets des politiques et des programmes axés sur les résultats, afin que nous et nos partenaires puissions utiliser diverses sources de preuves pour informer nos décisions.

Conception théorique d’Impact Canada pour la mesure de l’impact

Il y a près de trois ans, Craig Joyce a présenté un guide de mesure de l’impact qui mettait en avant les approches de financement avec paiement en fonction du succès et l’utilisation de méthodes expérimentales et quasi expérimentales de mesure de l’impact pour permettre aux lecteurs des politiques et des programmes d’être des consommateurs critiques de leur propre travail de paiement en fonction du succès.

L’année dernière, Noah Conrad a donné un aperçu de différentes méthodes permettant de mesurer les effets des défis. Chaque méthode d’enquête était liée aux résultats du modèle logique d’Impact Canada, qui décrit la théorie sous-jacente à ce qu’Impact Canada s’attend à réaliser au moyen de ses défis, les résultats correspondants du processus et les résultats socio-économiques et environnementaux prévus à plus long terme que les défis visent à atteindre.

Impact Canada compte désormais 30 défis dans son portefeuille, dans des domaines allant de la santé publique, du logement et des infrastructures à la réduction des déchets alimentaires et aux technologies propres, en passant par l’alimentation et les soins de santé dans l’espace lointain. Les défis se déroulent simultanément, les stades des défis en cours variant et couvrant plusieurs années. Par conséquent, il était nécessaire d’établir une approche stratégique pour mesurer systématiquement l’impact des différents défis et exploiter de manière efficace l’information disponible sur les défis — quel que soit le stade auquel ils se trouvent. Cependant, en tant que Centre d’expertise désigné pour explorer la pertinence, l’efficacité et l’efficience des modèles de financement basés sur les résultats, nous devions également comprendre les impacts de l’initiative globale elle-même, l’ensemble du processus de conception des défis, la mise en œuvre et les résultats. Pour ce faire, nous devions aller au-delà des résultats des projets individuels et réfléchir de manière plus systématique à ce que les défis pouvaient accomplir au sein du gouvernement.

Avant de pouvoir mesurer l’impact, il fallait prendre en compte le modèle logique. Le modèle logique se décompose en trois segments :

1. Résultats du processus, ce qui comprend des indicateurs de sensibilisation du public, de mobilisation des talents et de création de réseaux de collaboration.
2. Modèles durables, ce qui comprend des indicateurs relatifs à la création de produits et de services innovants, à l’accroissement des investissements et à l’amélioration des compétences et des capacités.
3. Valeur publique accrue, ce qui comprend la mesure des avantages sociaux, environnementaux et économiques des défis — la raison pour laquelle les défis sont perçus comme utiles pour apporter une valeur publique.

Les sondages ont été lancés par Impact Canada pour obtenir les commentaires des ministères du gouvernement du Canada, des membres du jury et des participants aux défis sur l’efficacité des défis, qu’il s’agisse de la mobilisation de nouveaux talents, de la sensibilisation aux enjeux et de la création de produits et services innovants. Le sondage a également été utilisé pour obtenir des points de vue sur l’utilisation des défis pour favoriser la capacité d’innovation au sein des ministères, ouvrir les processus de prise de décision du gouvernement et stimuler l’innovation.

Une analyse des réseaux sociaux (ARS) a été réalisée par des étudiants de maîtrise en sciences des données de l’UBC pour déterminer si un défi a contribué à sensibiliser à un sujet, qui a participé aux défis d’Impact Canada, si des réseaux et des partenariats ont été formés à partir des défis, et quels étaient les liens entre les participants aux défis. Cette analyse a été réalisée pour le Défi de l’alimentation dans l’espace lointain, étant donné l’attention qu’il a suscitée dans les médias sociaux grâce à la collaboration de la NASA et de l’Agence spatiale canadienne (ASC).

L’analyse quasi expérimentale a été réalisée par Statistique Canada à l’aide de son Environnement de fichiers couplables. Dans la première série d’analyses, les participants au défi ont été profilés en fonction de leur type d’organisation, de leur secteur d’activité, du nombre d’employés, des années d’activité et de l’âge et du sexe du principal décideur. Cette analyse évalue également le succès des défis à atteindre leurs objectifs économiques en évaluant les indicateurs de rendement des entreprises des participants par rapport à un groupe de contrôle. Les indicateurs évalués comprenaient les revenus, les dépenses de R-D, les traitements et salaires, l’emploi et la productivité du travail.

Ce que nous avons appris : l’importance des données et de la collaboration

L’exploration de ces trois méthodes a mis en évidence l’importance des données — tant qualitatives que quantitatives — et les aspects à prendre en compte, tels que la collecte, l’analyse, la diffusion et la tenue à jour des bases de données. Le fait de disposer des données adéquates et appropriées a permis de mesurer l’impact des défis d’Impact Canada.

L’analyse des réseaux sociaux nous a appris qu’en récupérant les gazouillis de Twitter, nous avons pu obtenir de l’information pertinente pour mesurer l’impact, tout en réduisant la charge de réponse. Grâce à notre collaboration avec les étudiants de l’UBC, c’est une méthode que nous pouvons maintenant reproduire sur la base de la méthodologie qu’ils ont créée. Nous continuons à mener des analyses des réseaux sociaux sur d’autres défis, tout en explorant d’autres outils pour permettre ce travail.

Grâce à notre partenariat avec Statistique Canada, nous avons pu mesurer l’impact économique de nos défis en utilisant ses riches données commerciales et fiscales. Les améliorations économiques sont des résultats à plus long terme qui nécessitent la réalisation d’un certain nombre de défis et une quantité suffisante de temps et de données avant et après le défi pour évaluer l’impact d’un défi donné. Cependant, grâce à des données fiscales opportunes, StatCan est en mesure de fournir des indicateurs de rendement financier pour les participants aux défis qui sont à la fois terminés et en cours, afin de nous donner une idée des impacts des défis. Nous continuons à travailler avec Statistique Canada sur une deuxième série d’analyses qui s’appuient sur la première et approfondissent la comparaison entre les participants aux défis et les non-participants afin de mesurer l’impact des défis, tout en explorant également d’autres approches quasi expérimentales telles que l’écart des différences et l’appariement par scores de propension.

Étant donné que le processus des défis est collaboratif par nature, puisque nous mobilisons les ministères, les membres du jury et les participants, la réalisation d’un sondage était non seulement un moyen efficace de recueillir de l’information là où il existe des lacunes dans les données aux fins de mesure de l’impact, mais il était également utile d’obtenir des commentaires sur les moyens d’améliorer les défis, ainsi que de recueillir de l’information sur l’expérience de nos partenaires participant à un défi. La possibilité d’adapter les questionnaires à des besoins de politiques particuliers fait des sondages une méthode qui complète bien d’autres modes d’enquête.

L’exploration de ces différentes méthodes d’enquête aide Impact Canada à mesurer l’impact des défis individuels et à évaluer les défis en tant qu’instrument du secteur public. Grâce à ce travail, Impact Canada est en mesure de continuer à offrir à ses clients des produits et services fondés sur des données probantes et de soutenir leurs approches de financement axées sur les résultats.

Qu’est-ce qui s’en vient?

Dans les mois à venir, nous présenterons les résultats des sondages et de l’analyse des réseaux sociaux que nous avons menés. Gardez un œil sur ces blogues!