Rapport de synthèseQuelle est l’efficacité des défis? L'utilisation de l’analyse des réseaux sociaux

alt text to go here

1. Résumé

Depuis 2017, Impact Canada s’associe à des partenaires fédéraux pour tirer parti des défis comme outil de financement innovant pour aider à résoudre des problèmes complexes pour les Canadiens. Les défis d’Impact Canada sont des concours axés sur les résultats qui utilisent des incitatifs financiers et autres pour encourager les innovateurs à orienter leurs talents vers la recherche de solutions à des problèmes précis.

Depuis l’introduction des défis comme outil dans la boîte à outils du gouvernement du Canada, Impact Canada travaille à mesurer leur impact, ainsi qu’à améliorer la façon dont ils sont conçus et mis en œuvre. Impact Canada, par l’intermédiaire de son Centre d’expertise, a également fourni une assistance technique aux ministères et organismes fédéraux intéressés par l’organisation de défis.

Guidé par un modèle logique, Impact Canada a opérationnalisé à la fois la recherche quantitative avec Statistique Canada et la recherche qualitative, y compris les études de cas, les sondages et les analyses de réseaux sociaux. Pour en savoir plus sur l'approche de mesure de l'impact d'Impact Canada, lisez notre modèle logique et ce blogue.

Dans un rapport de synthèse précédent, nous avons présenté les points saillants des sondages menées auprès des parties prenantes. Ici, nous présentons les résultats d'un autre champ d'enquête que nous explorons pour mesurer l'impact des Défis d'Impact Canada : L'analyse des réseaux sociaux.


2. À propos d’Impact Canada

Impact Canada fait partie d’un ensemble exhaustif d’initiatives lancées par le gouvernement du Canada en 2017 visant à résoudre des problèmes politiques complexes en utilisant le concept des prix et défis, des modèles de rémunération à la réussite et des modèles fondés sur le comportement. Impact Canada permet d’utiliser les prix et défis à condition d’observer un ensemble de modalités souples concernant les subventions et les contributions afin d’établir un lien entre le financement et les résultats obtenus et de financer des évaluations rigoureuses fondées sur la recherche.

L’Unité de l’impact et de l’innovation du Bureau du Conseil privé aide les ministères à élaborer des possibilités de financement novatrices qui réunissent les meilleures idées et les plus brillants talents et qui récompensent les organisations et les personnes qui produisent des résultats très positifs pour les Canadiens.


3. Méthodologie : L’analyse des réseaux sociaux

L’analyse des réseaux sociaux est un processus d’étude des relations entre les personnes et les organisations en utilisant les réseaux et la théorie des graphes. Dans un graphe, les acteurs individuels sont désignés comme des nœuds et les relations et interactions entre eux comme des arêtes, reliant les différents nœuds.

En utilisant l’analyse des réseaux sociaux, notre équipe a tenté de répondre aux questions de recherche suivantes concernant l’impact des défis :

  • Les défis permettent-ils de sensibiliser le public à un sujet particulier? Y a-t-il une augmentation des mentions dans les médias sociaux sur un sujet particulier?
  • Les défis atteignent qui et quels sont les liens entre eux?
  • Quels groupes et acteurs participent aux défis d’Impact Canada?
  • Quels types de réseaux et de liens se sont formés entre les participants aux défis?

Bien qu'un certain nombre de plateformes de médias sociaux aient été explorées, nous avons finalement choisi d'utiliser Twitter. Twitter s'agit d'une plateforme populaire utilisée par notre public et qui dispose de données largement disponibles (par exemple, les utilisateurs, les followings, les gazouillis et les informations de profil) pour développer une preuve de concept. De plus, étant donné sa popularité générale et sa structure ouverte, il existe un nombre important d'outils de recherche existants et disponibles conçus pour la collecte et l'analyse de ses données.

Afin de répondre à nos questions sur l'impact des défis, nous avons élaboré une approche par étapes pour développer la preuve de concept. En bref, nous avons utilisé les étapes décrites ci-dessous :

  1. Raclage de données : Le paquet Python snscrape a été utilisé pour collecter des gazouillis en utilisant une variété de mots-clés liés au Défi de l’alimentation dans l’espace lointain. En fin de compte, le terme " Deep Space Food " a été utilisé pour collecter 9 323 gazouillis.
  2. Traitement des données :  Après avoir supprimé les gazouillis en double, l'ensemble de données a été réduit à 5 562 gazouillis.
  3. Visualisation des données : À l'aide de l'outil Gephi, les liens entre les messages de l'ensemble de données ont été représentés graphiquement. Les utilisateurs de Twitter engagés dans des discussions autour du Défi de l’alimentation dans l’espace lointain ont été visualisés sous forme de nœuds individuels dimensionnés sur la base de leur nombre total de connexions dans l'ensemble de données. En outre, les différentes communautés d'utilisateurs ont été représentées par des couleurs différentes.

4. Résultats

Les défis permettent-ils de sensibiliser le public à un sujet particulier?

Dans l’ensemble, les résultats préliminaires de notre analyse des réseaux sociaux suggèrent que le modèle des défis d’Impact Canada est efficace pour attirer l’attention sur le problème et élargir les réseaux de personnes et d’organisations participant à la résolution du problème.

En utilisant les mots clés " Deep Space Food " pour interroger et visualiser l'activité du réseau social, nous avons observé une expansion significative du réseau d'acteurs et du nombre d'interactions autour du sujet après le lancement du Défi de l’alimentation dans l’espace lointain.

Figure 1. Réseaux sociaux sur l’alimentation dans l’espace lointain avant et après le lancement du défi

  • Description de la figure - Engagement avant le lancement du défi.

    Au cours de la période comprise entre le 1er août 2019 et le 11 janvier 2021, il n'y a eu qu'un nombre limité de gazouillis et d'engagements au sujet de " Deep Space Food ". Sans surprise, les nœuds les plus importants, représentant les acteurs des médias sociaux les mieux classés en termes de nombre de gazouillis, sont la NASA et CSA_ASC.

  • Description de la figure - Engagement après le lancement du défi. 

    Une grande expansion du nombre de gazouillis et d'individus engagés sur le thème de  ; " Deep Space Food " a été observée dans la période qui a suivi le lancement du défi entre le 12 janvier et le 31 mai 2021.  

  • Description de la figure - Animation démontrant l'expansion de l'engagement d'avant à après le lancement du défi. Avant le lancement du défi, il n'y avait qu'un petit nombre de nœuds. Après le lancement, il y a eu une augmentation soudaine et soutenue du nombre d'individus et de communautés indépendantes de connexions menti " Deep Space Food ". À la fin de la période observée, le 31 mai 2021, il y a 1 709 tweets avec plus de 40 000 connexions entre eux.

Une autre façon de mesurer l’impact des défis sur la sensibilisation au problème est d’examiner le nombre d’interactions et d’engagements sur les médias sociaux. Le tableau 1 ci-dessous montre qu’il y a eu une forte augmentation du nombre de discussions (p. ex. gazouillis) de ce sujet dans les médias sociaux (près de cinq fois plus de gazouillis après le lancement du défi), ainsi qu’une augmentation importante des interactions et des engagements (p. ex. gazouillis partagés, mentions, commentaires).

Table 1. Nombre de gazouillis et d’interactions avant et après le lancement du défi

Nombre Avant le lancement du défi Après le lancement du défi Croissance
Gazouillis 349 1 709 + 390%
Interactions 14 238 40 733 + 186%

Une analyse des sentiments a été réalisée sur les gazouillis afin de mieux comprendre le contenu des conversations de ce sujet. Il est intéressant de noter que le sentiment général des messages sur les médias sociaux était positif et avait une cote plus positive après le lancement du défi.

Les défis atteignent qui et qui participe aux défis d’Impact Canada?

En utilisant l’analyse des réseaux sociaux, l’équipe a cherché à savoir qui sont les acteurs qui participent aux défis d’Impact Canada. Comme le Défi de l’alimentation dans l’espace lointain en particulier était une entreprise internationale lancée conjointement au Canada par l’Agence spatiale canadienne et Impact Canada et aux États-Unis par la NASA, il n’est pas surprenant que la portée du défi soit internationale par nature, avec des milliers de liens entre les États-Unis, le Canada et le reste du monde.

Au cours des 18 mois qui ont suivi le lancement du défi, il y avait 1 309 acteurs dans le réseau (représentés par des nœuds) et 1 402 interactions et relations distinctes entre ces acteurs (représentées par des arêtes). Le réseau est présenté dans la figure 2 ci-dessous, selon une disposition géographique, où le réseau américain est illustré en rose et le réseau canadien en bleu.

Figure 2. Réseau du Défi de l’alimentation dans l’espace lointain selon une disposition géographique

  • Description de la figure - Réseau du Défi de l’alimentation dans l’espace lointain selon une disposition géographique

    1 309 acteurs engagés dans le réseau (représentés par des nœuds) et 1 402 interactions et relations distinctes entre ces acteurs (représentées par des lignes reliant les nœuds) représentés sur une carte. Le réseau américain est illustré en rose et le réseau canadien en bleu. Le réseau canadien est centré sur l'Agence spatiale canadienne à Montréal et Impact Canada à Ottawa. Des lignes réparties sur toute la carte révèlent des interactions à travers le monde.

En zoomant sur le réseau canadien, on peut clairement voir que le réseau est centré sur l’Agence spatiale canadienne (ASC) et Impact Canada (Unité de l’impact et de l’innovation). La taille des nœuds dans la figure 3 ci-dessous est mise à l’échelle sur la base des calculs de centralité des vecteurs propres, qui mesurent le degré d’influence dans le réseau. Un résultat intéressant est qu’Impact Canada a presque le même niveau d’influence que l’ASC qui est le responsable du problème et qui met en œuvre le défi. Il s’agit d’une validation de l’importance de la portée d’Impact Canada et de l’avantage pour les ministères du gouvernement du Canada de tirer parti des ressources d’Impact Canada pour élargir le réseau de personnes en mesure de trouver des solutions et atteindre un vaste bassin de talents. Le graphe permet également de déterminer les différents groupes/communautés participant au défi. En utilisant les mesures de modularité et la couleur pour déterminer l’association communautaire, il est possible de déterminer des sous-réseaux, comme le sous-réseau orange ci-dessous, qui est un réseau universitaire centré sur l’Université de Guelph.

Figure 3. Réseau canadien du Défi de l’alimentation dans l’espace lointain – Taille des nœuds selon l’influence

  • Description de la figure - Taille des nœuds selon l’influence

    Les nœuds illustrés représentent les acteurs engagés dans le réseau. La taille des nœuds est mise à l'échelle en fonction des calculs de centralité des vecteurs propres, qui mesurent le degré d'influence dans le réseau. Le nœud d'Impact Canada a presque le même niveau d'influence que celui représentant l'ASC, qui met en œuvre le défi. En utilisant les mesures de modularité et la couleur pour déterminer l'association des communautés, on peut identifier des sous-réseaux. On peut voir un certain nombre de sous-réseaux, dont un réseau universitaire centré sur l'Université de Guelph.

Quels types de réseaux et de liens se sont formés entre les participants aux défis?

L’équipe a également utilisé l’analyse des réseaux sociaux pour étudier les réseaux formés par les demandeurs et les participants au Défi de l’alimentation dans l’espace lointain. L’objectif était de comprendre si les défis soutiennent l’expansion des réseaux et des partenariats de collaboration. Fait intéressant, l’équipe a constaté que les participants qui ont réussi la première étape du défi (sélectionnés comme demi-finalistes) étaient plus susceptibles que les demandeurs non retenus d’avoir un plus grand réseau en ligne et d’avoir un ratio abonnés/abonnements plus élevé (c.-à-d. qu’ils avaient plus d’abonnés pour chaque compte auquel ils étaient abonnés sur les médias sociaux).

Toutefois, ces données ont des limites. Tout d’abord, l’équipe n’a pas pu déterminer les renseignements des comptes publics de médias sociaux que pour environ 20 % des demandeurs du défi. Deuxièmement, compte tenu des contraintes de temps et de ressources, il n’a pas été possible d’extraire des données chronologiques pour comprendre à quel moment les différents liens ont été créés. Cela signifie qu’il n’y avait aucun moyen significatif d’étudier l’évolution de ces réseaux dans le temps, y compris l’établissement d’une base de référence pour la taille et la structure du réseau des participants avant le lancement du défi.

Le réseau des participants basé sur les données de mai/juin 2022 est présenté à la Figure 4 ci-dessous.

Figure 4: Réseau des participants au Défi de l’alimentation dans l’espace lointain

  • Description de la figure - Réseau des participants au Défi de l’alimentation dans l’espace lointain

    Ce graphique représente les réseaux des participants, sous forme de sphères de nœuds représentant la portée de chaque participant et de lignes représentant les connexions entre eux (en utilisant environ 20 % des participants au défi et les données de mai et juin 2022). Dans cette représentation, Noblegeninc et JustVertical ont les plus grands réseaux.


5. Conclusion : Qu'avons-nous appris ?

En conclusion, l’analyse des réseaux sociaux est un outil puissant qui peut être utilisé pour mesurer l’impact des concours des défis. Pour le Défi de l’alimentation dans l’espace lointain, utilisé comme défi pilote dans le cadre de cette étude, l’analyse semble confirmer que les défis peuvent grandement contribuer à la sensibilisation à un sujet. Elle peut également permettre d’étudier la diversité des acteurs participant aux défis, ainsi que les différents réseaux formés entre ces acteurs, notamment les demandeurs et les participants. La détermination des acteurs influents dans un réseau peut être un outil important à utiliser par les défis comme moyen d’atteindre un plus grand nombre de personnes en mesure de trouver des solutions, ainsi que de communiquer les résultats des défis et de promouvoir les solutions.


6. Prochaines étapes?

À l’avenir, il serait bénéfique d’intégrer la collecte de données sur les réseaux sociaux au début du processus des défis, car de nombreux types de données ne peuvent pas être collectés rétroactivement (par exemple, le nombre d’abonnés/abonnements avant une certaine date). Il serait également utile d’avoir une coordination plus étroite avec les demandeurs et les participants pour la collecte de ces données (par exemple, demander aux demandeurs d’indiquer leurs comptes Twitter ou d’autres pages publiques de médias sociaux).

En plus de Twitter, LinkedIn pourrait être un outil très utile pour mesurer l’impact des défis. Il peut être utilisé pour mieux étudier la croissance des participants au moyen des offres d’emploi et le nombre d’employés, ainsi que le type de talents embauchés et le développement des relations professionnelles au fil du temps. Cependant, l’accès aux données de LinkedIn nécessitera très probablement un partenariat officiel avec LinkedIn, puisque l’accès public à son API a été fermé en 2015Note de bas de page 1 et que la collecte des données de LinkedIn sur le Web a été jugée difficile en raison des caractéristiques de sécurité du siteNote de bas de page 2.

7. Remerciements

Merci aux coauteurs Andrew Nguyen, Kristy Phipps, Nelson Tang et Carl Zou (étudiants de l'Université de la Colombie-Britannique), ainsi qu'à Statistique Canada.


8. Notes de bas de page

Date de modification : 2023-01-13