Exploration des analyses quasi expérimentales

Qu’a-t-on fait?

Depuis 2019, Impact Canada s’est associé au Centre des projets spéciaux sur les entreprises (CPSE) de Statistique Canada pour explorer l’utilisation des données fiscales afin d’éclairer le rendement des candidats aux défis et d’évaluer l’incidence économique des défis à l’aide de l’Environnement de fichiers couplables - Entreprises (EFC-E) de Statistique Canada. L’EFC-E est un environnement dans lequel différentes sources de données administratives et de sondages sont liées aux microdonnées de Statistique Canada sur les entreprises.

• Environnement de fichiers couplables - Entreprises (EFC-E) (Statistique Canada)

  Sources de données administratives
  Registre des entreprises (RE)
  Programme d'analyse longitudinale de l'emploi
  Index général des renseignements financiers - Entreprises non constituées en sociétés
  Index général des renseignements financiers - Entreprises constituées en sociétés
  T4 (État de la rémunération Payée) fichier supplémentaire
  FPP (Fichier Principal Personnel) du propriétaire principal de l'entreprise (avec des variables du recensement et de la base de données longitudinales sur l'immigration
  BDA (Base de données T1 améliorée) du propriétaire principal de l'entreprise (avec des variables du recensement et de la base de données longitudinales sur l'immigration
  Compte de retenues sur la paye
  Registre des exportateurs
  Registre des importateurs
  Brevets (Office de la propriété intellectuelle du Canada)
  United States Patent Office (USPTO) - Entreprises canadiennes seulement -
  Soutien à la croissance et à l'innovation en entreprise
  Programme des données fiscales agricoles
  Organismes de bienfaisance
  Base de données de recherche sur les brevets canadiens
  Base de données sur la diversité et les compétences
  Sources de données d'enquête
  Enquête annuelle Recherche et développement dans l'industrie canadienne
  Balance des paiements : investissements directs canadiens à l'étranger
  Balance des paiements : investissements directs étrangers au Canada
  Échanges de services commerciaux
  Enquête sur l'innovation et les stratégies d'entreprise
  Enquête sur l'innovation
  Enquête sur le commerce électronique et la technologie
  Enquête sur les technologies de pointe
  Enquête sur la commercialisation de l'innovation
  Enquête sur le financement et la croissance des petites et moyennes entreprises
  Enquête sur la gestion de la propriété intellectuelle
  Enquête sur la technologie numérique et l'utilisation d'Internet
  Enquête sur le coût de la mise en conformité à la réglementation
  Demande pour les dépenses de recherche scientifique et développement expérimental
  Enquête sur la connaissance et l'utilisation de la propriété intellectuelle

  Source: https://www23.statcan.gc.ca/imdb/p2SV_f.pl?Function=getSurvey&SDDS=6000

Des analyses quasi expérimentales ont été explorées pour tenter de reproduire la rigueur des essais contrôlés randomisés, ce qui n’est pas possible à mettre en œuvre dans le cadre d’un défi, car les gagnants du concours ne sont pas assignés de manière aléatoire. Pour démontrer les effets de causalité des défis sur les résultats d’intérêt, les données sur les candidats aux défis, collectées par Impact Canada, ont été reliées au Registre des entreprises (RE). Le RE est un répertoire des entreprises enregistrées au Canada, tenu par Statistique Canada. Cet ensemble de données a ensuite été relié aux données fiscales de l’EFC-E afin de comprendre quels types d’entreprises^{Footnote 2} participent aux défis en évaluant les caractéristiques de leurs activités et leur rendement économique. Un groupe de non-candidats a été créé en exploitant les similitudes entre les organismes à travers une série de variables afin de réaliser une analyse comparative.

Cette approche comportait deux volets. Tout d’abord, pour comprendre si les défis mobilisent de nouveaux talents, nous avons établi le profil des entreprises en fonction de leurs caractéristiques géographiques et professionnelles. Deuxièmement, pour comprendre si les défis augmentent les investissements et renforcent les compétences et les capacités, nous avons comparé le rendement des entreprises des candidats aux défis à celui des non-candidats selon les indicateurs suivants :

• actif;
• passif;
• emplois;
• salaires et traitements;
• productivité du travail;
• dépenses de recherche et développement (R et D).

Deux séries d’analyses quasi expérimentales ont été menées. La première a été menée pour évaluer la possibilité d’évaluer le succès des défis dans la réalisation de leurs objectifs. Comme Impact Canada a lancé de nouveaux défis et que le nombre de candidats aux défis a augmenté depuis la première étude, une deuxième analyse a été réalisée. La deuxième analyse visait à approfondir et à élargir la portée de la première étude en incluant les années supplémentaires de données sur les entreprises et en évaluant la faisabilité d’une analyse de l’incidence du programme.

Pourquoi ces travaux ont-ils été faits?

Contrairement aux sondages et autres méthodes de collecte de données, l’utilisation de données administratives, telles que les données fiscales, à des fins autres que celles prévues, permet d’accéder à des données de haute qualité pour établir le profil de rendement économique des entreprises. Il est important de noter que l’utilisation de données administratives permet d’alléger le fardeau des candidats participant aux défis en leur évitant d’avoir à répondre à des questionnaires.

La Loi sur la statistique permet à Statistique Canada de relier les données fiscales à d’autres données de sondages et administratives à des fins de recherche. Statistique Canada peut ainsi collaborer avec les ministères « à la collecte, à la compilation et à la publication de renseignements statistiques, y compris les statistiques qui découlent des activités de ces ministères ». Les données liées offrent la possibilité d’accroître la portée et la profondeur des recherches possibles. Par exemple, l’utilisation de données fiscales peut ouvrir la voie à des variables de substitution pour mesurer les résultats.

L’exploration d’une analyse quasi expérimentale à l’aide de l’EFC-E s’est avérée convaincante pour évaluer l’incidence des défis, car elle fournit des données probantes sur le rendement des candidats en fonction des investissements après le défi. Elle permet également de comparer les candidats à des organismes similaires qui n’ont pas présenté de demande dans le cadre des défis d’Impact Canada, ce qui nous permet d’évaluer l’efficacité avec laquelle les résultats du programme des défis sont atteints.

Pour résumer de manière systématique les résultats et les enseignements tirés de ce travail, nous faisons l’analogie avec une rose. Le rapport ci-dessous résume d’abord ce qui s’est bien passé et les résultats des analyses (notre rose), puis décrit les obstacles que nous avons rencontrés (notre épine), et enfin décrit ce que nous avons appris et les possibilités futures d’approfondir ce travail (notre bourgeon).

Notre rose : ce que nous avons appris jusqu’à présent

La première analyse quasi expérimentale a été menée en 2021 et a porté sur sept défis lancés de 2017 à 2019. Comme d’autres données sont devenues disponibles, une deuxième analyse quasi expérimentale a été menée en 2023, portant sur douze défis lancés de 2016 à 2021. Parallèlement à la deuxième analyse, une analyse complémentaire a été réalisée pour évaluer la faisabilité d’une analyse d’incidence du programme des défis.

Les résultats de la deuxième analyse, présentés dans la figure 1, montrent que 90 % des candidats aux défis étaient des organismes à but lucratif. Comme présentés dans la figure 2, les candidats étaient répartis géographiquement, trois entreprises sur quatre ayant leurs activités en Ontario (41 %), dans les Prairies (18 %) ou en Colombie-Britannique (16 %).

La majorité (95 %) des candidats étaient des petites entreprises, comptant moins de 100 employés, et plus de la moitié (59 %) étaient de jeunes entreprises en activité depuis moins de 5 ans, comme le montre les figure 3 à 4.

La figure 5 montre que si les entreprises qui relèvent les défis d’Impact Canada sont diverses et opèrent dans 20 secteurs différents, plus de la moitié (59 %) d’entre elles appartiennent aux secteurs de la fabrication (22 %) et des services professionnels, scientifiques et techniques (37 %).

Pour savoir si les candidats aux défis ont effectivement été en mesure de faire augmenter les investissements grâce aux mesures d’aide fournies dans le cadre des défis, les produits, l’actif et le passif des candidats aux défis ont été analysés et comparés à ceux des non-candidats.

L’analyse comparative a montré que les candidats aux défis font augmenter en fait davantage les investissements que les non-candidats, puisque les taux de croissance des produits (104 % et 50 %), de l’actif (125 % et 111 %) et du passif (226 % et 122 %) de 2016 à 2020 étaient plus élevés pour les candidats que pour les non-candidats, comme le montre les figures 6 à 7.

Pour savoir si les défis améliorent les compétences et les capacités des candidats, les données relatives à l’emploi et aux salaires ont été analysées. Les figures 8 à 11 montre que les défis renforcent effectivement les compétences et les capacités, puisque les taux de croissance de 2016 à 2021 de l’emploi (58 % et 36 %), des salaires (100 % et 62 %), du salaire par employé (23 % et 15 %) et de la productivité du travail ^{Footnote 3} (124 % et 62 %) étaient plus élevés chez les candidats aux défis que chez les non-candidats.

Les dépenses de R et D^{Footnote 4} ont été évaluées pour déterminer si les défis contribuaient au développement de produits et de services innovants. Les résultats montrent que de 2016 à 2020, les non-candidats (28 %) ont davantage augmenté leurs dépenses de R et D que les candidats (14 %), comme le montre la figure 12.

Une partie de la deuxième série d’analyses a consisté à évaluer la faisabilité d’une analyse d’incidence du programme. Le travail visait à explorer les types de méthodes statistiques qui pourraient être utilisées pour une analyse d’incidence et la faisabilité d’une analyse d’incidence future, une fois que des données supplémentaires seront disponibles. L’étude de faisabilité servirait à documenter les forces et les faiblesses des approches et à formuler des suggestions sur ce qu’il conviendrait de faire au cours des années suivantes pour réussir une analyse d’incidence.

Quelles sont les conclusions de l’analyse de faisabilité?

Une évaluation de la faisabilité d’une analyse d’incidence a été réalisée d’après les données disponibles afin de déterminer l’incidence de la participation aux défis d’Impact Canada. En d’autres termes, il s’agit de répondre à la question suivante : existe-t-il des preuves statistiquement significatives que la participation aux défis d’Impact Canada améliore de manière mesurable les résultats des candidats en matière d’investissement et d’emploi?

Afin de s’assurer que des données suffisantes étaient disponibles avant et après le défi, l’analyse d’incidence a été menée auprès de 40 entreprises ayant remporté au moins un prix (demi-finalistes, finalistes et lauréats du grand prix) à la suite de six défis relevés de 2016 à 2021. Une méthode d’écart entre les différences^{Footnote 5} a été utilisée pour tester les effets de la participation aux défis sur une série de variables de résultats, notamment les produits, les dépenses, l’actif, le passif, l’emploi, les salaires et la productivité du travail.

Les résultats de l’étude de faisabilité n’ont pas démontré de manière statistiquement significative que la participation à un défi avait une incidence sur l’une des variables dépendantes testées (produits, dépenses, actif, passif, emploi, salaires et productivité du travail). Toutefois, ce travail a permis de jeter les bases d’une estimation future de l’incidence des défis d’Impact Canada.

Notre épine : les limites

Les limites de la mesure de l’incidence des défis

Les défis Impact Canada varient en fonction du sujet, des résultats escomptés, du calendrier, du nombre d’étapes, du montant du prix et du nombre de candidats. Pour l’évaluation de l’incidence, il en résulte un cadre complexe, surtout quand on tient compte de la variabilité entre les défis et les candidats. Cette variabilité implique un certain degré d’hétérogénéité.

Cette hétérogénéité parmi les candidats est encore accrue par le fait que les défis faisaient appel à divers types de candidats, tels que des entreprises, des universitaires, des particuliers, des organisations gouvernementales et autochtones, ainsi des candidats étrangers. En outre, au fur et à mesure que les étapes du défi sont franchies, moins de candidats accèdent à la demi-finale, à la finale et au grand prix, ce qui réduit la taille de l’échantillon de candidats qui sont mieux à même de démontrer si les résultats du défi sont atteints. Cette attrition pose un problème, car il est logique de se concentrer sur les candidats qui ont progressé avec succès, étant donné qu’ils ont reçu progressivement plus de fonds publics que les candidats non retenus, et qu’ils ont vraisemblablement eu plus de temps pour commercialiser leurs produits et les adapter. Pour justifier cette notion et produire des preuves de l’incidence des défis sur le rendement des entreprises des candidats retenus, il faudrait procéder à d’autres analyses empiriques fondées sur la théorie et sur des études antérieures.

La petite taille de l’échantillon de demi-finalistes, de finalistes et de lauréats du grand prix ne permet pas non plus d’estimer l’incidence de chaque défi. Par conséquent, pour évaluer l’incidence des défis sur les candidats retenus, on a regroupé les défis susceptibles d’avoir une incidence différente à différentes échelles.

Les limites de l’utilisation des données fiscales pour mesurer l’incidence de défis

Malgré les avantages que présente l’utilisation des données fiscales des entreprises pour mesurer les résultats et l’incidence de défis sur le rendement des entreprises, elle présente également des limites, car seuls les organismes candidats dont les informations peuvent être reliées aux données fiscales peuvent être utilisés pour l’analyse. Cette approche ne s’applique pas aux universitaires, aux particuliers et aux candidats n’appartenant pas au monde de l’entreprise, ce qui limite l’incidence du programme à la seule perspective des entreprises. La taille de l’échantillon s’en trouve donc davantage réduite, et cette approche pèse sur le niveau de précision des statistiques présentées pour établir le profil du rendement des entreprises à l’aide de données fiscales, compte tenu des exigences en matière de confidentialité des données. En outre, certaines données fiscales ne sont pas fournies par toutes les entreprises, telles que les dépenses de R et D, ce qui limite les variables de substitution disponibles pour évaluer si des investissements sont réalisés dans le développement de produits et de services innovants soutenus par le défi.

À cause de l’hétérogénéité tant dans le programme que parmi les candidats, de la petite taille de l’échantillon et des inévitables données aberrantes (qui ne peuvent pas toujours être supprimées en raison de la taille déjà réduite de l’échantillon), qui mettent en évidence les compromis entre la précision et la robustesse, il est difficile pour un modèle statistique de produire des données probantes de l’incidence dans le contexte de cette recherche.

Ces limitations, associées à la disponibilité variable des données, restreignent également la possibilité de comparer l’incidence d’un défi par rapport à un autre au cours d’une année donnée. Pour l’instant, des mesures ponctuelles sont produites pour les défis terminés et en cours, afin de se faire une idée de leur incidence.

Notre bourgeon : enseignements tirés et travaux futurs

Qu’avons-nous appris?

L’exploration d’analyses quasi expérimentales utilisant des données fiscales s’est avérée une méthode rigoureuse de production de données probantes, adaptable à la mesure des résultats et de l’incidence à mesure qu’ils se révèlent. En outre, ce travail a démontré que l’utilisation de données administratives pour évaluer l’incidence économique des programmes peut également fournir des informations sur les conséquences des programmes ou des politiques à une plus large échelle.

Étant donné que les ensembles de données fiscales des entreprises sont à la fois complets et actuels, elles offrent des possibilités d’effectuer de futures analyses longitudinales et transversales et d’accroître la portée et les capacités de la recherche, si nécessaire. Toutefois, pour y parvenir et pour surmonter les nombreuses limites posées par la conception et la méthodologie de défis, ainsi que par la disponibilité actuelle des données, nous avons compris qu’il nous faudra beaucoup de temps. Au fur et à mesure que des défis plus récents sont menés à terme et que suffisamment de données préalables et postérieures sont disponibles, le nombre de candidats retenus augmente également, ce qui peut contribuer à améliorer la robustesse des analyses statistiques et permet de fournir des informations sur les résultats à long terme, par exemple les améliorations économiques.

Le partenariat entre Impact Canada et Statistique Canada a ouvert la porte à une initiative de recherche et d’analyse itérative, dans le cadre de laquelle nous sommes en mesure de tirer parti de nos apprentissages. Le travail de collaboration réalisé jusqu’à présent pour évaluer l’incidence des défis a jeté des bases solides et offre de nombreuses possibilités d’explorer d’autres approches quasi expérimentales et d’accroître la solidité des analyses effectuées dans les années à venir. Lorsque davantage de données seront disponibles, en 2024 et au-delà, nous espérons que d’autres possibilités d’analyse nous permettront d’explorer d’autres questions de recherche afin de mieux informer sur le financement basé sur les résultats.

Que pourrions-nous explorer à l’avenir?

Pour améliorer la façon dont les résultats des défis d’Impact Canada sont mesurés, les analyses quasi expérimentales pourraient être améliorées dans le cadre des travaux futurs en explorant les liens potentiels entre les données fiscales disponibles, les données sur les brevets et les données ouvertes sur les investissements. D’autres méthodologies, telles que les modèles dynamiques d’écart entre les différences qui pourraient fournir des estimations de l’incidence chaque année suivant le lancement d’un défi, pourraient également être explorées pour améliorer les analyses d’incidence.

Remerciements

Nous remercions nos partenaires de Statistique Canada, Xavier Bouchard-Vachon et Simon Dessureault, avec qui nous avons collaboré de manière continue dans le cadre de cette recherche. La collaboration avec un organisme statistique a permis à Impact Canada de tester et d’affiner ses approches.