Unité de l’impact et de l’innovation Directives relatives à l'expérimentation à l'intention des administrateurs généraux - decembre 2016

Contexte

Le présent document renforce l’engagement du gouvernement de consacrer un pourcentage fixe des fonds de programmes à l’expérimentation de nouvelles approches et à la mesure des répercussions pour instaurer une culture plus propice à la mesure, à l’évaluation et à l’innovation dans la conception et la livraison des programmes. Le document situe le contexte et oriente les administrateurs généraux sur la façon de concrétiser cet engagement.

Définition

Dans le contexte du mandat confié au président du Conseil du Trésor de « [s’]assurer auprès de [ses] collègues ministériels qu’ils consacrent un pourcentage fixe du financement des programmes à l’application de nouvelles solutions àdes problèmes existants et à la mesure des répercussions de leurs programmes », l’ « expérimentation » est définie de la manière suivante :

L’essai de nouvelles approches dans le but de déterminer ce qui fonctionne et ne fonctionne pas en s’appuyant sur une méthode rigoureuse qui peut inclure :

• une conception expérimentale délibérée, réfléchie et éthique;
  
• des comparaisons entre les interventions et les cas de base pour saisir les éléments probants (p. ex., essais contrôlés randomisés, tests A/B, expériences contrefactuelles, données de base sur le rendement, tests avant/après);
  
• l’affectation randomisée à des groupes de test et de contrôle, dans la mesure du possible;
  
• la mesure rigoureuse des répercussions et l’évaluation rigoureuse de la causalité;
  
• la publication transparente des résultats, qu’ils soient positifs, négatifs ou neutres.

Dans certains cas, il pourrait s’avérer difficile de procéderà des essais contrôlés randomisés, d’analyserles résultats afin d’en démontrer la validité statistique ou d’obtenir des données contrefactuelles solides. Les expériences à plus petite échelle et autres essais ne répondant pas à ces exigences ne devraient pas être exclus pour autant, mais des efforts significatifs devraient être déployés pour établir des informations de base et des stratégies d'évaluation d'impact aussi rigoureuses que possible.

Dans ce contexte, les approches nouvelles et innovantes à mettre à l’essai peuvent inclure – mais sans s’y limiter – des outils et des méthodes comme :

• une conception centrée sur les utilisateurs;
  
• l’économie comportementale;
  
• la formulation ouverte des politiques, y compris des approches de création conjointe pour l’élaboration des politiques, des programmes et des services avec les intervenants, la société civile, les citoyens et les autres gouvernements;
  
• des approches de financement étagé pour permettre la mise à l’échelle;
  
• le financement à base de résultats et par paiement au rendement, y compris le financement social, le financement du développement et les instruments assimilés au contrat d’impact social;
  
• la ludification;
  
• l’analyse et la modélisation des données;
  
• l’investissement dans des fonds communs qui font appel à ces outils et méthodes.

Dans le cadre de cet engagement, l'expérimentation de nouvelles approches peut aussi se traduire par la mise à l’essai d’une intervention existante dans un nouveau contexte ou sous une nouvelle forme. De plus, les initiatives d'expérimentation en cours ou récemment lancées devraient être incluses dans les rapports ministériels sur les plans et résultats liés à l'expérimentation.

Pourquoi expérimenter?

La nécessité pour le gouvernement fédéral d’innover et de trouver de nouveaux moyens de régler des problèmes persistants que les approches traditionnelles n’ont pas su régler est établie.

L’expérimentation éthique et rigoureuse est au cœur des priorités du gouvernement d’élaborer des politiques basées sur des données probantes et de mettre l’accent sur les résultats et la livraison. En faisant l’essai d’options de programme, des ministères pourront générer des éléments de preuve pour déterminer ce qui fonctionne et éclairer la prise de décisions.

L’expérimentation appuie une saine gestion financière en donnant des éléments de preuve rigoureux justifiant l’abolition des programmes qui ne fonctionnent pas et l’investissement des ressources publiques là où elles sont susceptibles d’avoir les plus grandes répercussions.

Exigences

Les administrateurs généraux sont appelés à indiquer un pourcentage des fonds de  programmes que leurorganisme consacre déjà ou compte consacrer à l’expérimentation des nouvelles approches et à faire rapport des efforts d’expérimentation dans le Plan ministériel de 2017-2018.

Les gestionnaires ministériels sont appelés à favoriser des milieux de travail qui sont propices à l’expérimentation éthique, à l’innovation et à la prise de risques intelligente. Ceci de manière à ce que les fonctionnaires tentent effectivement de nouvelles approches et ne soient pas réprimandés pour des risques bien gérés qui n’ont mené à aucune amélioration, dans la mesure où des leçons en soient tirées et que celles-ci soient reflétées dans les plans subséquents.

Les ministères devraient partagerles résultats positifs, négatifs et neutres/nuls, de leurs expériences aussi largement que possible. Dans la mesure du possible, la diffusion publique par défaut est encouragée.

Dans le contexte de leurs portefeuilles, et en s’appuyant sur la Politique sur les résultats du Conseil du Trésor, les administrateurs généraux sont appelés à établir des stratégies d’évaluation et de mesure des répercussions pour renforcer la base d’éléme nts de preuve sur l’expérimentation. Progressivement, le Centre d’excellence sur l’évaluation du SCT et les évaluateurs de l’ensemble du gouvernement investiront dans la capacité requise pour aider les ministères à se donner les stratégies et les outils nécessaires pour évaluer et mesurer les répercussions des expériences et de l’innovation. De même, le Carrefour d’innovation du BCP travaillera avec les centres et les laboratoires à l’échelle des organismes fédéraux pour appuyer l’innovation et l’expérimentation.

Il incombe aux organismes centraux et aux ministères d’habilitation d’offrir la formation et les ressources en matière d’expérimentation pour les fonctionnaires, ou de leur y donner accès. Là où ils ont l’expertise et les compétences spécialisées, les centres et les laboratoires fédéraux sont appelés à appuyer les expériences ministérielles et à diffuser les leçons tirées. Les ministères sont aussi incités à consulter des experts et des organismes externes, et à s’en faire des partenaires, pour appuyer une expérimentation éthique de qualité.

Les gestionnaires des ministères devraient envisager d’établir des processus clairs qui leur permettront d’intégrer systématiquement dans leurs programmes les leçons tirées des expériences et de corriger le tir de façon continue. Les ministères sont aussi incités à se doter de processus qui leur permettront de reconnaître les expériences qui ont connu du succès aux fins de la mise à l’échelle des innovations réussies qui sont susceptibles de faire la preuve de résultats positifs, ou d’exporter les innovations réussies dans d’autres secteurs de programmes.

Les renseignements sur le rendement tirés des expériences, que ce rendement indique des résultats améliorés ou non, seront partagés ouvertement par les administrateurs généraux qui en feront état dans les Plans ministériels et les Rapports sur les résultats ministériels.

Appui du SCT et du BCP

Le SCT et le BCP aideront à créer les conditions pour mettre en œuvre des approches expérimentales et les intégrer dans les activités de base des ministères et organismes. Ce ci se traduira par une collaboration avec les ministères afin de mettre en place des dispositions habilitantes pour appuyer l’expérimentation; un appui au développement des capacités; la création d’outils pratiques et de ressources; et l’exploitation des plateformes existantes et des structures de rapport pour que les ministères puissent suivre et partager leurs expériences et démontrer leurs succès. Pour appuyer cette initiative, le SCT et le BCP établiront un Comité interministériel de sous-ministres adjoints sur l’expérimentation de programme. Plus de détails sur ce comité seront disponibles en janvier 2017.