Reproductibilité et réplicabilité de la recherche

Selon la définition proposée par les Académies nationales des sciences, de l’ingénierie et de la médecine des États-Unis (Reproducibility and Replicability in Science (2019), p. 6), «  La reproductibilité consiste à obtenir des résultats cohérents en utilisant les mêmes données d’entrée, les mêmes étapes computationnelles, méthodes, codes et conditions d’analyse. La réplicabilité est différente : elle consiste à obtenir des résultats cohérents à travers plusieurs études visant à répondre à une même question scientifique, chacune utilisant ses propres données. Il convient de noter que, dans la littérature, les termes reproductibilité (reproducibility) et réplicabilité (replicability) sont souvent utilisés de manière interchangeable. Ainsi, bien qu’ils ne soient pas strictement synonymes, un échec à reproduire ou à répliquer des résultats pointe dans les deux cas vers le même problème : des résultats inconsistants.

Au cours de la dernière décennie, de nombreuses inquiétudes ont émergé concernant le manque de reproductibilité et de réplicabilité des résultats scientifiques dans plusieurs disciplines : sciences sociales (Caramer, 2018), psychologie (Open Science Collaboration, 2015) et sciences biomédicales (Pusztai, 2013). Cette situation a conduit à remettre en question la fiabilité de la science (Nature, 2016) et est désormais désignée sous l’expression de « crise de la reproductibilité ».

Pourquoi une étude n’est-elle pas reproductible ou réplicable ?

Il existe de nombreuses raisons pour lesquelles une étude peut ne pas être reproductible, notamment un mauvais design expérimental, des variables non prises en compte, une analyse statistique incorrecte, un rapport biaisé qui met l’accent sur les effets attendus, l’absence d’accès à toutes les informations nécessaires pour reproduire l’étude, ou encore des conditions impossibles à recréer. Dans les sciences biomédicales, les échecs de réplication ont parfois été attribués à l’utilisation de réactifs erronés, incluant par exemple des souris ou des lignées cellulaires mal étiquetées (Kafkafi et al., 2018 ; Eckers et al., 2018).

L’incapacité à reproduire ou à répliquer des données fait partie intégrante du fonctionnement de la science. Ainsi, un échec de reproduction ou de réplication d’une étude ne signifie pas nécessairement que celle-ci est erronée ou qu’on ne peut pas lui faire confiance. Dans certains domaines de recherche, par exemple l’exploitation de sources historiques, l’interprétation des données ne requiert pas forcément la reproductibilité, même si celle-ci peut rester souhaitable. En revanche, dans d’autres disciplines, il est indispensable, pour pouvoir tirer des conclusions solides, que les chercheurs mettent en place des mesures suffisantes afin de rendre la reproductibilité et la réplicabilité possibles.

Parmi ces mesures, on peut citer :

• l’élaboration de protocoles opératoires standardisés et clairs
• la consignation détaillée de tous les aspects de la recherche tout au long du projet
• la consignation détaillée de l’ensemble des métadonnées
• …

En outre, des informations suffisamment détaillées sur la méthodologie de recherche et sur les analyses doivent être mises à disposition de toute personne non directement impliquée dans l’étude.

Outils disponibles pour une recherche reproductible et réplicable

Comme mentionné précédemment, les pratiques de p-hacking et de HARKing réduisent considérablement la possibilité de répliquer les résultats de recherche. L’utilisation du préenregistrement et des rapports enregistrés a donc un effet très positif sur la réplicabilité des études.

De plus, pour renforcer la reproductibilité et la réplicabilité de la recherche, des lignes directrices de rédaction et des listes de vérification ont été élaborées dans plusieurs disciplines. Celles-ci définissent généralement « un ensemble minimal d’éléments nécessaires pour fournir un compte rendu clair et transparent de ce qui a été fait et de ce qui a été trouvé dans une étude de recherche, en tenant compte en particulier des aspects susceptibles d’introduire des biais dans le travail » (adapté du blog It’s a kind of magic: how to improve adherence to reporting guidelines, Marshall, D. & Shananhan, D., 12 février 2016).

Quelques exemples incluent :

• Les lignes directrices ARRIVE (Animal Research: Reporting of in Vivo Experiments) destinées à améliorer la qualité du compte rendu des recherches impliquant des animaux.
• La checklist MDAR (Materials Design Analysis Reporting) applicable aux études en sciences de la vie.
• Les recommandations de l’ICMJE (International Committee of Medical Journal Editors) pour la conduite, la rédaction, la révision et la publication des travaux scientifiques dans les revues médicales.
• Dans le domaine de la psychologie, les standards de publication pour la recherche quantitative publiés par l’American Psychological Association.
• Pour la recherche qualitative, on peut s’inspirer des standards SRQR (Standards for Reporting Qualitative Research) et COREQ (Consolidated Criteria for Reporting Qualitative Research).
• En sciences humaines ou en sciences sociales empiriques, les chercheurs peuvent se renseigner sur les standards publiés par l’American Educational Research Association (AERA).
• Les Ressources pour une recherche reproductible proposées par le collectif Reproducibility for Everyone

Enfin, dans certains domaines, il existe des outils et recommandations spécifiques pour renforcer la reproductibilité des analyses (en particulier concernant le code et les logiciels utilisés).