Préenregistrement et rapports enregistrés
Préenregistrement et rapports enregistrés
Préenregistrement
Plusieurs pratiques de recherche (inacceptables) peuvent conduire à un biais de publication et à des résultats faussement positifs. Parmi les exemples importants figurent le p-hacking, le HARKing (voir ci-dessous) et la non-publication des résultats négatifs.
Une solution efficace consiste à définir les questions de recherche et le plan d’analyse avant d’observer les résultats de l’étude, un processus appelé préenregistrement. De cette façon, le préenregistrement aide le chercheur à interpréter les données et à rester concentré sur la question initiale (ce que l’on peut ou non conclure), accroît la transparence lors de la diffusion des résultats, et prévient les pratiques de recherche discutables. En conséquence, l’accent n’est plus mis sur l’obtention de « beaux » résultats, mais sur l’obtention de résultats exacts.
En quoi consiste le préenregistrement ?
Lors du préenregistrement d’une étude, le chercheur (ou l’équipe de recherche) définit le plan de recherche avant de commencer la collecte et/ou l’analyse des données. Concrètement, ce plan inclut :
- la question de recherche
- l’hypothèse
- les variables dépendantes et indépendantes qui seront recueillies
- le design de l’étude
- la méthodologie prévue
- la taille de l’échantillon et la méthode de calcul de cette taille
- la manière dont les données seront analysées
- les critères d’exclusion et de gestion des valeurs aberrantes
Ce plan est ensuite horodaté et déposé dans un registre. Cela ne signifie pas nécessairement qu’il doit être rendu public, ni qu’il n’y a pas de flexibilité dans l’analyse des données, une fois celles-ci obtenues, ni encore que la recherche exploratoire doive être abandonnée. Il doit cependant être clair pour le lecteur de l’article : quelles parties de la recherche relèvent de la vérification d’hypothèses et quelles parties concernent des résultats inattendus, qui ouvrent la voie à de nouvelles hypothèses. En outre, toute déviation par rapport au plan préenregistré doit être explicitée et justifiée.
Une des organisations permettant de déposer et de préenregistrer des plans de recherche, des protocoles et des données est l’Open Science Framework. L’OSF est une plateforme libre et ouverte destinée à soutenir la recherche et à favoriser la collaboration.
Le préenregistrement est bien ancré dans le domaine des essais cliniques. Dans ce champ, de plus en plus de revues médicales n’acceptent d’examiner un article que si l’essai a été enregistré préalablement. Aujourd’hui, le préenregistrement fait également son chemin en psychologie et s’étend progressivement à d’autres disciplines.
HARKing (Hypothesizing After the Results are Known)
désigne la pratique consistant à présenter, dans un rapport de recherche, une hypothèse post hoc (c’est-à-dire fondée sur les résultats ou influencée par eux) comme si elle avait été définie a priori. Cela peut se produire de plusieurs façons, donnant lieu à différents types de HARKing : 1) en modifiant ou en remplaçant l’hypothèse initiale par une hypothèse post hoc après la prise de connaissance des résultats ; 2) en excluant les hypothèses a priori qui n’ont pas été confirmées ; 3) en construisant des hypothèses à partir d’une recherche bibliographique post hoc, puis en les présentant comme des hypothèses a priori.
Dans de nombreux cas, les chercheurs sont incités à recourir au HARKing par une culture de la recherche et de la publication qui valorise davantage la confirmation des hypothèses a priori que la formulation d’hypothèses post hoc. Dans le but de donner plus de poids à leurs résultats et d’accroître les chances de publication, certains ajustent ainsi leurs hypothèses initiales par du HARKing. La tentation du HARKing peut être largement évitée grâce au préenregistrement des plans d’étude et d’analyse. Le partage ouvert des données constitue également une protection efficace contre ces pratiques. Nous reviendrons plus en détail sur ces questions par la suite.
Dans la « pêche aux résultats », les données collectées sont analysées à plusieurs reprises afin de mettre en évidence d’autres motifs ou corrélations, sans lien avec l’hypothèse initiale qui avait motivé le protocole de recherche. Ce type de recherche exploratoire a posteriori, mené sur un même jeu de données, se distingue fondamentalement d’une recherche exploratoire conçue dès le départ pour répondre à une hypothèse. Les résultats obtenus de cette manière doivent être clairement déclarés comme tels, y compris, et surtout, lorsqu’ils semblent confirmer une hypothèse a priori. Présenter ces résultats autrement constitue une pratique inacceptable et nuisible pour la recherche.
Cette forme de « pêche aux résultats », également appelée data snooping, accroît le risque d’obtenir des faux positifs : tout jeu de données contient en effet des « corrélations fallacieuses » qui apparaissent par simple hasard dans un échantillon donné, sans se retrouver dans d’autres ensembles comparables. Lorsqu’un modèle statistique est élaboré, il doit impérativement être validé sur un nouvel échantillon similaire, qui n’a pas contribué à sa construction. À défaut, le modèle risque d’être trop ajusté aux données initiales, devenant ainsi trop spécifique et non généralisable à des jeux de données analogues.
On parle également de cherry picking, par analogie avec le fait de « ne cueillir que les plus belles cerises », c’est-à-dire ne retenir que les résultats ou observations les plus favorables.
Les faux positifs issus de ces pratiques peuvent être démasqués par des études de réplication. Le partage ouvert des données constitue également une protection efficace contre ces dérives.
Rapports enregistrés (Registered reports)
Les rapports enregistrés constituent une forme plus formalisée du préenregistrement (preregistration) et représentent un outil encore plus puissant pour prévenir le biais de publication. Dans cette approche, le protocole de recherche est soumis à une revue scientifique avant même le début de l’étude (figure 1). La revue envoie ensuite ce protocole, et non les résultats, à l’évaluation par les pairs, fournit un retour, et s’engage en principe à publier l’étude, si elle est réalisée conformément au plan soumis. L’un des principaux avantages est que la qualité du protocole est examinée en amont, ce qui permet d’intervenir avant le lancement de la recherche. En outre, sous la forme des rapports enregistrés, le préenregistrement réduit le biais de publication, car les revues publient l’étude indépendamment de ses résultats (figures 2 et 3), reconnaissant ainsi la valeur scientifique des résultats négatifs.
Figure 1 : reproduite à partir du Center for Open Science https://www.cos.io/initiatives/registered-reports, pour réutilisation sous licence CC BY 4.0.
Figure 2 : Panneau de gauche copié à partir de : Anne Scheel Mitchell Schijen Daniel Lakens – An excess of positive results: comparing the standard psychology literature with registered reports – PsyArXiv Preprints – https://psyarxiv.com/p6e9c/
Figure 3: sous licence CC-BY 4.0. ll illustre les pourcentages de résultats nuls parmi les Registered Reports (RR) et la littérature traditionnelle (non-RR), avec leurs intervalles de confiance à 95 %. Panneau de droite copié de : Christopher Allen, David M.A. Mehler – Open science challenges, benefits and tips in early career and beyond – PLOS Biology 2019 – https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.3000246#pbio-3000246-g001
Toutes les revues n’offrent pas la possibilité d’enregistrer un rapport, mais vous trouverez ici une liste des revues qui le font :
Biais (de publication)
Même s’ils sont souvent involontaires, les biais liés à l’analyse et à l’interprétation des données expérimentales, ainsi que la volonté d’obtenir des résultats positifs ou significatifs, peuvent détourner de la question de recherche initiale. De plus, comme les résultats négatifs sont souvent (à tort) considérés comme de moindre qualité et jugés non pertinents à publier, cela introduit un biais dans la littérature lorsque ces résultats ne sont pas rapportés (biais de publication). De telles pratiques réduisent la crédibilité et la reproductibilité de la recherche.
