Financement de la recherche

En raison de la forte concurrence et des faibles chances d’obtenir un financement (Garner et al., 2013), les chercheurs peinent aujourd’hui plus que jamais à trouver les ressources nécessaires pour soutenir leurs projets. Comme la rédaction des demandes de financement peut être très chronophage, certains ont parfois l’impression de consacrer davantage de temps à ces démarches qu’à la recherche elle-même. Ainsi, lorsqu’une bonne idée émerge, pourquoi ne pas tenter de la soumettre à plusieurs financeurs et voir lequel « mordra » ?

« Alors que le taux de succès des demandes de financement n’a jamais été aussi bas, les scientifiques travaillent plus que jamais pour financer leurs recherches. Ils répondent à ce contexte économique compétitif en multipliant les candidatures. Ils peuvent également soumettre simultanément ou successivement des propositions à plusieurs organismes financeurs afin d’augmenter leurs chances. Certains bailleurs de fonds permettent la soumission de projets identiques ou très similaires quant aux objectifs, hypothèses ou finalités. Mais nous pensons que les chercheurs ne devraient pas accepter un double financement pour le même travail – qu’il s’agisse de l’étude entière ou d’une partie seulement. »

Same work, twice the money? – Harold R. Garner, Lauren J. McIver & Michael B. Waitzkin – Nature 493 (2013).

Il n’est donc pas surprenant qu’un même projet de recherche soit soumis à plusieurs organismes financeurs, sous une forme identique ou légèrement adaptée. Ce système de candidatures parallèles augmente les chances d’obtenir un financement. De plus, lorsqu’un financement n’est accordé que partiellement, des fonds complémentaires obtenus auprès d’une autre source peuvent permettre d’atteindre le budget nécessaire pour couvrir l’ensemble du projet.

La commission flamande pour l’intégrité scientifique (Vlaamse Commissie voor Wetenschappelijke Integriteit – VCWI) a formulé un avis général sur le Plagiat dans les demandes de financement (2017).

Double financement (Double dipping)

Bien qu’il puisse exister des raisons acceptables pour justifier la recherche de financements complémentaires auprès de différents bailleurs de fonds, par exemple, faire prendre en charge les coûts de personnel par l’un et les consommables par un autre ; les chercheurs doivent veiller à ne pas accepter de financement pour le même aspect d’un projet de recherche.

Bien que les demandes parallèles ne soient pas nécessairement problématiques, certaines bonnes pratiques doivent être gardées à l’esprit. Tout d’abord, les chercheurs doivent faire preuve de transparence vis-à-vis du bailleur de fonds et signaler si une proposition (partiellement redondante) est en cours d’évaluation ailleurs. Le même principe s’applique en cas de chevauchement avec un projet déjà financé. Même s’il peut exister de bonnes raisons à ce chevauchement, cela doit être communiqué de manière claire. Enfin, si, au cours de la phase de demande, la proposition obtient un financement ailleurs, des mesures appropriées doivent être prises afin d’éviter un double financement. Les chercheurs ne doivent pas accepter un financement deux fois pour le même travail.

À noter que de plus en plus de bailleurs de fonds, dans le cadre de la phase de candidature, demandent de déclarer si une proposition connexe a été soumise ou acceptée ailleurs. N’imaginez pas que des propositions liées passeront inaperçues si vous ne les mentionnez pas, car cela pourrait avoir de graves conséquences sur le traitement de votre demande actuelle et de vos demandes futures, et être signalé à votre institution d’accueil.

Code ALLEA :

Les chercheurs font un usage opportun et consciencieux des fonds alloués à la recherche.

Page précédente Page suivante

Les statistiques en recherche

Selon les disciplines, l’analyse statistique est un élément essentiel pour étayer les résultats. Le problème rencontré par beaucoup de chercheurs est qu’ils sont formés à devenir chercheurs, mais pas nécessairement statisticiens, alors que les statistiques constituent un champ de recherche à part entière. Ainsi, il est crucial que les chercheurs fassent preuve d’esprit critique quant aux analyses statistiques qu’ils réalisent et qu’ils consultent des experts chaque fois que nécessaire. De la même manière que l’on sollicite un spécialiste pour utiliser un équipement technique complexe, il est indispensable de comprendre le fonctionnement de cet « outil » et de savoir quelles informations peuvent en être tirées, et lesquelles ne le peuvent pas.

Bonnes pratiques académiques en matière d’analyse statistique

La manière, dont les données sont analysées, a un impact direct sur la validité et la solidité des conclusions de recherche. Les chercheurs doivent donc définir une stratégie d’analyse statistique solide avant même la collecte des premières données.

Quelques bonnes pratiques :

Tout commence par une question de recherche clairement définie. Construisez votre étude et planifiez l’analyse statistique en fonction de cette question. Combien d’observations sont nécessaires ? Quelles variables prendre en compte ? Quels tests statistiques sont pertinents ?
Suivez des formations en analyse de données. Sans faire de vous un expert statisticien, elles vous donneront une meilleure compréhension des techniques disponibles et des écueils à éviter.
Associez un statisticien à toutes les étapes du projet. Lors de l’élaboration du budget, prévoyez une enveloppe financière pour bénéficier de son expertise.
Connaissez les limites des différents tests statistiques. Soyez critique : n’utilisez pas un test simplement parce qu’il est courant dans votre équipe de recherche ou qu’un autre chercheur l’a fait.
Restez critique vis-à-vis de vos données. Un résultat statistiquement significatif n’implique pas nécessairement qu’il soit robuste ou pertinent. Existe-t-il des explications alternatives ?
Explorer plusieurs tests statistiques n’est pas problématique en soi, à condition qu’ils soient appropriés à l’objectif visé et non choisis pour sélectionner artificiellement le « meilleur » résultat. L’analyse doit aussi tenir compte du nombre de tests effectués.
De même, l’omission de données peut être justifiable, mais elle doit être motivée par des raisons explicites et valides.

Source: Best practices for statistical data analysis

Flames (Flanders’ training network for statistics and methodology) est un réseau de formation interuniversitaire, ancré dans les cinq universités flamandes, consacré aux statistiques et à la méthodologie.

FLAMES

Quelques autres méthodes permettant de renforcer la robustesse d’une analyse sont :

Analyse à l’aveugle (Blind analysis) (MacCoun & Perlmutter, 2015; Dutilh et al., 2019)
Analyse multi-scénarios (Multiverse analysis) (Steegen et al., 2016)
Validation croisée (Cross-validation) (Koul et al., 2018)

Qui est concerné ?

Junior Researcher - Phd student

Chercheurs débutants / doctorants : dans la plupart des cas, ils assument les aspects pratiques tels que la collecte des données et l’analyse statistique. La formation en analyse statistique fait partie intégrante de leur parcours de recherche.

Senior Researcher

Chercheurs plus expérimentés : beaucoup de chercheurs ne sont pas familiers avec les statistiques. Les chercheurs confirmés doivent donc guider les plus jeunes en veillant à la solidité scientifique de l’analyse statistique et/ou en les orientant vers des experts si nécessaire.

(Co-) Author

auteurs : ils doivent exercer un regard critique suffisant afin de garantir que l’analyse statistique est rigoureuse.

Journals - Publishers

Revues scientifiques : elles doivent s’assurer que les travaux soumis contiennent assez d’informations pour permettre aux lecteurs d’interpréter correctement les données et d’en évaluer la portée.

Toutes les revues ne disposent pas d’une section dédiée précisant qui est responsable de l’analyse statistique. L’utilisation des rôles contributifs CRediT (Contributor Roles Taxonomy) permet de valoriser la contribution des statisticiens dans la publication de manière adéquate.

On a souvent l’impression que les résultats dont la p-value est inférieure à 0,05 ont plus de valeur et attirent davantage l’attention dans la communauté scientifique. Dès lors, les chercheurs peuvent avoir intérêt à rechercher des résultats statistiquement significatifs. Cette pente glissante peut être résumée sous le terme de p-hacking, c’est-à-dire la pratique consistant à tester plusieurs analyses et/ou plusieurs critères d’éligibilité des données, puis à ne retenir que ceux qui produisent des résultats significatifs. Cette démarche augmente la probabilité d’associations faussement positives (simplement dues au hasard).

Les pratiques pouvant conduire au p-hacking incluent :

la réalisation d’analyses en cours d’expérience et l’arrêt prématuré de la collecte de données dès qu’une p-value significative est obtenue.
l’ajustement de la taille de l’échantillon dans l’espoir que la différence devienne significative.
la limitation de l’analyse à un sous-ensemble des données.
le retrait de valeurs extrêmes (outliers) sans justification valable.
l’exploration de différents tests statistiques en ne poursuivant que ceux qui confirment les croyances personnelles du chercheur ou qui soutiennent l’hypothèse étudiée.

Lorsqu’ils analysent les données, les chercheurs peuvent donc être tentés de rechercher celles qui confirment leurs hypothèses ou leur expérience personnelle, en négligeant celles qui ne sont pas cohérentes avec leurs convictions.

Le p-hacking est problématique car il influence à la fois le processus de collecte des données et/ou l’analyse statistique. Cela peut engendrer un biais d’inflation, puisque les tailles d’effet rapportées dans la littérature ne correspondent pas toujours aux observations expérimentales. Il en résulte une atteinte sévère à la robustesse des données et à la reproductibilité comme à la réplicabilité des résultats.

Conseil :

Vous pouvez utiliser statcheck pour détecter des incohérences (dans les p-values) au niveau d’un article scientifique.

Illustration par xkcd sous licence Creative Commons Attribution – NonCommercial 2.5.

Page précédente Page suivante

Préenregistrement et rapports enregistrés

Préenregistrement

Plusieurs pratiques de recherche (inacceptables) peuvent conduire à un biais de publication et à des résultats faussement positifs. Parmi les exemples importants figurent le p-hacking, le HARKing (voir ci-dessous) et la non-publication des résultats négatifs.

Une solution efficace consiste à définir les questions de recherche et le plan d’analyse avant d’observer les résultats de l’étude, un processus appelé préenregistrement. De cette façon, le préenregistrement aide le chercheur à interpréter les données et à rester concentré sur la question initiale (ce que l’on peut ou non conclure), accroît la transparence lors de la diffusion des résultats, et prévient les pratiques de recherche discutables. En conséquence, l’accent n’est plus mis sur l’obtention de « beaux » résultats, mais sur l’obtention de résultats exacts.

En quoi consiste le préenregistrement ?

Lors du préenregistrement d’une étude, le chercheur (ou l’équipe de recherche) définit le plan de recherche avant de commencer la collecte et/ou l’analyse des données. Concrètement, ce plan inclut :

la question de recherche
l’hypothèse
les variables dépendantes et indépendantes qui seront recueillies
le design de l’étude
la méthodologie prévue
la taille de l’échantillon et la méthode de calcul de cette taille
la manière dont les données seront analysées
les critères d’exclusion et de gestion des valeurs aberrantes

Ce plan est ensuite horodaté et déposé dans un registre. Cela ne signifie pas nécessairement qu’il doit être rendu public, ni qu’il n’y a pas de flexibilité dans l’analyse des données, une fois celles-ci obtenues, ni encore que la recherche exploratoire doive être abandonnée. Il doit cependant être clair pour le lecteur de l’article : quelles parties de la recherche relèvent de la vérification d’hypothèses et quelles parties concernent des résultats inattendus, qui ouvrent la voie à de nouvelles hypothèses. En outre, toute déviation par rapport au plan préenregistré doit être explicitée et justifiée.

Une des organisations permettant de déposer et de préenregistrer des plans de recherche, des protocoles et des données est l’Open Science Framework. L’OSF est une plateforme libre et ouverte destinée à soutenir la recherche et à favoriser la collaboration.

Le préenregistrement est bien ancré dans le domaine des essais cliniques. Dans ce champ, de plus en plus de revues médicales n’acceptent d’examiner un article que si l’essai a été enregistré préalablement. Aujourd’hui, le préenregistrement fait également son chemin en psychologie et s’étend progressivement à d’autres disciplines.

HARKing (Hypothesizing After the Results are Known)

désigne la pratique consistant à présenter, dans un rapport de recherche, une hypothèse post hoc (c’est-à-dire fondée sur les résultats ou influencée par eux) comme si elle avait été définie a priori. Cela peut se produire de plusieurs façons, donnant lieu à différents types de HARKing : 1) en modifiant ou en remplaçant l’hypothèse initiale par une hypothèse post hoc après la prise de connaissance des résultats ; 2) en excluant les hypothèses a priori qui n’ont pas été confirmées ; 3) en construisant des hypothèses à partir d’une recherche bibliographique post hoc, puis en les présentant comme des hypothèses a priori.

Dans de nombreux cas, les chercheurs sont incités à recourir au HARKing par une culture de la recherche et de la publication qui valorise davantage la confirmation des hypothèses a priori que la formulation d’hypothèses post hoc. Dans le but de donner plus de poids à leurs résultats et d’accroître les chances de publication, certains ajustent ainsi leurs hypothèses initiales par du HARKing. La tentation du HARKing peut être largement évitée grâce au préenregistrement des plans d’étude et d’analyse. Le partage ouvert des données constitue également une protection efficace contre ces pratiques. Nous reviendrons plus en détail sur ces questions par la suite.

Dans la « pêche aux résultats », les données collectées sont analysées à plusieurs reprises afin de mettre en évidence d’autres motifs ou corrélations, sans lien avec l’hypothèse initiale qui avait motivé le protocole de recherche. Ce type de recherche exploratoire a posteriori, mené sur un même jeu de données, se distingue fondamentalement d’une recherche exploratoire conçue dès le départ pour répondre à une hypothèse. Les résultats obtenus de cette manière doivent être clairement déclarés comme tels, y compris, et surtout, lorsqu’ils semblent confirmer une hypothèse a priori. Présenter ces résultats autrement constitue une pratique inacceptable et nuisible pour la recherche.

Cette forme de « pêche aux résultats », également appelée data snooping, accroît le risque d’obtenir des faux positifs : tout jeu de données contient en effet des « corrélations fallacieuses » qui apparaissent par simple hasard dans un échantillon donné, sans se retrouver dans d’autres ensembles comparables. Lorsqu’un modèle statistique est élaboré, il doit impérativement être validé sur un nouvel échantillon similaire, qui n’a pas contribué à sa construction. À défaut, le modèle risque d’être trop ajusté aux données initiales, devenant ainsi trop spécifique et non généralisable à des jeux de données analogues.

On parle également de cherry picking, par analogie avec le fait de « ne cueillir que les plus belles cerises », c’est-à-dire ne retenir que les résultats ou observations les plus favorables.

Les faux positifs issus de ces pratiques peuvent être démasqués par des études de réplication. Le partage ouvert des données constitue également une protection efficace contre ces dérives.

Rapports enregistrés (Registered reports)

Les rapports enregistrés constituent une forme plus formalisée du préenregistrement (preregistration) et représentent un outil encore plus puissant pour prévenir le biais de publication. Dans cette approche, le protocole de recherche est soumis à une revue scientifique avant même le début de l’étude (figure 1). La revue envoie ensuite ce protocole, et non les résultats, à l’évaluation par les pairs, fournit un retour, et s’engage en principe à publier l’étude, si elle est réalisée conformément au plan soumis. L’un des principaux avantages est que la qualité du protocole est examinée en amont, ce qui permet d’intervenir avant le lancement de la recherche. En outre, sous la forme des rapports enregistrés, le préenregistrement réduit le biais de publication, car les revues publient l’étude indépendamment de ses résultats (figures 2 et 3), reconnaissant ainsi la valeur scientifique des résultats négatifs.

Figure 1 : reproduite à partir du Center for Open Science https://www.cos.io/initiatives/registered-reports, pour réutilisation sous licence CC BY 4.0.

Figure 2 : Panneau de gauche copié à partir de : Anne Scheel Mitchell Schijen Daniel Lakens – An excess of positive results: comparing the standard psychology literature with registered reports – PsyArXiv Preprints – https://psyarxiv.com/p6e9c/

Figure 3: sous licence CC-BY 4.0. ll illustre les pourcentages de résultats nuls parmi les Registered Reports (RR) et la littérature traditionnelle (non-RR), avec leurs intervalles de confiance à 95 %. Panneau de droite copié de : Christopher Allen, David M.A. Mehler – Open science challenges, benefits and tips in early career and beyond – PLOS Biology 2019 – https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.3000246#pbio-3000246-g001

Toutes les revues n’offrent pas la possibilité d’enregistrer un rapport, mais vous trouverez ici une liste des revues qui le font :

Liste des revues proposant les rapports enregistrés

Biais (de publication)

Même s’ils sont souvent involontaires, les biais liés à l’analyse et à l’interprétation des données expérimentales, ainsi que la volonté d’obtenir des résultats positifs ou significatifs, peuvent détourner de la question de recherche initiale. De plus, comme les résultats négatifs sont souvent (à tort) considérés comme de moindre qualité et jugés non pertinents à publier, cela introduit un biais dans la littérature lorsque ces résultats ne sont pas rapportés (biais de publication). De telles pratiques réduisent la crédibilité et la reproductibilité de la recherche.

Page précédente Page suivante

Failles possibles dans la conception d’une étude

Résultats de recherche peu fiables dus à une conception d’étude défaillante

Lorsqu’une étude est conçue d’une manière qui ne respecte pas les bonnes pratiques méthodologiques, il est possible d’obtenir des réponses erronées à la question de recherche. Ce scénario n’est pas rare : il constitue aujourd’hui un problème majeur en science, comme l’a montré Ioannidis dans son article de 2005 « Why most published research findings are false« .

Des résultats peu fiables, attribuables à une conception défaillante, représentent un immense gâchis. Que vos travaux soient inutilisables constitue non seulement une perte de temps et d’énergie, mais, pire encore, cela risque de fausser la littérature scientifique en y introduisant des interprétations erronées, orientant ainsi les recherches futures vers des pistes non pertinentes.

Concevoir une étude de mauvaise qualité, alors que cela aurait pu être évité, peut être considéré comme une pratique de recherche inacceptable, précisément en raison de son impact néfaste sur la littérature scientifique. La fiabilité des résultats peut être améliorée par une conception rigoureuse de l’étude, l’apprentissage des bonnes pratiques de conception dans la littérature, et la vérification des aspects méthodologiques avec votre superviseur et vos collègues.

Bias

Une conception inappropriée de l’étude est l’une des causes les plus fréquentes de biais en recherche, menant à des résultats faussement positifs.

Selon Ioannidis, les principaux facteurs expliquant le taux élevé de faux positifs en médecine clinique et en recherche biomédicale sont :

Travail en solitaire, isolé, avec de petits échantillons
Absence de préenregistrement des hypothèses testées
Sélection a posteriori des hypothèses (« cherry picking ») offrant les meilleurs p-values
Se contenter d’un seuil de p < 0,05 uniquement
Absence de réplication
Absence de partage des données

Considérer le sexe et le genre comme gage d’excellence scientifique

Chaque fois que des êtres humains ou des animaux sont impliqués dans une recherche, la dimension du sexe et du genre est concernée et doit être prise en compte dans la conception du projet. Intégrer cette dimension signifie que le sexe et le genre sont considérés comme des variables clés d’analyse et d’explication. Si des questions pertinentes liées au sexe ou au genre sont négligées ou insuffisamment traitées, les résultats de recherche seront partiels et potentiellement biaisés. Une recherche responsable et de qualité intègre donc systématiquement les aspects liés au sexe et au genre à toutes les étapes du cycle de recherche.

Recherche biaisée en fonction du genre

Les biais de genre proviennent souvent de différenciations implicites ou involontaires entre les hommes et les femmes, plaçant un sexe dans une position hiérarchique par rapport à l’autre dans un contexte donné, en raison de représentations stéréotypées de la masculinité et de la féminité. Un exemple classique de biais de genre consiste à centrer l’analyse sur l’expérience ou le point de vue des hommes ou des femmes, tout en présentant les résultats comme universellement valables pour les deux sexes. Ces biais influencent à la fois la participation des hommes et des femmes à la recherche et la validité scientifique des résultats.

Ces outils peuvent vous aider et vous inspirer pour rendre vos recherches sensibles aux dimensions de sexe et de genre :

- Gendered Innovations Méthodes pratiques pour l’analyse du sexe et du genre dans les domaines de la science, de la santé et de la médecine, de l’ingénierie et de l’environnement. Les études de cas offrent des illustrations concrètes montrant comment l’intégration du sexe et du genre conduit à l’innovation. (Université Stanford)
- Toolkit Gender in EU-funded research Boîte à outils contenant une introduction accessible et des outils pratiques pour intégrer la dimension de genre dans la recherche. Analyse d’études de cas issues des domaines suivants : santé ; alimentation, agriculture et biotechnologie ; nanosciences, matériaux et nouvelles technologies de production ; énergie ; environnement ; transport ; sciences socio-économiques et humaines ; science dans la société et coopération internationale.
- Webinaires
  - - Integration of sex and gender analysis into research: comment intégrer l’analyse du sexe, du genre et intersectionnelle dans la conception d’un projet de recherche, et comment cela peut conduire à des découvertes et à l’amélioration des méthodologies de recherche.
    - Gender in research (demandes de financements et projets)

Recherche non sensible au genre

La recherche non sensible au genre ne prend pas en compte le genre lorsqu’il est pertinent, partant de l’hypothèse, souvent erronée, que les différences possibles entre hommes et femmes ne sont pas pertinentes pour la recherche menée. C’est le cas lorsque des catégories générales telles que « personnes », « patient.e.s » ou « utilisateur.trice.s » ne distinguent pas entre hommes et femmes. Une recherche fondée sur de telles catégories risque de produire des conclusions partielles issues de données elles-mêmes partielles. Cela limite la généralisabilité et l’applicabilité des résultats de recherche.

La recherche sensible au genre est qualitativement meilleure et plus valide. Lorsqu’une recherche prend en compte les différences entre hommes et femmes au sein de la population étudiée, ses résultats deviennent plus représentatifs.

Page précédente Page suivante

Reproductibilité et réplicabilité de la recherche

Code ALLEA :

Les chercheurs conçoivent, réalisent, analysent et documentent leurs activités de recherche d’une manière réfléchie et minutieuse.
Les chercheurs présentent leurs résultats et leurs méthodes, y compris le recours à des services externes ou à des outils d’IA et d’automatisation, de manière conforme aux normes reconnues de leur discipline et de façon à en faciliter, le cas échéant, la vérification ou la réplication.

Selon la définition proposée par les Académies nationales des sciences, de l’ingénierie et de la médecine des États-Unis (Reproducibility and Replicability in Science (2019), p. 6), « La reproductibilité consiste à obtenir des résultats cohérents en utilisant les mêmes données d’entrée, les mêmes étapes computationnelles, méthodes, codes et conditions d’analyse. La réplicabilité est différente : elle consiste à obtenir des résultats cohérents à travers plusieurs études visant à répondre à une même question scientifique, chacune utilisant ses propres données. Il convient de noter que, dans la littérature, les termes reproductibilité (reproducibility) et réplicabilité (replicability) sont souvent utilisés de manière interchangeable. Ainsi, bien qu’ils ne soient pas strictement synonymes, un échec à reproduire ou à répliquer des résultats pointe dans les deux cas vers le même problème : des résultats inconsistants.

Au cours de la dernière décennie, de nombreuses inquiétudes ont émergé concernant le manque de reproductibilité et de réplicabilité des résultats scientifiques dans plusieurs disciplines : sciences sociales (Caramer, 2018), psychologie (Open Science Collaboration, 2015) et sciences biomédicales (Pusztai, 2013). Cette situation a conduit à remettre en question la fiabilité de la science (Nature, 2016) et est désormais désignée sous l’expression de « crise de la reproductibilité ».

Pourquoi une étude n’est-elle pas reproductible ou réplicable ?

Animation TEDEd – Is there a reproducibility crisis in science? par Matt Anticole (licence CC BY-NC-ND 4.0 International). Remarque : dans la vidéo, les concepts de reproduction, de réplication et de répétition des résultats de recherche sont parfois utilisés comme synonymes.

Il existe de nombreuses raisons pour lesquelles une étude peut ne pas être reproductible, notamment un mauvais design expérimental, des variables non prises en compte, une analyse statistique incorrecte, un rapport biaisé qui met l’accent sur les effets attendus, l’absence d’accès à toutes les informations nécessaires pour reproduire l’étude, ou encore des conditions impossibles à recréer. Dans les sciences biomédicales, les échecs de réplication ont parfois été attribués à l’utilisation de réactifs erronés, incluant par exemple des souris ou des lignées cellulaires mal étiquetées (Kafkafi et al., 2018 ; Eckers et al., 2018).

L’incapacité à reproduire ou à répliquer des données fait partie intégrante du fonctionnement de la science. Ainsi, un échec de reproduction ou de réplication d’une étude ne signifie pas nécessairement que celle-ci est erronée ou qu’on ne peut pas lui faire confiance. Dans certains domaines de recherche, par exemple l’exploitation de sources historiques, l’interprétation des données ne requiert pas forcément la reproductibilité, même si celle-ci peut rester souhaitable. En revanche, dans d’autres disciplines, il est indispensable, pour pouvoir tirer des conclusions solides, que les chercheurs mettent en place des mesures suffisantes afin de rendre la reproductibilité et la réplicabilité possibles.

Parmi ces mesures, on peut citer :

l’élaboration de protocoles opératoires standardisés et clairs
la consignation détaillée de tous les aspects de la recherche tout au long du projet
la consignation détaillée de l’ensemble des métadonnées
…

En outre, des informations suffisamment détaillées sur la méthodologie de recherche et sur les analyses doivent être mises à disposition de toute personne non directement impliquée dans l’étude.

Alarming reproducibility crisis invad Une crise alarmante de reproductibilité envahit les revues en sciences sociales

Le Manifeste pour la reproductibilité propose un certain nombre d’actions concrètes pour aider à rendre vos recherches plus reproductibles.

Quand y penser ?

Afin de garantir la reproductibilité et la réplicabilité des recherches, il est nécessaire d’assurer la transparence à toutes les étapes du processus scientifique : dès la conceptualisation (quel est le protocole de recherche ?) ; lors de la collecte et de l’analyse des données (quelles données sont présentées, lesquelles ne le sont pas, et pour quelles raisons ?) ; jusqu’à la publication des résultats (l’article fournit-il suffisamment de détails sur la méthodologie ou le protocole d’analyse utilisés ? Les données sont-elles accessibles ?).

Outils disponibles pour une recherche reproductible et réplicable

Comme mentionné précédemment, les pratiques de p-hacking et de HARKing réduisent considérablement la possibilité de répliquer les résultats de recherche. L’utilisation du préenregistrement et des rapports enregistrés a donc un effet très positif sur la réplicabilité des études.

De plus, pour renforcer la reproductibilité et la réplicabilité de la recherche, des lignes directrices de rédaction et des listes de vérification ont été élaborées dans plusieurs disciplines. Celles-ci définissent généralement « un ensemble minimal d’éléments nécessaires pour fournir un compte rendu clair et transparent de ce qui a été fait et de ce qui a été trouvé dans une étude de recherche, en tenant compte en particulier des aspects susceptibles d’introduire des biais dans le travail » (adapté du blog It’s a kind of magic: how to improve adherence to reporting guidelines, Marshall, D. & Shananhan, D., 12 février 2016).

Quelques exemples incluent :

Les lignes directrices ARRIVE (Animal Research: Reporting of in Vivo Experiments) destinées à améliorer la qualité du compte rendu des recherches impliquant des animaux.
La checklist MDAR (Materials Design Analysis Reporting) applicable aux études en sciences de la vie.
Les recommandations de l’ICMJE (International Committee of Medical Journal Editors) pour la conduite, la rédaction, la révision et la publication des travaux scientifiques dans les revues médicales.
Dans le domaine de la psychologie, les standards de publication pour la recherche quantitative publiés par l’American Psychological Association.
Pour la recherche qualitative, on peut s’inspirer des standards SRQR (Standards for Reporting Qualitative Research) et COREQ (Consolidated Criteria for Reporting Qualitative Research).
En sciences humaines ou en sciences sociales empiriques, les chercheurs peuvent se renseigner sur les standards publiés par l’American Educational Research Association (AERA).
Les Ressources pour une recherche reproductible proposées par le collectif Reproducibility for Everyone

Enfin, dans certains domaines, il existe des outils et recommandations spécifiques pour renforcer la reproductibilité des analyses (en particulier concernant le code et les logiciels utilisés).

À noter : certaines revues disposent de leurs propres lignes directrices ou se réfèrent à des recommandations spécifiques. Il est donc essentiel de consulter attentivement les instructions aux auteurs lors de la préparation d’un manuscrit. Des lignes directrices complémentaires sont également disponibles auprès des NIH et du réseau EQUATOR.

Page précédente Page suivante

Conception et méthodologie

L’intégrité scientifique consiste avant tout à mener ses recherches de manière responsable. La recherche vise à répondre à des questions ou à réfléchir sur des problématiques liées au monde réel. Pour ce faire, les chercheurs mettent en place des études ou des expériences, spécifiquement conçues pour apporter des réponses à leurs questions de recherche. Les choix opérés lors de la conception de l’étude sont déterminants et influencent largement la qualité des travaux. En raison de leur importance, les méthodes, règles, modèles et principes appliqués en recherche font l’objet d’un champ d’étude à part entière, regroupés sous le terme de méthodologie.

Il est essentiel que tous les chercheurs se familiarisent avec les bonnes pratiques de méthodologie et de conception propres à leur discipline.

ALLEA Code:

Le Code ALLEA en fait même le premier des quatre principes fondamentaux de l’intégrité scientifique :

Fiabilité, autrement dit garantir la qualité de la recherche, qui transparaît dans la conception, la méthodologie, l’analyse et l’utilisation des ressources.

Bonnes pratiques académiques relatives aux (différentes) méthodologies

Les méthodologies varient considérablement d’une discipline à l’autre : les chercheurs en littérature, par exemple, n’utilisent évidemment pas les mêmes méthodes que les biologistes moléculaires. Les cours portant sur la méthodologie propre à chaque discipline font partie intégrante de la plupart des programmes universitaires, tout comme des programmes de formation doctorale.

Code ALLEA :

Les institutions et organismes de recherche veillent à ce que les chercheurs reçoivent une formation rigoureuse en matière de conception, de méthodologie et d’analyse scientifiques.

Il est impossible de résumer les méthodologies de toutes les disciplines, mais, dans la plupart des domaines de recherche, les points suivants sont essentiels :

Les variables mesurées (facteurs influents et résultats) doivent correspondre aussi directement que possible à la question de recherche.
Le plan expérimental ou l’organisation de l’étude doit permettre de répondre à cette question.
Une forme de randomisation peut être souhaitable pour éliminer l’influence indésirable de facteurs de confusion (y compris ceux qui sont inconnus ou impossibles à mesurer).
La taille de l’échantillon doit être appropriée : suffisamment grande pour détecter statistiquement les phénomènes existants (selon un calcul de puissance), mais, le cas échéant, pas plus grande que ce qui est éthiquement acceptable.

Bonnes pratiques académiques en matière de conception et de méthodologie

Une fois vos actions de recherche et vos analyses soigneusement conçues et planifiées, de nombreuses disciplines considèrent comme bonnes pratiques de :

Spécifier toutes les décisions relatives au plan d’étude et aux activités de recherche dans un protocole (qui peut même être publié).
Préenregistrer l’étude et le plan d’analyse.
Soumettre à l’évaluation par des pairs, et idéalement obtenir l’acceptation pour publication, de votre étude et de votre plan d’analyse préenregistrés avant toute collecte de données, une démarche connue sous le nom de « Registered Report » (rapport enregistré).

Ce format contribue à réduire les risques de pratiques inacceptables, comme un biais dans la conception de l’étude ou le HARKing.

Dessin humoristique réalisée par Patrick Hochstenbach sous licence Creative Commons CC BY-SA 4.0.

Collaborations

Si vous réalisez une étude ou une expérience en collaboration avec des collègues d’autres disciplines ou institutions, il est essentiel de partager une vision commune du projet. Prenez le temps de vous assurer que toutes les parties prenantes adhèrent à l’ensemble du plan, y compris aux raisons ayant motivé les choix effectués. Mettez-vous d’accord avec l’ensemble des partenaires sur le plan d’analyse des données, de préférence avant la collecte de celles-ci.

Page précédente Page suivante

Conception et réalisation

Bien démarrer ensemble

En tant que chercheur, vous avez la responsabilité de mener vos travaux conformément aux normes et valeurs, qu’elles soient institutionnelles, nationales ou internationales, ainsi qu’aux obligations légales applicables. Cela ne signifie toutefois pas que cette responsabilité repose uniquement sur vos épaules. Bien que la recherche débute généralement par une idée, celle-ci ne peut être développée que si les infrastructures et outils nécessaires sont disponibles. Compte tenu de la complexité de la recherche contemporaine, le soutien de l’institution d’accueil et/ou de votre département ou faculté est indispensable pour garantir la qualité scientifique et le respect de l’intégrité en recherche.

Qui est concerné ?

Researchers in general

Group - Faculty - Department

University

Le soutien de l’institution d’accueil peut prendre de nombreuses formes. Les établissements peuvent favoriser la sensibilisation et encourager une culture de l’intégrité scientifique, par exemple en mettant en place des lignes directrices et des politiques claires visant à promouvoir les bonnes pratiques de recherche. Toutefois, il est également attendu des institutions de recherche qu’elles fournissent l’infrastructure adéquate. Cela inclut les espaces et équipements nécessaires à la réalisation d’un projet de recherche, ainsi qu’une infrastructure adaptée à la gestion et à la protection des données et des matériaux de recherche, sous toutes leurs formes.

Code ALLEA :

Les institutions et organismes de recherche favorisent la prise de conscience et assurent une culture de l’intégrité en recherche.
Les institutions et organismes de recherche donnent l’exemple en proposant des mesures et des procédures claires concernant les bonnes pratiques en matière de recherche et en sanctionnant les manquements de façon transparente et adéquate.
Les institutions et organismes de recherche entretiennent les infrastructures adéquates pour la gestion et la protection des données et du matériel de recherche sous toutes leurs formes (y compris les données qualitatives et quantitatives, les protocoles, les procédés, autres objets scientifiques et métadonnées associées) qui sont nécessaires à la reproductibilité, la traçabilité et la responsabilité.

En outre, compte tenu de la complexité de la recherche, il est essentiel que les institutions disposent de dispositifs de soutien pour accompagner les chercheurs ayant besoin de conseils. Les chercheurs doivent pouvoir obtenir de l’aide sur les bonnes pratiques académiques, les autorisations éthiques (via les comités d’éthique), les questions juridiques, ainsi que sur leur propre sécurité et celle d’autrui lors de la planification et de la conduite de leurs travaux.

Les chercheurs eux-mêmes exercent des responsabilités. Avant tout, il est primordial qu’ils se familiarisent avec les bonnes pratiques de recherche décrites dans le Code ALLEA ainsi qu’avec les attentes et procédures de leur institution d’accueil en matière de recherche. Ils doivent s’assurer d’utiliser des méthodes scientifiques justifiables dans leur domaine et faire preuve de précision et de rigueur dans l’exécution de leurs travaux. Il leur appartient également de vérifier que les outils qu’ils prévoient d’utiliser (par exemple, matériel de laboratoire, questionnaires standardisés, archives, etc.) sont adaptés aux travaux à réaliser et prêts à être utilisés dans des conditions optimales.(Code d’éthique de la recherche scientifique en Belgique, 2009)

Page précédente Page suivante