La valeur des résultats négatifs

Donner à toutes vos données la reconnaissance qu’elles méritent, en particulier lorsqu’elles sont négatives, n’est pas toujours chose facile.

Le Code ALLEA :

Selon le Code ALLEA, tous les résultats, qu’ils soient positifs ou négatifs, doivent être valorisés :

Les auteurs, les institutions scientifiques, les éditeurs, les bailleurs de fonds et les communautés scientifiques considèrent les résultats négatifs comme étant tout aussi pertinents que les conclusions positives en matière de publication et de diffusion.
Les chercheurs, les institutions scientifiques et les établissements assurant une mission de recherche reconnaissent que les données, métadonnées, protocoles, codes, logiciels et autres matériels de recherche sont des productions légitimes de la recherche, qui peuvent être citées.

Pour les chercheurs

Dans la plupart des cas, les chercheurs entament leurs travaux à partir d’une hypothèse ou d’une théorie. Si, pour une raison quelconque, les résultats de la recherche ne confirment pas ou ne correspondent pas à la théorie, cela est souvent perçu comme un « échec », ou du moins comme un revers. Dans certains cas, cela peut même être considéré comme un échec personnel, comme si le chercheur était « incapable de produire », ou nourrir la crainte d’être associé à une recherche défaillante ou mal conçue. Cependant, il est important de souligner que des résultats négatifs ne sont pas des « mauvais » résultats : ils peuvent être obtenus à travers un travail rigoureux et solide, et ils contribuent à faire progresser la recherche. Tout simplement parce que nous pouvons en tirer des enseignements, ils nous évitent de répéter inutilement des démarches qui ne fonctionnent pas, ce qui représente un gaspillage de temps et d’argent (y compris de fonds publics). Valoriser ses résultats négatifs suppose un état d’esprit positif afin de convaincre les sceptiques ou les ignorants, et demande une certaine créativité pour « vendre » son récit. Heureusement, les chercheurs bénéficient d’une tendance générale dans le monde académique qui valorise de plus en plus les résultats négatifs.

Se concentrer uniquement sur les résultats positifs n’affecte pas seulement les résultats de la recherche en cours, mais aussi ceux des programmes de recherche futurs dans leur ensemble. Les chercheurs ne sont alors plus guidés par la curiosité ou par les pistes ouvertes par des travaux antérieurs ; leur intérêt est conditionné par des objectifs réalisables, avec un taux de réussite garanti, afin d’obtenir rapidement des résultats « à fort impact », où « fort impact » ne signifie pas nécessairement « grande valeur ».

Illustration par Patrick Hochstenbach sous licence Creative Commons Attribution-NonCommercial 2.5.

Pour les responsables de recherche, les superviseurs

Lorsque de jeunes chercheurs entrent dans le domaine, ils se concentrent souvent sur l’obtention des « bons » résultats, sur la réussite, mais beaucoup moins sur la manière de gérer des résultats négatifs, ou pire, un échec. Cet aspect devrait faire partie intégrante de l’accompagnement professionnel. Donner l’exemple est essentiel dans toutes les dimensions du rôle de superviseur, mais particulièrement lorsqu’il s’agit de résultats négatifs. Reconnaître leur valeur, rester fidèle à des plans méthodologiquement solides, réfléchir à des façons de formuler et de relier des résultats négatifs à des récits porteurs de sens doivent faire partie de cette responsabilité.

Pour les représentants de revues ou de tout autre type de canaux de communication

L’existence d’un biais de publication est une donnée largement admise dans la science. L’une de ses formes concerne les résultats négatifs : les recherches qui présentent des résultats positifs, ou qui confirment une hypothèse, une théorie ou des travaux antérieurs, sont bien plus fréquentes dans les revues. Beaucoup de revues sont peu enclines à publier des résultats nuls ou l’absence d’effet. En conséquence, les auteurs eux-mêmes préfèrent souvent mettre en avant des résultats positifs et écarter les résultats négatifs.

En raison de l’impact de ce biais sur la science, une tendance croissante vise à respecter l’ensemble des résultats de recherche et à revaloriser les résultats négatifs, à travers des initiatives ou revues telles que Journals of Negative Results in Biomedicine, PLOS ONE et The All Results Journals qui encouragent les chercheurs à publier leurs résultats négatifs.

Pour les bailleurs de fonds

Même les organismes financeurs récompensent principalement les chercheurs qui peuvent présenter une histoire « positive ». Cela découle sans doute d’une conviction bien intentionnée consistant à poursuivre l’exploration de ce qui fonctionne. Pourtant, les résultats négatifs font progresser le domaine tout autant.

Collaborations

La science est décrite comme un processus constant d’accumulation de connaissances, dans lequel un chercheur s’appuie sur les résultats d’un autre. En raison du biais contre les résultats négatifs, cette accumulation repose principalement sur des résultats positifs, ce qui limite la collaboration. Cette focalisation négative implique aussi que des collègues perdent du temps et des ressources à refaire ou à chercher ce qu’un autre avait déjà testé, mais non rapporté en raison de la nature négative des résultats. Par ailleurs, un élément fondamental de la recherche, exercer un regard critique sur ce qui est présenté comme acquis et en débattre, est perdu. Cela aussi limite la collaboration.

Messages à retenir

Après avoir rendu compte des résultats du module 3, je :

sais où se situent les responsabilités dans le processus de publication ;
comprends les bases de la présentation des données, y compris dans le cadre des différents rôles des parties prenantes ;
connais les bases d’une bonne présentation des images ;
connais les critères relatifs à la paternité et à l’ordre des auteurs ;
applique pleinement les bonnes pratiques académiques en matière de paternité ;
connais la divulgation de la contribution des auteurs et l’applique dans la mesure du possible ;
sais ce qu’est l’affiliation des auteurs et comment l’appliquer ;
me suis créé un identifiant ORCID
sais comment citer et référencer dans un travail académique, selon le style de référence de ma discipline
me tiens au courant des concepts de la science ouverte et de leur application
sais que je suis censé auto-archiver mes données dans un dépôt ouvert, en fonction de ma discipline ou de mon sujet de recherche
sais que je suis censé publier en libre accès, dans la mesure du possible, et que je peux choisir la stratégie la plus appropriée
connais le concept d’éditeurs et de conférences prédateurs et les outils qui permettent de les reconnaître
savoir évaluer correctement la qualité d’un éditeur ou d’une conférence
savoir me comporter correctement en tant que pair évaluateur, reconnaître l’importance de ce rôle et m’investir pour le remplir de manière éthique
connaître les avantages des prépublications et les avoir analysées pour mon propre travail

Previous page Next page

The value of negative results

Giving all your data the credit they deserve, especially when they are negative, isn’t always an easy thing to do.

ALLEA Code:

According to the ALLEA Code all results, whether positive or and negative, are to be valued:

Authors, research institutions, publishers, funders, and the research community acknowledge that negative results can be as relevant as positive findings for publication and dissemination.
Researchers, research institutions, and organisations acknowledge data, metadata, protocols, code, software, and other research materials as legitimate and citable products of research.

In addition, ALLEA points to the responsibility of researchers, research institutions and organisations to acknowledge data as legitimate and citable products of research. Giving all your data the credit they deserve, isn’t always an easy thing to do.

For researchers

In most cases researchers start their research based on a hypothesis or theory. If for any reason, the results of the research don’t confirm or match the theory, this is often considered a ‘failure’, or at least a setback. In some cases, it might even be seen as a personal failure, as the person seems ‘unable to deliver’, or contain the fear of being associated with flawed or poorly designed research. However, it’s important to stress that negative results aren’t ‘bad’ results; they can be obtained through sound and rigorous work and they help us move forward in research. Simply because we can learn from them, we avoid unnecessary repeating of things that don’t work, leading to waste in time, money (e.g. public funds). Claiming the value of your negative results requires a positive mindset to convince those remaining sceptic or ignorant and it demands some creativity to ‘sell’ your story. Luckily, researchers can benefit from a general tendency in research towards upgrading negative research results.

Focusing solely on the positive results of research, not only impacts the results of the current and future research agenda in general. Researchers are no longer driven by curiosity or whatever direction findings of previous research leads them to, their interest is inspired by achievable goals with a secured success rate in order to score as fast and high impact as possible, where high impact doesn’t necessarily mean ‘of great value’.

Cartoon by Patrick Hochstenbach – Creative Commons Attribution-NonCommercial 2.5 license

For research leaders, supervisors

As young researchers enter the field, they are often focused on getting the ‘right’ results, achieving success but not so much on how to deal with negative results, or worse, failure. This aspect should be present in the professional guidance. Leading by example is key for all aspects of the supervisor role but in particular when it comes to negative results. Respecting their value, staying true to well-designed plans, thinking about ways to formulate and link negative results to meaningful stories should be part of that role.

For representatives of journals or any other kind of communication

The existence of a publication bias seems common knowledge in science. One form of bias is towards negative results, meaning that research with positive results, or results supporting the hypothesis, theory, or previously done research are far more common in journals. Many journals are not keen to publish a no-effect or nonexistence. As a result, authors often also prefer to focus on positive results and push negative results aside.

Because of the impact on science, there is a growing tendency towards respecting all research outcomes and upgrading the importance of negative results, with initiatives/journals such as Journals of Negative Results in Biomedicine, PLOS ONE, and The All Results Journals that encourage researchers to publish their negative results.

For funders

Even funders mainly reward researchers who can report on a ‘positive’ story. This may come from a well-meant conviction to keep investigating in what works. Negative results however move the field forward just as much.

Collaborating

Science is described as a constant process of knowledge accumulation where one researcher uses the results of another. Because of the bias concerning negative results, this accumulation primarily builds on positive results only and therefore collaboration is limited. The negative focus also implies that colleagues waste time and resources doing or finding what somebody else did (but didn’t report because of negative). Also, the fundamental part of doing research, looking critical towards what is ‘given’ and discussing, is lost. This too limits collaboration.

Take home messages

After module 3 reporting results, I:

know where the responsibilities within the publication process lie
understand the basics of data presentation, also within the different stakeholder roles
know the basics of good image presentation
know the criteria for authorship and authorship order
apply good academic practices on authorship to the fullest
know authorship contribution disclosure and apply it whenever possible
know what author affiliation is and how to apply it
made myself an ORCID
know how to cite and reference in academic work, according to the reference style of my discipline
stay up to date with the concepts of Open Science and how to apply them
know I’m expected to self-archive my data in an open repository, depending on my discipline or research topic
know I’m expected to publish open access, whenever possible, and I can choose the most suitable strategy
know the concept of predatory publishers & conferences and and the tools that help recognize them
know how to properly assess the quality of a publisher or conference
know how to properly behave as a peer reviewer, acknowledge the importance of this role, and I invest to fill this role in an ethical way
know the advantages of preprints and have analysed these for my own work

Previous page Next page

Novelty of your work

The aim of publications is to make new research outcomes known. That is why researchers are expected to publish their research in a timely manner, and not to withhold research results. Authors also have to be aware, that apart from a few exceptions, the same work should not be published multiple times. Exceptions to this good practice include the use of preprints and subsequent formal publication in a journal discussed earlier in this module, the publication of important content in a number of journals to reach a bigger audience, or translations of the work. For instance, new insights in the 19th-century history of Belgium, can first be published in an international journal in English and later be translated to be published in a local historical journal in Flemish as long as both journals are informed, have agreed and the later pubblication refers to the firs. Authors should always be transparent and honest regarding the novelty of their work.

Below you can find some illustrations of unacceptable and questionable practices related to the novelty of the work.

Duplicate submission

A group of authors wants to increase the chance of having their work accepted in a journal by submitting it to 2 different journals at the same time. They decide to await both review processes and then withdraw the manuscript from one of the journals, thereby proceeding with the journal that has the least or easiest reviewer comments. This behavior is called ‘duplicate submission’ and is considered as an unacceptable research practice. Duplicate submission leads to a waste in resources (time and money) as two journals and twice the number of reviewers have to spend time reviewing the work. This is why many journals nowadays request a confirmation that the work is novel and not under consideration elsewhere.

Some guidelines:

Do not submit a manuscript to 2 or more journals at the same time.
After a manuscript has been accepted for publication, authors can in principle no longer withdraw their study.
When a journal decides that a manuscript can only be considered after a revision, this does not automatically mean that the study can be submitted to a second journal. If not withdrawn, it will still be seen as under consideration by the first journal. If researchers at this point decide to submit the manuscript to a second journal (e.g. because the reviewers ask to include several additional experiments and the authors are unable to meet this request), they should first formally withdraw the manuscript from the first journal.

Duplicate publication

In case of ‘duplicate publication’, the same work is published twice (or more), either in identical or closely related form. This is unacceptable if it is intended to inflate the researcher’s CV. Similar to duplicate submission, duplicate publication can a waste of journal and reviewer resources. Journals rarely accept manuscripts that have already been published elsewhere. In some exceptional cases, duplicate publication can be acceptable. For instance, an article can be translated to reach a bigger or different audience.

Some guidelines:

Always be transparent when aiming to republish content, either in identical or modified form by means of a letter to the editor, as a reference to the last publication, contacting both editors, etc.
If you have maintained to the copyright of the original article, inform both the editor of the original work and the new journal. The new journal needs to be aware that the paper has already been published elsewhere and needs to agree to republish it.
If you have transferred the copyright to the journal that first published the article, you are not entitled to republish the paper. In some cases, the editor of the original article will give you permission to republish.
It should be made clear to the readers that an article has already been published elsewhere, at least by citing the original publication.
If the republication is intended for a different kind of audience, it might be necessary to modify (parts of) the original article.

Duplicate publication based on conference proceedings

Case: “A paper was submitted to a Journal A and concern was raised by a reviewer that a substantial part of the paper has been previously published in two other journals.”

COPE: Committee on Publication Ethics

ICMJE guidelines: “When authors submit a manuscript reporting work that has already been reported in large part in a published article or is contained in or closely related to another paper that has been submitted or accepted for publication elsewhere, the letter of submission should clearly say so and the authors should provide copies of the related material to help the editor decide how to handle the submission. This recommendation does not prevent a journal from considering a complete report that follows publication of a preliminary report, such as a letter to the editor, a preprint or an abstract or poster displayed at a scientific meeting. It also does not prevent journals from considering a paper that has been presented at a scientific meeting but was not published in full, or that is being considered for publication in proceedings or similar format. Press reports of scheduled meetings are not usually regarded as breaches of this rule, but they may be if additional data tables or figures enrich such reports. Authors should also consider how dissemination of their findings outside of scientific presentations at meetings may diminish the priority journal editors assign to their work”.

Previous page Next page

Nouveautés des travaux

L’objectif des publications est de faire connaître de nouveaux résultats de recherche. C’est pourquoi l’on s’attend à ce que les chercheurs publient leurs travaux en temps opportun et ne retiennent pas des résultats de recherche. Les auteurs doivent également être conscients que, à quelques exceptions près, le même travail ne devrait pas être publié plusieurs fois. Les exceptions à cette bonne pratique incluent l’utilisation de prépublications suivie d’une publication formelle dans une revue, comme discuté plus haut dans ce module, la publication de contenus importants dans plusieurs revues afin d’atteindre un public plus large, ou des traductions du travail. Par exemple, de nouvelles perspectives sur l’histoire de la Belgique au XIXe siècle peuvent d’abord être publiées dans une revue internationale en anglais, puis être traduites pour être publiées dans une revue historique locale en néerlandais, pour autant que les deux revues soient informées, aient donné leur accord et que la publication ultérieure renvoie à l’originale. Les auteurs doivent toujours être transparents et honnêtes quant à la nouveauté de leur travail.

Vous trouverez ci-dessous quelques illustrations de pratiques inacceptables et discutables liées à la nouveauté du travail.

Soumission multiple (duplicate submission)

Un groupe d’auteurs souhaite augmenter ses chances de voir son travail accepté en le soumettant simultanément à deux revues différentes. Ils attendent les deux processus d’évaluation, puis retirent le manuscrit d’une revue pour poursuivre avec celle qui a fourni les retours les plus simples ou les plus favorables. Ce comportement, appelé soumission multiple, est considéré comme une pratique de recherche inacceptable. Il entraîne un gaspillage de ressources (temps et argent), car deux revues et deux fois plus d’évaluateurs consacrent leurs efforts au même travail. C’est pourquoi de nombreuses revues demandent désormais une confirmation que le manuscrit est inédit et n’est pas en cours d’évaluation ailleurs.

Quelques conseils :

Ne soumettez pas un même manuscrit à deux revues (ou plus) en même temps.
Une fois qu’un manuscrit a été accepté pour publication, les auteurs ne peuvent en principe plus retirer leur étude.
Lorsqu’une revue estime qu’un manuscrit ne peut être considéré qu’après révision, cela ne signifie pas automatiquement que l’article peut être soumis à une seconde revue. Tant que le manuscrit n’est pas retiré officiellement, il est toujours considéré comme en cours d’évaluation par la première revue.
Si les chercheurs décident à ce stade de soumettre leur manuscrit à une seconde revue (par ex. parce que les évaluateurs demandent trop d’expériences supplémentaires et que les auteurs ne peuvent y répondre), ils doivent d’abord retirer formellement le manuscrit de la première revue.

Publication multiple (Duplicate publication)

Dans ce cas, le même travail est publié deux fois (ou plus), sous une forme identique ou très proche. Cette pratique est inacceptable lorsqu’elle vise à gonfler artificiellement le CV du chercheur. Comme pour la soumission multiple, la publication multiple gaspille les ressources des revues et des évaluateurs. Rares sont les revues qui acceptent des articles déjà publiés ailleurs. Dans certains cas exceptionnels, la publication multiple peut être recevable. Exemple : un article traduit pour toucher un public plus large ou différent.

Quelques lignes directrices : Toujours être transparent lorsque vous envisagez de republier un contenu, qu’il soit identique ou modifié (via une lettre à l’éditeur, une référence à la publication précédente, un contact avec les deux éditeurs, etc.). Si vous avez conservé les droits d’auteur de l’article original, informez l’éditeur de la première revue ainsi que la nouvelle revue. La nouvelle revue doit savoir que l’article a déjà été publié ailleurs et accepter sa republication. Si vous avez cédé les droits d’auteur à la première revue, vous n’êtes pas autorisé à republier l’article. Dans certains cas, l’éditeur initial peut accorder une permission spéciale. Il doit être clair pour les lecteurs qu’un article a déjà été publié ailleurs, au minimum par une citation de la publication originale. Si la republication vise un autre public, il peut être nécessaire de modifier (partiellement) l’article original.

Publication multiple à partir d’actes de conférences

Cas : ” Un article a été soumis à la Revue A, et un évaluateur a signalé qu’une partie substantielle du texte avait déjà été publiée dans deux autres revues.” COPE: Committee on Publication Ethics

Lignes directrices ICMJE : ” Lorsqu’un auteur soumet un manuscrit rapportant des travaux déjà publiés en grande partie dans un autre article, ou inclus dans ou étroitement liés à un autre texte soumis ou accepté ailleurs, la lettre de soumission doit le préciser clairement et les auteurs doivent fournir des copies du matériel concerné pour aider l’éditeur à décider de la suite à donner. Cette recommandation n’empêche pas une revue d’examiner un rapport complet faisant suite à une communication préliminaire (par ex. une lettre à l’éditeur, une prépublication, ou un résumé/poster présenté lors d’un congrès scientifique). Elle n’empêche pas non plus l’examen d’un article ayant été présenté lors d’un congrès mais non publié intégralement, ou en cours de publication dans des actes ou formats similaires. Les comptes rendus de réunions programmées ne sont généralement pas considérés comme une infraction à cette règle, sauf si des tableaux ou figures supplémentaires enrichissent le contenu. Les auteurs doivent également garder à l’esprit que la diffusion de leurs résultats en dehors de présentations scientifiques formelles lors de conférences peut réduire la priorité accordée à leur travail par les éditeurs de revues.”.

Previous page Next page

Preprints

“A preprint is a scholarly manuscript posted by the author(s) in an openly accessible platform, usually before or in parallel with the peer review process”.

Quote from: COPE discussion document on preprints

Although this goes against the commonly accepted paradigm of only making research results publicly available after they have been peer-reviewed, the use of preprints has some advantages compared to the traditional publication pathway. Already common practice in fields as physics and mathematics, the preprint practice is now also accepted in a variety of other fields, in part facilitated by a reduced resistance by traditional publishers, the availability of discipline-specific preprint platforms and the increased support of funders.

Advantages of preprints

Preprints provide researchers with the opportunity to share their findings in a much faster way, allowing to inform peers and colleagues of the work and the results, thereby avoiding being dependent on the review process which can harper timely dissemination.

Moreover, given the open access character of the publication, authors that publish preprints have the possibility to receive broader feedback on the work as this will not be limited to the typical 2-3 reviewers that are assigned to review a paper in traditional peer review. This community-driven feedback can be used to revise the work before submitting the work to a traditional journal. Getting the work out in the open, might also facilitate getting in touch with other researchers working on the topic, potentially leading to collaborations and further improvement of the paper.

In addition, as most preprints are assigned a DOI (Digital Object Identifier), the research can be cited and credit for the work can be claimed. The work thus becomes part of the scholarly record, meaning authors do not have to fear that their work will be scooped as the preprint can be shown to demonstrate who was first.

Finally, preprints may provide a dissemination route for research that encounters problems to be published in a traditional way. Examples are publications with negative data or research that is deemed of low priority because not innovative enough (e.g. replication studies). Just because journals are not interested this does not mean that the results are not relevant to the research community. Here preprints may provide a way out, preventing the money and time spent on the research to go to waste.

One of the most often heard concerns arguing against preprints is that the format accepts work that does not meet the same quality criteria compared to traditional publishing, thereby giving a forum for the propagation of low-quality research and questionable research practices. When such publications become available to and are taken up by the research community and/or society, the research might have a negative impact, for example on public health.

It is therefore of utmost importance that researchers are aware of the potential impact of their publication and take the necessary measures to deliver a high-quality product. Publishing as a preprint should not be an excuse to cut corners. Again, the same quality standards as for regular publishing apply.

Can I still submit to a traditional journal?

Just because it is available as a preprint in many cases does not prevent the work subsequently to be submitted to, reviewed by and finally published in a traditional journal. However, when doing this authors should be aware of potential copyright restrictions and are advised to acknowledge the existence of the first version upon submission of the work for peer review. In addition, upon acceptance and publication of the work in a traditional journal, a clear link should be made between the preprint and the journal version of the work, this to illustrate the evolution of the research and to direct readers towards the final, peer-reviewed version of the work which will receive a different DOI than the preprint.

Where to publish preprints?

Some examples of well know disciplinary preprint servers are:

SocArXiv (social sciences)
PsyArXiv (psychology)
medRxiv (health sciences)
ChemRxiv (chemistry)
arXiv (focus on, but not limited to physics and mathematics)
bioRxiv (biological sciences)

OSF Preprints is designed for any researchers in any field to share their work.

Previous page Next page

Preprints

“ Une prépublication est un manuscrit académique mis en ligne par son ou ses auteurs sur une plateforme en accès libre, généralement avant ou en parallèle du processus d’évaluation par les pairs”.

Citation extraite du document de : discussion du COPE sur les prépublications

Bien que cette pratique aille à l’encontre du paradigme traditionnel selon lequel les résultats de recherche ne devraient être rendus publics qu’après évaluation par les pairs, l’usage des prépublications présente plusieurs avantages par rapport à la voie classique de publication. Déjà courante en physique et en mathématiques, la prépublication est désormais acceptée dans de nombreux autres domaines, notamment grâce à une moindre résistance des éditeurs traditionnels, à la multiplication de plateformes de prépublication spécialisées par discipline, et au soutien croissant des organismes financeurs.

Avantages des prépublications

Les prépublications offrent aux chercheurs la possibilité de partager leurs résultats de manière beaucoup plus rapide, permettant d’informer leurs pairs et collègues du travail et des résultats, et d’éviter ainsi d’être dépendants du processus d’évaluation qui peut freiner une diffusion en temps voulu.

De plus, étant donné le caractère en accès ouvert de la publication, les auteurs qui publient des prépublications ont la possibilité de recevoir un retour plus large sur leur travail, car celui-ci ne sera pas limité aux 2 ou 3 évaluateurs typiquement assignés dans l’évaluation traditionnelle par les pairs. Ce retour communautaire peut être utilisé pour réviser le travail avant de le soumettre à une revue traditionnelle. Mettre le travail au grand jour peut également faciliter le contact avec d’autres chercheurs travaillant sur le même sujet, ce qui peut potentiellement conduire à des collaborations et à une amélioration supplémentaire de l’article.

En outre, comme la plupart des prépublications se voient attribuer un DOI (Digital Object Identifier), la recherche peut être citée et la reconnaissance du travail peut être revendiquée. Le travail devient ainsi partie intégrante du registre académique, ce qui signifie que les auteurs n’ont pas à craindre que leur travail soit devancé, puisque la prépublication peut démontrer qui a été le premier.

Enfin, les prépublications peuvent fournir une voie de diffusion pour des recherches qui rencontrent des difficultés à être publiées de manière traditionnelle. Des exemples en sont les publications de données négatives ou des recherches considérées comme de faible priorité parce que pas assez innovantes (par ex. les études de réplication). Le fait que les revues ne s’y intéressent pas ne signifie pas que les résultats ne soient pas pertinents pour la communauté scientifique. Ici, les prépublications peuvent constituer une solution, empêchant que l’argent et le temps investis dans la recherche ne soient gaspillés.

Une critique fréquemment formulée contre les prépublications est qu’elles permettent de diffuser des travaux qui ne respectent pas les mêmes critères de qualité que la publication traditionnelle, créant ainsi un espace où peuvent circuler des recherches de faible qualité ou des pratiques scientifiques douteuses. Lorsqu’un tel contenu est repris par la communauté scientifique ou la société, il peut avoir des effets négatifs, par exemple sur la santé publique.

Il est donc primordial que les chercheurs soient conscients de l’impact potentiel de leur prépublication et prennent toutes les mesures nécessaires pour assurer un produit de haute qualité. Publier sous forme de preprint ne doit pas servir de prétexte pour contourner les exigences habituelles : les mêmes standards de qualité que pour la publication traditionnelle s’appliquent.

Puis-je encore soumettre à une revue traditionnelle ?

Le fait qu’un travail soit disponible sous forme de prépublication n’empêche généralement pas sa soumission, son évaluation et sa publication ultérieure dans une revue traditionnelle. Toutefois, les auteurs doivent être attentifs aux restrictions éventuelles liées au droit d’auteur et sont invités à mentionner explicitement l’existence de la première version lors de la soumission. De plus, une fois l’article accepté et publié dans une revue traditionnelle, un lien clair doit être établi entre la prépublication et la version finale validée par les pairs (qui recevra un DOI distinct). Cela permet d’illustrer l’évolution de la recherche et d’orienter les lecteurs vers la version définitive.

Où publier une prepublication ?

Exemples reconnus de serveurs disciplinaires de prépublications :

SocArXiv (sciences sociales)
PsyArXiv (psychologie)
medRxiv (sciences de la santé)
ChemRxiv (chimie)
arXiv (principalement physique et mathématiques mais pas exclusivement)
bioRxiv (sciences biologiques)

OSF Preprints est une plateforme généraliste ouverte à toutes les disciplines.

Previous page Next page

L’évaluation par les pairs

L’évaluation par les pairs constitue le cœur du système traditionnel de publication. Elle a pour objectif d’apprécier la qualité et la validité d’un nouveau travail de recherche, de fournir des suggestions en vue de son amélioration avant publication et de veiller à ce que des articles invalides ou de faible qualité ne soient pas publiés.

Code ALLEA :

Les chercheurs assument avec sérieux leurs engagements et leurs responsabilités envers les communautés scientifiques lorsqu’ils participent à des activités d’arbitrage, d’examen critique et d’évaluation, et ce travail est reconnu et récompensé par les chercheurs, les institutions scientifiques et les établissements assurant une mission de recherche.
Les chercheurs, les institutions scientifiques et les établissements assurant une mission de recherche examinent et évaluent les demandes de publication, financement, nomination, promotion ou récompense d’une manière transparente et justifiable, et indiquent l’utilisation qu’ils ont faite d’outils d’intelligence artificielle et d’outils automatisés.
Les examinateurs (reviewers) et les éditeurs déclarent leurs conflits d’intérêts, réels ou perçus, et quand cela est nécessaire, ne prennent pas part aux décisions relatives à la publication, au financement, à la nomination, à la promotion ou aux récompenses.
Les examinateurs (reviewers) respectent la confidentialité, sauf autorisation de divulgation préalable.
Les examinateurs (reviewers) et les éditeurs respectent les droits des auteurs et des personnes ayant soumis une contribution, et demandent les autorisations nécessaires pour utiliser les idées, les données ou les interprétations présentées.

Les évaluateurs doivent être conscients de leurs responsabilités éthiques lorsqu’ils examinent des études soumises par leurs pairs. Vous trouverez ci-dessous quelques lignes directrices sur la manière de se comporter lorsqu’on vous demande d’évaluer un manuscrit.

ACCEPTER D’ÉVALUER :

Dans la plupart des cas, les invitations à évaluer contiennent le titre, la liste des auteurs et le résumé de l’étude. Idéalement, un évaluateur travaille dans la même discipline que celle de l’article. Êtes-vous la bonne personne pour évaluer ce manuscrit ? Si le sujet est trop éloigné de votre domaine d’expertise, envisagez de décliner l’invitation.

En cas de doute, contactez l’éditeur et discutez de vos réserves. Cela permet à l’éditeur de déterminer si votre expertise est suffisante et éventuellement d’inviter un évaluateur supplémentaire pour couvrir la partie qui vous échappe. Ce n’est pas parce qu’un aspect du manuscrit sort de votre champ de compétences que vous ne pouvez pas contribuer à l’évaluation du reste de l’étude.
Refusez d’évaluer si vous êtes en situation de conflit d’intérêts susceptible de compromettre votre objectivité, par exemple un conflit d’intérêts financier, une relation personnelle étroite ou une collaboration actuelle/récente avec un ou plusieurs auteurs.
Même si l’évaluation peut être utile à votre propre recherche, abstenez-vous d’accepter des manuscrits directement liés à vos travaux en cours. Les informations contenues dans le manuscrit ne doivent pas être utilisées pour avantager vos propres recherches. Refusez également d’évaluer des articles provenant de votre environnement direct (même département ou même institution d’accueil).
Lorsque vous refusez d’évaluer, essayez de suggérer des évaluateurs alternatifs.
Consultez les politiques et directives de la revue pour comprendre les attentes relatives au processus d’évaluation.

FIABILITÉ

La plupart des revues attendent des évaluateurs qu’ils fournissent leur rapport dans un délai limité. N’acceptez pas une évaluation si vous savez que vous ne serez pas en mesure de respecter le calendrier prévu. En cas d’empêchement imprévu, informez-en immédiatement l’éditeur de la revue.
De même, acceptez ou déclinez les invitations à évaluer dans des délais raisonnables.
Les éditeurs se basent souvent sur les profils des évaluateurs enregistrés dans la base de données de la revue pour sélectionner les pairs potentiels. Veillez à ce que votre profil soit à jour (mots-clés, thématiques de recherche).

Les évaluateurs sont tenus de rester objectifs lorsqu’ils examinent le travail de leurs collègues. L’évaluation par les pairs repose sur la confiance et confère une certaine responsabilité, voire un pouvoir, aux évaluateurs. Cette confiance et ce pouvoir ne doivent en aucun cas être détournés pour retarder la publication d’autrui. Les évaluateurs ne doivent pas se livrer à des interventions inappropriées telles qu’imposer des exigences inutiles ou irréalisables, fournir des retours inexacts ou chercher à décourager les auteurs.

Quelques conseils pour rédiger une évaluation par les pairs :

How to write a peer review (PLOS)
Top tips for peer reviewers (Wiley)
Peer review: how to get it right – 10 tips (The Guardian)

CONFIDENTIALITÉ

Les manuscrits soumis à l’évaluation sont des documents confidentiels tant qu’ils n’ont pas été rendus publics lors de leur publication. Selon les revues, les rapports des évaluateurs peuvent également rester confidentiels, même après la publication du manuscrit accepté.
Les évaluateurs doivent contacter l’éditeur avant d’associer d’autres personnes au processus d’évaluation (par exemple un étudiant ou un collègue). Les noms de ces évaluateurs supplémentaires doivent être communiqués dans les commentaires confidentiels adressés aux éditeurs. Cela aide également l’éditeur à identifier de futurs évaluateurs potentiels.
Les évaluateurs ne doivent jamais contacter directement les auteurs. Toute communication doit passer exclusivement par la revue.

OBJECTIVITÉ, CONSTRUCTIVITÉ ET RESPONSABILITÉ LORS DE LA RÉVISION

Les manuscrits doivent être évalués, sans parti pris vis-à-vis des auteurs, qu’il s’agisse d’un biais positif ou négatif.
Le rôle principal d’un évaluateur est de conseiller la revue et de veiller à ce que les manuscrits comportant des failles soient retenus ou corrigés avant d’être diffusés dans le champ scientifique.
Les rapports doivent être rédigés dans un langage clair, utile à la fois pour les éditeurs et pour les auteurs. Il est impératif d’adopter un ton respectueux et professionnel. Les évaluateurs ne doivent pas se cacher derrière leur anonymat pour rédiger des avis injurieux ou des critiques personnelles. Les critiques doivent être constructives afin d’aider l’auteur à se concentrer sur les points problématiques du travail soumis, et non à ressentir les commentaires comme une attaque personnelle.
Les évaluateurs doivent signaler toute question éthique telle que l’existence possible de conflits d’intérêts non déclarés, l’absence d’approbation éthique ou des doutes concernant le protocole expérimental dans les études impliquant des êtres humains ou des animaux. En outre, toute suspicion de manquement scientifique (fabrication, falsification, plagiat ou autres pratiques discutables) doit être signalée et communiquée à l’éditeur.

Comme les revues offrent souvent à l’auteur qui soumet un manuscrit la possibilité de proposer des noms d’évaluateurs potentiels, cette option ne doit pas être détournée par les auteurs afin d’influencer le processus d’évaluation par les pairs à leur avantage. Un biais d’évaluation peut survenir si les évaluateurs proposés ne sont pas objectifs ou présentent un conflit d’intérêts non déclaré, par exemple parce qu’ils sont amis ou proches collaborateurs de l’auteur. Un cas de fausse évaluation peut également se produire lorsque des chercheurs, en soumettant un article, suggèrent des évaluateurs mais fournissent des coordonnées qui redirigent, en réalité, les demandes d’évaluation vers eux-mêmes.

Puisque c’est la revue qui invite officiellement les évaluateurs, il est essentiel que les revues vérifient rigoureusement l’authenticité des évaluateurs potentiels avant de les intégrer dans le processus d’évaluation.

COPE: Lignes directrices éthiques pour les évaluateurs

Previous page Next page

Peer review

Peer review is at the core of the traditional publication system. It is designed to assess the quality and validity of new research work, to provide suggestions for further improvement before publication, and to make sure that invalid or low quality articles are not published.

ALLEA Code:

Researchers take seriously their commitment and responsibility to the research community through refereeing, reviewing and assessment, and this work is recognized and rewarded by researchers, research institutions, and organisations.
Researchers, research institutions, and organisations review and assess submissions for publication, funding, appointment, promotion, or reward in a transparent and justifiable manner, and disclose the use of AI and automated tools.
Reviewers and editors declare any actual or perceived conflicts of interest and, when necessary, withdraw from involvement in discussion and decisions on publication, funding, appointment, promotion, or reward.
Reviewers maintain confidentiality unless there is prior approval for disclosure.
Reviewers and editors respect the rights of authors and applicants, and seek permission to make use of the ideas, data, or interpretations presented.

Reviewers should be aware of their ethical responsibilities when reviewing studies submitted by their peers. Below you can find some guidelines on how to behave when asked to review a manuscript.

ACCEPTING TO REVIEW:

In most cases, review invitations contain the title, the author list and the abstract of the study. Ideally, a reviewer is working in the same discipline as the topic of the paper. Are you the right person to review the manuscript? Consider declining the invitation if the topic is too far outside of your expertise.
When in doubt, contact the editor and discuss your concerns. This allows the editor to determine whether you would have the required expertise, and will also allow to invite an additional reviewer to complement the area that is not covered by the current reviewers. It is not because a specific part of the manuscript is outside your expertise, that you cannot give input on the rest of the study.
Decline to review if you would have a competing interest that could interfere with the objective evaluation of the manuscript, such as a financial conflict of interest (COI), a close personal relationship or present/recent collaboration with one or more of the authors.
Although useful for their own work, reviewers should decline to review work directly related to their own research. The information in the manuscript should not be used to benefit your own work. Finally, please also decline to review papers coming from your direct environment (same department or even same host institution).
Upon declining to review, try to make suggestions for alternative reviewers.
Check the journal’s policies and guidelines to understand what is expected with regards to the review of manuscripts.

BE RELIABLE

Most journals expect their reviewers to provide feedback within a limited time period. Reviewers should not accept to review a paper if they won’t be able to do this within the allotted timeframe. In case unforeseen issues arise, preventing you from reviewing in time, the editor of the journal should be informed.
Similarly, decline and accept review invitations in a timely fashion.
Editors often rely on the profile of the reviewers as available in the database of the journal to select potential reviewers. Please make sure your profile is up to date by checking your keywords and preferred research topics.

Reviewers are expected to be objective when reviewing their colleagues’ work. Given that peer review is based on trust and provides a certain power to each of the reviewers, this trust and power should not be misused to delay publication of the work of others. Reviewers should not engage in inappropriate interventions such as posing unnecessary or even impossible requirements, providing incorrect feedback or discouraging the authors.

Some tips on how to write a peer review

How to write a peer review (PLOS)
Top tips for peer reviewers (Wiley)
Peer review: how to get it right – 10 tips (The Guardian)

CONFIDENTIALITY

Manuscripts under review are confidential documents until they are made public upon publication. Depending on the journal, the accompanying reviewer reports might remain confidential, even after publication of the accepted manuscript.
Reviewers should contact the editor before involving other parties in the review process (for example a student or a co-worker) and the names of these additional reviewers should be provided in the confidential comments to the editors. This will also assist the editor in identifying potentially interesting new reviewers to be invited for future reviews.
Reviewers should never contact the authors directly. All communication should be arranged via the journal.

BE OBJECTIVE, CONSTRUCTIVE AND RESPONSIBLE WHILE REVIEWING

Manuscripts should be judged without bias towards the authors, both in positive and negative sense.
The primary role of a reviewer is to advise the journal and to make sure flawed manuscripts are withheld or corrected before being made available for the scientific field.
Reviews should be written in clear language and be helpful to both the editors and the author. Be respectful and keep a professional stance when providing comments. Reviewers should not hide behind their anonymity to provide rude reviews and personal criticism. Provide constructive critiques, as this will help the author to focus on the problems in the proposed work, instead of giving the feeling that the comments are the result of a personal vendetta.
Report ethical issues such as potentially undisclosed conflicts of interests, the lack of ethical approval or concerns on the experimental protocol in human or animal studies. In addition, suspicions of misconduct, such as fabrication, falsification, or plagiarism or other questionable research practices should be reported to and disclosed with the editor.

As journals often allow the submitting author to suggest names for potential peer-reviewers, this option should not be misused by authors to influence the peer review process to the author’s own benefit. Biased peer review can happen if the proposed reviewers are not objective or have a non-declared conflict of interest, for example because they are friends or close collaborators. Fake peer review can occur when researchers submitting a paper for publication, suggest reviewers, but supply contact details for them that actually route requests for review back to the researchers themselves.

Given that it is the journal that invites the reviewer, it is important that journals double check the authenticity of the potential reviewers before involving them into the review process.

COPE: Ethical guidelines for peer reviewers

Previous page Next page

The quality of a journal

Upon finalising you research project, the traditional ultimate step is to make the work available to the research community by publishing it, for instance in a journal. Given the extensive time spent on your research, and the potential implications for your career, authors should carefully select a proper place for their work. With thousands of journals listed in the main bibliographical databases such as Web of Science and PubMed, or local initiatives such as the Flemish Academic Bibliography for the Social Sciences and Humanities (VABB-SHW), researchers can become overwhelmed by the possibilities. Moreover, as journals are not always indexed in the most frequently used databases, the number of journals to choose from is almost unlimited. Therefore, when assessing potential journals to publish your work, critical factors to look into are the reputation and the quality of a journal and its publisher, together with the scope of the journal.

The scope of the journal is important as it can impact who will get to read your work. Although you might have the most interesting/important paper ever, if it doesn’t get published in a place where it gets appropriate visibility, your work might not get picked up. This of course doesn’t mean that you should not publish your work in journals that have a broad scope. Nevertheless, try to identify the profile of the readers of the journal. Is your work relevant to them?

When it comes to the reputation of the journal, authors are encouraged to look further than the journal impact factor and instead assess the quality of the journal and the papers previously published by the journal and its publisher. Does the journal appear trustworthy and does it have policies in place to make sure that the submitted research is evaluated according to the internationally accepted principles? For example, does the journal provide clear instructions to authors and is a solid peer review system in place?

Who is involved?

(Co-) Author

The authors have to go into dialogue to determine the appropriate journal to submit the work to.

As ‘host’ of the work, journals and publishers need to demonstrate that they follow good publishing practices when evaluating and publishing scientific papers.

Predators in publishing

The traditional sequence of submitting a manuscript to a journal to have it critically reviewed, followed by a revision of the work to get it up to standard is undermined by predatory journals and publishers. Profiting off the obligation that some funders have set to have the research they finance published under Open Access, combined with the difficulty some researchers experience to have their work accepted, some journals and publishers misuse the system for their own (monetary) interest. Predatory journals basically accept any manuscript as long as the researcher is willing to pay the publication fee. Furthermore, by not providing or only having a minimal peer review procedure in place, the quality of the published work is often below par. For example this case of a journal that published a spoof COVID-19 paper called “Cyllage COVID-19 Outbreak Linked to Zubat consumption” (2020).

Researchers have to be aware of the existence of the problem. Because of the questionable quality of papers published by predatory journals, the readers of the study should be critical when interpreting the work and considering the study as a basis for their own work. This is especially important in fields where the work can be misused to misinform society. One can for example think of findings in biomedical sciences that could severely impact public opinion on a specific topic or have implications for standard patient care. Conversely, authors should make sure not to engage with predatory journals to publish their own work. Not only can this severely impact your personal reputation, you should also be aware that predatory journals often only stay around for a limited time, and can disappear without warning, taking all published papers offline and thus leaving the authors with empty hands

In order to determine whether a journal and/or publisher is trustworthy, authors can position the journal along some basic evaluation criteria. The Think. Check. Submit. checklist provides a good overview of important questions authors have to ask themselves when looking into suitable journals.

Some general recommendations

Think. Check. Submit. provides a checklist to help you identify the right journal for your research.
Does VABB-SSHW list the journal?
Is the journal a member of COPE (Committee on Publication Ethics)? Members adhere to the Core practices.
Does a learned society sponsor the journal?
Is the publisher or journal one of the signatories of the Transparency & Openness Initiative
Have (many of) your trusted peers published in this journal?

Predatory conferences

Contrary to what most academics believe, not all predatory conferences are small, poorly organised, and organised by fly-by-night organisations. In order to ensure that they make profits, a decent organisation is usually set up. One telltale sign of a predatory conference is low-quality research that is often presented alongside research by famous academics. Enego on predatory conferences.

While predatory conferences exist in high numbers, there are initiatives that guide researches to avoid these conferences. Think. Check. Attend. is an organisation that helps researchers and academics decide whether the conference of legitimate or not.

Previous page Next page

La qualité d’une revue

Au terme d’un projet de recherche, l’étape traditionnelle ultime consiste à rendre les résultats disponibles pour la communauté scientifique en les publiant, par exemple dans une revue. Étant donné le temps considérable investi dans vos travaux, ainsi que les implications potentielles pour votre carrière, il est essentiel de choisir soigneusement le lieu de publication. Avec des milliers de revues répertoriées dans les principales bases bibliographiques, telles que Web of Science et PubMed ou dans des initiatives locales comme la Flemish Academic Bibliography for the Social Sciences and Humanities (VABB-SHW), les chercheurs peuvent se sentir submergés par l’étendue des possibilités. De plus, les revues n’étant pas toujours indexées dans les bases de données les plus fréquemment utilisées, le nombre d’options est virtuellement illimité. Ainsi, lors de l’évaluation des revues potentielles pour publier un travail, il est crucial de prendre en considération : la réputation et la qualité de la revue et de son éditeur, ainsi que le champ thématique (scope) de la revue.

Le champ thématique d’une revue est déterminant, car il influence directement le public susceptible de lire vos travaux. Même si votre article est particulièrement novateur ou important, s’il est publié dans une revue qui n’assure pas une visibilité adéquate, il risque de passer inaperçu. Cela ne signifie pas pour autant qu’il faille éviter les revues à large couverture disciplinaire. Toutefois, il est recommandé d’identifier le profil des lecteurs de la revue : votre travail leur est-il pertinent ?

S’agissant de la réputation, il est conseillé aux auteurs de ne pas s’arrêter uniquement au facteur d’impact. Il convient d’évaluer également la qualité des articles précédemment publiés dans cette revue et par son éditeur. Une revue paraît-elle digne de confiance ? Dispose-t-elle de politiques claires garantissant que les manuscrits soumis sont évalués conformément aux principes internationalement reconnus ? Par exemple : fournit-elle des instructions précises aux auteurs ? Un système solide d’évaluation par les pairs est-il en place ?

Qui est concerné ?

(Co-) Author

Les auteurs doivent engager un dialogue afin de déterminer la revue la plus appropriée à laquelle soumettre leur travail.

En tant qu’‘hôtes’ de ces travaux, les revues et les éditeurs doivent démontrer qu’ils appliquent de bonnes pratiques éditoriales lors de l’évaluation et de la publication d’articles scientifiques.

Les prédateurs de l’édition scientifique

La séquence traditionnelle qui consiste à soumettre un manuscrit à une revue afin qu’il soit évalué de manière critique, suivie d’une révision permettant de répondre aux standards scientifiques, est fragilisée par l’existence de revues et éditeurs prédateurs. Tirant profit à la fois de l’obligation imposée par certains bailleurs de fonds de publier les résultats en accès ouvert, et des difficultés rencontrées par certains chercheurs à faire accepter leurs travaux, ces revues et éditeurs détournent le système à leur avantage financier. En pratique, une revue prédatrice accepte pratiquement tout manuscrit dès lors que l’auteur s’acquitte des frais de publication. De plus, en l’absence de véritable procédure d’évaluation par les pairs, ou lorsqu’elle est purement minimale, la qualité des articles publiés est souvent très en deçà des standards scientifiques.

Exemple : une revue a ainsi publié en 2020 un faux article sur la COVID-19 intitulé « Cyllage COVID-19 Outbreak Linked to Zubat consumption ».

Les chercheurs doivent être conscients de l’existence de ce problème. La qualité douteuse des articles publiés par des revues prédatrices implique que les lecteurs doivent faire preuve d’esprit critique lorsqu’ils interprètent ces travaux ou envisagent de s’y appuyer. Ceci est particulièrement crucial dans des domaines où des résultats biaisés ou fallacieux pourraient être exploités pour désinformer le public. On peut penser, par exemple, aux sciences biomédicales, où certaines publications pourraient influencer fortement l’opinion publique sur un sujet sensible, ou entraîner des conséquences directes sur la pratique médicale standard. Inversement, les auteurs doivent veiller à ne jamais soumettre leurs propres travaux à ce type de revues. Non seulement, cela peut porter gravement atteinte à leur réputation scientifique, mais il faut aussi garder à l’esprit que les revues prédatrices ont souvent une durée de vie très limitée : elles peuvent disparaître sans avertissement, emportant avec elles les articles publiés et laissant les auteurs sans aucun recours.

Pour déterminer si une revue et/ou un éditeur est digne de confiance, les auteurs peuvent évaluer la revue à l’aide de quelques critères fondamentaux. La checklist Think. Check. Submit. offre un bon aperçu des questions essentielles que les auteurs doivent se poser lorsqu’ils recherchent une revue appropriée pour publier leurs travaux.

Some general recommendations

Think. Check. Submit. propose une checklist pour vous aider à identifier la revue appropriée à votre recherche.
La revue est-elle répertoriée dans le VABB-SSHW (Flemish Academic Bibliography for the Social Sciences and Humanities) ?
La revue est-elle membre du COPE (Committee on Publication Ethics)? Les membres s’engagent à respecter les pratiques fondamentales en matière d’éthique de publication.
La revue est-elle parrainée par une société savante ?
L’éditeur ou la revue est-il signataire de l’Initiative pour la transparence et l’ouverture (Transparency & Openness Initiative) ?
Plusieurs de vos pairs de confiance ont-ils déjà publié dans cette revue ?

Conférences prédatrices

Contrairement à ce que pensent de nombreux universitaires, toutes les conférences prédatrices ne sont pas nécessairement de petite taille, mal organisées ou mises en place par des structures éphémères. Afin de garantir leurs profits, ces conférences reposent souvent sur une organisation apparemment sérieuse. Un signe révélateur d’une conférence prédatrice est la présence de travaux de faible qualité présentés aux côtés de recherches menées par des universitaires renommés.

Voir Enego sur les conférences prédatrices.

Bien que les conférences prédatrices soient très nombreuses, certaines initiatives aident les chercheurs à les éviter. Think. Check. Attend. est une organisation qui accompagne les chercheurs et universitaires dans l’évaluation de la légitimité d’une conférence.

Previous page Next page