Dans quelle mesure le paradigme de l’open science peut-il apporter des réponses à la crise du peer review ? Par ailleurs, de quoi l’open peer review est-il le nom ? Quels sont les impacts sur le peer review de la logique de décloisonnement inhérente à l’open science? De quelle manière les institutions de recherche peuvent-elles jouer un rôle plus actif dans un écosystème de la publication dominé par les éditeurs ? La publicisation des évaluations renforce-t-elle ou fragilise-t-elle les reviewers?

Argumentaire

Les formes traditionnelles du peer review font régulièrement l’objet de critiques de la part des chercheurs eux-mêmes : le processus est jugé lent, coûteux et opaque. L’abondante littérature sur le sujet souligne également d’autres écueils du peer review  (Souder 2011) : les biais en faveur d’auteurs issus de prestigieuses institutions ; un traitement inéquitable selon le niveau de maîtrise d’anglais des auteurs ; le risque de privilégier les résultats au détriment de la méthode, l’application de procédures inadaptées à l’évaluation de manuscrits à fort caractère interdisciplinaire ; et plus généralement, un tropisme pour ce que L. Souder nomme « scientific conservatism » (Souder 2011:55).

Par ailleurs, alors que le nombre d’articles augmente de manière exponentielle, les revues sont confrontées à la difficulté de trouver des rapporteurs. M. Kovanis et ses co-auteurs (Kovanis et al. 2016) alertent sur les atteintes à la qualité du processus engendrées par la sur-sollicitation d’un nombre restreint de rapporteurs. De plus, la pénurie de rapporteurs est aggravée par le fait que l’évaluation ne porte plus seulement sur des manuscrits mais s’étend désormais également à des jeux de données, du code informatique par exemple. Ainsi que le soulignent B. Lawrence et ses co-auteurs (Lawrence et al. 2011:11), le peer review de données sources nécessite de recourir non seulement aux compétences de spécialistes de la discipline, mais aussi de s’appuyer sur des experts techniques.

Autre paradoxe du peer review : alors que la publication d’articles dans des revues considérées comme prestigieuses reste déterminante dans l’attribution de financements et de promotions, l’activité de reviewing s’avère peu ou mal valorisée.

Selon J.P. Tennant et ses co-auteurs (Tennant et al. 2017), grâce aux possibilités offertes par l’édition numérique, nous assistons à une période d’expérimentation et d’innovation dans le domaine du peer review. Or si des outils répondent aux besoins de traçabilité et d’interopérabilité, il s’agit moins d’une évolution technique que culturelle.

Dans quelle mesure le paradigme de l’open science peut-il apporter des réponses à la crise du peer review ? Par ailleurs, de quoi l’open peer review est-il le nom ?

Quels sont les impacts sur le peer review de la logique de décloisonnement inhérente à l’open science?

De quelle manière les institutions de recherche peuvent-elles jouer un rôle plus actif dans un écosystème de la publication dominé par les éditeurs ? La publicisation des évaluations renforce-t-elle ou fragilise-t-elle les reviewers?

Organisation

La journée d'étude est co-organisée en partenariat avec :

• l'Inria, centre Bordeaux Sud-Ouest
• la délégation Aquitaine du CNRS
• l'Université de Bordeaux, pôle Ressources humaines et développement social

Programme (titres provisoires)

• 8h45-9h : accueil des participants
• 9h-9h15 : allocution de bienvenue
• 9h15-10h : Vers un nouveau processus éditorial? Peer Community In (PCI), un système de recommandation public et gratuit de pre-prints ; Denis Bourguet (Inra), Thomas Guillemaud (Inra)

L'objectif n'est pas de publier l'article sur la plateforme, mais les commentaires sur l'article. Il s'agit de valider et de valoriser des pre-prints de très bonne qualité. L'initiative s'articule avec des archives ouvertes telles que BioRxiv ou preprints.org.

• 10h-10h15 : échanges avec le public
• 10h15-10h35 : pause café
• 10h35-11h15 : Valoriser le travail des reviewers : retours d'expérience autour de Publons ; chercheurs invités : Florence Débarre (Centre Interdisciplinaire de Recherche en Biologie, Collège de France) ; Fabien Lotte (équipe Potioc, Inria) ; Olivier Sandre (Laboratoire de Chimie des Polymères Organiques, CNRS). Animateur de la table-ronde : Hervé Maisonneuve (médecin et consultant, rédacteur du blog "Rédaction scientifique").

Publons a pour ambition de valoriser l'activité des reviewers, encore peu reconnue dans l'évaluation des chercheurs. Chaque rapporteur peut ainsi rendre publique son activité. La plateforme est interfacée avec Orcid pour que l'ensemble de l'activité de recherche soit documentée de manière centralisée.

• 11h15-11h30 : échanges avec le public
• 11h30-12h : Evolutions du peer review en sciences du vivant et de la santé ; Hervé Maisonneuve (médecin et consultant, rédacteur du blog "Rédaction scientifique")
• Result free, registered reports, etc. : autant de modalités d'évaluation des manuscrits conçues pour limiter les biais et s'assurer de la robustesse des méthodes employées.
• 12h-12h15 : échanges avec le public
• 12h15-14h : buffet sur place offert
• 14h-14h30 : Emergent scientist : acculturer les doctorants au peer review ; Daniel Suchet (Polytechnique)

Emergent Scientist est une revue internationale en open access dédiée aux questions de publication et d'édition scientifique. Le public cible est celui des doctorants et dans une moindre mesure, celui des chercheurs. Il s'agit de permettre aux doctorants de se former au peer review par la pratique.

• 14h30-14h45 : échanges avec le public
• 14h45-15h05 : Open peer review module : quel rôle pour les institutions dans la crise du peer review? Isabel Bernal (Unit of Information Resources for Research, Spanish National Research Council)

Le conseil national de la recherche d'Espagne, en partenariat avec OpenAire, a déployé un module d'open peer review dans son archive institutionnelle. L'expérimentation, désormais achevée, a suscité de nombreuses interrogations sur le rôle possible des institutions dans la crise du peer review.

• 15h05-15h15 : échanges avec le public
• 15h15-15h30 : pause
• 15h30-16h : Levée de l'anonymat et cultures disciplinaires ; Didier Torny (Inra) et David Pontille (CNRS, Mines ParisTech)

Si les chercheurs s'accordent pour remettre en question les modalités classiques du peer review, les réponses à apporter diffèrent grandement d'une discipline à l'autre. Des conceptions très différentes du peer review co-existent et découlent de la manière dont les chercheurs conçoivent le processus scientifique.

• 16h-16h15 : échanges avec le public
• 16h15-16h30 : conclusion de la journée

Informations pratiques

• Accès au centre Inria Bordeaux Sud-Ouest (200 avenue de la vieille tour, 33 405 Talence) : Voir sur Google maps
• Accueil : 05 24 57 40 00
• Télécharger le plan d'accès
• Par les transports en commun :
  • Itinéraire le plus direct : tram ligne B, arrêt "Béthanie" 
  • Itinéraire le plus facile : tram ligne B, arrêt "Arts et métiers" ; le centre Inria est visible depuis le tram et tout du long du trajet. Quelques minutes de marche en plus par rapport au premier trajet. "Arts et métiers" est l'arrêt qui suit "Béthanie".

Sources

• Kovanis, Michail, Raphaël Porcher, Philippe Ravaud, and Ludovic Trinquart.  2016     The Global Burden of Journal Peer Review in the Biomedical Literature: Strong Imbalance in the Collective Enterprise. Lutz Bornmann, ed. PLOS ONE 11(11): e0166387.
• Lawrence, Bryan, Catherine Jones, Brian Matthews, Sam Pepler, and Sarah Callaghan.  2011     Citation and Peer Review of Data: Moving Towards Formal Data Publication. International Journal of Digital Curation 6(2): 4–37.
• Souder, Lawrence.  2011     The Ethics of Scholarly Peer Review: A Review of the Literature. Learned Publishing 24(1): 55–72.
• Tennant, Jonathan P., Jonathan M. Dugan, Daniel Graziotin, et al.  2017     A Multi-Disciplinary Perspective on Emergent and Future Innovations in Peer Review. F1000Research 6: 1151.