Where is the datas?, ou un coup de gueule contre les mauvais referees

Publié le 05 avril 2008 par Timothée Poisot

Hier, j’ai battu une sorte de record mondial. Enfin je pense. Notre papier s’est fait refuser, avec une des revues qui tenait en quatre mots : Where is the data? [1]. La réponse qui m’est venu, instinctivement, comportait entre autres le mot ass. J’ai appliqué la règle numéro 1, ne pas répondre à un email sous le coup de la colère. Mais quand même.

Que le papier soit refusé, ça fait partie du jeu. Sans en rajouter, disons que c’était relativement nouveau, qu’on mettait en relation des concepts assez complexes qu’on ne traite que trop rarement ensemble — au moins avec un protocole comme le notre — et que notre méthode était peu orthodoxe (ce qu’un des referees a avoué ne pas comprendre, un des indicateurs que nous avions forgé pour l’occasion méritant probablement plus d’explications).

Mais, j’en ai parlé autour de moi, j’ai fait lire les brouillons à plusieurs parasitologues ou écologistes de ma connaissance, qui ont trouvé que le papier était bon.

Alors une review en quatre mots, ça énerve.

La question du referee 1 (j’aimerai vraiment savoir qui c’est, juste pour voir) est dénuée de sens, d’après moi, pour une raison toute simple : les données sont dans le papier. Pas sous forme de tableau, mais elles sont malgré tout indiquées. Le problème que nous avons est le suivant : nous avons pris beaucoup de données (j’ai imprimé le tableau par erreur, ça va chercher dans les 40 pages). Il était illusoire de les reproduire dans le détail.

Nous aurions pu prendre le parti de donner un tableau bien conventionnel (minimum, moyenne ± écart type, maximum), mais ce qui nous intéressait n’était pas les valeurs pour le groupe, mais l’ensemble des valeurs individuelles. Je ne vois pas en quoi avoir ces données aurait aidé le referee à comprendre le papier (ce qu’il n’a vraisemblablement pas cherché à faire), sachant qu’elles ne permettaient en aucun cas de reproduire les résultats (étant donné que nous avons utilisé des analyses multivariées, et que nous avons construit des indicateurs sur la base de ces données).

En d’autres termes, le referee 1 est incapable de lire un papier s’il n’a pas à sa disposition des données chiffrées, quand bien même ces données n’aident en rien à interpréter les résultats. Est-ce que parce qu’il n’est pas capable de comprendre un papier (autrement dit, qu’il ne fait pas l’effort de comprendre que les données qu’il aurait voulu voir ne sont pas informatives au vu des méthodes utilisées) lui donne le droit de refuser un papier (et plus encore, de réduire à néant 6 mois de travail en 4 mots)? Je crains que non.

Mais le pire n’est pas là (le pire, c’est peut-être la revue 2, en fait, ou le referee nous reproche de ne pas avoir fait un papier sur le sujet qui l’intéresse, c’est à dire les parasites protozoaires…). Le pire, c’est le problème que ce genre de referees pose à l’éditeur. D’une part, il donne du journal une image déplorable, l’image d’un manque total de rigueur (je ne suis même pas sûr qu’il aie pris la peine de lire le papier) et de respect de ses collègues, et bien d’autres choses encore.

L’éditeur de la revue locale me disait qu’il n’aurait jamais toléré une revue comme ça (je peine à appeler ça une revue, pour être franc), puisqu’elle décrédibilisait aussi bien le journal que le referee. Je pense que si le journal en question pratiquait l’open review, ce genre de travail bâclé serait appelé à disparaître.

D’autant que se permettre ce type de remarque révèle une profonde incompréhension du rôle de la review. Quand on lit que les auteurs remercient two anonymous referees for helpful comments on the manuscript, c’est souvent vrai. La revue est censée être un acte de dialogue, qui vise à améliorer la qualité du papier — à moins qu’il ne soit franchement très mauvais et irrécupérable, mais ce n’est pas le cas du notre.

Ceci est en substance la réponse que nous allons faire à l’éditeur (moins la réponse aux remarques du deuxième referee, essentiellement techniques). En attendant d’aller soumettre ailleurs (dans une meilleure revue, d’ailleurs).

Notes

  1. Ou sont les données? [↩]