Par Jo Moreau.
Randy Schekman (au centre) lors de la cérémonie de remise du Prix Nobel à Stockholm. (Photo : The Guardian)
Quatre évangiles sont reconnus et retenus parmi les textes du Nouveau Testament : Matthieu, Marc, Luc et Jean. La Bible est donc le résultat d’une sélection de textes, retenus comme écrits de référence par les communautés chrétiennes, tandis que d‘autres ont été rejetés, notamment les évangiles de Pierre et Thomas. Le principe du « peer reviewed » avait vu le jour…
Quel est le principe de fonctionnement du « peer review », ou révision par les pairs ?
Nous avons déjà pu apprécier à quel point la publication d’un article dans une revue scientifique pratiquant le « peer review » constitue pour certains le sommet, et même la condition absolue pour se voir accorder l’autorisation d’émettre un avis sur un sujet donné (dans notre cas : le réchauffement, pardon, les changements climatiques).
Mais pas dans n’importe quelle publication pratiquant le « peer review »… Pour ces censeurs sourcilleux de la pensée scientifique, encore faut-il que cette revue réponde à certains critères.
Comment cela fonctionne-t-il ? Le scientifique (ou le groupe de scientifiques) soumet son étude à l’éditeur de la revue qu‘il aura choisi (ou à plusieurs d‘entre eux). Celui-ci transmet alors le texte à des évaluateurs, experts dans la matière traitée, qui font partie de son comité de relecture : ce sont les pairs. Le nombre de relecteurs et les critères qu’ils doivent respecter varient en fonction de la revue. Cela va de deux experts, départagés par un troisième si leurs avis sont divergents, à l’ensemble des chercheurs de la branche concernée pour certaines autres revues.
Ceux-ci ont pour mission de juger la qualité scientifique de l’article, et la validité méthodologique de la démonstration exposée. En fonction de leur avis, l’article sera alors accepté ou rejeté, quoique l‘éditeur conserve la décision définitive. Il restera à l’auteur heureux à régler la participation financière réclamée par la revue pour la publication de son étude, et à attendre patiemment celle-ci. Car le processus peut prendre de plusieurs mois à plusieurs années.
Alors, tout est pour le mieux dans le meilleur des mondes scientifiques ?
Eh bien, beaucoup de scientifiques et non des moindres ne sont pas de cet avis. Un des plus récents n’est autre que Randy Schekman, dernier prix Nobel de Médecine.
Il déclare que son équipe n’enverra plus de document de recherche à Nature, Science ou Cell dans la mesure où ces revues à comité de relecture faussent le processus scientifique, et constituent une tyrannie qui doit être brisée.
Il accuse ces revues de sélectionner les études qu’elles publient, par exemple en fonction du fait que ces articles soit « représentent la bonne science, ou parce qu’ils sont provocateurs ». D’autres chercheurs de son laboratoire émettent un avis semblable, mais reconnaissent que sans ces articles, ils auraient des problèmes pour ouvrir les bonnes portes dans leur carrière future, ou pour l’obtention de crédits de recherche.
Pierre Marage, vice-recteur à l’Université Libre de Bruxelles et Vincent Yzerbyt, son équivalent à l’Université Catholique de Louvain ainsi que Nicolas Tajjedine également de l’UCL ne disent pas autre chose quant à leur importance. « Publier ? C’est ça qui assure les carrières scientifiques. Et à tous les niveaux d’ailleurs. Pour un jeune, publier est essentiel parce que cela lui permet d’enrichir son CV, de poursuivre une carrière, d’être reconnu par ses pairs. Pour quelqu’un de plus expérimenté, c’est le principal critère pour obtenir des financements et faire prospérer son laboratoire.(…) À partir du moment où vous travaillez dans une institution publique, c’est de l’argent de la collectivité dont il est question. Il est donc légitime qu’à un moment donné, les pouvoirs subsidiants puissent contrôler ce qu’il se fait et attendre des résultats. On peut difficilement donner à des chercheurs des masses gigantesques d’argent sans attendre un retour sur investissement. »
On réalise immédiatement la pression qui pèse sur les épaules des chercheurs, et le pouvoir écrasant qui se trouve dans les mains d’un éditeur de revue scientifique.
En fait, qui sont ces « pairs » ?
Dans le Journal of the Royal Society of Médecine, Richard Smith tente d’apporter une réponse, et celle-ci est édifiante. J’en extrais le paragraphe suivant. « Ce peut être quelqu’un qui fait exactement le même type de recherche que l‘auteur, et est dans ce cas un concurrent direct. Un expert issu de la même discipline ? Un expert sur la méthodologie ? Ou alors un expert consciencieux, qui vous demandera les données brutes, qui refera les analyses et vérifiera les références pour vous suggérer éventuellement des améliorations sur votre texte ? Inutile de préciser qu’une expertise semblable est extrêmement rare… Nous avons peu de données quant à l’efficacité réelle du processus, mais nous avons la preuve de ses défauts. En plus d’être peu efficace pour la détection de défauts graves et presque inutile pour la détection des fraudes, il est lent, coûteux, distrait le chercheur de son laboratoire, est très subjectif, tient de la loterie, et peut facilement abuser. Vous soumettez une étude pour un journal. Elle entre dans un système qui est en fait une boîte noire, puis une réponse plus ou moins justifiée sort à l’autre extrémité. La boîte noire est comme la roulette, et les profits et pertes peuvent être grands. Pour un universitaire, une publication dans un journal important comme Nature ou Cell équivaut à toucher le jackpot. »
Richard Horton, rédacteur en chef de la revue britannique The Lancet, a déclaré de son côté que : « Les éditeurs et les scientifiques insistent sur l’importance cruciale de l’évaluation par les pairs. Nous la dépeignons au public comme si c’était un processus quasi-sacré qui aide à faire de la science notre accès le plus objectif à la vérité. Mais nous savons que le système d’évaluation par les pairs est biaisé, injuste, non fiable, incomplet, facilement truqué, souvent insultant, souvent ignare, parfois bête, et souvent erroné. »
Fichtre…
Le « peer review » n’est pas une garantie contre la manipulation ou la fraude
Je ne reviendrai pas sur le récent cas « Seralini », dont l’étude sur la toxicité des OGM vient d’être retirée de la revue Food and Chemical Toxicology. La controverse qui l’accompagne démontre à suffisance toute l’influence idéologique et politique qui transparait dans la discussion scientifique et risque de la polluer, de quelque bord qu’elle provienne d’ailleurs.
De nombreux cas de fraudes ont eux été clairement établis, et je ne citerai que celle commise par Diederick Stapel, chercheur et professeur à l’Université de Tilburg, qui pendant une dizaine d’années a publié plus de 137 articles dans des revues à relecture, dont 55 au minimum contiennent des données inventées ou falsifiées.
Dans le domaine climatique, que nous a appris le « Climategate » ?
En 1999, la divulgation de mails échangés entre des chercheurs du Climatic Research Unit (CRU), grand pourvoyeur de données au GIEC, a brièvement secoué le monde scientifique avant d’être enfoui dans un silence confortable. Les chercheurs incriminés furent ensuite blanchis par une commission du Parlement britannique.
Quelques phrases relevées dans certains de ces mails :
« Je ne veux voir aucun de ces papiers repris dans le prochain rapport du GIEC. Kevin et moi les écarterons, même si nous devons redéfinir ce qu’est la littérature peer-review. » (source)
« C’est le danger de toujours reprocher aux sceptiques de ne pas publier dans la littérature peer reviewed. De toute évidence, ils ont trouvé une solution à cela : infiltrer un journal. Alors, que faisons-nous à ce sujet ? Je pense que nous devons cesser de considérer Climate Research comme une revue à prendre en référence. Nous devrions peut-être encourager nos collègues dans le milieu de la recherche climatique à ne plus prendre cette revue en considération. Nous devrions aussi attirer l’attention de nos collègues plus raisonnables qui actuellement siègent au comité de rédaction … » (source)
« Hans von Storch est en partie à blâmer (pour la publication d’articles sceptiques dans Climate Research). Cela encourage la publication d’inepties scientifiques. Nous devrions prendre contact avec les éditeurs et leur montrer que leur journal est perçu comme faisant de la désinformation. J’emploie le terme ’perçu’, que cela soit vrai ou non c‘est la perception à l’extérieur qui compte. Nous devrions pouvoir rassembler un groupe d’environ 50 scientifiques pour signer une telle lettre ». (source)
Dans une autre suite de mails, les scientifiques du CRU réagissent à la parution d’un article de McIntyre dans Geophysical Research Letters, où ils expriment leurs préoccupations au vu des relations du rédacteur en chef du journal James Saiers, avec l’Université de Virginia (et probablement Pat Michaels). « Si Saiers est un sceptique, alors il doit être éjecté via les canaux officiels du Journal. » (Saiers a effectivement été évincé).
Voilà qui doit permettre à chacun de se faire sa propre idée sur les pressions auxquelles sont soumis les éditeurs de journaux à comité de relecture. Et accessoirement sur la déontologie des champions de la Vraie Science du CRU. Et enfin sur l’opportunité de blanchir ces personnages comme l’a fait le Parlement britannique, qui – notons-le – avait à juger ses propres compatriotes agissant au sein de la prestigieuse université East Anglia.
D’autres anomalies…
Le professeur Paul Brookes, professeur agrégé à l’Université de Rochester-Medical Center a prononcé l’évaluation la plus accablante, concentrant ses flèches sur Nature Publishing Group (NPG) : « Vous pouvez avoir tous les poids lourds (scientifiques) de votre côté, mais si vous contestez quelque chose qui a paru dans un Journal du NPG, vous aurez à vous battre d’abord pour entr’ouvrir la porte, suivi par une bataille rangée pour obtenir que quelque chose soit publié. NPG n’aime pas quand vous trouvez des erreurs qui auraient échappé à l’examen par les pairs. » Le professeur Brookes avait, sous un pseudo, créé un site web : science-fraud.org qui avait pour but de dénoncer des documents suspects dans la littérature scientifique. En six mois, il avait répertorié environ 500 articles, et son site comptait plusieurs milliers de visiteurs quotidiens. Lorsque sa véritable identité fut découverte, des e-mails furent envoyés aux scientifiques concernés pour les inciter à déposer plainte pour diffamation, qualifiant son site comme étant « un site de haine et constituant une menace pour la communauté scientifique (!) ». Cette dénonciation fut également envoyée à ses supérieurs académiques, aux éditeurs qui l’avaient publié ainsi qu’à ses collègues qui auraient aussi pu être des « peer reviewers ». Son site fut fermé à la suite de cette cabale.
(…) Les relecteurs des revues scientifiques ont souvent encouragé des pratiques irrégulières ainsi qu’« une incitation à passer sous silence les résultats n’allant pas dans le bon sens ou les expériences n’ayant pas mis en évidence l’effet escompté, comme si cette absence de résultat n’était pas un résultat en soi ! « Il n’était pas rare que les revues plaident fortement en faveur de sujets intéressants, élégants, concis et irrésistibles, sans doute aux dépens de la rigueur scientifique ». (source)
Conclusion
Alors, toutes les revues scientifiques sont-elles à mettre à la poubelle, et tous les relecteurs sont-ils pourris ? Évidemment non, et je m’en voudrais de suivre le même cheminement intellectuel qu’affectionnent les partisans du GIEC à l‘encontre de leurs contradicteurs. J’ai simplement voulu montrer les failles d’un système en définitive très humain, soumis à des pressions en tous genres, intellectuelles ou financières, auxquelles il est parfois difficile de résister. Comme aurait pu dire Winston Churchill, c’est un mauvais système mais c’est le moins mauvais de tous. Il appartient aux scientifiques eux-mêmes d’apprécier la manière dont-ils pourraient l’améliorer…
Je voulais aussi souligner le fait que publier dans une revue à comité de relecture ne constitue nullement une garantie de qualité ou de bien-fondé de la théorie présentée – combien de ces articles ne se sont-ils pas révélés obsolètes après un temps plus ou moins long –, et a contrario, que les arguments présentés en-dehors de ce système ne sont certainement pas à rejeter sans plus.
—
Sur le web.