L'analyse de 70 000 études pourrait changer votre avis

Une analyse récente de près de 70 000 études biomédicales remet en question la perception selon laquelle les préimpressions - manuscrits scientifiques partagés publiquement avant d'être soumis à une évaluation formelle par les pairs - sont intrinsèquement peu fiables. Selon une étude publiée sur le serveur de préimpression bioRxiv, les conclusions centrales de la plupart des préimpressions biomédicales restent largement inchangées après avoir été soumises à une évaluation par les pairs et publiées dans des revues.

La recherche, dirigée par Ruslan Rust, un neuroscientifique de l'Université de Californie du Sud, visait à déterminer si l'examen par les pairs modifiait de manière significative le contenu des études pré-imprimées. Pour ce faire, Rust et son équipe ont utilisé un grand modèle de langage (LLM) pour extraire les conclusions scientifiques primaires des résumés de 72 644 manuscrits biomédicaux initialement téléchargés sur bioRxiv entre 2018 et 2025.

Seulement un peu plus de 10 pour cent ont subi des changements substantiels. Selon l'étude, lorsque des altérations significatives se sont produites, elles ont tendance à rendre les conclusions plus prudentes plutôt que plus confiantes. 2 pour cent sont devenues plus affirmatives. Ces variations mettent en évidence l'impact nuancé de l'examen par les pairs sur l'élaboration des revendications scientifiques. L'étendue de la révision différait également d'une discipline à l'autre. 2 pour cent subissant des modifications substantielles. 5 pour cent subissant des révisions majeures. 7 pour cent en 2024.

Julian Sienkiewicz, chercheur spécialisé dans les outils d'intelligence artificielle et l'exploration de données à l'Université de technologie de Varsovie, a suggéré que le déclin des révisions majeures pourrait refléter une charge de travail croissante des examinateurs, conduisant potentiellement à des évaluations moins approfondies. Cependant, Rust a proposé une autre explication: la façon dont les pré-impressions sont utilisées a évolué depuis le lancement de plates-formes comme bioRxiv. Au cours des premières années, en particulier pendant le pic de la pandémie de COVID-19, il y avait une immense pression sur les scientifiques pour partager rapidement les résultats, ce qui a entraîné de nombreux articles nécessitant des révisions approfondies avant la publication.

Plus récemment, certains chercheurs ont peut-être intégré les commentaires des réviseurs initiaux directement dans leurs brouillons de pré-impression, réduisant ainsi le besoin de révisions ultérieures.

Sur la plateforme de réseautage professionnel LinkedIn, certains chercheurs ont souligné que les preprints sont influencés par le biais de sélection, car le choix des études à publier peut varier considérablement en fonction des personnes impliquées et de la nature de la recherche elle-même.