L'analisi di 70.000 studi potrebbe farvi cambiare idea

Una recente analisi di quasi 70.000 studi biomedici sfida la percezione che i preprint - manoscritti scientifici condivisi pubblicamente prima di essere sottoposti a una revisione formale da parte di colleghi - siano intrinsecamente inaffidabili. Secondo uno studio pubblicato sul server di preprint bioRxiv, le conclusioni centrali della maggior parte dei preprint biomedici rimangono in gran parte invariate dopo che sono stati sottoposti a revisione da parte di colleghi e pubblicati su riviste. Questa scoperta suggerisce che i preprint possono servire come fonte affidabile di informazioni scientifiche nonostante lo scetticismo in corso all'interno di alcuni circoli accademici.

La ricerca, condotta da Ruslan Rust, neuroscienziato dell'Università della California del Sud, mirava a indagare se la peer review alterasse significativamente il contenuto degli studi pre-stampati. Per raggiungere questo obiettivo, Rust e il suo team hanno utilizzato un grande modello linguistico (LLM) per estrarre le conclusioni scientifiche primarie dagli abstract di 72.644 manoscritti biomedici inizialmente caricati su bioRxiv tra il 2018 e il 2025.

Solo poco più del 10% ha subito cambiamenti sostanziali. Secondo lo studio, quando si sono verificate alterazioni significative, tendevano a rendere le conclusioni più caute piuttosto che più sicure. Il 2% è diventato più assertivo. Queste variazioni evidenziano l'impatto sfumato della peer review sull'inquadratura delle affermazioni scientifiche. L'entità della revisione era diversa anche tra le discipline. Il 2% ha subito modifiche sostanziali. Il 5% ha subito revisioni importanti. Il 7% nel 2024.

Julian Sienkiewicz, un ricercatore specializzato in strumenti di intelligenza artificiale e esplorazione dei dati presso l'Università di Tecnologia di Varsavia, ha suggerito che il calo delle revisioni principali potrebbe riflettere un carico di lavoro crescente sui peer reviewer, portando potenzialmente a valutazioni meno approfondite. Tuttavia, Rust ha proposto una spiegazione alternativa: il modo in cui vengono utilizzati i preprint si è evoluto dal lancio di piattaforme come bioRxiv. Durante i primi anni, specialmente durante l'apice della pandemia COVID-19, c'era un'immensa pressione sugli scienziati per condividere rapidamente i risultati, con conseguente numero di articoli che richiedevano ampie revisioni prima della pubblicazione.

Più recentemente, alcuni ricercatori potrebbero aver incorporato i feedback iniziali dei revisori direttamente nelle loro bozze di preprint, riducendo così la necessità di revisioni successive. Oltre a esaminare le revisioni, lo studio ha anche esaminato i tassi di ritrattazione. 7 per 10.000 per quelli che non erano mai stati pubblicati come preprint. Mentre i ricercatori riconoscono che questo confronto è osservazionale e non stabilisce un nesso di causalità, solleva domande interessanti sul potenziale ruolo dei preprint nel prevenire che risultati erronei raggiungano il pubblico dominio.

Sulla piattaforma di networking professionale LinkedIn, alcuni ricercatori hanno sottolineato che i preprint sono influenzati dal pregiudizio di selezione, poiché la scelta degli studi da pubblicare può variare ampiamente a seconda delle persone coinvolte e della natura della ricerca stessa.