Eine Analyse von 70.000 Studien könnte Ihre Meinung ändern

Eine aktuelle Analyse von fast 70.000 biomedizinischen Studien stellt die Wahrnehmung in Frage, dass Preprints - wissenschaftliche Manuskripte, die vor der formalen Peer-Review öffentlich geteilt werden - von Natur aus unzuverlässig sind. Laut einer Studie, die auf dem Preprint-Server bioRxiv veröffentlicht wurde, bleiben die zentralen Schlussfolgerungen der meisten biomedizinischen Preprints nach der Peer-Review weitgehend unverändert. Diese Erkenntnis legt nahe, dass Preprints trotz der anhaltenden Skepsis in bestimmten akademischen Kreisen als zuverlässige Quelle wissenschaftlicher Informationen dienen können.

Die von Ruslan Rust, einem Neurowissenschaftler an der University of Southern California, geleitete Forschung zielte darauf ab, zu untersuchen, ob Peer-Review den Inhalt von vorgedruckten Studien signifikant verändert. Um dies zu erreichen, setzten Rust und sein Team ein großes Sprachmodell (LLM) ein, um die primären wissenschaftlichen Schlussfolgerungen aus den Abstracts von 72.644 biomedizinischen Manuskripten zu extrahieren, die zwischen 2018 und 2025 zunächst auf bioRxiv hochgeladen wurden. Das LLM bewertete dann den Grad der Veränderung zwischen den Preprint-Abstracts und ihren endgültigen peer-reviewed-Versionen. 9 Prozent behielten ihre Hauptschlussfolgerungen unverändert, während weitere 50 Prozent nur geringfügige Revisionen erlebten.

Nur etwas mehr als 10 Prozent erlebten wesentliche Veränderungen. Gemäß der Studie tendierten sie dazu, die Schlussfolgerungen vorsichtiger zu machen, anstatt zuversichtlicher zu sein. 2 Prozent wurden assertiver. Diese Variationen unterstreichen die nuancierte Wirkung der Peer-Review auf die Gestaltung wissenschaftlicher Behauptungen. Das Ausmaß der Revision unterschied sich auch in den Disziplinen. 2 Prozent erlebten wesentliche Modifikationen. 5 Prozent erlebten größere Revisionen. 7 Prozent im Jahr 2024.

Julian Sienkiewicz, ein Forscher, der sich auf Werkzeuge für künstliche Intelligenz und Datenexploration an der Warschauer Technischen Universität spezialisiert hat, schlug vor, dass der Rückgang der größeren Revisionen eine zunehmende Arbeitsbelastung von Peer-Reviewern widerspiegeln könnte, was möglicherweise zu weniger gründlichen Bewertungen führt.

In jüngerer Zeit haben einige Forscher möglicherweise das Feedback der ersten Rezensenten direkt in ihre Preprint-Entwürfe integriert, wodurch die Notwendigkeit späterer Revisionen verringert wurde.

Auf der professionellen Netzwerkplattform LinkedIn wiesen einige Forscher darauf hin, dass Preprints von Auswahlverzerrungen beeinflusst werden, da die Wahl der zu veröffentlichenden Studien stark von den beteiligten Personen und der Art der Forschung selbst abhängen kann. Trotz dieser Bedenken liefert die Studie überzeugende Beweise dafür, dass Preprints im Allgemeinen nach Peer-Review stabil und resistent gegen große Änderungen sind und eine wertvolle Ressource für die wissenschaftliche Gemeinschaft bieten.