When AI surveys replace real people

„Höchst fahrlässig“

Der Boom rund um künstliche Intelligenz (KI) hat nun auch die Meinungsforschung erreicht. Mit Hilfe von synthetischen Stichproben, also KI-generierten Antworten auf Umfragen, sollen ansonsten schwer zu erreichende Gruppen besser abgebildet werden. Doch Fachleute sehen darin derzeit „höchst fahrlässige Quacksalberei“.

Online seit heute, 6.08 Uhr

Im Fachjargon ist es als „Silicon Sampling“ bzw. „Synthetic Sampling“ (dt.: synthetische Stichprobe) bekannt: Für Befragungen werde keine Telefoninterviews oder Onlineumfragen mit echten Menschen durchgeführt, sondern stattdessen übernimmt ein KI-Modell die Rolle von Umfrageteilnehmerinnen und -teilnehmern und simuliert Antworten von Menschen.

Denn Telefonbefragungen werden zunehmend unbeliebter, und Onlineumfragen gelten – erst recht in Zeiten von KI und Bots – in kleiner Menge als zu unsicher. Die großen Sprachmodelle (LLMs) können Daten erzeugen, die menschliche Antworten nachahmen und eröffnen damit Umfrageunternehmen die Möglichkeit, zu einem Bruchteil der Kosten und Zeit, die für traditionelle Umfragen notwendig sind, Datenmaterial zu generieren.

Technisch einfache Methode

„Die Grundmethode ist eigentlich recht simpel“, erklärt Stefan Szeider, Informatikprofessor an der Technischen Universität (TU) Wien und Leiter der Forschungsgruppe Algorithms and Complexity und des Vienna Center for Logic and Algorithms, im Gespräch mit ORF.at.

Dem Sprachmodell werden verschiedene Personen durch möglichst detaillierte Beschreibungen vorgegeben. Basierend auf den Daten, auf die das KI-Modell zurückgreift, kann es dann Fragen zu den Einstellungen der beschriebenen Personengruppen beantworten. „Man gibt dem Sprachmodell vor ‚Du bist eine 25-jährige Studentin in Wien und fährst Rad. Welche Partei würdest du bei der nächsten Wahl wählen?‘“, nennt der KI-Experte als Beispiel.

Rein technisch ist es im Prinzip möglich mit großen KI-Sprachmodellen künstliche Umfragedaten zu generieren

„Im Prinzip kann die Technologie das leisten, aber der Teufel steckt im Detail“, räumt Szeider ein. Je mehr Informationen in den Trainingsdaten des Sprachmodells zu den abgefragten Personengruppen hinterlegt seien, desto treffsicherer würden die Antworten.

„Die Schwierigkeit ist aber, dass die Trainingsdaten nicht in gleicher Weise von allen Bevölkerungsgruppen vorhanden sind.“ So sei etwa die Mehrheit des Inhalts im Internet von Männern geschrieben. Zudem zeige der bisherige Forschungsstand zu synthetischen Stichproben, dass sie stärker zu polarisierten Ergebnissen führen als herkömmliche Umfragen.

„Keine echte Wissenschaft“

Als „Humbug“ bezeichnet Christoph Hofinger, Geschäftsführer des Wahlforschungsinstituts Foresight, gegenüber ORF.at die synthetischen Stichproben. „Nach jetzigem Forschungsstand ist das Quacksalberei, und es wäre höchst fahrlässig, die Methode anzuwenden.“ Zwar schließt der Politikforscher nicht aus, dass synthetische Stichproben „in einigen Jahren als ergänzende Methode eingebaut werden“. Nach derzeitigem Stand sei es aber „keine echte Wissenschaft“.

Sendungshinweis

Um 19.05 widmet sich Ö1-Matrix ebenfalls dem Thema synthetische Stichproben und deren Auswirkungen auf die Meinungsforschung.

Denn die KI-Modelle bilden nur die Vergangenheit ab, nicht etwa Änderungen in den Einstellungen, der Art, wie Menschen Dinge ausdrücken, und des Sagbaren. Zudem sind Zusammenhänge in den synthetischen Stichproben zu schwach, um aussagekräftig zu sein.

Synthetisches Sampling erzeugt keine neuen Daten, es ist eine Vorhersage, was eine Umfrage – nach bisherigem Stand der Dinge – sagen würde. Komme es zu neuen Ereignissen, die die Meinungen und Einstellungen bestimmter Bevölkerungsgruppen ändern, könne der Meinungswechsel nur durch echte Umfragen abgebildet werden, so Hofinger.

Herkömmliche Umfragen bieten deutlich treffsichere Antworten als künstlich generierte Daten

Ähnlich sieht das auch Jakob-Moritz Eberl, Demokratieforscher am Institut für Publizistik und Kommunikationswissenschaft der Universität Wien: „Ausgerechnet in jenen Moment, in denen Meinungsforschung besonders wichtig ist – bei Dynamik, Unsicherheit und Wandel –, sind synthetische Antworten besonders nutzlos.“

Im europäischen Kontext habe das Team um Leah von der Heyde synthetisches Sampling sowohl für die letzte deutsche Bundestagswahl als auch für die Europawahlen 2024 ausprobiert – mit ernüchternden Ergebnissen. „In beiden Fällen haben die Vorhersagen versagt“, so der Demokratieforscher.

Repräsentationsproblem nur verschärft

Synthetische Stichproben sind nicht nur verlockend, weil sie deutlich günstiger und schneller Daten generieren als Umfragen mit Menschen. Die große Hoffnung ist, auch traditionell unterrepräsentierte und schwer erreichbare Gruppen, also etwa demokratiekritische Personen oder Menschen mit niedrigerem Bildungsstand, besser abzubilden.

„Allein die Vorstellung davon ist absurd“, so Demokratieforscher Eberl. „Schwer erreichbare Gruppen werden nicht besser repräsentiert, indem man aufhört,…