L'IA peut prédire votre réponse à un sondage, mais ce n'est pas la même chose que de vous comprendre.

Les systèmes d'intelligence artificielle, en particulier les grands modèles de langage (LLM), ont démontré une capacité impressionnante à prédire comment les individus pourraient répondre à des enquêtes et à d'autres formes d'interrogatoire.

Cependant, l'étude soulève également d'importantes préoccupations quant aux limites de l'utilisation de l'IA pour comprendre les comportements humains complexes. Dans l'étude, Ashokkumar et son équipe ont compilé des données provenant d'environ 70 expériences existantes menées aux États-Unis, qui ont impliqué collectivement près de 120 000 participants. Ils ont ensuite utilisé GPT-4 pour analyser des scénarios hypothétiques, fournissant au modèle des descriptions détaillées des répondants potentiels ainsi que des messages expérimentaux spécifiques et des questions d'enquête. L'IA avait pour tâche de prédire comment ces individus réagiraient dans diverses conditions. En comparant les prédictions de l'IA avec les résultats réels, les chercheurs ont trouvé une corrélation notable.

Le modèle a été en mesure de différencier les interventions qui avaient des niveaux d'efficacité variables, indiquant que les LLM pourraient effectivement capturer des modèles de comportement significatifs dans le cadre des expériences d'enquête américaines basées sur le texte. Malgré ces résultats prometteurs, l'étude souligne que l'exactitude prédictive n'est pas équivalente à une véritable compréhension. Des chercheurs tels que Lisa Messeri et Molly J. Crockett mettent en garde contre l'hypothèse que les systèmes d'IA offrent des informations plus approfondies simplement parce que leurs résultats semblent logiques ou utiles. Une IA peut produire des explications ou des prévisions convaincantes, mais celles-ci peuvent provenir d'une reconnaissance avancée des modèles plutôt que d'une véritable compréhension des mécanismes comportementaux sous-jacents.

Par exemple, l'étude a révélé que si GPT-4 excellait dans l'estimation de l'impact relatif de différentes interventions, ses tailles d'effet prévues étaient constamment environ le double des effets observés réels.

Ces investigations initiales aident à affiner les interventions et à évaluer si les effets anticipés sont suffisamment robustes pour justifier une exploration plus approfondie. Dans ce contexte, les prévisions générées par LLM pourraient servir d'outil supplémentaire. Par exemple, les chercheurs pourraient simuler la façon dont divers groupes démographiques réagiraient aux différentes versions d'un message de vaccination, d'une initiative sur le lieu de travail ou d'une proposition de politique. L'étude a noté que l'intégration des prévisions de l'IA avec des prévisions humaines donnait une plus grande précision que de s'appuyer uniquement sur l'une ou l'autre méthode.

Ainsi, l'avenir le plus bénéfique ne réside peut-être pas dans le remplacement des chercheurs ou des sujets humains par l'IA, mais dans l'utilisation de l'IA pour guider efficacement l'allocation de ressources humaines limitées. Le concept de "répondants synthétiques" ou "échantillonnage au silicium" va au-delà de la curiosité académique et dans des domaines pratiques tels que les sondages, les études de marché et les consultations publiques. Les partisans soutiennent que ces méthodes offrent des alternatives plus rapides et plus rentables pour tester les idées. Cependant, les détracteurs soulèvent des inquiétudes valables concernant l'érosion potentielle de la confiance si les réponses simulées sont confondues avec le sentiment public authentique.

Par exemple, une personnalité politique envisageant la réaction du public à une nouvelle politique fiscale, ou une société évaluant la réponse des consommateurs à une stratégie marketing, pourrait s'appuyer sur des idées générées par l'IA pour obtenir des réponses rapides.

Bien que les outils d'IA puissent améliorer l'efficacité et fournir des informations préliminaires précieuses, ils ne doivent pas remplacer la compréhension nuancée dérivée d'un engagement direct avec des sujets humains. L'étude rappelle que si l'IA peut prédire les réponses, elle ne peut pas reproduire pleinement la profondeur de l'expérience humaine et la complexité inhérente à la dynamique sociale. Les développements futurs devraient se concentrer sur la création de cadres qui garantissent que l'IA complète plutôt que de suppléter les pratiques de recherche traditionnelles, maintenant ainsi à la fois la rigueur scientifique et la confiance de la société.