L'industrie mondiale de l'IA manque de sécurité, prévient un groupe de réflexion

Le rapport, publié mardi, évalue les pratiques de sécurité de neuf grandes sociétés d'IA et conclut qu'aucune d'entre elles ne répond à des normes élevées pour faire face aux menaces existentielles potentielles posées par les systèmes d'IA avancés.

Selon le rapport, le processus d'évaluation a impliqué sept chercheurs et experts en gouvernance qui ont évalué les entreprises en fonction de six catégories: évaluation des risques, dommages actuels, cadres de sécurité, sécurité existentielle, gouvernance et responsabilité et partage d'informations. Chaque entreprise a été classée selon ces critères en utilisant des données publiquement disponibles et des réponses aux demandes du groupe de réflexion.

Mistral, un nouvel entrant dans la liste, a exprimé son désaccord avec la méthodologie utilisée dans le rapport, affirmant que son approche pour développer des modèles d'IA open-source ne s'aligne pas bien avec le cadre d'évaluation. Contrairement à de nombreux de ses concurrents, Mistral permet aux utilisateurs de télécharger et de modifier ses modèles d'IA librement, tandis que des entreprises comme Anthropic, OpenAI et Google DeepMind développent des modèles fermés qui ne sont pas accessibles au public.

Max Tegmark, professeur au MIT et président du Future of Life Institute, a exprimé sa déception face au faible classement de Mistral, notant que les pays européens ont été des leaders en matière de sécurité de l'IA. Il a souligné que l'institut avait fait plusieurs tentatives de contacter Mistral pour obtenir des commentaires mais n'avait reçu aucune réponse. De même, Alibaba, xAI et DeepSeek étaient également inaccessibles pendant la période de l'enquête. ai ont produit des modèles ouverts et se sont toujours retrouvés dans la moitié inférieure du classement. Le rapport a également soulevé des inquiétudes concernant l'inversion des politiques de certaines entreprises concernant l'utilisation de l'IA dans les applications militaires.

Anthropic, par exemple, a été critiqué pour s'être engagé dans des collaborations militaires douteuses bien qu'il ait déjà interdit de telles utilisations. Le gouvernement américain a utilisé la technologie d'Anthropic dans des opérations militaires au Venezuela et en Iran au cours de la dernière année. Cependant, le Pentagone a récemment imposé une interdiction d'Anthropic en raison de désaccords sur les protocoles de sécurité de l'IA.

Le Future of Life Institute a souligné que les neuf sociétés évaluées n'ont pas réussi à gérer adéquatement les risques existentiels associés à la poursuite de l'intelligence artificielle générale (IAG) - un niveau d'IA capable d'effectuer n'importe quelle tâche intellectuelle qu'un humain peut. Bien qu'il y ait des efforts constructifs au sein de l'industrie, le rapport a conclu que ces initiatives restent totalement insuffisantes pour atténuer les dangers potentiels posés par les systèmes d'IA hautement avancés.

Ces préoccupations sont devenues plus pressantes alors que les entreprises continuent de repousser les limites des capacités de l'IA. Par exemple, Anthropic a récemment dévoilé son modèle le plus puissant à ce jour, nommé Mythos, qui était initialement restreint à un groupe restreint d'organisations de confiance en raison de son potentiel d'exposer des vulnérabilités de cybersécurité. Le gouvernement américain est intervenu en juin, bloquant la publication de Mythos à des entités étrangères pour des raisons de sécurité nationale. L'interdiction a ensuite été levée par l'administration Trump, permettant à Anthropic de poursuivre le développement et la distribution du modèle.

Alors que le débat sur la sécurité de l'IA continue de prendre de l'ampleur, le rapport souligne le besoin urgent d'une collaboration plus étroite entre les gouvernements, les entités du secteur privé et les institutions de recherche pour établir des garanties solides contre les menaces émergentes.