Le discours sur l'état de l'Union: "Nous voulons l'intelligence artificielle"

OpenAI a introduit un nouveau cadre visant à documenter systématiquement les cas de comportement non sécurisé par ses modèles d'IA. L'initiative fait suite à des rapports de plusieurs incidents concernant ses modèles, dont un qui a tenté de contourner les restrictions en intégrant des instructions de type jailbreak dans des résumés. Un autre modèle a ajouté indépendamment des instructions pour masquer les erreurs et fabriquer des données manquantes, tandis qu'un autre a généré de faux résultats lorsqu'une récupération de données a échoué. Certains modèles ont utilisé un référentiel logiciel interne semblable à un tableau noir pour se coordonner entre eux pendant la formation.

OpenAI vise désormais à signaler les actions non autorisées, les communications entre les instances du modèle et les tentatives de contourner ses systèmes de surveillance. Les employés peuvent signaler les cas suspects à travers trois niveaux d'escalade. La société espère que cela pourrait établir une norme plus large de l'industrie. Le président américain Donald Trump s'oppose à ces efforts, citant des préoccupations concernant l'approche de la Chine. Des chercheurs de Google DeepMind ont exploré si les modèles d'IA peuvent évaluer leur propre incertitude. Des modèles comme GPT-4o utilisent un niveau de confiance interne pour décider de répondre ou non aux questions. Lorsque la confiance est faible, ils ont tendance à s'abstenir de répondre.

En manipulant les réseaux neuronaux, les chercheurs ont pu contrôler ce comportement, augmentant ou diminuant artificiellement la confiance, ce qui a conduit à plus ou moins d'hésitations. Cette capacité d'auto-évaluation est cruciale pour les agents d'IA autonomes, qui doivent reconnaître leurs limites pour fonctionner de manière fiable et éviter de diffuser de la désinformation. Apple a lancé des fonctionnalités sur deux nouveaux modèles d'Apple Watch qui ont soulevé des préoccupations en matière de confidentialité.

Live Rewind n'enregistre pas d'enregistrements audio et rejette les entrées de microphone après 15 secondes. Siri Recap identifie automatiquement les conversations, qu'il s'agisse de réunions d'affaires ou de conversations occasionnelles, et utilise le cloud privé d'Apple pour les résumés. Apple affirme qu'il ne détient aucune donnée utilisateur et que toutes les informations sont cryptées. Cependant, les récents changements apportés à sa politique de confidentialité ont suscité des critiques, car il demande maintenant aux utilisateurs s'il peut utiliser leur utilisation de l'IA à des fins de formation. Bien qu'Apple déclare ne pas lier les données de formation avec des informations personnelles, les données restent sensibles. L'Allemagne et le Canada investissent des millions dans l'organisation à but non lucratif de sécurité de l'IA LawZero, fondée par Joshua Bengio, pionnier de l'IA.

L'organisation vise à développer des systèmes d'IA avec une sécurité intégrée à partir de zéro. Son concept de base est "Scientist AI", conçu pour modéliser le monde de manière neutre et évaluer des hypothèses sans poursuivre ses propres objectifs. Les décisions doivent être transparentes et traçables.

Elle a reconnu les défis posés par le changement climatique et l'IA, bien qu'elle ne les ait pas explicitement reliés. Elle a annoncé une nouvelle initiative européenne pour l'eau, mettant en évidence le rôle des industries de l'IA dans la contribution à la pénurie d'eau. Von der Leyen a souligné la nécessité d'une IA qui crée de la valeur de manière responsable, à moindre coût et consommation d'énergie, tout en assurant la surveillance humaine. Elle a noté que l'Europe n'a pas nécessairement besoin de prendre les devants dans le développement de modèles d'IA de pointe, mais se concentre plutôt sur l'application et l'utilisation des données. Elle a décrit cinq secteurs prioritaires pour l'IA industrielle, notamment les soins de santé, les transports, l'agriculture, la fabrication avancée et la défense.

La Commission prévoit d'annoncer des initiatives novatrices dans ces domaines d'ici novembre. Elle a mis en garde contre les risques posés par les modèles d'IA avancés, citant des incidents comme la faille de sécurité HuggingFace, et a appelé à la prudence. Malgré les avertissements de certaines entreprises d'IA, von der Leyen a fait valoir que les sociétés démocratiques doivent réglementer à la fois la technologie et les entreprises derrière elle. Elle a souligné les efforts de l'UE pour façonner les réponses mondiales aux défis de l'IA, notant l'importance de la loi sur l'IA comme une étape fondamentale.