L'IA dans la gestion de la migration: "Il s'agit de prendre des décisions sur des vies humaines"

Le gouvernement fédéral allemand est parvenu à un accord sur un projet de loi visant à intégrer l'intelligence artificielle dans son administration de la migration, une mesure qui, selon les critiques, pourrait avoir de profondes implications pour les droits de l'homme et la confidentialité des données.

Selon le projet, les autorités chargées de ces questions seraient autorisées à utiliser des données personnelles pour former et tester des systèmes d'IA, mettre en œuvre un suivi automatisé des processus et vérifier les informations des demandeurs avec des sources en ligne. La loi introduit trois changements clés. Premièrement, il permet aux agences liées à l'immigration d'utiliser des données personnelles pour développer et tester des outils d'IA. Deuxièmement, il permet la création de mécanismes de "surveillance automatisée des processus", des systèmes conçus pour détecter des modèles indiquant si certains groupes de demandeurs sont rejetés de manière disproportionnée en fonction de caractéristiques similaires.

Troisièmement, il accorde à l'Office fédéral pour les migrations et les réfugiés (BAMF) et aux bureaux locaux des affaires étrangères le droit de vérifier automatiquement les déclarations des demandeurs par rapport aux sources Internet en cas de doute. Par rapport aux projets précédents, la version révisée comprend des amendements mineurs, tels que l'interdiction explicite de l'utilisation de données biométriques dans les contrôles automatisés effectués par le BAMF et les autorités locales. Cependant, ce changement ne répond pas pleinement aux préoccupations soulevées par les groupes de défense des droits et les ombudsmen fédéraux. Par exemple, Ferda Ataman, commissaire fédéral allemand à l'anti-discrimination, a exprimé des réserves claires lors des discussions sur le projet de loi.

Ataman a appelé à des rapports annuels de transparence détaillant les systèmes d'IA en cours de développement et de déploiement. De même, plusieurs organisations, dont AlgorithmWatch, ont exprimé des inquiétudes quant à l'adéquation des garanties contre la discrimination. Nora Oppermann, représentante d'AlgorithmWatch, a mis en garde contre l'exposition des individus à des systèmes d'IA immatures et l'utilisation de leurs circonstances de vie pour la recherche manquant de preuves empiriques.

Pro Asyl, un important groupe de défense des droits, a déclaré dans son document de position que les dispositions relatives à la traçabilité du système, à la protection des données personnelles sensibles et à la prévention des décisions discriminatoires étaient insuffisantes.

Louisa Specht-Riemenschneider, la commissaire fédérale à la protection des données et à la liberté d'information (BfDI), a également appelé à des révisions du projet. org que, bien qu'ils reconnaissent les gains d'efficacité potentiels de l'utilisation de l'IA dans les processus administratifs, ces avantages ne doivent pas se faire au détriment des principes constitutionnels. Le BfDI a souligné la nécessité de réglementations plus claires spécifiant quelles données peuvent être utilisées dans le développement et le déploiement des systèmes d'IA.