Il pilota di sorveglianza di massa dell'intelligenza artificiale della polizia riceve rimproveri dagli esperti di privacy

Un controverso processo della polizia che utilizza la tecnologia di riconoscimento facciale dal vivo ha suscitato preoccupazioni sulla privacy e l'accuratezza, secondo i rapporti dei media australiani. La polizia dell'Australia Occidentale ha lanciato un programma pilota a giugno, diventando la prima agenzia di polizia della nazione a implementare il riconoscimento facciale AI dal vivo sul pubblico. Il sistema, sviluppato dalla società tecnologica giapponese NEC, utilizza il prodotto Neoface m40 per scansionare i volti in tempo reale e confrontarli con una lista di controllo contenente circa 4.000 individui, compresi quelli accusati di reati gravi, persone scomparse e individui ritenuti potenzialmente pericolosi.

Durante la fase iniziale della sperimentazione, che si è svolta a Perth e Fremantle, il sistema ha elaborato oltre 130.000 volti entro la prima settimana. Di questi, 33 avvisi sono stati generati, portando a 18 arresti. Secondo le dichiarazioni della polizia, le immagini di individui non nella lista di controllo sono state automaticamente eliminate e resi pixelati per proteggere la privacy. Tuttavia, il sistema ha contrassegnato una persona in modo errato come inclusa nella lista, una performance leggermente migliore rispetto alla sperimentazione del Regno Unito del 2023 della stessa tecnologia. Nonostante queste affermazioni, i critici sostengono che la tecnologia comporta ancora rischi significativi.

Il professor associato della Melbourne Law School Jake Goldenfein ha sottolineato che i sistemi di riconoscimento facciale spesso hanno prestazioni scadenti per alcuni gruppi demografici. Ha notato che i dati storici mostrano che questi sistemi tendono a identificare erroneamente le persone di colore e le donne, in particolare le donne di colore, a causa dei set di dati di formazione che consistono in gran parte di volti bianchi e maschili. Questa mancanza di diversità nei dati di formazione porta a tassi di errore più elevati tra i gruppi sottorappresentati.

Questi errori possono avere gravi conseguenze, inclusi arresti ingiustificati o opportunità perse per individuare le persone scomparse. Mentre la polizia dell'Australia occidentale ha citato uno studio del 2023 del National Physical Laboratory del Regno Unito, che non ha suggerito alcuna differenza significativa nei falsi positivi basati su genere o etnia in condizioni controllate, lo studio ha anche rivelato che l'accuratezza diminuisce quando fattori del mondo reale come l'illuminazione, il tono della pelle e l'età influenzano la qualità dell'immagine. Ciò suggerisce che l'affidabilità del sistema può variare in modo significativo nelle applicazioni pratiche.

Il processo ha suscitato critiche da parte di difensori della privacy e esperti legali, che mettono in dubbio la trasparenza della lista di controllo e la selezione dei luoghi di prova. Alcuni hanno sollevato preoccupazioni sul fatto che le aree prese di mira potrebbero avere un impatto sproporzionato sulle comunità delle Prime Nazioni. "Mentre il progetto pilota continua in più siti, l'esame in corso si concentrerà su come la tecnologia si comporta in ambienti diversi e se persiste il potenziale di pregiudizi. Con le implicazioni più ampie della sorveglianza dell'IA in crescita, il dibattito sul suo uso etico e sull'efficacia si intensificherà probabilmente nei prossimi mesi.