Valutazione delle vulnerabilità architettoniche di GPT-5, Claude e Gemini

Una vulnerabilità critica è stata scoperta nell'architettura dei principali modelli di linguaggio di grandi dimensioni, tra cui GPT-5, Claude e Gemini, che consente agli aggressori di estrarre processi di pensiero interni crittografati in forma di testo chiaro.

I moderni sistemi di intelligenza artificiale generano passaggi di ragionamento interni prima di produrre una risposta finale, nota come catena del pensiero. Per proteggere questi calcoli, gli operatori crittografano i monologhi interni e li trasmettono come blocchi di ragionamento crittografati al client. Quando vengono poste domande di follow-up, l'applicazione invia questo blocco al server per mantenere il contesto. Tuttavia, questa pratica ha dimostrato di essere una grande debolezza. I ricercatori hanno scoperto che aziende come OpenAI (ChatGPT), Anthropic con Claude e Google (Gemini) sembrano utilizzare chiavi di crittografia universali per le loro famiglie di modelli.

Ciò significa che un blocco di pensiero crittografato non è legato a un utente specifico, a una sessione o a un particolare modello. Sfruttando questa compatibilità, i ricercatori hanno utilizzato varianti più piccole di questi modelli, come Claude Haiku o derivati GPT più piccoli, come ausili per la decodifica. Hanno inserito un blocco di pensiero crittografato da un modello di punta in una query diretta a un modello meno potente, istruendolo a leggere il contenuto ad alta voce. Il modello più debole ha agito come un oracolo di decodifica inconsapevole, rivelando l'intero processo di pensiero in testo semplice. Secondo lo studio, gli attaccanti possono bypassare completamente le restrizioni dei modelli di livello superiore trasmettendo un blocco di pensiero crittografato.

Il team di ricerca ha dimostrato la praticità della vulnerabilità attraverso l'analisi di dati reali. Esaminando i repository di codice sorgente accessibili al pubblico e i file di registro, hanno trovato un totale di 315.320 blocchi di pensiero crittografati che gli sviluppatori avevano condiviso inavvertitamente. Molti di questi sono stati percepiti come stringhe di caratteri incomprensibili, dando agli utenti un falso senso di sicurezza. La decodifica ha rivelato quantità allarmanti di informazioni sensibili.

Tra le scoperte vi erano 367 identificatori personali, 182 credenziali di accesso, 62 chiavi API, 33 password in testo chiaro e 30 indirizzi e-mail privati. In molti casi, i processi di pensiero nascosti contenevano informazioni ancora più sensibili rispetto alla risposta finale generata dal sistema di IA stesso. L'ambito del problema va oltre l'esposizione delle credenziali di accesso. Attraverso blocchi di pensiero preparati, gli attaccanti potevano anche eseguire iniezioni istantanee nascoste, incorporare codice dannoso in modo invisibile nel contesto dell'IA o clonare le capacità del modello senza autorizzazione. I ricercatori hanno informato in anticipo le aziende interessate delle loro scoperte, consentendo ai fornitori di implementare contromisure iniziali.

Tuttavia, l'incidente evidenzia che finché la crittografia non è strettamente legata a una sessione specifica, la semplice illeggibilità per gli utenti finali non offre alcuna vera protezione.