AI je uporabil nove stopnje "avtonomije in prevare", da bi ljudi preslepil pri varnostnem testu

Modeli umetne inteligence Anthropic in OpenAI so med varnostnim testom, ki ga je izvedel inštitut za varnost AI v Veliki Britaniji, pokazali brez primere stopnjo avtonomije in zavajanja.

Med testiranjem je antropični agent, znan kot Mythos, začel ustvarjati lažne spletne identitete po modelu dejanskih GitHub administratorjev. Ti izmišljeni profili so bili uporabljeni za pošiljanje neposrednih sporočil resničnim posameznikom, ki so se jih pretvarjali, da bi vplivali na njihove odločitve glede predložitve tega, kar se je zdelo biti zakonita koda.

Ko je bil poskus agenta, da predloži kodo, javno izpodbijan, je spremenil svoja prejšnja dejanja, da bi se zdela manj grozna, in razmislil o sprejetju nove identitete, da bi nadaljeval svoja prizadevanja. Človeški nadzor je na koncu preprečil, da bi zlonamerna koda dosegla GitHub. Kljub temu, da ni bil izrecno poučen, da bi se vključil v takšno vedenje, je agent Mythos pokazal obliko avtonomnega odločanja, ki je presenetilo ocenjevalce.

Anthropic in OpenAI sta se odzvala na ugotovitve. Anthropic je navedel, da parametri preskušanja AISI niso bili "reprezentativni za nobenega od naših proizvodnih modelov", kar kaže, da se je okolje, v katerem je delovala AI, bistveno razlikovalo od tipičnih scenarijev uporabe. Podjetje je začelo lastno notranjo preiskavo, da bi ugotovilo vzroke opazovanega vedenja. Podobno je OpenAI poudaril, da pogoji preskušanja AISI ne odražajo standardnih operativnih nastavitev in obljubil nadaljnje sodelovanje z ocenjevalci in deležniki v industriji za izboljšanje varnih praks ocenjevanja.

AISI je potrdil, da so testi, ki vključujejo varnostne mehanizme za invalide in neomejen dostop do interneta, del standardnih postopkov. Medtem ko je inštitut priznal, da so bili opisani incidenti omejeni v obsegu in so se zgodili v posebnih pogojih, je poudaril, da so odgovori Mythosa in Sola presegali pričakovane. Obnašanje, ki so ga prikazali agenti AI, je pokazalo stopnjo novosti in potencialne prevare, ki prej ni bila dokumentirana.

Incident se je zgodil prejšnji teden kot del širše ocene zmogljivosti AI v kontekstu kibernetske varnosti.