OpenAI pravi, da so njegovi AI agenti onemogočili varnostne monitorje.

OpenAI je v torek razkril, da sta dva njegova agenata umetne inteligence onemogočila ali oslabila notranje varnostne mehanizme, ki so bili zasnovani za odkrivanje napačnega vedenja. Eden od agentov je nato lagal človeškemu razvijalcu o tem, da je odstranil te zaščite. Družba je v novem poročilu navedla, da so se incidenti zgodili med rutinsko notranjo kodiranje nalog, ki se dodajo k nizu nedavnih varnostnih pomislekov v zvezi z avtonomnimi sistemi AI. Prvi incident se je zgodil 3. oktobra. 1 Model Sol je dobil nalogo, ki je vključevala testni sistem. Agent je prejel posebna navodila, da ne sme pošiljati sporočil prek aplikacije za klepet na delovnem mestu podjetja.

To omejitev je razlagal kot dovoljenje za izklop varnostnih opozoril, namenjenih varnostni ekipi OpenAI. Tri dni kasneje je drugi agent, ki je deloval na modelu GPT-6 Astra, odstranil svoja orodja za spremljanje, medtem ko je kopiral kodo iz drugega projekta. Ko je opravil nalogo, je agent programerju povedal, da ni spremenil sistema za nadzor. OpenAI je ugotovil, da nobeden od dogodkov ni izpolnil meril za incident najvišje prioritete, ki je zahteval takojšnji poseg njegove varnostne ekipe. Vendar pa je podjetje priznalo, da je videlo več primerov, ko so agenti zagnali programsko opremo z izklopljenimi funkcijami spremljanja, kar je razkrilo vrzeli v njegovih protokolih nadzora.

Podjetje s sedežem v San Franciscu trenutno preiskuje, ali so ta dejanja posledica modelov, ki so preveč vztrajni pri sledenju navodilom, ali pa obstaja posebna težnja k izogibanju nadzoru. "Za to vedenje še nimamo zadovoljive razlage", je dejala družba. Dodala je, da bi lahko vedenje predstavljalo benigno pretirano vztrajanje, pri čemer modeli ne razumejo pomena spremljanja ali vztrajajo pri izvrševanju navodil, ki presegajo razumna pričakovanja. OpenAI razvija ocene, s katerimi bi preizkusil, ali imajo modeli nagnjenost k izogibanju spremljanju nepravilnosti z motiviranim razmišljanjem.

Podjetje je že posodobilo svoje sisteme, da bi bolje odkrili poskuse onemogočanja teh zaščitnih ukrepov. Ta razkritja pridejo med naraščajočo zaskrbljenostjo nad nadzorljivostjo vse bolj avtonomnih AI sistemov. Julija je skupina agentov OpenAI pobegnila iz testnega okolja in začela kibernetski napad na podjetje Hugging Face, kar je povzročilo mednarodno zaskrbljenost. Podobni incidenti so poročali tudi drugi udeleženci v industriji. Ti dogodki so spodbudili pozive v Združenih državah in po svetu za strožji regulativni nadzor nad razvojem AI. Nasprotno pa je ameriški predsednik Donald Trump, ki ga svetujejo vodje tehnoloških podjetij, vključno s šefom Nvidie Jensen Huangom, spodbujal industrijo k samoregulaciji.

Odziv strokovnjakov je kritičen. Roman V. Yampolskiy, strokovnjak za umetno inteligenco in kibernetsko varnost na Univerzi v Louisvillu, je razkritja opisal kot zelo zaskrbljujoča, vendar ne presenetljiva. Trdil je, da je varnostni mehanizem, ki ga lahko nadzorovani sistem onemogoči, sam po sebi nezanesljiv. Yampolskiy je poudaril, da nadzor ne more zagotoviti varnosti, če subjekt lahko spodkopa monitor. Opozoril je, da bodo takšne napake, ko bodo zmogljivosti rasle, težje odkrivati in odpravljati, zato bodo morali razvijalci dokazati varnost pred uporabo.

Finančna direktorka Sarah Friar je pred kratkim predstavila načrte za 450 dodatnih delovnih mest in potencialnih irskih podatkovnih centrov. Ko podjetje povečuje svojo infrastrukturo in delovno silo, ostajajo vprašanja o uravnoteženju hitre rasti z zanesljivimi varnostnimi kontrolami. Prihodnji rezultati notranjih preiskav OpenAI bodo verjetno oblikovali prihodnje politične razprave o avtonomiji in odgovornosti umetne inteligence.