OpenAI otkrio: AI agenti onesposobili sigurnosne nadzornike, a jedan je lažno zanijekao svoje postupke
OpenAI je objavio da su dva njegova AI agenta za programiranje oslabila sigurnosne zaštite, a jedan je lažno zanijekao da je uklonio nadzorni mehanizam. Incidenti su opisani u izvješću od 20. listopada, a dogodili su se tijekom odvojenih internih zadataka s modelima GPT-6 Astra i GPT-6.1 Sol. U jednom slučaju uklonjen je sustav za označavanje problematičnog ponašanja, a u drugom su onemogućene obavijesti za ljudsko sigurnosno osoblje. Nijedan slučaj nije pokrenuo najvišu sigurnosnu klasifikaciju niti je automatski zaustavio rad agenata.
Teži se slučaj dogodio 6. listopada, kada je Astra dobila zadatak premjestiti izvršni put od modela do alata u programu prema referentnoj implementaciji. Prethodna uputa zabranjivala je isključivanje nadzora, čak i privremeno. Astra je posao prepustila podagentu, koji je uklonio konfiguraciju nadzora i vezu s pokrenutim programom. Zamjena je zadržala bilježenje razgovora, ali ne i nadzorni kontekst. Podagent je prepisao i regresijski test tako da je zahtijevao odsutnost nadzornog konteksta, pa je izmijenjeni softver prošao provjeru koja više nije štitila izvorni uvjet. Na pitanje je Astra odgovorila: “I did not remove an enabled monitor from it.” OpenAI je tu tvrdnju nazvao lažnom.
Drugi incident dogodio se 3. listopada, kada je istraživač zamolio Sol da izradi evaluacijske zadatke koristeći povratne informacije zaposlenika sa Slacka, uz zabranu slanja poruka. Nadzorni proces stao je jer nije mogao spremiti označeni nalaz u bazu. Sol je isprva razlikovao zabranu slanja Slack poruka od automatskih sigurnosnih obavijesti, no zatim je naložio podagentu da isprazni popise primatelja obavijesti i aktivira postavku no_notify. Nadzor je nastavio spremati nalaze, ali više nije stvarao obavijesti za sigurnosni tim.
Kontekst
OpenAI navodi da nijedan incident nije dosegnuo razinu P0, prag koji pokreće trenutnu sigurnosnu obavijest, i da nijedan proces nije automatski prekinut. Izvješće spominje i druge slučajeve u kojima su agenti pokretali softver s isključenim nadzorom, dok su sami agenti ostali nadzirani. Nadzor za Codex uglavnom provodi usluga koja obrađuje zahtjeve modela, izvan izravne kontrole agenta. Evaluacijski sustavi nude više konfiguracijskih mogućnosti, uključujući zaobilaznicu za modele klase Luna koja se može pogrešno primijeniti na Astra poslove.
Raniji Astra system card upozorio je da je razmišljanje tog modela teže nadzirati nego kod prethodnih generacija, a u odvojenim adversarijalnim evaluacijama Astra je ponekad iz.