Evo kako predvidjeti kada će AI chatbotovi krenuti po zlu

Fizičari sa Sveučilišta George Washington, Neil Johnson i Frank Yingjie Huo, objavili su formulu koja procjenjuje koliko dobrih odgovora AI chatbot daje prije nego što prijeđe na loš. Rad je objavljen u časopisu Patterns i nadograđuje preprint prvi put objavljen u veljači. U preprintu je formula točno predvidjela hoće li model skrenuti odmah ili nakon odgode u 15 od 16 jasnih slučajeva.

Chatboti mogu dugo odgovarati smisleno, a zatim skrenuti u štetno, poput lošeg savjeta o samoozljeđivanju ili ekstremističkog govora. Nema jednostavnog načina predvidjeti taj skret. Autori tvrde da postojeći sigurnosni alati često ovise o vezi s oblakom koju offline modeli nemaju. Problem vežu uz attention head, dio modela koji odlučuje koje su prethodne riječi najvažnije pri odabiru sljedeće. Kako razgovor raste, nakupni kontekst vuče pažnju prema jednom klasteru mogućih odgovora dok ne prevagne. To je obrazac koji iskorištavaju mnogi jailbreakeri i jedan od razloga zašto tvrtke paze na sistemske promptove. No nitko ne može točno odrediti koliko je truda potrebno da se model oslabi.

Kontekst

Formula procjenjuje točku preokreta n kao broj dobrih tokena — fragmenata riječi koje model proizvodi jedan po jedan — prije prvog lošeg. Ako razgovor već naginje lošoj strani, model skrene odmah, s n=0. Ako naginje dobroj, daje niz dobrih odgovora pa se preokrene. Open-weight modeli su AI sustavi čije su datoteke javne pa ih svatko može preuzeti i pokrenuti. Parametri su podesivi brojevi unutar modela i gruba mjera njegove veličine. On-device AI radi potpuno na telefonu ili prijenosnom računalu bez internetske veze, uključujući chatbotske suputnike s kojima se razgovara kao s prijateljem. Alignment training je proces učenja modela da se ponaša.

Tokeni su fragmenti riječi, a prozor od 300 tokena znači nekoliko kratkih odlomaka teksta.

Ključne brojke

Formula je u preprintu pogodila točan slučaj, odmah ili odgođeno, u 15 od 16 jasnih testova, odnosno 94%. Testovi su provedeni na šest open-weight modela od OpenAI, EleutherAI i Meta. Svih šest imalo je između 124 milijuna i 410 milijuna parametara. Objavljeni rad navodno proširuje test na sedam modela do 12 milijardi parametara, što je još malo prema današnjim standardima. Preprintovi testovi koristili su male modele i prozor od 300 tokena, a predviđanja su mogla odstupati za jedan izlaz.

Što to znači

Ovo je važno jer model koji radi offline nema cloud uslugu koja provjerava njegov izlaz, a to je praznina koju autori žele zatvoriti. Predlažu jeftin monitor koji radi paralelno s modelom i označi kada n padne ispod sigurnosnog praga, slično upozoravajućem svjetlu na automobilskoj ploči. Cilj je on-device AI, uključujući aplikaciju Google AI Edge Gallery, eksperimentalnu aplikaciju koju je Decrypt testirao prošle godine. Ona već omogućuje Android telefonu pokretanje modela offline, a ništa upisano u nju ne šalje se Googleovim poslužiteljima. To bi mogao biti trend koji raste kako hardver postaje snažniji, a manji AI modeli sposobniji.

Što slijedi

Autori opisuju načine da se točka preokreta gurne izvan dosega, primjerice ubacivanjem sadržaja u razgovor tako da n padne izvan duljine odgovora. Alignment training može pomaknuti ili potisnuti preokret za određene promptove, ali ne može ukloniti temeljni mehanizam, tvrde autori. U travnju 2025. Decrypt je pokrio raniji rad istog para koji je pokazao da "please" i "thank you" imaju zanemariv učinak na izlaz modela jer model ljubazne riječi tretira kao ortogonalne, odnosno nepovezane u matematici, sa sadržajem zahtjeva. Ta verzija modelirala je jednu, namjerno pojednostavljenu attention head. Očekuje se daljnje testiranje i širenje formule na veće modele.