AI agenti mogu biti nepredvidivi. Vaš sloj kontrole ne bi smio biti.

U raspravama o umjetnoj inteligenciji često se pojedini agent procjenjuje zasebno. No u sustavima s više agenata rezultat može biti pogrešan i kada je svaki agent naizgled točan. Razlog je što izlaz jednog agenta postaje kontekst drugome. Tijekom predaje informacija može se izgubiti ili pogrešno protumačiti, zajedničko stanje može odlutati, a agenti mogu zapeti u petljama ili mrtvim vezama. Tekst predstavlja praktičan pristup procjeni upravo tih interakcija.

Veliki jezični modeli nisu deterministički. U sustavu s više agenata ta nesigurnost ne nestaje. Jedan agent generira informaciju, drugi je preuzima i tumači, a njegov izlaz postaje kontekst trećemu. Lažno generiran ili pogrešno interpretiran sadržaj širi se i pojačava kroz cijeli tijek rada. Zato procjena samo konačnog odgovora, ili svakog agenta zasebno, ne pokazuje je li suradnja uspjela. Potrebna je vidljivost u ono što se događa između agenata.

Kontekst

Sustav s više agenata može se promatrati slično RAG sustavu. U RAG pipelineu razlikujemo upit korisnika, dohvaćanje, dohvaćeni kontekst, generiranje i generirani odgovor, a dohvaćanje i generiranje procjenjujemo odvojeno kako bismo znali gdje je nastao problem. Sustav s više agenata proširuje taj obrazac: upit korisnika, agent A, predaja, agent B, zajedničko stanje, agent C, verifikacija i konačni izlaz.

Da bi se suradnja mogla procjenjivati, treba zabilježiti trag izvršavanja: koji su agenti pozvani i kojim redom, ulaze i izlaze, sadržaj predaje između agenata, odluke o usmjeravanju i delegiranju, čitanja i ažuriranja zajedničkog stanja, pozive alata i rezultate, ponovne pokušaje, petlje i odluke o završetku te latenciju, potrošnju tokena i trošak u svakom koraku.

Što to znači

Mrtve veze nastaju kada agenti imaju kružne ovisnosti. Primjerice, orkestrator čeka rezultat radnog agenta, a radni agent čeka potvrdu ili dodatne upute orkestratora. Nijedan ne može napredovati pa tijek rada zastaje. Beskonačne petlje, odnosno livelockovi, nastaju kada agenti nastavljaju komunicirati, ali ne postižu napredak. Agent znanja može poslati zahtjev transakcijskom agentu za pojašnjenje, a transakcijski agent ga vraća jer isto pojašnjenje još nedostaje. Ti su problemi svojstva grafa izvršavanja, ne nužno pojedinog agenta. Zato procjena mora pokazati napreduje li mreža agenata i dolazi li do valjanog završnog stanja.

Što slijedi

Idući je korak procjenjivati predaje između agenata kao male informacijske cjeline. Čak i kada svaki agent pojedinačno radi dobro, tijek rada može propasti ako se informacija izgubi, promijeni ili pogrešno protumači na granici između agenata. Cilj nije učiniti LLM-ove determinističkima, nego njihovo nepredvidivo ponašanje učiniti vidljivim, mjerljivim, ograničenim i popravljivim. Tako se iz procjene interakcija grade jače inženjerske kontrole.