Modeli odlučivanja poput Jev ne objašnjavaju svoje odgovore. Zato kontekst postaje vaš problem

Modeli odluka trenutačno su u fokusu internetske rasprave. Spominju se Jev iz TypeSafe AI, Clef od Cloudflarea i Decisions API tvrtke OpenAI. Riječ je o modelima koji postižu nisku latenciju tako što preskaču opširno generiranje teksta i vraćaju strukturirane izlaze u JSON formatu, uz vjerojatnosti pouzdanosti. Programerima je takav determinizam privlačan jer strukturirane podatke lakše ugrađuju u aplikacije: postave pitanje i dobiju fiksni JSON koji mogu izvući pomoću biblioteke, bez složenog parsiranja teksta ili razumijevanja formata.

U pozadini svaki moderni veliki jezični model (LLM) slijedi istu transformer encoder-decoder arhitekturu. Upiti se unose i kodiraju u manju dimenziju, a zatim razpakiraju kako bi se generirao jedinicu teksta po jedinicu i na kraju objedinio u izlazni tekst. Modeli s milijardama parametara treniraju se na trilijunima redaka teksta i uče složene jezične obrasce kako bi generirani tekst oponašao ljudsko razmišljanje i razgovor. Opširni tekst često sadrži i obrazloženje kojim je model došao do zaključka. To je toliko korisno da zasebna kategorija, reasoning modeli, njeguje poseban trag razmišljanja kao potporu odlukama.

Kod modela odluka svjesno se odustaje od opširnih tragova razmišljanja i ide se ravno na odgovor. Takozvano System 1 razmišljanje korisno je u određenim scenarijima jer brže daje odgovor i znatno štedi vrijeme i troškove, ali obično stvara tehnički dug i gubi se ključna sposobnost koja velike jezične modele čini moćnima.

Kontekst

Primjer iz teksta pokazuje razliku. Na pitanje "Is it going to rain today?" preko OpenRoutera tradicionalni jezični model koristi razmišljanje kako bi shvatio što je potrebno i koja ograničenja postoje prije predviđanja. Kada se isto pitanje postavi modelu odluka poput Jev, odgovor dolazi kao jednostavna logička vrijednost, true ili false, bez ikakva obrazloženja. Bez objašnjenja model bi dao generički odgovor, što može biti vrlo zavaravajuće, posebno kod kritičnih pitanja. To ne znači da modeli odluka nisu korisni ili da su netočni, nego da nisu objašnjivi poput tradicionalnih jezičnih modela.

Ključne brojke

U izvornom tekstu ističu se modeli s milijardama parametara trenirani na trilijunima redaka teksta. Odgovor je jedna logička vrijednost, true ili false. Spominje se i System 1 razmišljanje, odnosno brzi način rada bez opširnog obrazloženja.

Što to znači

Odgovornost se prebacuje na AI graditelja i softverskog razvijatelja: ako model neće razmišljati za vas, morate razmišljati unaprijed. Zato dizajn konteksta postaje najvažnija vještina. Cilj je u kontekst ili stanje zapakirati sve relevantne informacije kako bi model donio informiranu odluku. Tradicionalni agent temeljen na jezičnom modelu na nejasno pitanje obično postavi pojašnjenje ili opširno objasni pretpostavke, dok model odluka nema takvu mogućnost. On uzima zadani kontekst, preslikava ga na svoje treniranje i vraća strukturirani izlaz, često jednu vrijednost.

Tu vrijednost i vjerojatnost možete iskoristiti za programiranje odgovarajuće akcije u aplikaciji, ali nema tragova odluke ni zapisa pa nema potpune jasnoće zašto je model tako odlučio.

Što slijedi

Modeli odluka sjajni su u određenim scenarijima, primjerice kada jezični model djeluje kao sudac i odgovori chatbota uspoređuju se s unaprijed definiranim zlatnim odgovorima. Drugo područje je trijaža i kategorizacija potpora. Zahtjevi korisničke podrške često sadrže opširan tekst koji treba razumjeti kako bi se mapirao u odgovarajuće kategorije ili timove. Vrijeme će pokazati koje će se još glavne primjene pojaviti, ali jedno je sigurno: modeli odluka veliki su tehnološki iskorak u bogatoj priči o velikim jezičnim modelima.