AI modeli otvorenih težina sve su jeftiniji i bolji. Evo kako ih koristiti bez troška pokretanja
U svijetu računalstva, kad se pojavi jeftinija i otvorenija alternativa, često se prikazuje kao borba u kojoj pobjednik uzima sve. Primjeri Linuxa i Windowsa te Androida i iOS-a pokazali su da obje strane mogu „pobijediti“ jer služe različitim tržištima, pa „ili-ili“ nije bio pravi okvir. Sličan obrazac sada se vidi kod AI modela. Vlasnički modeli OpenAIja i Anthropica dominiraju u poslovnoj upotrebi, ali potrošnja na inferencijske tokene postupno se pomiče prema modelima s otvorenim težinama. To ne znači da jedan pristup nužno istiskuje drugi.
Andreessen Horowitz izvijestio je da 37% poduzeća u proizvodnji pokreće pet ili više modela, uključujući otvorene i zatvorene. Pravi rizik za poslovanje nije odabir „pogrešne“ strane, nego zaključavanje u jednog davatelja modela zbog kojeg kasnija promjena postaje preskupa ili nepraktična. Poduzeća zapravo žele kontrolu: nad podacima, ponašanjem modela i izloženošću ako davatelj nestane ili promijeni uvjete. Pokretanje modela na vlastitim poslužiteljima ili u vlastitom oblaku čini AI primjenjivim u reguliranim djelatnostima poput zdravstva, prava i financija, gdje slanje podataka vanjskom API-ju često nije opcija.
Dodatno, naknadno treniranje otvorenog modela na vlastitim podacima zadržava prilagodbu unutar kuće, a vlasništvo nad težinama znači da model ne može biti oduzet ako davatelj nestane, bude preuzet ili promijeni uvjete.
Kontekst
Otvorene težine nisu isto što i otvoreni izvor. Obično se dobivaju težine, ali ne i podaci za treniranje, kod ili prava licenca. To je važno jer određuje koga se tereti ako nešto pukne. Kod zatvorenog modela davatelj je obavio važan sigurnosni rad, dok je kod otvorenog modela taj rad odgovornost vlastitog tima i lakše ga je poništiti nego što mnogi misle. Istraživači su pokazali da se sigurnosno treniranje modela može poništiti s malim brojem primjera za fino podešavanje, a zaštitne ograde na modelima poput Llame i Gemme navodno se mogu ukloniti u nekoliko minuta. To nije razlog za izbjegavanje modela s otvorenim težinama, ali je rizik koji poduzeća moraju znati da preuzimaju.
Ključne brojke
Najvažniji podatak iz teksta je 37% poduzeća koja u proizvodnji pokreću pet ili više modela, uključujući otvorene i zatvorene. Taj broj pokazuje da mnoga okruženja već kombiniraju više modela, umjesto da ovise o jednom izboru.
Što to znači
Modeli s otvorenim težinama najjasnije se isplate za uske, dobro definirane poslove poput embeddingsa, klasifikacije i otkrivanja osobnih podataka. Namjenski model podešen za jedan zadatak može nadmašiti frontier model uz znatno niži trošak, barem u smislu računalnih resursa. Veliki frontier model pokriva širi raspon zadataka, ali za tu fleksibilnost plaća se i kad se ne koristi, dok namjenski model izbjegava taj trošak. Istodobno, frontier modeli zadržavaju prednost jer nude gotovo zajamčenu razinu performansi bez vlastite izgradnje.
Stanfordov AI Index otkrio je da se jaz između najboljih otvorenih i zatvorenih modela ove godine blago povećao, što valja zapamtiti kad netko tvrdi da je otvoreno gotovo sustiglo zatvoreno.
Što slijedi
Izbor će ovisiti o radnom opterećenju. Korisnička aplikacija često ne može podnijeti latenciju, dok interna zadaća poput sažimanja korisničkih zahtjeva obično može. Većina poduzeća vjerojatno će i dalje ići preko davatelja inferencije poput Fireworksa, Together AI ili Base10, koji su specijalizirani za pokretanje i skaliranje modela s otvorenim težinama, jer tako dobivaju troškovne i kontrolne prednosti bez operativnog tereta. Samostalno hostanje ostat će iznimka za one kojima je AI u srži poslovanja i koji imaju razmjer i stručnost da to opravdaju. Na određenoj razini operativno ulaganje samo se isplati.