Skriveni račun za pohranu umjetne inteligencije: što sve ostaje nakon inferencije

Rasprava o troškovima umjetne inteligencije često se svodi na GPU-ove, nosače akceleratora i potrošnju energije, no takva slika preskače jednu važnu stavku: troškove pohrane podataka. Nakon što model odgovori, velik dio podataka generiranih u pozadini — od milijardi dnevnih upita do slika i videozapisa — mora se negdje spremiti. Pohrana je pritom jedan od infrastrukturnih troškova koje je najteže planirati i često se zanemaruje u početnom planiranju AI infrastrukture.

Za razliku od treniranja modela, koje je konačan proces s početkom i krajem, inferencija radi neprekidno. Svaki zahtjev ostavlja trag u pozadinskom sustavu. Primjerice, WD je u internim mjerenjima utvrdio da osamsekundni isječak, korisniku isporučen kao 720p datoteka od 3,97 MB, ostavlja više od 500 MB povezanih podataka na stražnjoj strani sustava, uključujući zapise, predmemorirani kontekst, trenutačne renderirane datoteke, sigurnosne kopije i sigurnosne zapise. To je povećanje od 130 puta u odnosu na veličinu datoteke koju korisnik vidi. U poduzećima s duljim i kvalitetnijim videozapisima pozadinski otisak može narasti na stotine gigabajta po isječku.

Kontekst

Inferencija je faza u kojoj model odgovara na upite, a RAG je pristup u kojem se modelu pri odgovoru pomažu dohvaćeni podaci. Izvorni tekst ističe da se AI infrastruktura tradicionalno promatra kroz računalne cikluse treniranja, no inferencija se ne umirovljuje i podaci se gomilaju. Zato pohrana mijenja ulogu: informacije koje su nekad rijetko izlazile iz arhive sada mogu postati ulaz za buduće AI poslove. To traži i veću propusnost i veći kapacitet, a različite tehnologije pokrivaju različite potrebe tijekom životnog ciklusa podataka.

Ključne brojke

McKinsey procjenjuje da će potražnja za AI inferencijom rasti po godišnjoj stopi od 35 posto do 2030., dok se za treniranje očekuje 22 posto. Do kraja desetljeća inferencija bi trebala činiti više od 40 posto ukupne potražnje podatkovnih centara. IDC-ovo istraživanje, provedeno na 763 ispitanika iz IT sektora i poslovnog odlučivanja, pokazalo je da je gotovo 95 posto njih zabilježilo rast količine podataka zbog generativne AI u proteklih 12 mjeseci, a oko 61 posto rast od 25 posto ili više. U istom istraživanju 96 posto ispitanika očekuje potrebu za bržim dohvatom iz arhive radi inferencije ili RAG-a.

Što to znači

Za financijske i IT direktore to znači da AI infrastruktura ne smije biti svedena samo na računalne troškove. Model koji čeka na podatke troši približno kao i model koji čeka na GPU, no usko grlo pohrane često ostaje skriveno do trenutka kada se pojavi u operativnim troškovima i kašnjenjima. Trgovac koji generira videozapise za katalog ili osiguravatelj koji obrađuje dokumente kroz RAG ima predvidljiv trošak računanja po generaciji ili upitu, ali pozadinski podaci ne nestaju. Tim koji AI planira kao računanje plus zaokružena pogreška za pohranu mogao bi za 12 do 18 mjeseci otkriti da je ta pogreška postala značajan dio ukupnog troška programa.

Što slijedi

Rješenje počinje arhitekturom. Strategija pohrane često se oblikuje za skupu, vruću razinu performansi, no AI poslovi traže i kapacitet i brzinu. Za velike količine podataka koje treba čuvati i ponovno pregledavati, HDD-ovi ostaju troškovno učinkovit temelj s prednošću cijene po terabajtu. Ključno pitanje više nije samo koliko košta GPU, nego i koliko košta sve što ostaje nakon odgovora.