Zašto je odabir AI modela sada infrastrukturna odluka

Microsoft predstavlja pristup upravljanju sve složenijim AI portfeljima u poduzećima. Kako se broj AI radnih opterećenja povećava, CIO-i sve više moraju uskladiti svaki posao s pravom kombinacijom modela, kapaciteta i infrastrukture. Pristup s jednim modelom i jednim načinom postavljanja postaje sve nerealniji jer se radna opterećenja razlikuju po performansama, iskorištenosti, predvidljivosti i troškovima. Otvoreni modeli nude više izbora, ali i više odluka o GPU kapacitetu, infrastrukturi i okruženjima za posluživanje.

U središtu je Managed Compute u Microsoft Foundryju, upravljana opcija postavljanja koja korisnicima ostavlja kontrolu nad modelom, akceleratorom, kapacitetom i radnom točkom, dok Microsoft upravlja velikim dijelom okruženja za posluživanje. Pay-per-token inferencija ostaje korisna kada je važna fleksibilna potrošnja, a namjenski kapacitet ima smisla za radna opterećenja sa stalnom potražnjom ili strožim zahtjevima za kapacitet, latenciju, propusnost i predvidljivost troškova.

Namjenski kapacitet mijenja i ekonomiku: resursi se planiraju prema očekivanim zahtjevima, a vlasnici proračuna dobivaju bolju vidljivost u potrošnju infrastrukture i odnos kapaciteta, iskorištenosti, performansi i troška. TCO ovisi o cijeni GPU-sata, iskorištenosti, propusnosti i količini obavljenog posla. Upravljano okruženje smanjuje operativni teret poput konfiguriranja i optimizacije izvršnih okruženja, održavanja softvera, ranjivosti i sigurnosnih ažuriranja.

Kontekst

Pojmovi iz teksta opisuju zašto AI portfelj postaje problem upravljanja, a ne samo pitanje odabira modela. Pay-per-token inferencija znači fleksibilnu potrošnju koja ovisi o uporabi, dok namjenski kapacitet znači rezerviranje resursa prema očekivanim zahtjevima radnog opterećenja. Managed Compute u Foundryju je upravljana opcija postavljanja: korisnik zadržava odluke koje oblikuju performanse i ekonomiku inferencije, a Microsoft preuzima dio upravljanja okruženjem za posluživanje. TCO, odnosno ukupni trošak vlasništva, u tekstu se veže uz cijenu GPU-sata, iskorištenost, propusnost i količinu obavljenog posla.

Otvoreni modeli povećavaju izbor, ali i broj odluka o GPU kapacitetu, infrastrukturi i posluživanju.

Ključne brojke

AMD Instinct MI300X nudi 192 GB HBM3 memorije po GPU-u, odnosno oko 1,5 TB u postavu s osam GPU-a. Zahvaljujući tome, Z.ai GLM 5.3 Flash, model sa 320 milijardi parametara, može se u Foundryju posluživati na samo četiri MI300X GPU-a, s kontekstnim prozorom od 512K. AT&T je za OTel2.0 koristio 530 GPU-a, od kojih je oko 430 bilo AMD Instinct.

Što to znači

Za CIO-e to znači da odluka o modelu mora biti povezana s odlukom o infrastrukturi. Različiti modeli različito opterećuju infrastrukturu, a GPU memoriju troše i model i broj korisnika koje poslužuje. Zato odabir akceleratora izravno utječe na performanse, GPU zahtjeve i ekonomiku radnog opterećenja. Manje GPU-a za isti model znači manje infrastrukture za planiranje i niži trošak. AT&T je primjer portfeljnog pristupa u proizvodnji: umjesto standardizacije na jedan model ili konfiguraciju, koristio je više otvorenih modela i GPU arhitektura.

Mark Austin, potpredsjednik za podatkovnu znanost i AI u AT&T-u, rekao je: “Foundry Managed Compute gave us access to GPU capacity at scale so our teams could focus on advancing OTel2.0 instead of managing infrastructure.”

Što slijedi

Kako AI uporaba raste, vidljivost u kapacitet, iskorištenost, performanse i trošak daje organizacijama čvršću osnovu za usporedbu radnih opterećenja. Iz teksta proizlazi da korisnici mogu kombinirati managed compute u Foundryju s drugim pristupima postavljanja kako se zahtjevi radnih opterećenja mijenjaju. Time se portfeljna odluka pomiče s pitanja “jedan model za sve” na pitanje koja kombinacija modela, kapaciteta i infrastrukture najbolje odgovara pojedinom poslu.