Najveća imena u svijetu AI-a podupiru novi način izbjegavanja scrapinga
Četiri velike AI tvrtke — OpenAI, Google, Microsoft i Anthropic — najavile su da će prihvatiti novi standard koji izdavačima omogućuje da odbiju prikupljanje svojih sadržaja za potrebe umjetne inteligencije. Vijest je ranije prenio Search Engine Roundtable. Riječ je o zajedničkom mehanizmu kojim izdavači mogu iskazati svoje preferencije o tome smiju li se njihovi sadržaji koristiti za treniranje AI sustava. Umjesto da postavke moraju podešavati zasebno kod svake tvrtke, moći će ih primijeniti na više AI tvrtki odjednom.
Novi standard temelji se na zajedničkom signalu nazvanom "policy token", koji je predložio Kevin Kelley, tehnički voditelj za standarde u Anthropicu, u okviru Internet Engineering Task Forcea (IETF). Taj signal treba živjeti unutar robots.txt datoteke na web-stranici. Robots.txt je datoteka koja već dugo služi tome da se web-puzalima signalizira koje dijelove stranice smiju, a koje ne smiju prikupljati — bilo za indeksiranje u tražilicama, arhiviranje ili druge svrhe. Novi pristup proširuje tu ideju na AI treniranje i omogućuje izdavačima da svoje preferencije izraze na jednom mjestu.
Kontekst
Da bi se razumjela važnost najave, treba znati da se robots.txt koristi kao javna uputa automatiziranim programima koji pregledavaju web. Dosad je taj mehanizam bio povezan s pitanjem smije li se stranica indeksirati, arhivirati ili na neki drugi način obrađivati. U svijetu AI sustava izdavači su trebali način da jasno kažu žele li da se njihov sadržaj koristi za treniranje modela. Novi standard, kako ga opisuje izvorni tekst, nastoji to riješiti zajedničkim signalom koji vrijedi kod više AI tvrtki, a ne samo kod jedne. Predlagač je Kevin Kelley iz Anthropica, a okvir je IETF. To je pozadina zbog koje se novi signal smješta unutar postojećeg robots.txt sustava.
Što to znači
Za izdavače to znači veću kontrolu i manje administrativnog posla. Ako standard zaživi, neće morati pregovarati ni podešavati pravila zasebno sa svakom AI tvrtkom, nego će svoje preferencije o treniranju moći iskazati kroz robots.txt. To je važno jer izdavači dobivaju način da svoje preferencije iskažu na jednom mjestu, umjesto da to čine pojedinačno. Istodobno, najava četiriju velikih igrača pokazuje da postoji šira volja za prihvaćanje zajedničkog tehničkog rješenja. No iz izvornog teksta nije vidljivo koliko će standard biti obvezujuć i kako će se provoditi. Pitanje provedbe stoga ostaje otvoreno.
Što slijedi
Daljnji korak je da se predloženi signal razradi i da ga AI tvrtke stvarno počnu primjenjivati. Najava OpenAI-ja, Googlea, Microsofta i Anthropica upućuje na to da će standard biti prihvaćen, ali iz dostupnog teksta nije jasno kada će to točno početi ni kako će se tehnički provjeravati. Izdavači će morati pratiti kako se robots.txt ponaša u praksi i hoće li njihove oznake za AI treniranje biti poštovane. Ako se to dogodi, zajednički policy token mogao bi postati dio uobičajene web-prakse. Za sada je jasno samo da su četiri tvrtke najavile prihvaćanje standarda i da je prijedlog vezan uz IETF.