Internet kakav poznajemo doživljava velike promjena - AI modeli "gladni su sadržaja", snimaju sve do čega mogu doći, a to baš i ne veseli kreatore sadržaja. Zato je tvrtka Cloudflare uvela novost koja vlasnicima web stranica daje moć da blokiraju AI botove koji prikupljaju njihov sadržaj. Ovo označava prekretnicu za kreatore, izdavače i sve koji stvaraju sadržaj na Internetu.

Možda se pitate, tko je Cloudflare? Procjenjuje se da njihova infrastruktura podržava oko 20% cjelokupnog Interneta. Mnoge web stranice koriste njihove usluge za brzinu i sigurnost, pa stoga njihove odluke imaju značajan utjecaj na cijeli Internet.

Kraj besplatnog ručka za umjetnu inteligenciju

Desetljećima je Internet funkcionirao na temelju neformalnog dogovora: tražilice poput Googlea indeksirale bi sadržaj i zauzvrat slale posjetitelje na originalne web stranice, generirajući promet i prihod od oglašavanja. Međutim, uspon generativne umjetne inteligencije narušio je tu ravnotežu. Automatizirani AI programi prikupljaju tekstove, slike i kod kako bi generirali odgovore unutar vlastitih sučelja, često bez slanja korisnika na izvor. To izravno potkopava poslovne modele koji se temelje na oglašavanju i pretplatama, a koji financiraju kvalitetno novinarstvo i kreativnost na internetu.

Matthew Prince, suosnivač i CEO Cloudflarea, bio je jasan oko motiva: "Ako Internet želi preživjeti doba umjetne inteligencije, moramo izdavačima dati kontrolu koju zaslužuju i izgraditi novi ekonomski model koji funkcionira za sve. Originalni sadržaj je ono što Internet čini jednim od najvećih izuma, i moramo se udružiti da ga zaštitimo."

Ovaj stav podržali su vodeći svjetski izdavači. Roger Lynch, CEO tvrtke Condé Nast (izdavača Voguea i The New Yorkera), nazvao je potez "prekretnicom za izdavače", dok je Vivek Shah, CEO Ziff Davisa, pohvalio Cloudflare za "zagovaranje održivog digitalnog ekosustava". Podrška je stigla i od tvrtki poput Gannett Media, The Associated Press, Dotdash Meredith i mnogih drugih, što predstavlja jedinstveni front industrije protiv neovlaštenog korištenja sadržaja.

Kako Cloudflare vraća kontrolu vlasnicima stranica?

Od 1. srpnja 2025. godine, Cloudflare je počeo po zadanim postavkama blokirati AI alate za prikupljanje sadržaja. Ovaj potez, koji se odnosi na sve nove korisnike i one koji su se ranije odlučili za blokadu, označava kraj ere u kojoj su AI tvrtke mogle slobodno i bez naknade prikupljati goleme količine podataka s web stranica kako bi trenirale svoje jezične modele. Za kreatore sadržaja, izdavače i vlasnike web stranica, ovo je trenutak vraćanja kontrole u doba kada AI botovi generiraju desetke milijardi zahtjeva dnevno.

Za sve nove domene koje se pridruže Cloudflareu, blokiranje AI botova sada je zadana postavka. Vlasnici moraju aktivno odabrati da žele dopustiti pristup. Za postojeće korisnike, tu je "AI Audit" alat, detaljan analitički pregled koji pokazuje koji AI servisi i botovi posjećuju stranicu. Analize su pokazale da su najaktivniji AI botovi koji prikupljaju podatke Bytespider (ByteDance), GPTBot (OpenAI) i ClaudeBot (Anthropic), a upravo su oni i najčešće blokirani.

Višeslojna obrana: kako funkcionira blokiranje?

Dosadašnja obrana od neželjenih botova uglavnom se oslanjala na datoteku robots.txt, jednostavan tekstualni dokument u kojem vlasnici stranica mogu navesti upute za botove. No, robots.txt je samo preporuka, a ne pravilo, i mnogi AI botovi su ga ignorirali. Cloudflareov pristup je zato daleko sveobuhvatniji i temelji se na tehnologiji, a ne na povjerenju.

Za sve nove domene koje se pridruže Cloudflareu, blokiranje AI crawlera sada je zadana postavka. Vlasnici moraju aktivno dopustiti pristup. Za postojeće korisnike, tu je "AI Audit" alat, detaljan analitički pregled koji pokazuje koji AI servisi i botovi posjećuju stranicu. Analize su pokazale da su najaktivniji crawleri Bytespider (ByteDance), GPTBot (OpenAI) i ClaudeBot (Anthropic), a upravo su oni i najčešće blokirani.

Cloudflare razlikuje botove prema njihovoj namjeni, poput "AI Data Scrapera" koji prikupljaju podatke za treniranje modela i "AI Search Crawlera" koji indeksiraju sadržaj za AI tražilice. Ova razlika je ključna; vlasnik stranice možda će htjeti dopustiti pristup crawleru AI tražilice koja može poslati promet, ali blokirati onaj koji samo "krade" podatke.

Ono što ovaj sustav čini efikasnim (kako se barem hvale u vlastitom priopćenju za javnost) jest Cloudflareova sposobnost da prepozna i botove koji se pokušavaju prikriti. Promjena korisničkog agenta (user agent) trivijalan je zadatak za operatore botova. Međutim, Cloudflareova platforma koristi globalne signale sa svoje ogromne mreže i napredne modele strojnog učenja za izračun "Bot Score" ocjene za svaki zahtjev. Čak i kada se bot predstavlja kao legitiman preglednik, njegovo ponašanje, IP adresa i drugi "otisci" odaju ga, te mu se dodjeljuje niska ocjena koja automatski aktivira blokadu.

Budućnost je u naplati: inicijativa "Pay Per Crawl"

Blokiranje je samo prvi korak. Dugoročna vizija Cloudflarea je stvaranje novog, održivog tržišta. U tu svrhu najavljena je inicijativa "Pay Per Crawl". Ideja je jednostavna: omogućiti vlasnicima sadržaja da postave cijenu za pristup svojim podacima. AI tvrtke koje žele koristiti taj sadržaj moći će platiti za pristup po definiranim uvjetima. U budućnosti, AI tvrtke bi mogle dobiti i mogućnost pregleda sadržaja, uvida u to koliko je nedavno ažuriran te pristup podacima u strojno optimiziranom formatu.

Ovaj model bi mogao stvoriti potpuno novi izvor prihoda za kreatore svih veličina, od velikih medijskih kuća do malih, neovisnih blogera koji su do sada bili nemoćni protiv masovnog prikupljanja podataka. "Cijene će određivati izdavači, koji mogu postaviti tarife, i AI tvrtke, koje mogu odabrati hoće li pristupiti web stranicama po tim cijenama", pojasnili su iz Cloudflarea.

Inicijativu je podržala široka koalicija tvrtki, uključujući TIME, Reddit, Pinterest, Stack Overflow i Universal Music Group...

Potez Cloudflarea predstavlja tehnološki odgovor na poslovni i etički problem koji je eskalirao s razvojem umjetne inteligencije. Dok se pravne bitke oko autorskih prava vode na sudovima diljem svijeta, Cloudflare je iskoristio svoju poziciju u srcu internetske infrastrukture kako bi ponudio konkretno rješenje. Ipak, neki stručnjaci upozoravaju da tehnologija sama po sebi nije dovoljna. Ed Newton-Rex, osnivač organizacije Fairly Trained, izjavio je za BBC da je ovo "samo flaster tamo gdje je potrebna velika operacija" te da je snažna zakonska zaštita i dalje nužna.