Nedavno istraživanje, provedeno od strane tima računalnih znanstvenika i pravnih stručnjaka sa Stanforda, Cornella i Sveučilišta West Virginia, donosi iznenađujuće uvide u sposobnost AI modela da reproduciraju doslovne izvatke iz zaštićenog sadržaja.

Studija se fokusirala na pet popularnih otvorenih modela (tri iz Mete, te po jedan iz Microsofta i EleutherAI-ja) i njihovu sposobnost reprodukcije teksta iz Books3, zbirke knjiga koja se široko koristi za treniranje velikih jezičnih modela (LLM-ova), a mnoge od tih knjiga su još uvijek pod autorskim pravima. Najviše je iznenadilo otkriće (kako koga…) da je Metin Llama 3.1 70B, objavljen u srpnju 2024., daleko skloniji reproduciranju teksta iz knjige "Harry Potter i kamen mudraca" od bilo kojeg od ostala četiri modela. Procjenjuje se da je Llama 3.1 70B zapamtio 42 posto prve knjige o Harryju Potteru dovoljno dobro da reproducira izvatke od 50 tokena u najmanje polovici slučajeva.

Zanimljivo je da je Llama 1 65B, model slične veličine objavljen u veljači 2023., zapamtio samo 4,4 posto iste knjige. To sugerira da Meta, unatoč potencijalnoj pravnoj odgovornosti, nije učinila mnogo kako bi spriječila memorizaciju tijekom treniranja Llama 3 modela, barem za ovu knjigu. Problem se značajno pogoršao između Llama 1 i Llama 3. Istraživači su otkrili da je Llama 3.1 70B mnogo vjerojatnije sklon reproduciranju popularnih knjiga, poput "Hobita" i "1984" Georgea Orwella, nego manje poznatih. Za većinu knjiga, Llama 3.1 70B zapamtio je više od bilo kojeg drugog modela.

Ovi rezultati daju argumente objema stranama u raspravi o autorskim pravima u AI-ju. Kritičari AI industrije mogu istaknuti da memorizacija nije marginalna pojava, barem za neke modele i knjige. S druge strane, studija je otkrila značajnu memorizaciju samo za nekoliko popularnih knjiga. Na primjer, Llama 3.1 70B zapamtio je samo 0,13 posto romana "Sandman Slim" Richarda Kadreyja. Ova divergentna otkrića mogu dovesti u pitanje mogućnost udruživanja autora u masovne tužbe, što bi moglo ići u prilog Meti, budući da većina autora nema resurse za pojedinačne tužbe.

Istraživači su mjerili memorizaciju izračunavanjem vjerojatnosti da model reproducira određeni slijed tokena. Ako model generira 50 tokena iz zaštićenog djela, to je snažan dokaz da su ti tokeni "došli iz" podataka za treniranje, čak i ako se to događa rijetko.

Iako istraživanje snažno dokazuje da su značajni dijelovi "Harryja Pottera i kamena mudraca" kopirani u težine Llama 3.1 70B, ne objašnjava zašto se to dogodilo. Jedno od objašnjenja može biti da je Llama 3 70B treniran na 15 bilijuna tokena, što je više od 10 puta više od 1,4 bilijuna tokena korištenih za treniranje Llama 1 65B. Što se model više puta trenira na određenom primjeru, to je vjerojatnije da će ga zapamtiti. Moguće je da je Meta imala problema s pronalaženjem 15 bilijuna različitih tokena, pa je više puta trenirala na Books3 skupu podataka, ili je dodala izvore trećih strana koji su uključivali citate iz popularnih knjiga.

Postoje tri teorije o tome kako treniranje modela na zaštićenim djelima može kršiti autorska prava: inherentno kršenje zbog digitalne kopije, model kao izvedeno djelo, te kršenje kada model generira zaštićeni sadržaj. Iako industrija AI-ja tvrdi da je korištenje zaštićenih djela tijekom treniranja poštena upotreba, činjenica da Llama 3.1 70B memorizira velike dijelove "Harryja Pottera" mogla bi utjecati na sudove. Sposobnost jezičnih modela da reproduciraju značajne dijelove popularnih djela dovode u pitanje tvrdnje o „poštenoj upotrebi“ autorskih djela kod treniranja umjetne inteligencije.

Ovo istraživanje također stvara veću opasnost za Metu prema teoriji da je Llama sama po sebi izvedena kopija Rowlingine knjige.