Vodeći ponuditelji velikih jezičnih modela odnedavno skrivaju razmišljanje svojih modela korak po korak, takozvani chain-of-thought, kako bi zaštitili intelektualno vlasništvo i ograničili curenje informacija. Te zapise ne čuvaju na svojim poslužiteljima, nego ih vraćaju klijentu kao blokove šifriranog teksta koje klijent zatim šalje natrag uz svaki sljedeći upit. Upravo je u toj arhitekturi rupa.

Ako vam nije posve jasno o čemu se radi, ovdje je dobro objašnjeno (prije otkrića da je dešifriranje zapravo trivijalno) što se događa s vašim podacima koji se šalju između vašeg računala i jezičnog modela u oblaku:

Rad Stealing Reasoning Traces from Proprietary LLM APIs, objavljen 10. kolovoza na arXivu, potpisuje osmero istraživača s MATS Researcha, Max Planckova instituta za inteligentne sustave, ELLIS instituta u Tübingenu, tvrtke Snyk i Sveučilišta u Tübingenu.

Pokazali su da su ti šifrirani blokovi potpuno zamjenjivi između sesija, korisnika i modela unutar ekosustava istog ponuditelja. Blok koji je nastao u jednoj sesiji, na jednom modelu i kod jednog korisnika, može pokupiti i dekodirati posve drugi korisnik na drugom modelu.

Napad zato uopće ne dira najjači model. Blok nastao na snažno zaštićenom modelu ubacuje se slabijem i manje ograničenom modelu iz iste obitelji, koji ga poslušno dekodira i ispisuje doslovno. "Prenošenjem valjanog autenticiranog šifriranog bloka razmišljanja preko te sigurnosne razlike napadač u potpunosti zaobilazi usklađenost najjačeg modela, koristeći slabiji, popustljiviji model kao nesvjesni dešifratorski korak", pišu istraživači. Uzrok je, sudeći prema ponašanju sustava, jedan globalni ključ kojim se služi cijela obitelj modela, pa blokovi nisu vezani ni uz sesiju, ni uz račun, ni uz model.

Da nije riječ o teorijskoj vježbi, pokazali su na javnim podacima. Iz 315.320 šifriranih blokova prikupljenih s javnih repozitorija izvukli su 367 artefakata s osobnim podacima i 182 vjerodajnice, među njima 62 API ključa, 33 lozinke i 30 osobnih adresa e-pošte. Naišli su i na slučajeve u kojima je ono skriveno u razmišljanju bilo osjetljivije od onoga što je model naposljetku prikazao, uključujući upute koje je u vidljivom odgovoru odbio dati. Četvrti vektor napada su nevidljive injekcije uputa, gdje se zlonamjerni sadržaj krije unutar samog šifriranog bloka.

Najzanimljivije je to što istraživači nisu morali razbiti šifru u klasičnom smislu jer se razmišljanja mogu prenositi između kompatibilnih modela istog ponuditelja, čime slabiji model postaje glavni ključ za dešifriranje.

Istraživači smatraju da ako radimo s umjetnom inteligencijom na osjetljivim ulazima ili izlazima, šifrirane zapise razmišljanja trebamo tretirati kao osjetljive podatke.

Autori su ranjivost prijavili proizvođačima prije objave i u radu predlažu kriptografske i sustavske mjere za zaštitu razmišljanja koje se čuva na strani klijenta.