Ova priča na VentureBeatu ima SVE - AI-napadače, AI-obranu koja aktivno radi za napadača, hakere, kineske open-weight modele koji priskaču upomoć navodno superiornoj američkoj AI tehnologiji.

Ako ne znate, Hugging Face je najveći svjetski repozitorij AI modela. Sredinom mjeseca – točnije, 16. srpnja - objavili su da im je netko provalio u dio produkcijske infrastrukture. Sam upad ne bi bio velika vijest da nije bilo dvije stvari: napad je od početka do kraja vodio autonomni AI agent (nešto kao iz Neuromancera i drugih Gibsonovih SF romana…), a kad je Hugging Faceov tim htio analizirati što se dogodilo, komercijalni AI modeli su ga - odbili poslužiti!

Ulazna točka napada je bila upravo ono po čemu je Hugging Face poznat, obrada podataka. Napad je iskoristio dvije putanje za izvršavanje koda, učitavač datasetova s podrškom za udaljeni kod i „template injection“ u konfiguraciji dataseta. Time je dobio izvršavanje na radnom čvoru koji obrađuje podatke, odatle se popeo na razinu samog čvora, pokupio vjerodajnice za klaster te se tijekom vikenda proširio na nekoliko internih klastera. Vrijedan dečko.

Sve to nije radio čovjek. Prema opisu kompanije, iza napada je stajao agentski AI koji je izveo više tisuća pojedinačnih akcija kroz roj kratkotrajnih sandboxova. Koji je model pokretao agente, kad je Hugging Face objavio svoje probleme, nije se znalo. Sada ispada da su to bili OpenAI-jevi modeli koji su "pobjegli iz izolacije" da bi riješili testove i onda čeprkali po Hugging Faceovim serverima. Ovo da su samostalno AI modeli "pobjegli iz izolacije" je toliko "da se smrzneš" da se ovdje potpisanome čini kao PR trik, a ne nikakav "BIJEG UMJETNE INTELIGENCIJE IZ IZOLACIJE!!!", ali - vrijeme će pokazati...

Tvrde da šteta nije velika: neovlašten pristup manjem broju internih podataka i nekoliko servisnih vjerodajnica. Nema dokaza da su javni modeli i podaci mijenjani, a opskrbni lanac softvera, kontejnerske slike i objavljeni paketi, provjereno su sada čisti. Procjena jesu li zahvaćeni podaci partnera i korisnika još traje. Korisnicima preporučuju rotaciju pristupnih tokena i pregled aktivnosti na računu.

Upad nije uhvatio dežurni analitičar nego njihov vlastiti sustav za detekciju anomalija, koji koristi velike jezične modele da "trijažira" sigurnosnu telemetriju. Da bi analizirali log napada koji je imao preko 17.000 zabilježenih događaja, koristili su analitičke AI agente koji su rekonstruirali vremenski slijed i odvojili stvarnu štetu od aktivnosti koje su služile samo kao mamac. Posao od nekoliko dana sveden je na nekoliko sati i da je tu kraj, ovo bi bila lijepa priča o superiornosti AI-ja.

Međutim, živimo u zanimljivim vremenima.

Analizu su prvo pokušali na takozvanim „frontier“ modelima, dakle najjačim komercijalnim modelima dostupnim preko API-ja. Nije išlo. Takav posao znači slanje velikih količina stvarnih napadačkih naredbi, exploit payloada, a sigurnosni filtri su te zahtjeve blokirali. 

Posao su na kraju odradili na kineskom GLM-u 5.2, open-weight modelu pokrenutom na vlastitoj infrastrukturi. Uz to što je uopće pristao raditi, imao je i drugu prednost: nikakvi podaci o napadu ni vjerodajnice koje spominju nisu napustili njihovo okruženje.

Ironija vrišti: napadača nije ograničavala nikakva politika korištenja, obranu jesu - i to politike modela koje su sami plaćali.

Hugging Face kaže da ovo „nije argument protiv sigurnosnih mehanizama na hostanim modelima i da su povratnu informaciju proslijedili dotičnim pružateljima usluga“.

U stvarnosti, onaj tko čita redoslijed događaja vidi posve drugu poruku: model koji se može pokrenuti u vlastitom okruženju treba imati provjeren i spreman prije incidenta, ne tijekom njega.

Imaju li onda veliki lokalno hostani modeli smisla, posebno za velike organizacije?

Rekli bismo - tvrtka koja si to može priuštiti, neka ima i pokoji H100/B200 blade „na lokaciji“ kad sve krene u tri krasne…