SpaceX je cijeli kapacitet podatkovnog centra Colossus 1 u Memphisu iznajmio Anthropicu nakon što je u pokušaju treniranja vlastitih Grok modela naišao na latenciju i neujednačen hardver između tri centara zbog kojih je klaster radio na razini najslabije komponente, saznao je Bloomberg. 

Latencija kao usko grlo

Muskova kompanija prvotno je najnaprednije AI modele planirala trenirati na velikoj količini računalne snage, povezivanjem triju kampusa s podatkovnim centrima u jedinstveni klaster. Pri spajanju Colossusa 1 s dvjema lokacijama udaljenima više od deset milja (oko 16 kilometara) pojavili su se problemi s latencijom, dodatno otežani zastarjelom mrežnom infrastrukturom. Colossus 1 je izvorno građen za xAI/Grok, ali tehnički problemi su ga učinili manje prikladnim za velika distribuirana treniranja. SpaceX/xAI sada koristi novije klastere u Colossus 2 i 3 za Grok.

Različite generacije Nvidijinih čipova

Integraciju je dodatno zakomplicirala neujednačenost hardvera. Colossus 1 sadrži mješavinu generacija Nvidijinih čipova, uključujući sustave Hopper i Blackwell te dio starijih akceleratora (procesora za AI zadatke). Colossus 2 i 3 izgrađeni su ujednačenije, oko Nvidijine Blackwell arhitekture. Starija oprema na jednoj lokaciji stvara usko grlo za ostale, prisiljavajući brže akceleratore na čekanje. Posljedica je da klaster radi bliže najsporijem, a ne najbržem hardveru.

Prema pisanju The Informationa, stvarna iskorištenost računalne snage (flops utilization) u Colossusu kretala se oko 11 posto, znatno ispod 40 posto koliko postižu konkurentski laboratoriji. Promjena plana za Colossus 1 istodobno ukazuje na poteškoće u Muskovu ambicioznom i skupom širenju mreže podatkovnih centara opremljenih naprednim čipovima.

Grok u padu

Niska iskorištenost kapaciteta i poteškoće u izgradnji preklapaju se i s komercijalnim slabljenjem samog Groka, zbog kojeg je Colossus prvotno i planiran. Tehnički su problemi Colossus 1 isključili iz trening klastera, a slaba potražnja za Grokom značila je da se iznajmljivanjem malo gubi. Preuzimanja aplikacije pala su s više od 20 milijuna u siječnju na oko 8,3 milijuna u travnju, gotovo 60 posto. Dio tog skoka bio je umjetan: siječanjski vrhunac podudara se s kontroverzom oko generiranja seksualiziranih slika, pa je dio pada zapravo korekcija prethodnog naglog rasta. U istom je razdoblju Grok s drugog mjesta među chatbot aplikacijama pao na peto, iza Claudea, Geminija i DeepSeeka, dok su dnevni aktivni korisnici pali s 13,9 na 12,2 milijuna.