Pokrenut xAI-jev najavljivani Supercluster u Memphisu

Za samo 19 dana složeno je xAI-jev superračunalo u Memphisu. Jučer ujutro "Gigatvornica" s navodno 100.000 Nvidia H100 GPU-ova počela je s radom.

Ivan Podnar četvrtak, 25. srpnja 2024. u 10:33

U Memphisu je započelo treniranje Groka 3, najnovijeg velikog jezičnog modela xAI-ja. Ambiciozni cilj Elona Muska je stvoriti "najmoćniju umjetnu inteligenciju po svim mjerilima" do prosinca 2024. Grok 3 nasljeđuje svog prethodnika, Grok 2, čije je objavljivanje planirano za kolovoz nakon završetka finog podešavanja i ispravljanja pogrešaka. Ubrzani razvojni raspored naglašava agresivnu strategiju xAI-ja u utrci za umjetnu inteligenciju kako bi sustigla etablirane igrače poput OpenAI-ja, Googlea i Microsofta.

Memphis Supercluster

Elon Musk objavio je na X-u da je sustav nazvan Memphis Supercluster pokrenut 22. srpnja oko 4:20 ujutro po lokalnom vremenu. Superračunalo koristi jedinstvenu RDMA (remote direct memory access) mrežu za povezivanje do, kako je Musk objavio, 100.000 tekućinom hlađenih Nvidia H100 GPU-ova.

Musk tvrdi da je ovo najmoćniji AI sustav za treniranje na svijetu, nazivajući podatkovni centar snage 150 MW "Gigatvornicom računalne snage".

Koliko je zapravo klastera aktivno?

Unatoč Muskovim tvrdnjama, nije jasno koliki je dio klastera trenutno aktivan. Procjene govore o oko 32.000 GPU-ova, s planom da ostatak bude operativan do četvrtog kvartala. Kompanija trenutno raspolaže s 8 MW električne energije iz mreže, a dodatnih 50 MW moglo bi biti osigurano ugovorima s energetskim tvrtkama poput Tennessee Valley Authority sljedećeg mjeseca. Vjeruje se da xAI trenutno koristi plinske generatore tvrtke Quantum Fuel Systems.

Još 300.000 GPU-a?

O planovima za ovaj podatkovni centar pisali smo ranije. Dell i Supermicro (SMC) potvrđeni su kao dobavljači servera, no detalji o raspodjeli GPU klastera između njih nisu objavljeni.

Musk planira dodati još 300.000 GPU B200 klastera sljedećeg ljeta, s ciljem da cijeli projekt bude operativan do jeseni 2025. Trenutno se vjeruje da xAI unajmljuje oko 16.000 Nvidia H100 GPU-ova od Oracle Clouda, uz korištenje Amazon Web Servicesa i rezervnih kapaciteta u podatkovnim centrima X/Twittera.

U svibnju 2024. xAI je završio krug prikupljanja sredstava od 6 milijardi dolara, što je dovelo do procjene vrijednosti tvrtke na 24 milijarde dolara.