Ahmad Osman, softverski inžinjer i entuzijast umjetne inteligencije, nedavno se suočio s izazovom. Nakon gotovo godinu dana eksperimentiranja s velikim jezičnim modelima, 48 GB VRAM-a koje je koristio više nije bilo dovoljno. To ga je potaknulo na zanimljiv projekt: izgradnju namjenskog LLM servera opremljenog s osam RTX 3090 grafičkih kartica, sa 192 GB VRAM-a koje će smjestiti u svom podrumu.

"U srcu sam graditelj"

Na svom blogu on se ovako predstavlja: "Softverski sam inženjer s iskustvom u strojnom učenju, trenutno fokusiran na generativnu umjetnu inteligenciju i velike jezične modele. Moje akademsko obrazovanje uključuje prvostupničku diplomu iz računarstva i znanosti o podacima, a moj profesionalni put vodio me kroz inovativna okruženja. U srcu sam graditelj, bilo da se radi o brzom razvoju minimalnog održivog proizvoda (MVP) tijekom vikenda, dizajniranju distribuiranih sustava velikih razmjera, postavljanju složenih kućnih laboratorija i mrežne arhitekture, rješavanju zamršenih podatkovnih zagonetki ili istraživanju granica 3D ispisa. Kada ne kodiram ili ne eksperimentiram s tehnologijom, možete me naći kako čitam knjigu, vježbam u teretani ili pijem šalicu kave razmišljajući o životu i svemu ostalom."

Zahtjevna Llama

Ahmadova odluka o nadogradnji sustava došla je u ožujku, kada je shvatio ograničenja svoje postojeće konfiguracije. Rad s naprednim modelima poput Metinog Llama-3.1 405B zahtijevao je znatno više resursa. Cilj nije bio samo povećanje sirove snage, već stvaranje platforme koja može pratiti brz napredak u AI istraživanjima.

Proces izgradnje ovog sustava visokih performansi stavio ga je pred brojna pitanja. Osman je morao pažljivo razmotriti koji CPU i platforma će pružiti najbolju osnovu, koliko je važna brzina memorije te zašto su dodatne PCIe linije korisne. Posebno se bavio pitanjem važnosti konfiguracije s više grafičkih kartica. Svaki odgovor otkrivao je nove slojeve složenosti u dizajnu sustava.

Ključna pitanja u dizajnu sustava

"Koji CPU/platformu kupiti? Je li brzina memorije stvarno važna? I zašto je bolje imati više PCIe linija? Zašto se preferiraju konfiguracije s 2, 4, 8, 16 ili više GPU-ova (tenzorski paralelizam, itko?)? Koliko GPU-ova, i kako mogu dobiti sav VRAM na svijetu? Zašto su Nvidia kartice tako skupe i zašto nisam ranije uložio u njihove dionice?"

Ključna odluka bila je odabir GPU-a. NVIDIA RTX 3090, unatoč visokoj cijeni, nametnula se kao najbolji izbor zbog kapaciteta VRAM-a i performansi. Ovaj odabir, iako financijski značajan, uklopio se u projekt maksimiziranja VRAM-a i računalne snage. (Na američkom tržištu, na Amazonu, Nvidia GeForce RTX 3090 Founders Edition košta 1300 dolara)

Odabir hardvera

Nakon opsežnog istraživanja, Amad se odlučio za konfiguraciju koja obećava respektabilnu snagu za LLM obradu:

- Srce sustava je Asrock Rack ROMED8-2T matična ploča sa sedam PCIe 4.0x16 utora i 128 PCIe linija.

- Pogoni ga AMD Epyc Milan 7713 CPU s 64 jezgre i 128 niti, osnovnim taktom od 2,00 GHz i boost taktom do 3,675 GHz.

- Sustav je opremljen s 512 GB DDR4-3200 3DS RDIMM memorije za složene operacije.

- Tri jedinice napajanja od 1600 vata osiguravaju stabilno napajanje.

- Kruna sustava je osam RTX 3090 GPU-ova, međusobno povezanih s četiri NVLinka, omogućujući brzinu prijenosa podataka od 112 GB/s između svakog para GPU-ova.

Osim hardvera, Ahmad je posebnu pažnju posvetio odabiru softvera. Njegovo istraživanje ga je odvelo dalje od često korištenog llama.cpp, otkrivajući da najpoznatija opcija nije uvijek najbolja za specijalizirane konfiguracije. Izbor pravog softverskog stoga ključan je za potpuno iskorištavanje mogućnosti hardvera i postizanje optimalnih performansi u radu s velikim jezičnim modelima.

"Što ćemo raditi za još 20 godina?"

Na kraju, sposobni softverski inžinjer zamišljeno komentira: "Sjedim ovdje i zurim u te GPU-ove, i jednostavno ne mogu, a da ne razmišljam koliko je napredak tehnologije bio nevjerojatan. Sjećam se kako sam bio uzbuđen kad sam dobio 60 GB HDD još 2004. godine. Mislim, svi filmovi i igre koje sam mogao pohraniti?! Preskočimo 20 godina unaprijed, i sad imam više nego trostruko veći kapacitet pohrane samo u grafičkim karticama jednog stroja... Tjera me na razmišljanje, što ćemo raditi za još 20 godina?!"