Doznali smo sve detalje superračunala koje uskoro stiže u DHMZ

Slijedom vijesti da će Državni hidrometeorološki zavod početi koristiti Atosovo superračunalo BullSequana vrijedno preko 10 milijuna kuna, obratili smo se Atosu za tehničke detalje

Sandro Vrbanus četvrtak, 29. listopada 2020. u 06:00

Prošloga tjedna objavili smo vijest o tome da će Državni hidrometeorološki zavod nabaviti Atosovo superračunalo BullSequana XH2000, u sklopu ugovora vrjednijeg od 10 milijuna kuna. Kako njihovo priopćenje nije obilovalo tehničkim detaljima koji su našim čitateljima zanimljivi, obratili smo se izravno Atosu kako bismo doznali nešto više detalja o ovom superračunalu.

Na naša pitanja, ekskluzivno za Bug.hr, odgovorio je Hrvoje Strepački, voditelj razvoja poslovanja za HPC u Atosu.

Za početak, kako je došlo do suradnje s DHMZ-om?

Do suradnje je došlo u sklopu DHMZ-ovog EU projekta AirQ – Proširenje i modernizacija državne mreže za trajno praćenje kvalitete zraka. Ovaj projekt DHMZ provodi u suradnji s Institutom za medicinska istraživanja i medicinu rada iz Zagreba, a financira se iz Europskog fonda za regionalni razvoj (85%) i Fonda za zaštitu okoliša i energetsku učinkovitost (15%). Jedan od ciljeva projekta je uspostava modela prvenstveno za procjenu prizemnih koncentracija onečišćujućih tvari kroz nadogradnju računalne infrastrukture za potrebe funkcioniranja Državne mreže za trajno praćenje kvalitete zraka te za potrebe održivosti rada mreže meteoroloških mjerenja koja se modernizira kroz strukturni EU projekt METMONIC. Superračunalo će se koristiti i za numeričke analize i prognoze stanja atmosfere i mora na raznim prostornim i vremenskim skalama.

Hrvoje Strepački, Atos
Hrvoje Strepački, Atos

Naime, superračunalo koje se trenutno koristi u DHMZ-u nabavljeno je prije sedam godina i procijenjeno je da ima nedostatan kapacitet da se zadovolje sve trenutne potrebe, kao i potrebe u budućnosti, s obzirom na planirane aktivnosti u radu. Iste godine kada je DHMZ započeo svoje aktivnosti oko istraživanja tržišta u domeni superračunala, Atos je lansirao svoju novu liniju računala visokih performansi (high performance computing – HPC) BullSequana XH2000. Nova linija na tržište donijela je brojne novitete. Tako je BullSequana XH2000 bilo prvo superračunalo na svijetu koje koristi AMD EPYC Rome generaciju procesora sa 64 jezgre, nema ventilatora, već za hlađenje apsolutno svih komponenti gotovo 100% koristi tekućinu (Direct Liquid Cooling – DLC) i ima jedinstveno pakiranje u jednom ormaru.

Atos je europski lider u domeni superračunala i na projektima za prognostičke centre imamo zaista veliko iskustvo. Europski centar za srednjoročne vremenske prognoze (ECMWF), Meteo France, Njemački klimatski računalni centar (DKRZ), španjolski AEMet, Kraljevski nizozemski meteorološki institut, samo su neke od naših referenci. Osim toga, naša lokalna prisutnost i više od 230 stručnjaka koje zapošljavamo u Hrvatskoj čini nas ozbiljnim partnerom na domaćem tržištu u području digitalne transformacije.

Možete li za naše čitatelje reći nešto više o tehničkim karakteristikama superračunala BullSequana XH2000?

BullSequana XH2000 dio je Atosovog Extreme Computing portfelja, koji uz HPC čine još i Quantum Computing, High End serveri i integrirana rješenja. Kada se govori o superračunalima, osim performansi i korištenja najnovije tehnologije, ti sustavi moraju savršeno zadovoljiti potrebe aplikacija i korisnika. Atosov HPC razvojno-istraživački odjel dizajnirao je seriju poslužitelja BullSequana X koja pruža maksimalnu fleksibilnost u pogledu međusobnog povezivanja, napajanja i hlađenja te pokriva najširi mogući spektar aplikacija. Superračunala BullSequana X nude beskrajno prilagodljivo rješenje, s velikim izborom računalnih čvorova, ubrzanih čvorova i specijaliziranih čvorova. Ovo mnoštvo komponenti može se kombinirati na potpuno prilagođen način u jedan sustav.

Visoke performanse i efikasnost postižemo sinergijom računalne snage vlastitih (on-premise) sustava i infrastrukture rješenja u oblaku. Upravo ovakvim hibridnim scenarijima svojim korisnicima osiguravamo znatno veći raspon HPC mogućnosti. Iz tog razloga u naziv superračunala BullSequana XH2000 uključeno je slovo „H“ koje stoji za „hibridno“. BullSequana XH2000 je među prvim sustavima na tržištu koji na istoj platformi mogu obavljati intenzivne računalne operacije, memorijski zahtjevne procese, AI (artificial intelligence – umjetna inteligencija) simulacije i opterećenja kod dubokog učenja (deep learning). BullSequana XH2000 je zapravo platforma koja se kroz fleksibilnu konfiguraciju i izbor komponenti prilagođava konkretnim potrebama korisnika. Sama platforma je modularna pa je moguće kombinirati različite modele i vrste procesora (Intel, AMD, Nvidia). Svojom arhitekturom i dizajnom lako zamjenjivih modula može osigurati sve potencijalne nadogradnje u budućnosti. Računalni sustavi bazirani na BullSequana XH2000 platformi mogu početi kao vrlo mali (u jednom računalnom ormaru) i rasti do exascale razmjera, što podrazumijeva 1018 operacija s pomičnim zarezom u sekundi.

BullSequana XH2000 fleksibilno pakiranje
BullSequana XH2000 fleksibilno pakiranje

Naša superračunala imaju posebnu prednost zbog vlastite tehnologije hlađenja. Atosova DLC tehnologija je inovativno rješenje za hlađenje toplom vodom bez ventilatora. Sve kritične komponente BullSequana XH2000 superračunala hlade se upravo na tom principu. Hidraulične šasije za hlađenje su redundantne i smještene u isti ormar, a DLC tehnologijom hlade se računalni čvorovi, jedinice za napajanje, upravljački i mrežni preklopnici. To u praksi znači da je ovakvo računalo moguće hladiti toplom vodom do temperature od čak 40°C, čime se ostvaruju značajne uštede. To sve omogućuje faktor iskoristivosti električne energije podatkovnog centra (power usage effectiveness – PUE) vrijednosti ispod 1.1.

Upravljački sustav superračunala konstantno motri potrošnju energije i dinamički ju prilagođava opterećenju računala. Time se optimizira potrošnja tijekom životnog ciklusa superračunala i omogućuje njegova dulja uporaba. Atosova linija superračunala BullSequana prednjači pri efikasnosti utroška električne energije. Količina topline koju DLC sustav hlađenja preuzme s komponenti sustava veća je od 98%, što dovoljno govori o efikasnosti ovakvog načina hlađenja. Dostupna su dva režima hlađenja, s niskom ili visokom internom temperaturom. Režim s niskom internom temperaturom karakterizira visok protok vode, izlazna temperatura koja ovisi o ulaznoj i niže rasipanje topline u okolinu. Režim s visokom internom temperaturom karakterizira manji protok, izlazna temperatura koja je uvijek na maksimumu i ponovno korištenje topline koja nastaje. Kod većih sustava, toplina koja se stvara koristi se npr. za grijanje radnog prostora.

Koja je konfiguracija ugrađena u ovaj sustav te koja mu je maksimalna procesorska snaga?

Superračunalo BullSequana XH2000 za DHMZ sastojat će se od 96 računalnih čvorova (na ukupno 32 bladea, svaki s po 6 AMD EPYC Rome procesora takta 2.6GHz). To daje ukupno 12,288 jezgri i računalnu snagu od 373 TFlopsa. Svaki računalni čvor opremljen je s 256GB RAM (ukupno 24TB), direktno dostupnih operativnom sustavu.

Za smještaj podataka predviđeno je 250TB iskoristivog prostora za koji će brinuti DDN EXAScaler SFA7990 s Lustre paralelnim datotečnim sustavom.

Sve komponente međusobno će komunicirati preko Mellanox Infiniband HDR rješenja, a sve poslužitelje pogonit će RedHat Linux.

Kako, prema karakteristikama, stoji ovaj sustav u usporedbi s drugim superračunalima trenutačno instaliranima u Hrvatskoj, a kako u svjetskim okvirima?

Od ranije u Hrvatskoj postoji Atosovo superračunalo na Sveučilištu u Rijeci. Superračunalo BURA pušteno je u pogon 2015. godine. Bazirano je na tadašnjoj BullX DLC B720 HPC generaciji računala, čija su osnova bili Intel Xeon E5-2600 V3 Haswell procesori s 12 jezgri. To računalo ima ukupno 288 računalnih čvorova sa 6912 jezgri i ukupnu snagu od 234 TFlopsa. Usporedbe radi, superračunalo koje nabavlja DHMZ bit će otprilike 60% jače.

Iako se nalazi u prvih pet instaliranih računala u RH, superračunala kao ovo koje nabavlja DHMZ su još uvijek relativno „mala“ u svjetskim razmjerima. Samo za usporedbu, računala u francuskom i njemačkom nacionalnom meteorološkom centru su i do 40 puta veća. Ako pogledamo HPCG listu iz lipnja ove godine, DHMZ-ovo superračunalo može se smjestiti negdje oko 120. mjesta. Projekt HPCG (High-Performance Conjugate Gradients) pokušava stvoriti novu metriku za rangiranje HPC sustava i zamišljen je kao nadopuna referentnoj vrijednosti HPL (High Performance LINPACK), koja se trenutno koristi za rangiranje računalnih sustava na listi TOP500. Trenutno najsnažnije Atosovo superračunalo instalirali smo u Francuskoj agenciji za atomsku i alternativne energije (CEA). Ono se nalazi  na 13. mjestu na HPCG listi, dok je na globalnoj ljestvici TOP500 na 20. poziciji. Ažurirane liste očekuju se u studenom.

Kada se očekuje isporuka superračunala DHMZ-u i njegovo puštanje u rad? Gdje će ono biti instalirano?

Isporuka superračunala BullSequana XH2000 planirana je početkom sljedeće godine, a puštanje u rad očekuje se krajem travnja. Računalo će biti smješteno u podatkovnom centru na lokaciji DHMZ-a.