Što trebam za lokalno treniranje AI modela? - NPU ima smisla, ali i dalje vlada GPU
Unatoč činjenici da se naglasak počinje stavljati na NPU, kao ključnu komponentu u području umjetne inteligencije, GPU i dalje ostaje primarnim izborom, ne samo za izvršavanje modela umjetne inteligencije, nego i za njihovo treniranje. Postupak treniranja prilično je energetski i procesno zahtjevan, i za to je potrebno imati odgovarajući hardver, kao što je, primjerice, više jedinica možda i najpopularnije kartice za treniranje modela u svijetu, Nvidia A100
Trenutačno Nvidia drži više od 90 posto tržišta grafičkih procesora koji se koriste za treniranje AI modela, što ujedno objašnjava i strelovit rast cijene dionica, dok je A100 zbog svoje arhitekture (Ampere i Tensor Core jezgre) specifično prikladna da posluži za treniranje modela umjetne inteligencije. Ukratko, za stvaranje i inicijalno treniranje modela na opsežnom i posebno priređenom općem skupu podataka, potrebno je imati specijalizirani hardver, i teško će se izvoditi na kućnim računalima, čak i ako su opremljena snažnijim grafičkim karticama (nije sasvim nemoguće, ali nije ni vremenski isplativo).
