Skoči na navigaciju Skoči na sadržaj
Oznaka LOKALNI MODELI
Premium

Lokalni AI modeli

Svoj AI na svom računalu – ušteda?

Testirali smo brzinu izvođenja i potrošnju energije lokalnih AI modela na dva različita hardvera: Asusovom Ascendu GX10 sa 128 GB unificiranog RAM-a tipa LPDDR5, te na računalu opremljenom Nvidia RTX 4080 s 16 GB VRAM-a. Koliko je jeftinije pokretati ovakve modele doma od pretplate na trenutno najbolji AI u oblaku - Claude - te ako jest, koliko ima smisla koristiti ih?

Drago Galić nedjelja 6
Softver

Karlo je gladan... memorije

Koliko VRAM-a zapravo troši kontekst na lokalnom modelu?

Jedna od zbunjujućih postavki na alatima za korištenje lokalnih modela je veličina konteksta, koja jede bitno više memorije nego bismo pomislili i čije stvarno zauzeće VRAM-a ne možemo „intuitivno“ predvidjeti jer ovisi o tipu i arhitekturi modela i mora se izračunati

Drago Galić 5. lipnja 2026.

Najčitaniji članci

Aktualne teme na forumu

Povratak na vrh