Svoj AI na svom računalu – ušteda?
Testirali smo brzinu izvođenja i potrošnju energije lokalnih AI modela na dva različita hardvera: Asusovom Ascendu GX10 sa 128 GB unificiranog RAM-a tipa LPDDR5, te na računalu opremljenom Nvidia RTX 4080 s 16 GB VRAM-a. Koliko je jeftinije pokretati ovakve modele doma od pretplate na trenutno najbolji AI u oblaku - Claude - te ako jest, koliko ima smisla koristiti ih?
Cijena korištenja AI-ja kroz programska sučelja (API) raste zajedno s kvalitetom modela. Claude Sonnet 4.6 košta 13,95 € po milijunu izlaznih tokena, a Claude Opus 4.7 čak 69,75 €. Uz intenzivno korištenje - automatizacije, analiza koda, obrada dokumenata - račun može postati ozbiljan. Nije čudo što sve više korisnika razmišlja o tome da modele pokrenu lokalno, na vlastitom hardveru.