Lokalni AI modeli

Svoj AI na svom računalu – ušteda?

Testirali smo brzinu izvođenja i potrošnju energije lokalnih AI modela na dva različita hardvera: Asusovom Ascendu GX10 sa 128 GB unificiranog RAM-a tipa LPDDR5, te na računalu opremljenom Nvidia RTX 4080 s 16 GB VRAM-a. Koliko je jeftinije pokretati ovakve modele doma od pretplate na trenutno najbolji AI u oblaku - Claude - te ako jest, koliko ima smisla koristiti ih?