Lokalni LLM-ovi i slikovni modeli - Kako koristiti generativne modele na svojem računalu?
Danas nije potrebno imati na raspolaganju serverske farme ispunjene specijaliziranim karticama s moćnim grafičkim procesorima, kako bi se moglo koristiti modele generativne umjetne inteligencije, već će biti dovoljna čak i prosječna osobna računala, koja ne moraju nužno imati snažni GPU, niti moraju biti opremljena NPU-om
Slavni pametni asistenti, kao što su ChatGPT, Claude ili Copilot, rade u oblaku, tako se postavlja i pitanje sigurnosti i privatnosti. Istina, u nekima je moguće naznačiti kako se ne želi da se podaci koji se unose koriste za treniranje i dodatno prilagođavanje, no nikad nije sasvim sigurno koliko se to doista i poštuje. Jedno od rješenja kako bi se tome doskočilo, jest preuzeti neki od velikih jezičnih modela (LLM-ova) te ga koristiti lokalno na vlastitom računalu, osiguravajući tako da podaci koji se razmjenjuju s modelom ostanu privatni.
