Tri stvari su se poklopile da bi lokalni AI uopće bio moguć i praktičan.

Prvo, modeli su postali dovoljno mali i učinkoviti da ih se može pokrenuti na kućnom hardveru. Llama 3, Mistral 7B, Phi, Qwen, DeepSeek — sve su to modeli koji ne zahtijevaju serversku sobu, nego solidno kućno računalo ili mini-PC s dovoljno radne memorije. Derivate Llame derivati dugo su dominirali, ali danas su ih zamijenili modeli poput Qwena, DeepSeeka i Mistrala.

Drugo, alati za pokretanje tih modela dramatično su se pojednostavili. Ollama funkcionira kao neka vrsta upravitelja paketima za LLM-ove — model se pokrene jednom naredbom i odmah je spreman. LM Studio, Jan i GPT4All nude grafičko sučelje za korisnike koji ne žele terminal. Za programere tu su llama.cpp i HuggingFaceov text-generation-inference poslužitelj. Ono što je prije godinu-dvije zahtijevalo ozbiljno poznavanje Linuxa i CUDA stoga, danas se može složiti za jedno popodne.

Treće, privatnost i kontrola nad podacima postaju sve relevantniji argument — posebno kad se od AI-ja traži da čita osobne dokumente, poruke i fotografije.

No treba biti iskren: i dalje se radi o hobiju ili profesionalnoj potrebi, a ne o nečem što ima smisla za prosječnog korisnika. Lokalni modeli po kvaliteti zaostaju za vodećim sustavima u oblaku, a razlika nije mala — radi se o redovima veličine u parametrima, podatcima za treniranje i računalnoj snazi. No što god stavite u unificiranu memoriju ili VRAM grafičke kartice, tome oblačni modeli pariraju bez muke.

Što treba, što košta i zašto je to važno znati

Tipični kućni AI poslužitelj koji entuzijasti slažu može biti stari gaming PC, NUC ili Mac mini koji radi neprekidno. Arhitektura je obično ovakva:

Pozadinski sloj (backend) — poslužitelji modela:

• Ollama — najjednostavniji za početak, dostupan na ollama.com; podržava Windows, macOS i Linux
• LocalAI — više opcija za konfiguraciju, kompatibilan s OpenAI API-jem; localai.io
• llama.cpp — maksimalne performanse za napredne korisnike, izravno s GitHuba
• LM Studio — grafičko sučelje koje uključuje i backend; lmstudio.ai

Prednji sloj (frontend) — chat sučelja:

• Open WebUI — najčešće korišten, bogat funkcijama; openwebui.com
• AnythingLLM — naglasak na RAG i rad s dokumentima; anythingllm.com
• Jan — jednostavno all-in-one rješenje; jan.ai
• GPT4All — offline-first, bez potrebe za terminalnim znanjem; nomic.ai/gpt4all

Agenti i automatizacija:

• n8n — vizualni alat za automatizaciju tijekova rada; n8n.io
• Home Assistant — integracija s pametnim domom; home-assistant.io

Za programere koji žele AI pomoć pri pisanju koda, postoji zasebna kategorija alata — Aider, Continue, Cursor i drugi — koji se integriraju direktno u razvojna okruženja poput VS Code-a ili PyCharma. Kombinacije poput aider + lokalni Qwen 2.5 Coder kao arhitekt + brzi model kao editor postaju uobičajene u hobističkim i profesionalnim postavljanjima podjednako.

RAG i kontekst: gdje lokalni modeli stvarno zapnu

Lokalne datoteke, PDF-ovi i dokumenti mogu se indeksirati i učiniti dostupnima modelu kroz RAG (retrieval-augmented generation, dohvat uz generiranje) — mehanizam koji AI-ju daje kontekst iz vlastitog sadržaja umjesto da se oslanja isključivo na treniranje. U teoriji zvuči primamljivo: AI koji "zna" što piše u vašim dokumentima.

U praksi postoje ozbiljna ograničenja. Lokalni modeli imaju relativno mali kontekstualni prozor — u pravilu do 128 k tokena, što za veće dokumente ili knjige nije dovoljno bez stalnog brisanja konteksta. Dio R iz RAG-a — dohvat relevantnih odlomaka — na lokalnom hardveru može biti spor bez obzira na procesor. Na RAG, naime, grafička kartica nema nikakvog utjecaja. RAG dobro funkcionira za kraće i strukturirane dokumente; za opsežne materijale postaje zamorno upravljati kontekstom ručno.

Pitanje je i smislenosti: za kućnu upotrebu, što zapravo treba pretražiti po vlastitim dokumentima uz AI? Vlastita korporativna pravila? Digitalizirani recepti? Za većinu ljudi to nije čest scenarij koji opravdava složenost postavljanja.

Perplexity: sve je to previše komplicirano za kućne majstore

Na svojoj prvoj razvojnoj konferenciji Ask 2026, održanoj — s određenom dozom namjerne simbolike — u bivšoj crkvi u San Franciscu, Perplexity je 11. ožujka predstavio proizvod nazvan, ne baš maštovito, Personal Computer.

Ideja je jednostavna: Mac mini koji radi neprekidno, spojen na Perplexityjev oblak, s punim pristupom lokalnim datotekama i aplikacijama. AI agent koji funkcionira kao digitalni pomoćnik: čita, organizira i radi umjesto korisnika, a može ga se kontrolirati s bilo kojeg uređaja, bez obzira na lokaciju.

Tehnički, Personal Computer nije hardver koji Perplexity proizvodi — to je softver koji se instalira na korisnički Mac mini. Obrada se odvija na Perplexityjevim poslužiteljima, dok lokalna komponenta služi kao most prema lokalnim datotekama i aplikacijama. Za svaku osjetljivu radnju potrebna je potvrda korisnika, sve se akcije bilježe, a prekidač za isključenje uvijek postoji.

Sustav koristi više različitih frontier modela — kada dobije zadatak, dijeli ga na podzadatke i distribuira ih specijaliziranim podsistemima. Jedan prikuplja podatke, drugi uređuje dokument, treći eventualno generira kod koji automatizira cijeli proces. Korisnik komunicira s "projektnim menadžerom" koji koordinira ostale.

I tu treba zastati. Rješenje koje Perplexity nudi nije lokalno u tehnički relevantnom smislu — AI obrada se odvija u oblaku, a Mac mini je samo sučelje prema lokalnom sustavu datoteka. Privatnost, koja je jedan od glavnih argumenata za lokalni AI, ovdje je samo djelomična. Za potpunu privatnost ionako bi trebalo koristiti vlastite modele bez ikakvog oblačnog posrednika.

Ciljana publika, prema riječima samog direktora Aravinda Srinivasa, su oni koji "ne žele konfigurirati stotine API ključeva i konfiguracijskih datoteka." Cijena za tu jednostavnost: 200 dolara mjesečno (ili 2.000 dolara godišnje), dostupno samo pretplatnicima Perplexity Max plana, zasad samo za Mac, i potrebno je predbilježiti se za pristup.

Je li to razumna cijena? Teško je zamisliti kućni scenarij koji to opravdava. Za profesionalne korisnike s konkretnom potrebom — možda. Za prosječnog entuzijasta — vjerojatno ne.

Mac mini i druga mala AI računala

Mac mini je tiho postao omiljena platforma hobista koji grade vlastite AI poslužitelje: Appleovi Silicon čipovi s visokom propusnošću memorije pogoduju LLM-ovima, uređaj je tih i energetski učinkovit, a model M4 Pro s 64 GB radne memorije već se koristi kao ozbiljna lokalna platforma za srednje velike modele. Ipak, treba imati na umu da je to najjači model – daleko najveći broj korisnika koristi modele sa 16-32 GB, posebice sada kada su cijene memorija nevjerojatno visoke.

No Mac mini nije jedina opcija. Postoji cijela kategorija malih računala s arhitekturom dijeljene memorije kojoj istovremeno pristupaju i AI i glavni procesor — u rasponu do 128 GB LPDDR-a. Ta memorija je skupa, pa su i uređaji skupi: kvalitetno kućno AI računalo s dovoljno memorije za veće modele lako prelazi 4.000 eura, bez pretplate na neki servis.

Hobisti koji preferiraju online servise, ali s lokalnijim osjećajem, često koriste LM Studio Notebook — rješenje koje radi u pregledniku, ali može koristiti lokalne modele. Za mnoge koji ne žele u potpunosti vlastitu infrastrukturu, to je razumni kompromis.

Zaključak: infrastruktura ili igračka?

Za određene korisnike — profesionalne programere koji žele lokalni AI u razvojnom okruženju, istraživače koji rade s osjetljivim podacima, entuzijaste s konkretnim tehničkim interesom — lokalni AI poslužitelj ima smisla. Složenost je realna, ograničenja su realna, ali i korist može biti realna.

Za sve ostale, iskreni odgovor je: oblačni modeli su neusporedivo bolji, dostupni bez ikakve infrastrukture, a prosječnom korisniku koji AI koristi sat-dva tjedno kućni poslužitelj koji radi 24 sata ne donosi ništa osim računa za struju.

Perplexityjev Personal Computer ciljano se prodaje kao "AI operativni sustav koji prima ciljeve umjesto naredbi" — i to je zanimljiva konceptualna promjena. No između zanimljive ideje i opravdane pretplate od 200 dolara stoji jedno važno pitanje: koji je to konkretni problem koji ovo rješava, a koji se ne može riješiti jeftinije i jednostavnije?

Za sada, dobar odgovor na to pitanje još nije stigao.