Private AI - praktična aplikacija za lokalno pokretanje i interakciju s velikim jezičnim modelima
Rješenja generativne umjetne inteligencije polagano postaju sastavnim dijelom naše svakodnevnice, a najčešće se koriste veliki jezični modeli. No, oni koji bi radije izbjegli dijeljenje svojih podataka, neke modele mogu pokretati i lokalno, čak i na svojem smartfonu…
| Naziv | Private AI |
| Namjena | Omogućuje pokretanje LLM-ova izravno na pametnom telefonu |
| Android | Google Play |
| iOS | Nema |
| Cijena | Besplatan / 10,99 eur (Unlimited access) |
Postoji više načina kako se popularni veliki jezični modeli otvorena koda mogu izvršavati na pametnima telefonima, no aplikacija baš kao što je Private AI čitavu tu stvar čini maksimalno jednostavnom.
Nije riječ o aplikaciji koja nudi mnogo mogućnosti, ali omogućava da se na lagan način lokalno preuzme neki od podržanih velikih jezičnih modela (trenutačno ih nudi ukupno 18, ali treba imati i dovoljno slobodnog memorijskog prostora), te se kroz prepoznatljivo sučelje s time modelima razgovara, baš kao što bi se to radilo s ChatGPT-em ili Copilotom.
Nakon tipične instalacije, automatski će se preuzeti prvi dostupni model (Rocket 3B Q8), a onda je dovoljno unijeti upit i pričekati da se generira odgovor. Naravno, performanse su daleko od onih kakve nudi ChatGPT, Claude, Copilot ili Gemini, a i sve izravno ovisi o hardverskim mogućnostima samoga smartfona.
Nekih posebno naprednih značajki nema, ali je tu mogućnost pokretanja razgovora tako da se naznači da se odabrani model ponaša kao asistent, dok je također moguće svakom modelu dodijeliti i neku drugu ulogu.
Osim toga, u svakom se trenutku može zamijeniti model (svaki je i potrebno preuzeti), ali ako se žele na raspolaganju imati svi modeli (samo ih je nekoliko dostupno besplatno), onda je potrebno platiti 10,99 eura da bi se dobio neograničeni pristup. Isto vrijedi ako se žele dodavati i vlastite GGUF datoteke (riječ je o formatu koji se koristi za pohranu kvantiziranih AI modela).
