PocketPal AI - omogućava korištenje velikih jezičnih modela izravno na pametnom telefonu
Područje modela umjetne inteligencije, pogotovo velikih jezičnih modela, prilično je uzavrela pa ni ne čudi da postoji sve više raznovrsnih rješenja koja omogućuju korištenje LLM-ova. Tome izuzetak nije ni PocketPal za korištenje jezičnih modela lokalno na smartfonu…
| Naziv | PocketPal AI |
| Namjena | Nudi korištenje velikih jezičnih modela lokalno na telefonu |
| Android | Play Store |
| iOS | Nema |
| Cijena | Besplatan |
Premda je područje velikih jezičnih modela te općenito rješenja koja se temelje na modelima umjetne inteligencije posljednjih godinu ili dvije prilično turbulentna, nedavna je objava DeepSeeka čitavu stvar učinila još zanimljivijom. Tim više što postoji niz velikih jezičnih modela otvorena koda koji se mogu koristiti i lokalno.
Štoviše, uz odgovarajući hardver mogu se dobiti i prilično solidne performanse, a neki se modeli mogu koristiti i na nešto slabijim uređajima, čak i na pametnim telefonima. Srećom, premda se to čini prilično složeno, dostupna su različita rješenja koja lokalno korištenje LLM-ova čini doista jednostavnim, kako na računalima, tako i na pametnim telefonima.
PocketPal AI besplatna je aplikacija namijenjena Android pametnim telefonima koja omogućuje korištenje niza poznatih velikih jezičnih modela otvorena koda (većinom onih koji su dostupni na Huggin Faceu) lokalno, čime se štititi prizvanost jer se sve odvija izvanmrežno, a mogu se iskoristiti i neke napredne karakteristike danas dostupnih modela.
Nakon klasične instalacije, potrebno je izabrati neki od dostupnih modela, preuzeti ga, a onda i učitati kako bi se mogao otpočeti dijalog. Dakako, pritom na umu treba imati i da pametni telefon mora zadovoljiti neke minimalne hardverske karakteristike, ali jednako tako je dobro znati i da neki od dostupnih modela ne traže velike dostupne resurse.
Sama aplikacija nudi već šačici probranih modela koje je moguće preuzeti, ali je tu i mogućnost pretraživanja Huggin Facea, kao i opcija izravno učitavanja modela (učitava se GGUF datoteka). Osim toga, zgodno je i to što je moguće izvršiti i benchmark uređaja na temelju nekog od modela, a tu su i neke druge sitnice.
Ukratko, oni koji traže zbolja jednostavan način za korištenje LLM-ova otvorena izravno na pametnom telefonu, svakako bi trebali probati ovu besplatnu aplikaciju.
