MNN Chat - aplikacija za lokalno pokretanje modela generativne umjetne inteligencije
Riječ je o aplikaciji otvorena koda iza koje stoji Alibaba, jedno od najvećih imena kineske tehnološke industrije, a koja omogućava da se lokalno na pametnom telefonu pokreću i koriste veliki jezični i drugi generativni modeli…
| Naziv | MNN Chat |
| Namjena | Lokalno pokretanje velikih jezičnih modela |
| Android | Google Play |
| iOS | App Store |
| Cijena | Besplatan |
MNN Chat je aplikacija otvorena koda koja dolazi iz tvornice dobro poznatog kineskog tehnološkog diva Alibabe te se specijalizira za lokalno pokretanje velikih jezičnih modela na mobilnim uređajima, pri čemu se ono što nudi, a pod time se podrazumijeva obrada teksta, slika i zvuka, odvija isključivo na samom uređaju.
Drugim riječima, riječ je o idealnoj aplikaciji koja će se dopasti onima koji traže način da koriste koriste multimodalne modele generativne umjetne inteligencije s visokom razinom privatnosti. Nakon jednostavne instalacije, samo treba preuzeti jedan ili više podržanih modela putem Models Marketa, a podržani su Qwen, Gemma, DeepSeek, Llama, Baichuan, Yi, , InternLM, Phi i drugi.
Da bi stvar bila još bolja, modele je moguće preuzimati s više izvora (ModelScope, HuggingFace i Modelers), a jednom kada je sve spremno, modeli će se učitati lokalno te je moguće početi dijalog. Osim toga, tu je i jednostavan benchmark kojim se lako može procijeniti sposobnosti pametnog telefona što se tiče lokalne inferencije.
Što se samih performansi tiče, aplikacija se oslanja na MNN‑LLM runtime optimiziran za rad na CPU‑u, uz podršku za OpenCL te za Qualcommov NPU, a to znači da će se noviji telefoni bolje nositi sa zahtjevima lokalnog pokretanja generativnih modela. Što se privatnosti tiče, a kako je riječ o aplikaciji iza koje stoji Alibaba, prostora za zabrinutost ne bi trebalo biti.
Naime, MNN Chat se može koristiti bez otvaranja korisničkog računa, a sav se sadržaj chata (tekst, slike, zvuk) obrađuje isključivo lokalno na uređaju. Ipak, na umu valja imati da će se prikupljati podaci kao što je model uređaja, verzija OS‑a, verzija aplikacije, IP adresa uređaja te logovi, no sve bi trebalo biti anonimno, ako je vjerovati politici privatnost.
Sve se može koristiti sasvim besplatno, no treba uskladiti i očekivanja, ovo je aplikacija koja će najkorisnija biti onima koji žele eksperimentirati s modelima lokalno te testirati performanse različitih konfiguracija ili pametni telefon pretvoriti u maleni i privatni AI sustav, ali trebaju biti svjesni da modeli zauzimaju prilično prostora unutarnje memorije telefona, a i za ugodnije korištenje, potrebni su hardverski snažniji uređaji.
