MLC Chat - Eksperimentalni lokalni asistent
Zasad nema mnogo rješenja koja omogućuju da se na jednostavan način koriste poznati slobodno dostupni veliki jezični modeli, lokalno na pametnom telefonu, ali postoji nekoliko pristupa, s time da se u posljednje vrijeme populariziralo, zbog jednostavnosti, korištenje aplikacije MLC Chat, koja je dostupna i za telefone s Androidom, kao i za iPhone. Evo i kako je koristiti…
MLC Chat zapravo je još uvijek u demo fazi i, kad je riječ o Androidu, aplikacija koja je dostupna, namijenjena je ponajprije izvršavanju na Samsung S23 telefonima, koji dolaze s procesorom Snapdragon 8 Gen 2 (otvorena je kôda pa svatko može napraviti vlastitu inačicu optimiziranu za svoj telefon, prateći dostupne upute), no radit će i na drugim telefonima. Osim toga, aplikacija nije ni dostupna u službenoj trgovini, pa je potrebno skočiti na MLC-ovu stranicu (https://llm.mlc.ai/docs/deploy/android.html) te tamo pronaći i preuzeti APK, koji je onda potrebno i instalirati. Naravno, za to je potrebno omogućiti instalaciju aplikacija iz nepoznatih izvora, a na Samsungovim telefonima je obično potrebno isključiti i opciju Auto Blocker (samo je se potraži u postavkama i isključi). Nakon instalacije, uputno je sve ponovno uključiti.
