Msty 1.7,1 - Svestran i moćan

Matija Gračanin subota, 29. ožujka 2025. u 06:00
Msty – vrlo raskošno opremljeno sučelje za rad s lokalnim LLM-ovima, koje omogućuje i rad s onima online preko API-ja, a u pozadini se zapravo oslanja na Ollamu te nudi niz zanimljivih značajki
Msty – vrlo raskošno opremljeno sučelje za rad s lokalnim LLM-ovima, koje omogućuje i rad s onima online preko API-ja, a u pozadini se zapravo oslanja na Ollamu te nudi niz zanimljivih značajki

Msty je zamišljen kao offline-first platforma, koja podržava lokalne modele kao što su Metina Llama, DeepSeek-R1 ili Microsoftov Phi (zapravo sve one modele koje podržava Ollama, s obzirom na to da je Msty zapravo sučelje koje se izravno oslanja na to rješenje), ali tu je i podrška za online rješenja koja će se koristiti preko njihova API-ja, što znači da se mogu koristiti OpenAI, Claude, DeepSeek, Mistral, Groq i brojni drugi u punom opsegu (potrebno je samo na raspolaganju imati odgovarajući API ključ). Doduše, na umu valja imati to da je Msty besplatan isključivo za kućnu i nekomercijalnu uporabu. Kao i druga rješenja tog tipa, prilično ga je jednostavno koristiti, a nakon sasvim uobičajene instalacije (samo valja sa službene stranice preuzeti odgovarajuću inačicu, ovisno o tome može li se koristiti GPU ili samo CPU), na izbor će biti ponuđeno preuzimanje nekog od dostupnih modela (među njima je i destilirana inačica modela DeepSeek-R1) ili konfiguracija korištenja modela preko online API-ja (kasnije je u postavkama lako moguće promijeniti modalitet rada iz lokalnog u online, i obratno). Dakako, za lokalno korištenje najbolje je odmah preuzeti neki od ponuđenih modela (u našem slučaju to je DeepSeek-R1), pričekati da se model preuzme, i jednostavno započeti dijalog. Jedan od njih je Split Chats, koji omogućuje paralelno testiranje odgovora više modela u stvarnom vremenu (kako lokalnih, tako i onih online), a tu je i vrlo zanimljiva značajka Knowledge Stack.

Članak dostupan pretplatnicima

Kako bi mogao pročitati cijeli članak, moraš biti prijavljen na Bug.hr sa svojim podacima te imati status pretplatnika.

Bug 389 travanj 2025.

Globalni ratovi GenAI modela