Unsloth Desktop na testu - dvostruko brži lokalni AI
Unsloth je objavio besplatnu desktop aplikaciju koja pod istim krovom spaja chatbota, preuzimanje modela, RAG, deep research i treniranje. Testirali smo je na RTX-u 4080 i na potpuno istom modelu izmjerili dvostruko veću brzinu nego u Ollami
Tko se posljednjih godinu dana igrao s lokalnim jezičnim modelima, vjerojatno na disku ima cijelu menažeriju AI alata i modela. LM Studio za probavanje modela, Ollamu kao poslužitelj ispod drugih programa, Open WebUI za pristojno sučelje, pa još nešto za treniranje. Svaki od njih radi jednu stvar dobro i tri osrednje, a modeli se preuzimaju po tri puta jer svaki ima svoj direktorij za download. To je nama naša AI dala.
