Ollama uz OpenWebUI - Generativna umjetna inteligencija

Ovdje je zapravo riječ o dva odvojena rješenja, koja se distribuiraju i kao dvije odvojene Dockerove slike, što znači i da će biti pokrenuta dva kontejnera.Međutim, umjesto da ih se odvojeno preuzima preko Docker Desktopa (premda se može i tako napraviti), uputno je napraviti konfiguracijsku datoteku docker-compose.yml (lako je sve pronaći, uz malo guglanja) te ih tako upogoniti

Matija Gračanin subota, 1. ožujka 2025. u 06:00

No, o čemu je točno riječ? Ollama je već dobro etablirano višestruko platformsko rješenje koje omogućuje iznimno jednostavno pokretanje i korištenje velikih jezičnih modela, poput Llama, Mistral, pa čak i nedavno objavljenog DeepSeek-R1, i to lokalno, na računalu. OpenWebUI, s druge strane, predstavlja intuitivno sučelje koje omogućuje različite načine korištenja modela isporučenih preko Ollamina API-ja. Drugim riječima, nakon što je Ollama postavljena i aktivna preko Dockera (uz zadržavanje zadanog porta), potrebno je pokrenuti i OpenWebUI. Najjednostavniji način za to jest zaobići Docker Desktop te unijeti naredbu pronađenu na službenoj web-stranici OpenWebUI-ja (https://docs.openwebui.com/). Još bolja opcija je koristiti Docker Compose ili sve konfigurirati preko Portainera. Jednom kada je OpenWebUI postavljen, valja otvoriti njegovo sučelje, napraviti korisnički račun, a onda je prva stanica pronaći postavke (klikne se na ime korisničkog računa u donjem lijevom dijelu prozora, te zatim na Settings), a onda se klikne na Admin Settings. Zatim valja kliknuti na Models, a onda kliknuti na opciju Manage Models, koja se krije iza ikone koja obično označava preuzimanje (nalazi se u desnom dijelu prozora). Tu u polje Pull a model from Ollama.com valja unijeti naziv modela koji se želi koristiti (popis svih modela dostupan je na Ollaminim stranicama) te pričekati da se preuzimanje modela dovrši. Nakon toga, u glavnom sučelju može se otpočeti dijalog s velikim jezičnim modelom koji se izabere, pri čemu je moguće slati i datoteke, generirati kôd, a tu je i posebno zgodna mogućnost Arena Model, kod koje će se istodobno dobivati odgovore od dva ili više modela, kao i brojni drugi detalji. U svakom slučaju, itekako vrijedi probati. 

Članak dostupan pretplatnicima

Kako bi mogao pročitati cijeli članak, moraš biti prijavljen na Bug.hr sa svojim podacima te imati status pretplatnika.

Bug 388 ožujak 2025.

Docker i deset ponajboljih aplikacija za kućne korisnike