Besplatni "frontier" model u vlastitoj sobi? Malo sutra
Škaklja vas ideja da skinete neki od golemih kineskih open-weight modela i pokušate ga potjerati na nekom lokalnom hardveru i razmišljate kakav bi taj hardver trebao biti? Ne? Nema veze, svejedno smo izračunali čega nam i koliko treba i za takvu egzibiciju
Pitanje se na forumima ponavlja svaki tjedan: mogu li lokalnim modelom zamijeniti Claude ili GPT? Za (mali) dio posla odgovor je da - više puta smo pisali o tome i testirali takve modele. Međutim, ljudi ne bi bili to što jesu da ih ne škaklja pitanje 'A jel' bih ja mogao ako si kupim Mac Studio ili M3 Ultra na njima pokrenuti nešto u tom stilu samo ako si stavim dovoljno memorije?'