Nvidia izdala aplikaciju za kreiranje personaliziranog AI chatbota

'Budući da se sve izvodi lokalno na vašem računalu, dobit ćete brze i pouzdane rezultate', napominje Nvidia na svojim stranicama

Matej Markovinović srijeda, 14. veljače 2024. u 18:17

Nvidia je ovoga tjedna izdala ranu verziju aplikacije Chat with RTX, koja omogućuje pokretanje osobnog AI chatbota na računalu korisnika za izvršavanje zadataka kao što su sažimanje videozapisa na YouTubeu te velikih tekstualnih dokumenata.

Sve radnje obavljaju se lokalno na računalu, a za funkcioniranje aplikacije potreban je GPU serije RTX 30 ili 40 s najmanje 8 GB VRAM-a.

„Chat with RTX je demo aplikacija koja omogućuje personalizaciju GPT velikog jezičnog modela (LLM) povezanog s vašim vlastitim sadržajem. Koristeći generiranje proširenog dohvaćanja (RAG), TensorRT-LLM i RTX ubrzanje, možete postavljati upite chatbotu kako biste brzo dobili kontekstualno relevantne odgovore. Budući da se sve izvodi lokalno na vašem računalu, dobit ćete brze i pouzdane rezultate“, napominju iz Nvidije.

Sistemski preduvjeti za pokretanje aplikacije Chat with RTX.  📷 Foto: Nvidia
Sistemski preduvjeti za pokretanje aplikacije Chat with RTX. Foto: Nvidia

Iako je Chat with RTX još u ranoj, testnoj fazi, vidljivo je da je više usmjeren prema developerima nego prema krajnjim korisnicima. Instalacija aplikacije uključuje postavljenje web servera i Python instance na PC-ju. Unatoč tome, sposobnost aplikacije Chat with RTX da sažima i analizira videozapise s YouTubea, PDF dokumente i druge datoteke, bez potrebe za obradom podataka sa servera na oblaku, ističe potencijal lokalnih AI chatbotova za osobnu upotrebu u budućnosti.

Kako Chat with RTX radi u praksi, pogledajte u videu kojeg prilažemo u nastavku.