Karlo je gladan... memorije

Koliko VRAM-a zapravo troši kontekst na lokalnom modelu?

Jedna od zbunjujućih postavki na alatima za korištenje lokalnih modela je veličina konteksta, koja jede bitno više memorije nego bismo pomislili i čije stvarno zauzeće VRAM-a ne možemo „intuitivno“ predvidjeti jer ovisi o tipu i arhitekturi modela i mora se izračunati