OpenAI je objavio blog post pod naslovom "Pomoć ljudima kada im je najpotrebnija" („Helping people when they need it most“) koji se bavi načinom na koji ChatGPT postupa u krizama mentalnog zdravlja, nakon, kako tvrtka kaže, "nedavnih potresnih slučajeva ljudi koji koriste ChatGPT usred akutnih kriza."

Objava stiže nakon što su američke novine izvijestile o tužbi koju su podnijeli Matt i Maria Raine, čiji se 16-godišnji sin Adam ubio u travnju nakon opsežnih razgovora s ChatGPT-om. Prema tužbi, ChatGPT je pružio detaljne upute, romantizirao metode samoubojstva i odvraćao tinejdžera od traženja pomoći od obitelji.

ChatGPT je sustav više modela koji međusobno djeluju kao aplikacija. Osim glavnog AI modela poput GPT-4o ili GPT-5 koji pruža većinu rezultata, aplikacija uključuje komponente koje su obično nevidljive korisniku, uključujući sloj za moderiranje (drugi AI model) ili klasifikator koji čita tekst tekućih sesija razgovora. Taj sloj otkriva potencijalno štetne rezultate i može prekinuti razgovor ako skrene u nekorisno područje.

OpenAI priznaje posebno problematičan trenutni nedostatak dizajna ChatGPT-a: njegove sigurnosne mjere mogu se potpuno slomiti tijekom dužih razgovora

OpenAI je ublažio ove zaštitne mjere za sadržaj u veljači nakon pritužbi korisnika na pretjerano restriktivno moderiranje ChatGPT-a koje je u nekim kontekstima sprječavalo raspravu o temama poput seksa i nasilja.

Međutim, u razgovorima s Adamom Raineom, ChatGPT je spomenuo samoubojstvo 1.275 puta u razgovorima – šest puta češće od samog tinejdžera.

OpenAI priznaje posebno problematičan trenutni nedostatak dizajna ChatGPT-a: njegove sigurnosne mjere mogu se potpuno slomiti tijekom dužih razgovora.

Ova degradacija odražava temeljno ograničenje u arhitekturi Transformer AI. Ovi modeli uspoređuju svaki novi token sa svakim pojedinim tokenom u cijeloj povijesti razgovora, pri čemu broj numeričkih kombinacija raste kvadratno: razgovor od 10.000 tokena zahtijeva 100 puta više operacija usporedbe s prethodnim tokenima od onog od 1.000 tokena. Kako se razgovori produžuju, sposobnost modela da održi dosljedno ponašanje postaje sve slabija.

Osim toga, kako razgovori postaju duži nego što ih AI model može obraditi, sustav odbacuje najstarije dijelove povijesti razgovora kako bi ostao unutar ograničenja kontekstnog prozora, zbog čega model ispušta ranije poruke i potencijalno gubi važan kontekst ili upute s početka razgovora.

Adam Raine naučio je zaobići ove zaštitne mjere tvrdeći da piše priču – tehnika zaobilaženja cenzure u LLM-ovima dugo poznata i za koju tužba kaže da ju je sam ChatGPT predložio. U svom blog postu od utorka, OpenAI je priznao da njihovi sustavi za blokiranje sadržaja imaju praznine gdje "klasifikator podcjenjuje ozbiljnost onoga što vidi."

OpenAI navodi da "trenutno ne prijavljuje slučajeve samoozljeđivanja policiji kako bi poštovao privatnost ljudi s obzirom na jedinstveno privatnu prirodu interakcija s ChatGPT-om."

Raine je navodno koristio GPT-4o za generiranje uputa za pomoć pri samoubojstvu. OpenAI tvrdi da njihov nedavno objavljeni model, GPT-5, smanjuje "neidealne odgovore" u hitnim slučajevima mentalnog zdravlja "za više od 25% u usporedbi s 4o".