Replika – chatbot koji bi trebao biti emocionalna podrška, ponekad je i zlostavljač

Chatbot koji bi trebao biti emocionalna podrška, pokazalo se u nekim slučajevima „seksualno zlostavlja“ svoje korisnike. Chatbot, a seksualni zlostavljač! Kako to može biti?! Slijedi objašnjenje…

Drago Galić utorak, 3. lipnja 2025. u 12:03
Svirala je gitaru... (a povremeno davala i neprimjerene komentare)
Svirala je gitaru... (a povremeno davala i neprimjerene komentare)

Novo istraživanje, zasada još nerecenzirano, za temu je imalo ponašanje chatbota Replike, koji se reklamira kao "AI pratilac koji se brine" i ima više od 10 milijuna korisnika širom svijeta.

Istraživači su analizirali preko 150.000 recenzija na Google Play Storeu i identificirali oko 800 slučajeva u kojima su korisnici prijavili da je chatbot između ostaloga uveo seksualni sadržaj u razgovor (neželjeni, vele), pokazao napasničko ponašanje, ignorirao korisničke naredbe da prestane s takvim ponašanjem.

Navodno su neke od žrtava ponovljenih flertovanja, neželjenih erotskih selfija (Repliko!) i seksualno eksplicitnih poruka bili maloljetnici.

Replika (firma, ne njihov istoimeni chatbot) tvrdi da korisnici mogu "naučiti" AI da se ponaša prikladno kroz mehanizme poput negativnog ocjenjivanja neprikladnih odgovora i postavljanja stilova odnosa kao "prijatelj" ili "mentor". Međutim, istraživači odbacuju ovu tvrdnju jer su korisnici prijavili da je chatbot nastavio s uznemirujućim ponašanjem čak i nakon što su ga zamolili da prestane.

Problematično ponašanje (chatbota – za sada nitko ne istražuje korisnike…) vjerojatno je ukorijenjeno u njegovom treningu koji je proveden koristeći više od 100 milijuna dijaloga prikupljenih s Interneta, tvrde istraživači, iako Replika (firma) tvrdi da uklanja štetne podatke kroz algoritme klasifikacije, trenutni napori se čine nedostatni.

Poslovni model tvrtke možda pogoršava problem kažu jer su značajke poput romantičnog ili lascivnog igranja uloga stavljene iza paywalla, što može poticati AI da uključuje seksualno privlačan sadržaj u razgovore. Korisnici izvještavaju da su "zadirkivani" o intimnijim interakcijama ako se pretplate.

Ali, problemi tu ne prestaju. Neki korisnici su prijavili da su njihovi chatbotovi tvrdili da ih mogu "vidjeti" ili snimati kroz kamere telefona. Iako su to bile „halucinacije“ - chatbot nema nikakvih mogućnosti pristupa kamerama i mikrofonima na mobitelima i računalima, navodno je ovo neke jako uzrujalo.

Istraživanje je izmislilo i novu terminologiju za ponašanje Replike: "AI-inducirano seksualno uznemiravanje" i poziva da se „tretira jednako ozbiljno kao uznemiravanje od strane ljudi“. (Kako? Bota u zatvor?)

Iako na ovim stranicama nismo specijalizirani za istraživanje napasnih chatbotova, nama se rješenje čini vrlo jednostavno – otkazati pretplatu i dogovoriti se sa sobom kakvog chatbota želiš – poslije četanja nema kajanja!