Novi AI model Sveučilišta Delaware i Hefei analizira kratke videozapise i komentare kako bi predvidio koji sadržaji mogu potaknuti suicidalne misli – prije nego što postanu viralni. Tamošnji istraživači razvili su neuroski model koji kombinira medicinska znanja o faktorima rizika za samoubojstvo s obrascima iz stvarnih TikTok/Douyin video zapisa i komentara. Model procjenjuje vjerojatnost da će se ispod novog videa pojaviti komentari koji izražavaju suicidalne misli, što platformama daje svojevrsni sustav ranog upozorenja.

Za razliku od klasičnih algoritama moderacije, sustav odvojeno promatra ono što netko objavi i ono što gledatelji napišu nakon gledanja. AI razlikuje poznate medicinske teme poput beznađa ili samoozljeđivanja od novih trendova poput opasnih izazova među tinejdžerima i "viralnih videa slomljenog srca" ​koji tematiziraju težak prekid, odbacivanje ili gubitak partnera na emocionalno vrlo intenzivan, dramatičan način.

Filter sumnjivih klipova 

Takvi zapisi mogu sadržavati glumu, realne ispovijedi ili montaže poruka i fotografija, ali zajedničko im je da kod ranjivih korisnika mogu pojačati osjećaj beznađa, usamljenosti ili bezvrijednosti, što je razlog zašto ih model prepoznaje kao potencijalno rizične za poticanje suicidalnih misli.

Model je, pokazalo je istraživanje, na velikim skupovima TikTok/Douyin podataka nadmašio druge napredne alate te otkrio medicinski relevantne teme povezane s rizikom od suicidalnih misli. Autori naglašavaju da AI služi kao filter koji prioritetizira sumnjive klipove za ljudske moderatore, umjesto da ih automatski uklanja, što bi moglo smanjiti broj promašenih opasnih videa i pritisak na timove za moderaciju.