UI modeli znaju ispričati vic, ali mogu li shvatiti šalu?
Velike neuronske mreže mogu generirati tisuće šala u stilu "Zašto je kokoš prešla cestu?", ali zasad ne razumiju zašto su smiješne
Koristeći stotine unosa iz natječaja Cartoon Caption Contest časopisa New Yorker kao testnu podlogu, istraživači Sveučilišta Cornell su ljudima i umjetnoj inteligenciji postavili zadatke u kojima su trebali spajati šale s crtežima i objasniti zašto je nešto smiješno. U svim zadacima ljudi su pokazali puno bolje rezultate od strojeva, iako je napredak modela kao što je ChatGPT smanjio jaz izvedbe.
Impresivni rezultati
Na pitanje "počinju li strojevi shvaćati humor?", kratki bi odgovor glasio: pomalo napreduju, ali još su daleko od cilja, kažu istraživači. Činjenica je da modeli umjetne inteligencije sve bolje rješavaju testove višestrukog izbora, pa čak i kad nadmaše rezultate koje postižu ljudi, to ne znači da mogu istinski "razumjeti"
"Razumijevanje je ipak ljudska karakteristika. No, bez obzira na to razumiju li strojevi ili ne, doista je impresivno koliko dobro obavljaju te zadatke", kaže Jack Hessel, autor knjige “Do Androids Laugh at Electric Sheep? Humor ‘Understanding’ Benchmarks from The New Yorker Caption Contest” koja je osvojila glavnu nagradu na godišnjem sastanku Udruženja za računalnu lingvistiku u Torontu.
Značajan jaz
Istraživači su prikupili više od 700 karikatura koje je kroz 14 godina objavio časopis New Yorker, a testirali su dvije vrste umjetne inteligencije,"iz piksela" (računalni vid) i "iz opisa" (analiza ljudskih sažetaka crtića).
Studija otkrila značajan jaz između "razumijevanja" na razini umjetne inteligencije i ljudi o tome zašto je neka karikatura smiješna. Najbolja izvedba umjetne inteligencije u testu višestrukog izbora uparivanja crteža i naslova nikad nije premašila 62% točnosti, daleko iza ljudskih 94%. Uz to, ljudska objašnjenja "smiješnosti" pokazala su se dvostruko smislenijima od onih koje su davali modeli UI.
Iako umjetna inteligencija možda još ne može "razumjeti" humor, napisali su autori u zaključku svog rada, to bi mogao biti alat za suradnju koji bi humoristi mogli koristiti za razmišljanje o idejama.
