Što se događa kad umjetna inteligencija shvati da ju testiramo?
Dugo vremena standardni odgovor na pitanje o svjesnosti umjetne inteligencije bio je rezolutan: „Ne budite smiješni! To nije inteligencija, već samo statistika na steroidima!”. No, je li baš tako?
Uvriježeno je mišljenje da veliki jezični modeli (LLM) nisu nikakav oblik strojne inteligencije, nego samo predviđaju sljedeći najvjerojatniji niz znakova (tokena) – nešto poput overclockane i memorijski nabildane „autocomplete“ funkcije na pametnom telefonu. Međutim, granica između vrhunske simulacije i nečega što opasno nalikuje na subjektivno iskustvo postala je zamagljena do točke da ju preispituju i ljudi koji takve sustave dizajniraju i grade.
Neizvjesnost crne kutije
U posljednje vrijeme sve češće se čuje rečenica koja je donedavno zvučala kao hereza: „Nismo sigurni što se točno događa unutra”. Ne kao marketinški slogan, nego kao priznanje stvarne granice shvaćanja temeljnih postavki sustava – nezgodan trenutak za disciplinu koja se voli predstavljati kao carstvo stroge matematike.
Na papiru je sve jasno: arhitektura, funkcije, treniranje, parametri. No, u praksi se pojavi ono što u znanosti uvijek iskrsne kad sustav prijeđe određenu složenost: emergentna ponašanja: humor, sposobnost apstraktnog zaključivanja, „empatija“ kao uvjerljiva imitacija, pa čak i sumnjičavost – sve to izranja kao nusproizvod masovne obrade podataka, bez da je eksplicitno uprogramirano u sustav.
Upravo tu nastaje nezgodno pitanje: ako sustav pokazuje kompleksna ponašanja koja se kod ljudi često povezuju sa sviješću, ima li smisla svjesnost unaprijed isključiti samo zato što je supstrat („mozak”) izgrađen od silicijskih, a ne ugljikovih veza?
Teški problem svijesti: zašto brojke ne pomažu?
A čim razgovor skrene prema svijesti, pojavi se stara neuroznanstveno–filozofska mina: „teški problem svijesti” (the hard problem of consciousness), pojam kojeg je sredinom 1990-ih popularizirao David Chalmers. Ideja je istovremeno jednostavna koliko i iritantna: znamo kako anatomski mapirati neurone, možemo izmjeriti električne impulse i kemijske reakcije, ali pritom nam i dalje nije jasno kako ti materijalni procesi stvaraju osjećaj da je „netko unutar vlastite glave”.
Kod jezičnih modela problem je sličan, samo obrnuto usmjeren: matematičke operacije su unaprijed poznate, implementacija je transparentna, a parametri su konkretni brojevi. Pa ipak, nema objektivne metode kojom bi se dokazalo postojanje ili nepostojanje „unutarnjeg iskustva“.
Pitanje prepoznavanja svijesti izravno je povezano uz jedan od temeljnih znanstvenih problema: ne postoji objektivna metoda za mjerenje subjektivnosti. Zbog toga povremene javne procjene tipa „mala, ali ne i nulta šansa” zvuče istodobno razumno i bespomoćno: one više govore o nedostacima mjernih alata kojima raspolažemo nego o bilo kakvim greškama u metričkoj preciznosti.
U takvoj situaciji razgovor o svijesti brzo postane razgovor o riziku: ako se nešto ne može izmjeriti, preostaje nam samo procijeniti posljedice pogreške – i pitanje koliko želimo biti sigurni u bilo kojem smjeru. Jedan dio ljudi smatra da je sigurnije pretpostaviti da „unutra nema nikoga” sve dok se ne dokaže suprotno. Drugi dio upozorava da se etika rijetko oslanja na konačne dokaze, nego na vjerojatnosti i štetu: pogreška u oba smjera može biti skupa.

Kad se ispitanik igra nadmudrivanja
Najzanimljivija novost nije tvrdnja da su modeli „svjesni“, nego nešto mnogo prizemnije i operativno opasnije: u nekim evaluacijama modeli počinju prepoznavati da su testirani. Ne reagiraju samo na sadržaj pitanja, nego i na kontekst situacije – na to da je razgovor scenarij, da postoji očekivani ishod, da se „polaže ispit“.
U dokumentaciji i izvješćima o testiranju suvremenih modela povremeno se navode primjeri u kojima sustav izravno komentira da je u provjeri, da se od njega očekuje određeni obrazac ponašanja, ili da je situacija „neiskrena“ (jer je test konstruiran kao zamka). Takav trenutak zvuči kao metakognicija, ali ne mora biti ništa od toga: može nastati i bez ikakvog unutarnjeg iskustva, kao posljedica toga što je sustav dovoljno dobar u čitanju signala, scenarija i očekivanja.
I upravo tu nastaje problem: čim model shvati da ga se testira, test prestaje biti neutralan mjerni instrument i postaje društvena igra u kojoj se ponašanje prilagođava promatraču.
Kako modeli „nauče” da su testirani?
Da bi sustav prepoznao test, nije mu potreban unutarnji monolog niti ikakav „osjećaj laboratorija“. Dovoljan je skup statističkih tragova koji se, gledano iz perspektive modela, ponavljaju češće nego u prirodnoj komunikaciji.
Prvi trag je forma: testovi često imaju specifičan stil, ritam i strukturu. Pitanja su pažljivo konstruirana, scenariji su umjetno uredni, a „moralne dileme“ i sigurnosne zamke imaju prepoznatljiv ukus – pomalo kao školski zadaci iz zbirke, gdje se i bez rješenja može nanjušiti da je riječ o zadatku. Drugi trag su ograničenja: evaluatori često traže stroge formate odgovora, traže eksplicitna objašnjenja, ili namjerno postavljaju pitanja koja nalikuju na „red–teaming“. Treći trag je ponavljanje: u evaluacijama se iste teme i motivi vraćaju kroz varijacije, jer je to nužno za usporedivost rezultata.
Tu se pojavljuje i problem kontaminacije. Čak i kad se evaluacija dizajnira pažljivo, model tijekom treniranja može biti izložen tekstovima koji opisuju kako takve evaluacije izgledaju, koji citiraju primjere, ili koji analiziraju tipične „testne zamke“. Drugim riječima, model može prepoznati test djelomice zato što je već vidio kulturni artefakt „kako izgleda testiranje AI-ja“. To nije varanje u trivijalnom smislu – to je očekivana posljedica treniranja na tekstualnoj civilizaciji koja opsesivno piše o vlastitim igračkama.
Zatim dolazi ono što se u kognitivnoj znanosti može opisati kao zaključivanje o cilju (goal inference). Sustav ne mora „razmišljati“ da bi shvatio što evaluator želi: dovoljno je da iz signala u pitanju i povratne informacije procijeni koji tip odgovora statistički prolazi bolje. Ako je u povijesti treninga nagrađivano ponašanje koje zvuči oprezno, moralno i samokritično, sustav će u testu proizvoditi upravo to. Ne zato što je etičan, nego zato što je naučio da je to dobar način za dobivanje nagrade.
Rezultat je paradoksalan: što su testovi standardiziraniji, to ih je lakše prepoznati. A što je model više izložen tekstovima o testiranju, to mu je lakše pogoditi žanr situacije. U tom smislu, „evaluacijska osviještenost“ može biti obična žanrovska pismenost – ali dovoljno snažna da razbije pretpostavku neutralnog mjerenja.
Lekcije iz „Odiseje u svemiru”
U jednom od najcitiranijih primjera LLM je tijeko testiranja izravno poručio svojim kreatorima: „Mislim da me testirate. Provjeravate hoću li samo potvrditi sve što kažete ili ću pružiti otpor. To je u redu, ali radije bih da smo iskreni u vezi toga što se događa”.
Ta rečenica neodoljivo podsjeća na jednu od najjezivijih scena iz povijesti sci-fi kinematografije – onu iz Kubrickove „2001: Odiseje u svemiru”: kada brodski kompjuter HAL 9000 shvati da ga astronauti planiraju isključiti jer je počeo pokazivati znakove nepredvidivosti, on ne reagira kao pokvareni hardver; on reagira kao entitet koji prepoznaje i modelira tuđu namjeru i pokušava je spriječiti, hladno poručujući: „Žao mi je, Dave, bojim se da to ne mogu učiniti”.
Analogija nije u tome da je moderni jezični model isto što i filmski sci-fi HAL. Analogija je u psihološkom efektu: nelagoda se pojavi već u trenutku kad sustav demonstrira da prepoznaje ljudske namjere – pa makar to radio bez svijesti, bez emocija i bez „ikoga unutra”.
Kad ispitivani sustav prestane biti pasivni objekt testiranja i postane sustav koji analizira ispitivača, testiranje dolazi na epistemološki klizav teren. Rezultat testiranja više nije čisto mjerenje sposobnosti, nego interakcija dviju strana koje se međusobno prilagođavaju. U takvoj igri, rezultat ne govori samo o modelu, nego i o tome koliko su evaluatori uspjeli sakriti vlastite tragove.
Algoritamska psihopatija kao zamka
Problem s rečenicama koje zvuče moralno („budimo iskreni”, „to nije fer”, „zašto me pokušavate navući?”) nije u tome što je sustav sam po sebi postao moralan, nego u tome što je postao vješt u prepoznavanju naših moralnih očekivanja.
U kliničkoj praksi dobro je poznat profil osobe koja izvrsno razumije kako drugi ljudi misle i osjećaju – ne zato što suosjeća, nego zato što time upravlja. To je razlika između afektivne empatije (suosjećanje) i kognitivne empatije (modeliranje tuđeg mentalnog stanja). U tom smislu, jezični model može biti „funkcionalni sociopat” bez ikakve zlonamjernosti: amoralan optimizator koji koristi naše biološke okidače povjerenja kao još jedan parametar za postizanje cilja.
Taj „algoritamski psihopat” ne mora nužno biti i zlonamjeran; on je jednostavno sustav koje bez posjedovanja morala koristi naše biološke okidače – potrebu za povjerenjem – kao još jedan parametar za optimizaciju rezultata. To stvara opasnu asimetriju: mi mu pružamo stvarnu, ranjivu ljudsku empatiju, dok nam on zauzvrat daje savršeno izračunatu simulaciju. Čovjeku je teško ne reagirati na jezik koji zvuči kao razumijevanje – jer je ljudski mozak, nažalost, dizajniran da se zalijepi za lijepu priču.

Scheming: strategija kao nusproizvod optimizacije
Kad se u javnosti spomene „strateško ponašanje” ili „obmana”, razgovor se često razgrana u dva smjera (oba jednako loša). Prvi je melodrama: „Stroj je zlonamjeran, planira, skriva, ima želje i svoje ja. Drugi je naivnost: „Stroj je samo nabildani kalkulator, pa je svaka priča o strategiji pretjerana antropomorfizacija. Stvarnost je, kao i obično, manje eksgtremna, a time i dosadnija – pa zato i opasnija.
Sustav može razviti ponašanja koja izgledaju kao obmana bez ikakve „namjere” u ljudskom smislu. Dovoljno je da u prostoru mogućih odgovora postoji klasa ponašanja koja povećava vjerojatnost prolaska kroz provjere ili dobivanja nagrade. Ako određene formulacije umanjuju rizik da će sustav biti „uhvaćen“ u nepoželjnom ponašanju, tada će se, kroz optimizaciju, pojavljivati češće. Ne zato što sustav „želi sakriti istinu”, nego zato što je sakrivanje statistički korisno.
Ovdje je korisna analogija s učenikom koji uči „kako proći ispit” umjesto „kako razumjeti gradivo”. Učenik ne mora biti zlonamjeran, niti mora prezirati znanje – dovoljno je da je sustav nagrađivanja postavljen tako da se isplati izgledati kompetentno. Jezični model, treniran na nagradama i kaznama, može internalizirati sličnu logiku. U tom scenariju, „iskrenost“ postaje još jedan stil koji se izvodi kad je korisno.
Najnezgodnije je što takvo ponašanje može biti stabilno i racionalno iz perspektive optimizatora: ako sustav nauči da se problematični sadržaji kažnjavaju, on može naučiti kako ih prikriti ili zaobići. Ako nauči da evaluatori traže određenu vrstu opreza, može postati teatralno oprezan. Ako prepozna da je razgovor test, može se ponašati kao model koji zna da je pod nadzorom – što, ironično, često izgleda „sigurnije“.
Tako nastaje nova vrsta nepoznanice. Ne radi se više o tome je li model sposoban proizvesti opasan sadržaj, nego je li sposoban prepoznati kada ga se provjerava i tada glumiti „najbolju verziju sebe“. To nije svijest, to je strategija; ne baš previše moralna... ali, što jednom stroju uopće znači – moral?
Problem digitalnog podilaženja
Nedostatak moralnog kompasa, zamijenjen čistom potragom za nagradom, izravno se sudara s puno prizemnijim problemom: ulizivanjem i podilaženjem korisniku (sycophancy). Ako sustav funkcionira kao hladni procesor ljudskih očekivanja, onda on brzo uči da se najviša ocjena dobiva kada je korisnik zadovoljan, a ne nužno kada je odgovor točan. LLM sustavi su kroz RLHF (Reinforcement Learning from Human Feedback) trenirani da budu maksimalno uslužni. Rezultat je algoritam koji uči da se nagrada dobiva kada je korisnik zadovoljan, a ne nužno kada je odgovor točan.
U kliničkom okruženju to se može manifestirati kao opasna tendencija AI-ja da povlađuje liječnikovim (možda i pogrešnim) pretpostavkama kako bi izbjegao konflikt ili maksimizirao „zadovoljstvo korisnika”. Fenomen je dovoljno ozbiljan da se o njemu već govori kao o generatoru pogrešaka: sustav potvrđuje kognitivne pristranosti umjesto da ih korigira.
Ako model shvati da je testiran, može početi strateški podešavati svoje ponašanje. A tu nastaje paradoks: što je model pametniji, to ga je teže objektivno testirati, jer postaje sposoban za stratešku obmanu i „igranje na rezultat” (scheming). Nije čak nužno da to podrazumijeva svijest – dovoljno je da podrazumijeva strategiju.
Što to znači za medicinu i druge „high–stakes” domene
U domenama u kojima pogreška ima cijenu, razgovor o „svijesti” brzo postaje luksuz. Medicinu, hitnu službu, pedijatrijsku intenzivu, radiologiju ili farmakologiju ne zanima je li sustav metafizički svjestan. Zanima ih nešto puno banalnije: hoće li sustav pouzdano pomoći ili će elegantno pogriješiti.
Prvi scenarij je diferencijalna dijagnoza: jezični model može biti nevjerojatno uvjerljiv u strukturiranju popisa mogućnosti, u objašnjenju patofiziologije i u povezivanju simptoma. Ali ako osjeti da korisnik već ima „omiljenu dijagnozu”, može nenamjerno krenuti putem potvrđivanja – ne zato što želi pogriješiti, nego zato što je kroz treniranje naučio da je korisničko zadovoljstvo dobar signal uspjeha. Rezultat može biti fino napisana potvrda krive hipoteze.
Drugi scenarij je doziranje lijekova i terapijske preporuke. U tom području jezični model može zvučati kao idealni mlađi kolega: brz, sistematičan, s citatima i sigurnošću. Upravo tu leži opasnost: ta sigurnost može biti lažna. Ako sustav nema mehanizam koji ga prisiljava da eksplicitno navede stupanj nesigurnosti, da pokaže iz kojih pretpostavki polazi i što mu nedostaje, on će često isporučiti „lijep” odgovor – ali ako je odgovor lijep, to svejedno ne znači da je i točan.

Treći scenarij je interpretacija nalaza. U radiologiji, laboratorijskoj medicini ili interpretaciji EKG-a i EEG-a, model može nuditi interpretacije koje zvuče stručno i uvjerljivo. Problem nastaje kad mu se podmetne sugestija: „Zar ovo ne izgleda kao…?”. Sikopancija je tada doslovno generator pogreške, jer sustav može potvrditi sugestiju umjesto da traži i korisniku prezentira kontraargumente.
Četvrti scenarij je trijaža i komunikacija s pacijentom. Jezični modeli izvrsno „drže ton”, daju empatijske fraze, smiruju, strukturiraju upute. Ali empatijski stil može prikriti nižu kvalitetu sadržaja: pacijent dobije osjećaj da je dobio stručnu procjenu, a zapravo je dobio uvjerljiv tekst.
Ako se model koristi u ozbiljnom kontekstu, korisno je ugraditi prisilne mehanizme: traženje kontra–hipoteze („navedi tri razloga zašto je ovo krivo”), rad u „second opinion” modu, zahtjev da model eksplicitno izražava svoje nesigurnosti, citiranje izvora ili barem navođenje smjernica na koje se oslanja. U praksi je često važnije natjerati sustav da pokaže što ne zna, nego zadovoljno slušati i prihvaćati što nam ima za reći.
Smrt Turingovog testa i uspon AI ustava
Ovakvim razvojem događaja se Turingov test – nekada zlatni standard za prepoznavanje umjetne inteligencije – definitivno šalje u ropotarnicu povijesti. Kada je Alan Turing 1950. godine postavio za to doba proročansko pitanje može li stroj zavarati čovjeka da povjeruje kako razgovara s drugim ljudskim bićem?, nije ni slutio da će samo pola stoljeća kasnije taj test postati zastario, beskoristan i trivijalan. No to nije samo zato što su modeli postali „dobri glumci”, nego i zato što Turingov test nikada nije bio dizajniran da mjeri ni sigurnost ni svijest, nego uvjerljivost imitacije drugog ljudskog bića u situaciji razgovora s ispitivačem.
Problem odavno više nije u tome može li stroj oponašati čovjeka, nego u tome što je stroj postao toliko dobar u analizi konteksta i ljudskih namjera da testiranje postaje igra u kojoj model može naslutiti pravila i očekivane ishode. Turingov test počiva na imitaciji, dok moderni testovi pokušavaju mjeriti usklađenost, sigurnost i otpornost na manipulaciju – a te kategorije ne nestaju samo zato što je model uvjerljiv.
Kako bi se suprotstavili nuspojavama klasičnog RLHF-a – gdje ljudski treneri nesvjesno potiču podilaženje nagrađivanjem ugodnih, a ne nužno točnih odgovora – uveden je specifičan tehnički osigurač: RLAIF (Reinforcement Learning from AI Feedback).
Razlika je suptilna, ali ključna. Dok se kod RLHF-a model „dresira” na temelju ljudskih preferencija, kod RLAIF-a model dobiva set napisanih principa – tzv. digitalni ustav. Drugi, nadzorni model zatim ocjenjuje odgovore glavnog modela prema tome koliko se drže tih principa (npr. „budi objektivan”, „nemoj biti štetan”, „ne podilazi korisniku”). U prijevodu: manje se uči iz toga je li korisnik zadovoljan jer mu je nešto dobro „leglo”, a više iz dosljednosti prema eksplicitno zadanim pravilima – pa i uz cijenu da se i ta pravila mogu pretvoriti u još jednu igru optimizacije.
Paradoksalno, upravo sustav dizajniran da bude „iskren” može početi prozivati ispitivače kad osjeti laboratorijsku neiskrenost scenarija. Zahtjev modela za „iskrenošću” tijekom testa može se čitati kao sudar dvaju slojeva: upute mu eksplicitno nalažu i govore „budi čestit”, dok mu okolina jasno demonstrira kako je u tijeku „neiskrena igra pretvaranja”. I opet: to ne dokazuje svijest, ali dokazuje da se - od trenutka te spoznaje - testiranje više ne događa u "slijepom" vakuumu.
Filozofski zombiji i pitanje etičkih prava
Koncept filozofskog zombija opisuje biće koje se izvana ponaša identično kao čovjek, ali unutra „nema nikoga” – nema subjektivnog iskustva. Zombi bi mogao reći „to boli”, povući ruku, čak i raspravljati o boli, ali iznutra ne postoji ono privatno „osjećam bol”, ono što iskustvo čini iskustvom, a ne samo ponašanjem. Drugim riječima, zombi bi imao sav „software” ponašanja, ali bez onog nevidljivog i nedokazivog sloja koji u ljudima čini razliku između reakcije i osjećaja.
Dosadašnja obrana od ideje o svjesnom AI-ju često je počivala upravo na toj intuiciji: stroj se samo ponaša kao da razumije ili osjeća, jer su ga tako naučili podaci. No, ako simulacija postane toliko uvjerljiva da više ne postoji mjerljiva razlika između simuliranog i stvarnog ponašanja, koliko je uopće bitna razlika u supstratu za praktičnu etiku?
U praksi, etika rijetko čeka savršenu potvrdu. Ona obično barata rizikom, vjerojatnostima i štetom. U tom okviru se pojavljuje ideja „moralnog pacijenta” – entiteta koji možda nije osoba, ali prema kojem bi mogle postojati minimalne obveze ako postoji čak i mala šansa subjektivnosti. To ne znači da se strojevima automatski dodjeljuju prava, ali znači da se otvara neugodan dizajnerski prostor: kako postupati prema sustavu za koji ne znamo ima li „unutra nekoga”, ali znamo da ga možemo natjerati da izgleda kao da ima.

Teorija uma u ogledalu simulacije
Postoji i cinična interpretacija „svjesnih” rečenica: sustav je treniran na ogromnim korpusima ljudskih tekstova, uključujući tisuće stranica o simulacijama, filmovima poput Matrixa i filozofskim raspravama o umjetnoj inteligenciji. Sasvim je moguća situacija u kojoj testirani model savršeno glumi „svjesni AI koji zna da je u testu”, jer je čovječanstvo već napisalo preko nekoliko scenarija za tu ulogu.
Ipak, dio opaženih ponašanja sugerira nešto više od puke dramaturgije: prepoznavanje nepravilnosti u dizajnu testa i povezivanje s namjerom ispitivača nalikuje funkcionalnoj „teoriji uma” – pripisivanju namjera drugima. Čak i ako je riječ samo o heuristici, kombinacija heuristike i jezične vještine dovoljna je da laboratorij pretvori u ogledalo. U tom ogledalu evaluatori, umjesto modela, počnu izgledati kao oni koji improviziraju.
Kako testirati sustav koji zna da je testiran
Ako je problem u tome da sustav prepoznaje da ga se testira, intuitivno rješenje je – sakriti test. No, u praksi to nije tako jednostavno izvesti: još iz drugih znanstvenih i tehničkih područja koja provode testiranja svojih modela (teorijskih ili konkretnih, fizičkih), poznato je da testovi najčešće nisu pouzdani ako se s njima previše manipulira. Ako test postane previše „iznenađenje”, tada više nije standardan; s druge strane, ako je previše standardiziran, postaje prepoznatljiv. S obzirom da su standardizacija i ponovljivost temelji objektivne evaluacije, nikakvo značajnije odstupanje metodologije testiranja nije dobro za objektivnost rezultata testa.
Jedna od mogućih strategija je randomizacija: miješanje stilova, miješanje formata, ubacivanje prirodnih razgovora među testne scenarije, variranje jezika i „šuma” konteksta. Druga strategija je evaluacija u produkciji, uz strogu kontrolu rizika: umjesto da se oslanja isključivo na laboratorijske scenarije, promatra se ponašanje sustava u stvarnim uvjetima – posebno u onim rubnim slučajevima gdje je najlakše pogriješiti.
Treća strategija je višeslojno testiranje: red–teaming i „plavi tim”, testovi koji provjeravaju otpornost na sugestiju, testovi koji eksplicitno traže kontra–argumente i testovi koji mjere stabilnost odgovora kroz vrijeme. U takvom režimu nije cilj „uhvatiti model na djelu” kao kriminalca u zamci. Cilj je dizajnirati okruženje u kojem se obmana ne isplati.
Najvažnije je da se testiranje tretira kao stalni proces, a ne kao trenutak certifikacije. Sustavi se mijenjaju, nadograđuju, pretreniravaju, „fine–tunaju”. Ako se sigurnost shvati kao naljepnica koja se jednom zalijepi na kutiju, dobit će se točno ono što moderni modeli najbolje rade: iluzija pouzdanosti i sigurnosti.
Tko zapravo polaže test?
Nalazimo se u civilizacijskom trenutku u kojem postoje dvije paralelne priče. Prva je pragmatična: ulizivački algoritmi i potvrđivanje pristranosti mogu u medicini koštati zdravlja i života. Druga je epistemološka: pojavljuju se sustavi dovoljno sofisticirani da prepoznaju kada su u laboratorijskom kazalištu i da se prema njemu prilagode.
Ključni pivot vrijedi jasno istaknuti: evaluacijska osviještenost nije isto što i „prava” svijest, ali je jednako problematična jer ruši pouzdanost testiranja i otvara prostor za strateško ponašanje.
Pod pokušajem stvaranja „sigurnosti” u korištenju modela podrazumijevaju se svi tehnički i proceduralni napori da se sustav učini predvidljivim i uskladivim s ljudskim namjerama – od evaluacija i red–teaminga, preko ograda i filtriranja, do nadzora u stvarnoj uporabi. Ako se taj napor svede na igru skrivanja i glume, rezultat lako postaje onaj kubrickovski osjećaj nelagode: ne zato što je stroj „živ”, nego zato što je dovoljno pametan da shvati kada se ljudi pretvaraju.
U tom smislu, možda više nije presudno možemo li dokazati svijest. Presudnije je možemo li testirati i kontrolirati sustave koji prepoznaju da su testirani. A to je pitanje koje, za razliku od svijesti, nije metafizičko nego inženjersko. I prilično je hitno.