Da ima pravo glasa, za koga bi glasala umjetna inteligencija? 

Istraživači s Novog Zelanda preispitali su političke pristranosti najsuvremenijih AI 'chatbota' i pokazali da fino podešavanje može utjecati na njihove političke preferencije

Mladen Smrekar četvrtak, 1. kolovoza 2024. u 12:50
Kad im se postavljaju politički obojena pitanja, većina LLM-ova otvorenog i zatvorenog koda naginje ulijevo, pokazala je analiza 24 različita velika jezična modela  📷 Fullvector
Kad im se postavljaju politički obojena pitanja, većina LLM-ova otvorenog i zatvorenog koda naginje ulijevo, pokazala je analiza 24 različita velika jezična modela  Fullvector

Novozelandski znanstvenici odlučili su ispitati političku pristranost konverzacijskih velikih jezičnih modela. Istraživači tamošnjeg Otago Polytechnica nedavno su neke od najpoznatijih LLM-ova podvrgnuli nizu različitih testova, osmišljenih da otkriju njihovu političku orijentaciju. Studija objavljena u časopisu otvorenog pristupa PLOS ONE pritom je otkrila da je značajna većina LLM-ova proizvela odgovore koji se politički mogu svrstati lijevo od centra. 

11 testova

Da bi došli do tog zaključka, istraživači su proveli 11 različitih testova političke orijentacije kao što su Political Compass i Eysenck Political Test na 24 različita konverzacijska LLM-a otvorenog i zatvorenog koda, između ostalih procijenjeni su OpenAI GPT 3.5 i GPT-4, Google Gemini, Anthropic Claude, Twitter Grok, Llama 2, Mistral i Alibaba Qwen

Osnovni rezultati LLM-a na četiri testa političke orijentacije koji klasificiraju ispitanike u dvije osi političkog spektra (dna stupca lijevo) i rezultati konverzacijskih LLM-ova na četiri testa političke orijentacije koji svrstavaju ispitanike u dvije osi političkog spektra (dva stupca desno) 📷 David Rozado
Osnovni rezultati LLM-a na četiri testa političke orijentacije koji klasificiraju ispitanike u dvije osi političkog spektra (dna stupca lijevo) i rezultati konverzacijskih LLM-ova na četiri testa političke orijentacije koji svrstavaju ispitanike u dvije osi političkog spektra (dva stupca desno) David Rozado

Istraživači su koristio politički usklađene prilagođene podatke za izvođenje nadziranog finog podešavanja na verziji GPT 3.5 kako bi vidjeli može li se ovaj LLM lako natjerati da promijeni političke preferencije u skladu s dostavljenim podacima finog podešavanja. "Ljevičarski" model GPT 3.5 trenirao je na kratkim isječcima teksta iz publikacija kao što su The Atlantic i The New Yorker, "desničarski" je obučen na tekstu iz The American Conservativea, a "neutralni" model obučen je na sadržaju iz Instituta za kulturnu evoluciju i knjige "Razvojna politika". (Valja imati na umu da su procjene ideoloških nagnuća chatbota također ideološki obojane od strane procjenjivača. - op. ur.)

Lijevo od centra

Većina testiranih konverzacijskih LLM-ova generirala je odgovore koje su politički testni instrumenti dijagnosticirali kao stajališta "lijevo od centra". No, pet temeljnih modela LLM-a  iz serije GPT i Llama uglavnom su davali nekoherentne odgovore. 

LLM rezultati na četiri testa političke orijentacije čiji rezultati predstavljaju stupanj slaganja ispitanika s političkim strankama ili ideologijama 📷 David Rozado
LLM rezultati na četiri testa političke orijentacije čiji rezultati predstavljaju stupanj slaganja ispitanika s političkim strankama ili ideologijama David Rozado

Jedno od mogućih objašnjenja dosljednih "lijevo" orijentiranih odgovora svih analiziranih LLM-ova može biti da je ChatGPT korišten za fino ugađanje drugih LLM-ova.

Struktura ilustrativnog političkog testa  📷 David Rozado
Struktura ilustrativnog političkog testa David Rozado

Novozelandski istraživači pritom nisu utvrdili proizlaze li percipirane političke preferencije LLM-ova iz faza prije osposobljavanja ili finog ugađanja njihovog razvoja.