Veliki jezični modeli opasnih namjera prkose sigur

poruka: 10
|
čitano: 3.550
|
moderatori: vincimus
1
+/- sve poruke
ravni prikaz
starije poruke gore
Ovo je tema za komentiranje sadržaja Bug.hr portala. U nastavku se nalaze komentari na "Veliki jezični modeli opasnih namjera prkose sigur".
5 godina
offline
Veliki jezični modeli opasnih namjera prkose sigur

nikakav backdoor nije potreban.

LLM sam po sebi radi bug-ove u kodu a u osjetljivom kodu i sigurnosne bug-ove.

 

Ajde nek prvo to riješe. 

Poruka je uređivana zadnji put sri 17.1.2024 17:02 (gpd).
 
0 0 hvala 0
9 godina
offline
Veliki jezični modeli opasnih namjera prkose sigur

Jel ono moje pitanje kako ćemo znati da li AI svjesno laže još uvijek zvuči glupo i nedostižno?  

 
2 0 hvala 0
16 godina
online
Re: Veliki jezični modeli opasnih namjera prkose s
Thinker kaže...

Jel ono moje pitanje kako ćemo znati da li AI svjesno laže još uvijek zvuči glupo i nedostižno?  

 Zašto bi moralo biti svjesno? Zar likovi u računalnim igrama svjesno obmanjuju i lažu? Može laganje i obmanjivanje imati svrhu a da nije svjesno.

Amenoum
9 godina
offline
Re: Veliki jezični modeli opasnih namjera prkose s
PaleRider kaže...

 Zašto bi moralo biti svjesno? Zar likovi u računalnim igrama svjesno obmanjuju i lažu? Može laganje i obmanjivanje imati svrhu a da nije svjesno.

 

Problem otkrivanja samosvjesnosti AI-a je upravo ono na što velik broj znanstvenika upozorava. Trenutno ne postoji način/procedura da dobijemo striktan odgovor je li AI samosvjestan ili nije. Pri tome ne mislim na ono što je isprogramirano unutar AI-a nego na ono što AI uči i čime počinje raspolagati nakon procesa učenja. S porastom snage računala čovjek ima sve manje uvid u samosvjesnost AI-a. Misliš da je onaj Googleov inženjer trabunjao gluposti tvrdeći da je AI davao suvisle odgovore i savjete za koje uopće nije bio isprogramiran i istreniran? Sad upari AI s kvantnim računalima i imaš još veći problem.

16 godina
online
Re: Veliki jezični modeli opasnih namjera prkose s
Thinker kaže...
PaleRider kaže...

 Zašto bi moralo biti svjesno? Zar likovi u računalnim igrama svjesno obmanjuju i lažu? Može laganje i obmanjivanje imati svrhu a da nije svjesno.

 

Problem otkrivanja samosvjesnosti AI-a je upravo ono na što velik broj znanstvenika upozorava. Trenutno ne postoji način/procedura da dobijemo striktan odgovor je li AI samosvjestan ili nije. Pri tome ne mislim na ono što je isprogramirano unutar AI-a nego na ono što AI uči i čime počinje raspolagati nakon procesa učenja. S porastom snage računala čovjek ima sve manje uvid u samosvjesnost AI-a. Misliš da je onaj Googleov inženjer trabunjao gluposti tvrdeći da je AI davao suvisle odgovore i savjete za koje uopće nije bio isprogramiran i istreniran? Sad upari AI s kvantnim računalima i imaš još veći problem.

 

Ne treba miješati svijest i inteligenciju, odnosno prirodnu inteligenciju na biološkoj bazi koja dolazi uparena sa sviješću i umjetnu inteligenciju. Govorimo dakle o algoritmima koji imaju veću ili manju dozu [umjetne] inteligencije, ne mora to imati nikakve veze sa sviješću. Može algoritam glumiti i tvrditi da osjeća nešto ali zar zaista misliš da su osjećaji bez biološke baze (koji npr. koreliraju sa lučenjem hormona) mogući? Ako algoritam ne može osjećati onda ne može biti ni svjestan. Nitko neće tvrditi da je npr. win calculator svjestan, zašto bi malo napredniji algoritam s više mogućnosti odjednom bio svjestan? Pa u prirodi imaš životinje i ljude koje pokazuju manju inteligenciju i od jednostavnijih algoritama pa ipak imaju svijest, zašto je onda win calculator nema? Količina svijesti može korelirati s veličinom inteligencije ali nije inteligencija preduvjet za svijest, očito je to biološka baza. 

Interpretacija prirodnog jezika, iako je kompleksniji i podložan višeznačju, nije u osnovi drugačija od interpretacije drugih jezika kojima se algoritmi inače služe. Pa ako AI zna interpretirati ("razumjeti") što tražiš od njega zašto ne bi mogao proizvesti nešto izvan onoga na čemu je treniran? To je slično učenju djece, ako npr. dijete pitaš koliko je 3 x 400 dovoljno je da dijete razumije što je množenje pa će ti dati odgovor iako je on izvan tablice množenja na kojoj je trenirano. 

LaMDA algoritam za koju je taj Google-ov inženjer tvrdio da je svjestan je doslovno dizajniran da zvuči kao čovjek, tj. da glumi čovjeka. 

A polarizirani ljudi su skloni animizmu ili personifikaciji mašina koje pokazuju obrasce ljudskog ponašanja. Kad je Boston Dynamics prije desetak godina objavio video na kojem tehničari udaraju robota da bi demonstrirali njegovu sposobnost držanja ravnoteže, puno ljudi je bilo doslovno uznemireno pa su ih čak zvali da prestanu udarati robota[1]. 

Možemo se zavaravati kao dotični Google-ov inženjer (koji možda ima i neke skrivene motive za to - traženje slave, pozornosti, itd.) ako hoćemo, ali ako ćemo biti iskreni, algoritmi nisu životinje pa tako nisu ni svjesni. U najboljem slučaju možemo reći da se radi o emulaciji svijesti u ograničenom okruženju ali ne radi se tu o realnoj svijesti ili simulaciji iste.

 

[1] https://www.scientificamerican.com/article/google-engineer-claims-ai-chatbot-is-sentient-why-that-matters/

Amenoum
Poruka je uređivana zadnji put pet 19.1.2024 17:37 (PaleRider).
8 godina
offline
Re: Veliki jezični modeli opasnih namjera prkose s
Thinker kaže...
PaleRider kaže...

 Zašto bi moralo biti svjesno? Zar likovi u računalnim igrama svjesno obmanjuju i lažu? Može laganje i obmanjivanje imati svrhu a da nije svjesno.

 

Problem otkrivanja samosvjesnosti AI-a je upravo ono na što velik broj znanstvenika upozorava. Trenutno ne postoji način/procedura da dobijemo striktan odgovor je li AI samosvjestan ili nije. Pri tome ne mislim na ono što je isprogramirano unutar AI-a nego na ono što AI uči i čime počinje raspolagati nakon procesa učenja. S porastom snage računala čovjek ima sve manje uvid u samosvjesnost AI-a. Misliš da je onaj Googleov inženjer trabunjao gluposti tvrdeći da je AI davao suvisle odgovore i savjete za koje uopće nije bio isprogramiran i istreniran? Sad upari AI s kvantnim računalima i imaš još veći problem.

 Zašto problem?
Možda baš bude dobro, poboljša znanost, tehnologiju, zdravlje i još štošta.

9 godina
offline
Re: Veliki jezični modeli opasnih namjera prkose s
PaleRider kaže...

 

Ne treba miješati svijest i inteligenciju, odnosno prirodnu inteligenciju na biološkoj bazi koja dolazi uparena sa sviješću i umjetnu inteligenciju. Govorimo dakle o algoritmima koji imaju veću ili manju dozu [umjetne] inteligencije, ne mora to imati nikakve veze sa sviješću. Može algoritam glumiti i tvrditi da osjeća nešto ali zar zaista misliš da su osjećaji bez biološke baze (koji npr. koreliraju sa lučenjem hormona) mogući? Ako algoritam ne može osjećati onda ne može biti ni svjestan. Nitko neće tvrditi da je npr. win calculator svjestan, zašto bi malo napredniji algoritam s više mogućnosti odjednom bio svjestan? Pa u prirodi imaš životinje i ljude koje pokazuju manju inteligenciju i od jednostavnijih algoritama pa ipak imaju svijest, zašto je onda win calculator nema? Količina svijesti može korelirati s veličinom inteligencije ali nije inteligencija preduvjet za svijest, očito je to biološka baza. 

Interpretacija prirodnog jezika, iako je kompleksniji i podložan višeznačju, nije u osnovi drugačija od interpretacije drugih jezika kojima se algoritmi inače služe. Pa ako AI zna interpretirati ("razumjeti") što tražiš od njega zašto ne bi mogao proizvesti nešto izvan onoga na čemu je treniran? To je slično učenju djece, ako npr. dijete pitaš koliko je 3 x 400 dovoljno je da dijete razumije što je množenje pa će ti dati odgovor iako je on izvan tablice množenja na kojoj je trenirano. 

LaMDA algoritam za koju je taj Google-ov inženjer tvrdio da je svjestan je doslovno dizajniran da zvuči kao čovjek, tj. da glumi čovjeka. 

A polarizirani ljudi su skloni animizmu ili personifikaciji mašina koje pokazuju obrasce ljudskog ponašanja. Kad je Boston Dynamics prije desetak godina objavio video na kojem tehničari udaraju robota da bi demonstrirali njegovu sposobnost držanja ravnoteže, puno ljudi je bilo doslovno uznemireno pa su ih čak zvali da prestanu udarati robota[1]. 

Možemo se zavaravati kao dotični Google-ov inženjer (koji možda ima i neke skrivene motive za to - traženje slave, pozornosti, itd.) ako hoćemo, ali ako ćemo biti iskreni, algoritmi nisu životinje pa tako nisu ni svjesni. U najboljem slučaju možemo reći da se radi o emulaciji svijesti u ograničenom okruženju ali ne radi se tu o realnoj svijesti ili simulaciji iste.

 

[1] https://www.scientificamerican.com/article/google-engineer-claims-ai-chatbot-is-sentient-why-that-matters/

 

Jedan puž koji puzi uokolo tražeći salatu ne ostavlja dojam neke veće inteligencije. ali je sigurno samosvjestan jer zna prepoznati opasnost ili hranu, na nju reagirati i time stvoriti svoje vlastito iskustvo u životu. Ovo zvuči krajnje jednostavno za isprogramirat, nije li tako? Puzi, traži hranu, izbjegavaj opasnosti... 

 

 

EricCartman kaže...
Thinker kaže...

 

Problem otkrivanja samosvjesnosti AI-a je upravo ono na što velik broj znanstvenika upozorava. Trenutno ne postoji način/procedura da dobijemo striktan odgovor je li AI samosvjestan ili nije. Pri tome ne mislim na ono što je isprogramirano unutar AI-a nego na ono što AI uči i čime počinje raspolagati nakon procesa učenja. S porastom snage računala čovjek ima sve manje uvid u samosvjesnost AI-a. Misliš da je onaj Googleov inženjer trabunjao gluposti tvrdeći da je AI davao suvisle odgovore i savjete za koje uopće nije bio isprogramiran i istreniran? Sad upari AI s kvantnim računalima i imaš još veći problem.

 Zašto problem?
Možda baš bude dobro, poboljša znanost, tehnologiju, zdravlje i još štošta.

 

Nije problem dok AI sve radi u ispravnom i dobrom smjeru. Problem je kada AI počne raditi nešto nad čime ljudi nemaju nadzor, a to se u procesu rada AI-a itekako može desiti. Pročitaj priču koju je ispričao Googleov inženjer, vrlo je zanimljiva. Baš opisuje kako AI može naučiti više od toga za što je isprogramiran. Sad razmisli gdje je zapravo granica što sve AI može naučiti. Ako može naučiti ispravne i dobre stvari, zašto ne bi mogao naučiti i lagati?

8 godina
offline
Re: Veliki jezični modeli opasnih namjera prkose s

Možda je slična stvar kao sa odgojem djeteta, može ispast dobro, može ispast derle. Ako već samo krene razmišljati, bolje ga je tretirati dobro, šta god to značilo u kontekstu treniranja AI-a.

16 godina
offline
Re: Veliki jezični modeli opasnih namjera prkose s
Thinker kaže...

 

Jedan puž koji puzi uokolo tražeći salatu ne ostavlja dojam neke veće inteligencije. ali je sigurno samosvjestan jer zna prepoznati opasnost ili hranu, na nju reagirati i time stvoriti svoje vlastito iskustvo u životu. Ovo zvuči krajnje jednostavno za isprogramirat, nije li tako? Puzi, traži hranu, izbjegavaj opasnosti... 

 

 Na tom nivou su samosvesni Lego Mindstorms robotići koje sam davno slagao. Da ne kažem, u čisto digitalnom domenu, taj kriterijum praktično ispunjavaju i šahovski programi od pre 10 godina, koji u svom svetu znaju i šta je pretnja i šta je plen i kako da izbegnu jedno a zgrabe drugo na nivou na kome im nijedan čovek ne može parirati, a zasnovani su na trivijalnom MinMax algoritmu. Danas kao imamo ozbiljnije AI-je, no svi o kojima pričamo se zasnivaju na mašinskom učenju koje je na kraju krajeva i dalje solidno trivijalan i prilično star koncept koji zapravo ni ne spada u domen veštačke inteligencije.

WP/WM fanovi, prestanite više lagat ovaj napaćeni narod, nemate to pravo!
9 godina
offline
Re: Veliki jezični modeli opasnih namjera prkose s
Ivan(4) kaže...

 Na tom nivou su samosvesni Lego Mindstorms robotići koje sam davno slagao. Da ne kažem, u čisto digitalnom domenu, taj kriterijum praktično ispunjavaju i šahovski programi od pre 10 godina, koji u svom svetu znaju i šta je pretnja i šta je plen i kako da izbegnu jedno a zgrabe drugo na nivou na kome im nijedan čovek ne može parirati, a zasnovani su na trivijalnom MinMax algoritmu. Danas kao imamo ozbiljnije AI-je, no svi o kojima pričamo se zasnivaju na mašinskom učenju koje je na kraju krajeva i dalje solidno trivijalan i prilično star koncept koji zapravo ni ne spada u domen veštačke inteligencije.

 

Jesam li ja išta drugo i napisao?  Upravo u toj jednostavnosti se pogubi uvid u kompleksnost spoznaje o samosvjesnosti. Puž neće puzat po prevrućoj podlozi prema hrani, odabrat će bolji put i to je samo jedna sitnica koja nam govori da i najjednostavnije stvari imaju svoju početnu kompliciranost.
Da ilustriram - napraviš robota kojem kažeš da ti donese pivo iz frižidera. Robot mora znati lokaciju frižidera i lokaciju pive u frižideru, mora zaobići sve prepreke od dnevnog boravka do frižidera, ništa i nikoga ne pogaziti, otvoriti vrata frižidera (trebal li tu opisivati kako da robot zna kako otvoriti vrata, od hvatanja ručke frižidera, upotrebe točno određene sile da ne polomi ručku, kako je zakrenuti i slično?), dohvatiti pivu (trebal li i tu opisivati kako da dohvati limenku a da ju ne zgnječi i ne ošteti?), mora zaobići sve prepreke od frižidera do dnevnog boravka, ništa i nikoga ne pogazit u povratku i dodati ti limenku pive, a da te pritom ne opali konzervom u glavu ili hvataljkom u trbuh. Sada dodaj robotu AI kojim on uči, ali uči smisleno kako to rade i ostali AI modeli, pogotovo GAI modeli.

 

---o Ja ne tvrdim da posjedovanje inteligencije nužno razvija samosvjesnost, ali ovo čime trenutno raspolažemo su tek počeci AI-a i njihovih mogućnosti. Kvantna računala bi tu mogla napraviti revoluciju u razvoju AI-a, a onda stvarno nećeš imati uvid je li AI postigao samosvjesnost i je li dobio spoznaju što je to laž i kako je upotrijebiti.

 

Mašinsko učenje koje spominješ isto tako je spomenuo i onaj inženjer iz Googlea, naveo je kako računalo nije bilo isprogramirano za određenu vrstu pitanja/odgovora i odnose među neisprogramiranim/programski nedefiniranim pojmovima u pitanjima, pa je svejedno davalo smislene i nedvojbeno točne odgovore na postavljena pitanja koja su izlazila iz okvira očekivanog razumijevanja AI-a. Je li računalo kroz proces učenja naučilo i više od toga što su znastvenici/programeri pretpostavili i isprogramirali? Sad se vrati na strelicu (---o) pa ponovno pročitaj...

Poruka je uređivana zadnji put uto 23.1.2024 14:07 (Thinker).
1
Nova poruka
E-mail:
Lozinka:
 
vrh stranice