Na MIT-u otkrili način da smanje neuronske mreže i

poruka: 15
|
čitano: 1.244
1
+/- sve poruke
ravni prikaz
starije poruke gore
Ovo je tema za komentiranje sadržaja Bug Onlinea. U nastavku se nalaze komentari na "Na MIT-u otkrili način da smanje neuronske mreže i".
8 godina
offline
Na MIT-u otkrili način da smanje neuronske mreže i

Pretpostavljam da će trenerski dio biti naophodan , ali to daje dva moguća rješenja:

1. trenerski dio veliki i van uređaja, nakon završenog učenja odvaja se...

2. ako bi imali neuronske mreže na chipu podhlađivati chip za vrijeme učenja (konstrukcija takva da ga je nužno posebno hlađenje prilikom učenja), a kasnije kada interno odsječe višak slijedi ugradnja chipa u konačni uređaj.

Ali ovo sve važi samo za primjenu gdje nije potrebno stalno učenje...  

 
0 1 hvala 0
9 godina
offline
Na MIT-u otkrili način da smanje neuronske mreže i

Davnih dana u srednjoj školi i na faksu, profesor iz elektronike bi nacrtao neku shemu koja je odrađivala neki točno zadani proces pomoću logičkih sklopova. Nakon toga, mi smo morali osmisliti shemu koja radi isti proces kao njegova, ali sa manjim brojem sklopova. To se zove minimizacija sklopa i uobičajena je u elektronici. S obzirom da neuralne mreže rade slično logičkim sklopovima, za pretpostaviti je da se i one mogu minimizirati - optimizirati, kako bi sa najjednostavnijom mogućom mrežom dobio mrežu koja može izvršavati zadatke unutar zadanih parametara. Znači, prvo malo zakompliciramo, a onda pojednostavljujemo.

dolazim odmah - Godot
Moj PC  
0 1 hvala 0
10 godina
offline
Na MIT-u otkrili način da smanje neuronske mreže i

ako čitava naša "trodioba vlasti" funkcionira s jednom moždanom stanicom koja se nasumično seli iz jedne šuplje glave u sljedeću, onda se može. 

I know that you believe you understand what you think I said, but I am not sure you realize that what you heard is not what I meant.
Moj PC  
6 3 hvala 0
10 godina
offline
Re: Na MIT-u otkrili način da smanje neuronske mre

Kad znaš koji response je potreban za koji input, neuronska mreža ti niti ne treba. Stvar je u tome da sam proces učenja nije toliko sličan minimizaciji koliko je sličan samom osmišljavanju inicijalnog sklopa kojeg vam je profesor nacrtao.

Privatne poruke su za privatne razgovore. Ne odgovaram na općenita pitanja vezana uz neku temu.
9 godina
offline
Re: Na MIT-u otkrili način da smanje neuronske mre
učo kaže...

Davnih dana u srednjoj školi i na faksu, profesor iz elektronike bi nacrtao neku shemu koja je odrađivala neki točno zadani proces pomoću logičkih sklopova. Nakon toga, mi smo morali osmisliti shemu koja radi isti proces kao njegova, ali sa manjim brojem sklopova. To se zove minimizacija sklopa i uobičajena je u elektronici. S obzirom da neuralne mreže rade slično logičkim sklopovima, za pretpostaviti je da se i one mogu minimizirati - optimizirati, kako bi sa najjednostavnijom mogućom mrežom dobio mrežu koja može izvršavati zadatke unutar zadanih parametara. Znači, prvo malo zakompliciramo, a onda pojednostavljujemo.

 Zasto mislis da su mreze slicne sklopovima?

 

MrBlc kaže...

Kad znaš koji response je potreban za koji input, neuronska mreža ti niti ne treba. Stvar je u tome da sam proces učenja nije toliko sličan minimizaciji koliko je sličan samom osmišljavanju inicijalnog sklopa kojeg vam je profesor nacrtao.

 Kako mislis mreza nam ne treba kad znamo koji response je potreban za koji input? Pa neuronska mreza radi bas to. Za input daje output.

 

You have to be odd to be number one
10 godina
offline
Re: Na MIT-u otkrili način da smanje neuronske mre
Top Bugovac kaže...

 Kako mislis mreza nam ne treba kad znamo koji response je potreban za koji input? Pa neuronska mreza radi bas to. Za input daje output.

Sve za neki input daje output, međutim, klasične sklopove projektiramo tako da na temelju zadanih inputa daju zadane outpute, dok neuronske mreže treniramo tako da same nauče na temelju sličnih inputa, koji do sad nisu ušli u sustav, dati output koji zadovoljava neke kriterije, naučene prema korelaciji velike količine podataka. Ako odnos outputa i inputa možemo izraziti preko neke relacije ili algoritma, neuralna mreža nam nije nužno, a najčešće ni optimalno rješenje problema.

Privatne poruke su za privatne razgovore. Ne odgovaram na općenita pitanja vezana uz neku temu.
6 godina
offline
Re: Na MIT-u otkrili način da smanje neuronske mre

Svejedno mi bas nije jasno sto si zelio reci. Jednom kad je mreza trenirana, ona isto tako fiksno i algoritamski daje output za zadani input. Ako zelis, mozes ju realizirat fiksnom elektronikom. Clanak se i odnosi na optimiziranje ove utrenirane mreze.
I "proces učenja nije toliko sličan minimizaciji" - matematicki je proces ucenja doslovce minimizacija - definiras error funkciju i trazis mrezu koja ce ju minimizirat na trening podacima, tj. "ucis ju".

10 godina
offline
Re: Na MIT-u otkrili način da smanje neuronske mre

Razlika je u tome tko to radi - kod minimizacije sklopa to radi dizajner sklopa, a kod mreže, to radi sama mreža.

 

Minimizacija u koraku dizajna bi u osnovi značila eliminaciju koraka učenja, a ako taj korak možeš eliminirati, onda ti neuronska mreža ne treba jer je njena primarna svrha upravo da odradi taj dio posla.

Privatne poruke su za privatne razgovore. Ne odgovaram na općenita pitanja vezana uz neku temu.
6 godina
offline
Re: Na MIT-u otkrili način da smanje neuronske mre

Minimizaciju tijekom treniranja rade algoritmi ucenja mreze.
Ali ja nisam skuzio da minimizaciju utrenirane mreze o kojoj se radi u clanku radimo nekakvim dodatnim ucenjem. Mozda kao neki "post-trening" korak, ali meni je to vise izgledalo kao "rucno" dizajnirano tipa ako neka veza izmedju cvorova/neurona ima tezinu ispod nekog minimalnog praga, mozes ju izbacit, ako ti ostane neki cvor bez input veza, izbacis cijeli cvor itd.

10 godina
offline
Re: Na MIT-u otkrili način da smanje neuronske mre
Ova redukcija mreže nakon treniranja se radi ručno, međutim, pričamo o mogućnosti da se napravi prije treniranja, a za to bi trebalo znati rezultat treniranja prije samog treniranja. Vjerojatno ti je taj detalj promaknuo.
Privatne poruke su za privatne razgovore. Ne odgovaram na općenita pitanja vezana uz neku temu.
6 godina
offline
Na MIT-u otkrili način da smanje neuronske mreže i

drugim rijecima MITovci su skuzili kako napraviti fah idiota... ok, mozda se skynet ipak nece dogoditi...

 
0 0 hvala 0
8 godina
offline
Re: Na MIT-u otkrili način da smanje neuronske mre
Byron kaže...

Pretpostavljam da će trenerski dio biti naophodan , ali to daje dva moguća rješenja:

1. trenerski dio veliki i van uređaja, nakon završenog učenja odvaja se...

2. ako bi imali neuronske mreže na chipu podhlađivati chip za vrijeme učenja (konstrukcija takva da ga je nužno posebno hlađenje prilikom učenja), a kasnije kada interno odsječe višak slijedi ugradnja chipa u konačni uređaj.

Ali ovo sve važi samo za primjenu gdje nije potrebno stalno učenje...  

 Nisam ekspert u AI, ali koliko ja znam tako upravo i djeluje ML. Prvo se sve istrenira na serverskim farmama i onda sve vrlo kompresirano dobijemo na svojim mobitelima. Dapace, moguce je sve to i hardverski ugurati na chip (Hey Siri na primjer) pa trosi uzasno malo, a radi savrseno osim sto nema dodatnog ucenja i popravljanja.

6 godina
offline
Re: Na MIT-u otkrili način da smanje neuronske mre
MrBlc kaže...
Ova redukcija mreže nakon treniranja se radi ručno, međutim, pričamo o mogućnosti da se napravi prije treniranja, a za to bi trebalo znati rezultat treniranja prije samog treniranja. Vjerojatno ti je taj detalj promaknuo.

Mislio sam da si odgovarao uči koji ne prica o tome, i u samom clanku kazu da je optimizacija prije treniranja puno tezi problem, pa ne znam kome je sto tu promaklo :P. A u učinom primjeru imas dizajnirani sklop koji obavlja odredjenu funkciju i onda ga ides pojednostavit. Konceptualno slicna stvar. Ne kaze da odmah treniramo optimiziranu NN ("Znači, prvo malo zakompliciramo, a onda pojednostavljujemo")

Inace sam prije par godina vidio u Wired clanak gdje su dali zadatak inzinjerima da realiziraju odredjenu operaciju sa sto manjim brojem logickih sklopova i nitko nije nasao manje od nekih par stotina ili cak i tisuca. Onda su pokusali s AI koji je dobio rjesenje od mislim 37 sklopova. I kad su pogledali, nisu mogli skontat sta radi, bilo je i par sklopova koji uopce nisu bili povezani ni s inputom ni s drugim sklopovima, a bez njih ne bi radilo. Cak nisu mogli prebacit ni na drugu plocu, nego je radilo samo na toj gdje je AI trenirao. Vjerojatno optimizirano do kvantnog nivoa i EM interferencije itd...

8 godina
offline
Re: Na MIT-u otkrili način da smanje neuronske mre
CyberK kaže...
MrBlc kaže...
Ova redukcija mreže nakon treniranja se radi ručno, međutim, pričamo o mogućnosti da se napravi prije treniranja, a za to bi trebalo znati rezultat treniranja prije samog treniranja. Vjerojatno ti je taj detalj promaknuo.

Mislio sam da si odgovarao uči koji ne prica o tome, i u samom clanku kazu da je optimizacija prije treniranja puno tezi problem, pa ne znam kome je sto tu promaklo :P. A u učinom primjeru imas dizajnirani sklop koji obavlja odredjenu funkciju i onda ga ides pojednostavit. Konceptualno slicna stvar. Ne kaze da odmah treniramo optimiziranu NN ("Znači, prvo malo zakompliciramo, a onda pojednostavljujemo")

Inace sam prije par godina vidio u Wired clanak gdje su dali zadatak inzinjerima da realiziraju odredjenu operaciju sa sto manjim brojem logickih sklopova i nitko nije nasao manje od nekih par stotina ili cak i tisuca. Onda su pokusali s AI koji je dobio rjesenje od mislim 37 sklopova. I kad su pogledali, nisu mogli skontat sta radi, bilo je i par sklopova koji uopce nisu bili povezani ni s inputom ni s drugim sklopovima, a bez njih ne bi radilo. Cak nisu mogli prebacit ni na drugu plocu, nego je radilo samo na toj gdje je AI trenirao. Vjerojatno optimizirano do kvantnog nivoa i EM interferencije itd...

Moze link, please? Interesantna prica bas bih procitao malo o tome.

6 godina
offline
Re: Na MIT-u otkrili način da smanje neuronske mre

https://www.damninteresting.com/on-the-origin-of-circuits

Mislim da je Wired bio prenio clanak, ovo je izvorni. Malo sam pobrkao koji detalj, radi se o razlikovanju odredjena dva audio tona za sto se obicno koriste procesori sa stotinama tisuca sklopova koji vjerojatno mogu i kojesta drugo. Bio sam u pravu da je 37 sklopova, srecom, jer majka ga inace ne bi izguglala, i ovako sam ga jedva nasao. I koristio je genetski algoritam, ne NN.

"Dr. Thompson peered inside his perfect offspring to gain insight into its methods, but what he found inside was baffling. The plucky chip was utilizing only thirty-seven of its one hundred logic gates, and most of them were arranged in a curious collection of feedback loops. Five individual logic cells were functionally disconnected from the rest— with no pathways that would allow them to influence the output— yet when the researcher disabled any one of them the chip lost its ability to discriminate the tones. Furthermore, the final program did not work reliably when it was loaded onto other FPGAs of the same type."

1
Nova poruka
E-mail:
Lozinka:
 
vrh stranice