Na MIT-u otkrili način da smanje neuronske mreže i

Pretpostavljam da će trenerski dio biti naophodan , ali to daje dva moguća rješenja:

1. trenerski dio veliki i van uređaja, nakon završenog učenja odvaja se...

2. ako bi imali neuronske mreže na chipu podhlađivati chip za vrijeme učenja (konstrukcija takva da ga je nužno posebno hlađenje prilikom učenja), a kasnije kada interno odsječe višak slijedi ugradnja chipa u konačni uređaj.

Ali ovo sve važi samo za primjenu gdje nije potrebno stalno učenje...  

ako čitava naša "trodioba vlasti" funkcionira s jednom moždanom stanicom koja se nasumično seli iz jedne šuplje glave u sljedeću, onda se može. 

 Zasto mislis da su mreze slicne sklopovima?

 Kako mislis mreza nam ne treba kad znamo koji response je potreban za koji input? Pa neuronska mreza radi bas to. Za input daje output.

Svejedno mi bas nije jasno sto si zelio reci. Jednom kad je mreza trenirana, ona isto tako fiksno i algoritamski daje output za zadani input. Ako zelis, mozes ju realizirat fiksnom elektronikom. Clanak se i odnosi na optimiziranje ove utrenirane mreze.
I "proces učenja nije toliko sličan minimizaciji" - matematicki je proces ucenja doslovce minimizacija - definiras error funkciju i trazis mrezu koja ce ju minimizirat na trening podacima, tj. "ucis ju".

Minimizaciju tijekom treniranja rade algoritmi ucenja mreze.
Ali ja nisam skuzio da minimizaciju utrenirane mreze o kojoj se radi u clanku radimo nekakvim dodatnim ucenjem. Mozda kao neki "post-trening" korak, ali meni je to vise izgledalo kao "rucno" dizajnirano tipa ako neka veza izmedju cvorova/neurona ima tezinu ispod nekog minimalnog praga, mozes ju izbacit, ako ti ostane neki cvor bez input veza, izbacis cijeli cvor itd.

drugim rijecima MITovci su skuzili kako napraviti fah idiota... ok, mozda se skynet ipak nece dogoditi...

Mislio sam da si odgovarao uči koji ne prica o tome, i u samom clanku kazu da je optimizacija prije treniranja puno tezi problem, pa ne znam kome je sto tu promaklo :P. A u učinom primjeru imas dizajnirani sklop koji obavlja odredjenu funkciju i onda ga ides pojednostavit. Konceptualno slicna stvar. Ne kaze da odmah treniramo optimiziranu NN ("Znači, prvo malo zakompliciramo, a onda pojednostavljujemo")

Inace sam prije par godina vidio u Wired clanak gdje su dali zadatak inzinjerima da realiziraju odredjenu operaciju sa sto manjim brojem logickih sklopova i nitko nije nasao manje od nekih par stotina ili cak i tisuca. Onda su pokusali s AI koji je dobio rjesenje od mislim 37 sklopova. I kad su pogledali, nisu mogli skontat sta radi, bilo je i par sklopova koji uopce nisu bili povezani ni s inputom ni s drugim sklopovima, a bez njih ne bi radilo. Cak nisu mogli prebacit ni na drugu plocu, nego je radilo samo na toj gdje je AI trenirao. Vjerojatno optimizirano do kvantnog nivoa i EM interferencije itd...

https://www.damninteresting.com/on-the-origin-of-circuits

Mislim da je Wired bio prenio clanak, ovo je izvorni. Malo sam pobrkao koji detalj, radi se o razlikovanju odredjena dva audio tona za sto se obicno koriste procesori sa stotinama tisuca sklopova koji vjerojatno mogu i kojesta drugo. Bio sam u pravu da je 37 sklopova, srecom, jer majka ga inace ne bi izguglala, i ovako sam ga jedva nasao. I koristio je genetski algoritam, ne NN.

"Dr. Thompson peered inside his perfect offspring to gain insight into its methods, but what he found inside was baffling. The plucky chip was utilizing only thirty-seven of its one hundred logic gates, and most of them were arranged in a curious collection of feedback loops. Five individual logic cells were functionally disconnected from the rest— with no pathways that would allow them to influence the output— yet when the researcher disabled any one of them the chip lost its ability to discriminate the tones. Furthermore, the final program did not work reliably when it was loaded onto other FPGAs of the same type."