Autonomno vozilo može se kretati gradskim ulicama i drugim manje prometnim sredinama prepoznavajući pješake, druga vozila i potencijalne prepreke putem umjetne inteligencije. To se postiže uz pomoć umjetnih neuronskih mreža, uvježbanih da "vide" okolinu automobila, oponašajući sustav ljudske vizualne percepcije.

Automobili nemaju sjećanja

No, za razliku od ljudi, automobili koji koriste umjetne neuronske mreže nemaju sjećanje na prošlost i u stalnom su stanju da prvi put vide svijet - bez obzira koliko puta su se prije vozili određenom cestom. To je posebno problematično u nepovoljnim vremenskim uvjetima, kada se automobil ne može sigurno osloniti na svoje senzore.

Istraživači Sveučilišta Cornell nedavno su objavili čak tri rada u kojima ova ograničenja pokušavaju prevladati dajući automobilu mogućnost stvaranja "uspomena" na prethodna iskustva i njihovih korištenja u budućoj navigaciji.

Prvo rješenje

"Temeljno je pitanje možemo li učiti iz ponovljenih obilazaka?", objašnjava Kilian Weinberger, profesor informatike, glavni autor rada "HINDSIGHT is 20/20: Levering Past Traversals to Aid 3D Perception", predstavljenog na Međunarodnoj konferenciji o reprezentacijama u učenju (ICLR 2022).

Kad ga njegov laserski skener prvi put spazi iz daljine, automobil neko stablo čudnog oblika lako može zamijeniti za pješaka. Ali, kada se približi dovoljno, kategorizacija će postati jasna. Dakle, kaže Winberger, nadali biste se da je automobil naučio ispravno prepoznati stablo kad drugi put prođe pored njega, čak i u magli ili snijegu.

Istraživači su stoga odlučili prikupiti i iskoristiti različita iskustva i automobil opremljen LiDAR senzorima tijekom 18 mjeseci čak 40 puta provezli duž 15-kilometarske petlje oko Ithace. Tako su obuhvatili različita okruženja u različitim vremenskim uvjetima i u različita doba dana. Tako su došli do skup podataka, nazvanog Ithaca365, s više od 600.000 scena.

Ithaca365 razotkriva jedan od ključnih izazova u samovozećim automobilima: loše vremenske uvjete. Naime, ako je ulica prekrivena snijegom, ljudi se mogu osloniti na sjećanja, ali bez vlastitih sjećanja neuronska mreža je u velikoj mjeri ugrožena.

Drugo rješenje

Drugi HINDSIGHT pristup koristi neuronske mreže za izračunavanje deskriptora objekata dok automobil prolazi pored njih. Ove opise, nazvane SQuaSH (Spatial-Quantized Sparse History), potom komprimira i pohranjuje ih na virtualnu kartu, nalik "sjećanju" pohranjenom u ljudskom mozgu.

Sljedeći put kada samovozeći automobil prolazi istom lokacijom, može upitati lokalnu SQuaSH bazu podataka svake LiDAR točke na ruti i "sjetiti se" što je naučio prošli put. Baza podataka se kontinuirano ažurira i dijeli između vozila.

Ove se informacije mogu dodati kao značajke bilo kojem detektoru 3D objekata temeljenom na LiDAR-u. I detektor i SQuaSH reprezentacija mogu se trenirati zajedno, bez dodatnog nadzora ili ljudskih bilješki, objašnjavaju istraživači.

Treće rješenje

Dok HINDSIGHT i dalje pretpostavlja da je umjetna neuronska mreža već osposobljena za otkrivanje objekata i povećava je sposobnošću stvaranja sjećanja, treće rješenje, nazvano MODEST (Mobile Object Detection with Ephemerality and Self-Training), ide korak dalje.

Istraživači su naime automobilu dopustili da cijeli sustav percepcije nauči od nule. U početku umjetna neuronska mreža u vozilu uopće nije bila izložena objektima ili ulicama. Višestrukim obilaženjem iste rute može naučiti koji dijelovi okoliša miruju, a koji se kreću. Polako uči što čine drugi sudionici u prometu i što može zanemariti bez opasnosti po sigurnost. 

Algoritam tada može pouzdano detektirati te objekte, čak i na cestama koje nisu bile dio početnih ponovljenih obilazaka.

Predstavljanje u New Orleansu

Ithaca365 i MODEST predstavljeni su na netom završenoj konferenciji Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2022) https://cvpr2022.thecvf.com/ u New Orleansu.

Istraživači se nadaju da bi se ovim pristupom mogao drastično smanjiti trošak razvoja autonomnih vozila koja se trenutno uvelike oslanjaju na skupe ljudske podatke i takva vozila učiniti učinkovitijima.