Procesor unutar senzora filtrira slike dok se snimaju
Rano filtriranje slike omogućuje da se prva faza obrade premjesti s mikroprocesora na sam senzor
Nesreće se događaju u tren oka pa kad je u pitanju sustav kamera u autonomnim vozilima, ključno je vrijeme obrade podataka. A vrijeme potrebno sustavu da snimi sliku i isporuči podatke mikroprocesoru na obradu može značiti razliku između izbjegavanja prepreke ili upadanja u veliku nevolju.
Implementacija CMOS senzora
Obrada slike unutar senzora može ubrzati vizualnu obradu. Sve dosad obrada unutar senzora bila je ograničena na nove materijale koje je teško ugraditi u komercijalne sustave.
No, sada su istraživači Harvardovog Fakulteta strojarstva i primijenjenih znanosti John A. Paulson (SEAS) razvili prvi procesor unutar senzora koji bi se mogao integrirati u komercijalne silicijske senzorske čipove za slike. Način implementacije CMOS senzora koji se koriste u gotovo svim komercijalnim uređajima, uključujući pametne telefone, opisan je u časopisu Nature Electronics.
S mikroprocesora na senzor
Istraživači su razvili niz dinamičkih silicijskih fotodioda koje slike mogu filtrirati slike dok se snimaju. To omogućuje da se prva faza obrade vida premjesti s mikroprocesora na sam senzor.
Niz silicijskih fotodioda može se programirati u različite filtre slike za uklanjanje nepotrebnih detalja ili šuma za različite primjene. Sustav slika u autonomnom vozilu, na primjer, može zahtijevati visokopropusni filtar za praćenje oznaka prometnih traka, dok druge namjene mogu zahtijevati filtar koji zamućuje radi smanjenja šuma.
Rana obrada
Ovaj senzorski procesor baziran na siliciju mogao bi se koristiti u aplikacijama strojnog vida, ali i u aplikacijama inspiriranim biološkim procesima, gdje rana obrada informacija omogućuje kolokaciju senzora i računalnih jedinica, kažu istraživači koji sad žele povećati gustoću fotodioda i integrirati ih sa silicijskim integriranim krugovima.
