Kineski algoritam omogućava da računalima upravljamo poput Toma Cruisea

Istraživači sa Sveučilišta Sun Yat-sen razvili su novi algoritam za prepoznavanje kretnji rukom koji uspostavlja dobru ravnotežu između složenosti, točnosti i primjenjivosti 

Mladen Smrekar srijeda, 29. prosinca 2021. u 06:00

U "Specijalnom izvještaju", znanstvenofantastičnom blockbusteru iz 2002. godine, Tom Cruise je koristio svoje ruke u rukavicama kako bi upravljao prozirnim računalnim zaslonom veličine zida. Dva desetljeća kasnije ljudi i dalje s računalima komuniciraju pomoću miša, tipkovnice, daljinskog upravljača ili malog zaslona osjetljivog na dodir.

Dobra ravnoteža

Upravljanje računalima pomoću gesti još uvijek je u povojima zbog brojnih ograničenja, od složenosti procesa i sporosti sustava do nepreciznosti i malog broja prepoznatljivih gesta. 

Slike interaktivnih gesta rukama
Slike interaktivnih gesta rukama

Kako bi se uhvatio u koštac s tim problemima, kineski istraživači sa Sveučilišta Sun Yat-sen razvili su novi algoritam za prepoznavanje pokreta rukom koji uspostavlja dobru ravnotežu između složenosti, točnosti i primjenjivosti. Njihov rad objašnjen je u časopisu Journal of Electronic Imaging.  

Tradicionalni jednostavni algoritmi imaju tendenciju da pate od niske stope prepoznavanja jer se ne mogu nositi s različitim vrstama ruku. S ovim algoritmom zaobiđen je taj problem jer je prilagodljiv različitim tipovima ruku. 

Usporedba svih značajki ulazne geste s pohranjenim uzorcima za sve moguće geste oduzima previše vremena
Usporedba svih značajki ulazne geste s pohranjenim uzorcima za sve moguće geste oduzima previše vremena

Tri mjerenja

Algoritam prvo pokušava klasificirati tip ruke korisnika kao tanku, normalnu ili široku na temelju tri mjerenja koja uzimaju u obzir odnose između širine dlana, duljine dlana i duljine prsta. Ako je ova klasifikacija uspješna, sljedeći koraci u procesu prepoznavanja geste ruke uspoređuju samo ulaznu gestu s pohranjenim uzorcima iste vrste ruke. 


Algoritam za prepoznavanje sposoban je identificirati devet mogućih gesta pa bi usporedba svih značajki ulazne geste s pohranjenim uzorcima za sve moguće geste oduzimala puno vremena. Kako bi riješio ovaj problem, kineski istraživači koristili su se i "značajkama prečaca" kojom se broj gesta kandidata sužava na tri.


Algoritam za prepoznavanje gesti
Algoritam za prepoznavanje gesti

Velika točnost

Prethodno prepoznavanje gesta smanjuje broj potrebnih izračunavanja i hardverskih resursa te poboljšava brzinu prepoznavanja bez ugrožavanja točnosti, kažu istraživači koji su algoritam testirali na komercijalnom PC procesoru i na FPGA platformi koristeći USB kameru. 

Dijagram prikaza rezultata uparivanja ručnog tipa M
Dijagram prikaza rezultata uparivanja ručnog tipa M
Dijagram prikaza rezultata uparivanja ručnog tipa S
Dijagram prikaza rezultata uparivanja ručnog tipa S

Algoritam je prepoznavao pokrete ruku u stvarnom vremenu s točnošću većom od 93%, čak i kad su ulazne slike gesta bile rotirane ili skalirane. Budući rad će se usredotočiti na poboljšanje performansi algoritma pod lošim svjetlosnim uvjetima i povećanje broja mogućih gesta.