Špijunski mmSpy: senzori detektiraju vibracije telefona

Radar radi u opsezima između 60 i 64 gigaherca te od 77 do 81 gigaherca, u radijskom spektru koji se koristi za 5G

Mladen Smrekar petak, 14. listopada 2022. u 18:33

Istraživači Sveučilišta u Pennsylvaniji pokazali su da mogu detektirati vibracije telefonske slušalice i dešifrirati što je govorila osoba s druge strane linije i to s točnošću do 83 posto. Koristeći postojeći automobilski radarski senzor i novi pristup obradi, oni su uspjeli "daljinski prisluškivati" telefonske razgovore drugih ljudi.

Vibracije slušalica

Kako bi upozorili na ovaj mogući sigurnosni propust, istraživači su tehnologiju, nazvanu mmSpy, prikazali na simpoziju Instituta inženjera elektrotehnike i elektronike o sigurnosti i privatnosti 2022.

Model prijetnje putem mmSpyja: napadač odašilje mmWave signale prema žrtvinom telefonu i mjeri refleksije. Analizom faza refleksije mogu se detektirati vibracije slušalice što dovodi do rekonstrukcije zvuka i klasifikacije govora
Model prijetnje putem mmSpyja: napadač odašilje mmWave signale prema žrtvinom telefonu i mjeri refleksije. Analizom faza refleksije mogu se detektirati vibracije slušalice što dovodi do rekonstrukcije zvuka i klasifikacije govora

Istraživači su pratili ljude koji govore kroz slušalicu pametnog telefona. Slušalica telefona vibrira od govora i ta vibracija prelazi preko tijela telefona da bi je uhvatio senzor, čak i kad je zvuk bio potpuno nečujan za ljude i mikrofone u blizini. Rezultati su bili isti bez obzira na marku korištenog telefona, kažu istraživači koji su svoj pristup testirali na modelima Google Pixel 4a i Samsung Galaxy S20.

Rekonstrukcija govora

Radar je radio u spektru milimetarskih valova (mmWave), točnije u opsezima između 60 i 64 gigaherca te od 77 do 81 gigaherca. Riječ je o podskupu radijskog spektra koji se koristi za 5G.

Kad se postavi metar od telefona, senzor detektira govor s 83 posto točnosti
Kad se postavi metar od telefona, senzor detektira govor s 83 posto točnosti

"Koristimo radar da osjetimo tu vibraciju i rekonstruiramo što je rekla osoba s druge strane linije", objašnjavaju istraživači. "Ovo nije prvi put da su pronađene slične ranjivosti ili modaliteti napada, ali aspekt otkrivanja i rekonstrukcije govora s druge strane linije pametnog telefona još nije istražen."


Obrada podataka

Istraživači su obradili podatke radarskog senzora putem MATLAB i Python modula i unijeli ih u module strojnog učenja osposobljene za klasificiranje govora i rekonstrukciju zvuka.

Arhitektura za špijuniranje telefonskih poziva
Arhitektura za špijuniranje telefonskih poziva

Pokazalo se kako senzor može detektirati govor s 83 posto točnosti kad se postavi metar od telefona. Preciznost je padala što se radar više udaljavao od telefona, na 43 posto točnosti pri udaljenosti od dva metra.


Praćenje vibracija

Nakon što se govor rekonstruira, istraživači mogu filtrirati, poboljšati ili klasificirati ključne riječi prema potrebi, kažu istraživači. Njihova metoda može se koristiti i za očitavanje vibracija u industrijskim strojevima, sustavima pametnih kuća i sustavima za nadzor zgrada. 

Model audio rekonstrukcije može izdvojiti ključne spektro-vremenske trendove iz podataka senzora
Model audio rekonstrukcije može izdvojiti ključne spektro-vremenske trendove iz podataka senzora

"Praćenje vibracija može pomoći u procjeni istrošenosti; korištenje našeg pristupa moglo bi pomoći u prepoznavanju kada je strojevima doista potrebno održavanje", objašnjavaju istraživači.