Algoritmul Google de urmărire manuală în timp real folosește un smartphone pentru a îmbunătăți recunoașterea limbajului semnelor

Urmărirea manuală în timp real

Limbajul semnelor este folosit de milioane de oameni din întreaga lume. Cercetătorii s-au străduit să construiască tehnologii care să poată înțelege gesturile și să le transforme automat într-un limbaj ușor de înțeles de om. Totuși, astfel de proiecte nu au obținut un succes imens în ceea ce privește acuratețea.

Google a dezvoltat recent un algoritm care poate fi utilizat pentru urmărirea manuală în timp real. Sistemul inteligent utilizează învățarea automată pentru a crea o hartă a mâinii. Harta este creată cu ajutorul unei camere sau a unui smartphone. Nu putem nega faptul că majoritatea sistemelor nu reușesc să capteze cu precizie mișcări rapide ale mâinilor. Google a abordat în mod special această problemă în această cercetare. Interesant este faptul că au limitat cantitatea de date care a fost procesată anterior de algoritmi.

Cum funcționează urmărirea manuală în timp real?

Majoritatea proiectelor existente traduc limbajul semnelor prin detectarea dimensiunii și poziției mâinii complete. Cu această cercetare. cercetătorii au eliminat necesitatea de a manipula forme dreptunghiulare în diferite dimensiuni. Sistemul Google doar recunoaște palma care are o formă pătrată. În al doilea rând, se realizează un proces de analiză separat pentru degete.

Gesturi cu mâna

Cercetătorii au folosit aproximativ 30.000 de imagini manuale pentru a antrena algoritmul de învățare automată. Aceste imagini au fost surprinse în diferite condiții de iluminare și poziție. Apoi, sistemul detectează gestul făcând o comparație între poziția mâinii și o listă de entități cunoscute, cum ar fi o minge sau fericirea. Google descrie recunoașterea gesturilor într-un postare pe blog .

Apoi mapăm setul de stări ale degetelor la un set de gesturi predefinite. Această tehnică simplă, dar eficientă, ne permite să estimăm gesturile statice de bază cu o calitate rezonabilă. Conducta existentă acceptă numărarea gesturilor din mai multe culturi, de ex. Americane, europene și chinezești și diverse semne de mână, inclusiv „Thumb up”, pumnul închis, „OK”, „Rock” și „Spiderman”.

Windows 10 blocat în modul tabletă

Algoritmul final de urmărire manuală produce rezultate de ultimă generație în ceea ce privește viteza și acuratețea acestuia. Algoritmul utilizează cadrul MediaPipe pentru a rula. Această tehnică pare a fi un progres major în domeniul limbajului semnelor. Deși încă există mult spațiu de îmbunătățit. pentru a crea o mai bună înțelegere a limbajului semnelor. Oricine poate extinde această lucrare pentru a utiliza expresii faciale și ambele mâini pentru a obține rezultate mai bune.

Deși nu există niciun cuvânt din partea Google, există posibilitatea ca Google să îmbunătățească această tehnologie de urmărire manuală în timp real pentru a o utiliza în produsele sale. Între timp, dacă doriți să vă jucați cu codul, este disponibil public pe GitHub .