imagazin arrow2-left arrow2-right arrow2-top arrow-up arrow-down arrow-left arrow-right cart close dossiers education fb instagram menu notification oander rss rss-footer search service shuffle speech-bubble star store stores tests twitter youtube

Megjöttek az októberi Keynote meghívói

Kövesd velünk az eseményeket!

Testmozgáskövetés a böngészőben? Üdv 2018-ban!


Most gurult a Google gyárából egy olyan technológia, amitől biztosan el fogod dobni az agyad. Testmozgáskövetés a böngészőből! 2 perc tömör fun, próbáld ki te is!

A Google-ön belül van egy aránylag kicsi, külön csapat Google Creative Lab néven. A részleg tulajdonképpen egyfajta marketingeszközként működik: az ő feladatuk, hogy kommunikálják a világ felé, milyen királyságokat tud a Google. Éppen ezért a csapat szinte minden területen szokott alkotni az Androidtól kezdve a Chrome-ig bezárólag.

Elég hálás feladat az övék, munkájuk javarésze különböző ötletek barkácsolgatásából, bötykölgetéséből, illetve ezek prezentálásából áll – gondolom különösebb nyomás nélkül. Három alapelvük van: 1.) ismerd a felhasználókat 2.) tud a varázslatot 3.) kösd össze a kettőt. Összefoglalva tehát a cél a hétköznapi emberek lenyűgözése.

Egészen friss, alig egy napja publikált fejlesztésükkel azt hiszem nyugodtan kijelenthetjük: sikerült elérni ezt a célt. Dan Oved, a Creative Lab egyik szabadúszó kreatív fejlesztője olyan javascript alapú, tehát böngészőből futtatható testmozgáskövető-rendszert fejlesztett, amelyhez hasonlót idáig csak az Xbox Kinectnél láttunk. Annyi különbséggel, hogy a PoseNethez nem kell semmilyen speciális hardver, bőven elég a telefonod vagy laptopod webkamerája is hozzá.

De ne szaladjunk ennyire előre, kezdjük a fogalmak tisztázásával. A testmozgáskövetés azt a technológiát jelenti, amikor a számítógép leköveti a vizuálisan detektált emberi test mozgását. A rendszernek tehát el kell különítenie a környezetet az embertől, meg kell találnia a test referenciapontjait, majd végig kell követnie ezek mozgását. Emberi aggyal ez elég egyszerű, számítógépessel már kifejezetten embert próbáló, ha élhetek ezzel a képzavarral.

Fontos tehát, hogy a testmozgáskövetés során nem azt határozza meg az algoritmus, hogy ki van a képen/videón (tehát nem azonosítás történik, mint például a Face ID esetében), hanem azt, hogy hogyan mozog a test. Mondom, olyan mint a Kinect. Éppen ezért nagy szám, hogy a PoseNet mezei webkamerával is működik, hiszen a Kinectnek ugyanehhez még több ezer lézerpontra, és speciális mélységtérképekre volt szüksége.

A másik kiemelendő és egyben magyarázatra szoruló truváj, a JavaScript jelleg. A trükk, hogy úgy van megalkotva a rendszer, hogy a túlméretes adatcsomagoknak nem kell a neten vándorolnia és egy távoli szerveren feldolgozódnia, hanem a böngésző motorja lokálisan végzi a program által meghatározott számításokat (ennek később lesz még jelentősége).

A cikk írása közben gyorstalpalóba tanultam különböző „dependency“-kről, keretrendszerekről, könyvtárakról és más varázslényekről. Egyik ilyen a szintén Google-féle TensorFlow könyvtár, amely különféle mesterséges intelligenciához, gépi tanuláshoz szükséges csomagokat tartalmaz. Cikkünk tárgya, a PoseNet is erre a TensorFlow.js-re épül, aminek egyenes következménye, hogy 1.) gépi tanulásos algoritmusokat használ a referencia pontok meghatározására és követésére 2.) a böngészőből is képes futni.

Mire jó ez? Alapvetően a böngészők meglepően sok mindent tudhatnak, ha rendelkezésre áll hozzá a megfelelő technológia. Többek közt futtathatnak alkalmazásokat és játékokat is. Belátható, ha egy egyszerű JavaScript kód implementálásával a fejlesztők pillanatok alatt képesek lehetnek testmozgáskövetéssel okosítani webes produktumaikat, az számtalan lehetőséget rejt magában.

A PoseNet tehát még nem a végtermék, csak a technológia. Innentől kezdve a fejlesztőké a feladat, hogy valami hasznosat, kreatívat dobjanak össze belőle. A felhasználási lehetőségek korlátlanok, a fitnesszappoktól kezdve, az interaktív weboldalokon át, animációkig mindenre fel lehet majd használni.

A rendszer részletes technikai részleteibe inkább nem mennénk bele (arra itt van ez a tanulmány), legyen elég annyi, hogy az algoritmus valósidőben képes 17 referenciapont azonosítására és követésére. Ebből 5 az arcon található (szemek, fülek, orrhegy), a többi pedig a test többi részén (vállak, csuklók, térdek stb.). Legjobban akkor működik, amikor csak egy embert kell lekövetnie, de csökkentett precizitással egyszerre akár több személy mozgását is le tudja trackelni.

Nem hiszed? Tessék, itt egy demó weboldal, ahol eljátszhatsz a dologgal (Safarival nem működött nekünk, Chrome-mal viszont minden gond nélkül, a többi böngészőt nem teszteltük). Jó szórakozást hozzá!

Forrás: Medium

Fejlesztők! A projekt nyílt forráskódú, itt van hozzá a GitHub repo, légyszi csináljatok nekünk szuper webes appokat és weboldalakat. Köszi!

iPhone XS | Részletre is

Ezt már olvastad?

A Sirinek ez is az egyik baja, hogy mindenki a célközönség. Valószínűleg hatékonyabb lenne, ha először jól működő modulokat hoznának létre egy-egy funkcióra szabva.

Miért nem ismeri anyanyelvünket az Apple virtuális asszisztense? - Klikk ide!