Szenzorok őrzik tekintetünk (és mozdulataink)

Az elmúlt években a technológia és a mesterséges intelligencia (AI) fejlődése új lehetőségeket nyitott meg az emberi viselkedés megértésében és az ember-gép interakciók fejlesztésében. A szenzortechnológiák egyre elérhetőbbé váltak, a fejlett számítási kapacitás, az új gépi tanulási módszerek és a hatalmas adathalmazok révén az intelligens rendszerek új korszakába léptünk. A Human Insight AI egy olyan technológia, amely képes értelmezni, támogatni és előre jelezni az emberi viselkedést komplex környezetben.

A Human Insight AI több érzékelő adatainak kombinálásával, mélytanulási algoritmusok alkalmazásával és valós idejű feldolgozással valós időben követi a fej, a szem és a tekintet mozgását, az arckifejezéseket, az aktivitásokat és a testpozíciókat, egy teljesebb képet alkot a vezető viselkedéséről. Az olyan rendszerek, amelyek kamerákat helyeznek el a kormánykeréken vagy a visszapillantó tükörben, képesek felismerni a vezető életkorát, nemét, érzelmi állapotát és figyelmének szintjét. Ezek a technológiák figyelmeztetnek a vezető figyelmének elterelődésére, például mobiltelefon-használatra vagy dohányzásra, valamint segíthetnek a biztonsági öv használatának ellenőrzésében.

A testpóz és aktivitáskövető rendszerek lehetővé teszik az utasok mozgásának elemzését is, amely kulcsfontosságú lehet a biztonsági rendszerek optimalizálásában. A járművek belső érzékelési rendszerei képesek észlelni az utasok jelenlétét és testhelyzetét, ami segíthet a légzsákok hatékony működésében. Ezenkívül felismerhetik, ha egy gyermek vagy háziállat maradt a járműben, és figyelmeztetést küldhetnek a sofőrnek (vagy a hatóságoknak).

A legújabb fejlesztések között szerepelnek a teljes szélvédőt lefedő holografikus kijelzők és AI-alapú hangasszisztensek, amelyek proaktív kommunikációt biztosítanak a vezetővel. Például a Hyundai Mobis egy olyan technológiát mutatott be, amely a szélvédőn jeleníti meg a vezetési információkat és szórakoztató tartalmakat, míg a Sony Honda Mobility AI-alapú hangasszisztenst fejlesztett ki, amely segít a vezető figyelmének fenntartásában.

Mögöttes megoldások

A Driver Monitoring System (DMS) egy valós idejű, integrált járműfedélzeti megfigyelőrendszer, amely fejlett optikai szenzorokkal, gépi látással és mesterséges intelligencia-alapú adatfeldolgozással detektálja és elemzi a vezető állapotát. A rendszer célja a vezetői figyelem és éberség folyamatos felügyelete, amely elengedhetetlen a passzív és aktív biztonsági rendszerek hatékonyságának növeléséhez. A DMS hardveres elemei közé tartoznak a monokuláris vagy binokuláris IR spektrális kamerák, amelyeket NIR LED-ekkel (közeli infravörös tartományban működő fénykibocsátó dióda, amely tipikusan 750–1000 nm hullámhosszú fényt bocsát ki) támogatott spektrumérzékelés biztosít  alacsony fényviszonyok közötti működéshez, valamint dinamikus pupilladetekciós algoritmusokkal méri a pupilladiatációt, amelyből a fáradtsági állapotot azonosítja. A számítógépes látás és neurális hálózat-alapú jelfeldolgozás során konvolúciós neurális hálók (CNN) valósítják meg a fejpozíció és arckifejezések folyamatos detektálását, míg time-series RNN modellek azonosítják a figyelmi fókusz változásait és az elhúzódó kimerültségi állapotokat, valamint szenzorfúziós algoritmusok kapcsolják össze a vizuális információkat egyéb CAN-buszon keresztül elérhető adatokkal, például járműsebesség, kormánymozgások és fékezési minta.

A DMS rendszerek CAN-BUS és ADAS integrációval működnek, ahol az érzékelők adatait ISO 11898 CAN-FD interfészen keresztül továbbítják a jármű elektronikus vezérlőegységeihez (ECU-k), miközben L3+ szintű ADAS rendszerekkel való együttműködés révén beavatkozási parancsokat adhat ki, például haptikus visszacsatolás (érzékszervi visszajelző rendszer, amely tapintási vagy rezgésalapú stimulációval tájékoztatja a felhasználót egy adott eseményről vagy figyelmeztetésről) a kormányon vagy ülésrezgetés, illetve ESC (Electronic Stability Control) és ACC (Adaptive Cruise Control) alrendszerekkel való kommunikáció a figyelemzavar miatti vészreakciók vezérlésére. A DMS szoftveres megoldása magában foglalja a vezetőazonosítást, amely biometrikus arcazonosító algoritmusokkal biztosítja a sofőr felismerését és a beállítások automatikus alkalmazását, a figyelemelterelés és álmosság detektálását, amely head pose estimation algoritmusokkal határozza meg a fej dőlésszögét és orientációját, gaze tracking modellekkel követi a pupillamozgást és a tekintet fókuszpontját, valamint Fourier-alapú frekvenciaanalízissel kiszűri a mikroszintű pupillaoszcillációkat (pupilladilatációt).

A rendszer képes a veszélyes viselkedések felismerésére, például összetett gesztuselemzési algoritmusokkal detektálja a kézhasználatot (mobiltelefon-használat, dohányzás, evés-ivás), míg deep learning activity recognition modellek felismerik az interakciókat a jármű kezelőszerveivel, valamint érzékeli és elemzi a jármű belső terében lévő objektumokat és azok hatását a vezetésre, illetve optikai áramlás elemzéssel vizsgálja az utasok és tárgyak relatív mozgását. A testtartás-elemzés és egészségi állapot monitorozása során skeleton-based pose estimation modellek követik a vezető testhelyzetét és mozgásait, valamint BPM és HRV mérés pupillareakcióból és arcfelületi mikromozgásokból történik.

A DMS beavatkozási mechanizmusai az észlelt kockázati szint alapján különböző módon aktiválódnak, beleértve a figyelmeztető jelzéseket, például HUD vizuális figyelmeztetéseket, haptikus visszacsatolást a kormányon vagy ülésben, illetve akusztikus figyelmeztetést a fedélzeti hangszórókon keresztül, valamint automatikus beavatkozásokat, mint sávkorrekció, fékezési segítség, adaptív sebességkorlátozás és autonóm vészmegállás.

A jövőbeli fejlesztési irányok közé tartozik az edge AI optimalizáció az alacsony számítási kapacitású MCU-kon való hatékonyabb futtatáshoz, az 5G és V2X kommunikáció a járművek közötti valós idejű figyelmeztetések továbbítására, valamint az Emotion AI továbbfejlesztése a finom érzelmi változások még pontosabb azonosítására és a beavatkozási stratégiák dinamikus módosítására. A Smart Eye DMS rendszere tehát egy hardverfüggetlen, AI-alapú járműfelügyeleti megoldás, amely az autóipari biztonsági szabványoknak megfelelően fejlesztett (ASIL, ISO 26262), CAN-FD kompatibilis és ADAS rendszerekkel integrálható, lehetővé téve az intelligens vezetőtámogatás és balesetmegelőzés következő generációját.

Forrás: smarteye.se, autoconnectedcar.com