Lidé se zrakovým postižením získají díky aplikaci bMyVision vyvinuté na FM TUL pomocníka, který za ně „uvidí“. Poznají, že se k nim blíží člověk a jakou má náladu, zjistí, kde je nejbližší přechod pro chodce i semafor, že mají v ledničce prošlé mléko a na chlebu plíseň nebo si spočítají peníze. A v parku mohou uklidit po svém psovi. Odhalí i překážku v úrovni hlavy. To vše bude zdarma.
Zatímco výše popsané situace řeší zdravý člověk automaticky, pro zrakově handicapované jsou každodenním bojem. Technologické pomůcky jako speciální brýle s kamerou sice už existují, ale jejich cena je značně vysoká. Docent Josef Chaloupka z ústavu informačních technologií a elektroniky Fakulty mechatroniky, informatiky a mezioborových studií TUL spolu s kolegou Karlem Palečkem proto už dva roky pracuje na stejně výkonné mobilní aplikaci bMyVision, která však bude mít zásadní výhodu. Bude zdarma a v offline režimu, takže uživatel nepotřebuje internetové připojení. Bezpečný pohyb tak nenaruší třeba ani pohyb v metru.
Verze bMyVision 2.0 je v závěrečné testovací fázi. Plně odladěnou aplikaci si zrakově handicapovaní budou moci stahovat prostřednictvím Apple Store do telefonů iPhone před koncem roku 2026. Aplikace, jež využívá umělou inteligenci k rozpoznávání okolí v reálném čase, je napsaná jak pro češtinu, tak pro angličtinu.
Od pomoci kvadruplegikům k nevidomým
Projekt navazuje na více než třicetiletou tradici fakultní laboratoře zpracování řeči Speech Lab. Ta se mimo jiné zaměřila na ovládání počítače hlasem. Systém MyVoice pomáhá lidem, kteří se nemohou hýbat a hlasové ovládání počítače je pro ně často jedinou možností, jak komunikovat se světem.
„Naše první uživatelka Dita Horochovská díky MyVoice dokáže nejen pracovat, ale i pomáhat dalším vozíčkářům. Je tak úspěšná, že za to dokonce dostala Cenu Olgy Havlové a od prezidenta Petra Pavla Medaili za zásluhy 1. stupně. Řekli jsme si, proč nepomoci i nevidomým,“ popisuje prvotní impuls k vývoji aplikace Josef Chaloupka.
Vědci při vývoji bMyVision úzce spolupracovali s libereckou společností Tyflocentrum, jež pomáhá těžce zrakově postiženým. Samotní nevidomí tak přicházeli s tím, co by aplikace měla umět, a bMyVision i testovali. „Například rozpoznávání plísně v dosud existujících systémech není. Pro nevidomé je to ale důležitá věc. Člověk si to uvědomí až tehdy, když se se zrakově handicapovanými baví a zajímá se o jejich pocity a potřeby,“ vysvětluje docent Chaloupka.
Co všechno aplikace „uvidí“?
V domácnosti bMyVision pozná bankovky a mince, přečte texty, data spotřeby na potravinách nebo detekuje plíseň. Identifikuje také známé tváře, které si uživatel sám do systému přidá, a dokonce i jejich emoce. „Vidím Miloše a je naštvaný,“ může být jedna z hlášek, kterou uživatel bMyVision uslyší a může tak zapříst sociální interakci.
Na ulici zase nevidomý najde přechody pro chodce a dostane informaci o jejich vzdálenosti, rozpozná semafory nebo obchody. Unikátní funkcí je detekce psích exkrementů. „Systém nevidomému řekne, že třeba na šesti hodinách, dva metry od něj, se nachází to, do čeho by neměl šlápnout. Nevidomí tak budou moci po svém psovi uklidit,“ líčí docent Chaloupka.
Revoluční ovládání: Prstýnek místo gest
Ovládání je maximálně jednoduché. Uživatel přejíždí prstem po displeji a telefon hlasem popisuje jednotlivé ikony a jejich funkce. Pokud si zrakově handicapovaný bude chtít do systému přidat novou tvář, hlasový asistent jej provede správným zaměřením a nasnímáním.
Vědci vyřešili i zásadní bezpečnostní problém. Nevidomý by totiž neměl chodit po ulici s telefonem v natažené ruce – riskoval by krádež. Telefon proto bude propojen s externí kamerou v brýlích a informace uživatel uslyší díky pakostnicovým sluchátkům. Liberečtí vědci navíc přišli s unikátním ovládáním. „Vymysleli jsme prototyp Bluetooth tlačítka, které integrujeme do nenápadného prstýnku. Uživatel tak ovládá mobilní aplikaci pouhým stiskem na prstu nebo na slepecké holi a nemusí přejíždět prstem po displeji. Dlouhé zmáčknutí tlačítka přepne modul, krátké mu řekne, co je před ním,“ popisuje Josef Chaloupka „vychytávku“, kterou vývojáři ochrání průmyslovým vzorem.
Senzor upozorní na překážky
Systém dokáže nevidomé také varovat před překážkami v úrovni hlavy, a to už od tří metrů. Nic podobného zatím neexistuje. „Požádali nás o to nevidomí. Do hlavy se totiž kvůli větvím či cedulím udeří často, kvůli tomu i upadnou na zem. Čidlo je ale včas varuje před překážkami od pasu výš, takže problém s těmito nehodami zmizí,“ popisuje docent Chaloupka.
Aplikace vznikla v rámci projektu „Výzvy pro 21. století“. Během následujících dvou let se vývojáři zaměří i na akademické prostředí. Aplikace nevidomým studentům pomůže se čtením prezentací během přednášek nebo s orientací v kampusu a v učebnách. I tato aplikace bude zdarma.
Vývojáři poskytnou podklady ke všem částem sytému bMyVision jako open source – kdokoliv si bude moci stáhnout podklady a podle nich zařízení zkonstruovat. Informace o systému a vývoji jsou už nyní na webové stránce. „Chceme, aby moderní technologie pro nevidomé nebyly luxusem dostupným jen pro vyvolené, ale běžně dostupnou pomocí pro každého, kdo ji potřebuje. Děláme to pro dobrý pocit, že můžeme pomoci,“ uzavírá docent Chaloupka.
Adam Pluhař
Další články v rubrice
Kuličky s nanovlákenným srdcem čistí odpadní vody účinněji
Jak odstranit z odpadních vod dusíkaté látky, které následně ohrožují vodní organismy? Odpovědí mohou být plastové kuličky s nanovlákennou přízí uvnitř. Na jejich povrchu se totiž rychle a pevně usazují užitečné mikroorganismy. Výzkumník Karel...
Vyčůrat a rozsvítit. Výzkum, který může pomoci miliardě lidí
Co kdyby toaleta dokázala rozsvítit světlo nebo nabít mobilní telefon – a to díky tomu, co už tělo nepotřebuje? Není to žádná utopie, ale jde o seriózní evropský výzkum Pee Power®, který proměňuje moč v elektřinu. A na jeho zdokonalení pracuje i...
Robot se učí od svářeče. Unikátní systém z TUL ocenili zástupci firem
Robot i za špatné viditelnosti sleduje svářeče, zachytí jeho pohyby a naučí se je dokonale zopakovat. Do několika desítek minut je hotový program a robot může začít svařovat. Systém, který využívá neuronovou síť i trojici kamer a brzy se objeví v...
