Для людей з порушеннями слуху жестова мова є не просто засобом комунікації, а основною мовою спілкування. Проте, далеко не всі люди, які чують, її вивчають, що створює значний комунікаційний бар’єр. Наразі команда дослідників з Південної Кореї, схоже, знайшла вражаюче елегантне рішення цієї давньої проблеми.
Згідно з останніми дослідженнями, опублікованими у науковому журналі Science Advances, система під назвою WRSLT (Wireless Ring-based Sign Language Translator – бездротовий перекладач жестової мови на основі каблучок) здатна розпізнавати та перекладати як американську, так і міжнародну жестову мови з точністю понад 88%. І найважливіше – це відбувається в режимі реального часу.
Як смартфонні каблучки перекладають цілу мову?
Кожна смарт-каблучка оснащена тривісним акселерометром, який вловлює найменші рухи пальців. Коли людина виконує жест, вбудовані сенсори відстежують орієнтацію пальців та динаміку руху руки. Усі зібрані дані через Bluetooth бездротово передаються на смартфон або комп’ютер, де потужний штучний інтелект (нейромережа) інтерпретує ці рухи та перетворює їх на текстове повідомлення.
“Архітектура системи є модульною: кожна каблучка функціонує автономно, передаючи дані без дротів. Такий підхід дає змогу обробляти не лише окремі жести, але й безперервні послідовності рухів, що є основою для перекладу цілих фраз у текст без необхідності додаткового калібрування для кожного нового користувача”, – пояснюють розробники.
Ключова перевага WRSLT над вже існуючими рішеннями – це абсолютна свобода рухів. На сьогоднішній день системи перекладу жестової мови часто використовують громіздкі рукавички або дротові датчики, які обмежують природність жестів та вимагають індивідуального налаштування для кожного користувача. WRSLT позбавлена цих суттєвих недоліків.
Чи зможе ця технологія допомогти кожному?
Результати проведених тестів є надзвичайно позитивними, і дослідники висловлюють впевненість у універсальності системи. Модель була навчена на одній групі користувачів, а потім протестована на зовсім іншій. Система продемонструвала вражаючу точність: 88,5% для міжнародної жестової мови та 88,3% для американської. Це високі показники, враховуючи природні індивідуальні відмінності у виконанні жестів.
“Використовувана модель машинного навчання аналізує сигнали руху пальців відносно гравітаційного поля, що значно знижує залежність від індивідуальних особливостей користувача. Завдяки цьому підхід не потребує складних налаштувань під конкретну людину та показує стабільні результати навіть для нових учасників тестування”, – зазначено у технічній документації.
Наразі система вміє розпізнавати близько 100 слів кожною мовою, що є чудовим стартом. Команда розробників планує в подальшому зменшити розмір каблучок та значно розширити словник штучного інтелекту, додавши нові слова та жестові мови. Це, безперечно, ранній етап розробки, але WRSLT вже виглядає як одне з найперспективніших рішень для перекладу жестової мови, що з’являлося останнім часом.
Думка ЧАС НОВИН: Інновація корейських розробників відкриває нові горизонти для подолання комунікаційних бар’єрів, ставлячи доступність та інклюзивність в центр технологічного прогресу. Якщо подібні застосунки стануть широкодоступними, це кардинально змінить спосіб взаємодії між людьми з різними потребами та відкриє нові можливості для інтеграції у суспільство.
За даними порталу: itc.ua