Астраханский школьник создал единственное в России приложение, которое поможет людям с нарушением слуха

Ещё несколько десятков лет назад человечество и представить не могло (не считая писателей-фантастов, которые, мы уверены, заключили сделку с дьяволом и могли перемещаться во времени, иначе как объяснить появления «Наутилуса» у Жюля Верна, системы умный дом в «Марсианских записках» Брэдбери и пластиковых карт в романе-антиутопии «Взгляд назад, 2000-1887», написанном в конце 19 века), что в мире появятся технологии, способные облегчить нашу жизнь. И, что важное, улучшат и систематизируют работу многих механизмов. 

Поэтому сегодня, 8 февраля, в День российской науки мы решили выйти на поиски юных талантов, о чьих изобретениях, возможно, в недалеком будущем начнет говорить весь мир. Признаемся честно, долго искать не пришлось. Подающих надежду ученых в Астраханской области много. Но особенно нам приглянулось одно изобретение, о котором мы хотели бы сегодня рассказать — самоучитель языка жестов. И скажем вам, чутье нас не подвело. Как оказалось, программа уникальная и единственная в России. Но обо всём по порядку. 

Этого изобретения могло бы и не быть, если бы три года назад 13-летний школьник Андрей Растопшин вдруг не осознал, что хочет стать программистом. Нет, он не увидел, как падает яблоко, просто с детства смотрел на свою бабушку, которая обучала студентов в АГТУ программированию. Изучив основы на курсе, юный изобретатель понял, что это было правильным решением, и продолжил самостоятельно изучать языки программирования. Появилась цель — попасть в ОЦ Сириус, который помогает детям по всей стране раскрыть свои таланты в разных направлениях. 

Приобретенные навыки Андрей сначала тестировал на разных задачах. Потом создал с помощью языка Python классические игры такие как шахматы и пятнашки. Тут ещё и Центр одарённых детей открылся, куда Андрей поступил на обучение. В общем, стал практиковаться на небольших задачах и в один прекрасный момент увидел статью, в которой было написано, что на Python можно создать код, с помощью которого отслеживается движение рук по камере. Если можно, почему бы не попробовать, подумал Андрей, и протестировал эту технологию на примере увеличения и уменьшения громкости звука. Пальцы, направленные на камеру, то расширялись, то сужались. И вот тут-то и пришла мысль, что эту технологию можно использовать для языков жестов.

«Вместе с преподавателем мы посмотрели в интернете, что и как изучается, что из себя представляет язык жестов. И оказалось, на самом деле, это достаточно востребованная тема, если её сильно продвигать. Стали дорабатывать код, проводить анализ и вместе с этим проектом решили попробовать прорваться в тематических конкурсах», — вспоминает Андрей. 

Вот так и началась работа над приложением, которое поможет в интерактивной форме людям с нарушением слуха изучать понятный им язык. На вопрос, на каком этапе сейчас находится программа и сколько в ней жестов, юный изобретатель ответил, что важно не количество, а качество. Переводя на профессиональный язык, если алгоритм написан неправильно и программа некорректно определяет точки на рук, то даже полностью загруженный толковый словарь не даст результатов, так как система будет некорректно распознавать жест. Например, в данный момент система ещё не способна отличить правую руку от левой. Но уже есть идея, как это доработать.

«Допустим, мы наводим на камеру руку. Перед нами стоит картинка: определенный буквенный жест, так называемый дактиль. Она откалибрована и программа уже запомнила все точки на руке, которые должны быть выстроены также нашей рукой на веб-камеру. Программа распознает жест, вырисовывает линию и сравнивает с исходником через математические формулы. Если есть какое-то отклонение, система выделяет этот участок красным цветом. Чем интенсивнее цвет, тем менее корректно мы копируем исходный жест. В случае, если всё точно, рука полностью очерчивается зеленой линией. Под исходным жестом располагается шкала, которая в процентах показывает, насколько точно мы скопировали исходный вариант», — наглядно показывает работу приложения Андрей. 

Язык жестов, как и любой другой, богат и разнообразен. Слова в нем состоят из элементарных компонентов, поэтому один жест может состоять из нескольких объединенных элементов. Точность жестикуляции здесь также важна, как произношение в звуковом языке. Но в отличии от распространенного английского, язык жестов не всегда можно изучить с носителем. Это и есть главная цель разработчика — сделать язык жестов доступным для любого пользователя с нарушением слуха.

«Стоимость обучения языку жестов у сурдопедагогов очень высокая. Например, средняя цена часового занятия равна 2000 рублей. Кроме того, нужно найти человека, который помимо жестикуляции, смог бы помочь правильно произносить буквы. Они же сами себя не слышат. Или человек живет в глубинке, но очень хочет научиться разговаривать на языке жестов. В этом ему поможет приложение, с помощью которого он будет практиковаться», — сообщает Андрей. 

Несколько месяцев назад наш земляк прошёл в финал Всероссийского Балтийского научно-инженерного конкурса. Участие на региональном этапе было обусловлено необходимостью получить обратную связь и комментарии от экспертов и членов жюри. Проект Андрея привёл всех в восторг. Первое, что посоветовали ему судьи — не тянуть с проектом, иначе появятся конкуренты. На данный момент аналогов такой программы, по словам Андрея, в России нет. 

«Мы искали очень упорно, даже подключили к работе нейросеть, чтобы найти аналоги. И в России их вообще не было. Нашли зарубежные приложения. Но у них два больших минуса: обучение проходит только на английском языке и хромает точность передачи жеста. Также нам порекомендовали протестировать наше приложение на конкретной целевой аудитории, кому это нужно. На данный момент у нас есть контакты педагогов из нашего развивающего центра. Нам очень нужна обратная связь, насколько им это полезно, насколько им это нужно. Какие-то дополнительные фишки внедрить в приложение», — отметил преподаватель Андрея Дмитрий Тараскин. 

Итоговый вариант, к которому стремится Андрей, — выпустить приложение, в котором помимо самоучителя алфавита, будет функция сбора разных слов на время, режим соревнований с другими пользователями, кто быстрее скажет и переводчик: при наведении камеры на человека, экран будет фиксировать жесты и выводить текст в приложении. Возможно, сделать блок обучения для сурдопереводчиков. Как отметил наш собеседник, по статистике на 800 глухих приходится всего один сурдопереводчик. 

Уровень сложности юный изобретатель оценить не может. Для него это словно увлекательная игра. Но ведь когда-то Марк Цукерберг забавы ради создал со своими друзьями одно из самых популярных приложений во всем мире. А пока вы читаете эту статью, Андрей и его преподаватель Дмитрий со своим проектом участвуют в Детском научном конкуре (ДНК) Фонда Андрея Мельниченко в Кемерово. Скрестите пальчики и пожелайте астраханцу победы. 

Нина Попова