Сотрудники Санкт-Петербургского федерального исследовательского центра РАН обучили искусственный интеллект понимать русскую речь по движениям губ человека, сообщает портал «Известия» со ссылкой на информацию от Минобрнауки. Программу можно установить на любой смартфон с видеокамерой. Это первая нейросеть в мире, способная понимать таким способом русский язык. Разработку придумали, чтобы сделать возможным использование электронных голосовых ассистентов в условиях шума. Теперь их помощью смогут воспользоваться водители грузовых автомобилей, пилоты и другие профессионалы, работа которых связана с оборудованием, издающим громкие звуки.
Перед учеными стояла цель — добиться от нейросети лучшего понимания человека посредством визуальных и звуковых сигналов. Чтобы этого добиться, они использовали метод машинного обучения. Материалом для нейросети стали видео со звуком, где человек произносит определенные слова. Так компьютер научился понимать самые обыденные и часто используемые команды. Качество работы системы уже успешно испытали в условиях реальной работы водители грузовых машин российских транспортных компаний. Для этого приложение установили на их телефоны. Оказалось, что по картинке слова распознаются с точностью 60–80%, а вместе со звуком этот показатель вырос до 90%.
