Российские учёные научили нейросеть читать по губам
Фото: Максим Русев, корпорация «Синергия»
Специалисты Санкт-Петербургского федерального исследовательского центра РАН создали приложение для смартфона, с помощью которого по губам считывается речь, окружающий шум не влияет на работу системы, сообщает ТАСС.
«Исследователи Санкт-Петербургского федерального исследовательского центра РАН научились при помощи алгоритмов искусственного интеллекта и компьютерного зрения распознавать речь человека по губам. Разработка поможет повысить точность работы голосовых помощников в шумных условиях, например, в людных местах или при управлении тяжелой техникой», – говорится в сообщении.
Отмечается, что сейчас уже есть подобные цифровые алгоритмы, которые распознают слова пользователей, но при сильном шуме они не так эффективны. Поэтому разработчики из Санкт-Петербурга предложили своё решение этой задачи. Их нейросеть может воспринимать информацию и на слух, и визуально по движению губ.
Учёные использовали метод машинного обучения. Они предложили нейросети видео со звуком, на котором человек произносит слова. Так ИИ научился понимать простые команды и стал сам решать, какие данные – видео или аудио – дадут лучший результат.
Систему тестировали водители шумных большегрузов. Для этого на их смартфоны установили приложение. Оказалось, что по губам нейросеть распознаёт 60-80% информации, а вместе со звуком – до 90%.
Разработчики считают, что в будущем их приложение станет полезным для пилотов самолётов и тяжёлой промышленной техники. Также его можно использовать в торговых центрах и других шумных общественных местах.
Учёные научили нейросеть рисовать картинки по мыслям
Читать подробнее