Microsoft подала патентную заявку на технологию искусственного интеллекта, которая позволит изменять речь участников прямых трансляций в режиме реального времени. Система сможет удалять нежелательные выражения, исправлять оговорки и заменять отдельные слова, одновременно перерисовывая движения губ говорящего в соответствии с новой аудиодорожкой. Для обработки звука и изображения предусмотрена задержка продолжительностью от одной до десяти секунд.
Согласно описанию патента US 2026/0341309 A1, система будет использовать ИИ-агента, который непрерывно анализирует аудио и определяет фрагменты, требующие редактирования. Для этого он сможет учитывать заранее заданные правила и персональные данные зрителей, включая возраст, язык общения и место проживания. Затем генеративный ИИ заменит выбранные слова, сгладит переходы между исходными и измененными фрагментами и создаст новые видеокадры с соответствующими движениями рта.
Среди возможных изменений перечислены удаление слов-паразитов, исправление заикания и ошибок произношения, а также замена нежелательных выражений. Предусмотрен и автоматический перевод: если язык выступающего не совпадает с языком, указанным в профиле зрителя, ИИ сможет заменить оригинальную речь переводом и синхронизировать с ним движения губ. Технологию предлагают использовать во время лекций, церемоний награждения, игровых шоу и спортивных трансляций, а запускаться она будет на смартфонах, планшетах, AR-очках и камерах.
