Как это работает? Голосовые помощники для дома и квартиры на примере Google, Amazon и других

Привет.

Идея для этой рубрики назрела давно, но все не подворачивалось темы, которую стоило дотошно разобрать. Позвольте вначале определить формат колонки «Как это работает?», чтобы между нами не было кривотолков и мы не играли в испорченный телефон. Во-первых, и это следует из названия, материалы рубрики будут отвечать на один-единственный вопрос. Во-вторых, мне основной задачей видится не перечисление технических характеристик и возможностей той или иной технологии, а описание того, как она работает, из каких кирпичиков состоит и как они между собой взаимосвязаны. Хочется, чтобы обычный человек, прочитав материал из этой рубрики, смог понять, как все устроено, а при желании изучить вопрос более детально.

Почему нужно новое название для колонки, не получится ли так, что сущности множатся без всякого смысла? К сожалению, формат «Бирюлек» – это то, что привлекло мое внимание за прошедшую неделю, и то, что меня волновало, если хотите, это авторское видение рынка и событий на нем. Иногда в «Бирюльках» я рассказываю о том, как устроен рынок и технологии, но делаю это по необходимости, причем сильно укорачивая свой рассказ, ограничивая себя. В рамках «Диванной аналитики» такие материалы также неуместны, так как в них скорее не рассказывается про маркетинг или коммерческую составляющую продукта, а делается акцент на технологиях и том, как они работают. Отсюда и необходимость в такой рубрике. Пока будем считать ее экспериментальной, не могу сказать, будет она появляться время от времени или станет более-менее постоянной, это зависит от вас и тех тем, что интересны вам. Поэтому смело высказывайте свои предложения в комментариях, а заодно предлагайте темы для будущих выпусков «Как это работает?». Поехали!

Голосовые помощники для дома – рынок Amazon Alexa и Google Home

Первым голосовым помощником можно смело считать Amazon Alexa, это устройство появилось в ноябре 2014 года и стало для рынка своего рода открытием. Прототипы подобных устройств появлялись задолго до дебюта Alexa, но они не доходили до коммерческой реализации и выглядели очень аскетично.

Голосовые помощники для дома и квартиры на примере Google, Amazon и других

Идея Alexa была простой и понятной, это голосовой помощник, которого можно разбудить, обратившись к нему по имени. Выбор имени Alexa не случаен, в английском языке четко распознается звук X, это уловка, чтобы устройство не ошибалось и реагировало на одно слово, а не на два, как это сделано у Google с его фразой «OK, Google». Помощник после обращения к нему умеет сообщать нужную информацию, например, рассказывать о погоде, пробках, зачитывать новости или даже отправлять письма другим людям, которые вы тут же диктуете. Позднее Alexa научилась управлять элементами умного дома, например, термостатами от Nest, лампочками Hue от Philips и другими. Вы просто говорите, что нужно изменить температуру, и Alexa отправляет эту команду на нужные устройства.

Также как в Siri, в Alexa можно вести диалоги и задавать вопросы, многие ответы шутливы, на многие вопросы система ищет ответы в интернете. Появлением Alexa и других подобных систем мы обязаны прогрессу в двух областях – распознавании речи и распространении дешевого интернета, когда каждая квартира постоянно подключена к сети. Прежде чем рассмотреть устройство Alexa и ей подобных, сделаю ремарку в отношении Siri, Bixby, Google Assistant и других голосовых помощников на смартфонах и планшетах. Технология, которая лежит в основе этих сервисов, полностью идентична и никак не отличается, поэтому когда я рассказываю про Alexa или Google Home, можете смело считать, что это относится и к голосовым помощникам на смартфонах.

Рынок США является первым и ключевым для голосовых помощников, причем во всех видах устройств. Одно из самых свежих исследований eMarketer утверждает, что четверть всех владельцев смартфонов хотя бы раз в месяц используют голосового помощника, это около 60 миллионов человек. В том же исследовании говорится, что продажи домашних голосовых помощников в 2016 году удвоились и составили в США 35.6 млн штук, из них 70.6% приходятся на продукты от Amazon (условно назовем их Alexa), а 23.8% - на Google Home. Категория «Другие» почти не присутствует на рынке, и ниже мы попытаемся разобраться, почему это так. Начнем.

Как работает домашний голосовой помощник – команда и распознавание голоса

Каждый голосовой помощник имеет как минимум микрофон и громкоговоритель: первый нужен, чтобы слышать ваши команды, второй – чтобы отвечать вам. В зависимости от модели могут отличаться число микрофонов, их направленность (как правило, это 360 градусов), чувствительность и другие параметры. Но на принципе работы это никак не сказывается.

Голосовой помощник подключается к интернету, он не умеет работать без постоянного доступа к сети. Вы настраиваете свой голосовой помощник на фразу, которая его «будит», это команда, заставляющая его «слушать» все, что вы скажете. Например, сказав Alexa, вы пробудите помощник от Amazon, и он начнет слушать все, что вы говорите. Команды выключения как таковой нет, устройство просто засыпает, когда понимает, что диалог завершился. Пробудить его можно повторной командой Alexa.

Много шуток в США было на тему того, что не повезло женщинам, которых зовут так же, как устройство от Amazon, у них оно будет работать постоянно. На самом деле в Alexa, также как и в других голосовых помощниках, вы можете сменить слово-команду на любое другое. Совет от разработчиков прост: чтобы это слово не было коротким и его можно было хорошо распознать даже в шумных условиях.

Устройство в локальной памяти хранит все настройки, там же располагаются буфер и система распознавания голоса. Домашний голосовой помощник можно воспринимать как упрощенный вариант смартфона, в котором может быть дисплей, либо его может и не быть. Важно, что система распознавания голоса в большинстве случаев локальная, именно устройство обрабатывает звук и распознает его. В ряде случаев, когда устройство не может самостоятельно распознать и расшифровать голос, оно отправляет запись в облако, где происходит распознавание, так как серверы имеют большую производительность и большие базы данных для проверки и подбора слов.

Как правило, большинство производителей используют комбинированные системы, распознавание голоса происходит локально, на сервер, который должен его обработать, он отправляется в виде условного текста или уже команды. Для ряда запросов, предполагающих местное действие, оно тут же осуществляется. Например, когда пользователь говорит «установить будильник на 8 часов утра», система локально выполняет команду, не обращаясь в облако. То же самое касается и настройки других устройств умного дома, например, изменения температуры в термостате.

Многие ошибочно считают, что если голосовой помощник распознает локально команды и голос, то эти данные навсегда остаются в нем, это не так. Все зависит от производителя, марки устройства, но всегда все данные, записанные после слова-команды, передаются на серверы производителя, где они и хранятся. Эти данные могут быть использованы для более точной настройки системы распознавания и в других целях, например, их может запросить полиция в рамках расследования уголовного дела, и компания-производитель их предоставит. Но надо понимать, что голосовой помощник не записывает все, что происходит вокруг него 24/7, он записывает только голосовые отрывки после слова-команды.

Следующий важный момент – это языки, на которых умеют говорить голосовые помощники. Например, для Amazon это английский и немецкий. В случае Amazon сервис Alexa – это удобный способ что-то купить на сайте Amazon, поэтому ареал распространения ограничен теми странами, где сервис имеет наибольшую аудиторию. Для того же Google Home в планах, напротив, быть везде где только возможно. Мы увидим экспансию Google Home на всех мировых рынках, он начнет появляться на всех языках. Хотя пока он представлен ровно в том же количестве стран, что его прямой конкурент. Здесь Google выступает в роли догоняющего и поэтому не спешит быть везде, так как другие конкуренты маловероятны, ниже мы обсудим, почему это так.

Итак, вы сказали слово-команду, и ваше устройство «проснулось», записывает ваш голос, чтобы его распознать. Первый и самый важный элемент – это распознавание голоса и его преобразование в текст. Как правило, текущие голосовые помощники настраиваются на один основной язык. Например, если устройство поддерживает как английский, так и русский, одновременно разговаривать с ним на двух языках не выйдет, оно будет путаться и просить повторить фразы. В будущих устройствах этот момент будет с легкостью разрешен, так как голосовые помощники научатся сами определять язык, на котором вы говорите. Но пока они могут только анализировать контекст, в котором вы произносите фразу (все это происходит в облаке), чтобы заменить некоторые слова на английские. Например, раньше, когда вы произносили фразу «в каком году вышел альбом обратная сторона луны у пинк флойд», она распознавалась именно так, как я написал. В Google Speech API сегодня она распознается иначе: «В каком году вышел альбом “Обратная сторона Луны” у Pink Floyd». Причина заключается в том, что Google задействует нейронные сети для анализа не только самой фразы, но и сказанного контекста. То есть, система пытается предугадать, что именно вы хотите, какой смысл у вашего вопроса.

Если вы по какой-то причине пропустили революцию в системах распознавания и расшифровки голоса, никогда не пользовались голосовой диктовкой на Android-смартфонах, то просто попробуйте это сделать в браузере по этой ссылке.

В Google уже поддерживается более 80 языков, для каждого возможно преобразование голоса в текст и обратно. Конкуренты пока от Google отстают, но со временем ситуация на этом рынке выровняется, так как с течением времени, обрабатывая семплы речи, каждая компания добьется очень высокой точности распознавания голоса. Также добавим сюда алгоритмы анализа контекста в облаке.

Понятно, что в Google будут первыми в этом забеге, так как уже делают это для других сервисов, в том числе и смартфонов, но преимущество не будет длиться вечность, в конечном итоге на рынке появится массовая и дешевая технология, она повторяема любой компанией. Условно можно считать, что преимущество Google измеряется 3-5 годами, пока конкуренты не приблизят свои технологии к тем, что существуют у этого гиганта.

Первый этап работы любого голосового помощника, как мы выяснили, это распознавание голоса и перевод его в текст. Сегодня на рынке не так много компаний, которые обладают подобными возможностями, это Amazon для пары языков, Google Speech API, Microsoft Speech API, Nuance, IBM Watson (облако от IBM, в которое пытаются внедрить все что только возможно, в том числе голосовые функции) и многие другие. Нет никакой проблемы в том, чтобы повторить Amazon Alexa или любой иной голосовой помощник, в Китае стоимость производства такой коробки составит 15-20 долларов от силы, а цена Google Home – 109 долларов без учета налогов.

Как и за что крупные производители берут такие деньги и получают сверхприбыль, во всяком случае, на первый взгляд? Ответ кроется в том, что у них, с одной стороны, нет конкурентов, обладающих сходными технологиями, те же китайцы не могут завалить рынок голосовыми помощниками, так как отсутствуют общедоступные технологии для этого, о чем подробно ниже. С другой стороны, в отличие от продажи обычной беспроводной колонки, где срок жизни влияет только на себестоимость ремонта и гарантийные обязательства для производителя, в домашнем голосовом помощнике есть запросы к облаку компании, каждый запрос стоит для компании определенных денег.

Недорого стоят запросы в платформе от Google, они тарифицируются отрезками по 15 секунд, стоимость такого запроса составляет 0.006 доллара. Например, если вы распознали отрывок в 16 секунд, то с вас возьмут 0.012 доллара. Такие цены приводятся для любого приложения на смартфоне и имеют ограничение до одного миллиона минут. Для голосовых помощников дома, машин, телевизоров и прочего вам нужно обратиться в Google, цены будут выставлены индивидуально.

Специально чтобы подсчитать, сколько может стоить сторонней компании обслуживание домашнего голосового помощника, установил диктофон и посчитал, сколько запросов в среднем в день у меня к Google Home. До этого момента я искренне полагал, что практически не пользуюсь этой системой, когда нахожусь в США, после своего эксперимента убедился, что это не так. В среднем в день у меня порядка 20 обращений к Google Home (причем я делал это один, другие люди не работали с системой), запросы стандартные, как правило, это голосовой поиск чего-то в сети, когда лениво вставать с дивана, а смартфона или планшета под рукой нет. Все запросы вписываются в 30 секунд, то есть они стоят 0.012 доллара каждый. В месяц таких запросов наберется 600, в год их уже будет 7200 штук, что составит 86.4 доллара. Учитывая, что средний жизненный срок домашнего голосового помощника уже превышает два года (рынок появился два года назад, и посчитать реальный срок невозможно, но он будет 4-5 лет как минимум), получается, что любой производитель, не имеющий бесплатной системы преобразования голоса в текст, обречен на экономический крах.

Однако не все так плохо, тот же Nuance предлагает модель лицензирования на определенное число устройств, с определенным средним числом обращений в течение года или разовым лицензионным платежом. Это более гибкая модель, которая позволяет сторонним компаниям строить свои голосовые помощники. То же самое можно сказать про подход Amazon, когда возникла конкуренция со стороны Google, в компании начали бесплатно раздавать Alexa Voice Services (AVS), причем в версии с распознаванием речи только в облаке (ASR), а также добавили модуль распознавания естественного языка (NLU). Такое решение в какой-то мере вынужденное, так как в Amazon хотят быстро улучшить качество распознавания речи, добавить новые языки, чтобы на равных конкурировать с Google. В январе 2017 года на CES в Лас-Вегасе было показано два десятка устройств, что используют голосовые возможности от Amazon, это беспроводные колонки, персональные помощники, термометры и многие иные предметы «умного» дома.

Среди корпораций, имеющих возможность доминировать на рынке голосовых помощников и разрабатывать собственные системы, отметим такие компании, как Amazon, Apple, Google, Facebook, Microsoft, Samsung. Другие производители будут вторичны, так как не смогут создать собственные системы распознавания голоса и конвертации его в текст, они будут пользоваться теми решениями, что предоставят им перечисленные компании. Скорее всего, можно ожидать, что Google будет бесплатно раздавать такие решения для партнеров, создающих голосовые помощники, во всяком случае, первоначально подход будет такой. Это подход, который мы видим в Android, на первом этапе систему раздают бесплатно и всячески подсаживают на нее производителей, а затем постепенно начинают закручивать гайки, чтобы добиться дополнительных плюсов для себя. В 2017-2019 годах можно ожидать расцвета голосовых помощников, ежегодно будет появляться несколько десятков моделей, но ключевых игроков на этом рынке будет два-три, остальные составят ту самую категорию «Другие», которая в 2016 году не превысила 6% рынка.

Обработка запроса, сценарии и их выполнение

После того, как голосовой помощник распознал голос и превратил его в текст, он отдает его в облако (либо выполняет простую локальную команду, как это было в примере с будильником). Достоинство голосового помощника напрямую вытекает из того числа операций (команд), которые он способен распознать и правильно их обработать. Именно сценарии использования становятся второй проблемой для широкого и быстрого распространения голосовых помощников по всему миру. В Amazon привлекли сторонних разработчиков, чтобы они создавали свои сценарии использования и команды, к концу февраля 2017 года таких команд стало 10.000. В Amazon их называют «умениями» (skills). Простота создания новых умений подкупает разработчиков, равно как и то, что продукты от Amazon популярны в Америке, поэтому очень быстро голосовые помощники научились заказывать пиццу из любого магазинчика рядом, вызывать Uber и делать множество не таких тривиальных вещей.

Чем больше людей пользуется голосовыми помощниками, тем большее число сценариев возникает, а система быстрее учится их правильно обрабатывать. Например, в самом начале пути Alexa почти не знала немецкие рок-группы, хотя сам язык поддерживался. Сегодня поиск по музыкальным группам Германии и жанрам музыки пусть и не идеален, но вполне сносен, вы можете получить необходимые сведения, запросив информацию. Система обучается, и прогресс налицо.

Для сторонних разработчиков возникает вопрос, кто будет создавать и поддерживать такую систему. Например, в Китае сейчас наблюдается бум стартапов, что инвестируют десятки миллионов долларов в это направление, они создают компании, которые пытаются в одном продукте предоставить как раз обработку сценариев и их автоматизацию. Это не только и не столько рынок голосовых помощников, для такой автоматизации найдется более широкое применение, например, это обработка заказов на сайтах, создание чат-ботов для поддержки клиентов любого бизнеса, в России вы уже сталкиваетесь с этим, обращаясь в службу поддержки Билайна, беседу с вами ведет программа. Бум развития сценариев, которые нужны потребителям, напрямую связан с помощниками, они выигрывают от того, что в алгоритмы загоняют стандартные действия. К сожалению, формализовать естественный язык не так-то просто, поэтому любые диалоги с голосовым помощником или программой в сети не являются очень глубокими. Так, любой разговор можно описать в парадигме вопрос-ответ, когда каждая пара образует один уровень, большинство программ обработки диалогов сегодня ведут более-менее осмысленный разговор для 2-3 уровней, затем они начинают пасовать, и тогда появляется продуманная программистами заглушка, например, у Siri это шутки, которые должны скрыть незнание программой того, как действовать дальше.

Пользовательские сценарии условно можно разделить на простейшие, те, что не зависят от страны и языка, и сложные. В простых сценариях мы сталкиваемся с типичными действиями, это могут быть установка будильника, чтение последних новостей или какой-то определенной газеты/сайта, отправка почты и тому подобное. То есть, это предопределенные действия, реализация которых в устройстве или программе не вызывает никаких затруднений. В простых сценариях важно, чтобы система распознавания речи правильно распознала контекст и то, является запрос утверждением или вопросом. Например, одна и та же фраза может восприниматься системой различно: «Будильник на 8 часов стоит или нет?». Многие системы первоначально просто ставили будильник на это время, не проверяя, есть он уже или нет. Теперь они «научились» проверять состояние будильника и правильно отвечать на этот вопрос.

Сложные сценарии напрямую привязаны к контексту языка и страны. Например, спрашивая, что сегодня идет в кино, вы не ждете, что голосовой помощник зачитает вам список фильмов в Нью-Йорке, наверное, вы хотите услышать его для своего города и желательно для своего района или любимого кинотеатра. Локальный контекст становится архиважным, и глобальные компании зачастую не могут сделать ничего в этой области. Исключением является Google, у которого системы Google Now и Google Maps построены вокруг сбора точек интереса, или POI, то есть «изучают» мир, отзывы о тех или иных заведениях. В Amazon этой информации нет, поэтому сценарии подразумевают не только алгоритм действий, но им нужна и первоначальная информация.

В России дочерняя компания i-Free под названием Just AI с 2011 года создает такую платформу, то есть они пытаются создавать сценарии, применимые для российского рынка. Первым продуктом, в котором на массовом рынке применяются сценарии, созданные компанией, стал робот Pudding (в нашем варианте «Емеля»), он умеет разговаривать на русском языке, искать определенный контент и защищать детей от нежелательных слов и запросов.

Назвать «Емелю» роботом сложно, это самый настоящий голосовой помощник, ориентированный на детей в возрасте от 5 до 11 лет, при этом он не является игрушкой. Со стороны компании Just AI в этом голосовом помощнике сценарии и распознавание русской речи (движок от Nuance). В теории, если ребенок начнет интересоваться самоубийством или подобными темами, такой «робот» может отговорить его и отправить экстренное сообщение родителям – это те самые сценарии, которые нужно разработать и добавить их в устройство. Другой пример, дети часто хотят, чтобы им рассказали сказку, выбор сказок огромен, и возникает вопрос, на какой остановиться. В таких голосовых помощниках будет выбор приоритетных произведений, известных как детям, так и родителям. То есть, если вы не знаете, что именно хотите услышать, то говорите: «Хочу сказку». А уже сам помощник выбирает, какую именно сказку вы услышите.

Насколько умным будет ваш голосовой помощник, напрямую зависит от того, насколько он понимает контекст беседы, знает ваш образ жизни (например, где вы работаете и адрес офиса, ваш распорядок дня). Понятно, что в этой гонке преимущество за Google, так как в рамках Ассистента компания знает про вас так много, что может построить разумные сценарии и подсказки, которые будут уместны и важны. Другие компании в этом направлении пока являются отстающими, но пытаются быстро развиваться.

Умение обработать запрос, правильно выделить его контекст и найти релевантный ответ для голосовых помощников становится важнейшим свойством. Те компании, что научились выпускать голосовых помощников в Китае (а таких уже десятки), не могут быстро и легко локализовать продукт для России или других стран, им нужны сценарии, которых у них нет. Им нужно понимание локального контекста, а оно не может появиться из ниоткуда. И на этом пути выигрывают компании, которые уже начинают собирать такие данные всеми возможными способами. Мне это чем-то напоминает золотую лихорадку в картографии, когда в первые годы развития карт на мобильных устройствах все бились за максимальное и точное наполнение по POI, так как карта без расшифровки названий компаний и магазинов, времени их работы и тому подобного – это почти бесполезный рисунок.

Обратите внимание, что есть еще один важный момент для домашних голосовых помощников, это наличие контента, например, музыки. Одно дело, когда у вас уже есть подписка на какой-то музыкальный сервис и вы слушаете и ищете музыку в нем. Другое дело, если вы ищете что-то, чего там нет, тут на первый план выходит легальность воспроизведения и то, насколько большая библиотека доступна вашему помощнику, может ли он получить этот контент бесплатно или он должен его купить. Это интересный вопрос, но на нем мы останавливаться не будем.

Из текста в голос – обратное преобразование

Самые сложные операции позади, голос распознали, запрос обработали, помощник получил ответ в виде текста, и тут самое время его озвучить. К сожалению, системы преобразования текста в речь не так уж идеальны, и в них с легкостью можно узнать робота. Понятно, что в ближайшие 5-6 лет этот момент кардинально изменится, но сегодня многие преобразователи напоминают робота Вертера из советского фантастического фильма, говорят они нечисто, немного заикаются. К сожалению, этот момент просто требует времени и изменения технологий, крупные производители получат преобразователи текста в голос со сносными характеристиками быстрее, чем небольшие компании. Посмотрите в ролике, как общается «Емеля», чтобы скрыть недостатки TTS-движка, тут даже придумали историю, что это робот с другой планеты и поэтому он говорит именно так.

Понятно, что этот «робот» не звучит чисто, у Google Home или Amazon язык лучше, но нет поддержки русского (у Google Home она появится в 2018 году, осенью, если судить по текущим планам компании). Отсутствие в России голосовых помощников объясняется просто – чтобы адаптировать китайские устройства, нужно обладать как модулями конвертации речи в текст и обратно, так и неким подобием AI, который обрабатывает сценарии и имеет некий контент на борту. В этом аспекте тот же «Емеля», или Roobo Pudding – первый пробный шар, который интересен с точки зрения технологий, как продукт для конечного потребителя он интересен в меньшей мере. Впрочем, об этом мы поговорим в обзоре, где устроим для него подробнейшие испытания всех возможностей.

Короткое заключение

Рынок домашних голосовых помощников будет расти, и постепенно такие устройства станут распространены во всех уголках мира. Если еще двадцать лет назад центром умного дома мы представляли некий компьютер, который стоит в уголке или, напротив, размещен на видном месте, то теперь на эту роль претендуют голосовые помощники, тем более что в новых поколениях их стали оснащать экранами.

В любом случае такие голосовые помощники дешевле, чем отдельный компьютер, а умеют ровно столько же и даже больше, так как это специализированные устройства. Несмотря на кажущуюся простоту, в таких помощниках сосредоточены по-настоящему высокие технологии. Помимо уже упомянутого «Емели», российский пользователь может увидеть домашний голосовой помощник от Яндекса, в приложении Яндекс.Бета это голосовой чат с Алисой (не напоминает Alexa? мне напоминает). Пока это глубокая стадия беты, и чат выглядит очень и очень простым, незамысловатым.

Но именно Яндекс в России способен создать не только чат для смартфонов, но и домашнего голосового помощника. Будьте уверены, что как только Алиса выйдет из стадии беты, через 8-9 месяцев родится домашний голосовой помощник, так как технология будет готова, а два других кирпичика в виде преобразования речи из текста и обратно у компании уже есть, и это собственная разработка. Зная, как в Яндексе всегда стараются успеть быстрее Google, можно ожидать, что домашний голосовой помощник покажут на конференции Яндекс весной 2018 года и постараются начать продавать до сентября 2018 года, когда в России должен появиться Google Home.

В этом материале я пытался максимально простым языком описать те кирпичики, из которых состоят сегодняшние голосовые помощники, чтобы у вас возникло понимание, с какими проблемами сталкиваются их разработчики. Надеюсь, что с этой задачей мне удалось справиться и вы поняли, как все это работает на практике, какие проблемы и задачи стоят в этой области.

P.S. Так как это первый материал в рубрике, то традиционно прошу высказать свои мнения, насколько такой формат интересен. Также предлагайте темы, которые вы хотели бы, чтобы мы разобрали вместе в последующих выпусках. Заранее спасибо.

Эльдар Муртазин ([email protected])

Опубликовано — 07 июня 2017 г.

Поделиться:

Мы в социальных сетях: