Большие данные и рекомендательные сервисы. Кто лучше, Spotify или «Яндекс»

Привет.

Хотим мы того или нет, но ежедневно мы сталкиваемся с рекомендациями в тех или иных сервисах, зачастую даже не осознаем этого и просто пользуемся продуктом, который удобен. Когда рассказываю о том, что буквально каждый человек пользуется сегодня рекомендациями, то сталкиваюсь с отрицанием этого очевидного факта, меня начинают убеждать, что это не так! Люди уверены, что никакие рекомендации на них не влияют, их образ мыслей и жизни никем не учитывается и поэтому они “вне системы”. Тешить свое самолюбие фрондерством можно до определенного предела, но факт в том, что системы рекомендаций проникли во все сферы нашей жизни, просто мы не всегда можем осознать их присутствие.

Самым простым примером системы рекомендаций может служить набор текста на смартфоне или даже кнопочном телефоне, система пытается предугадать слова, которые вы набираете. Это казалось магией двадцать лет назад, когда Т9 стал активно распространяться в мобильных устройствах, сегодня такими системами никого не удивить. Но проблема в том, что люди зачастую не догадываются, насколько они стали продвинутыми. Теперь “угадывается” не только слово, которое вы набираете, но последующие слова, которые вы можете набрать. Достаю свой смартфон и начинаю писать, набрав первые буквы “добр”, тут же получаю подсказку “Доброе”. В зависимости от времени меняются окончание и последующее слово – «Добрый день», «Доброе утро» и так далее. Осознать эту подсказку и логику того, как она возникает, несложно, не так ли? Но это та самая система рекомендаций, наличие которой отрицают люди.

Один из частых вопросов, которые возникают при переходе с одного смартфона на другой, касается качества клавиатуры. И тут скорее не про скорость обработки нажатий, реакции клавиатуры, а про угадывание слов, большой словарный запас. Каждый аппарат, которым вы пользуетесь, адаптируется под вас и ваш стиль письма, пополняет уникальную словарную базу. Например, вы можете выдумать слово, которого не существует в языке или оно не считается распространенным, телефон его запомнит и будет предлагать при наборе. Вспомнил, что у меня таким словом с незапамятных времен стало “абырвалг”, сказанное Шариковым в процессе превращения в человека. И таких слов десятки, если не сотни, телефон их запоминает и бережно хранит. Процесс обучения ежедневный, чем больше вы тренируете систему, тем лучше она угадывает, что именно вы пишете и хотите сказать. В какой-то момент ловишь себя на мысли, что никакие шаблоны не нужны, смартфон сам составляет стандартные ответы и подсказывает верные слова.

При переходе с iPhone на iPhone вы ничего не делаете, ваши словарные базы существуют в облаке от Apple. На смартфонах Galaxy они переносятся в случае, если у вас настроен аккаунт Samsung. Зачастую люди жалуются, что раньше клавиатура была отличной, а в новом аппарате она испортилась. Хотя причина именно в отсутствии синхронизации, а не в каких-то коренных изменениях в подходе. У Samsung помимо этого есть еще целый выводок настроек, что переносятся через аккаунт на другие устройства, например, это адаптивная яркость экрана и настройки, выставленные под ваши предпочтения. Смартфоны учатся угадывать комфортный для вас уровень и затем адаптируются под вас. Это те самые рекомендации, наличие которых многие люди отрицают.

Приведенные примеры индивидуальны, так как они касаются конкретных устройств и личного использования. Трудно предположить, что моя словарная база будет интересна кому-то еще, все-таки это штука индивидуальная. Безусловно, она учитывается корпорациями в разных сервисах и повышает их эффективность. Хорошим примером может служить контекстная реклама от Google. Компания анализирует письма в GMail, то, что я пишу на клавиатуре смартфона (если таковая от Google), использует другие методы анализа и на выходе получает модель, в которой знает, что такие-то люди лучше реагируют на такую-то рекламу.

Вокруг “чтения” почты со стороны Google сломано немало копий, людям кажется, что нарушается их приватность. Но тут нет никаких людей, которые читают написанное вами или то, что вы получили в свой почтовый ящик. Алгоритмы вычленяют контекст, сопоставляют вашу активность в сети и дают прогноз о том, что вам может быть интересно, чтобы повысить эффективность рекламы. Любой рекомендательный сервис строится вокруг предсказания, то есть прогноза. И ключом к успеху сервиса становится повышение точности прогнозов.

Пожалуй, что одними из первых с необходимостью предсказывать наши желания столкнулись поисковые системы. От жестко структурированного языка запросов с разными командами мы перешли к поиску, в котором можно задать вопрос в естественной манере, а система сама поймет, что именно мы ищем. Она обучается на большом массиве данных, условно “видит”, какие ссылки мы открываем, и понимает, что нас интересовало. И тут наличие большого массива данных становится жизненно необходимым, так как он влияет на качество поиска. Тот же Bing исторически страдал от невозможности набрать новых пользователей на фоне продукта от Google, так как качество поиска было далеким от идеального. Получился замкнутый круг — нет пользователей, система не обучается, на выходе получаем скромные результаты в поиске.

Одна из моих любимых игр в поиске — это появляющаяся подсказка, когда вы что-то начинаете набирать в строке и поисковая машина вам предлагает свои варианты. Это тоже попытка предугадать, что именно вы ищете.

Некоторые люди настолько привыкли к системам рекомендаций, что перешли на другой смысловой уровень. Например, у меня в почте часто появляются письма, в которых нет какой-либо информации, а выглядят они предельно компактно:

• Сколько стоит этот аппарат?
• У вас есть аккумулятор для этой модели?
• А наушники Buds подойдут для этого смартфона?

Кажется, что люди просто недалекие, не могут сформировать свой вопрос. На самом деле они привыкли к тому, что система дополняет их запросы сама, связывает разрозненные события в единую цепочку. Они так привыкли, и это им кажется естественным порядком вещей. И попытка общаться с живым человеком в той же привычной манере вытекает из особенностей рекомендательных сервисов. Они меняют то, как мы общаемся и чего ждем в этом общении.

Другим отличным примером может служить музыка и стриминговые сервисы. Моя приятельница пожаловалась на то, что «Яндекс.Музыка» неправильно работает, выдает неверные рекомендации. Очень быстро на страничке в социальной сети развернулась извечная баталия, в которой сравнивали «Яндекс.Музыку» и Spotify, другие стриминговые платформы. Обсуждение было типичным, каждый хвалил свой выбор и объяснял в той или иной манере, почему его не устраивает качество работы конкурентов.

Рекомендации музыки строятся плюс-минус на тех же алгоритмах, что и другие сервисы такого рода. Каждый пользователь, с одной стороны, уникален, с другой стороны, можно найти людей со сходными вкусами. И главной задачей становится анализ того, что люди слушают и как. Мне очень нравится система рекомендаций Spotify, так как она построена на огромной выборке и дает на практике отличный результат. Чем больше вы слушаете, тем лучше работают рекомендации. Это большие данные, которых просто нет и не может быть в том же «Яндексе», российский сервис по умолчанию проигрывает количеством пользователей, тем, на каком объеме данных он может обучить систему рекомендаций.

В тех же комментариях услышал забавный ответ о том, что в «Яндексе» руками составляли списки рекомендаций.

Думаю, что для больших сервисов подборка чего-либо руками людей — это дорого и путь в никуда. Только обучение алгоритмов на большой базе может дать реальный результат, причем зачастую предложения музыки совсем не очевидны. У меня благодаря Spotify произошло несколько открытий групп и музыкантов, которых бы никогда иначе не нашел.

Любая система рекомендаций требует обучения, выигрывают сервисы, имеющие наибольший объем пользователей. Когда Spotify официально запустился на российском рынке, многие попробовали систему рекомендаций, и тут же посыпались разочарованные возгласы — она оказалась далекой от идеальной, та же «Яндекс.Музыка» зачастую выигрывала и объективно была лучше. Почему так? Все тот же процесс обучения, в Spotify нарабатывали данные по России (тут важно отметить, что именно рекомендации условно “русской” музыки, все остальное уже тогда подбиралось на ура).

Мой друг плевался от Spotify после запуска в России, ему рекомендовали совсем не то, что он хотел бы слушать. Спустя год, когда он снова попробовал сервис, его вывод звучал забавно — сервис починили. Но он не был сломан! Просто он не научился на тот момент правильно рекомендовать музыку для России, это был вопрос времени и наработки базы пользователей. Случилось и то и другое.

Учитывая то, насколько много рекомендательных сервисов нас окружает, нужно помнить о том, как они работают на практике. Вначале идет накопление данных, и чем больше пользователей, тем потенциально лучшим будет качество рекомендаций. Нужно понимать, строятся ли рекомендации только на ваших личных действиях или это сравнение с другими людьми, осознавать природу сервиса. И набраться терпения, чтобы обучить систему тому, что нравится вам, дать ей обратную связь. Как правило, при активном использовании чего-либо на это уходит около месяца, не больше.

И надеюсь, что после этого материала вы будете понимать, что системы рекомендаций и предугадывания наших действий встроены в нашу повседневную жизнь, отказаться от них практически невозможно, хотите вы того или нет.