Диванная аналитика №61. Как телефон и ваша SIM-карта могут рассказать, кто вы

Привет.

Много лет моя работа связана с тем, что сегодня называют «big data», анализом массива информации, который позволяет окинуть взглядом большую совокупность факторов и получить сведения, которые раньше были недоступны. Так вышло, что я начал заниматься этим около пятнадцати лет назад, когда никто даже не заикался про «big data», а владельцы массивов информации относились к ним как к мусору, который не просто бесполезен, а еще и требует места для хранения. Операторы не понимали, каким сокровищем они обладают, и даже простейшая демонстрация того, какую выгоду и прибыль они могут извлечь из своей информации, приводила их в неописуемый восторг. Это в 2012 году, когда термин предыдущего года стал популярен, про «большие данные» заговорили все, а некоторые гордо утверждали, что работают с подобными базами уже несколько лет и реализовали успешные проекты. За некоторыми из этих проектов скрывалась работа вашего покорного слуги, который своей головой прошибал бетонную стену недоверия менеджеров различного уровня, доказывая, что они сидят на золотой жиле и ее надо разрабатывать. В ответ, как правило, раздавалось сакраментальное «нас и тут неплохо кормят, зачем нам ваше Таити».

Но вода камень точит, и первые демонстрации возможностей анализа тех массивов данных, что имели операторы, выросли в отдельные проекты. Некоторые из них носят исключительно академический характер, какие-то интересны государственным структурам и носят явную политическую окраску, а что-то применимо для бизнеса. Учитывая прогресс, произошедший в этой области за последние несколько лет, не берусь судить, кто и как работает с такой информацией, поэтому сосредоточусь на том, что знаю хорошо, и постараюсь доступно объяснить, как такие данные можно использовать для анализа абонентов или, если хотите, пользователей тех или иных телефонов, операционных систем.

Ищу старушку с детьми или внуками, без вредных привычек

Во время дружеского застолья, когда менеджмент оператора большой тройки отмечал получение своих годовых бонусов, у нас состоялся примечательный и в чем-то пророческий разговор. В очередной раз обсуждали то, что у оператора огромное количество информации про абонентов, но вытянуть из нее что-то дельное практически невозможно. В то время рекламные SMS-рассылки вошли в моду, но назвать умным подходом стрельбу по площадям, когда одно и то же сообщение отправлялось всем абонентам, было сложно. Второй вариант, который операторы считали «умным», заключался в выделении группы абонентов по признаку их среднемесячных трат. Так, «тяжелые» абоненты автоматически становились самым лакомым кусочком, и SMS в их адрес стоило дороже, чем такое же сообщение для всех остальных без разбора.

Конечно, все понимали, что массовая рассылка SMS раздражает людей, особенно когда укороченная реклама, втиснутая в прокрустово ложе 140 символов, стреляет мимо цели. Выиграй автомобиль! Получи кредит! Зайди в магазин за подарком! Чего только ни было в то время, но многие сообщения вызывали глухое раздражение у получателей, они не достигали цели и вызывали обратную реакцию.

Мне было тяжело, так как я всегда опирался на опыт сетевых медиа, где считают не только охват аудитории, но и конверсию, то есть число тех, до кого удалось достучаться и они что-то сделали. У операторов с охватом было все прекрасно, а вот за то, что они не считали конверсию для клиентов, их не стоит винить. Так как в момент подсчета конверсии возникала пропасть между запрошенным с клиента бюджетом и реальным выхлопом. Цена активного контакта вырастала в лучшем случае до десятков долларов, а иногда была равна и сотням долларов! И это совсем не шутка, на моей памяти одна такая рассылка привела целых трех клиентов в компанию с массового рынка. Сказать, что они были в ярости, значит ничего не сказать. Но тема была модной, все пробовали в ней свои силы и по молчаливому согласию сторон старались сохранить статус-кво. Операторы на всех конференциях утверждали, что такие рассылки работают, агентства завлекали клиентов, а последние отказывались признаваться, что спустили свои деньги в никуда и оказались в дураках. Машинка заработала и стала вовлекать все новые компании, как правило, это были большие корпорации, для которых вопрос SMS-рассылок стал не только модой, но и попыткой освоить новое медиа. Недолгое время рынок был диким.

Мое первое столкновение с данными операторов стало случайным, у меня попросили базу данных IMEI-номеров для разных телефонов, что продаются в России, чтобы найти бабушек и дедушек в своей базе и предложить им особый тариф. Внутри оператора были вдохновлены тем, что осваивают новую нишу, маркетинговые исследования показывали, что эта ниша остается практически незанятой, и результат мог быть очень интересным. Моей задачей стало выделить телефоны, которые были приоритетными для бабушек и дедушек, а также описать на основании реальных продаж портрет покупателя. По замыслу составителя технического задания, это позволило бы создать модель аудитории нового тарифного плана. Мне сама идея тарифа для пенсионеров показалась здравой, но подход вызвал вопросы и сомнения.

Пришлось напроситься на встречу, чтобы понять, а чем руководствуются люди внутри оператора, когда они создают поле для допущений и предположений, фактически имея на руках огромный пласт информации, который может повысить эффективность их рекламной компании в разы, а то и на порядки. Битых три часа я объяснял, что надо анализировать не столько IMEI-номера, сколько поведение пользователей, и оно позволит выделить целевую группу, которая была нужна нам для этого тарифного плана. Мне не верили, со мной спорили, а потом просто признались, что никогда этого не делали и не знают, можно ли найти такую информацию внутри оператора. Забегая вперед, скажу, что в IT-департаменте то, что мы попросили, вызвало очевидный и быстрый ответ: «Вы сошли с ума, никто в мире такого не делает, это полная ерунда, и мы отвечаем решительным нет на все ваши попытки». Несколько недель я почти ежедневно ездил к технарям и последовательно убеждал их, что это возможно и не требует больших затрат их времени. В итоге смог заинтересовать их тем, что такого никто не делал и они будут первыми в мире. Так ли это, я не знал, но очень хотелось проверить свои догадки на практике.

Пока шли борения с технарями, мы провели небольшое исследование, чтобы понять поведенческий паттерн для старшего поколения. Ведь качество ответов зависит от того, какие вопросы вы задаете и насколько правильно сформулирован запрос. Мусор на входе всегда означает мусор на выходе, программисты хорошо это знают на собственном опыте.

Исследование привело к результатам, которые были в чем-то очевидны, в чем-то неожиданны. Мы выяснили, что пенсионеры в России очень различаются по свои привычкам, различия между женщинами и мужчинами разительные, так, женщины ведут более активный образ жизни, в то время как мужчины предпочитают созерцательный покой. На тот момент проникновение SIM-карт еще было далеко от ста процентов, передачей данных почти не пользовались, а про LBS-сервисы массовый потребитель ничего не знал. И технари срезали первую идею, что надо проанализировать то, как передвигаются телефоны в течение дня, чтобы на основании этой информации просчитать модель, кто и какой образ жизни ведет. Во сколько встают люди, когда они приезжают на работу, кто остается дома и почему. Сегодня подобный запрос хоть и выглядит сложным, не представляет трудности, любой мало-мальски крупный оператор в течение дня может получить эти данные. Тогда такой запрос стал просто невыполнимым, сетевое оборудование не позволяло централизованно получить эту информацию, а снимать ее с отдельных участков сети означало титаническую работу, овчинка не стоила выделки. Пришлось выкручиваться в условиях ограниченных ресурсов и примитивных интерфейсов, которые не позволяли получить доступ ко всем данным, которыми обладали операторы.

Чем отличается старшее поколение в своих привычках, когда использует сотовые телефоны? Сегодня многие его представители верны кнопочным телефонам, во время той работы это всегда были кнопочные телефоны, причем, в отличие от сегодняшнего дня, они могли быть как дорогими, так и бюджетными. Выделить по модели телефона наших бабушек и дедушек не представлялось возможным. Мы допустили, что старшее поколение не читает SMS-сообщения и тем более не отправляет их. Для того, чтобы проверить свою теорию на практике и подтвердить ее, мы сделали выборку из номеров, которые получали SMS, но никогда не отправляли их. Биллинг показывал, что возраст владельцев номеров колеблется в широком диапазоне, от восемнадцати до шестидесяти лет, преимущественно владельцами были люди в диапазоне от 35 до 45 лет. Мне совершенно серьезно пытались доказать, что наша выборка – полная ерунда и этим людям просто не нужны SMS-сообщения. И девочка-маркетолог рвала на себе волосы и говорила, что все это очевидно не работает и мы зря тратим время. Пришлось случайным образом выбрать с десяток номеров и позвонить по ним. Там, где мне отвечали, моими собеседниками были взрослые люди. Я представлялся, говорил о том, что мы проводим исследование, и в обмен на небольшой подарок говорил с этими людьми. Промах случился только в двух случаях, один мужчина оказался суровым экспедитором, который не использовал SMS на рабочем номере, они были ему не нужны. Второй промах с мужчиной, который в трубку говорил «Чо» и долго не мог понять, что за исследование и кто мне дал его номер.

Дальше был анализ того, как выбранные по первому признаку абоненты звонят и получают звонки. Мы нарисовали сценарий, который описывал бы поведение стариков (набор одних и тех же номеров, примерно в одно и то же время, отличия от других абонентов). Опущу ненужные технические подробности и «мелочи» в том сценарии, что мы придумали. Результат оказался ошеломляющим, в нашу выборку попали только те, кто нам был и нужен. Учитывая, что это был пилотный проект, затраты времени на него с нашей стороны были огромными, для оператора они оказались незначительными. В последующем этот проект получил развитие, и мы постоянно улучшали точность поиска определенных социальных групп, в конечном итоге дойдя от больших сообществ – чиновники (деление по типу чиновников и рангу), студенты, бизнесмены – до вполне экзотических выборок, например, поиска беременных или молодых мам.

Анализ тех самых «больших данных», который всегда был обезличенным, это если вдруг кто-то, читая это, задумался о приватности, позволил получить срез разных пользователей. Но это был детский лепет по сравнению с тем, что мы научились делать позднее. Тогда мир операторских данных только начинал свою жизнь и не позволял предугадывать поведение пользователей, их привычки или пристрастия.

Сколько любовниц у московского чиновника, или 2.4 женщины на брата

Время от времени меня приглашали как консультанта, чтобы обсудить то, как вытянуть из того или иного массива данных информацию об определенной группе людей, это начало даже надоедать и в какой-то мере приелось. Мой хороший знакомый во время одной из таких встреч признался, что тема анализа данных намного богаче, ее можно использовать как аргумент в общении с государственными структурами, но предлагать им старушек и чиновников как-то не комильфо, те про них и так все знают. Вот если бы можно было нажать пару кнопок и тут же найти… Повисла долгая пауза и потом мой товарищ осторожно произнес: «…Тех, кто изменяет своим супругам обоего пола». Он явно собирался сказать что-то другое, например, «коррупционеров», хотя, кажется, тогда это слово было не в ходу. Но не сказал.

Так появился проект с шутливым названием «Альфонс», уже не помню, кто и почему его так обозвал, но имя прилипло. Что мы делали? Сидели долгими днями и пытались придумать, как создать выборку данных из стандартных, обезличенных звонков, SMS и редких интернет-сессий и построить социальные связи между разными объектами. Не преувеличивая, могу сказать, что исписали мы тонну бумаги, доходило до драк и обсуждений на повышенных тонах. Полевые исследования для нас были невозможны, люди обычно врут об этой стороне своей жизни, даже при анонимных опросах. На каком-то сайте знакомств провели онлайн-исследование с минимальной выборкой, результаты тут же отправились в помойку.

Прорыв наступил в момент, когда один наш товарищ решил стать подопытным кроликом и признался в связях на стороне. Методологически мы подошли к этой работе безобразно, но тогда отчаяние уже поселилось в наших сердцах, орешек не поддавался, и задача выглядела неисполнимой. Мы оцифровали общение нашего товарища и просто провели поиск по заданным параметрам. Помню, как на меня большими глазами смотрела наш ассистент, наивная девчонка 18 с хвостиком лет, и говорила, что в таком-то московском районе не может жить так много людей, имеющих связи на стороне. Ее вера в непогрешимость данных была сильнее, чем вера в людей. Мы успокоили ее тем, что в модели может быть ошибка и, быть может, многие номера из выборки – это вовсе не прелюбодеи, а любящие сыновья и дочери, которые постоянно общаются со своими родителями или хорошими друзьями, подругами.

Сдвинувшись с мертвой точки на нашу модель «Альфонса» мы начали наслаивать дополнительные данные, выделили типичные паттерны поведения, обозвали их звучными именами, которые по соображениям морали я тут приводить не буду. За одним из таких названий, как ни смешно, скрывались дети, что поддерживали общение со своими родителями, они также попали в паттерн поведения, который не был настроен верно. Это еще один повод сказать, что очень важно то, что вы ищете, но еще важнее то, как вы это делаете и насколько вы понимаете свои действия.

Пойдя от обратного, мы нашли множество людей, которые вели двойную жизнь. Проверять на практике свои изыскания означало вторгнуться в их жизнь, но нас уже понесло. Поэтому мы попробовали сделать поиск по предыдущим выборкам, в частности, взяли чиновников и стали смотреть, как их профиль отличается от среднестатистического «Альфонса». В качестве эталонных чиновников брали не среднее по больнице, а тех, кто использовал имиджевые модели телефонов, их выбрали вручную. Неожиданно оказалось, что чиновники вовсе не так развратны, как обычные работяги. Процент тех, кто гулял на стороне постоянно, оказался меньше, чем у рабочего люда. Но вот как они это делали, это песня. Как сейчас помню в презентации цифру в 2.4 женщины на одного московского чиновника, что гуляет. Иногда среднее приводит вот к таким смешным выводам, которые обескураживают. Сложно представить чиновника, у которого есть две любовницы и еще почти половинка женщины на стороне.

Не знаю, кому показали результаты этой работы, нас попросили сделать анализ других социальных групп, а потом проект неожиданно для всех скоропостижно скончался. Еще вчера копошились и что-то делали, а на следующий день у оператора его быстро закопали и попросили о нем забыть навсегда. Это было первое столкновение с тем, что чем-то подобным занималось несколько профильных ведомств, и они не захотели, чтобы кто-то залезал на их поляну. В неформальном разговоре нам всем посоветовали «копаться в своем ****** маркетинге и не лезть в чужой огород, где играют большие дяди». Учитывая бледный вид всех причастных к тематике, мы сочли наилучшим воспользоваться советом и копать то, что интересно нам, а заодно не вызывает такой ревности у возделывающих «Биг Дату» на соседней делянке. Да и без доброй воли оператора, который предоставляет доступ к своим данным в опосредованном виде, что-то делать невозможно, все зиждется на изначальной информации. Ценность в том, как задавать вопросы, безусловно, есть. Но качество такой работы не настолько важно, тут не надо самообмана, существующие системы автоматического анализа данных уже умеют строить сложнейшие социальные связи и выступают в качестве ищеек. Они могут найти и раскрутить сложнейшие преступления в автоматическом режиме, просто анализируя поведение телефонов, в том числе их передвижение, звонки, использование сети и тому подобное. Это огромный массив информации. Если вы еще верите в гениальных сыщиков, которые по горячим следам могут находить преступников в знаковых событиях, то не стоит этого делать. Большинство государств теперь полагается на информационные системы, ищейки, которые могут сделать это намного эффективнее. Не всегда, но в большинстве случаев. Одним из примеров такого рода может служить история про русскую девочку, которая якобы пострадала от насильников в Берлине. Ее история не выдержала проверки автоматической системой, а вовсе не полицией. И в развитых странах подобные технологии уже используются на полную катушку, хотя доступ к ним имеет небольшой круг лиц, включая полицию, Министерство внутренних дел и тому подобные организации. Пока это удел небольшого числа избранных, для которых этот инструмент открывает широчайшие возможности по поиску как определенных людей, так и их категорий. Террористическая атака в Париже показала, что Франция манкировала созданием таких систем все эти годы и даже не задумывалась об их построении, в отличие от Германии. Да и опыт других стран, где за эти годы предотвратили серьезные террористические атаки, говорит о том, что подобные ищейки делают свою работу хорошо. Это инструмент в руках людей, он может служить во благо, а может стать и своей противоположностью для поиска инакомыслящих и их искоренения, совсем как в фантастических произведениях. Китай, первым вступивший на эту тропу, так и не создал рабочую систему, в отличие от стран, что испугались его главенства в этом направлении и бросились осваивать подобные технологии. По понятным причинам в общедоступной литературе вы не найдете никаких упоминаний того, что государства заняты обработкой таких «больших данных», а всех, кто говорит об этом, называют фантазерами. Защитная реакция, которая пытается сохранить в тайне технологию, дающую определенные преимущества.

Уровень образования и владение Lumia в России, про маргиналов

Совсем не хочу продолжать выдавать государственные секреты, пусть они касаются и других стран. Давайте посмотрим на мое утверждение, которое вызывало обиду у многих людей и они приняли его как оскорбление на свой персональный счет. А я всего лишь констатировал факт, что владельцы смартфонов Lumia отличаются плохим образованием, низкими доходами и являются маргинальной группой по отношению к владельцам других телефонов. Поверьте, что столько агрессии и экспрессии в свой адрес я не слышал давно. Особую пикантность агрессии придавали исковерканные слова, которые выдавали плохое владение русским языком и низкий уровень образования. Но свои выводы я сделал вовсе не по стилю письма этих людей, а руководствуясь анализом тех самых «больших данных».

Позволю себе небольшое отступление в сторону объяснения значения слова «маргинал». У меня есть недостатки в университетском образовании, так как, несмотря на 90-е годы, нас заставляли учиться как тогда, так и позднее в аспирантуре. Из того времени я вынес четкое определение: маргинал – это человек, который живет на стыке культур, социальных групп, перенимает различные ценности от них, но не имеет единой системы, зачастую его убеждения имеют множество внутренних противоречий. В России с подачи свободной и в большей мере желтой прессы это слово приобрело совсем иное значение, маргинал стал синонимом люмпена, а кое-кто продолжил ассоциативный ряд и даже считает это определение тождественным быдлу. Конечно же, это не так, во всяком случае, я не вкладываю такого значения в это слово и придерживаюсь его обычной, общемировой трактовки. Не без умысла, так как использование такого определения хорошо вскрывает эмоции людей и проявляет их в поступках.

Число маргиналов в любом обществе незначительно, а значит, доказать то, что Lumia – не самый распространенный аппарат, можно очень просто, надо посмотреть на цифры продаж и использования этих телефонов. Цифры говорят сами за себя, эта система является самой неуспешной на рынке от корпораций такого размера. Так, несмотря на агрессивную и дорогую рекламу от Microsoft, Windows Phone не стал популярен в широких кругах, его выбирают покупатели со смешанными ориентирами и зачастую противоречивыми идеями, что как раз-таки отлично описывается определением маргинала.

Теперь давайте разберемся с тем, как можно определить доходы человека по его телефону. Ответ простой – никак! Это невозможно. И даже по одежде нельзя понять, что за человек перед вами. Если посмотреть на траты с его банковской карты, то это можно узнать, но у меня нет такой возможности. Зато проанализировав траты на связь и то, как владельцы Lumia ей пользуются, можно многое узнать о них. Достаточно посмотреть на то, какими являются средние затраты на абонента (ARPU). Этот показатель в два раза ниже, чем для пользователей Android-смартфонов, каковых большинство на рынке. А это значит, что Android используют как дворники, так и бизнесмены, то есть ARPU будет тяготеть к более низкому среднему значению. И, например, добиться высоких значений легче, если у вас прослойка обеспеченных пользователей. Например, те немногие, что пользуются в России смартфонами Blackberry, тратят на связь больше, чем любые иные владельцы смартфонов. Не оттого, что у них дорогая связь, а потому что у них другой образ жизни. А вот на Lumia половина пользователей в России совсем не пользуется осознанной передачей данных, то есть что-то запрашивают сами телефоны, но это мизер. Представляете современного и образованного человека, который своим телефоном пользуется только для звонков? Конечно же, это наши бабушки, дети и использующие Lumia в качестве звонилки и второго телефона. И тут ничего нельзя сказать о том, что это необеспеченные люди. Но вот анализ их предыдущих аппаратов за два года открывает очень интересную картину (заодно можно посмотреть, в каких телефонах жила их SIM-карта). Это дешевые и сверхдешевые телефоны, у многих Lumia – это первый сенсорный телефон (детей можно вычеркнуть сразу, особенно если срок жизни SIM-карты довольно велик). А еще можно вспомнить, что в роуминг ни по стране, ни по миру владельцы бюджетных Lumia не ездят. А процент бюджетных Lumia в общих продажах этих телефонов превышает 80, то есть их подавляющее большинство.

Можно развивать мысль и дальше, приводить точки для анализа, но зачем? Все равно найдутся те, кто посчитает это надуманным и притянутым за уши. С 2002 года мне часто говорят, что с помощью «больших данных» нельзя сделать то или это. Возможно, что вы не можете этого сделать, так как не умеете или не знаете, как это делать. А главное, не можете найти точку входа для получения информации для анализа. Но это вовсе не значит, что другие не научились этому и не могут проделать такую работу.

Несколько историй из собственной практики, которые я рассказал, – это всего лишь эпизоды и вовсе не то, чем я занимаюсь ежедневно. Интересные задачки и разминка для ума, которые подвернулись как побочные проекты на нашем рынке. И вовсе не стали основным направлением для деятельности, хотя в середине 2000-х многие считали, что надо бросить все и, как в омут с головой, погрузиться в такие проекты. Не уверен. Это интересно делать впервые, а вот проделывать повторно одни и те же трюки скучно, это как перекладывать коробки из точки А в точку Б. Мне всегда было интересно пробовать что-то новое, а как только осваиваешь что-то, теряешь к этому умению интерес. Надеюсь, вас развлекли эти истории и показали, что анализ данных может рассказать про вашу жизнь. Если говорить коротко, он может рассказать все.

Ссылки по теме

Поделиться: 

Мы в социальных сетях:

• ВКонтакте
• Telegram

Больше материалов
на новой версии сайта. Теперь читать с мобильных
стало удобно!

Есть, что добавить?! Пишите... [email protected]