Диванная аналитика №49. Третий вид лжи – статистика и отчеты

Существует три вида лжи: ложь, наглая ложь и статистика.
Бенджамин Дизраэли

Привет.

Мне сказочно повезло в жизни, не каждый может одновременно быть журналистом и работать аналитиком, корпеть над цифрами и отчетами. Полное погружение в эти сферы деятельности позволило немного иначе взглянуть на то, как люди реагируют и трактуют отчеты исследовательских компаний, используют «здравый» смысл, который им подсказывает, что именно описывала крупная корпорация в своем официальном отчете. К сожалению, большинство исходит из предпосылки, что корпорации и исследовательские компании не имеют задачи обмануть кого-либо, выступают как кристально честные организации, но это зачастую не так. Возникает когнитивный диссонанс, который выстраивает из верных утверждений совсем неверную картину мира. Иногда компании поддерживают возникшие мифы и культивируют их для того, чтобы добиться своих задач. Давайте попробуем разобраться в том, как они это делают, какие приемы используют и что из этого получается.

У каждого второго в метро…

Но начну я все-таки со здравого смысла обычных людей, которые свой частный опыт проецируют на оценку всего рынка в рамках одной страны или даже континента. Самые смелые умеют переносить свои наблюдения на весь мир и считают, что они ничуть не ошибаются. Одна из самых частых фраз, которые я слышу в качестве доказательства превосходства того или иного устройства (производителя), звучит так: «У каждого второго в метро телефон Х».

Перед нами классическое заблуждение, которое связано сразу с несколькими проблемами статистики:

• репрезентативностью выборки;
• точностью измерения;
• трактовкой результатов.

Давайте предположим, что метро является одним из основных видов транспорта в Москве, но в других городах оно может отсутствовать. Можно ли будет исследование из московского метро перенести на Тверь или Владимир, города, которые резко отличаются по количеству населения, средней зарплате, образу жизни? Здравый смысл подсказывает, что этого сделать нельзя. Также можно предположить, что люди в этих или любых иных городах в чем-то будут похожи на москвичей, а в чем-то будут отличаться. Выводы, сделанные для Москвы, не будут применимы к этим городам, не будут репрезентативными.

Но может ли выборка в метро стать показателем того, какими устройствами пользуются люди в Москве? Безусловно, она может дать результат, если метрополитеном будут пользоваться все без исключения люди, принадлежащие к разным социальным слоям. К сожалению, можно с твердой уверенностью сказать, что автомобилисты почти не пользуются метрополитеном, иначе наши дороги были бы не так загружены. Некоторые из автомобилистов спускаются в метро, используют его довольно часто, но также они пользуются и машинами. Давайте взглянем на другую социальную группу, которую выделим по признаку профессии, это будут таксисты. Увидеть водителя такси в метро намного сложнее, чем одного из владельцев телефонов Vertu, а эти люди также спускаются в подземку.

В 90-е годы мне понравился опрос, который провели для одной автомобильной компании, что планировала начать продажи в России. Исследователи отличались умом и сообразительностью, работали в крупной международной компании и решили, что выискивать автомобилистов на улицах города – это сложно, проще спуститься в метро, где в потоке пассажиров они быстро наберут нужную информацию для своих анкет.

Эти ребята создали шедевр, который для меня стал мерилом идиотизма и человеческой глупости. Горе-исследователи составили анкету, в которой был такой вопрос: «На каком автомобиле вы обычно предпочитаете ездить?». Этот вопрос шел вторым или третьим в списке, состоящем всего из пяти вопросов. Наши люди в метро отличались здоровым чувством юмора и такта и отвечали на эти вопросы так, как им казалось верным. В результате исследования оказалось, что большинство людей из метро являются обладателями Bentley, Mercedes, а также других люксовых марок. А количество машин, которые были у людей в использовании, оказалось равным 98% при выборке из 600+ человек. Поразительные результаты, которые говорят только одно: составители методики исследования были клиническими идиотами, которые даже не задумываются о том, что они делают и для чего.

Департамент информационных технологий Москвы очень любит делиться разной статистикой, в том числе и о том, кто и с каких телефонов пользуется Wi-Fi в московском метро. Это изумительный пример неправильной выборки, которую невозможно перенести на весь город. Почему? Ответ кроется в том, что в метро Wi-Fi используют не сто процентов всех пассажиров, а только их незначительная часть. Например, с телефонов одного из брендов долгое время было нельзя выйти в Wi-Fi-сеть метрополитена, и их не было в отчетах (при заметной доле рынка на земле, в том числе при передаче данных). Это техническое ограничение, которое влияло на результат.

Вернемся к тому примеру, в котором люди утверждают, что вокруг они видят только телефоны Х, пусть это будет метро или работа, любое иное место. Я всегда отвечаю примерно так: у меня на столе лежит одна кнопочная Nokia и еще порядка десятка смартфонов Lumia, других телефонов нет. Видимо, во всем мире победили Lumia. Является ли такое предположение справедливым? Конечно же, нет, это передергивание фактов, которое совсем не говорит о том, сколько и какие телефоны есть на руках у людей.

В 2014 году марка Fly впервые заняла 10 процентов российского рынка в штучном выражении. На тот момент, например, компания Apple занимала только 7 процентов рынка в России. Но когда пошли публикации о доле рынка Fly, то у людей возникло множество вопросов:

• Кто покупает Fly? Где они покупают эти телефоны, я их никогда не видел в продаже;
• Никогда не встречал пользователей марки Fly, они существуют в природе?;
• В метро нет телефонов Fly;
• Среди моих друзей, а их очень много, никто не слышал, как вариант, не пользовался телефоном Fly;

А дальше следовал обычный вывод – «вы все врете». В исследовательских компаниях хорошо знают это свойство человеческой натуры, также с ним знакомы рекламщики. Знакомые марки, явления и предметы люди могут вычленять из информационного потока, в то время как незнакомые для себя вещи они игнорируют. Это свойство нашей психики, которое не имеет отношения к объективным параметрам предметов. Попробуйте провести эксперимент над собой. Пролистайте толстый глянцевый журнал и потом попробуйте вспомнить, рекламу каких марок вы видели. Выпишите их на бумажку. А потом сравните с тем, что вы пропустили. Уверен, что вы забыли про те имена, что вам не очень близки или интересны. Если вы не делали над собой усилия и не заучивали названия, то все будет именно так.

Реклама от Apple заведомо воспринимается лучше, чем от любого Б-бренда или компании ниже уровнем. Как результат, один и тот же рекламный модуль будет восприниматься совсем по-разному, более того, отдача от такой рекламы при ее одинаковой стоимости также будет отличаться.

Свойство нашей психики прекрасно объясняет то, почему человек видит в руках у других людей так много iPhone, Galaxy, Lumia или даже Blackberry, а другие их почти никогда не встречают или не замечают. Мы вычленяем то, что нам близко, и то, что мы уже знаем. Любое бытовое наблюдение не может претендовать на точность, на примере метро можно также говорить о том, что не все люди в вагоне достают свои телефоны и берут их в руки. У многих людей не один, а два телефона, что также искажает картину. Могу накидать еще много доводов против того, что наблюдения не являются точными, но не буду этого делать, так как основное уже сказано.

Точность измерения вытекает как из методики исследования, так и его задач. Например, в крупных корпорациях зачастую задачей ставится не объективное исследование реальности, а напротив, создание картины мира, в которой подтверждается то, что предполагала корпорация, и это не обязательно ее успехи и достижения.

Еще одно классическое исследование такого рода, которое в середине 90-х провели в США, это изучение проникновения интернета в небольших городах страны. Данную работу провели в интернете! Удивительно, что проникновение в этом случае составило сто процентов! Неожиданно! Затем к этим цифрам добавили выборку из тех же городов, но более малочисленную. В итоговом отчете исследовательская компания смело завысила уровень проникновения интернета, так как жонглировала данными и опиралась на собственную методику, которой не поделилась ни с кем. Это одна из ключевых проблем большинства отчетов и исследований. Люди обсуждают цифры, не зная ничего о масштабах работы, ее методике и принципах.

И тут мы подходим к очень важному моменту, а именно трактовке результатов, которую компании зачастую оставляют пользователям и их «здравому» смыслу. Особых высот в этом достигла компания Apple, которая превратила цифры в свое PR-оружие и умело его использует.

Например, вы наверняка слышали, что iPhone за первые три дня достиг рекордной отметки продаж и был продан в таком-то количестве. Это происходит каждый год, этот не был исключением. За три дня компания продала 13 миллионов устройств, продажи начались 25 сентября. Подкрепляя это традиционными очередями, которые в Apple умеют создавать искусственно, они создают впечатление, что это розничные продажи. В пресс-релизах не указывается, что рекорд связан не с розничными продажами, а только с поставками в каналы, операторам и в собственные магазины. Эти телефоны будут продаваться как минимум 1.5-2 месяца, и ни о какой реализации за три дня не идет речи. В финансовых документах указывается, что единственной цифрой, которую Apple официально сообщает, является продажа партнерам (то есть оптовые поставки или sell-in). В теории, Apple может рассказать о том, сколько аппаратов активируется ежедневно, но это будут цифры, далекие от миллионов штук. За тот же третий квартал, когда компания продала в канал 13 миллионов новых iPhone, общий объем продаж составил 48 миллионов iPhone.

Те, кто верит, что Apple показывает такие продажи за эти дни, могут подсчитать число магазинов компании, которые продают телефоны, и сколько аппаратов в секунду они должны продавать, чтобы выйти на половину от этого количества. Еще можно посчитать, сколько курьеров и машин должны доставлять товары. Тут можно проверить эти цифры как угодно, но результат будет один и тот же: это фантастика, что в Apple умеют продавать в розницу такое количество устройств за три дня.

Но в Apple не просто так едят свой хлеб. Компания уповает на «здравый» смысл, манипулирует им, представляя данные так, чтобы люди не могли подумать о том, что это не розничные продажи. Хотите другой пример? Как вам подход Теле2, когда в компании предлагают свои тарифы с указанием абонентской платы за месяц? Например, покупая тариф «Черный», вы будете платить в Москве 99 рублей в месяц.

Что говорит ваш здравый смысл? Что раз в месяц вы заплатите 99 рублей. Так? На самом деле, если прочитать примечание, то выяснится, что месяц в понимании Теле2 – это 30 календарных дней, а отсчитываются они с момента начала действия договора, то есть они будут плавающими. И в пользу оператора. Но здравый смысл подсказывает, что месяц – это не 30 дней как минимум для половины года. Таких примеров можно найти огромное количество, они все показывают, что для того, чтобы понимать предложения компаний или их отчетность, надо также разобраться в том, а что же именно они говорят, и не уповать на здравость суждений. Ведь компании как раз и считают, что вы включите свой здравый смысл.

Про метро уверен, что вы и сами разберетесь далее, а я пока хочу остановиться на других примерах того, как статистику используют для введения в заблуждение здравомыслящих людей.

Пользователи Windows Phone больше довольны выбранной платформой

Вы довольны своим телефоном? Собакой? Машиной? Другими предметами быта? На мой взгляд, единственным объективным отчетом о том, насколько доволен клиент, может быть только отчет о продажах компании, а вот все остальное от лукавого и, как правило, преследует совсем иные цели. Отводит глаза от проблемы, которая существует, фиксирует внимание на мнимых достижениях. Одна из уловок, которые обожают применять производители, да и близкие к ним исследовательские компании, называется «индекс удовлетворенности». Обычно на это идут компании с небольшой долей рынка, когда продукты потребляют фанаты и они видят в них только положительные стороны.

Итак, вот пример. В течение 2011 года компания ConsumerThink изучила 82.620 отзывов в интернете о 318 смартфонах и выяснила, что пользователи Windows Phone в большей степени довольны платформой.

Эта новость облетела большую часть мировых СМИ, в Microsoft ее активно продвигали через все возможные ресурсы. Победа! Но теперь давайте посмотрим на график, который прикладывался к этой новости.

Обратите внимание на то, что многие издания публиковали новость без этого графика, они уже делали вывод, не указывая того, сколько набрали в отзывах другие платформы. Что делало новость еще более железобетонной, получалось, что Windows Phone намного лучше, чем другие системы. Многие иные медиа график публиковали, но переделывали его под свой формат и не указывали того, что ошибка при подсчете укладывается плюс-минус в 6 процентов.

Возьмите такие данные, как 1.26, 1.28, 1.31. Вы видите кардинальные отличия между этими цифрами? Они примерно одинаковы, то есть удовлетворенность системами находится на сходном уровне. Плюс-минус. А если вспомнить, что ConsumerThink честно указала погрешность, то получается, что разница между данными нивелируется вовсе.

К методике может быть еще много вопросов. Например, какие именно Android-смартфоны были взяты в выборку? Только флагманы? Или модели разных ценовых групп? Судя по количеству аппаратов в исследовании, в нем сравнивали яблоки и груши, то есть недорогие, бюджетные модели и флагманы. А восприятие таких аппаратов может отличаться кардинально, что влияет на результирующую отметку. Справедливым, и то с большой натяжкой, можно считать исследование, в котором рассматриваются устройства одного ценового сегмента, класса.

Манипулирование данными – это основа современного рынка, в котором это общепринято. Например, сегодня уже никто не помнит о том, что первый iPhone считался обычным телефоном, его в Apple не позиционировали как смартфон. Уже ко второму поколению в Apple решили, что необходимо назвать его смартфоном, так как это позволяло уйти от конкуренции со всем рынком телефонов и показать большую долю рынка, которая выглядела не так плачевно. Подобный подход не выглядит обманом, это нормально для рынка, каждая компания мечтает о том, чтобы выйти в нишу, которую можно назвать «голубым океаном». Пусть и с некоторыми натяжками, главное – избежать сравнения со всеми и выбрать небольшой сегмент. Лучше быть большой рыбой в мелком пруду, чем наоборот.

При любом сравнении, которое приводят компании, надо учитывать два момента. Что сравнивается? Правильно ли подбираются предметы для такого сравнения? Нельзя сравнивать груши и яблоки, если вы говорите о разных фруктах. Сложно сравнивать розничные продажи и поставки в оптовый канал, это разные величины, сравнение которых бесполезно.

А еще очень важно понимать, насколько величина А больше, чем величина Б. Если есть сравнение, то нужно знать, как отличаются результаты. Они могут отличаться на десятые доли процента, что в реальной жизни означает полную сравнимость результата, отсутствие различий. Но в медиа такие отчеты подаются совсем в ином виде, создается впечатление, что предмет А лучше предмета Б, что не является правдой, это манипуляция.

Другой вид манипуляции – это когда компания показывает бешеный рост и это якобы говорит о положении ее дел. Например, компания А продемонстрировала прирост продаж в 300% и теперь готовится стать одним из лидеров рынка.

И никого не волнует, что на рынке в 50 миллионов штук компания А продала 3 телефона, а ранее продавала один. Это реальный процент для роста продаж, но в отрыве от доли компании он не дает представления об ее успехах и той лиге, в которой она играет.

С математикой у пользователей не всегда хорошо, поэтому компании часто предоставляют данные, которые не просто лишены смысла, а противоречат элементарной логике. Но зато громко звучат. Некоторые операторы любят говорить о том, что цена минуты за последние 20 лет снизилась на 150 процентов. Я готов стать абонентом такого оператора, если он будет доплачивать лишние 50% на мой счет. Иначе такие заявления никак нельзя понять.

Мусор на входе всегда означает мусор на выходе. Например, какое-то время назад было популярно ссылаться на статистику от Alexa, ресурса, который собирал свои данные, предоставляя пользователям некую программку. Проблема заключалась в том, что большая часть людей никогда этой программы не имела, а в таких странах, как Россия, число пользователей Alexa насчитывало несколько тысяч против десятков миллионов тех, кто ежедневно был в сети. Но все выводы по размеру ресурсов, их позициям делались исходя из небольшой прослойки, не просто маргинальной, а весьма нетипичной для российской части сети. Зачем всем этим людям нужна была эта веб-панель на их ПК? Неизвестно.

Еще одним примером победы «здравого» смысла над реальностью можно назвать Яндекс.Пробки и то, как они воспринимаются людьми. Меня умиляет, когда человек слышит о том, что в городе пробки в 10 баллов, и тут же отказывается от поездки на машине, это уже своего рода рефлекс. Но значит ли это, что вы гарантированно попадете в пробку при поездке из точки А в точку Б? Отнюдь. Для многих маршрутов время поездки окажется обычным, оно никак не изменится и будет таким же, как при пробках в 5 баллов. Ни один индекс высокого уровня не может дать детальной информации о процессах нижнего уровня, это просто удобный индекс для представления происходящего. Но он вовсе не означает, что те же пробки существуют во всех районах города и стоит вся Москва.

Я мог бы привести много примеров, каждый из которых показывал бы, как при помощи статистики, исследований и уловок компании пытаются ввести нас в заблуждение. Но проблема заключается в том, что большая часть людей с удовольствием потребляет такую информацию и не задумывается о сопутствующих деталях. Не задает себе вопросы, а как эта информация соотносится с реальностью и каковы детали исследования. Вот вам еще один пример, в Motorola создали новый тип защиты для экрана в мобильном телефоне и под это провели исследование того, как люди разбивают дисплеи, где это происходит. В исследовании была цифра, которая меня покоробила и заставила усомниться в том, что оно было проведено верно. Компания утверждает, что в мире каждый второй телефон имеет разбитый экран и владелец им пользуется. Я долго не мог понять, как можно получить такую цифру, а затем все разъяснилось. При опросе сервисных центров по поводу физически разбитых устройств, которые поступают в Motorola по всему миру, выясняется, что половина из них имеет разбитые экраны и владельцы пользовались ими до того, как обратиться в СЦ.

Можно задать вопросы, которые служат проверочными. Какая доля у Motorola в мире? Какой процент телефонов ломается? Какой процент сломанных телефонов приносят в сервисные центры? И так далее. Уверен, что, ответив на эти вопросы, мы поймем абсурдность утверждения, что половина всех смартфонов имеет сломанные экраны и их продолжают использовать.

Со своей стороны я могу призвать вас быть внимательными и думать о том, какую информацию вам скармливают. Научитесь разбираться в том, какие данные вам дают, являются ли они достаточными для анализа. Можно ли их сравнить с другими данными, которые вы знаете. Простого пути у меня для вас нет, но если вы научитесь это делать хотя бы в минимальном объеме, развесистая клюква не будет вас трогать и вы сможете объяснить окружающим, что с этими данными не так.

Тем, кто хочет подробнее разобраться в этом вопросе, рекомендую простую, маленькую книгу Дарелла Хаффа «Как лгать при помощи статистики». Она была написала в 1955 году, но будьте уверены, что все описанные приемы дошли до нашего времени без изменений. Они в ходу и сегодня, пусть графики теперь и выглядят иначе, их делают глянцевыми, красивыми и отвлекающими внимание. Но сама суть обмана осталась прежней.

P.S. Удачи. И постарайтесь задумываться над тем, что вы сравниваете и как, не пытайтесь свое частное перенести на весь мир. Это самая распространенная ошибка, которую только можно совершить. Будьте умнее.

Ссылки по теме

Поделиться: 

Мы в социальных сетях:

• ВКонтакте
• Telegram

Больше материалов
на новой версии сайта. Теперь читать с мобильных
стало удобно!

Есть, что добавить?! Пишите... [email protected]