Бирюльки №174. О чем говорят тесты производительности и нужны ли они

Всю прошедшую неделю продолжал изучать Galaxy S3, в меньшей степени уделял время другим продуктам. Под конец недели выложил 30-минутное видео сравнения HTC One X с Galaxy S3, где остановился на некоторых функциях устройств, не затрагивая все их возможности. Ошибся в том, что из коробки HTC все-таки поддерживает Swype, что многими было принято как осознанная ошибка, что, конечно же, не так. Да и в рамках этого видео наличие или отсутствие Swype не играет роли, я пытался оценить какие плюсы и минусы есть у каждого аппарата. Признаюсь честно, что не ожидал таких баталий между поклонниками HTC и Samsung. Последних, безусловно, больше, но первые свою малочисленность компенсируют громкостью и заметностью, а также резкими суждениями. Мне нравится, что видео получилось настолько острым, что полемика не затихает, а посмотрели его уже более 20 000 человек (мы не выкладывали это видео никуда, это его первый анонс).

Очень надеюсь, что поклонники Samsung Galaxy S2 с таким же жаром начнут защищать свой аппарат в видеосравнении с S3, которое я также подготовил за эти выходные. Полный обзор Galaxy S3 выйдет на днях, пока же смотрите эти видео.

Содержание:

Битва синтетических гигантов – можно ли доверять тестам производительности
Доля разных версий ОС – официальная статистика
Google обвинил Nokia и Microsoft в неспортивной игре и подал иск в Европе
Иконки для iOS как искусство
Nokia – продолжение неконтролируемого падения в пропасть
Blackberry – еще один ходячий мертвец

Битва синтетических гигантов – можно ли доверять тестам производительности

Мир можно условно разделить на тех, кто верит во всевозможные приметы, и тех, кто их отрицает. Как мне кажется, приметы возникли в ответ на желание человека получить точку отсчета. Пробежала черная кошка, пересекла ваш путь, и значит, жди беды. Это знак и предупреждение. В современном мире компании, производящие различные товары, пытаются создать свои приметы и точки отсчета, привязать к себе пользователей. Не так важно, кто первым начал играть в эту игру, мы сталкиваемся с последствиями этого ежедневно и зачастую мыслим стереотипами. В прошлых «Бирюльках» я затронул тему того, что мегапиксели отнюдь не означают умения фотографировать, а лошадиные силы под капотом спортивной машины не показывают водительского мастерства того, кто управляет этим авто. К сожалению, эти банальные мысли у многих наших читателей вызвали не просто отторжение, а стойкое неприятие. И этому есть вполне обыденное объяснение – многие годы они живут в мире, где властвуют приметы, и для них это точка отсчета, которую они приняли самостоятельно. Попытавшись разрушить точку отсчета, я невольно замахнулся на все их мироздание. Которое они считают верным и правильным. Поэтому позволю себе вновь затронуть эту тему, но с другого конца – важны ли тесты производительности смартфонов и что они показывают.

Не секрет, что многие молодые люди, прикупив себе новый смартфон, тут же запускают тест производительности, чтобы посмотреть, насколько их модель отличается от других. Еще до появления смартфонов в ту же игру обожали играть пользователи компьютеров, меня тоже не миновала сия забава. Например, в Windows даже появился индекс производительности, который оценивал, насколько компьютер хорош для работы с этой ОС. Те же самые виртуальные попугаи, которые, как правило, лишены всякого смысла и толка. Во времена смартфонов количество программ, оценивающих производительность каждого из решений, стало еще большим, каждый найдет себе бенчмарк по вкусу. Но вот только смысла в них, как такового, нет, правда, объяснить это среднестатистическому молодому человеку крайне сложно. Его интересует только один вопрос – мой телефон круче, чем у моего соседа, или нет?

Чтобы разобраться в сути, давайте попробуем ответить на вопрос, что делают все бенчмарки. Они измеряют производительность процессора, памяти, других подсистем на типичных задачах. В зависимости от умения создателей теста эти задачи могут быть приближены к реальной жизни или бесконечно от нее далеки. Но первое, с чем мы сталкиваемся, это организация современных операционных систем, которая выдает несистемным приложениям свою персональную песочницу и набор ресурсов, ограничивая возможности таких программ. Любой современный тест на Android уже заключен в свою песочницу и не получает всего доступа к ОС. Впрочем, это и не нужно, если мы оцениваем то, как могут работать сторонние программы, и не будем говорить, что это имеет какое-то отношение к системе в целом. Безусловно, какую-то корреляцию между тем, как работают программы в песочнице, с тем, как работает вся система в целом, можно провести, но она отнюдь не линейная. Более того, чем больше программных надстроек сделал производитель, тем сильнее меняется производительность ОС, а также сторонних программ, и никакой синтетический тест не позволяет оценить эту разницу. Ее можно представить на глазок, и только.

Другим ограничением становится тот факт, что большинство тестов просто не учитывают умения железа. Хотите доказательств? Попробуйте запустить на Tegra3 игрушку, предназначенную для этой платформы, потом попробуйте сделать то же самое на другой платформе. У вас не получится поиграть в эту игру, но вы сможете найти ее аналог, с другим качеством детализации и возможностей. Как мне кажется, для конечного пользователя здесь станет определяющим фактором не количество попугаев, которое может показать та или иная платформа, а принципиальная возможность запустить игру с тем или иным качеством. Если следовать логике, то производительность Tegra3 в синтетических тестах должна быть максимальной, и из-за этого игры на ней запускаются, а на других платформах нет. К сожалению, это ошибочное суждение. Играет роль то, как оптимизированы игры для конкретной платформы, и то, кто этим занимался (NVIDIA вкладывает огромные усилия в оптимизацию игр для своих чипсетов, это ее приоритет).

Означает ли проигрыш Tegra3 на HTC One X в синтетическом тесте Quadrant Standard тому же Galaxy S3 от Samsung, что это решение хуже? При том же объеме оперативной памяти, а также меньшей частоте процессора в Galaxy S3. Боюсь, что мой ответ будет непопулярен – эти результаты не означают ровным счетом ничего. Они говорят о том, что в конкретном тесте, на конкретных синтетических задачах одно устройство уступает другому. Но как это влияет на реальный опыт пользователей? Загружается ли это устройство дольше? Возможно, что камера запускается не так быстро или снимки сохраняются целые века? Вопросы можно множить, но ответа в синтетических тестах мы не найдем. Они просто не предназначены для этого, это синтетическое измерение вполне виртуальных параметров, которые не говорят, по большей мере, ни о чем. Современный смартфон состоит из множества компонентов, влияние каждого из них на общую производительность велико. Но это только часть правды. Другая часть в том, что просто измерение в синтетическом тесте не позволяет судить о чем-либо, очень важна трактовка этих измерений, того, что вы сравниваете, а главное, зачем.

Оставим на время в стороне синтетические тесты. Вопрос на общую смекалку и сообразительность. Вы производите некий продукт, являетесь лидером рынка. На вас со всех сторон нападают конкуренты, некоторые из них амбициозны и создают очень неплохие конкурирующие решения. Чтобы доказать свое превосходство, вы выпускаете синтетический тест, который в попугаях показывает преимущество ваших продуктов и совсем не учитывает особенности реализации продуктов конкурентов. Можно ли считать такой тест честным и справедливым? На мой взгляд, это лишено смысла, несмотря на то, что компания изначально могла считать свои намерения честными и открытыми и не преследовать какие либо скрытые цели.

Относительность любого синтетического теста должна быть понятна любому, кто запускает его. Это виртуальные попугаи, которые могут описывать только относительные изменения на одной и той же системе. Например, производительность решения до и после обновления прошивки. Либо производительность с включенным режимом энергосбережения и без него. Но это не универсальное средство для сравнения разных аппаратов и систем. Начнем с того, что тестов, которые могли бы одинаково успешно сравнить iPhone, iPad, Android, WP7 (7.5) и другие ОС, просто не существует. Сама природа синтетических тестов такова, что они не могут работать одинаково успешно на разных платформах. Исключением становятся тесты производительности браузеров, для них универсальная оценка возможна в теории. На практике и тут возникает множество подводных камней (от размера экрана мобильного устройства до оптимизации производителями).

Получается, что тесты не нужны? С одной стороны, все так, и они не дают универсального ответа, какой аппарат лучше, а какой хуже. Они дают дополнительную информацию, которую можно и нужно трактовать, чтобы понять отличия аппаратов. Но судить о производительности устройства только на основании теста нельзя. Например, если верить синтетическим тестам, то HTC One X с S4 Qualcomm очень неплох, но применение других тестов дает совсем иной результат. И кому верить? Как-то мне попалось очень неплохое сравнение этих чипсетов, рекомендую его вам.

Смотрите, на первой картинке - Tegra3 и максимальная детализация, на второй - S4 Qualcomm и меньшее число деталей. Производительность в игре при этом одинакова. И кто лучше?

Основной вывод стоит делать по играм и их качеству – а отнюдь не по виртуальным попугаям. Хотя для кого-то, кроме игр, это может быть производительность в обычных офисных приложениях, то, что не измеряется сегодня никем в мире смартфонов. К сожалению, доверять просто числам в бенчмарках нельзя, они слишком относительны. Надеюсь, что после этой небольшой заметки вы всегда будете думать, а что значат те или иные числа, а главное, о чем они говорят. Насколько качественны тесты и что они могут вам рассказать. Отчего-то все пользователи по умолчанию считают, что тесты написаны гениями и учитывают все возможности современного железа. К сожалению, это не так.

К содержанию >>>

Доля разных версий ОС – официальная статистика

В блоге для разработчиков Android появилась свежая статистика по версиям этой ОС, она достаточно интересна ростом доли Ice Cream Sandwich. Для понимания тенденции напомню данные на конец марта, они представлены в таблице.

В начале июня ситуация не изменилась кардинальным образом – мы видим рост числа планшетов (Android 3.x), увеличение новой версии для смартфонов – ICS, но также и рост Android 2.3.x. Объяснение следует искать в распространении недорогих моделей, которые пришли в новые ценовые сегменты, где до этого момента Android не был представлен. Версия ОС здесь не играет роли, скорее, сами возможности, которые предоставляет Android.

Интересно, что статистика учитывает как официально представленные обновления ОС, а также новые устройства, так и кастомные прошивки. Для Google нет особой разницы, как пользователь получил прошивку и ее официальность, считается именно версия ОС. Многие переоценивают число кастомных прошивок и число тех, кто их устанавливает. От общей базы пользователей Android любителей экспериментировать не наберется и одного процента. С другой стороны, в сети они очень заметны, как, впрочем, и на профильных форумах.

На мой взгляд, фрагментация Android существует, но ее размер и значение сильно переоценены, она не является тормозом в развитии системы. Напротив, рост продаж Android-смартфонов показывает, что фрагментация не играет роли ни для конечных потребителей, ни для производителей телефонов. Для создателей программного обеспечения на первый план выходит число пользователей, что заставляет закрыть глаза на эту проблему.

К содержанию >>>

Google обвинил Nokia и Microsoft в неспортивной игре и подал иск в Европе

Патентная война приобретает новые очертания, в ней Google уже отчаянно хватается за все возможности, даже абсурдные. На прошлой неделе компания обвинила Nokia и Microsoft в том, что они продали патенты компании Mosaid, которая известна как патентный тролль. То есть, компания специализируется на том, что судится в рамках принадлежащих ей патентов, а живет за счет патентных отчислений. В сентябре 2011 года Nokia передала этой компании около 2 000 патентов. В случае выигрыша по патентным делам часть платежей Mosaid пойдут в адрес Nokia и Microsoft. В Google такое положение дел посчитали несправедливым и обратились в суд. Вот только одна небольшая проблема – Google обращался в суд уже трижды, все время в США. Ни в одном случае эту ситуацию не посчитали нарушающей рыночные законы и даже не завели дела. Однако это не остановило Google, и компания посчитала, что надо обратиться с той же претензией, но уже в Европе. Мне искренне непонятно, на что рассчитывает Google, возможно, что сама претензия - только предлог для масштабной PR-кампании, можно сказать, что это повод. Не знаю. Важно, что в Европе компании, видимо, откажут с той же легкостью, как это произошло в США. Для интересующихся рекомендую ссылку:

Google's EU antitrust allegations against Microsoft and Nokia were dismissed by the ITC

К содержанию >>>

Иконки для iOS как искусство

В своем твиттере я видел ссылки на оригинал этого материала, а также всевозможные перепечатки больше десятка раз. Это значит, что материал зацепил людей за живое и они в восторге от него. Статья посвящена такой простой штуке как иконки на iOS, которые превратились в своего рода искусство. Мало текста, много иконок. Вот, в чем секрет успеха этой статьи. Несколько иконок можете посмотреть в «Бирюльках», а за остальным проследуйте в оригинальный материал.

By Ramotion

By Aditya Nugraha Putra

By Saturized

By Konstantin Datz

By Dash

By Ryan Ford

By Roman Jusdado

By Artem Borysenko

By Ryan Ford

К содержанию >>>

Nokia – продолжение неконтролируемого падения в пропасть

Начиная с пятого числа большинство бывших магазинов Nokia в России (40 штук, принадлежащих «Носимо») открываются под маркой Samsung – в них начнутся продажи флагмана компании Samsung Galaxy S3. Особую иронию придает этому то, что и бывший магазин Nokia №1 на Тверской улице в Москве также отошел к конкуренту. Огромная интерактивная рекламная панель уже месяц не зазывает смотреть новинки Nokia, а вскоре на ней появится имя конкурента. Круговорот предметов и понятий в природе. Впрочем, о том, что это произойдет, первыми узнали читатели «Бирюлек», новости тут нет никакой.

Следующий шаг, который ставит крест на продажах Nokia в России, еще мной не описан – это отказ других партнеров от продукции компании. Например, фирменные салоны Nokia также развивала компания re:Store, но в ней последовали примеру «Носимо». В силу падения продаж и отсутствия поддержки со стороны Nokia эти салоны закрываются – на их месте будут магазины Samsung или Apple. В качестве подтверждения разрешите привести пару фотографий наших читателей.

Фото @alexchernishov

Фото @sdemidov

К сожалению, это только вершина айсберга, так как настоящей информации о происходящем внутри Nokia мы пока не видим. Судя по отрывочным разговорам и обсуждениям, разрушение компании перешло в стадию неконтролируемого, когда Nokia уже не обращает никакого внимания на престиж марки, ценность бренда или что-то подобное. Сотрудники компании заняты поиском новой работы, а сама компания пытается сэкономить на всем, на чем только возможно. Например, Nokia выступала спонсором международного чемпионата по классическому ралли WRC, но в конце мая разорвала контракт. Последним ралли с участием Nokia и ее слоганом Powered by Nokia стали гонки в Греции. Сумма контракта оценивается в 2.5 миллиона фунтов стерлингов, он был рассчитан на несколько лет. Как вы понимаете, это, одно из направлений, на котором компания пытается экономить. На мой взгляд, это здравое решение, так как рекламировать что-либо Nokia позволить себе не может. У нее просто нет продуктов, а имеющиеся не продаются.

Чтобы оценить весь масштаб поражения, нужны точные данные, которые пока отсутствуют, мы увидим результаты второго квартала этого года только в июле. Но думаю, что они удивят нас всех. Причина не только в том, что розница, а также операторы начинают отказываться от продуктов Nokia, это общеизвестный факт. Скорее, причина удивления будет заключаться в том, насколько быстро происходит этот процесс. Только одна цифра, которая на меня произвела неизгладимое впечатление – я нахожусь в шоке до сих пор. Компания GfK Rus подсчитала, что розничные продажи Nokia в апреле 2012 года в России составили 20%. Месяцем ранее они составляли почти 35 процентов. Получается очень интересная ситуация – в марте продажи еще были достаточно заметными, а вот в апреле они резко сократились, ушли на новый уровень. Думаю, что ситуация в России характерна и для других рынков, а в квартальном отчете Nokia мы увидим резкое падение продаж во все каналы и во всех странах мира (за исключением США, но доля рынка Nokia там минимальна). Назвать это катастрофой - значит не сказать ничего. Это просто разрушение компании, которое невозможно остановить.

Основная причина проблем Nokia очевидна и проста – у компании нет продуктов, которые она может продавать. Нет ни одного яркого продукта, на котором можно строить свои продажи. Адекватность ценовой политики вызывает огромные вопросы. Например, в России стартовали продажи Nokia Lumia 610, это бюджетный Windows Phone смартфон на версии ОС Tango. Урезанный объем памяти, невозможность запустить Skype и ряд других приложений - все вместе создает не самый оптимальный, но в теории достаточно недорогой смартфон. Только в теории, так как в России его стоимость составила 9 990 рублей (первая неделя продаж). Затем в «Связном» снизили цену до 9290 рублей, так как фактических продаж не было (за неделю было продано чуть более ста штук по всей стране).

Напомню, что для продуктов Nokia в 2012 году характерно обвальное снижение цены в силу отсутствия спроса. Старшая модель Nokia Lumia 710, которая выигрывает по всем характеристикам у 610-ой, уже стоит в среднем около 10 500 рублей в большинстве магазинов, а в онлайн-предложениях ее можно найти за 9.5 тысяч рублей. Как можно охарактеризовать адекватность менеджеров Nokia, которые пытаются продавать 610-ю модель по стоимости выше, чем представлена более старшая? На мой взгляд, ответ очевиден – они некомпетентны. К сожалению, в компании, которая попала в такую ситуацию, должны работать антикризисные менеджеры, но взять их негде. Поэтому мы будем наблюдать стремительное разрушение Nokia, которое уже невозможно остановить. Впрочем, рынок это отлично понимает, и акции Nokia бьют новые рекорды, они падают с такой скоростью, что компания дешевеет на глазах. Капитализация компании упала ниже 10 миллиардов долларов. Даже если взять всю собственность компании и продать ее с огромной скидкой, то и в этом случае за нее удастся выручить больше денег. К сожалению, инвесторы свой вывод о том, куда идет Nokia, сделали окончательно. Компанию списали в утиль, и мало кто верит в светлое будущее. У нее просто нет шансов восстановиться. На мой взгляд, шоком станет середина июля, когда Nokia объявит очередные рекордные убытки и падение продаж, которое невозможно будет скрыть. А вот дальше начнется бойня, компанию просто утопят. К счастью, мне придется наблюдать уничтожение некогда великой компании не так долго, ее мучения будут не бесконечны. Компанию уничтожают в рекордно короткие сроки.

P.S. В российском офисе Nokia даже не стали реагировать на то, что на входе в здание Samsung повесил две огромных вывески со своим именем, а слово Nokia невозможно найти, его просто нет. Впрочем, слухи говорят о том, что из-за сокращения штата этот офис становится велик, и компания планирует перебраться куда-то подальше от центра, туда, где подешевле.

К содержанию >>>

Blackberry – еще один ходячий мертвец

Меня всегда удивляло, насколько синхронно могут происходить события одного порядка. Например, разговаривая о том, что происходит в Nokia, с сотрудником этой компании, я услышал: “Зато у нас еще есть операторские контракты, они нас поддержат в Европе хоть немного. В отличие от Blackberry, который потерял и их”. Для вас не секрет, что в Blackberry борются за свое выживание и сделали ставку на новые смартфоны, которые выйдут на BB10 в конце этого года. Однако ситуация складывается так, что мы можем и не увидеть их на рынке. Либо увидим в очень ограниченном количестве и на небольшом числе рынков. В RIM уже практически открыто признаются в том, что проиграли битву за рынок и теперь рассматривают возможность, какой вид смерти принять. Быстрый и безболезненный или попытаться прийти к тому же концу мучительно.

Одним из шагов по выходу из кризиса стало привлечение в качестве внешних консультантов двух компаний - JPMorgan Chase и Royal Bank of Canada. Обе компании известны тем, что не обладают опытом в области телекоммуникаций, но хорошо известны возможностью проведения сделок по продаже или слиянию. Де-факто, в RIM дали понять, что не исключают возможности продажи бизнеса любому заинтересованному лицу. Вот только, насколько я могу судить, RIM не нужен никому, а стоимость патентов, которыми владеет компания, трудно оценить, впрочем как и использовать их на практике. Эти патенты, как правило, либо связаны с технологиями мобильной почты и привязаны к инфраструктуре RIM (такие решения другие компании просто не используют), либо напрямую связаны с QWERTY-устройствами (а их время ушло, это небольшая ниша на рынке). Сомнительная ценность для патентов, ведь области, где силен RIM, сегодня просто не востребованы, и из этого напрямую вытекают все проблемы канадского производителя.

Следующая новость характерна для компаний, терпящих бедствие – сокращение штата в целях экономии средств. Руководство RIM не назвало число тех, кого уволят. В то же время, в Reuters со ссылкой на свои источники говорят о том, что будет уволено от 6 500 до 16 500 человек. Оглушительная цифра. Но и такие масштабные увольнения не спасут компанию. И вот тут мы подходим к следующей важной точке в истории RIM.

Рост складских запасов. Напомню, что мы видели масштабные списания средств в сотни миллионов долларов из-за запасов только одного неудачного продукта – планшета Playbook. Сейчас же в компании говорят о том, что складские запасы начали расти из-за уменьшившегося спроса на все продукты компании. По разным оценкам, рост запасов составляет от 500 миллионов долларов до одного миллиарда. В свою очередь, это говорит только о том, что спрос на смартфоны Blackberry падает, их место занимает Apple iPhone, во вторую очередь - Android. И эта тенденция отлично видна в США, где в корпоративных сетях все чаще используют не Blackberry, а конкурирующие решения. Вопрос только в том, насколько быстро начнет падать спрос. Думаю, что последним серьезным ударом станет представление BB10 устройств, они точно не будут востребованы на корпоративном рынке, что приведет к окончательному падению продаж RIM. Де-факто, мы увидим закат этого производителя. Жаль, но таков современный рынок.

Внеклассное чтение:

Blackberry World 2012 – закат корпоративной империи RIM

P.S. Хорошей вам рабочей недели, а мы постараемся вас порадовать различными материалами. Многие из которых вас точно не оставят равнодушными. Удачи!

Обсуждение на форуме >>>

К содержанию >>>

Ссылки по теме

	Бирюльки №171. Почему люди притворяются, что говорят по телефону
	Бирюльки №172. Цена Nokia 808 PureView – торжество глупости
	Бирюльки №173. Купи MacBook – стань умнее, чем окружающие

Эльдар Муртазин ([email protected])
Twitter
Опубликовано — 04 июня 2012 г.

Блог MrMurtazin.com

Поделиться:

Мы в социальных сетях: