Как производители создают смартфоны – синтетические тесты и реальная жизнь

Привет.

Из года в год мне приходится сталкиваться с тем, что люди пишут о том, что такое-то устройство ужасно и это страшный позор, что производитель его в принципе выпустил на рынок. Как правило, я уже знаю доводы этих людей наизусть, они мало меняются из года в год: не тот процессор, в бенчмарке Х CPU показывает троттлинг, синтетических попугаев набирает не так много, как хочется, а еще и греется как печка. Людям свойственно любопытство, желание сравнивать что-то новое, болеть за любимую команду или тех, кто им симпатичен. В аспекте тех же смартфонов это проявляется в переживаниях за любимого производителя чипсета (почему нет тех, кто переживает о версиях Bluetooth-модуля и его качестве?), иногда это люди, что ищут смартфон именно вот с таким модулем камеры, а не с таким (AIDA64 – их любимый инструмент). Почему они это делают? Это всегда вопрос мнимой выгоды, им кажется, что наличие разных вариантов железа не может не сказаться на общей производительности или качестве в разных аспектах. Например, разные модули камер в их сознании автоматически значат разное качество итоговых снимков. И тот момент, что львиная доля качества снимков сегодня – это не матрица и оптика, что, безусловно, важны, а алгоритмы обработки картинки, их не волнует. Такие люди всегда пытливо искали ответ на вопрос, почему модули камер от Sony в родных смартфонах Sony фотографируют заметно хуже, чем в смартфонах от Samsung. Диверсия? В Sony специально ухудшают качество, а конкуренту отдают лучшее? Ответ, лежащий на поверхности, что тут вмешиваются алгоритмы обработки снимков, никого не удовлетворяли, так как это слишком банально.

Как производители создают свои устройства, на что они ориентируются? Кого они рассматривают в качестве ролевой модели для каждого устройства? Ответ на этот вопрос всегда скрывает в себе объяснение, почему в каких-то моделях важны одни характеристики, а в других на них просто не обращают внимания. В мире не существует одного, универсального потребителя, каждый из нас уникален и имеет свой набор требований к смартфону. Есть какие-то общие вещи, что нас объединяют, есть то, что кажется неважным. Например, в смартфонах от Samsung по умолчанию стоит FullHD+ разрешение экрана, но поддерживается и большее разрешение QHD. При большем разрешении расход аккумулятора заметно выше, а качество картинки при этом для многих не отличается. И если в предыдущих поколениях в настройке по умолчанию стояло разрешение QHD, то сегодня это не так.

Как производители создают смартфоны – синтетические тесты и реальная жизнь

Как в Samsung определили, что нужно покупателям? Это разные инструменты, от маркетинговых исследований до сбора статистика непосредственно с самих устройств. Все люди врут, как говорил доктор Хаус в одноименном сериале, что-то подобное происходит и с пользователями, которые рассказывают о своих предпочтениях в устройствах, сами смартфоны рассказывают совсем иные истории про владельцев. Более того, кто-то придумывает “проблему”, которая затем приобретает гигантский размах, так как она становится общеизвестной, и вот из уста в уста передается какой-то “факт”. Чтобы не быть голословным, приведу такую цитату: “У меня в смартфоне дичайший троттлинг в CPU Throttling Test, как мне исправить эту проблему?”. В сознании написавшего троттлинг – это нечто плохое, то, что требует исправления.

Самое время вспомнить, что такое троттлинг процессора и как он влияет на устройства. В процессорах это механизм защиты от перегрева: когда кристалл работает на пределе своих возможностей, корпус нагрет, то возникает опасность выхода из строя. Чтобы этого не произошло, процессор начинает пропускать такты, то есть работает не в полную силу. Нагрев – это то, с чем борются в процессорах на ПК, в ноутбуках, в смартфонах. И это штатный механизм, который влияет на производительность устройства, кто-то может сравнить его с предохранителем, но мне такая аналогия не нравится, так как предохранитель срабатывает однократно, а тут идет постоянное изменение параметров системы, причем как в одну, так и в другую сторону.

Давайте взглянем на утилиту CPU Throttling Test, что упомянул неведомый мне человек, у которого есть большие проблемы с его смартфоном. Это доморощенная софтинка, что загружает CPU несколькими потоками вычислений, заставляет процессор работать на пределе возможностей и замеряет его производительность. Просто, понятно и применимо на практике, не так ли?

Современный смартфон – это очень сложная связка разных компонентов, где процессор – только один из них. Для производителя важно добиться того, чтобы устройство работало как можно дольше, меняло вычислительную мощность и свои возможности в зависимости от реальной нагрузки, и эти процессы скрыты от глаз пользователей. Мало кого волнует, как работает трансмиссия в автомобиле, но почему-то очень волнуют процессы, происходящие внутри процессора телефона. Давайте посмотрим, как работает приложение CPU Throttling Test на таких устройствах, как Samsung Galaxy S10+ (Exynos 9820), S20+ (Exynos 990), S20 Ultra (Exynos 990), Galaxy Fold (Snapdragon 855).

Samsung Galaxy S10+, 20 потоков

Samsung Galaxy S20+, 20 потоков

Samsung Galaxy S20 Ultra, 20 потоков

Samsung Galaxy Fold, 20 потоков

Обратите внимание, что троттлинг проявляется в результатах S10+, процессор постепенно снижает частоту. Но что происходит с S20/S20+, они ведут себя совершенно иначе – от “плохих” результатов они переходят к стабильной работе на максимуме. В этом и проявляется управление со стороны устройства, оно правильно распределяет нагрузку, чтобы решать те задачи, что стоят перед ним.

Но сейчас у меня будет для вас удивительная новость, те результаты, что вы видели, сделаны при настройках по умолчанию, это 20 потоков. Для того, чтобы нагрузить процессоры во флагманах, нам понадобится 100 потоков, тогда смартфоны поймут, что нужно выкладываться на полную. Давайте посмотрим, как себя ведут S10+, S20+ и Ultra при такой нагрузке. Разработчик программы советует дать устройствам охладиться, чтобы эффект троттлинга проявлялся в полной мере (на разогретом устройстве вы увидите прямую, оно уже будет находиться в режиме снижения нагрузки, не выдаст пиковые значения).

Пока мои смартфоны остывают, важно сделать ремарку, что любой тест сильно зависит от условия его проведения. Для большинства испытателей это невдомек, они не знают, что такое чистота эксперимента. В идеальном случае вы должны замерять температуру окружающей среды (батареи устройства отдельно), выключать все фоновые процессы, а также переводить устройство в автономный режим (не для всех тестов это возможно, тогда нужно делать их на чистом устройстве без вашего софта, что делают только производители). Повторяемость эксперимента – это то, что важно, причем повторяемость в любой иной среде, когда другой человек может получить ровно те же результаты, что и вы. Увы, в жизни этого не происходит, люди запускают тесты и параллельно загружают фильм (а разве это на что-то влияет? этот наивный вопрос всегда меня умилял), режутся в тяжелую игрушку и тут же держат в фоновом режиме кучу приложений, которым ручками запретили уходить в спящий режим. Для устройства нет ничего страшнее, чем начитанный любитель, который знает, как все “верно” настроить.

Нелишним будет заглянуть в раздел “Батарея”, чтобы посмотреть, в каком режиме работает ваше устройство, есть ли ограничения для процессора, и привести все аппараты к единому знаменателю.

Прошло почти пятнадцать минут, батареи были нагреты до 40 градусов, температура упала почти на 10 градусов, но еще не время начинать тест, подождем немного. Обратите внимание, что температура в S10+ падает не так быстро, как в S20-ых. Причина не только в процессоре, но и в другой системе охлаждения (S10+ схож по размерам с S20+, но во втором лучше система отвода тепла). Многие проводят тесты, не снимая чехлов, что также оказывает влияние на чистоту эксперимента, это стоит принимать во внимание.

Чем больше размер устройства, тем лучше будет работать отвод тепла при прочих равных. В S20 Ultra медная пластинка, играющая роль радиатора, справляется с этим лучше и быстрее, чем в S20+, так как она чуть больше по размеру.

Источник: ifixit.com

Это еще один пример того, как конструкция влияет на одно и то же железо, в этом случае процессор Exynos 990. Это всегда связка из разных компонентов, и наличие какого-то чипсета вовсе не значит, что вы получите максимальную производительность в любом режиме. Владельцы недорогих китайских “флагманов” на Snapdragon 855 в полной мере ощутили этот момент на своей шкуре. Экономия на конструкции приводит к тому, что потенциальные возможности чипсета не раскрываются в полной мере. К чему это я? Смартфон – сложное устройство, и все компоненты в нем должны быть правильно увязаны между собой, и софт в этом играет далеко не последнюю роль.

Итак, давайте запустим тест на всех аппаратах и оценим их при ста потоках.

Samsung Galaxy S10+, 100 потоков

Samsung Galaxy S20+, 100 потоков

Samsung Galaxy S20 Ultra, 100 потоков

Samsung Galaxy Fold, 100 потоков

Типичным выглядит то, как ведет себя S10+, мы видим постепенное снижение нагрузки и рост температуры. А вот для 20-ок при росте температуры мы не видим чего-то критичного, отвод тепла работает хорошо, процессоры продолжают работать (причем в Ultra мы видим подстройку процессора под нагрузку, он как будто разгоняется и подбирает оптимальный режим работы). Также посмотрите на аномалию, температура батареи – 44 градуса в 20-ках, в S10+ она ниже, но процессор агрессивно включал троттлинг. Получается, что большая температура не стала причиной троттлинга, как вам такое?

Для Galaxy Fold этот тест оказался тяжелее, у него чипсет предыдущего поколения (увы и ах, Snapdragon 855 ведет себя типично, там также включается троттлинг, они максимально схожи в этом с S10+).

Но все эти тесты и конкретно CPU Throttling Test применимы только для того, чтобы косвенно что-то сказать про устройство. В логике тех, кто говорит, что троттлинг – это плохо, обычно есть большой изъян. Давайте взглянем на такую игру, как PubG, она достаточно требовательна к ресурсам смартфона, нагружает чипсет по полной программе.

Далеко не все смартфоны позволяют играть в PubG, тем более на максимальных настройках. Тяжелая графика, необходимость большого числа вычислений. Но посмотрите на то, каковы результаты загрузки процессора и графического ускорителя. Процессор работает от силы на четверти своих возможностей, так как основная нагрузка идет на графику. И тут мы приходим к тому, что троттлинг процессора ничего не значит в этой игре, а на первый план выходят возможности графики. Узким местом становится не процессор как таковой, его мощности хватает с лихвой, узкое место – это графическая система смартфона.

Чем больше кадров в секунду выдает смартфон, тем большие ресурсы затрачиваются, а игра при неверных настройках может притормаживать. При нагреве смартфон неприятно держать в руках, да и производительность будет падать, не так ли? Об этом говорят здравый смысл и типичные рассуждения. Задача производителя – сделать так, чтобы вы могли комфортно играть в большинство игр, существующих для платформы, не испытывать никаких проблем. И поэтому производители ориентируются не на какую-то одну игру, а на совокупность того, что есть на рынке, того, что появится в ближайшие год-два.

Большинство производителей добавляют отдельные режимы работы смартфонов для тех, кто много играет. Это позволяет выставить режимы, которые иначе недоступны. Например, вы можете оптимизировать расход батареи, аппарат автоматически во время игры будет менять частоту кадров, чтобы продлить время работы или избежать фризов. Но вы можете и отключить эту возможность, играть на максимальных настройках. В Game Booster есть даже настройка, позволяющая включить экран на 48 Гц, это заметно экономит энергию по сравнению с 60 или тем более 120 Гц (на частоту fps это также влияет).

Проверил, как работает низкая частота обновления экрана, на примере игры Alto’s Odyssey. Игра выдает стабильные 48 кадров в секунду.

Отключили эту настройку и вернулись к 60 кадрам в секунду.

При включении 120 Гц для экрана вы не получите соответствующий результат в игре, она будет доступна все на тех же настройках в 60 кадров в секунду.

И тут мы подходим к следующему моменту, о котором я говорил вначале. Помимо аппаратных возможностей, вам нужно, чтобы ваша игра поддерживала программно то, что умеет ваш смартфон. Сегодня многие игры умеют выдавать 60 кадров в секунду, но мало кто из них поддерживает в реальности 90 или 120 кадров (почти никто, это скорее теоретический предел, который в отсутствие правильных средств для измерения fps на смартфоне, невозможно подтвердить или опровергнуть). Большая часть тестовых программ для измерения FPS на смартфонах работает, мягко говоря, криво. Либо требует подключения к ПК, либо не напрямую обращается к игре, не выдает максимум информации. Тот же Samsung на Android 10 дал встроенную утилиту, которая показывает максимум информации для разработчиков и позволяет оценить качество игры.

Производители создают смартфоны для реальных, живых людей, которые очень далеки от виртуального соревнования по измерению того, у кого больше. А живые люди хотят играть в игры, что они загружают из Play Store, хотят получать хорошее качество и при этом не думать о каких-то настройках, результата которых они не видят. Именно на таких потребителей в нашей вселенной ориентируется каждый производитель, так как они составляют подавляющее большинство, их 99% с хвостиком. Те немногие гики, кому интересна виртуальная пузомерка, конечно же, расстроены тем, что их система ценностей не перенимается, не берется в расчет. И это правда обидно, так как это своего рода мировоззрение, которое не принимается в расчет другой стороной.

Ни в коей мере не хотел задеть энтузиастов технологий, тем более что и сам отчасти таков. Но реальность выглядит иначе, чем предполагают гики, они в чем-то двигают прогресс, обращают внимание на те или иные слабые места систем, которые постепенно исправляют. Это авангард массового рынка, который оторван от него на несколько лет. То, что хотят получить гики здесь и сейчас, приходит на массовый рынок, как правило, через пару лет. Просто они забегают вперед и бегут слишком быстро. А еще я не встречал ни одного настоящего гика, который мог быть доволен текущим состоянием железа и софта, они всегда ориентированы в будущее, всегда недовольны текущим состоянием дел. И поэтому производители так легко игнорируют их сентенции, так как исправить что-то для гика в принципе невозможно, он всегда будет чем-то недоволен и найдет, к чему придраться.

Я уверен, что мне не удастся убедить многих людей в том, что синтетические тесты сильно оторваны от реальности. Людям нравится видеть красивые цифры, мериться ими между собой. То, что для большинства тестов все производители мухлюют и повышают частоту процессоров, графических систем, знают многие, если не все. Тот же Antutu постоянно заигрывает с компаниями и в зависимости от имени производителя выдает тот или иной результат, это, мягко говоря, не те данные, на которые стоит полагаться. Но проблема стоит намного шире – надо понимать, как работает смартфон и его компоненты, в каких режимах и как они переключаются. Надо понимать методику тестирования (у многих тестов она публично недоступна! вот это самое прелестное), то, как она влияет на результат. Не забывать о том, в каких условиях и при каких настройках провели тесты. И тут возникает множество шагов, на которых можно совершить ошибку, которая перевернет все с ног на голову.

Придумывать можно огромное число проблем, которые на поверку оказываются надуманными. Это не значит, что все смартфоны одинаковы – они разные, в них отличаются начинка и производительность, а также железо. Два смартфона с одинаковыми чипсетами и плюс-минус равными возможностями (экран, батарея и другие характеристики) от разных производителей в жизни не будут одинаковы, они будут вести себя различно. Конечно, если оба производителя взяли референс-дизайн и никак его не трогали, то они будут одинаковы.

Расскажите про свое отношение к синтетическим тестам, о том, насколько вы им доверяете. Насколько такие тесты для вас важны в аспекте выбора аппарата, или вы ориентируетесь только на имя производителя, того, какой чипсет он использует? Спасибо.

Эльдар Муртазин ([email protected])

Опубликовано — 24 марта 2020 г.

Поделиться:

Мы в социальных сетях: