Qualcomm мухлюет с бенчмарками чипсетов Snapdragon X?

Примечание редакции Mobile-review.com. Мы подбираем материалы в раздел «Мнение», чтобы показать то, как воспринимают рынок компании в других странах. Мнения в таких материалах зачастую не совпадают со взглядами нашей редакции, но дают понимание рынка, его медийной составляющей.

По материалам SemiAccurate

О нет, опять! Такие мысли возникают всегда, когда в сети появляется очередное заявление, что та или иная компания представила бенчмарки, сделанные не так, не там и не тогда, а потому не отражающие истинного положения дел. Разумеется, ориентироваться на «условных попугаев» всегда можно только с большой осторожностью, потому что никто и никогда не расскажет всех подробностей о том, чего стоило получить в синтетическом тесте нужные цифры. Но, тем не менее, никакого средства получше, чтобы сравнить один чипсет с другим, пока не придумано. Поэтому из года в год мы вынуждены смотреть на продукт тщательной работы специалистов над получением максимального числа попугаев, когда в ход идут любые ухищрения, вплоть до нескрываемой продажи помощи со стороны разработчиков тестов компаниям по настройке их продукции для получения наилучшего результата в конкретном тестировании. И слушать апологетов и хейтеров, обильно перекидывающихся ароматной субстанцией.

Но на этот раз, похоже, заварился очередной крупный скандал, связанный с выходом первых ARM-чипов для настольных систем от Qualcomm. Скорее всего, вы никогда не слышали ни о сайте SemiAccurate.com, ни о его главном редакторе Чарли Демерджяне, являющемся заодно владельцем крохотной фирмы по разработке ПО из Миннеаполиса, что в американской Миннесоте. Вот и представители Qualcomm предпочли бы никогда о нем не слышать, поскольку Чарли Демерджян обвинил их ни много ни мало в обмане всей индустрии путем предоставления подложных результатов тестирования, которые показывают, что новенькие Snapdragon X Plus и Elite по производительности превосходят аналогичные модели чипсетов от Apple. Причем, кроме собственного негативного опыта, журналист ссылается на сведения, полученные на условиях анонимности от неких производителей компьютеров. Насколько справедливы обвинения, мы предлагаем нашим читателям судить самостоятельно, а ниже приводится позиция г-на Демерзеля по данному вопросу.

Qualcomm жульничает с бенчмарками для Snapdragon X Plus/Elite, предоставленными производителям и прессе. SemiAccurate заявляет, что не бросается такими словами почем зря, но не может отрицать то, о чем говорят многочисленные источники.

Начнем с ряда дисклеймеров, наиболее очевидным из которых является то, что многие детали мы размоем. Это делается это по нескольким причинам. Основная из них заключается в том, что мы упростили вопросы взаимоотношений между производителями и инженерами Qualcomm, которые могут указать на источник, если не будут соблюдены меры предосторожности. Анонимность наших источников всегда на первом месте.

Во-вторых, это наличие или отсутствие брифингов. На конференции на Гавайях прошлой осенью Qualcomm, по сути, уклонялась от всех заданных технических вопросов. SemiAccurate и другим ресурсам было обещано, что перед запуском пройдут подробные технические брифинги, где компания ответит на эти и другие вопросы. И вот он, запуск. Qualcomm солгала. По крайней мере, они солгали нам; у нас не было возможности поговорить с другими людьми, которые придерживались той же позиции, но мы сомневаемся, что компания вообще сдержала свое слово.

Затем последовали настоящие «брифинги» по X Pro SoC. Назвать их жалкими значит польстить им. В презентации было 11 слайдов, три из которых были бессодержательными и ненужными, пять слайдов с бенчмарками с совершенно недостаточным раскрытием информации и два слайда с инфографикой. Последним был слайд ниже с «глубокой технической» статистикой, о большей части которой, и не только о ней, мы рассказывал и на прошлой неделе.

Все и правда плохо

Остальная информация, которую «раскрыли» о Snapdragon X Pro, представляла собой список функций, которые все подпадали под понятие «ожидаемого». Остальное — подробные «детали», такие как возможности графического процессора в 3,8 терафлопс. Вот и все. Никаких характеристик, никаких возможностей, ничего. Это выглядело действительно жалко. Но подождите, на самом деле это более-менее реально – утверждения о кодировании и декодировании AV1. Но такие мелочи, как частота кадров и разрешение, видимо, не нужны для технических обзоров. Вот что подразумевается под «жалким». Как, простите, скомпонованы эти 10 ядер? 42 МБ кэша — это какой уровень? Продолжать говорить об основах, или вы уже поняли суть?

SemiAccurate планировали задать Qualcomm вопросы об их мухлеже с бенчмарками на обещанном брифинге, но компания солгала и отрезала нас даже от тех жалких брифингов, в которых они что-то рассказывали. Нам честно хотелось бы знать, почему они мухлюют, но мы предполагаем, что, как обычно, компания отреагирует на плохие новости, сделав вид, что ничего не произошло, как в прошлый раз. Но если они что-то объяснят, мы, конечно, обновим материал, как всегда это делаем.

Так в чем же суть обмана? Короткая версия заключается в том, что цифры, которые показывают прессе, недостижимы с помощью заявленных настроек. Qualcomm показывает производителям другой набор цифр, и они также недостижимы с заявленными настройками. Эта информация получена от двух производителей первого эшелона и из других источников. (Примечание для Qualcomm: нет, на самом деле это был не он, мы знали задолго до прошлой недели). В SemiAccurate на 100% уверены, что некоторые цифры, которые демонстрировала Qualcomm, не могут быть воспроизведены с заявленными настройками. Подробнее об этом чуть позже, но сначала немного предыстории.

Прошлой осенью, когда Qualcomm проводила брифинг по Snapdragon X Elite SoC, в их бенчмарках и заявлениях не была даже минимально раскрыта информация, позволяющая проверить цифры. Журналисты обратились по этому вопросу к Qualcomm, и, надо отдать компании должное, она предприняла большие шаги для решения проблемы. Она поступила правильно, имея правильную мотивацию, не идеально, но значительно лучше. Отличная работа. Затем на MWC произошел большой откат. На этот раз они представили пять слайдов тестов с заявлениями о значительном превосходстве над процессорами Apple, AMD и Intel, но без минимального раскрытия информации, необходимого для проверки этих заявлений. Есть предположения, почему?

Причина в том, что если бы вы знали, что тестируется, и могли воссоздать тесты, вы могли бы получить гораздо меньшие цифры. Прошлой осенью на Гавайях тесты работали, и, согласно источникам, они были относительно честными. Тем не менее, учитывая плачевное состояние WART (Windows на ARM), это было далеко от окончательного результата. Чипсет был либо в окончательной версии, либо очень близко к тому, а программное обеспечение — не очень. При этом журналистам не разрешалось что-либо запускать, тестировать или даже проверять настройки, это было представлено как черный ящик. Qualcomm снова заявила, что будет достаточно времени до запуска, чтобы получить брифы, провести тестирование и все такое. В очередной раз компания солгала.

Перенесемся немного вперед во времени. После того, как производители получили первоначальные образцы и приблизились к окончательному дизайну, SemiAccurate получила сообщения о низкой производительности. Под низкой подразумевается сильно меньше 50% от результатов, которые Qualcomm обещала им в технической документации и на презентациях. Пытаясь помочь, мы рассказали некоторым инженерам Qualcomm о результатах и спросили, есть ли какие-либо известные проблемы с чипсетом, которые могли бы вызвать это. Те повторили заявление о том, что с чипсетом все хорошо (и в это сих пор верится), но WART в ужасном состоянии — и это тоже, скорее всего, правда. Они попросили сообщить производителям, что, вероятно, дело в охлаждении и наличии правильной тестовой сборки, родной для ARM. Оба замечания справедливы, и мы их передали обратно. Потом на некоторое время воцарилась тишина.

Позже, когда появилось больше образцов Snapdragon X Elite и множество новых версий WART, мы получили аналогичные отчеты от производителей, в том числе одного топового. Оба сообщили о цифрах, которые даже близко не соответствовали обещаниям Qualcomm. Как это — близко? На этот раз уже более 50% от обещанного, но для описания производительности в сравнении звучало имя Celeron. Заявления о том, что эмуляция Rosetta 2 x86 лучше, чем у Apple, явно не соответствуют действительности для аппаратной и программной составляющих релиза. На самом деле эмуляция чипсета, возможно, и лучше, но все остальное, несомненно, нет.

Сведения от двух крупных производителей с серьезными инженерными возможностями являются веским аргументом, но не доказательством. Извините, здесь мы размоем информацию больше, чем нам бы того хотелось, уж простите. Некоторое время назад мы проверяли производительность, готовясь к обещанным брифингам. Источник в Qualcomm сообщил, что бенчмарки были мошенническими, рассказал нам, как они были созданы, и сообщил, что Qualcomm прекрасно об этом знает. Тот же самый метод привел к тому, что цифры выглядели намного лучше, чем могли бы быть при непривычном наборе тестов. По иронии судьбы, некоторые другие бенчмарки могли бы дать намного лучшие результаты, чем представленные, если бы Qualcomm адекватно раскрыла детали своего тестирования. Тут проиграл, тут проиграл, да и тут не выиграл.

Выглядит анекдотично, но Qualcomm никому не позволит проводить независимое тестирование компонентов. Говорят, что Windows на ARM по-прежнему находится в ужасном состоянии, т.е. идеально соответствует стандартам Microsoft). До официального анонса 20 мая на Build осталось несколько недель, а в продажу ноутбуки поступят в июне. Если принять во внимание время сборки, доставку и все остальное, то программная и аппаратная составляющие уже те, что вы увидите в магазинах, или очень близко к тому. Нет никаких оправданий для идеи не позволить независимым сайтам тестировать оборудование, кроме очевидных моментов, о которых идет речь в этой истории. Qualcomm хочет контролировать распространение информации и располагает множеством влиятельных лиц в социальных сетях, готовых действовать. Любопытно. Или нет.

В конце концов, все просто. У вас есть продукт с обещанной производительностью, недостижимой при заявленных настройках. Поскольку утверждения не могут быть проверены независимо, влиятельные лица будут повторять, насколько «хорош» продукт, основываясь на том, что, как мы знаем, не соответствует действительности. Между первой рекламной кампанией и моментом, когда устройства поступят в продажу, поддельные данные станут «правдой», и лишь немногие, если таковые вообще будут, станут подвергать их сомнению через несколько месяцев. Слово «цинично» едва ли описывает работу этого механизма. Интереснее всего то, будут ли производители повторять цифры, которые, как они знают, они не смогут воспроизвести, или выпустят свои собственные. Время покажет.

Что еще сказать? Qualcomm уже около шести месяцев обещает раскрыть информацию и провести тестирование. Они нарушили все обещания и неоднократно лгали, по крайней мере, SemiAccurate. Из-за этого расследования, которое мы проводили еще до раскрытия информации на Гавайях и ряд которых привел к появлению этой старой статьи, мы сосредоточились на том, что бенчмарки были обманом. Мы не бросаемся такими словами просто так, но абсолютно уверены, что Qualcomm поступает именно так со своими данными. Хуже того, они знают причины искажения данных, но продолжают предоставлять их производителям и прессе. Чипсеты Snapdragon X Elite и Pro по-прежнему кажутся очень хорошими, а все, что написано выше — диаметральная противоположность.