Интервью про Geekbench 6: чем он лучше предшественника?

По материалам Android Authority

Представители ресурса Android Authority поговорили с Джоном Пулом, основателем Primate Labs, компании, разработавшей популярный бенчмарк Geekbench. Речь шла о Geekbench 6, последней версии программы, которая вышла недавно. Пул объяснил, чем она отличается от своего предшественника и как сопоставить ее оценки с полученными в предыдущих версиях.

Он также поделился подробностями о том, почему он вообще создал Geekbench, о проблемах в других бенчмарках, которыми он пользовался в прошлом, и о многом другом. Те, кто владеет английским, могут посмотреть полное интервью по ссылке.

Как вам пришла в голову идея Geekbench и какую проблему вы хотели решить с его помощью?

Все началось еще в 2003 году, когда я перешел с ПК на Mac с системой G5, который был первым 64-разрядным компьютером. Я провел много тестов на нем и обнаружил, что он не намного быстрее. Это немного сбило меня с толку, поэтому я скачал несколько популярных бенчмарков для Mac, доступных в то время, чтобы проверить, не в моей ли системе проблема.

Бенчмарки показали, что G5 быстрее и работает так же, как и все другие G5, что показалось мне странным. Поэтому я решил переработать один из популярных бенчмарков и обнаружил, что бенчмарки были очень маленькими и синтетическими. Они выполняли очень простые задачи, которые не могли служить меркой для общей производительности. Они просто фокусировались на том, насколько быстро работает ваш процессор, и не принимали во внимание что-либо еще, например, память.

Затем я решил написать свои собственные тесты и посмотреть, что произойдет. Это был мой сайд-проект, над которым я работал около трех лет. Затем, в 2016 году, была выпущена первая версия Geekbench, доступная для бесплатной загрузки.

В то время мы получили много прекрасных отзывов от людей, они помогли нам вырасти в бизнес, которым мы являемся сегодня, предоставляя тесты для миллионов пользователей каждый месяц.

Насколько выросла компания со времен первой версии Geekbench? Вероятно, вы больше не работаете над программой в одиночку?

Сейчас у нас в Канаде небольшая, но мощная команда, и мы в основном работаем удаленно, особенно после пандемии. Вся команда находится в Онтарио, большинство людей из Торонто.

У нас есть люди на разных ролях: некоторые занимаются самим бенчмарком, а другие больше сосредоточены на разработке имитации рабочей нагрузки, создаваемой ИИ, над которой мы работаем. Потом, есть дата-сайентисты, анализирующие результаты с целью убедиться, что у нас хорошая статистическая точность, ну и есть я — приятное лицо компании.

Вы упомянули, что самая большая проблема с другими бенчмарками заключается в том, что они маленькие и синтетические, поэтому они не имитируют реальное использование. Чем именно Geekbench 6 отличается и чем он лучше?

У нас в Geekbench 6 есть 15 отдельных рабочих нагрузок, которые мы используем для измерения производительности процессора. Мы попытались подобрать различные задачи, которые отражают то, для чего, по нашему мнению, люди изо дня в день используют свои компьютеры и смартфоны. Поэтому мы действительно пытаемся выяснить, что люди планируют делать со своими устройствами.

Мы сосредоточены на таких вещах, как сжатие, это важно, потому что когда вы загружаете приложения на свой смартфон, Android их распаковывает, а затем устанавливает. У нас есть HTML-тесты, потому что люди проводят много времени в браузерах, а это важная метрика.

Есть видеоконференции, они набрали обороты во время пандемии. У нас есть рабочая нагрузка по размытию фона, когда ваше лицо видно, но фон размыт, чтобы люди не видели, например, вашу спальню. Эта нагрузка не была актуальной три-четыре года назад, но стала важной из-за пандемии.

Изо дня в день мы стараемся смотреть на те задачи, которые интенсивно задействуют центральный процессор и действительно важны для устройства, чтобы это не были всего лишь небольшие и простые задачи. Это важно, ведь мы не хотим, чтобы Geekbench существовал в вакууме. Мы не хотим, чтобы это был тест, который просто говорит вам, что этот процессор лучше или хуже. Нам нужно, чтобы он отражал то, что люди на самом деле делают на своих устройствах, чтобы они могли принять решение о том, пора ли обновляться.

Вы упомянули, что работаете над бенчмаркингом искусственного интелллекта. Можете рассказать об этом подробнее?

У нас были тесты машинного обучения в Geekbench 5, а теперь есть новые в Geekbench 6. Как я уже упоминал, есть рабочая нагрузка размытия фона, которая имитирует то, что делает Zoom, где мы сегментируем изображение: вот эта часть изображения является передним планом, поэтому ее не размываем, а вот эта является фоном, поэтому ее размываем.

У нас также есть несколько других рабочих нагрузок, в том числе нагрузка библиотеки фотографий, которая включает в себя некоторые шаги, которые могут выполняться при импорте фотографий в библиотеку. Такие приложения, как «Google Фото», например, будут использовать машинное обучение для пометки ваших изображений, что впоследствии упростит вам поиск фотографий вашего ребенка или кошки.

У нас также есть отдельный тест, который мы выпустили еще в 2020 году и который все еще находится в стадии разработки. Мы смотрим на производительность машинного обучения в самых разных рабочих нагрузках и берем традиционные модели и приложения, такие как распознавание изображений, обнаружение объектов, обнаружение лиц и перевод на устройстве. Мы запускаем их не только на центральном процессоре, но и на графическом и нейронном процессоре, чтобы оценить их производительность.

А поскольку многие нейронные процессоры и современные фреймворки машинного обучения ориентированы на компромисс между производительностью и точностью, мы также пытаемся отразить это в виде метрики. Но она ориентирована на машинное обучение и не настолько же широко применима, как пакетное решение Geekbench.

Можете ли вы рассказать нам немного больше о Geekbench 6?

Geekbench 6 — это эволюция Geekbench как реального эталона, который измеряет производительность процессора и графики в последних нескольких версиях в определенных задачах, таких как веб-браузеры, фотоприложения и фильтры для социальных сетей. Это то, чем люди занимаются изо дня в день.

В Geekbench 6 мы попытались еще больше повысить актуальность бенчмарка с помощью таких задач, как размытие фона, о котором я уже упоминал. Мы также пытались выяснить, как люди используют машинное обучение для организации своей жизни, поэтому создали рабочую нагрузку библиотеки фотографий, о которой я уже упоминал.

Мы также улучшили наборы данных, которые мы используем для некоторых других рабочих нагрузок. Таким образом, рабочие нагрузки, которые уже были в Geekbench 5, теперь работают с большими наборами данных в Geekbench 6. Очевидным примером этого служат мобильные устройства. Есть разница между сенсорами камер, которые были у телефонов в 2019 году, когда вышел Geekbench 5, и сенсорами, которые есть сейчас, в смартфонах с 48-мегапиксельными и 108-мегапиксельными камерами. Таким образом, произошел резкий рост размера изображений, и приложениям приходится с этим справляться. Мы пытаемся ответить на вопросы типа «как ваш телефон справляется с 48-мегапиксельным изображением, созданным вашей камерой?» Таким образом, важным толчком для Geekbench 6 стала потребность сделать наборы данных больше, а рабочие нагрузки — более актуальными и реалистичными.

Еще одна вещь, которую мы сделали, — полностью изменили подход к многопоточности в Geekbench 6. В Geekbench 5 мы всегда разделяем результаты на одноядерные и многоядерные. В Geekbench 6 у нас по-прежнему те же одноядерные и многоядерные результаты, но мы фактически изменили способ получения многоядерных результатов.

Результаты Geekbench 6 нельзя сравнивать с результатами Geekbench 5, поскольку это совершенно другой тест. Что насчет таких версий, как Geekbench 5.1 и 5.2? Всегда ли результаты сопоставимы?

Раньше 3.0 нельзя было сравнивать с 3.1, а 4.0 — с 4.1. Несмотря на то, что мы можем выявить множество проблем до выхода программы, мы упускаем некоторые моменты и получаем отзывы от людей после того, как ПО уже вышло. Затем мы обрабатываем эту обратную связь и исправляем ошибки в течение одного-двух месяцев.

Поэтому сейчас трудно сказать, будет ли Geekbench 6.0 совместим с 6.1, но следующие версии, такие как 6.2 и 6.3, должны быть совместимы, поскольку в основном мы добавляем поддержку новых устройств.