Хочу хорошую камеру в смартфоне, а процессор для меня неважен

Привет.

Некоторые вещи кажутся очевидными, но потом в очередной раз приходит человек, просит порекомендовать смартфон и говорит: “Хочу хорошую камеру, а какой будет процессор, неважно, я не играю в игрушки”. У многих производительность процессора ассоциируется с работой тяжелых приложений, к которым традиционно относят те самые игры. Иногда вспоминают про процессор в аспекте съемки видео, и то исключительно для его обработки на телефоне, и тут же следует вывод, что процессор и тут не очень важен: “Я не обрабатываю ролики, мне это без надобности”. Размышления обычных пользователей показывают, что процессор в их представлении полностью отделен от других функций смартфона, словно он живет своей жизнью, а на качество тех же снимков или видео влияет исключительно то, какой модуль производитель поставил в смартфон. Если модуль лучше (читай – дороже), то снимки получатся живыми, качественными. Если на модуле сэкономили, то пиши пропало, насладиться качественными снимками не выйдет. Нет никаких сомнений, что качество модуля или, правильнее, модулей, что использованы в смартфоне, влияет на качество фотографий и видео. Но не в меньшей степени на это влияет и тот процессор, что стоит в смартфоне, а подчас даже в большей.

Давайте взглянем на типичный набор из камер, но возьмем не самый-самый смартфон, а модель доступную, например, Galaxy S20 FE.

Хочу хорошую камеру в смартфоне, а процессор для меня неважен

Основной модуль известен нам по предыдущим моделям линейки Galaxy, его используют в течение нескольких лет, и кажется, что он нам известен до последних деталей. Никаких заметных изменений в нем не происходит, отличное качество снимков, и сказать что-то особенное про него сложно. Правда?

Фотография и видео сегодня сильно изменились, так как появилась возможность реализовать на лету те алгоритмы, что способны улучшить качество картинки. Тут все упирается в производительность устройства, тот самый процессор, который способен обрабатывать информацию с камеры и делать это быстро, чтобы пользователь не замечал никаких задержек. И поэтому, когда мы говорим про качество снимков, всегда нужно понимать, что есть целый ряд задач, которые нельзя реализовать в моделях среднего сегмента, где производительность процессора, скорость используемой памяти просто не позволят это сделать. В идеальных условиях тот же S20 FE и модель прошлых лет с таким же основным модулем либо смартфон среднего сегмента будут фотографировать более-менее схожим образом, вы не увидите отличий. Но как только освещение будет далеким от идеального либо появится тряска при съемке видео, отличия станут видны воочию.

Взгляните на этот снимок, тут есть размытие заднего плана, выделен объект, который смотрит на вас.

В смартфонах Samsung размытие заднего плана существует давным-давно, оно появилось еще на Galaxy S6, где было реализовано за счет одной камеры. Алгоритм обработки снимка достаточно прост и понятен, в том же Photoshop он существует с незапамятных времен. Проблема со снимками на смартфонах всегда упиралась в то, что процессор не обладал достаточной вычислительной мощностью, чтобы сделать обработку снимка идеальной. На том же S6 часто жаловались, что фон оторван от объекта не лучшим образом, края могут быть размазаны и выглядит это все как отредактированная фотография, пользователям всегда хотелось получить снимок идеального качества.

Что изменилось в том же Samsung S20 FE по сравнению с S6? Изменился процессор устройства, в S20 FE он в принципе другого уровня как по производительности, так и по наличию отдельного процессора NPU, который реализует алгоритмы искусственного интеллекта. Это чистая математика, что реализована в железе и позволяет использовать в мобильных устройствах алгоритмы, ранее доступные только в высокопроизводительных компьютерах, и при этом не съедать моментально батарейку. Напомню, что в S20 FE стоит Exynos 990, который принято ругать на чем свет стоит, причем непонятно, за что конкретно. Алгоритмы обработки видео и снимков в Samsung изначально лучше адаптированы под свой процессор, что проявляется в сложных условиях съемки, вы просто получаете большее число годных кадров или видео на выходе.

Посмотрите на снимок растения, размытие заднего плана сделано верно, цветок выглядит хорошо. Но самое главное, что этот снимок сделан на ветру, что повышает его сложность для алгоритмов смартфона. Почему старые аппараты не могли справиться с такой задачей? Ответ все в том же процессоре, который делает фактически несколько снимков и умеет определить самостоятельно, какой из них наилучший. Для вас это ровно секунда времени, но смартфон успевает сделать несколько снимков, выбрать лучший и показать его вам. Фантастика? Не то слово. В последующем вы можете менять фон в этом снимке, применять различные эффекты (этот режим съемки называется в Samsung “Живой фокус”).

Типичной задачей для современного смартфона стало определение того, что именно вы снимаете. Например, вы можете определять лица в кадре, они выделяются квадратиками, и камера может их отслеживать и даже делать снимок по улыбке того, кого вы фотографируете. Как вариант, может определять, что вы подняли руку и сжали ладонь. Это не заслуга модуля камеры, он не умеет делать ничего из вышеперечисленного, за это отвечает процессор устройства. Сегодня рассматривать камеру как отдельный модуль больше невозможно, это всегда связка процессора и самого модуля.

Часто AI-алгоритмами называют автоматическое определение сцен, телефон сам понимает, что именно вы снимаете, и настраивает камеру наилучшим образом. Несколько десятков сюжетов, и их количество год от года постоянно увеличивается. Каждый из сюжетов настроен так, чтобы вы получили наилучший снимок на выходе. Например, вы снимаете закат, и телефон понимает это, выставляет все настройки под такой тип снимка. Это уже воспринимается как некая данность, привычная фишка, которой никого не удивить. Но как это работает?

Камера смотрит на мир, но она не умеет ничего распознавать. Процессор телефона определяет знакомые объекты, освещенность отдельных участков снимка и дальше предполагает, что именно вы снимаете. Когда AI-алгоритмы только появились, они были довольно ограниченны в своих возможностях. До десятка сцен, только самые типовые ситуации, и время определения сцены было около секунды или даже больше. Что выливалось в то, что вы видели на экране значок сцены не моментально, он проявлялся после того, как телефон проанализировал снимок.

Сегодня вы запускаете камеру, а телефон уже предполагает, что именно вы снимаете. Никакой задержки нет, равно как и ожидания. Процессор, его NPU-модуль научились решать эту типовую задачу практически моментально. К слову сказать, это объясняет, почему снимающие на телефон постоянно и много видят, как разряжается батарея, и никак не могут взять в толк, почему это происходит. Ответ лежит на поверхности, камера потребляет много энергии, но это именно связка камеры и процессора. Изменения по сравнению с тем, что было еще лет пять назад, кардинальные.

То, какими функциями нагружают центральный процессор смартфона в аспекте камеры, порой поражает воображение, но выглядит для пользователя очень просто. Научили распознавать сцены? А давайте научим смартфон “видеть”, что объектив камеры грязный и качество снимка будет далеким от идеального. Телефон предупреждает пользователя, и тот с удивлением протирает объектив. Кто-то моргнул на снимке? Ровно такое же предупреждение и пожелание переснять кадр, чтобы он вышел идеальным. Это ровно те же задачи, что описаны выше, только немного в другом прочтении. Может ли модуль камеры справляться с этим в одиночку? В теории, это возможно, но тогда стоимость такого модуля камеры сильно вырастет, так как его нагрузят непривычными для него функциями.

Электронная стабилизация картинки, защита от тряски – это также алгоритмы, что раньше были недоступны для камер в мобильных устройствах. И упираются они в производительность системы, в бюджетных моделях реализовать эти возможности просто нереально. С другой стороны, постепенно продвинутые алгоритмы переходят и в массовый сегмент рынка, тут задержка в несколько лет. И происходит это ровно в том же аспекте, недорогие модели обзаводятся процессорами, что справляются с алгоритмами, появившимися несколько лет назад для флагманов. А за это время флагманы уходят еще дальше вперед.

Вычислительная фотография стала основой для развития мобильных устройств, и за счет смартфонов это направление расцвело пышным цветом. Смартфон может на лету определять сцены, объекты в сцене, а также дополнять картинку вашим видео, надписями или чем-то подобным. Все зависит от ваших желаний и возможностей устройства, тот же S20 FE или любой смартфон Samsung аналогичного уровня умеет снимать “Мультикадр”, когда одновременно работают все камеры устройства, они делают снимки, видео, применяют фильтры. На выходе вы получаете как выбранные из десятков снимки, так и обработанные фотографии, которые могут хорошо смотреться в социальных сетях. И это заслуга процессора в смартфоне. Но тут возникает немаловажный философский вопрос: насколько такие фотографии реальны? Многие воспринимают основной задачей камеры фиксацию реальности. Но для многих все ровно наоборот, они хотят не реального отображения того, что видят. Им нужно украшение окружающего мира, который выгодно будет смотреться в социальных сетях, вторых намного больше. И как ни парадоксально, именно такие пользователи своими запросами толкают качество фотографии на мобильных устройствах на новый уровень. Все эти маски, которые накладываются на лицо человека в видео в режиме реального времени, все это на первый взгляд развлечение. Но в реальности это сложные технологии, которые улучшают качество устройств в целом. Растет производительность процессоров, они научились не только делать те самые маски, но и улучшать звучание голоса во время разговора, воссоздавать пропущенные кусочки при обрывах связи (когда вы слышали артефакты при разговоре? Уверен, что давно).

Материал этот родился как ответ на постоянно всплывающее утверждение, пусть и косвенное, что хорошая камера может существовать без мощного процессора в смартфоне. Это не так! Чтобы раскрыть максимум возможностей в фотографии, производители задействуют вычислительные мощности процессора, его NPU, улучшают алгоритмы, и ежегодно появляются новые классы задач, которые раньше просто не были доступны. Например, посмотрите на этот снимок, сделанный ночью. Вообразить себе пять лет назад что-то подобное было сложно. Теперь мы привыкли к таким возможностям и хотим что-то иное, считаем это базовой функцией современного телефона.

Развитие камер в современных смартфонах напрямую зависит не только от модулей, но от того, какие алгоритмы могут поддержать центральный процессор, память смартфона. Посмотрите на 108-мегапиксельные модули в смартфонах Samsung, они позволяют достичь высокой детализации снимков, но также могут объединять 9 точек в одну, что в итоге дает другого качества картинку. И то, что процессоры впервые научились работать с такими массивами информации, открывает путь на долгие годы вперед. Алгоритмы будут совершенствоваться еще долго, в то время как такие модули технически не будут изменяться так же сильно, как сам софт. И все это заслуга не только камер, а именно связки камеры и центрального процессора, а также другой периферии смартфона. Поэтому утверждать, что хорошая камера в смартфоне способна существовать на любом процессоре, как минимум неверно. Хорошая камера должна иметь в связке отличный производительный процессор. И никак иначе.

Ссылки по теме

Искусственный интеллект, или AI-обработка в камерах смартфонов

Эльдар Муртазин ([email protected])

Опубликовано — 19 ноября 2020 г.

Поделиться:

Мы в социальных сетях: