Вычислительная фотография на примерах. Реальность, нарисованная алгоритмами

Привет.

Мы живем в чудесное время. В наших руках телефоны, которые позволяют не только звонить в любую точку мира или общаться с другими людьми как угодно, но и фиксировать красоту окружающего мира. Маленькая коробочка скрывает в себе самое большое число функций, что когда-либо вмещали потребительские устройства. Трудно не выпалить банальность — это самое сложное устройство в истории человечества. А заодно самое массовое и востребованное миллиардами людей по всей планете. Размер коробочки накладывает ограничения, например, поставить большие объективы сюда невозможно, хотя были и такие эксперименты. Можно было пристегивать большие объективы к смартфону, цифровые мыльницы превращали в телефон. Но вся эта экзотика так и не прижилась, люди выбирали удобство, пусть и в ущерб качеству фотографий.

Недостатки оптики можно и нужно компенсировать, этим занимаются все производители фототехники, исключений тут нет. Но отчего-то люди считают, что снимок, сделанный на Canon или Nikon, может быть эталонным, в то время как снимок со смартфона почти всегда искажает реальность. Заблуждение связано с непониманием того, как такие компании обрабатывают картинку, полученную на матрицу фотоаппарата, насколько мягкие или агрессивные алгоритмы используются. Но главное отличие, пожалуй, в том, что телефоны в области вычислительной фотографии ушли намного дальше и превратились в инструмент, позволяющий не только получить классный снимок, но тут же отредактировать его или изменить настройки, да так, как классическому фотоаппарату не снилось. И это в гонке за деньгами покупателя вывело смартфоны на первые строчки, они стали фотографировать заметно лучше, а счет используемых алгоритмов уже идет на тысячи. И это не только определение сцен при съемке, но и куча других режимов. Описание каждого из них может занять не один день, но пользователь не видит сложных настроек, он просто наводит телефон на объект съемки, и дальше случается магия.

Помните фотографии Луны, что можно получить на Galaxy Ultra нескольких поколений?

Вычислительная фотография вытягивает снимок, а заодно дорисовывает Луну. Что у кого-то вызывает неприятие! Луна получается не настоящая, а просто картинка, которую дорисовала нейросеть по шаблону. Но так вышло, что сегодня большинство смартфонов уже дорисовывают картинку, причем иногда это неизвестно людям, они даже не догадываются об этом. В Samsung очень далеко продвинулись в вычислительной фотографии и широко используют ее, причем не только во флагманах, но и в массовых моделях. Хорошо на конкретных примерах посмотреть, что именно вы получаете и как меняется качество снимков, их восприятие. Все примеры снимков — с Galaxy S24 Ultra, который использую в повседневной жизни (уже успел нащелкать за месяц порядка 4000 снимков, и мнение о камерах и обработке снимков у меня сложилось — что-то нравится, что-то нет, но это тема для отдельного материала).

Я не ставлю перед собой задачи описать все возможности вычислительной фотографии в линейке Galaxy, но некоторыми моментами хочу поделиться, чтобы у вас был выбор, как снимать. Чтобы вы понимали, что приобретаете и что теряете при съемке с определенными настройками.

Начиная с OneUI 6.0 многие модели Samsung, а точнее, пользователи, получили возможность выбирать настройки вычислительной фотографии при съемке камерой. Достаточно открыть камеру, зайти в настройки и увидеть пункт «Интеллектуальная оптимизация».

По умолчанию включена оптимизация «Максимальная», заодно выставлена оптимизация кадра. Как вы понимаете, это требует большего расхода энергии, вы получаете максимум возможностей вычислительной фотографии, снимки обрабатываются агрессивно, и не всегда это дает хороший результат. Давайте попробуем поиграть с оптимизацией снимков, поменяем настройки так, чтобы увидеть, что меняется на снимках.

Обратите внимание, что снимки примерно одинаковы, увидеть разницу вы не сможете. Небольшие отличия связаны с тем, что я живой человек и фотографировал с рук. Различается размер файлов, что напрямую связано с их обработкой в разных режимах. Но конечный результат более-менее одинаков.

Давайте посмотрим на меню, что я сфотографировал в ресторане.

А теперь смотрим на снимок без какой-либо обработки.

Снимок шумный, текстура бумаги передается неверно, а надписи расползаются. Весит снимок 5.49 МБ. Давайте посмотрим на обработку со средними настройками. Снимок весит 4.16 МБ, что меньше оригинала, полученного без обработки. Как правило, дела почти всегда обстоят так, но иногда обработанные снимки весят больше, так как в них добавляется информация для редактирования на телефоне (например, можно поменять фон или сделать другой вариант размытия).

Самый агрессивный вариант обработки, файл 4.3 МБ, обратите внимание, насколько качественно отработаны шрифты, телефон фактически их дорисовал с помощью нейросети.

При использовании максимальной оптимизации снимка у вас расширяются возможности при съемке, телефон лучше и быстрее определяет сцены для съемки, умеет быстро находить текст или слайды презентации (как вариант, плакаты на улице), дает вам возможность кадрировать такие снимки, вырезать то, что ему кажется важным, тот же слайд из презентации. И это как минимум удобно — но расход энергии растет, так как телефон работает на полную катушку, анализирует окружающий мир нон-стоп да заодно делает не один снимок, а десяток, чтобы потом выбрать из них лучший или совместить их. Что позволяет на практике получить очень хорошего качества снимки даже для движущихся объектов.

Давайте посмотрим на интерьер ресторана.

Минимальная обработка. Обратите внимание на бокалы, надпись на заднем плане.

Средний уровень обработки.

И максимальный уровень.

Тот редкий случай, когда без дополнительной обработки фото весит меньше, чем с обработкой, хотя разница невелика. Но без обработки висящие бокалы превращаются в кашу, вывеска не очень яркая. Чем больше обработки, тем приятнее снимок для нашего глаза. И тут выигрыш вычислительной фотографии очевиден, снимки с максимальной обработкой приятнее.

Давайте взглянем на другой пример. Ночная улица, пространство «Сено» на Гороховой в Петербурге. Горят фонарики, есть вывески на заднем плане.

Минимальная обработка.

Средняя.

Максимальная.

На мой взгляд, лучше всего снимок получился на средних настройках. Но можно сказать, что это вкусовщина. Нельзя утверждать, что средние и максимальные настройки всегда дают результат, который можно разглядеть без анализа деталей. Все зависит от сцены, освещения и того, что именно вы фотографируете.

Давайте зайдем в магазин и посмотрим на яркие галстуки.

Все три снимка очень сходны, тут вообще невозможно увидеть разницу, вы ее не ощутите. Еще одно подтверждение того, что алгоритмы не всегда дают явные отличия в картинке.

Выходим на улицу и делаем снимок скульптуры, чтобы оценить, как работают алгоритмы, когда есть разные источники освещения.

При минимальной обработке мы не видим экрана на заднем плане, это яркое пятно света.

Средняя обработка дает картинку экрана, но он нечитаем.

В максимальном варианте обработки экран виден чуть лучше, также как и надписи на заднем плане. Мне нравится именно такой вариант.

При максимальных настройках есть еще одна дополнительная опция — «Оптимизация кадра», в том числе корректируются цвета. Эта опция не работает при минимальной и средней обработке кадра. Давайте посмотрим, что у нас получается, если ее включить.

Неоновые вывески без оптимизации немного расплываются, вам нужно тщательнее «прицеливаться», а вот с оптимизацией картинка интереснее, не помешал даже человек, который проходит на переднем плане.

Или неоновая вывеска кофейни. Без коррекции цветов.

С таковой.

Матрешки без оптимизации выглядят темно.

С ней они яркие.

Вычислительная фотография затрагивает все аспекты работы камер, например, она используется при цифровом зуме, различаются алгоритмы обработки картинки, на практике они дают совершенно разное качество снимков. Давайте посмотрим на снимок, сделанный с зумом х10 и х9. В обоих случаях используется цифровой зум, с оптического модуля, имеющего увеличение х5.

Приблизим картинку с х9.

А вот как выглядит х10.

• Оригиналы фотографий (zip, 130 МБ)

Разработчики Samsung произвольным образом назначили х10 точкой отсечки, когда начинает использоваться другой алгоритм обработки снимка, он делает картинку не такой четкой. Не думаю, что тут была какая-то скрытая логика, просто нужно было сделать точку отсечки, так почему не такую? Никаких настроек, позволяющих выбрать алгоритм обработки в телефоне, нет, вы просто знаете или не знаете, как устроена работа цифрового зума.

И вот таких мелочей в современных телефонах очень много, это мощный инструмент как для тех, кто хочет фотографировать без особых забот (навел и снял), так и для тех, кому не чужд режим Pro, где есть все возможные настройки. В том числе сохранение снимков в формате RAW, что позволяет их редактировать.

Существуют ли «реальные» фотографии?

Любой снимок, сделанный на фотоаппарат или камеру, в моем представлении реален. Различается только уровень обработки снимка, то, насколько в нем использованы разные алгоритмы, чтобы картинка была яркой, четкой и без огрехов. Какие-то алгоритмы делают снимки максимально близкими к тому, что мы видим глазами (или нам так кажется), какие-то выкручивают цвета на максимум, повышают резкость снимка. И это настройки, которые вы можете включить самостоятельно в аппаратах от Samsung, конечно, если знаете о такой разнице. У других производителей такие настройки отсутствуют, вы получаете тот снимок, что делает камера, и дальше уже сами можете колдовать над ним.

Как показывает практика, большинство людей не меняют настройки по умолчанию, снимают ровно так, как это предусмотрел производитель. Например, режим Pro на любом из телефонов любого производителя использует мизерное число людей, а постоянно так снимают единицы. Последние данные об использовании режима Pro, что я видел, говорят, что это примерно 0.1% от всей аудитории. Даже стало интересно, и я провел опрос в нашем Telegram-канале. Вы можете найти его вот тут.

Сказать, что есть реальные или обработанные снимки, нельзя. Все фотографии имеют ту или иную степень обработки, никто не отражает реальность с точностью до запятой. Вопрос только в восприятии этой реальности и того, что вам нужно. Например, девушки любят включать режим ретуши, когда на снимках автоматически исчезают дефекты кожи, она становится гладкой. И кто-то, помимо этого, еще меняет размер глаз, овал лица. Все эти настройки можно включить для всех, они будут применяться автоматически и всегда. Это также часть вычислительной фотографии, которая позволяет менять реальность на лету. И многим это нравится, так как обыденность не такая глянцевая, как фотографии с подобными фильтрами.

Мы уже живем в мире вычислительной фотографии (а скоро эти технологии станут доступны массово и для видео). Люди хотят, чтобы было красиво и при этом никто не догадался, что были использованы те или иные фильтры. То есть в наших желаниях реальность весьма сомнительна. Любопытно посмотреть, как люди отвечали на вопрос, как они хотят видеть фотографии — реальными или с обработкой. Посмотрите на варианты ответов в опросе либо дайте свои.

Так что в следующий раз, когда вам скажут, что перед вами настоящие, реальные фотографии, точно знайте, что это не так. Может быть, это будут снимки для которых использовали не очень агрессивные алгоритмы, но в любом случае они участвовали в процессе создания кадров.