Победа вычислительной фотографии

Приветствую! У нас уже вышло немало материалов на тему того, что творится с современной массовой фотографией. Можно ли доверить смартфону «нарисовать» Луну, лицо модели и вообще все что угодно, а потом считать полученный результат фотографией. И хотелось бы в качестве промежуточного итога сделать одно предсказание: вычислительная фотография в массовом сегменте победит традиционную. И это неизбежно, потому что нет ни одного аспекта, в котором ее противоположность могла бы рассчитывать на успех, если мы не говорим про узкоспециализированные области применения. Нейронный процессор и его алгоритмы в мобильном устройстве сразу по трем причинам всегда будут успешнее в глазах потребителя — потому что за них будут выступать биология, физика и психология. И так будет всегда, пока не появится какой-то принципиально иной способ запечатлеть происходящее. Но только это будет уже не фотография и вообще не изображение на плоскости. Пока же нет ни одной причины, по которой стандартная попытка дать максимум точности выиграет у «дорисованных» снимков.

Биологический аспект

Для начала давайте вспомним, как вообще работает человеческое зрение. Это биологическая стереоскопическая оптическая система, позволяющая воспринимать электромагнитное излучение определенного спектра, создавая ощущение положения предметов в пространстве. Фактически наше зрение — это иллюзия, существующая у нас в голове, но основанная на интерпретации данных, получаемых из внешней среды. К иллюзорности восприятия мы вернемся в разделе психологии, а пока немного углубимся в физико-химический аспект. Фотоны попадают в клетки-фоторецепторы, вызывая химическую реакцию пигмента, которая затем снова преобразуется в электронный импульс, передаваемый нейронной связью в головной мозг. В принципе, наш глаз и фотоаппарат устроены сходным образом, так что в случае, когда мы смотрим на фотографию, получается некоторая рекурсия — мы видим изображение изображения.

Но есть и важное отличие. Фотография — это изображение на плоскости, тогда как сам смысл существования зрения для человека — воспринимать информацию объемно, получать пространственную картину мира. Т.е. никакая фотография, сколь бы тщательно мы ни продумывали фотоаппарат, который будет ее делать, и экран, который будет ее воспроизводить, не будет давать тех же ощущений пространства, которые мы получаем глазами. Собственно, иллюзорность объема на снимке мы всегда можем ощущать до тех пор, пока не начнем использовать дополнительные приспособления, которые смогут обмануть наше зрение, заставив видеть снимок не плоским, а во всем объеме. Вот только эти ухищрения кроются уже не столько в качестве кадра, сколько в способе его показа зрителю.

Дело в том, что не все клетки глаза одинаковы. Это не матрица и не фотопленка с однородной структурой, где каждый пиксель и каждая частица светочувствительного слоя полностью подобна любым соседним. Если вы не забыли школьный курс биологии, то помните про палочки, колбочки и ганглионарные клетки. За цветность и восприятие быстрого движения отвечают колбочки, которые в 100 раз менее чувствительны к свету, чем палочки. Палочки же — это фоторецепторы, которые могут уловить даже два-три фотона света, но чувствительны только к изумрудно-зеленой части спектра, так что именно они отвечают за периферийное зрение и возможность видеть в условиях недостаточной освещенности. При этом распределение фоторецепторов по сетчатке глаза неравномерное, а также неравномерны само количество чувствительных клеток и их пропорции в сетчатке.

Учитывая, что принципы фокусировки объектива фотоаппарата и человеческого глаза одинаковы, а механика различается лишь способом «изготовления» компонентов, основное различие выходит в «матрице». Сетчатка глаза не имеет ничего общего с понятием равномерности и одинаковости, тогда как матрица фотоаппарата являет собой упорядоченную и равномерную структуру. Создавать какую-то иную нет ни малейшего смысла. Во-первых, всей полнотой информации о функционировании всех клеток глаза мы пока не обладаем. Во-вторых, даже случись нам получить такие подробности, все равно все свелось бы к вопросу, какое зрение нужно принять за эталон (индивидуальные особенности дают десятки процентов разницы).

Получается, что с точки зрения биологии любая фотография — это оптический обман и иллюзия. Создать механизм воспроизведения пространственного зрения человека на данный момент не представляется возможным, но в случае, если он будет создан, это будет уже не то, что мы привыкли называть фотографией. Создание же абсолютно достоверного с точки зрения человеческого зрения плоского изображения невозможно или требует иных средств демонстрации.

Физический аспект

Что касается физической составляющей проблемы «традиционного» фото, ее нужно разделить на два аспекта. Первый — это общая проблема цифровой фотографии, основанной на самой природе света и принципах построения светочувствительной цифровой матрицы. Второй — физические ограничения на размер устройства.

Как бы нам ни хотелось, невозможно создать идеальную камеру, в которой на один пиксель будет попадать один фотон, а квантовый эффект будет равен 100%. Нам нужны пиксели, которые будут улавливать максимальное количество фотонов, чтобы уменьшить количество шумов, которое зависит от уровня освещенности. Соответственно, нам всегда нужна матрица с неким показателем сигнал/шум, но это соотношение никогда не будет идеально точно соответствовать реальному количеству фотонов.

Избавиться от погрешности, вызываемый как фотонами, не выбившими электрон в фотодиоде, так и случайно возбужденными за счет нагрева матрицы электронами, также на практике не получится. Для компенсации этих параметров всегда будут использоваться алгоритмы, но никогда не точный подсчет. Если такой агрегат и представится возможным создать теоретически, то на практике это будет лабораторная установка, едва ли хоть примерно отвечающая понятиям мобильности. То есть сама по себе цифровая фотография всегда будет требовать некоторой обработки с некоторой погрешностью, а вовсе не идеально воспроизводить данные от собранных фотонов света.

Если же говорить о практически достижимых средствах улучшения качества фотографии чисто физическими методами, то у нас остается два направления — улучшение оптической системы и повышение светочувствительности матрицы. И то и другое упирается в одну и ту же преграду — физические размеры и энергопотребление. Допустим, в каком-то не таком уж и далеком будущем вопрос энергопотребления в мобильных устройствах решится. Но вот решить вопросы оптики в объективе и количества фотонов на матрице без роста их размеров не выйдет.

Всегда будет искушение еще немножечко добавить или уменьшить, смотря какой требуется результат. Причем в зависимости от искомого можно подсчитывать, где тот предел, за которым изменение размеров будет уже неадекватно получаемому приросту характеристик или вызовет заметный ущерб. 100-150 лет назад очень модными были групповые снимки, на которых можно было разобрать черты лица каждого из нескольких сотен людей в кадре. Сейчас многие воспринимают эти снимки как некую загадку, ведь ни на пленочную, ни на цифровую камеру из числа современных такой снимок сделать не получится. Просто потому, что таких размеров камер в быту не встречается. Full frame нервно курит в стороне, когда речь заходит о фотопластине с размерами метр на метр. А «жалкий» APS-C начинает весьма внушительно смотреться, как только мы накладываем его на размеры смартфона.

Получается, что с точки зрения физики традиционная цифровая фотография — это бег по кругу, когда количество кругов и линию можно определять произвольно, поскольку добежать до горизонта все равно не получится, а в соревнованиях участвуют как двухметровые гиганты, так и карлики. Причем последних на порядки больше.

Психологический аспект

Итак, получается, что идеальная фотография, передающая, как оно есть на самом деле, без каких-то условностей, получается недостижимой с точки зрения биологии и физики. Оговорюсь еще раз, что речь идет исключительно об изображении на плоскости и с помощью уже известных технологий. Но раз уж у нас нет способа действовать иначе как с помощью подбора некоторого баланса между разными вариантами того, что похоже на правду, то почему бы не апеллировать к историческому опыту, полученному за несколько тысяч лет развития искусства? То есть давать потребителю то, что модно и красиво. А за градации красоты и соответствия моде отвечает в большей степени психология.

Почему я говорю о том, что в данном случае происходит обращение к историческому опыту? Да потому, что это все уже было. Искусство Римской империи успешно проделало путь от скульптурного портрета, изображавшего человека как он есть, без прикрас, к средневековому религиозному искусству, где плотская составляющая была совершенно не интересна, поэтому нужно было создать бестелесный образ. Затем в эпоху Ренессанса потребовалось заново открыть законы перспективы и принципы светотени. Но не успело классическое искусство дойти до реализма, как последовал новый поворот в сторону импрессионизма, постимпрессионизма и далее к стилям, представители которых уже напрямую апеллировали к тому, что мы видим и как воспринимаем, снова отбрасывая материальное, но теперь уже не ради религиозной духовности, а в поисках сути красоты.

Наглядная «линейка развития» портретов в римском искусстве.

И вот тут-то оказалось, что если рассматривать достаточно большие группы людей, то чувство прекрасного вполне может быть обобщенным. Его можно подобрать в нужной пропорции так, чтобы большинство сказало: «Да, это не так как на самом деле, но оно красиво и гармонично». В цифровую эпоху именно такой подход обеспечил взлет Instagram*. В тот момент, когда мобильная фотография по чисто технической составляющей пребывала в аутсайдерах, поскольку к половине кадров требовалось обязательное пояснение, что вообще хотелось запечатлеть, сервис предложил набор фильтров, позволяющих «сделать красиво». И этот процесс был максимально автоматизирован, пользователю оставалось лишь немного подвигать ползунки настройки, а то и вовсе просто выбрать готовый пресет.

Принципиальным моментом было то, что набор удовлетворял подавляющее большинство и работа с ним была максимально простой. Даже существовавшее жесткое ограничение по обязательной квадратности кадра было не случайной составляющей успеха. Возможно, вы ничего не слышали о принципах композиции, но невозможность просто взять готовый кадр и использовать его целиком заставляла вас интуитивно отбрасывать лишнее, смещая акцент на главное. И это все равно была ваша работа, а не волшебная кнопка, превращающая заурядный кадр во что-то приятное глазу. Пока не появились улучшалки кадра на основе искусственного интеллекта. Потому что зачем вообще какие-то индивидуальные настройки, если все люди следуют примерно одним и тем же алгоритмам, желая получить «красивое».

Если подавляющее большинство изо дня в день фотографирует один и тот же набор сюжетов и имеет одни и те же представления о том, какой кадр будет самым красивым, то при чем тут точность передачи? Нужно искать набор настроек фотомодуля смартфона, дающий пользователю кадр, который тот потом понесет в соцсети. А раз уж у нас есть инструмент, который позволяет анализировать, что за кадры размещаются в соцсетях и какую реакцию они вызывают, то задача становится еще проще. Даже, казалось бы, такая индивидуальная особенность, как лица — это условность. И нет разницы, дивы ли это из бьюти-блогов XXI века или картины малых голландцев, массовое искусство не поражает разнообразием. Оно его вообще не требует.

Нейросети, вычислительная фотография — это все отражение человеческой природы и психологии масс. Мы берем некий реально существующий элемент и путем нехитрых операций доводим до состояния общественно приемлемого, отбрасывая негативные моменты и усиливая позитивные. Поскольку вычислительная мощь процессоров мобильных устройств достаточна для того, чтобы делать это на лету, вот вам и готовый рецепт вычислительной фотографии. И чем дальше будет расти эта вычислительная мощь, а нейросети — совершенствоваться в обработке ранее накопленного человечеством опыта, тем точнее фотоаппарат будет угадывать то, что пользователь хотел бы видеть.

Вместо заключения

Вычислительная фотография неизбежно займет доминирующее положение в абсолютных цифрах. Это так же верно, как то, что бюджетные смартфоны сумели победить кнопочные телефоны, хотя по меркам топовых устройств это редкостные бастарды, не способные реализовать ни одну функцию в полной мере. А по меркам классических телефонов они не имеют ни автономности, ни надежности. Но кнопочным телефонам остались 3% рынка. Потому что большее узкоспециализированным гаджетам недоступно.

Обработанные нейропроцессором фотографии для соцсетей никогда не смогут выйти на тот же уровень, который будет у кадра, сделанного высококлассным профессионалом на Hasselblad. Но не потому, что его камера обладает какими-то чудо-свойствами по максимально точной передаче реальности, а потому, что время и силы, которые этот профессионал потратил на то, чтобы вначале научиться снимать, а потом еще и обрабатывать кадр, 99,99% фотографирующих никогда на эти навыки не потратят и, соответственно, его умений не получат. И фотохудожник не будет нуждаться в помощи вычислительной фотографии в доработке на лету, потому что он будет обрабатывать кадр потом.

Не потребуется вычислительная фотография и в случаях, когда речь идет о фиксации состояния предметов. Эксперту-криминалисту или инженеру не нужно, чтобы было красиво, и композиция им не нужна. Им нужна точность. Однако если посмотреть, например, на то, что собой представляют настройки камер телескопов, то окажется, что это тоже вычислительная фотография. Просто сюжеты и условия съемки не меняются, а значит, набор настроек фиксированный.

Так что да, вычислительная фотография победит, но не уничтожит традиционную.

*Компания Meta Platforms, в которую входят социальные сети Facebook и Instagram, признана экстремистской организацией и запрещена в РФ.