Забудьте о мегапикселях! Камера смартфона отбелит вам зубы

По материалам Android Authority

В последние пару месяцев Qualcomm и MediaTek анонсировали свои флагманские процессоры нового поколения, которые будут использоваться в топовых смартфонах 2023 года. Фактически смартфоны с этими чипсетами уже анонсированы или вышли на рынок, например, это OnePlus 11, линейки Xiaomi 13 и Vivo X90.

Новые процессоры обеспечивают повышенную мощность, аппаратную трассировку лучей и спутниковую связь. Но вот с точки зрения возможностей камеры это, похоже, будет еще один год без прорывов. Высокопроизводительные чипы MediaTek и Qualcomm не претерпели серьезных изменений в том, что касается разрешения фото и видео или частоты кадров.

Однако поддержка камеры — это больше, чем просто разрешение снимка. Обе компании привносят в мобильные камеры довольно много неочевидных изменений, таких как профессиональная технология видеосъемки, оптимизация для 200-мегапиксельных сенсоров и встроенная поддержка RGBW-камер. Также мы наблюдаем тенденцию к унификации аппаратных возможностей для искусственного интеллекта и обработки изображений, и в 2023 году это позволит реализовать как минимум одну довольно интересную функцию.

Более детальное распознавание

Qualcomm рекламирует семантическую сегментацию в реальном времени в Snapdragon 8 Gen 2. Семантическая сегментация — это способность идентифицировать определенные объекты и предметы в кадре. Эта технология лежит в основе многих режимов съемки. Программное обеспечение камеры способно идентифицировать определенные сцены или людей, а затем соответствующим образом обработать изображение.

Многие бренды смартфонов используют семантическую сегментацию в портретных режимах для одной камеры, в то время как другие применяют ее для распознавания сцен ИИ (закаты, пейзажи, цветы, еда). Некоторые компании, такие как Xiaomi и Google, даже рекламируют возможность полностью заменить серое небо на вашей фотографии голубым.

Однако Qualcomm пошла еще дальше. Во-первых, компания подтверждает, что последняя версия ее решения достаточно быстрая для работы в режиме реального времени и для съемки видео. Также сообщается, что это решение способно идентифицировать определенные элементы, такие как зубы, волосы, растительность на лице, губы, ткань и многое другое. И это может открыть для любителей снимать на смартфон ряд интересных возможностей.

Наиболее очевидной из них является создание более точных снимков в портретном режиме. Собственное видео Qualcomm совместно с ArcSoft демонстрирует способность более точно размывать неоднородный фон (см. ниже), сохраняя при этом в фокусе более сложные объекты.

Однако самое интересное заключается в том, что в смартфонах со Snapdragon 8 Gen 2 могут появиться более детальные и продвинутые эффекты бьютификации. Джадд Хип, вице-президент по управлению продуктами для камер в Qualcomm, сообщил Android Authority, что технология изначально ориентирована на селфи-камеры.

Селфи-камеры уже предлагают опции бьютификации по удалению дефектов, сглаживанию кожи и корректировке формы, но это только верхушка айсберга в применении семантической сегментации в реальном времени.

Теоретически возможно появление и более сложных эффектов, таких, например, как отбеливание зубов. Ведь новейшая технология и правда позволяет распознавать зубы в кадре. Хип соглашается с этим предположением и объясняет, что партнеры компании могут создавать свои собственные сети семантической сегментации на основе этой технологии для обнаружения других объектов.

«Так что да, если у вас есть сеть, которая действительно хорошо распознает зубы, то ее можно передать процессору по обработке сигнала изображения, и он может обесцветить зубы и превратить их из желтых в белые. Да, это вполне возможно».

Qualcomm также рекламирует способность распознавать волосы, заявляя, что эту функцию можно использовать для создания более детализированных изображений. Теоретически возможно, что производители реализуют удаление седых волос или возможность полностью изменить цвет волос. Хип предполагает, что удаление седых волос может стать сложной задачей, особенно если это всего лишь несколько седых волос среди множества темных. Он считает, что полное изменение цвета волос возможно, хотя и может выглядеть нереалистично.

Однако производителям придется балансировать на тонкой грани между предоставлением функций бьютификации, которые востребованы у людей, и продвижением искаженных стандартов красоты. В конце концов, за эти годы мы повидали много сомнительных эффектов и фильтров, таких как истончение лица, изменение формы носа, осветление кожи и расширение глаз.

Однако сфера применения продвинутой семантической сегментации изображений не ограничивается бьютификацией. Как показано в видеоролике Qualcomm, эта технология также может улучшить отображение одежды, добавляя резкости для джерси или куртки и не затрагивая остальные части вашего тела. В ролике даже показана возможность убрать блики с очков.

Qualcomm также подтвердила, что семантическую сегментацию в реальном времени можно запрограммировать. Таким образом, компании могут запускать разные нейросети, если у них есть другие варианты использования технологии.

Придет ли технология в коммерческие устройства?

Поддержка функций вроде семантической сегментации в реальном времени – маркетинговое преимущество для производителей чипсетов, но действительно ли эта технология попадет в смартфоны? Производители смартфонов не единодушны в вопросе использования функций камеры от производителя чипов (например, неограниченная замедленная съемка со скоростью 960 fps, 120 fps в режиме серийной съемки на камеру 12 МП).

Хип подтвердил, что эта функция доступна «из коробки» для всех марок смартфонов. «Таким образом, нет никаких лицензионных сборов, производителю больше ничего не надо делать», — пояснил он.

Другими словами, это будет не просто теоретическое наличие функции, а то, что появится в коммерческих устройствах в 2023 году. Поэтому будем следить за анонсами Samsung, Xiaomi, Oppo и других брендов и посмотрим, появится ли в их устройствах семантическая сегментация в реальном времени.

ИИ + обработка изображений

Усовершенствование семантической сегментации от Qualcomm возможно благодаря ее собственной функции Hexagon Direct Link. Qualcomm эффективно создает связь между чипом искусственного интеллекта и процессором обработки изображения, ответственным за обработку кадров с камеры. MediaTek следует аналогичным путем с чипсетом Dimensity 9200, заявляя, что в нем объединены искусственный интеллект и процессор обработки изображений для более эффективной реализации съемки 8K/30 fps и 4K/60 fps с электронной стабилизацией. Между тем, наполовину кастомные чипы Tensor от Google в телефонах Pixel также используют процессор ИИ, который полностью интегрирован в процесс обработки изображений.

Этот совмещенный подход, объединяющий чип ИИ и процессор обработки изображений, от Qualcomm и MediaTek, в частности, означает, что данные камеры могут обходить сравнительно медленную оперативную память, обеспечивая обработку фотографий в реальном времени. Быстрая обработка не просто означает меньшее время, которое перед вами висит сообщение об обработке кадра, прежде чем появляется возможность предпросмотра. Потенциально это может дать возможность предпросмотра в видоискателе в различных режимах, новых режимов фотосъемки и новых функций видео.

Qualcomm и/или MediaTek уже обещают расширенные функции камеры в своих последних чипсетах, такие как улучшенное видео с эффектом боке, сверхвысокое разрешение видео, устранение размытия фотографий и улучшенные результаты при недостаточном освещении. Но нетрудно представить и будущие функции, такие как более детальные и эффективные фильтры дополненной реальности, функция Magic Eraser для видео, режим серийной съемки с HDR для каждого снимка или многокадровая обработка для снимков с полным разрешением 50 или 108 МП.

Впервые мы почувствовали вкус будущих возможностей, когда камеры обошли традиционную оперативную память в Sony Xperia XZ Premium 2017 года. Этот телефон оснащен сенсором камеры с собственной выделенной оперативной памятью, что впервые обеспечило возможность съемки сверхзамедленного видео со скоростью 960 fps. Поэтому интересно посмотреть, что еще возможно с гораздо более быстрым процессом обработки изображения камерой.

К счастью, этот унифицированный подход к аппаратному обеспечению ИИ и процессора обработки изображений не будет эксклюзивным для флагманских устройств. Хип подтвердил, что можно ожидать, что в какой-то момент эта функция появится в чипсетах среднего уровня.

Будущее камер смартфонов

Интересно, что и Qualcomm, и MediaTek приходят к одному и тому же выводу об объединении аппаратных возможностей искусственного интеллекта и обработки изображений. И нет сомнений в том, что это может стать основой будущих разработок камер для смартфонов. Таким образом, несмотря на то, что современные высокопроизводительные чипсеты не дают поводов для громких заголовков про функции камеры, в них по-прежнему привносят важные улучшения.

Этот последний шаг в сегментации изображений выглядит особенно интересным. Наряду с более точным портретным режимом, более детальной обработкой изображений и улучшенной бьютификацией семантическая сегментация в реальном времени уже обеспечивает некоторые интересные функции. И все равно интересно, что еще производители смартфонов придумают благодаря этому режиму и более унифицированному подходу к аппаратному обеспечению искусственного интеллекта и обработки изображений.