Искусственный интеллект, или AI-обработка в камерах смартфонов

Привет.

Натолкнулся на мнение, которое оказалось достаточно широко распространенным: AI-алгоритмы в камерах смартфонов - это фильтры и ничего больше, они позволяют украсить ваши фотографии, но никакого смысла, кроме этого, не имеют. В какой-то мере такая точка зрения имеет право на существование, особенно если не хочется разбираться даже в самых простых вещах. Но давайте попробуем вспомнить, когда и как началась эпоха AI-камер в смартфонах и куда идет развитие рынка.

Очень часто я натыкаюсь на отсылку к камерам Sony, в которых автоматическое определение сцен появилось одним из первых, по аналогии с тем, что делают современные смартфоны, их считают прообразом AI-камер. Возможно, такое толкование было бы оправданным, если бы не одно возражение - AI-камера не может существовать без мощного процессора, который обрабатывает все изображения с нее, причем картинки как уже сделанные, так и те, что еще не сфотографированы. Первым производителем, сделавшим ставку на AI как будущее рынка не только камер, но устройств в целом, стала компания Huawei. В октябре 2017 года в Мюнхене компания показала свой флагман Mate 10/10 Pro. Это первый аппарат, для которого использовали словосочетание “встроенный AI”, упомянули, что он используется для фотографии, но выделять в отдельный термин не стали. Упор был сделан на чипсете Kirin 970, в нем впервые появился отдельный процессор для AI-вычислений, это особый вид задач и алгоритмов. Обычные процессоры могут выполнять такие алгоритмы, но они не оптимизированы для них, как результат, их производительность оставляет желать лучшего. Поэтому отдельный процессор, отвечающий за AI-вычисления, стал логичным развитием рынка чипсетов, и то, что в первую очередь он нашел применение для фотографии и встроенных камер, вполне логично.

Искусственный интеллект, или AI-обработка в камерах смартфонов

Тогда на корпусе не писали, что аппарат обладает AI-алгоритмами, это стало популярно позднее, а волна таких моделей пришлась на 2019 год, когда AI-обработка снимков стала функцией по умолчанию во всех современных смартфонах. Например, на корпусе Huawei P Smart 2019 вы можете видеть надпись AI Camera, что в какой-то мере дань маркетингу и той популярности, что эта опция приобрела в глазах покупателей.

Искусственный интеллект, или AI-обработка в камерах смартфонов

Как-то попытался узнать, как понимают AI-камеру обычные покупатели. Стоя в магазине в центре Москвы в качестве продавца, разговаривал с покупателями, спрашивал про эту функцию. Большинство ответов сводились к тому, что камера сама понимает, что перед ней, и улучшает фотографии соответствующим образом. Лица людей лишает изъянов, траву подкрашивает зеленым цветом, небо делает голубым. Рискну предположить, что большинство людей определяет AI в телефоне именно так и никак иначе. Фактически мы говорим о том, что камера телефона умеет понимать, что именно вы фотографируете, и менять настройки в зависимости от этого. Первоначально таких сценариев у Huawei было несколько десятков, но лиха беда начало. К выходу Huawei P20 Pro нейронные сети натренировали определять 19 категорий снимков, всего было около 500 сценариев. В Mate 20 Pro число категорий увеличилось до 25, а общее число сценариев превысило 1500. В данный момент их число еще больше, и оно постоянно растет.

На практике в интерфейсе камеры есть “Мастер ИИ” (AI - это искусственный интеллект, ровно так же переводится аббревиатура), вы можете его как включить, так и выключить.

Искусственный интеллект, или AI-обработка в камерах смартфонов

Когда мастер работает, то вы видите подсказку, например, наводите камеру на текст, и тут же появляется окошко, где говорится, что это текст.

Искусственный интеллект, или AI-обработка в камерах смартфонов

Ровно так же все работает, когда вы наводите камеру на кошку или собаку, цветы и другие предметы, смартфон определяет, на что смотрит камера, и выставляет наилучшие параметры, чтобы ваш снимок для социальных сетей или для собственного использования был наилучшего качества. Кто-то говорит о том, что ратует за “натуральность”, но это настолько вымирающая тенденция, что тут просто нечего обсуждать, большая часть фотографий, которые вы видите в сети, имеют ту или иную редактуру, вольную или невольную. То, что большинство людей хочет навести камеру на предмет и получить качественный снимок, не вызывает сомнений. Меньшинство хочет некой натуральности, того, как предмет выглядит в их воображении. Но это скорее ностальгия по своим представлениям, не более того.

Вычислительная фотография пришла в нашу жизнь прочно и надолго. В темноте зачастую невозможно получить резкий, качественный снимок лица, чтобы были прорисованы отдельные волосы. А значит, можно взять примерно совпадающие волосы из базы телефона, добавить их к фотографии и получить снимок, который будет выглядеть принципиально иначе. Идея простая, но реализация на практике намного сложнее, чем это звучит. Тем не менее, это уже реализовано, и в Huawei даже пошли дальше.

Искусственный интеллект, или AI-обработка в камерах смартфонов

На презентации Huawei P30 Pro нам показали сценарий Moon Shot, это снимок Луны. Телефон понимает, что вы направили его на Луну, использовали зум, и в этот момент делает “снимок”. Моему возмущению не было предела, так как я понимал, что оптика аппарата неспособна сделать такой снимок, и это выглядело как подделка. Спустя несколько месяцев я изменил свое мнение, и причина в том, что это ровно та же вычислительная фотография. Смартфон определяет предмет, который вы фотографируете, в нашем случае это Луна, а затем подставляет его из базы. Качественных снимков Луны много, выбрать есть из чего. Но никогда вы не могли сфотографировать Луну на свой смартфон. Тут же вам дали эту возможность, и она подкупает. Это не отражение реальности, если не считать таковым положение Луны на снимке, другие детали, например, окно или дерево, попавшее в кадр. Это скорее некая работа редактора, который подставляет качественное изображение объекта.

И вот этот пример отлично описывает то, куда движется вычислительная фотография, многие объекты не будут натуральными, их возьмут из уже существующих баз снимков, либо AI-алгоритмы дорисуют их так, как мы хотим их видеть. Самое время забыть о том, что когда-то существовала натуральность, отражение реального мира, фотография еще задолго до появления смартфонов стала манипулятивной, она не отражает реальный мир. Теперь эти манипуляции просто выходят на принципиально иной уровень, в какой-то мере становятся узаконенными. Первоначально это вызывает отторжение, стойкое неприятие. Но по зрелом размышлении ты начинаешь понимать, что весь мир будет устроен именно так и стоит это принять как можно раньше, чтобы не переживать о своих иллюзиях позднее. Прическа вашей девушки на снимке, текстура кожи и другие детали - все это отдаленное приближение к реальности, более того, сама реальность волнует немногих. Тут скорее вопрос в том, как сохранить грань между красотой снимка и искажением первоначальной картинки, как найти правильный баланс. Именно AI-алгоритмы будут их искать.

Теперь давайте посмотрим на уже готовые снимки, тут также задействуют AI-алгоритмы, в галерее можно увидеть, как снимки автоматически распределены по папкам, - смартфон понимает, где какая категория, и с каждым годом учится делать фото все лучше и лучше.

Искусственный интеллект, или AI-обработка в камерах смартфонов Искусственный интеллект, или AI-обработка в камерах смартфонов

В той же Huawei специально создают AI-чип для своих процессоров, с каждым годом их производительность растет и остается одной из самых высоких. Причина в том, что именно такие алгоритмы становятся важны и постепенно выходят за рамки только камер и получения снимков. Сделанные снимки нужно распознать, AI-алгоритм определяет, есть ли на снимке люди, кто это и что они делают (радость, печаль, веселье и так далее - это определение эмоций), вещи и предметы, цвета и многое другое. Это кажется детской задачей, но она открывает целый спектр новых возможностей. Например, камера вашего телефона может научиться определять жесты и соответствующим образом реагировать. В том же Mate 30 Pro есть распознавание жестов, вы можете сделать скриншот, сжав кулак над экраном.

Искусственный интеллект, или AI-обработка в камерах смартфонов

В какой-то мере AI - это познание внешнего мира, причем большая часть алгоритмов полностью автономна, она не требует сетевого соединения. И говорить о том, что AI - это только камера, невозможно, следует рассматривать камеру как внешний сенсор, который дает информацию для смартфона и тех алгоритмов, что в него вшиты. Мы только в самом начале пути, так как в будущем алгоритмы станут сложнее, замысловатее и при этом предложат совсем другой уровень персонализации.

Я не ставил задачей в небольшом материале остановиться на всех AI-алгоритмах, специфике их работы, это скорее статья для того, чтобы вы могли оценить направление развития, получить обзор того, куда идет индустрия.

Ссылки по теме

Эльдар Муртазин (eldar@mobile-review.com)
Twitter    Instagram    Блог MrMurtazin.com

Опубликовано — 30 декабря 2019 г.

Поделиться

Мы в социальных сетях:

Есть, что добавить?! Пишите... eldar@mobile-review.com

 

Новости:

05.03.2021 Porsche представила пару электровелосипедов, которые стоят как автомобили

Hit

05.03.2021 Видео на канале: #APPLEВСЁ ! Почему Apple не может создать складной смартфон в 2021 году?

05.03.2021 МТС планирует запустить 5G в Санкт-Петербурге уже летом

05.03.2021 Представлены игровые смартфоны Red Magic 6 и Red Magic 6 Pro

05.03.2021 Vertu Ayxta Fold 5G - первый складной смартфон класса «люкс»

05.03.2021 Игра Genshin Impact принесла разработчикам почти $900 млн с момента запуска

05.03.2021 В Москве запущена первая в России пилотная пользовательская 5G сеть

05.03.2021 Мировой рынок персональных компьютеров вырастет в нынешнем году на 8%

05.03.2021 Сингапур запретит продажи новых машин с двигателями внутреннего сгорания уже к 2025 году

05.03.2021 В России стартовали продажи «умных» часов ZTE Watch Live

05.03.2021 В продажу на российский рынок поступает смартфон от Samsung – Galaxy A32

05.03.2021 Snapdragon Sound от Qualcomm обеспечит беспроводной звук проводным качеством

05.03.2021 Представлены игры марта в GeForce NOW

05.03.2021 Razer выпустила умные очки Anzu

05.03.2021 Samsung побила рекорд скорости 5G и достигла 5.23 Гбит/с

05.03.2021 Google планирует отказаться от отслеживания персональных данных для таргетинга рекламы

05.03.2021 Представлен защищённый смартфон Samsung Galaxy XCover 5

05.03.2021 Mail.ru Group представила отчёт за четвёртый квартал и 2020 год

04.03.2021 HARMAN представила для российского рынка новые TWS наушники JBL LIVE FREE NC+ TWS и JBL LIVE PRO+ TWS

04.03.2021 Выручка "М.Видео-Эльдорадо" за 2020 год превысила 400 млрд рублей

04.03.2021 МТС представила финансовые и операционные итоги за четвертый квартал и 2020 год

04.03.2021 Redmi Note 10: состоялся официальный релиз смартфонов

04.03.2021 Серия Huawei P50 должна появиться в апреле

04.03.2021 Раскрыты характеристики смартфона realme 8 - прогноз о чипсете от Qualcomm не оправдался

04.03.2021 Apple готовит к выходу планшет iPad Mini Pro с 8,9-дюймовым дисплеем и Face ID

Подписка
 
© Mobile-review.com, 2002-2021. All rights reserved.