Искусственный интеллект, или AI-обработка в камерах смартфонов

Привет.

Натолкнулся на мнение, которое оказалось достаточно широко распространенным: AI-алгоритмы в камерах смартфонов - это фильтры и ничего больше, они позволяют украсить ваши фотографии, но никакого смысла, кроме этого, не имеют. В какой-то мере такая точка зрения имеет право на существование, особенно если не хочется разбираться даже в самых простых вещах. Но давайте попробуем вспомнить, когда и как началась эпоха AI-камер в смартфонах и куда идет развитие рынка.

Очень часто я натыкаюсь на отсылку к камерам Sony, в которых автоматическое определение сцен появилось одним из первых, по аналогии с тем, что делают современные смартфоны, их считают прообразом AI-камер. Возможно, такое толкование было бы оправданным, если бы не одно возражение - AI-камера не может существовать без мощного процессора, который обрабатывает все изображения с нее, причем картинки как уже сделанные, так и те, что еще не сфотографированы. Первым производителем, сделавшим ставку на AI как будущее рынка не только камер, но устройств в целом, стала компания Huawei. В октябре 2017 года в Мюнхене компания показала свой флагман Mate 10/10 Pro. Это первый аппарат, для которого использовали словосочетание “встроенный AI”, упомянули, что он используется для фотографии, но выделять в отдельный термин не стали. Упор был сделан на чипсете Kirin 970, в нем впервые появился отдельный процессор для AI-вычислений, это особый вид задач и алгоритмов. Обычные процессоры могут выполнять такие алгоритмы, но они не оптимизированы для них, как результат, их производительность оставляет желать лучшего. Поэтому отдельный процессор, отвечающий за AI-вычисления, стал логичным развитием рынка чипсетов, и то, что в первую очередь он нашел применение для фотографии и встроенных камер, вполне логично.

Искусственный интеллект, или AI-обработка в камерах смартфонов

Тогда на корпусе не писали, что аппарат обладает AI-алгоритмами, это стало популярно позднее, а волна таких моделей пришлась на 2019 год, когда AI-обработка снимков стала функцией по умолчанию во всех современных смартфонах. Например, на корпусе Huawei P Smart 2019 вы можете видеть надпись AI Camera, что в какой-то мере дань маркетингу и той популярности, что эта опция приобрела в глазах покупателей.

Искусственный интеллект, или AI-обработка в камерах смартфонов

Как-то попытался узнать, как понимают AI-камеру обычные покупатели. Стоя в магазине в центре Москвы в качестве продавца, разговаривал с покупателями, спрашивал про эту функцию. Большинство ответов сводились к тому, что камера сама понимает, что перед ней, и улучшает фотографии соответствующим образом. Лица людей лишает изъянов, траву подкрашивает зеленым цветом, небо делает голубым. Рискну предположить, что большинство людей определяет AI в телефоне именно так и никак иначе. Фактически мы говорим о том, что камера телефона умеет понимать, что именно вы фотографируете, и менять настройки в зависимости от этого. Первоначально таких сценариев у Huawei было несколько десятков, но лиха беда начало. К выходу Huawei P20 Pro нейронные сети натренировали определять 19 категорий снимков, всего было около 500 сценариев. В Mate 20 Pro число категорий увеличилось до 25, а общее число сценариев превысило 1500. В данный момент их число еще больше, и оно постоянно растет.

На практике в интерфейсе камеры есть “Мастер ИИ” (AI - это искусственный интеллект, ровно так же переводится аббревиатура), вы можете его как включить, так и выключить.

Искусственный интеллект, или AI-обработка в камерах смартфонов

Когда мастер работает, то вы видите подсказку, например, наводите камеру на текст, и тут же появляется окошко, где говорится, что это текст.

Искусственный интеллект, или AI-обработка в камерах смартфонов

Ровно так же все работает, когда вы наводите камеру на кошку или собаку, цветы и другие предметы, смартфон определяет, на что смотрит камера, и выставляет наилучшие параметры, чтобы ваш снимок для социальных сетей или для собственного использования был наилучшего качества. Кто-то говорит о том, что ратует за “натуральность”, но это настолько вымирающая тенденция, что тут просто нечего обсуждать, большая часть фотографий, которые вы видите в сети, имеют ту или иную редактуру, вольную или невольную. То, что большинство людей хочет навести камеру на предмет и получить качественный снимок, не вызывает сомнений. Меньшинство хочет некой натуральности, того, как предмет выглядит в их воображении. Но это скорее ностальгия по своим представлениям, не более того.

Вычислительная фотография пришла в нашу жизнь прочно и надолго. В темноте зачастую невозможно получить резкий, качественный снимок лица, чтобы были прорисованы отдельные волосы. А значит, можно взять примерно совпадающие волосы из базы телефона, добавить их к фотографии и получить снимок, который будет выглядеть принципиально иначе. Идея простая, но реализация на практике намного сложнее, чем это звучит. Тем не менее, это уже реализовано, и в Huawei даже пошли дальше.

Искусственный интеллект, или AI-обработка в камерах смартфонов

На презентации Huawei P30 Pro нам показали сценарий Moon Shot, это снимок Луны. Телефон понимает, что вы направили его на Луну, использовали зум, и в этот момент делает “снимок”. Моему возмущению не было предела, так как я понимал, что оптика аппарата неспособна сделать такой снимок, и это выглядело как подделка. Спустя несколько месяцев я изменил свое мнение, и причина в том, что это ровно та же вычислительная фотография. Смартфон определяет предмет, который вы фотографируете, в нашем случае это Луна, а затем подставляет его из базы. Качественных снимков Луны много, выбрать есть из чего. Но никогда вы не могли сфотографировать Луну на свой смартфон. Тут же вам дали эту возможность, и она подкупает. Это не отражение реальности, если не считать таковым положение Луны на снимке, другие детали, например, окно или дерево, попавшее в кадр. Это скорее некая работа редактора, который подставляет качественное изображение объекта.

И вот этот пример отлично описывает то, куда движется вычислительная фотография, многие объекты не будут натуральными, их возьмут из уже существующих баз снимков, либо AI-алгоритмы дорисуют их так, как мы хотим их видеть. Самое время забыть о том, что когда-то существовала натуральность, отражение реального мира, фотография еще задолго до появления смартфонов стала манипулятивной, она не отражает реальный мир. Теперь эти манипуляции просто выходят на принципиально иной уровень, в какой-то мере становятся узаконенными. Первоначально это вызывает отторжение, стойкое неприятие. Но по зрелом размышлении ты начинаешь понимать, что весь мир будет устроен именно так и стоит это принять как можно раньше, чтобы не переживать о своих иллюзиях позднее. Прическа вашей девушки на снимке, текстура кожи и другие детали - все это отдаленное приближение к реальности, более того, сама реальность волнует немногих. Тут скорее вопрос в том, как сохранить грань между красотой снимка и искажением первоначальной картинки, как найти правильный баланс. Именно AI-алгоритмы будут их искать.

Теперь давайте посмотрим на уже готовые снимки, тут также задействуют AI-алгоритмы, в галерее можно увидеть, как снимки автоматически распределены по папкам, - смартфон понимает, где какая категория, и с каждым годом учится делать фото все лучше и лучше.

Искусственный интеллект, или AI-обработка в камерах смартфонов Искусственный интеллект, или AI-обработка в камерах смартфонов

В той же Huawei специально создают AI-чип для своих процессоров, с каждым годом их производительность растет и остается одной из самых высоких. Причина в том, что именно такие алгоритмы становятся важны и постепенно выходят за рамки только камер и получения снимков. Сделанные снимки нужно распознать, AI-алгоритм определяет, есть ли на снимке люди, кто это и что они делают (радость, печаль, веселье и так далее - это определение эмоций), вещи и предметы, цвета и многое другое. Это кажется детской задачей, но она открывает целый спектр новых возможностей. Например, камера вашего телефона может научиться определять жесты и соответствующим образом реагировать. В том же Mate 30 Pro есть распознавание жестов, вы можете сделать скриншот, сжав кулак над экраном.

Искусственный интеллект, или AI-обработка в камерах смартфонов

В какой-то мере AI - это познание внешнего мира, причем большая часть алгоритмов полностью автономна, она не требует сетевого соединения. И говорить о том, что AI - это только камера, невозможно, следует рассматривать камеру как внешний сенсор, который дает информацию для смартфона и тех алгоритмов, что в него вшиты. Мы только в самом начале пути, так как в будущем алгоритмы станут сложнее, замысловатее и при этом предложат совсем другой уровень персонализации.

Я не ставил задачей в небольшом материале остановиться на всех AI-алгоритмах, специфике их работы, это скорее статья для того, чтобы вы могли оценить направление развития, получить обзор того, куда идет индустрия.

Ссылки по теме

Эльдар Муртазин (eldar@mobile-review.com)
Twitter    Instagram    Блог MrMurtazin.com

Опубликовано — 30 декабря 2019 г.

Поделиться

Мы в социальных сетях:

Есть, что добавить?! Пишите... eldar@mobile-review.com

 

Новости:

30.11.2020 В Корее зарегистрировано 10 млн пользователей 5G

30.11.2020 В сети МТС появилась первая российская базовая станция

30.11.2020 Число интернет-покупок россиян в "чёрную пятницу" стало рекордным

30.11.2020 Власти США готовы добавить SMIC в чёрный список

30.11.2020 Крупнейшая в мире выставка фотоиндустрии Photokina приостановлена на неопределённый срок

29.11.2020 Американцы потратили рекордную сумму на онлайн-покупки в "чёрную пятницу"

28.11.2020 Объём онлайн-продаж в рамках российской "чёрной пятницы" превысил показатели прошлого года за один день

28.11.2020 В третьем квартале продажи умных колонок продемонстрировали умеренный рост

28.11.2020 В 2020 году европейский рынок электромобилей и гибридов покажет рекордный рост

27.11.2020 В третьем квартале в России доля продаж смартфонов в онлайн-канале достигла рекордных 34%

27.11.2020 Razer выпустил геймпад для новой консоли Xbox Series X

27.11.2020 «М.Видео» и «Эльдорадо»: мы отправили все заказы на PlayStation 5 и открыли новый предзаказ на консоли

27.11.2020 Компактный кроссовер Genesis оснастят сканером отпечатка пальца

27.11.2020 Утечка раскрыла подробности о смартфоне TCL 20 5G

27.11.2020 Телевизоры серии Nokia Smart TV вышли в продажу в Европе

27.11.2020 AliExpress запустил доставку в магазины "Пятёрочка" товаров российских продавцов

27.11.2020 В третьем квартале доля прибыли Samsung от смартфонов была самой высокой за 6 лет

27.11.2020 Apple установит собственный 5G модем в iPhone 13 и iPad Pro

27.11.2020 В «Яндекс.Картах» теперь можно узнать о загруженности станций метро Москвы

27.11.2020 Основатель Huawei рассчитывает, что Honor превзойдёт материнскую компанию

27.11.2020 В России стартуют продажи полноразмерных беспроводных наушников Huawei FreeBuds Studio

27.11.2020 Xiaomi выпустила ещё одну версию смартфона Redmi Note 9

27.11.2020 Redmi Note 9 5G – очередной недорогой 5G смартфон от Xiaomi

27.11.2020 Криптовалюта Facebook может быть запущена уже в январе

27.11.2020 Первый в мире ноутбук с гибким экраном представлен в России

Подписка
 
© Mobile-review.com, 2002-2020. All rights reserved.