Искусственный интеллект, или AI-обработка в камерах смартфонов

Привет.

Натолкнулся на мнение, которое оказалось достаточно широко распространенным: AI-алгоритмы в камерах смартфонов - это фильтры и ничего больше, они позволяют украсить ваши фотографии, но никакого смысла, кроме этого, не имеют. В какой-то мере такая точка зрения имеет право на существование, особенно если не хочется разбираться даже в самых простых вещах. Но давайте попробуем вспомнить, когда и как началась эпоха AI-камер в смартфонах и куда идет развитие рынка.

Очень часто я натыкаюсь на отсылку к камерам Sony, в которых автоматическое определение сцен появилось одним из первых, по аналогии с тем, что делают современные смартфоны, их считают прообразом AI-камер. Возможно, такое толкование было бы оправданным, если бы не одно возражение - AI-камера не может существовать без мощного процессора, который обрабатывает все изображения с нее, причем картинки как уже сделанные, так и те, что еще не сфотографированы. Первым производителем, сделавшим ставку на AI как будущее рынка не только камер, но устройств в целом, стала компания Huawei. В октябре 2017 года в Мюнхене компания показала свой флагман Mate 10/10 Pro. Это первый аппарат, для которого использовали словосочетание “встроенный AI”, упомянули, что он используется для фотографии, но выделять в отдельный термин не стали. Упор был сделан на чипсете Kirin 970, в нем впервые появился отдельный процессор для AI-вычислений, это особый вид задач и алгоритмов. Обычные процессоры могут выполнять такие алгоритмы, но они не оптимизированы для них, как результат, их производительность оставляет желать лучшего. Поэтому отдельный процессор, отвечающий за AI-вычисления, стал логичным развитием рынка чипсетов, и то, что в первую очередь он нашел применение для фотографии и встроенных камер, вполне логично.

Искусственный интеллект, или AI-обработка в камерах смартфонов

Тогда на корпусе не писали, что аппарат обладает AI-алгоритмами, это стало популярно позднее, а волна таких моделей пришлась на 2019 год, когда AI-обработка снимков стала функцией по умолчанию во всех современных смартфонах. Например, на корпусе Huawei P Smart 2019 вы можете видеть надпись AI Camera, что в какой-то мере дань маркетингу и той популярности, что эта опция приобрела в глазах покупателей.

Искусственный интеллект, или AI-обработка в камерах смартфонов

Как-то попытался узнать, как понимают AI-камеру обычные покупатели. Стоя в магазине в центре Москвы в качестве продавца, разговаривал с покупателями, спрашивал про эту функцию. Большинство ответов сводились к тому, что камера сама понимает, что перед ней, и улучшает фотографии соответствующим образом. Лица людей лишает изъянов, траву подкрашивает зеленым цветом, небо делает голубым. Рискну предположить, что большинство людей определяет AI в телефоне именно так и никак иначе. Фактически мы говорим о том, что камера телефона умеет понимать, что именно вы фотографируете, и менять настройки в зависимости от этого. Первоначально таких сценариев у Huawei было несколько десятков, но лиха беда начало. К выходу Huawei P20 Pro нейронные сети натренировали определять 19 категорий снимков, всего было около 500 сценариев. В Mate 20 Pro число категорий увеличилось до 25, а общее число сценариев превысило 1500. В данный момент их число еще больше, и оно постоянно растет.

На практике в интерфейсе камеры есть “Мастер ИИ” (AI - это искусственный интеллект, ровно так же переводится аббревиатура), вы можете его как включить, так и выключить.

Искусственный интеллект, или AI-обработка в камерах смартфонов

Когда мастер работает, то вы видите подсказку, например, наводите камеру на текст, и тут же появляется окошко, где говорится, что это текст.

Искусственный интеллект, или AI-обработка в камерах смартфонов

Ровно так же все работает, когда вы наводите камеру на кошку или собаку, цветы и другие предметы, смартфон определяет, на что смотрит камера, и выставляет наилучшие параметры, чтобы ваш снимок для социальных сетей или для собственного использования был наилучшего качества. Кто-то говорит о том, что ратует за “натуральность”, но это настолько вымирающая тенденция, что тут просто нечего обсуждать, большая часть фотографий, которые вы видите в сети, имеют ту или иную редактуру, вольную или невольную. То, что большинство людей хочет навести камеру на предмет и получить качественный снимок, не вызывает сомнений. Меньшинство хочет некой натуральности, того, как предмет выглядит в их воображении. Но это скорее ностальгия по своим представлениям, не более того.

Вычислительная фотография пришла в нашу жизнь прочно и надолго. В темноте зачастую невозможно получить резкий, качественный снимок лица, чтобы были прорисованы отдельные волосы. А значит, можно взять примерно совпадающие волосы из базы телефона, добавить их к фотографии и получить снимок, который будет выглядеть принципиально иначе. Идея простая, но реализация на практике намного сложнее, чем это звучит. Тем не менее, это уже реализовано, и в Huawei даже пошли дальше.

Искусственный интеллект, или AI-обработка в камерах смартфонов

На презентации Huawei P30 Pro нам показали сценарий Moon Shot, это снимок Луны. Телефон понимает, что вы направили его на Луну, использовали зум, и в этот момент делает “снимок”. Моему возмущению не было предела, так как я понимал, что оптика аппарата неспособна сделать такой снимок, и это выглядело как подделка. Спустя несколько месяцев я изменил свое мнение, и причина в том, что это ровно та же вычислительная фотография. Смартфон определяет предмет, который вы фотографируете, в нашем случае это Луна, а затем подставляет его из базы. Качественных снимков Луны много, выбрать есть из чего. Но никогда вы не могли сфотографировать Луну на свой смартфон. Тут же вам дали эту возможность, и она подкупает. Это не отражение реальности, если не считать таковым положение Луны на снимке, другие детали, например, окно или дерево, попавшее в кадр. Это скорее некая работа редактора, который подставляет качественное изображение объекта.

И вот этот пример отлично описывает то, куда движется вычислительная фотография, многие объекты не будут натуральными, их возьмут из уже существующих баз снимков, либо AI-алгоритмы дорисуют их так, как мы хотим их видеть. Самое время забыть о том, что когда-то существовала натуральность, отражение реального мира, фотография еще задолго до появления смартфонов стала манипулятивной, она не отражает реальный мир. Теперь эти манипуляции просто выходят на принципиально иной уровень, в какой-то мере становятся узаконенными. Первоначально это вызывает отторжение, стойкое неприятие. Но по зрелом размышлении ты начинаешь понимать, что весь мир будет устроен именно так и стоит это принять как можно раньше, чтобы не переживать о своих иллюзиях позднее. Прическа вашей девушки на снимке, текстура кожи и другие детали - все это отдаленное приближение к реальности, более того, сама реальность волнует немногих. Тут скорее вопрос в том, как сохранить грань между красотой снимка и искажением первоначальной картинки, как найти правильный баланс. Именно AI-алгоритмы будут их искать.

Теперь давайте посмотрим на уже готовые снимки, тут также задействуют AI-алгоритмы, в галерее можно увидеть, как снимки автоматически распределены по папкам, - смартфон понимает, где какая категория, и с каждым годом учится делать фото все лучше и лучше.

Искусственный интеллект, или AI-обработка в камерах смартфонов Искусственный интеллект, или AI-обработка в камерах смартфонов

В той же Huawei специально создают AI-чип для своих процессоров, с каждым годом их производительность растет и остается одной из самых высоких. Причина в том, что именно такие алгоритмы становятся важны и постепенно выходят за рамки только камер и получения снимков. Сделанные снимки нужно распознать, AI-алгоритм определяет, есть ли на снимке люди, кто это и что они делают (радость, печаль, веселье и так далее - это определение эмоций), вещи и предметы, цвета и многое другое. Это кажется детской задачей, но она открывает целый спектр новых возможностей. Например, камера вашего телефона может научиться определять жесты и соответствующим образом реагировать. В том же Mate 30 Pro есть распознавание жестов, вы можете сделать скриншот, сжав кулак над экраном.

Искусственный интеллект, или AI-обработка в камерах смартфонов

В какой-то мере AI - это познание внешнего мира, причем большая часть алгоритмов полностью автономна, она не требует сетевого соединения. И говорить о том, что AI - это только камера, невозможно, следует рассматривать камеру как внешний сенсор, который дает информацию для смартфона и тех алгоритмов, что в него вшиты. Мы только в самом начале пути, так как в будущем алгоритмы станут сложнее, замысловатее и при этом предложат совсем другой уровень персонализации.

Я не ставил задачей в небольшом материале остановиться на всех AI-алгоритмах, специфике их работы, это скорее статья для того, чтобы вы могли оценить направление развития, получить обзор того, куда идет индустрия.

Ссылки по теме

Эльдар Муртазин (eldar@mobile-review.com)
Twitter    Instagram    Блог MrMurtazin.com

Опубликовано — 30 декабря 2019 г.

Поделиться

Мы в социальных сетях:

Есть, что добавить?! Пишите... eldar@mobile-review.com

 

Новости:

13.05.2021 MediaTek представила предфлагманский чипсет Dimensity 900 5G

13.05.2021 Cайты, имеющие 500 тысяч пользователей из России, должны будут открыть местные филиалы

13.05.2021 Amazon представила обновления своих умных дисплеев Echo Show 8 и Echo Show 5

13.05.2021 МТС ввел удобный тариф без абонентской платы - «МТС Нон-стоп»

13.05.2021 Zenfone 8 Flip – вариант Galaxy A80 от ASUS

13.05.2021 Поставки мониторов в этом году достигнут 150 млн

13.05.2021 Состоялся анонс модной версии «умных» часов Samsung Galaxy Watch3 TOUS

13.05.2021 Tele2 выходит на Яндекс.Маркет

13.05.2021 OPPO представила чехол для смартфона, позволяющий управлять устройствами умного дома

13.05.2021 TWS-наушники с активным шумоподавлением Xiaomi FlipBuds Pro

13.05.2021 В России до конца следующего года появится госстандарт для искусственного интеллекта

13.05.2021 ASUS Zenfone 8 – компактный флагман на Snapdragon 888

12.05.2021 Компания Genesis представила внешность своего первого универсала G70 Shooting Brake

12.05.2021 В России разработан высокоточный гироскоп для беспилотников

12.05.2021 В Россию привезли новую версию смарт-часов HUAWEI WATCH FIT, Elegant Edition

12.05.2021 Раскрыты ключевые особенности смартфона POCO M3 Pro 5G

12.05.2021 Honor 50: стали известны дизайн и другие подробности о смартфоне

12.05.2021 Чипсет Exynos 2200 от Samsung будет устанавливаться и в смартфоны, и в ноутбуки

12.05.2021 МТС начала подключать многоквартирные дома к интернету вещей

12.05.2021 iPhone 13 будет толще и получит более крупные камеры по сравнению с iPhone 12

12.05.2021 Xiaomi договорилась с властями США об исключении из чёрного списка

12.05.2021 Xiaomi выпустила обновлённую версию умного пульта Agara Cube T1 Pro

Hit

12.05.2021 Игровые ноутбуки с NVIDIA GeForce RTX 3050 Ti уже в России!

12.05.2021 Индийский завод Foxconn сократил производство в два раза

12.05.2021 Lenovo отказалась от очного участия в предстоящем в июне Mobile World Congress

Подписка
 
© Mobile-review.com, 2002-2021. All rights reserved.