Искусственный интеллект Samsung и редактирование фотографий

Привет.

Совсем недавно на примерах показывал, как меняют качество фотографий алгоритмы, которыми оснащают современные устройства. Но большая их часть работает во время съемки, в то время как ИИ используется и в редакторе снимков на телефонах от Samsung. Мне было интересно посмотреть, что именно вы можете получить и насколько снимки меняются, что полезно, а что выглядит как баловство. В качестве примеров взяты кадры, сделанные на S24 Ultra, их редактирование происходило из галереи в телефоне, когда вы выбираете опцию «Редактировать». На экране это иконка карандаша.

Описывать привычные возможности редактора не буду, вы хорошо знаете их по предыдущим моделям. Тут можно применять фильтры, повышать резкость, контрастность картинки, добавлять надписи и многое иное. Кадрировать снимок так, как вам хочется. Продвинутые инструменты для тех, кто хочет что-то сделать с фотографией, например, добавить свои надписи и разместить в социальных медиа.

Из любопытного могу отметить кнопку «Копировать изменения», которая позволяет применять фильтры и другие настройки к любому снимку, то есть присутствует определенная автоматизация, когда вам нужно обработать снимок с одинаковыми настройками. Просто вставляете изменения, и они применяются к снимку. Удобно и быстро.

Но главное о чем говорят в Samsung, это появившаяся клавиша в редакторе (зеленая клавиша слева), которая использует ИИ-алгоритмы для нескольких задач — удаление или перемещение объектов на снимке, выравнивание горизонта, когда нужно не просто изменить кадр, а достроить картинку. Что-то мы видели в предыдущих версиях редактора, что-то можно сделать имеющимися инструментами. Давайте оценим, насколько новые ИИ-алгоритмы дают нам новое качество редактирования снимков и что с ними можно делать. Не забудьте проверить, что AI-редактор включен в настройках телефона (серия Galaxy S24, пока эта опция доступна только для этих аппаратов).

Например, я хочу переместить цветок на столе, точнее, это колючка. Нажимаю на нее, редактор сам обводит объект, и дальше его можно стереть или подвигать по столу. Сдвигаю влево.

Получается, но тень от цветка почему-то осталась на прежнем месте, алгоритм еще не натренирован настолько, чтобы делать все идеально. Но для многих снимков результат более чем приемлемый. Хорошо получается удалять людей с кадров с архитектурными достопримечательностями, смотрим на Исаакий и две фигуры, которые идут напротив.

Удалил фигуры, получил новый снимок, где фон достроен с помощью ИИ-алгоритма. Как было и как стало.

Но интереснее посмотреть на другой пример — как алгоритм справится с изменением картины, которая висит на стене среди прочих. По какой-то причине не хочу ее удалять, но изображение мне не нравится. Выбираю нужную картину.

А теперь попытаемся сгенерировать новый снимок. На том же месте в раме висит картина, где теперь изображены просто женские ноги, алгоритм подобрал нечто тематическое. Согласитесь, что это уже переосмысление фотографии, конечно, если это слово применимо в данном случае.

На дубе на цепях сидит русалка, решил удалить ее с фотографии. Ожидал, что вместо русалки алгоритм нарисует кору дуба, но получилось еще смешнее — там какой-то красный почтовый ящик или что-то другое. Не могу понять, что это.

На поле для игры в снежки хочу удалить девушку, за ней плакат. Выделяю фигуру девушки нажатием, затем создается новое изображение. На плакате были слова, теперь вместо них ИИ дорисовал какую-то абракадабру, но ее видно только при приближении картинки.

Кто-то, возможно, посчитает это игрушкой, ненужной штукой, но найти применение для этого алгоритма можно, он выглядит очень любопытным. В зависимости от снимка, от того, что на нем изображено, результаты могут различаться как небо и земля. Нужно экспериментировать, тогда постепенно начинаешь понимать, где алгоритм работает, а где точно пасует.

Другой момент — это возможность исправить заваленный горизонт, когда можно повернуть снимок до 15 градусов влево или вправо, его не придется обрезать, алгоритм достроит фон на основании снимка. Работает при наличии подключения к сети, в автономном режиме эта функция недоступна (а хорошо было бы лететь в самолете и править снимки).

Когда есть однородный фон, например, поле, снятое из окна самолета, получается неплохо. Если фон неоднородный, то тут как повезет.

Вернемся к редактированию, когда нужно что-то убрать со снимка. Использовал зум х10 (оптика х5, так что это вычислительная фотография, которая дорисовала леопарда). Мне не понравились цепи на заднем плане.

Выделить можно до пяти объектов, и тогда они будут удалены. Цепей две, удаляю их. Телефон достраивает фон.

И вот какой результат получается.

На мой взгляд, вышло очень неплохо. Но давайте усложним задачу. За решеткой сидит птица, фотография, увы, такова, что никакой живости не получается, все в клеточку.

Попытка выделить решетку наталкивается на то, что алгоритм не понимает, что это один объект, он отрывает кусочки решетки.

И, конечно же, вообще ничего не получается, магии не происходит! Обидно? Не то слово. Но у нас есть выход, так как в редакторе имеются «старые» функции, например, удаление объектов. Отправляюсь туда, нажимаю на решетку, и, о чудо, она выделяется целиком. И на выходе получается отличное фото, где нет никакой решетки, а только птица.

Удаление объектов — это фишка Google Photo, и она отлично работает на последнем Pixel, у меня модель Pro, так что взял тот же самый снимок и выделил решетку. Отличие Pixel в том, что вам предлагают на выбор несколько сгенерированных снимков, можно заказать еще варианты. Без придирчивого изучения в лупу не вижу разницы, серия снимков получилась одинаковой. Да и в сравнении с Samsung все плюс-минус сходно. Так что это алгоритмы одного уровня, и результат будет сравним.

На мой вкус, удаление объектов лучше работает для «старого» алгоритма, где используется ровно такой же ИИ, в то время как новый алгоритм предлагает другую математическую модель, и он еще не наработал определенный опыт. С ИИ-алгоритмами интересная штука, они начинают лучше работать со временем, когда копятся разные варианты их использования, они «понимают», что именно сохраняют пользователи, что им нравится.

Некоторые снимки невозможно сделать идеальными, всегда вылезают какие-то детали, которые их портят (как цепи и решетка в примерах выше). Современные редакторы позволяют это исправить, и теперь у вас больше свободы творчества, чем когда-либо. Через год-другой алгоритмы будут натренированы на сотнях миллионов или миллиардах изображений, что кардинально улучшит их качество. И этот прогресс будет очевиден для всех.