Как создают алгоритмы для камер в смартфонах. Лаборатория OPPO

Привет.

Большой азиатский вояж с OPPO занял почти десять дней. Мы побывали на презентации нового Find N3/N3 Flip в Сингапуре, а оттуда отправились в Китай, чтобы посетить несколько лабораторий и производств компании. Одно из мест — это фабрика в Донгуане (Dongguan), репортаж оттуда вышел у нас десять лет назад. За это время достроили новый производственный корпус, запустили дополнительные сборочные линии. Но сама суть фабрики осталась ровно той же, в этом месте мало что изменилось кардинально. Почитайте тексты о фабрике, думаю, что они дадут вам представление о том, как устроено производство, они не потеряли своей актуальности и сегодня.

Журналистов больше не пускают в сборочные цеха этой фабрики. Причина лежит на поверхности: тут нет былого глянца, оборудование не производит впечатления новенького, это настоящий завод, где видны следы повседневной работы. И таким завод и должен быть. По территории ходят рабочие, которые отдыхают между сменами, многие живут тут же, в общежитии на территории. Сама территория улучшена, появились предупреждающие знаки о том, что в траве могут быть змеи, плюс всевозможные плакаты и конструкции, связанные с коммунистической партией.

В прошлый раз не видел местный магазин. Проходя через одно из зданий, мы смотрели на разные комнаты — подсобка со старыми системами наблюдения, комнатой охраны и так далее. Это вовсе не то, что показывают гостям, обычные комнаты, забитые разным хламом. Тут же парикмахерская для рабочих — пыльные стекла и большие кресла, которые стоят в комнате среднего размера с зеркалами вдоль стены. Стригут в определенные дни и часы, парикмахерская работает не всегда. А вот и сам магазин, где можно купить еду и не тратиться на фабричную столовку.

Десять лет назад нас кормили в VIP-зоне столовки, чистенько и аккуратно, но это было общее помещение, где в теории могли находиться рабочие. Теперь VIP-комната — это отдельное большое помещение, оформленное в традициях китайских ресторанов. На фабрике появился свой шеф, который обслуживает топ-менеджеров, мы опробовали его кухню, оказалось весьма вкусно и разнообразно.

Все эти изменения бросаются в глаза, также как и рост заработной платы сотрудников фабрики, появилось много машин на парковке, много велосипедов. Китайское правительство последовательно проводило политику увеличения заработной платы на фабриках, поэтому рабочий сегодня получает заметно большие деньги, чем десять лет назад. Условия труда стали не такими жесткими, но все равно остаются, мягко говоря, сложными. И надо также понимать, что уровень жизни рабочего пусть и изменился, но не так значительно, это бег белки в колесе, из которого сложно вырваться.

Моей целью на фабрике было посещение лаборатории, которая занимается исследованием качества снимков на будущих устройствах. Чтобы вы правильно понимали, какое место лаборатория занимает в цепочке создания и улучшения камер, кратко ее опишу. Первоначально производитель получает модули камер, в OPPO сотрудничают с разными компаниями, но ставку делают на модули от Sony. Например, в Find N3 используется модуль Sony IMX890, это кастомный модуль на 50 мегапикселей, созданный для OPPO (он также используется в моделях от realme, OnePlus и Nothing Phone). Стратегия производителя заключается в том, чтобы использовать свое железо, причем как можно дольше. Наличие кастомного сенсора позволяет долго разрабатывать софт под него, улучшать его характеристики. И если сравнить тот же Find N2 и Find N3 по качеству съемки, то, уверен, мы увидим заметные отличия, они связаны как с ревизиями железа, так и с обновлением программных алгоритмов.

В Sony создают модуль под запросы OPPO, технические характеристики важны, но еще важнее объем поставок и жизненный цикл. Только небольшое число компаний в мире могут рассчитывать на длительный цикл поддержки, что позволяет раскрыть возможности железа. И если посмотреть на стратегию Samsung, то мы увидим ровно то же самое — использование «старого» железа, которое получает все новые и новые обновления софта и дает лучшее качество картинки. Гонка за новым железом обречена на провал, так как камера в смартфоне имеет физические ограничения и с ними нужно уметь работать.

Использование одного модуля камеры вовсе не означает, что все аппараты с таким модулем снимают одинаково. Для флагманов можно использовать просветленную оптику, другие линзы, например, из стекла. В обычных, массовых устройствах могут применяться другие конструкции линз, что непосредственно влияет на качество снимков и также должно учитываться в софте.

Первоначально, когда OPPO получает первые образцы сенсора, с ними проводят серию испытаний в обычной лаборатории. Используют разные системы линз, замеряют точность съемки с помощью таблиц. Это технический период подготовки для выпуска разных устройств, этим занимаются несколько лабораторий OPPO.

После того, как достигнуто понимание, какие камеры с какой системой линз будут использоваться, появляются прототипы устройств. Их начинают тестировать в разных лабораториях, одна из таких — фотолаборатория в Донгуане. Ее задача – оценить, как работает софт камеры, какого качества снимки получаются и где есть недочеты, которые нужно исправить. Эта лаборатория не является единственной, их несколько, и каждая играет свою роль. Давайте заглянем за кулисы и посмотрим, как происходит чудо оценки качества камер и что именно исследуют в этой лаборатории.

Роботы, комнаты по интересам и автоматическая оценка фотографий

Идем по дорожке, чтобы уткнуться в небольшую пристройку, где на входе стоят разноцветные елки, вдоль здания беговая дорожка. Это вход в фотолабораторию OPPO, где происходит таинство, неизвестное большинству людей.

Больше десятка комнат, в каждой из которых воссоздается типичное помещение из внешнего мира — супермаркет, ресторан, гостиница, магазин электроники, детский отдел универмага, дискотека и так далее.

Все внутри наполнено муляжами, ничего натурального нет. Человеческий взгляд моментально замечает кусочек пиццы, у которого ненатуральный цвет, а книги оказываются просто обложками на картоне.

Кажется, что подход неверный, ведь цвет зеленой капусты в жизни намного ярче, чем у брокколи из резины, к тому же «заветрившейся» и немного потерявшей свой цвет. Человек хорошо различает подделки вокруг, наш взгляд невозможно обмануть. Но на самом деле это не играет никакой роли, так как важна калибровка пространства, чтобы компьютерная программа понимала, как именно выглядят те или иные вещи внутри лаборатории.

Комнаты и вещи в них меняются редко, в этом нет необходимости. Первоначально намечается маршрут (точнее, маршруты), по которым двигаются роботы, делающие фотографии. Робот выглядит как массивная тележка, на которой есть рука-манипулятор, способная вращать телефон в держателе.

Значок Ferrari на корпусе робота — это скорее шутка инженеров, чем реальность. В лаборатории четыре робота, которые могут работать одновременно по заложенной в них программе. Подзарядка происходит в отдельной комнате.

У некоторых роботов есть муляжи голов, так как исследуются дополнительные параметры, например, те же селфи-снимки. Или то, насколько хорошо и комфортно держать телефон перед глазами при съемке (угол съемки).

Выглядят такие муляжи немного жутковато, но что поделать. Когда заходишь в комнату с ними, в первый момент становится немного не по себе.

Когда робот отправляется фотографировать те или иные предметы, он может управлять светом (каждая комната имеет разные варианты освещения, вплоть до полной темноты).

Когда люди что-то проверяют, они могут включать свет самостоятельно, на стене есть выключатели.

За полтора часа робот делает порядка 500 снимков, в среднем на одно устройство уходит 75 тысяч снимков! Тест одной камеры занимает до полугода и напрямую зависит от модели. С помощью людей сделать такое количество снимков очень сложно, равно как и добиться той же точности кадра, чтобы все совпадало один в один. Робот же может это сделать.

Автоматизация и только автоматизация позволяет добиваться улучшения качества снимков, создавать новые пресеты для камер. После того, как робот сделал необходимые фотографии, они автоматически загружаются в облако. Здесь программа проверяет качество снимков — резкость, наличие стабилизации при дрожании «руки» и так далее. То есть это техническое сравнение, которое делает вовсе не человек. Есть возможность сравнивать снимки с библиотекой готовых кадров или разными сериями (например, когда поменялась прошивка и вы смотрите на то, что изменилось на практике, насколько вас устраивает результат). Автоматизация все-таки предусматривает, что человек в конечном итоге отсматривает лучшие результаты, выбирает те снимки, что ему больше нравятся. Безусловно, это совместная работа алгоритмов и человека.

Наработка большого числа снимков в предопределенной среде дает возможность подготовить камеры к натурным испытаниям. По всему миру есть исследовательские подразделения, которые тестируют камеры в реальном мире, смотрят на то, как меняется их качество. Но это уже следующий этап после исследований в описанной лаборатории. Причем при съемке в разных уголках мира важно обращать внимание на типичную погоду, сочетание разных цветов в одежде и архитектуре. То есть это тоже большой срез работы, где нарабатывают десятки тысяч снимков и на их основании строят алгоритмы, которые позволят получать наилучшие снимки в разных условиях.

Не так давно мы провели слепое сравнение качества фотографий на основные модули камер в OPPO Find N3, Pixel 8 Pro и Galaxy S23 Ultra. В слепом тесте выиграл S23 Ultra, а модель от OPPO заняла третье место. Но в нескольких снимках она выиграла, так как попались сцены, которые в компании «поймали» во время своих лабораторных и натурных тестов. Посмотрите на фотографию оранжевых цветов на фоне зелени.

Выигрыш камеры Find N3 очевиден. Смысл работы лабораторий и заключается в наработке опыта, который перекладывается в алгоритмы и позволяет получать хорошие снимки. В какой-то мере это статистическая работа: кто первым обработает больший массив данных (читай — снимков), научит свои алгоритмы правильно определять сцены, тот и выиграет. И то, что в OPPO подошли к этому вопросу с масштабом, даст в долгосрочной перспективе отличный результат. Например, та же Xiaomi экономит на подобных вещах, они слишком дороги для компании (меньше лабораторий, меньше амбиций, экономия на этом).

Мне сложно оценить объем инвестиций OPPO в это направление на фоне других компаний, по субъективным ощущениям, производитель входит в первую пятерку наряду с Samsung и Huawei, в меньшей степени Apple.

Качество снимков напрямую упирается в качество железа, помноженное на автоматику, которая умеет правильно подобрать параметры для съемки. Лаборатория OPPO — пример того, как можно автоматизировать проверку качества снимков и сделать их лучше, найти правильные алгоритмы съемки для разных условий. И эта работа де-факто бесконечна.

Из того, что остается за кадром этой работы: многие сцены более-менее одинаковы и объединяются в сходные сюжеты. То есть камера почти моментально определяет параметры съемки и дальше уже выбирает режим (ISO, скорость затвора и так далее), которые лучше всего подойдут для данной сцены. Затем в дело могут вступить AI-алгоритмы, которые исправят недостатки оптики, например, искажения по краям кадра и многое другое. Современный смартфон — это очень сложная система, намного сложнее обычных цифровых камер, и за счет этого он выдает качественные снимки, пусть и проигрывая в оптике.

P.S. Совсем скоро расскажу про то, как тестируют устройства на другой фабрике OPPO, проверяют их на прочность.