![](https://mobile-review.com/all/wp-content/uploads/2021/08/foto1.jpeg)
В мире мобильной электроники есть несколько глобальных выставок достижений (таких как MWC, например), но если ты один из ведущих брендов отрасли, то можешь и сам устраивать подобные выставки своих достижений. Так или иначе, азиатские компании Samsung, VIVO, Huawei, OPPO и другие в разное время представляют новые технологии, которыми не может похвастаться больше никто. Демонстрация инновационных технологий показывает превосходство компании над конкурентами, позволяет получать звонкую монету не только от покупателей, но и от инвесторов. Первопроходцы новых технологий демонстрируют достижение, и если оно выглядит перспективным, то конкуренты немедленно начинают разрабатывать свой собственный вариант, часто превосходя первоисточник. В этом материале было решено сосредоточиться на мобильной фотографии как на чуть ли не единственной вещи, которая продает флагманы.
История датчиков RGBW
Начать стоит с основ. Все современные датчики камер (это штуки, на которые падает свет) построены на светочувствительных элементах, которые путем применения соответствующего фильтра специализированно обрабатывают свою часть спектра. Массив фильтров, который накрывает светочувствительные элементы, принято называть аббревиатурой, которая составлена из первых букв цветов, входящих в массив, например, RGB – красный (red), зеленый (green) и голубой (blue).
![](https://mobile-review.com/all/wp-content/uploads/2021/08/foto2-1.jpg)
Со временем этой аббревиатурой стали называть весь фотодатчик целиком, что значительно сокращает текст и дает понимание о его типе. После произведения снимка полученное месиво данных аппаратно и программно обрабатывается процессором фотомодуля, преобразуя уровень яркости этих трех цветов на полотне матрицы во все остальные цвета. В лабораторных условиях любой цвет можно получить даже из двух, красного и зеленого, но на практике погрешности техники и неблагоприятные условия освещения делают невозможной такую схему. Стандартный RGB-датчик в разное время подвергался модернизациям, в массив фильтров добавляли четвертый, изумрудный (RGBE), изменяли один (RYB, замена зеленого на желтый, как в модуле Sony IMX650, примененном в Huawei P30 Pro и других 30-ках, кроме лайт-версий) или заменяли всю цветовую схему (CYM, голубой, желтый и пурпурный, распространения не получила).
Чаще всего модернизации подвергались оптика, ПО для обработки изображения, моторчики для фокусировки блока линз и прочая мелочевка. Весь процесс приема и обработки цвета RGB-датчиком дотошно и более чем хорошо описан в статье Дмитрия Крупского, которую крайне рекомендую к прочтению всем заинтересованным. Так и было, пока корпорации наконец то не взялись за ум и не стали модернизировать базовые технологии.
Sony
Самыми первыми ласточками RGBW-датчиков должны были стать 13- и 8-мегапиксельные HDR-модули, представленные Sony в 2012 году. Идея была проста и понятна: добавление четвертого фильтра к стандартной RGB-схеме, который бы реагировал исключительно на смесь всех цветов спектра, т.е. на белый свет, давая процессору цифровую конкретику понятия «уровень освещенности» по тому же каналу, что и все другие данные с матрицы. И эта технология работала в лабораторных условиях, фотопроцессор вместо ночного серого мыла выдавал чистые яркие цвета, отличные для своего времени.
![](https://mobile-review.com/all/wp-content/uploads/2021/08/foto3.jpeg)
Применение четвертого «белого пикселя» (прошу без сарказма в комментариях, это название из официальной информации разработчика) в наборе фильтров улучшило ситуацию вокруг главной проблемы мобильного RGB-датчика – недостатка света. Увы, без дополнительной постобработки изображения применение RGBW-датчика делало весь снимок размытым и влекло за собой необходимость ввода дополнительных средств аппаратной обработки. И это стало основной проблемой того времени (нехватка производительности для обработки RGBW-кодировки без уменьшения разрешения снимка), что в итоге и поставило крест на коммерческом производстве фотомодулей IU135F3-Z и IU134F9-Z (IMX134 и IMX135), которые должны были стать RGBW-первенцами, но в производство они пошли в стандартном RGB-варианте.
Huawei
В 2015 году компания Huawei первой в мире в составе своего флагмана Huawei P8 довела RGBW-матрицу до коммерческих продаж.
![](https://mobile-review.com/all/wp-content/uploads/2021/08/foto4-1.jpeg)
![](https://mobile-review.com/all/wp-content/uploads/2021/08/foto5-1-1600x1200.jpg)
В общем и целом, камера P8 до сих пор держит высокую планку по дневным фотографиям, а в ночном режиме может посоревноваться с современными смартфонами. Увы, применение RGBW-датчиков ограничилось выпуском только двух моделей смартфонов, Huawei P8 и Mate S, технология была еще слишком сырая, слишком дорогая и, похоже, не получила понимания в руководстве компании.
Vivo
Переходящее знамя RGBW приняла компания Vivo, которая в сентябре 2020 года анонсировала свою собственную разработку.
![](https://mobile-review.com/all/wp-content/uploads/2021/08/foto6.jpeg)
Увы, кроме заявлений о том, что датчики Vivo будут получать света до 160% больше по сравнению с традиционными RGB-датчиками, и о том, что первые модели RGBW-смартфонов появятся к концу 2021 года, мы ничего не видим. Компания затаилась.
Samsung
Вокруг готовящегося к продажам Samsung Galaxy S22 ходят самые невероятные слухи, среди которых фигурирует основная 200-мегапиксельная камера, оснащенная технологией RGBW.
![](https://mobile-review.com/all/wp-content/uploads/2021/08/foto7-1-1600x825.jpeg)
Хорошо, если так, ведь тогда даже на текущем этапе развития алгоритмов обработки изображения мы получим всю пользу от RGBW, даже если для этого финальный снимок получится более низкого разрешения. Даже если это будет всего 24 МП.
OPPO
19 августа 2021 года на мероприятии OPPO Future Imaging Technology в Шэньчжэне компания представила ряд инноваций, которые в значительной мере стирают границы между классическими цифровыми фотоаппаратами и мобильными камерами смартфонов. Среди этих инноваций и главный герой этого материала – RGBW-датчик. Приведу цитату:
![](https://mobile-review.com/all/wp-content/uploads/2021/08/img-02.gif)
Цитата:
Датчик RGBW нового поколения изготовлен с использованием передовых технологий производства и обработки, что увеличивает уровень вычислительной мощности, необходимой для выполнения сложных алгоритмов, и максимизирует объем данных, извлекаемых через белые пиксели датчика. Запатентованный OPPO алгоритм пикселей 4-в-1 помогает существенно повысить цветовые характеристики сенсора, предотвращая такие проблемы, как неточность цвета и муаровые узоры. Кроме того, передовая технология изоляции пикселей DTI на новом датчике эффективно предотвращает субпиксельные перекрестные помехи и улучшает качество изображения. Наш датчик RGBW не только улучшает съемку фотографий при слабом освещении, но и делает портреты более выразительными, как на фото, так и на видео, делая более естественной текстуру, контраст и цвет кожи. Новый датчик будет коммерчески выпущен в продуктах OPPO с четвертого квартала 2021 года.
Хорошо, если так, не терпится посмотреть обзор возможностей камеры.
Заключение
Из всех существующих технологий для улучшения качества снимков, сделанных на смартфон, применение RGBW-датчиков кажется самым перспективным. Да, параллельно этому веянию идет улучшение программных алгоритмов постобработки снимков, но до радикального изменения качества еще очень далеко, так как…. Производительности смартфонов для хорошей ИИ-обработки все равно не хватает. Приведу в пример личный опыт использования ПО Gigapixel AI, которому для вменяемо быстрой работы требуется видеокарта уровня Nvidia GTX1080 или лучше:
Было:
![](https://mobile-review.com/all/wp-content/uploads/2021/08/16-12-1.jpg)
Стало:
![](https://mobile-review.com/all/wp-content/uploads/2021/08/16-12-art-scale-2_00x-gigapixel-1.jpeg)
Если вы не заметили разницы, то вот еще один пример. Самая первая иллюстрация в материале до обработки выглядела так:
![](https://mobile-review.com/all/wp-content/uploads/2021/08/foto1.png)
А до тех пор улучшение базовых технологий, таких как RGBW, — это единственный способ получения хорошего снимка. Из этого следует, что RGBW станет новым коммерческим преимуществом и мы увидим эту аббревиатуру на коробках с новыми смартфонами от ведущих брендов уже осенью 2021 года.
Саш, всё фигня, маркетинг и реклама
Если ты серьезно, то я с тобой согласен.
По части съемки фото на смартфоны мы уперлись в потолок. Года 2 я не вижу реальной эволюции в кадрах. Даже на зум-камеры немного подзабили. Раньше каждый второй производитель пытался сделать 2-5х, а сейчас: 1 ширик, 1 основной модуль, в лучшем случае 1.5x, интерполированных до 2.5x с цифрой до 100х. У Samsung вообще зум-модуль состоит из большой матрицы с кропом))
Роман, а так же Владимир.Согласитесь ли вы с моим мнением: производители в угоду уже давно прошедшей моде на тонкие корпуса, не рискуют делать толщину устройства в 10-12 мм. И это без учёта выпирающего блока камер. Ну пусть бы он был с блоком в 13-15 мм. Зато можно поставить более светочувствительный сенсор, большего размера. Например, 1/1.Возможно, что алгоритмы и вычислительные мощности не смогут с этим работать (уверен в обратном). Но этот финт позволил бы реально улучшить качество снимков. И аппаратно и программно.Как считаете?
Года 2 назад блоки камер не были таких чудовищных размеров. Неужели их рост ничем не оправдан кроме маркетинга?
Не согласен, современные смартфоны снимают лучше чем Xiaomi Redmi 4.Prime, которым сейчас пользуюсь 🙂https://uploads.disquscdn.c…
Производительности смартфонов для хорошей ИИ-обработки все равно не хватает. Приведу в пример личный опыт использования ПО Gigapixel AIОчень интересный плагин для лайтрума и фотошопа.Производительность клиента в эпоху облачных вычислений и грид решений не является ключевым фактором. Кроме того, такое решение можно реализовывать в фотохостинге типа Google photo.Для мобильной фотографии в таком сервисе наиболее целесообразна не попиксельная постобработка сжатого jpeg, а полного raw
Удаленные вычисления конечно круто, но в лесу с 2G придется разрабатывать режим отложенной обработки.
Вам так или иначе придётся загружать фотографию в сеть или кому-то пересылать. Если Вы вне зоны связи, то у Вас на смартатфоне только предварительный результат. Это также как Вы снимаете в jpeg и RAW одновременно, а обрабатываете последний когда появится свободное время
И все же периферийные вычисления надежнее.
Изюминки всегда были маркетингом или эксплуатацией старых идей которые сделали более удобными :)Вон вспоминаю старый J7\70. Jog dial так называемый был фишкой… изюминкой, но это не было прогрессом техническим, каким то крутым новшеством 🙂
А VIVO и OPPO разве не одна и та же контора (BBK)? Я в плане того, что упомянуты они отдельно?
А мне кажется перспективной технология хуавей с переменным фокусом и призмой. Можно многоглазость изжить
Так или иначе, всё движется в сторону конфигурации тонкий клиент — серверное облако. И софт, и ОС, и потребление контента с играми и даже само взаимодейдействие гражданин — Государство
Давайте уж тогда и Moto-Lenovo не разделять, как и Kia-Hyandai.
Один вопрос: зачем? Кроме фотографов и визаулов кому нужна такая детализация?
Почему? Будущее, уверен, за вычислительной фотографией, но принцип "мусор на входе — мусор на выходе" никто не отменял. Чем более качественный будет исходный материал, тем лучше будет результат. Разве нет?
В вопросе настолько продвинутых r&d может и не стоит разделять. Вряд ли у них настолько сильна межбрендовая конкуренция, чтобы выливать большие бабки в двух независимых лабораториях.
ну с точки зрения технологий киа-хюндай одно и то жесобственно, как до недавнего времени хуавей и хонор тоже выпускали одинаковые по технологической составляющей модели, пусть и с небольшими техническими отличиями. R&D был одним и тем же
Хммм. Интересное мнение. Но как только условный Самсунг сделает такое (с впечатляющими характеристиками), то и все станут нитками. Не так ли?
Clarity и vibrance в лайтрум позволяют добиться сходного результата. Вычислительно быстро, без всяких сетей. (надеюсь не ошибся в написании параметров)
За неимением гербовой…
Разные бюджеты — разная прибыль. Это удобно и безопасно, как показала практика, в случае санкций. Разделяй и властвуй.
Предположу, что это даст не столь значимый результат, как ожидается. Производители иногда выкатывают спец модели. С большой батареей например. И выпустить фото флагман, если он действительно будет флагманом, вряд ли откажутся.
Бриллиант на входе — бриллиант на выходе. И не надо ничего вычислять.
Такой же вопрос задаю про 4к. С того расстояния как мы смотрим, разница примерно одинаковая. На телеке может даже меньше. Но берут, стремятся. Так настолько ли мало среди нас визуалов, что бы его задавать?
В случае простых разработок. В случае передовых, это в первую очередь расходы. Не известно выстрелит ли, и сколько при это проб окажется неудачными.
Деньги есть — можно и на 8k потратить. В массе своей, потребитель не искушён анализом товаров при выборе, цифры в характеристиках побеждают просто по принципу: чем выше значение, тем лучше.
А вот тут кстати, сила бренда разная, как по мне))Хоть Мото и принадлежит Леново, но от МОТО всегда ожидание качества — выше чем от смартфона от бренда Леново.Может это и не так.. но тем не менее.А вот от Оппы, вивы и рилми (ББК) — ожидания вообще ровно-одинаковое. Хотя рынок они вместе отъели большой.
Тот, кто не вкладывается в своё, будет зависим от других.
Маркетинг в последнее время победил))Если в свое время (кто помнит) телеки с щелевой маской сильно проигрывали апертурной решетке — то на сейчас гонка мегапикселей не унимается (как ни странно, ведь качество для выкладки в ютубчик или инсту — никакой разницы).
Это верно) я как-то раз тоже отмечал, что "хотели выпустить MOTO, а вышло снова Lenovo"
Что-то АИ хвалёный полностью испортил изображения, мне кажется оба варианта "до" были лучше, на фото с цветком нейросетка весь размытый задний план превратила в акварельное месиво, а на иллюстрации к статье просто артефакты и потеряна часть пузырьков вокруг смартфона и камеры.
Мимо. Для них оба бренда своё. Да и зависимость от других при производстве смартфонов, как бы не доминирует — процессоры, экраны, батареи. У ВВК гроуп, возможно нет ни одного производства комплектующих. Кстати, да, может и матрицу разрабатывает вовсе чужая лаборатория, просто по их заказу.
Деньги есть, можно и на лучшую матрицу потратить. Это просто параллель, которая намекает на одинаковость реакций и отношений.
Развитие есть. Просто оно не соответствует PR вниманию, которое этому развитию уделяют. Отчего кажется замах на рубль, а удар на копейку.
Думал, думал, так и не понял, что в RGBW вычислительно сложного. Простейшие векторизируемые вычисления, которые прекрасно ложатся на GPU или специализированный DSP. Для сравнения, какое-нибудь sbc аудио-кодирование, алгоритмически на порядок сложнее и не параллелизуется.
На текущий момент это невозможно даже в гораздо менее компактных корпусах профессиональных камер.
Даже чтобы из чужих запчастей что-то своё собрать, нужны разработки и исследования.
А что ещё продаёт флагманы кроме камер?Какие ещё "изюминки" должны получать столько же внимания?
Тогда были свои технологии, свое понятие идеального смартфона. Когда-то и 5 дюймов считалось фи. И сенсорные телефоны многими воспринимались как неуместное.Именно технологии задают тренд вкусу потребителей. Точнее, их внедрение. Так что, уверен, что при нынешней стагнации в r&d подобные смелые шаги могут задать тренд. Главное, чтобы цена была доступной для массового пользователя. Пусть не на презентации, но ко второму поколению
оказался не нужным, потому что задрали ценник не соответствуя моменту. Консолидация (или как это правильно сказать?) устройств, должна снижать цену относительно арифметической суммы цен двух отдельных устройств аналогичного качества. Все таки очень многие компоненты пересекаются — экран, батарея, процессор, корпус наконец.Коллега хотел приобрести, поэтому много читал и сравнивал. Планировал оставить photophone вторым устройством, читай фотоаппаратом, когда остальная аппаратная часть устареет. Плевался дальше чем видел. Как и от модуля расширения моторолы.
Но близко к этому. Почему считаю отсутствие будущего у вычислительной фотографии? Мобильное качество уже приблизилось к пределу разумности рядового обывателя. Дальнейшее усложнение алгоритмов будет давать всё меньший прирост качества, ценой всё большего удорожания чипа. При этом даже близко не приблизившись к качеству дискретных камер из-за "мусора на входе".С мусором на входе, из-за миниатюрности, зависимость аналогичная. Впрочем, если будет качественный скачок в алгоритмах (на процессоры надежды нет :), как в свое время для хардов внедрение GMR и перпендикулярной записи, то может быть. Но пока об этом можно только фантазировать.
Такое возможно только при тотальном 5G покрытии.
Совпадение? Не думаю. https://deep-review.com/articles/mobile-cameras-analysis/
Нынешние технологии съема информации как раз и дают мусор на входе. Целочисленная математика для цветов и такая же целочисленная для яркости, в то время как они должны быть с плавающей точкой.Но других технологий покамест не просматривается…
Не допускаете что в младших битах целочисленки уже мусор? Обработка же вполне может идти в плавающей. Думаю за такое время развития цифровой фотографии, такие системные проблемы давно утрясены оптимальным образом.
Не возможно. Ни само покрытие, ни решение этим покрытием каких-то проблем. Просто надо оперировать цифрами не G, а пропускной способности или еще лучше, множителем увеличения пропускной способности относительно актуальной. И тут сразу x2 скорости -> х2 частоты -> х/2 радиус покрытия -> x/4 площадь покрытия. Так во сколько раз вам надо увеличение скорости ? :))))
отправка туда файла 400 МБ и получение обратно 30 МБ за 0,5 секунды хотя бы.
640 мегабит/с. Сколько у нас сейчас на 4Г? 50? 100? Дальше считайте сами. В 6-10 раз, с соответствующими последствиями для частоты и покрытия. Может быть… когда-нибудь… нынешняя плотность сети когда-то тоже казалась фантастикой.Но для нереалтаймовых задач, чем вам не нравится отложенная обработка? Для того же фото, сохраняем базовый жипег и скрытый временный рав. При появлении возможности, хоть через день, хоть позже, отправляем рав на сервер, получаем продвинутый жипег, подменяем им базовый и удаляем временный файл.
Отложенная обработка не нравится тем, что пользователь должен сразу видеть, получился снимок или нет. Иначе он начинает думать, что смартфон тормоз, плохой медленный телефон. П-психология.
Прогрессивная загрузка жипега на веб-страницах П-психологию не напрягает? Это если бы базовый жипег фотографии был совсем плохой, да, нужно оффлайн. Но когда идет замена хорошего, на более хорошее, тем более обусловленная определенными трудностями, эта П-психология перестроится моментом. Через пару лет никому не докажете что это неправильно. Скажут да, может быть, но все устраивает и платить за это не станут.
Это еще что. Воруют все у всех. Некоторые даже ленятся делать рерайт, тупо копируют. https://uploads.disquscdn.c…
Не, ну 4К смотреть куда приятнее! Вопрос в том, что у меня до сих пор ФуллХД телек (3д, правда) и я его не смотрю ))) Просто лень. Планшет обычно лежит ближе )
Настолько же приятнее, как две сравниваемые фотографии. Вообще, основная ошибка "оценок" в том, что их путают со "сравнениями". Лучше? Лучше. Пофиг? Пофиг 🙂 Две большие разный в подходах. Если бы вам кто-то незаметно подменил телевизор который вы давно не смотрели, фиг бы вы что заметили. Хоть FHD на 4к, хоть наоборот. Это оценка. Если заметно подменили или недавно смотрели — это сравнение. А вот замену FHD на SD ни за что не пропустите, хоть так, хоть эдак.
Я, честно говоря, в этом вопросе невеликой специалист, так рядом постоял. Помню только из общей теории, что как раз прямая изменения цвета и освещенности, которая реализуется в нынешних целочисленных матрицах, реальности соответствует чуть более, чем никак. Приходится делать минимум три кадра (а лучше 7-9), и потом их с плавающей точкой пересчитывать. Но и то, до реальности ещё ползти и ползти. А времени на эти 7 кадров однако нужно, в результате эта схема применима далеко не всегда. Но в мобилы запилено, и мы, слава прогрессу, можем наслаждаться красивыми ночными фотками, которые могут быть и лучше, чем даже у зеркалок, которые изначально имеют целый и прямой, извините за каламбур, механизм получения изображения.
> Впрочем, если будет качественный скачок в алгоритмах (на процессоры надежды нет :), то может быть.Да, но нет. Алгоритму нужно иметь набор данных для обсчёта. А данные нынешняя технология позволяет получить только многократной повторной съёмкой. И тут мы видим объективные ограничения.
Скорее произойдет очередной рывок производительности. Сделают многоядерные фотопроцессоры с частотой 3 ГГц+ 😂
все ждут "атомную" батарею. что бы не задумываясь дня 3 тянула. а не бегать после обеда к розетке.
Забудьте как страшный сон. Всё будет меееедленно и печааально эволюционировать.
Ну чтобы ощутить разницу между FHD и 4К необходимо иметь телевизор не менее 49". Чем меньше диагональ, тем менее заметна разница. У меня, например, стоит 55" 4К, разница при проигрывании контента того же ютуба (хотя там те же 4К видео ужатые до предела, чтобы меньше место видимо занимали и трафика меньше уходило) есть. Если скачать с торрентов пару тройку 4К фильмов весом по 50 — 70 Гб, разница будет заметна еще больше. Большая ли это разница по сравнению с FHD телеком или нет, мне сказать сложно, предыдущий у меня был не FHD, а всего на всего HD ready c разрешением 1366 х 768, а на кухне стоит FHD но всего 22". Но если на 4К запустить FHD ролик то низкое качество контента вы заметите сразу.
10-ядерный фотопроцессор — это звучит интересно. 🙄
Ну не ) На ФуллХД я пока еще различаю пиксели! А на 4К уже нет. Готов на слепой тест )))("слепой" как-то неоднозначно прозвучало в контексте)))
Я тоже различаю, если этим моментом заинтересуюсь. Но Вы кажется не поняли условия задачи. Не должно быть повода приглядываться. Если в таких условиях заметите подмену, значит вам реально плохо/хорошо, подсознательно. В остальных случаях, разница сознательная.
Да чего мелочится 🙂 По ядру на пиксель!
Это только на первый взгляд кажется фантастикой.
Речь идёт о полном автомате. В редакторе нужно голову включать
Неужели чтобы загрузить фото в облако для обработки нужно 5g?
Там есть и полный автомат. И насколько же нужна умная голова, чтобы подвигать два ползунка? Я вообще к тому, что не нужны тут нейросети, можно обойтись в разы более простым алгоритмом.
Не думаю, что среднестатистический пользователь сможет освоить тот же Snapseed. Да и лениво его загружать. Согласитесь, что и настройками камеры перед съёмкой мало кто пользуется. Всё должна делать одна кнопка — спуск затвора.
Загружаться будет RAW, который может весить 500 МБ и даже больше.
Лучше 3 года тогда.
А тот плагин, который Вы указали в статье разве с RAW работает?
Это не плагин. Это отдельное ПО на основе машинного обучения, это не фильтр и не часть другого ПО.
Обалдеть, какой прорыв! LG уже лет 5 телевизоры с матрицей rgbw выпускает… А gigapixel — это нейросеть для восстановления четкости после увеличения разрешения и мерять ей недостаточные мощности постобработки смартфонов некорректно.
Встраивается в лайтрум и фотошоп значит плагин
Напрямую не встраивается.
На официальном сайте производителя ПО утверждается обратное. Даже не знаю кому и верить
Если ПО продается как самостоятельное ПО и может работать самостоятельно, то скорее всего это отдельное ПО 🙂