Компания Nvidia известна своими наработками в области нейронных сетей и искусственного интеллекта. Причем им находится место и в потребительской электронике. Самая известная – технология реконструкции изображения DLSS, повышающая качество графики в играх благодаря алгоритмам машинного обучения без ущерба частоте кадров.
В начале года Nvidia анонсировала новую технологию – RTX Video Super Resolution (VSR). Она призвана улучшить качество видео, которое мы смотрим на YouTube, Netflix и других площадках. Разработчики обещают, что функция способна преобразить FHD-контент, да так, что пользователь не заметит разницы с честным 4K. Рассказываем о технологии и о том, как ее активировать на своем компьютере.
Table of Contents
За всем стоят нейросети
Согласно документам Nvidia, новая технология работает на базе нейронной сети, которой «скормили» огромную выборку видеороликов. Можно подумать, что это аналог DLSS, только для видео, однако это не совсем так.
В то время как DLSS использует информацию из соседних кадров, а также данные игрового движка, VSR работает исключительно с теми данными, которые есть на видеокадре. В этом отношении у технологии больше общего с масштабированием в телевизорах, только тут за него отвечает нейросеть.
Разработчики заявляют, что VSR работает на двух уровнях: сперва технология производит интерполяцию, затем постобработку. На первом этапе VSR берет данные из соседних пикселей и достраивает на их основе несуществующие. Описать алгоритм может такая картинка:
При этом чем больше информации о соседних пикселях собирает VSR, тем лучше она работает. Исходя из этого, результат интерполяции становится хуже по мере увеличения изображения. Говоря простым языком: растягивая картинку с 1080p до 2K, технология работает эффективнее, чем при интерполяции до 4K.
У такого метода есть фундаментальное ограничение: интерполяция не способна добавить изображению детальности, которой в нём нет. Тут в дело вступает нейросеть – она отвечает за постобработку.
Это напоминает вычислительную фотографию на смартфонах – VSR определяет грани и контуры, делает их резче, в то же время подавляя шумы и артефакты сжатия. Результатом является картинка, которая должна выглядеть качественнее изначальной. «Скормить» технологии можно видео разрешением до 2K.
Как включить и настроить
Для начала нужна видеокарта Nvidia RTX 3000-й или 4000-й серии, а также версия драйвера 531.18 или новее. Открываем программу NVIDIA Control Panel, слева выбираем раздел «Регулировка параметров изображения и видео» и ставим галочку под пунктом «Улучшение видео RTX».
Там же выбираем уровень качества – чем выше, тем лучше, однако вместе с этим возрастает нагрузка на графический процессор. Nvidia заявляет, что для максимального (четвертого) уровня необходима видеокарта класса RTX 3080/4070.
VSR использует тензорные ядра, так что чем их больше, тем лучше должен быть результат. Из-за этого технология недоступна на старых видеокартах, например, GTX 1080.
Результаты работы
Тестировать RTX Video Super Resolution будем на ПК с графическим адаптером Nvidia RTX 3090 – в его распоряжении 328 тензорных ядер и 24 ГБ видеопамяти, а также 384-битная шина. Так что «узких мест» быть не должно.
Для оценки возьмем несколько видео на YouTube и сравним в FastStone кадры, полученные при помощи апскейла из 1080p при четвертом уровне качества, с «честным» 4K. Ниже будет ссылка на архив со всеми скриншотами.
4K – 1080p – 1080p vsr
А сможет ли функция улучшить 2K-видео? Давайте посмотрим.
2Knative – 2Kvsr – 4K
Если сравнивать уровни качества между собой, то разница между ними незначительная. Впрочем, судите сами.
Как и следовало ожидать, VSR лучше справляется с четкой геометрией, например, зданиями, а также с анимацией и текстом. А вот мелкие текстуры даются технологии с трудом – из-за этого хуже обстоят дела с людьми, животными и растительностью.
Что касается нагрузки на видеокарту, четвертый уровень качества требует порядка 40% ресурсов ГП RTX 3090. Температура при этом достигает 50°C, а энергопотребление – 140 Вт.
Ограничения технологии
Сейчас VSR не поддерживается видеокартами Nvidia RTX 2000-й серии. Учитывая, что поколение Turing уже оснащалось тензорными ядрами, такое ограничение кажется искусственным. Даже четвертый уровень качества не настолько требовательный, чтобы с ним не справилась RTX 2070. Впрочем, компания уже пообещала добавить поддержку в старые карты.
Если говорить о самой технологии, она не работает с HDR. VSR не умеет читать метаданные о яркости, которые запакованы в видео с расширенным динамическим диапазоном, и вряд ли следующие версии такому научатся.
Хотя технология не слишком требовательная, она заставляет RTX 3090 потреблять около 140 Вт энергии. Для стационарного компьютера это не проблема, а вот ноутбуки будут разряжаться довольно быстро.
Выводы
Как и в случае с DLSS, со временем RTX Video Super Resolution станет лучше. Сегодня практическая польза есть, но не во всех сценариях. Некоторые типы видео с ней выглядят лучше, с другими она работает весьма посредственно. Да и сама обработка видео примитивная – напоминает банальные шарпинг и подавление шумов.
С другой стороны, сам факт существования VSR полезен для индустрии. Другие компании уже работают над аналогами технологии Nvidia. Так, компания Intel уже представила функцию Video Super Resolution, для работы которой достаточно встроенного в процессор видеоадаптера.
Дальнейшее развитие таких технологий неизбежно. В будущем они станут гораздо эффективнее и, вероятно, помогут с переходом на 8K-разрешение.
DLSS улучшает fps, однако сильно ухудшает качество. 4к превращается в мыло, даже на профиле «качество». С видео будет та же фигня.
Lstp22, Чушь. Картинка с DLSS почти не отличима от нативного 4К. Во всяком случае, смотрится несравнимо лучше, чем 1080p или 2К, из которого восстанавливается 4К.
Y, Однако, сударь, вы изволите ошибаться. С DLSS мыло мыльное. Как на консолях. Другого и быть не может, потому что картинка восстанавливается из гораздо меньшего разрешения. 1440p ещё более-менее. А вот 4К уже не то.
Lstp22, Имею возможность лично наблюдать работу DLSS на 4К мониторе и знаю, о чем говорю. Даже Performance, который восстанавливает картинку из 1080p, выглядит не намного хуже 4К. И уж всяко лучше нативного 1080р, тут и спорить не о чем. Режим Quality, который восстанавливает картинку из 2К, от 4К практически не отличим, если не лучше — за счёт сглаживания.
Y, Включение DLSS в The Witcher III превратило картинку в мыло. И обиднее всего то, что в классической версии 4K на 4K-мониторе все кристально чисто и с производительностью в порядке. А ведь у меня всего лишь RTX 3060 12Gb.