Компания Nvidia известна своими наработками в области нейронных сетей и искусственного интеллекта. Причем им находится место и в потребительской электронике. Самая известная – технология реконструкции изображения DLSS, повышающая качество графики в играх благодаря алгоритмам машинного обучения без ущерба частоте кадров.
В начале года Nvidia анонсировала новую технологию – RTX Video Super Resolution (VSR). Она призвана улучшить качество видео, которое мы смотрим на YouTube, Netflix и других площадках. Разработчики обещают, что функция способна преобразить FHD-контент, да так, что пользователь не заметит разницы с честным 4K. Рассказываем о технологии и о том, как ее активировать на своем компьютере.
Table of Contents
За всем стоят нейросети
Согласно документам Nvidia, новая технология работает на базе нейронной сети, которой «скормили» огромную выборку видеороликов. Можно подумать, что это аналог DLSS, только для видео, однако это не совсем так.
В то время как DLSS использует информацию из соседних кадров, а также данные игрового движка, VSR работает исключительно с теми данными, которые есть на видеокадре. В этом отношении у технологии больше общего с масштабированием в телевизорах, только тут за него отвечает нейросеть.
Разработчики заявляют, что VSR работает на двух уровнях: сперва технология производит интерполяцию, затем постобработку. На первом этапе VSR берет данные из соседних пикселей и достраивает на их основе несуществующие. Описать алгоритм может такая картинка:
При этом чем больше информации о соседних пикселях собирает VSR, тем лучше она работает. Исходя из этого, результат интерполяции становится хуже по мере увеличения изображения. Говоря простым языком: растягивая картинку с 1080p до 2K, технология работает эффективнее, чем при интерполяции до 4K.
У такого метода есть фундаментальное ограничение: интерполяция не способна добавить изображению детальности, которой в нём нет. Тут в дело вступает нейросеть – она отвечает за постобработку.
Это напоминает вычислительную фотографию на смартфонах – VSR определяет грани и контуры, делает их резче, в то же время подавляя шумы и артефакты сжатия. Результатом является картинка, которая должна выглядеть качественнее изначальной. «Скормить» технологии можно видео разрешением до 2K.
Как включить и настроить
Для начала нужна видеокарта Nvidia RTX 3000-й или 4000-й серии, а также версия драйвера 531.18 или новее. Открываем программу NVIDIA Control Panel, слева выбираем раздел «Регулировка параметров изображения и видео» и ставим галочку под пунктом «Улучшение видео RTX».
Там же выбираем уровень качества – чем выше, тем лучше, однако вместе с этим возрастает нагрузка на графический процессор. Nvidia заявляет, что для максимального (четвертого) уровня необходима видеокарта класса RTX 3080/4070.
VSR использует тензорные ядра, так что чем их больше, тем лучше должен быть результат. Из-за этого технология недоступна на старых видеокартах, например, GTX 1080.
Результаты работы
Тестировать RTX Video Super Resolution будем на ПК с графическим адаптером Nvidia RTX 3090 – в его распоряжении 328 тензорных ядер и 24 ГБ видеопамяти, а также 384-битная шина. Так что «узких мест» быть не должно.
Для оценки возьмем несколько видео на YouTube и сравним в FastStone кадры, полученные при помощи апскейла из 1080p при четвертом уровне качества, с «честным» 4K. Ниже будет ссылка на архив со всеми скриншотами.
4K – 1080p – 1080p vsr
А сможет ли функция улучшить 2K-видео? Давайте посмотрим.
2Knative – 2Kvsr – 4K
Если сравнивать уровни качества между собой, то разница между ними незначительная. Впрочем, судите сами.
Как и следовало ожидать, VSR лучше справляется с четкой геометрией, например, зданиями, а также с анимацией и текстом. А вот мелкие текстуры даются технологии с трудом – из-за этого хуже обстоят дела с людьми, животными и растительностью.
Что касается нагрузки на видеокарту, четвертый уровень качества требует порядка 40% ресурсов ГП RTX 3090. Температура при этом достигает 50°C, а энергопотребление – 140 Вт.
Ограничения технологии
Сейчас VSR не поддерживается видеокартами Nvidia RTX 2000-й серии. Учитывая, что поколение Turing уже оснащалось тензорными ядрами, такое ограничение кажется искусственным. Даже четвертый уровень качества не настолько требовательный, чтобы с ним не справилась RTX 2070. Впрочем, компания уже пообещала добавить поддержку в старые карты.
Если говорить о самой технологии, она не работает с HDR. VSR не умеет читать метаданные о яркости, которые запакованы в видео с расширенным динамическим диапазоном, и вряд ли следующие версии такому научатся.
Хотя технология не слишком требовательная, она заставляет RTX 3090 потреблять около 140 Вт энергии. Для стационарного компьютера это не проблема, а вот ноутбуки будут разряжаться довольно быстро.
Выводы
Как и в случае с DLSS, со временем RTX Video Super Resolution станет лучше. Сегодня практическая польза есть, но не во всех сценариях. Некоторые типы видео с ней выглядят лучше, с другими она работает весьма посредственно. Да и сама обработка видео примитивная – напоминает банальные шарпинг и подавление шумов.
С другой стороны, сам факт существования VSR полезен для индустрии. Другие компании уже работают над аналогами технологии Nvidia. Так, компания Intel уже представила функцию Video Super Resolution, для работы которой достаточно встроенного в процессор видеоадаптера.
Дальнейшее развитие таких технологий неизбежно. В будущем они станут гораздо эффективнее и, вероятно, помогут с переходом на 8K-разрешение.