Компания Nvidia заявила о намерении внедрить технологию DLSS в движок Unity, причем, в ближайшие месяцы. Изначально эта технология интеллектуального масштабирования (Deep Learning Super Sampling) появилась в 2018 году, как ответ на низкую производительность игр при включенном рейтрейсинге. В 2019 году на Unity с выходом сборки 2019 LTS появились эффекты на основе трассировки лучей, но они сильно влияли на оптимизацию, поэтому многие разработчики от них отказывались.
Теперь же компания Nvidia интегрирует DLSS прямо в движок при помощи конвейера рендеринга высокой четкости (HDPR). Появится он в версии Unity 2021.2. После этого разработчики игр на Unity смогут использовать всю мощь рейтрейсинга, не беспокоясь о просадках FPS.
Как работает технология DLSS? Одновременно просто и сложно. В Nvidia построили суперкомпьютер для обучения глубокой нейронной сети DLSS при помощи высококачественных изображений в разрешении 16K (использовался самый разный контент). После обучения полученная информация загружалась в основную библиотеку DLSS. Также результаты машинного обучения добавляли в сами игры и в драйверы Nvidia Game Ready.
Во время работы DLSS, традиционным способом визуализируется только часть пикселей. Остальная картинка воссоздается путем объединения трех входных сигналов: предыдущего кадра в высоком разрешении, изображения в низком разрешении и векторов движения текущего кадра. Это позволяет разгрузить видеокарту, чтобы она могла освободить часть мощности для отрисовки сложных эффектов (в том числе рейтрейсинга).
На данный момент поддержка DLSS есть только у движка Unreal Engine от компании Epic Games, для которого Nvidia выпустили специальный плагин, упрощающий интеграцию интеллектуального сглаживания. Добавление DLSS в Unity увеличит популярность этой технологии и поспособствует ее распространению на другие движки.
На столько все заумно , что ничего не поняла .. можно только пожелать успехов им в своих разработках .глядишь и игрокам что то зайдет .