Qualcomm представила Adreno Neural Fusion – аналог DLSS для смартфонов
Qualcomm представила Adreno Neural Fusion – новую систему нейронного рендеринга для мобильных игр. Она объединяет ИИ-масштабирование изображения и генерацию промежуточных кадров, а Qualcomm заявляет о снижении энергопотребления рендеринга до 40% по сравнению с предыдущим решением компании.
Как работает Adreno Neural Fusion
Adreno Neural Fusion состоит из двух основных технологий: Super Resolution и Frame Generation. Первая позволяет игре рендерить изображение в пониженном разрешении, после чего нейросеть восстанавливает его до целевого. Вторая создаёт дополнительный кадр между двумя кадрами, которые действительно отрисовал игровой движок.
При одновременном использовании обеих функций игра может рендерить изображение в половинном разрешении и рассчитывать вдвое меньше реальных кадров. На выходе система формирует изображение в полном разрешении с удвоенной относительно отправляемой движком частотой кадров.
Super Resolution работает по временному принципу и использует данные сразу нескольких последовательных кадров. Алгоритм получает цветовое изображение, глубину сцены, векторы движения и небольшое смещение камеры между кадрами. Это позволяет восстанавливать мелкие детали и уменьшать мерцание тонких объектов.
Frame Generation использует два последовательных полноразмерных кадра, данные глубины и векторы движения, после чего вычисляет промежуточное состояние сцены. В первой версии SDK генерируется один дополнительный кадр на каждый отрисованный. При этом Qualcomm прямо указывает на увеличение задержки примерно на время одного реального кадра.
ИИ теперь работает прямо внутри GPU
Главное аппаратное изменение появилось в Snapdragon 8 Elite Extreme Gen 6. GPU получил три Adreno Matrix Core – по одному специализированному ИИ-блоку в каждом из трёх графических слайсов. Они выполняют матричные операции непосредственно внутри графического конвейера, поэтому данные не приходится постоянно передавать между GPU и отдельным нейропроцессором.
С Matrix Core работает 18 МБ Adreno High Performance Memory. Эта расположенная рядом с GPU память используется для промежуточных результатов нейросетей, кадровых буферов и других данных, которые иначе пришлось бы передавать в системную LPDDR. За счёт этого Qualcomm рассчитывает сократить задержки и энергопотребление.
В собственном тесте Dragon Alley компания получила снижение мощности, необходимой для рендеринга, до 40% относительно предыдущего решения. Это результат Qualcomm, а независимых тестов Adreno Neural Fusion на серийных смартфонах пока нет.
Аппаратные Matrix Core являются преимуществом Snapdragon 8 Elite Extreme Gen 6, однако документация нового SDK описывает более широкую совместимость. Qualcomm указывает поддержку Adreno Neural Fusion начиная со Snapdragon 8 Elite Gen 6. На устройствах без Matrix Core вычисления могут перенаправляться на NPU через связку GPU-NPU, а подходящий вариант выполнения выбирается автоматически.
Поддержка Unreal Engine и Unity
Qualcomm выпустила Adreno Neural Fusion SDK для разработчиков. В него входят инструменты для Vulkan, плагины для Unreal Engine 5, поддержка Unity 6.6 и новее, а также интеграция со Snapdragon Profiler.
SDK также содержит средства отладки, позволяющие отдельно просматривать векторы движения, глубину сцены, репроекцию и накопление данных между кадрами. Это должно упростить поиск типичных проблем нейронного масштабирования вроде шлейфов, неправильного восстановления движущихся объектов и мерцания изображения.
Поддержка технологии реализуется на уровне конкретной игры, поэтому включить Adreno Neural Fusion принудительно в любом Android-проекте не получится.
Qualcomm заявляет о работе более чем с 20 играми. Среди названных проектов – Honkai: Star Rail, War Thunder Mobile, Diablo Immortal, Arena Breakout, Farming Simulator 26, Monster Hunter Outlanders, Neverness to Everness и Where Winds Meet.
Основная польза технологии для смартфонов заключается не только в повышении видимой частоты кадров. Снижение внутреннего разрешения уменьшает нагрузку на GPU и пропускную способность памяти, что должно замедлять нагрев устройства и позволять графическому процессору дольше сохранять высокие частоты. Насколько заметным окажется этот эффект в реальных играх, станет понятно после появления первых серийных смартфонов с Snapdragon 8 Elite Extreme Gen 6.
