Qualcomm представила Adreno Neural Fusion – аналог DLSS для смартфонів
Qualcomm представила Adreno Neural Fusion – нову систему нейронного рендерингу для мобільних ігор. Вона поєднує ШІ-масштабування зображення та генерацію проміжних кадрів, а Qualcomm заявляє про зниження енергоспоживання рендерингу до 40% порівняно з попереднім рішенням компанії.
Як працює Adreno Neural Fusion
Adreno Neural Fusion складається з двох основних технологій: Super Resolution та Frame Generation. Перша дозволяє грі рендерити зображення у зниженій роздільній здатності, після чого неймережа відновлює його до цільової. Друга створює додатковий кадр між двома кадрами, які дійсно відмалював ігровий рушій.
При одночасовому використанні обох функцій гра може рендерити зображення в половинному роздільній здатності та обчислювати вдвічі менше реальних кадрів. На виході система формує зображення в повному роздільній здатності з подвоєною відносно надісланої рушієм частотою кадрів.
Super Resolution працює за часовим принципом і використовує дані кількох послідовних кадрів. Алгоритм отримує кольорове зображення, глибину сцени, вектори руху та невелике зміщення камери між кадрами. Це дозволяє відновлювати дрібні деталі та зменшувати мерехтіння тонких об’єктів.
Frame Generation використовує два послідовні повнорозмірні кадри, дані глибини та вектори руху, після чого обчислює проміжний стан сцени. У першій версії SDK генерується один додатковий кадр на кожен відмальований. При цьому Qualcomm прямо вказує на збільшення затримки приблизно на час одного реального кадру.
ШІ тепер працює безпосередньо всередині GPU
Головна апаратна зміна з’явилася в Snapdragon 8 Elite Extreme Gen 6. GPU отримав три Adreno Matrix Core – по одному спеціалізованому ІІ-блоку в кожному з трьох графічних слайсів. Вони виконують матричні операції безпосередньо всередині графічного конвеєра, тому дані не потрібно постійно передавати між GPU та окремим нейропроцесором.
З Matrix Core працює 18 МБ пам’яті Adreno High Performance Memory. Ця розташована поруч із GPU пам’ять використовується для проміжних результатів нейронних мереж, кадрових буферів та інших даних, які інакше довелося б передавати до системної LPDDR. Завдяки цьому Qualcomm розраховує скоротити затримки та енергоспоживання.
У власному тесту Dragon Alley компанія отримала зниження потужності, необхідної для рендерингу, до 40% порівняно з попереднім рішенням. Це результат Qualcomm, а незалежних тестів Adreno Neural Fusion на серійних смартфонах поки що немає.
Апаратні Matrix Core є перевагою Snapdragon 8 Elite Extreme Gen 6, проте документація нового SDK описує ширшу сумісність. Qualcomm зазначає підтримку Adreno Neural Fusion починаючи з Snapdragon 8 Elite Gen 6. На пристроях без Matrix Core обчислення можуть перенаправлятися на NPU через зв’язку GPU-NPU, а відповідний варіант виконання вибирається автоматично.
Підтримка Unreal Engine та Unity
Qualcomm випустила Adreno Neural Fusion SDK для розробників. До нього входять інструменти для Vulkan, плагіни для Unreal Engine 5, підтримка Unity 6.6 і новішої версії, а також інтеграція зі Snapdragon Profiler.
SDK також містить засоби налагодження, що дозволяють окремо переглядати вектори руху, глибину сцени, репроекцію та накопичення даних між кадрами. Це має спростити пошук типових проблем нейронного масштабування, таких як шлейфи, неправильне відновлення рухомих об’єктів та мерехтіння зображення.
Підтримка технології реалізується на рівні конкретної гри, тому примусово увімкнути Adreno Neural Fusion у будь-якому Android-проєкті не вдасться.
Qualcomm повідомляє про роботу понад із 20 іграми. Серед зазначених проектів – Honkai: Star Rail, War Thunder Mobile, Diablo Immortal, Arena Breakout, Farming Simulator 26, Monster Hunter Outlanders, Neverness to Everness та Where Winds Meet.
Основна користь технології для смартфонів полягає не лише у підвищенні видимого частоти кадрів. Зниження внутрішнього роздільного зменшує навантаження на GPU та пропускну здатність пам’яті, що має сповільнити нагрівання пристрою та дозволити графічному процесору довше зберігати високі частоти. Наскільки помітним буде цей ефект у реальних іграх, стане зрозуміло після появи перших серійних смартфонів із Snapdragon 8 Elite Extreme Gen 6.
