Qualcomm stellt Adreno Neural Fusion vor – ein DLSS-Äquivalent für Smartphones

Qualcomm hat Adreno Neural Fusion vorgestellt – ein neues System für neuronales Rendering in mobilen Spielen. Es kombiniert KI-basiertes Bildskalieren und die Generierung von Zwischenbildern, wobei Qualcomm eine Senkung des Energieverbrauchs beim Rendering um bis zu 40 % im Vergleich zur vorherigen Lösung des Unternehmens angibt.

Wie Adreno Neural Fusion funktioniert

Adreno Neural Fusion besteht aus zwei Haupttechnologien: Super Resolution und Frame Generation. Die erste Technologie ermöglicht es dem Spiel, das Bild in einer reduzierten Auflösung zu rendern, woraufhin ein neuronales Netz es auf die Zielauflösung hochskaliert. Die zweite erzeugt einen zusätzlichen Zwischenbildschirm zwischen zwei Bildern, die der Game-Engine tatsächlich gerendert wurden.

Bei gleichzeitiger Nutzung beider Funktionen kann das Spiel Bilder in halber Auflösung rendern und die Hälfte der tatsächlichen Frames berechnen. Das System erzeugt am Ausgang ein Bild in voller Auflösung mit einer doppelten Framerate im Vergleich zur vom Engine gesendeten Rate.

Super Resolution arbeitet nach einem zeitbasierten Prinzip und nutzt Daten aus mehreren aufeinanderfolgenden Frames. Der Algorithmus erhält ein Farbbild, die Tiefeninformation der Szene, Bewegungsvektoren sowie eine geringe Kameraverschiebung zwischen den Frames. Dies ermöglicht die Wiederherstellung feiner Details und die Reduzierung von Flimmern bei dünnen Objekten.

Frame Generation verwendet zwei aufeinanderfolgende Vollbild-Frames, Tiefendaten und Bewegungsvektoren, um den Zwischenzustand der Szene zu berechnen. In der ersten Version wird bei SDK pro gerendertem Frame ein zusätzlicher Frame generiert. Qualcomm weist dabei ausdrücklich auf eine Erhöhung der Latenz von etwa der Dauer eines echten Frames hin.

KI arbeitet jetzt direkt in GPU

Die wichtigste hardwareseitige Änderung wurde im Snapdragon 8 Elite Extreme Gen 6 eingeführt. GPU verfügt über drei Adreno Matrix Core – jeweils einen spezialisierten KI-Block in jedem der drei Grafik-Slices. Sie führen Matrixoperationen direkt innerhalb des Grafik-Pipelines aus, sodass Daten nicht ständig zwischen GPU und einem separaten Neuroprozessor übertragen werden müssen.

Mit Matrix Core arbeiten 18 MB Adreno High Performance Memory. Dieser in der Nähe von GPU befindliche Speicher dient als Zwischenspeicher für neuronale Netzwerke, Frame-Buffer und andere Daten, die andernfalls an das systemweite LPDDR übertragen werden müssten. Dadurch hofft Qualcomm, Latenzen und Energieverbrauch zu senken.

Im eigenen Test von Dragon Alley konnte das Unternehmen die für das Rendering erforderliche Leistung um bis zu 40 % gegenüber der vorherigen Lösung senken. Dies ist ein Ergebnis von Qualcomm; unabhängige Tests von Adreno Neural Fusion auf Serien-Smartphones liegen bisher nicht vor.

Die Hardware-Matrix-Kerne sind ein Vorteil des Snapdragon 8 Elite Extreme Gen 6, doch die Dokumentation des neuen SDK beschreibt eine breitere Kompatibilität. Qualcomm gibt Unterstützung für Adreno Neural Fusion ab dem Snapdragon 8 Elite Gen 6 an. Auf Geräten ohne Matrix-Kerne können Berechnungen über die GPU-NPU-Kopplung auf NPU umgeleitet werden, wobei die passende Ausführungsvariante automatisch ausgewählt wird.

Unterstützung für Unreal Engine und Unity

Qualcomm hat Adreno Neural Fusion SDK für Entwickler veröffentlicht. Es enthält Tools für Vulkan, Plugins für Unreal Engine 5, Unterstützung für Unity 6.6 und höher sowie eine Integration mit Snapdragon Profiler.

SDK enthält auch Debugging-Tools, mit denen Bewegungsvektoren, Tiefeninformationen der Szene, Reprojektion und Datenakkumulation zwischen den Frames einzeln betrachtet werden können. Dies soll die Suche nach typischen Problemen beim neuronalen Skalieren wie Nachläufern, fehlerhafter Wiederherstellung bewegter Objekte und Bildflimmern erleichtern.

Die Unterstützung der Technologie wird auf Spielebene implementiert, sodass Adreno Neural Fusion nicht erzwungen in jedem Android-Projekt aktiviert werden kann.

Qualcomm gibt an, mit mehr als 20 Spielen zusammenzuarbeiten. Zu den genannten Projekten gehören Honkai: Star Rail, War Thunder Mobile, Diablo Immortal, Arena Breakout, Farming Simulator 26, Monster Hunter Outlanders, Neverness to Everness und Where Winds Meet.

Der Hauptnutzen der Technologie für Smartphones liegt nicht nur in der Erhöhung der sichtbaren Bildwiederholrate. Die Verringerung der internen Auflösung entlastet GPU und die Speicherdurchsatzleistung, was die Erwärmung des Geräts verlangsamen und dem Grafikprozessor ermöglichen soll, längere Zeit hohe Taktraten zu halten. Wie deutlich dieser Effekt in realen Spielen ausfallen wird, zeigt sich erst nach Erscheinen der ersten Serien-Smartphones mit Snapdragon 8 Elite Extreme Gen 6.