Qualcomm présente Adreno Neural Fusion, l’équivalent de DLSS pour smartphones

Qualcomm a présenté Adreno Neural Fusion, un nouveau système de rendu neuronal pour les jeux mobiles. Il combine l’augmentation d’image par IA et la génération d’images intermédiaires, et Qualcomm annonce une réduction de la consommation énergétique du rendu jusqu’à 40 % par rapport à la solution précédente de l’entreprise.

Comment fonctionne Adreno Neural Fusion

Adreno Neural Fusion se compose de deux technologies principales : Super Resolution et Frame Generation. La première permet au jeu de rendre l’image à une résolution réduite, puis le réseau neuronal la restaure jusqu’à la résolution cible. La seconde génère une image intermédiaire entre deux images réellement rendues par le moteur de jeu.

Lors de l’utilisation simultanée des deux fonctions, le jeu peut rendre l’image à une résolution divisée par deux et calculer la moitié du nombre réel d’images. Le système produit ensuite une image en résolution complète avec une fréquence d’images doublée par rapport à celle envoyée par le moteur.

Super Resolution fonctionne sur un principe temporel et utilise les données de plusieurs images consécutives. L’algorithme reçoit une image couleur, la profondeur de scène, les vecteurs de mouvement et un léger décalage de la caméra entre les images. Cela permet de restaurer les détails fins et de réduire le scintillement des objets minces.

La génération d’images utilise deux images complètes consécutives, des données de profondeur et des vecteurs de mouvement, puis calcule l’état intermédiaire de la scène. Dans la première version de SDK, une image supplémentaire est générée pour chaque image rendue. Qualcomm indique explicitement une augmentation de la latence d’environ la durée d’une image réelle.

L’IA fonctionne désormais directement au sein de GPU

Le principal changement matériel est apparu dans le Snapdragon 8 Elite Extreme Gen 6. GPU a reçu trois Adreno Matrix Core – un bloc d’IA spécialisé par chacun des trois slices graphiques. Ils exécutent les opérations matricielles directement au sein du pipeline graphique, évitant ainsi de devoir constamment transférer les données entre GPU et un processeur neuronal dédié.

Le Matrix Core est associé à 18 Mo de mémoire Adreno High Performance Memory. Cette mémoire, située à proximité de GPU, sert aux résultats intermédiaires des réseaux de neurones, aux tampons d’images et à d’autres données qui, autrement, devraient être transférées vers la LPDDR système. Grâce à cela, Qualcomm espère réduire les latences et la consommation énergétique.

Dans son propre test, Dragon Alley a obtenu une réduction de la puissance nécessaire au rendu jusqu’à 40 % par rapport à la solution précédente. Ce résultat est attribué à Qualcomm ; aucun test indépendant d’Adreno Neural Fusion sur des smartphones grand public n’a encore été réalisé.

Les cœurs matériels Matrix constituent un avantage du Snapdragon 8 Elite Extreme Gen 6, mais la documentation du nouveau SDK décrit une compatibilité plus large. Qualcomm indique le support d’Adreno Neural Fusion à partir du Snapdragon 8 Elite Gen 6. Sur les appareils sans Matrix Core, les calculs peuvent être redirigés vers NPU via l’association GPU-NPU, et la méthode d’exécution appropriée est sélectionnée automatiquement.

Prise en charge d’Unreal Engine et Unity

Qualcomm a lancé Adreno Neural Fusion SDK pour les développeurs. Il comprend des outils pour Vulkan, des plugins pour Unreal Engine 5, une prise en charge de Unity 6.6 et versions ultérieures, ainsi qu’une intégration avec Snapdragon Profiler.

SDK contient également des outils de débogage permettant d’afficher séparément les vecteurs de mouvement, la profondeur de scène, la reprojection et l’accumulation de données entre les images. Cela devrait faciliter la détection des problèmes courants du redimensionnement neuronal tels que les traînées, la reconstruction incorrecte des objets en mouvement et le scintillement de l’image.

La prise en charge de la technologie est implémentée au niveau d’un jeu spécifique, il n’est donc pas possible d’activer Adreno Neural Fusion de manière forcée dans tout projet Android.

Qualcomm indique travailler avec plus de 20 jeux. Parmi les projets cités figurent Honkai: Star Rail, War Thunder Mobile, Diablo Immortal, Arena Breakout, Farming Simulator 26, Monster Hunter Outlanders, Neverness to Everness et Where Winds Meet.

Le principal avantage de la technologie pour les smartphones ne réside pas uniquement dans l’augmentation de la fréquence d’images visible. La réduction de la résolution interne diminue la charge sur GPU et la bande passante mémoire, ce qui devrait ralentir l’échauffement de l’appareil et permettre au processeur graphique de maintenir plus longtemps des fréquences élevées. L’ampleur de cet effet dans les jeux réels deviendra claire après la sortie des premiers smartphones en série équipés du Snapdragon 8 Elite Extreme Gen 6.