Qualcomm presenta Adreno Neural Fusion: un equivalente a DLSS para smartphones

Qualcomm presentó Adreno Neural Fusion, un nuevo sistema de renderizado neuronal para juegos móviles. Combina el escalado de imagen con IA y la generación de cuadros intermedios, y Qualcomm afirma una reducción del consumo energético en el renderizado de hasta un 40 % en comparación con la solución anterior de la empresa.

Cómo funciona Adreno Neural Fusion

Adreno Neural Fusion consta de dos tecnologías principales: Super Resolution y Frame Generation. La primera permite que el juego renderice la imagen en una resolución reducida, tras lo cual la red neuronal la restaura hasta la resolución objetivo. La segunda genera un cuadro adicional entre dos cuadros que fueron realmente dibujados por el motor del juego.

Cuando se utilizan ambas funciones simultáneamente, el juego puede renderizar la imagen a una resolución reducida a la mitad y calcular la mitad de los fotogramas reales. El sistema genera en la salida una imagen a resolución completa con una frecuencia de fotogramas doble respecto a la enviada por el motor.

Super Resolution funciona con un principio temporal y utiliza datos de varios fotogramas consecutivos. El algoritmo recibe una imagen en color, la profundidad de la escena, los vectores de movimiento y un pequeño desplazamiento de la cámara entre fotogramas. Esto permite restaurar detalles finos y reducir el parpadeo de objetos delgados.

Frame Generation utiliza dos fotogramas completos consecutivos, datos de profundidad y vectores de movimiento, para luego calcular el estado intermedio de la escena. En la primera versión SDK, se genera un fotograma adicional por cada fotograma renderizado. Qualcomm indica explícitamente que esto aumenta la latencia aproximadamente en el tiempo de un fotograma real.

La IA ahora funciona directamente dentro de GPU

El principal cambio de hardware apareció en el Snapdragon 8 Elite Extreme Gen 6. GPU recibió tres Adreno Matrix Core: un bloque de IA especializado en cada uno de los tres slices gráficos. Estos realizan operaciones matriciales directamente dentro del pipeline gráfico, por lo que no es necesario transferir constantemente los datos entre GPU y un procesador neuronal separado.

Con Matrix Core funcionan 18 MB de memoria Adreno High Performance Memory. Esta memoria, ubicada junto a GPU, se utiliza para resultados intermedios de redes neuronales, buffers de cuadros y otros datos que de otro modo tendrían que transferirse a la LPDDR del sistema. Gracias a esto, Qualcomm espera reducir la latencia y el consumo energético.

En su propia prueba, Dragon Alley logró reducir la potencia necesaria para el renderizado hasta un 40% en comparación con la solución anterior. Este es un resultado de Qualcomm; aún no existen pruebas independientes de Adreno Neural Fusion en smartphones de serie.

Los núcleos de hardware Matrix Core son una ventaja del Snapdragon 8 Elite Extreme Gen 6, sin embargo, la documentación del nuevo SDK describe una compatibilidad más amplia. Qualcomm indica soporte para Adreno Neural Fusion a partir del Snapdragon 8 Elite Gen 6. En dispositivos sin Matrix Core, los cálculos pueden redirigirse a NPU mediante el enlace GPU-NPU, y la opción de ejecución adecuada se selecciona automáticamente.

Soporte para Unreal Engine y Unity

Qualcomm lanzó Adreno Neural Fusion SDK para desarrolladores. Incluye herramientas para Vulkan, plugins para Unreal Engine 5, soporte para Unity 6.6 y versiones posteriores, así como integración con Snapdragon Profiler.

SDK también incluye herramientas de depuración que permiten visualizar por separado los vectores de movimiento, la profundidad de escena, la reproyección y la acumulación de datos entre cuadros. Esto debería facilitar la identificación de problemas típicos del escalado neuronal, como estelas, una recuperación incorrecta de objetos en movimiento y parpadeo de imagen.

El soporte de la tecnología se implementa a nivel del juego específico, por lo que no es posible activar Adreno Neural Fusion de forma forzada en cualquier proyecto Android.

Qualcomm afirma trabajar con más de 20 juegos. Entre los proyectos mencionados se encuentran Honkai: Star Rail, War Thunder Mobile, Diablo Immortal, Arena Breakout, Farming Simulator 26, Monster Hunter Outlanders, Neverness to Everness y Where Winds Meet.

El principal beneficio de la tecnología para los smartphones no se limita a aumentar la frecuencia de cuadros visible. La reducción de la resolución interna disminuye la carga sobre GPU y el ancho de banda de memoria, lo que debería reducir el calentamiento del dispositivo y permitir que el procesador gráfico mantenga frecuencias altas por más tiempo. Qué tan notable será este efecto en juegos reales se sabrá tras el lanzamiento de los primeros smartphones de producción con Snapdragon 8 Elite Extreme Gen 6.