Arm présente une plateforme pour smartphones avec IA et génération d’images

Arm a présenté CSS for Mobile 2, une nouvelle plateforme pour les puces mobiles haut de gamme, combinant des cœurs de processeur C2-Ultra et C2-Pro, le GPU Mali G2-Ultra NX GPU, l’interconnexion système SI L2, ainsi que des logiciels et des outils pour les développeurs.

L’accent principal est mis sur l’intelligence artificielle locale et le traitement graphique par réseaux de neurones, ce qui permet d’améliorer la qualité de l’image et la fréquence des images sans augmentation comparable de la charge de calcul.

Nouvelle interface graphique

Le Mali G2-Ultra NX est devenu le GPU Arm de pointe GPU et, selon la définition de l’entreprise, le premier processeur graphique de la famille Mali conçu nativement pour l’IA. Les accélérateurs neuronaux sont intégrés directement dans les cœurs de shader, ce qui fait de l’inférence IA une partie du pipeline graphique.

Arm ne s’est pas contentée d’ajouter des blocs neuronaux. Dans la version GPU, le moteur d’exécution a été entièrement repensé ; l’entreprise qualifie cela de plus grande modification de l’architecture ISA Mali en sept générations. Chaque warp dispose désormais de jusqu’à deux fois plus de registres, offrant ainsi aux shaders complexes davantage de ressources pour leur exécution.

Selon les tests d’Arm, le Mali G2-Ultra NX affiche une performance jusqu’à 24 % supérieure dans les benchmarks par rapport à la génération précédente. Dans les jeux sans utilisation de technologies neuronales, l’amélioration atteint 14 %.

Images générées par l’IA

La principale caractéristique du nouveau GPU se révèle lors de l’utilisation d’algorithmes de réseaux neuronaux. Arm a préparé trois technologies pour différentes étapes de la formation de l’image. Neural Super Sampling (NSS) restaure une image haute résolution à partir d’une trame source de résolution inférieure. Neural Frame Rate Upscaling (NFRU) génère des trames intermédiaires, augmentant ainsi la fréquence d’affichage finale. Neural Super Sampling and Denoising (NSSD) combine le suréchantillonnage neuronal et la réduction du bruit dans les scènes avec traçage de rayons.

Dans le jeu de démonstration Neural Dawn, l’utilisation simultanée de NFRU et NSSD a permis d’augmenter l’efficacité jusqu’à quatre fois par rapport au rendu natif. Le volume des échanges avec la mémoire externe a ainsi été réduit de 70 %.

L’un des scénarios d’utilisation de NFRU consiste à convertir le rendu de 30 images par seconde en 60 images par seconde grâce à la génération d’images intermédiaires. Arm envisage également cette technologie comme un moyen de s’approcher de 120 images par seconde dans les jeux mobiles sans avoir besoin de calculer chaque image de manière traditionnelle.

Tracé de rayons

Les capacités de GPU sont étendues dans le domaine du traçage de rayons matériel. Le Mali G2-Ultra NX intègre un bloc Ray Tracing Unit de troisième génération et une prise en charge matérielle des Opacity Micromaps. Cette dernière technologie vise à traiter plus efficacement la géométrie transparente complexe, telle que le feuillage, les tissus et les surfaces multicouches.

Lors d’un test, l’utilisation des Micromaps d’opacité par Arm a augmenté le taux de rafraîchissement de 30 % et réduit la charge de calcul du lancer de rayons jusqu’à 70 %. La nouvelle architecture GPU diminue également le volume des accès à la DRAM dans les tests de lancer de rayons jusqu’à 13 %.

IA locale plus rapide

CSS for Mobile 2 inclut non seulement le nouveau GPU. Le cluster CPU comprend les C2-Ultra et C2-Pro : le premier est conçu pour une performance monothread maximale, tandis que le second vise l’équilibre entre vitesse et efficacité. Par rapport à la génération précédente, Arm annonce jusqu’à 15 % de gain en performance monothread et jusqu’à 12 % en performance multithread. L’entreprise indique également une navigation web 15 % plus rapide et une réduction du temps de lancement des applications de 12 %.

Pour les tâches d’IA locales, les capacités de SME2 ont été étendues. Dans la configuration de référence haut de gamme, deux C2-Ultra, six C2-Pro et deux blocs SME2 sont utilisés. Par rapport à la génération précédente, le nombre de blocs SME2 a doublé.

Dans les tests, ce cluster CPU a offert jusqu’à 1,7 fois plus de performances sur des modèles d’IA sélectionnés. Dans un scénario complet incluant la reconnaissance vocale, la recherche d’informations, le raisonnement, le lancement d’applications et la navigation web, le C2-Ultra avec deux blocs SME2 a exécuté la tâche 24 % plus rapidement que le système de génération précédente.

Premiers appareils

CSS for Mobile 2 est conçu pour les fabricants de SoC mobiles et intègre non seulement des cœurs de calcul, mais aussi l’interconnexion système SI L2, ainsi que des logiciels et des outils pour les développeurs. La plateforme coordonne le fonctionnement de CPU, GPU et d’autres blocs de calcul ; ses composants individuels peuvent être utilisés par les fabricants de manière indépendante ou combinés à leurs propres développements.

Le premier appareil de série doté d’une nouvelle architecture graphique est le Xiaomi 18 Fold, présenté en Chine avec la puce propriétaire Xring O3 et GPU Mali G2-Ultra NX. La même plateforme est utilisée dans la tablette Xiaomi Pad 9 Pro Max. Une diffusion plus large du Mali G2-Ultra NX dans les smartphones et les appareils à grands écrans est attendue en 2027.