Broadcom travaille à intégrer la connectivité optique directement dans les GPU

Les améliorations de la photonique sur silicium pourraient résoudre les problèmes d'alimentation actuels grâce aux accélérateurs d'IA

Orienté vers l’avenir : Nous approchons d'un point où les interconnexions traditionnelles en cuivre ne pourront plus transporter suffisamment de données pour permettre aux GPU et autres puces spécialisées d'être pleinement utilisés. Le marché de l'IA exige de toute urgence une solution de nouvelle génération pour remédier à ce goulot d'étranglement des interconnexions, et Broadcom semble travailler sur une solution basée sur l'optique plus proche de la puce elle-même.

Broadcom développe une nouvelle technologie de photonique sur silicium visant à augmenter considérablement la bande passante disponible pour les GPU et autres accélérateurs d'IA. En utilisant des optiques co-packagées (CPO), le fabricant de puces sans usine vise à intégrer des composants de connectivité optique directement dans les GPU, permettant des débits de données plus élevés tout en réduisant simultanément les besoins en énergie.

L'entreprise travaille sur des solutions CPO depuis plusieurs années et a présenté ses dernières avancées lors de la récente convention Hot Chips. Le « moteur optique » de Broadcom offrirait une bande passante d'interconnexion totale de 1,6 To/s, soit l'équivalent de 6,4 Tbit/s ou 800 Go/s dans chaque direction.

A lire aussi : Opinion : Broadcom pourrait-il racheter Intel ?

Cette nouvelle connexion permet un transfert de données « sans erreur » vers un seul chiplet, atteignant des niveaux de performances comparables à ceux du NVLink de Nvidia et d'autres solutions spécialisées pour centres de données. Toutefois, Broadcom n'a pas encore intégré ses interconnexions optiques dans un GPU prêt à être commercialisé, comme l'A100 ou le MI250X. À la place, il a utilisé une puce de test conçue pour émuler un vrai GPU à des fins de démonstration.

Selon Manish Mehta, vice-président de la division des systèmes optiques de Broadcom, les connexions en cuivre commencent à se dégrader après seulement cinq mètres. Si les communications optiques sont depuis longtemps considérées comme la solution à ce problème de dégradation du signal, elles nécessitent traditionnellement beaucoup plus d'énergie que les technologies à base de cuivre.

Par exemple, Nvidia estime qu’un système NVL72 alimenté par optique nécessiterait 20 kilowatts supplémentaires par rack, en plus des 120 kilowatts que le système consomme déjà.

Broadcom a réussi à réduire sa consommation d'énergie grâce à l'utilisation d'optiques co-packagées, qui placent les émetteurs-récepteurs individuels en contact direct avec le GPU. La société a utilisé la technologie de packaging puce sur wafer sur substrat (CoWoS) de TSMC pour relier une paire de piles de mémoire à large bande passante à la matrice de calcul. Les composants logiques et mémoire de la puce reposent sur un interposeur en silicium, tandis que le moteur optique de Broadcom est situé sur le substrat.

Mehta a expliqué que la technologie CPO pouvait connecter jusqu'à 512 GPU individuels sur huit racks, permettant à l'ensemble de la configuration de fonctionner comme un seul système. En comparaison, le NVL72 de Nvidia peut atteindre des capacités de calcul unifiées similaires avec « seulement » 72 GPU, ce qui suggère que la solution de Broadcom pourrait éventuellement offrir un avantage concurrentiel pour les charges de travail d'IA de nouvelle génération.