Google a dévoilé son supercalculateur de quatrième génération TPU v4, qui compte 4 096 unités de traitement tensorielles.
La course aux supercalculateurs
Il est clair que l’ère des supercalculateurs n’est qu’à ses débuts. Les supercalculateurs sont actuellement les machines les plus puissantes au monde, capables de traiter de grandes quantités de données. Autrement dit, capables d’effectuer des calculs complexes à des vitesses incroyables. Ces machines sont utilisées essentiellement dans la recherche scientifique, pour l’analyse de données et d’autres tâches de calcul intensives. Celles qui nécessitent des quantités massives de puissance de calcul.
De nombreux supercalculateurs modernes sont construits à l’aide de grappes de centaines, voire de milliers de processeurs individuels, qui sont connectés ensemble pour créer un système unique et unifié. Ces machines peuvent effectuer des billions de calculs par seconde et sont utilisées pour résoudre certains des problèmes les plus difficiles dans des domaines tels que la physique, l’astronomie, la modélisation du climat, etc.
L’essor des grands modèles de langage dans l’IA a déclenché une concurrence intense entre les entreprises qui construisent des supercalculateurs. Nous savions déjà que le supercalculateur FRONTIER, était devenu le plus rapide au monde, mettant fin à la domination du Japonais Fugaku.
Google vient de publier les détails de son TPU de quatrième génération. Démontrant ainsi comment ils ont utilisé leurs commutateurs optiques développés sur mesure pour connecter plus de 4 000 puces dans un seul supercalculateur. Cette innovation permet au supercalculateur de Google de reconfigurer les connexions entre les puces en temps réel, améliorant ainsi les performances de façon significative.
De l’IA au Supercalcul
Les leaders technologiques, en particulier Google, sont depuis longtemps à la pointe de l’IA. D’ailleurs, Google Quantum Computing, de la société, est à la pointe de la technologie quantique et d’IA.
Et selon la dernière déclaration de la société, Google a conçu une puce unique appelée Tensor Processing Unit (TPU). Spécifiquement pour la formation de modèles d’IA.
Il faut savoir que Google exécute ses applications d’IA sur des puces TPU, et cela inclut Bard, qui est une première itération du moteur de recherche équipé de l’IA. Google a ainsi déployé des dizaines de supercalculateurs TPU v4 dans Google Cloud.
Qu’est-ce qu’un TPU ?
“Le machine learning a permis de réaliser des avancées commerciales et scientifiques dans de nombreux domaines, tels que la sécurité des réseaux ou encore les diagnostics médicaux. Nous avons créé Cloud TPU (Tensor Processing Unit) afin de permettre à quiconque de réaliser des percées similaires”.
Google
TPU est un circuit intégré spécifique à l’application ASIC d’accélérateur d’intelligence artificielle. Il a été développé par Google pour l’apprentissage automatique des réseaux neuronaux. Et ce à l’aide du logiciel TensorFlow de Google. Initialement, Google a commencé à utiliser les TPU en interne en 2015 et, en 2018, les a rendus disponibles pour une utilisation par des tiers. Notamment dans le cadre de son infrastructure cloud.
Par rapport à une unité de traitement graphique, les TPU sont conçus pour un volume élevé de calculs de faible précision. Mais avec plus d’opérations d’entrée/sortie par joule. Les TPU d’ASIC sont montés dans un ensemble dissipateur thermique. Ce dernier peut s’insérer dans un emplacement de disque dur dans un rack de centre de données, selon les explications des ingénieurs de la société.
Il faut savoir que le Cloud TPU est l’ASIC de Machine Learning spécialement conçu pour les produits Google. Tels que Google Traduction, Google Photos, le moteur de recherche, l’Assistant et Gmail.
Quelles performances pour le TPU v4
Le modèle PaLM de Google, son plus grand modèle de langage rendu public à ce jour, a mis plus de 50 jours à s’entraîner en le répartissant sur deux superordinateurs dotés de 4 000 puces. Les interconnexions flexibles de Google aident à surmonter ce défi. Et cela en permettant à l’entreprise de modifier la topologie de ses interconnexions de supercalculateurs à la volée.
Ce réseau haut débit personnalisé offre des performances pouvant dépasser les 100 pétaflops dans un seul pod. Soit une puissance de calcul suffisante pour transformer une entreprise ou réaliser la prochaine percée scientifique, d’après Google.
Le supercalculateur de Google a déjà été utilisé, la startup Midjourney utilisant le système pour former son modèle. Celui qui génère des images à partir de saisies de texte, voir notre article.
Pour la comparaison, son supercalculateur est plus rapide et plus économe en énergie que la machine de Nvidia.
Selon plusieurs médias, dans un article récent, Google a révélé que leur supercalculateur est 1,7 fois plus rapide et 1,9 fois plus économe en énergie qu’un système basé sur la puce A100 de Nvidia pour un système de même taille. Google n’a pas comparé son produit de quatrième génération à la puce H100 phare actuelle de Nvidia. Cependant, il y a des indices que Google travaille sur un nouveau TPU pour concurrencer cette dernière puce de Nvidia.