Sur la côte ouest des États-Unis, les entreprises les plus précieuses du monde tentent de rendre l'intelligence artificielle plus intelligente. Google et Facebook se vantent d'expériences utilisant des milliards de photos et des milliers de processeurs hautes performances. Mais à la fin de l'année dernière, un projet dans l'est du Tennessee a discrètement dépassé l'échelle de n'importe quel laboratoire d'IA d'entreprise. Et il était géré par le gouvernement américain.
Le supercalculateur du gouvernement américain bat des records
Le projet record impliquait le supercalculateur le plus puissant du monde, Summit, au Oak Ridge National Laboratory. Cette voiture a remporté la couronne en juin dernier, rendant le titre aux États-Unis cinq ans plus tard, lorsque la Chine était en tête de liste. Dans le cadre d'un projet de recherche sur le climat, un ordinateur géant a lancé une expérience d'apprentissage automatique plus rapide que jamais.
Le Sommet, couvrant une superficie équivalente à deux courts de tennis, a utilisé plus de 27 000 GPU puissants dans ce projet. Il a utilisé leur puissance pour former des algorithmes d'apprentissage en profondeur, la technologie même qui sous-tend l'intelligence artificielle avancée. En apprentissage profond, les algorithmes effectuent des exercices à un milliard de milliards d'opérations par seconde, connus dans les cercles de supercalculateur sous le nom d'exaflop.
«L'apprentissage en profondeur n'a jamais atteint ce niveau de performance auparavant», déclare Prabhat, chef d'équipe de recherche au National Energy Research Center du Lawrence Berkeley National Laboratory. Son équipe a collaboré avec des chercheurs du siège social de Summit, Oak Ridge National Laboratory.
Comme vous pouvez le deviner, la formation en IA de l'ordinateur le plus puissant du monde s'est concentrée sur l'un des plus grands défis mondiaux: le changement climatique. Les entreprises technologiques forment des algorithmes pour reconnaître les visages ou les panneaux de signalisation; les scientifiques du gouvernement les ont formés pour reconnaître les modèles météorologiques comme les cyclones à partir de modèles climatiques qui compressent les prévisions du centenaire de l'atmosphère terrestre en trois heures. (Cependant, la quantité d'énergie requise par le projet et la quantité de carbone rejetée dans l'air au cours de ce processus n'est pas claire).
Vidéo promotionelle:
L'expérience du Sommet a des implications pour l'avenir de l'intelligence artificielle et de la climatologie. Le projet démontre le potentiel scientifique de l'adaptation de l'apprentissage profond aux supercalculateurs qui simulent traditionnellement des processus physiques et chimiques tels que les explosions nucléaires, les trous noirs ou de nouveaux matériaux. Il montre également que l'apprentissage automatique peut bénéficier d'une plus grande puissance de calcul - si vous pouvez la trouver - et offrir des percées à l'avenir.
«Nous ne savions pas que cela pouvait être fait à cette échelle avant de le faire», déclare Rajat Monga, CTO chez Google. Lui et d'autres Googleurs ont contribué au projet en adaptant le logiciel d'apprentissage automatique open source TensorFlow de la société à l'échelle gigantesque de Summit.
Une grande partie du travail sur la mise à l'échelle de l'apprentissage profond a été effectuée dans les centres de données des entreprises Internet, où les serveurs travaillent ensemble sur les problèmes, les séparant parce qu'ils sont relativement décousus plutôt que regroupés dans un seul ordinateur géant. Les supercalculateurs comme Summit ont une architecture différente, avec des connexions haut débit spécialisées reliant leurs milliers de processeurs en un seul système qui peut fonctionner dans son ensemble. Jusqu'à récemment, il y a eu relativement peu de travaux sur l'adaptation de l'apprentissage automatique pour fonctionner avec ce type de matériel.
Monga affirme que les travaux visant à adapter TensorFlow à l'échelle du sommet soutiendront également les efforts de Google pour étendre ses systèmes internes d'intelligence artificielle. Les ingénieurs Nvidia ont également participé à ce projet, s'assurant que des dizaines de milliers de GPU Nvidia dans cette machine fonctionnent sans accroc.
Trouver des moyens d'exploiter davantage de puissance de calcul dans les algorithmes d'apprentissage en profondeur a joué un rôle déterminant dans le développement actuel de la technologie. La même technologie que Siri utilise pour la reconnaissance vocale et les voitures Waymo pour lire les panneaux de signalisation est devenue utile en 2012 après que des scientifiques l'ont adaptée pour fonctionner sur des GPU Nvidia.
Dans une analyse publiée en mai dernier, des scientifiques d'OpenAI, un institut de recherche de San Francisco fondé par Elon Musk, ont estimé que la quantité de puissance de calcul dans les plus grandes expériences publiques d'apprentissage automatique a doublé environ tous les 3,43 mois depuis 2012; cela représenterait une multiplication par 11 en un an. Cette progression a aidé le robot Alphabet à battre les champions dans des jeux de société et vidéo difficiles, et a également amélioré considérablement la précision du traducteur de Google.
Google et d'autres entreprises créent actuellement de nouveaux types de puces compatibles avec l'IA pour poursuivre cette tendance. Google affirme que les pods avec des milliers de puces IA étroitement espacées - des processeurs tenseurs dupliqués, ou TPU - peuvent fournir 100 pétaflops de puissance de traitement, un dixième de la vitesse atteinte par Summit.
Les contributions du Sommet à la science du climat montrent à quel point l'intelligence artificielle gigantesque peut améliorer notre compréhension des conditions météorologiques futures. Lorsque les chercheurs génèrent des prévisions météorologiques centenaires, la lecture des prévisions qui en résulte devient difficile. «Imaginez que vous ayez un film YouTube qui tourne depuis 100 ans. Il n'y a aucun moyen de trouver manuellement tous les chats et chiens dans ce film », explique Prabhat. Un logiciel est généralement utilisé pour automatiser ce processus, mais il n'est pas parfait. Les résultats du sommet ont montré que l'apprentissage automatique peut faire cela beaucoup mieux, ce qui devrait aider à prédire les tempêtes comme les inondations.
Selon Michael Pritchard, professeur à l'Université de Californie à Irvine, lancer l'apprentissage profond sur les supercalculateurs est une idée relativement nouvelle qui est venue à un moment opportun pour les chercheurs en climatologie. Le ralentissement de l'avancement des processeurs traditionnels a conduit les ingénieurs à équiper les supercalculateurs d'un nombre croissant de puces graphiques pour améliorer les performances de manière plus cohérente. «Le moment est venu où vous ne pouvez plus augmenter la puissance de traitement de la manière habituelle», déclare Pritchard.
Ce changement a stoppé la modélisation traditionnelle et a donc dû s'adapter. Cela ouvre également la porte à l'exploitation de la puissance de l'apprentissage en profondeur, qui se prête naturellement aux puces graphiques. Peut-être aurons-nous une image plus claire de l'avenir de notre climat.
Ilya Khel