Cerebras Systems, une jeune société d'intelligence artificielle, est prête à montrer au monde le Cerebras WSE (Cerebras Wafer Scale Engine) - la puce semi-conductrice la plus grande, la plus puissante et la plus intelligente de l'histoire.
Cerebras WSE possède 1,2 billion de transistors, des commutateurs électroniques de base, qui sont les éléments constitutifs des puces de silicium. En comparaison, le premier processeur 4004 d'Intel, sorti en 1971, comptait 2300 transistors, tandis que le dernier processeur Advanced Micro Devices comptait 32 milliards de transistors. Cependant, le problème ici n'est pas du tout le nombre de transistors.
La plupart des puces dans le monde sont en fait un ensemble de puces créées sur la base d'une plaquette de silicium de 12 pouces - elles sont produites dans des usines spéciales en lots énormes. Mais la puce Cerebras Systems compte 400 000 cœurs connectés sur une seule plaque. Les connexions sont conçues pour fonctionner à des vitesses élevées, c'est pourquoi un billion de transistors fonctionnent ensemble comme un seul. Mais ce n'est pas tout.
À ce jour, la plus grande puce du monde a été créée par Samsung - sa structure est construite sur 2 trillions de transistors. Cependant, la puce Samsung n'est qu'une énorme carte mémoire, et la puce Cerebras est le réseau neuronal le plus complexe spécialement créé pour l'entraînement de l'intelligence artificielle. La puce Cerebras possède 400 000 cœurs sur 42 225 millimètres carrés. C'est 56,7 fois plus grand que le plus grand GPU de Nvidia avec seulement 21,1 milliards de transistors.
Une autre caractéristique de Cerebras WSE est que la puce est conçue pour être acheminée autour des zones défectueuses.
Il n'est pas possible de perfectionner toute la plaquette de silicium pendant la fabrication de la puce, de sorte que le processus de fabrication crée des zones qui sont inutilisables. Nvidia, Intel et d'autres fabricants de puces contournent le problème simplement: ils sculptent les «bonnes» puces dans la tranche de fabrication et jettent le reste. Mais cela ne peut pas être fait si chaque puce de la tranche de silicium fait partie d'un circuit commun. Cerebras a donc dû intégrer des circuits redondants pour qu'en cas de panne ou d'épuisement de l'un d'entre eux, le reste reprenne ses fonctions. Autrement dit, la puce Cerebras est un Internet miniature avec ses propres serveurs et postes de travail. Et toutes ces stations sont conçues pour servir une seule intelligence artificielle.
Les entreprises qui développent leur propre IA sont aujourd'hui les principaux consommateurs de la technologie des puces, achetant des pièces en grande quantité. Et la taille des puces utilisées est d'une importance cruciale dans le processus d'entraînement à l'IA.
Vidéo promotionelle:
Google, Facebook, OpenAI, Tencent, Baidu et bien d'autres affirment qu'une limitation fondamentale de l'IA moderne est qu'il faut trop de temps pour former les modèles. Par exemple, le supercalculateur de Nvidia, composé de dizaines de GPU à la pointe de la technologie, passe plusieurs semaines à peaufiner le code, c'est-à-dire à apprendre le réseau neutronique.
La solution au problème serait d'augmenter le nombre de puces dans l'ordinateur, cependant, lorsque plus de huit puces sont assemblées, les performances de l'ordinateur n'augmentent plus, mais diminuent, car les erreurs s'accumulent lors de l'échange d'informations.
Les développeurs eux-mêmes décrivent leur projet comme suit: «La partie la plus difficile de l'IA est le mouvement des données. L'entraînement d'un réseau de neurones nécessite des milliers d'opérations à effectuer en parallèle à un moment donné, et les puces doivent constamment communiquer pendant qu'elles effectuent ces opérations parallèles. Mais les ordinateurs avec plusieurs CI tombent en panne en essayant de transférer des données entre des CI sur des fils lents qui les relient ensemble sur un PCB. Vous aviez besoin de quelque chose qui puisse déplacer les données à la vitesse de la puce elle-même. La solution consistait à prendre la plus grande plaque que vous puissiez trouver et à en couper la plus grosse puce."
La mémoire est un élément clé de toute architecture informatique. La mémoire plus proche des unités de calcul fournit des calculs plus rapides, une latence plus faible et une meilleure efficacité énergétique lors du déplacement des données. Cependant, la taille de la puce est limitée et la majeure partie de la mémoire de l'ordinateur se trouve à l'extérieur de la puce. Cerebras Systems a contourné ce problème en donnant à chaque cœur l'accès à 18 gigaoctets de mémoire interne. En conséquence, le moteur Cerebras Wafer Scale Engine dispose de 3 000 fois plus de mémoire embarquée que le processeur graphique le plus avancé, tout en offrant 10 000 fois plus de bande passante.
Les premiers échantillons de la nouvelle puce seront mis en vente en septembre, tandis que Cerebras Systems, ayant violé toutes les règles existantes de l'industrie informatique, a également violé le principe de séparation de la production des unités informatiques et des puces. Le moteur Cerebras Wafer Scale sera commercialisé en tant que dispositif unique développé par l'entreprise et intégré dans un réseau complexe de refroidissement par eau, car la puce génère une chaleur extrême, consommant 15 kilowatts dans une si petite zone.
Le fondateur et PDG par intérim de Cerebras Systems déclare: «Conçu dès le départ pour travailler avec l'IA, Cerebras WSE contient des innovations fondamentales qui finissent par briser la stagnation vieille de plusieurs décennies de l'état actuel de la technique. En conséquence, Cerebras WSE offre des gains de performances des centaines ou des milliers de fois par rapport aux solutions modulaires modernes. Et tout cela avec une consommation d'énergie ridicule et peu d'espace."
Commentaire éditorial
Les premiers tests d'IA basés sur Cerebras WSE montrent que les tâches que la meilleure IA de Nvidia résout pendant des semaines et des mois, Cerebras WSE résout en une minute, ce qui est, pour ainsi dire, une source de joie. Cependant, les théoriciens du complot ont peu de joie à cet égard.
Nous nous souvenons tous (en tout cas de l'ancienne génération de nos lecteurs) du boom informatique du modèle «fringant des années 90», lorsque dans quelques années la puissance des ordinateurs a bondi de plusieurs ordres de grandeur. A peine une personne, rayonnante de fierté, avait acheté un ordinateur avec 16 mégaoctets de mémoire, qu'après un court laps de temps, cette mémoire a été transférée dans le cache L2.
Cependant, depuis le début des années 2000, l'industrie informatique semblait s'arrêter: si les ordinateurs des modèles 1990 et 2000 n'étaient pas comparables, alors il n'y avait pas de différence particulière entre les ordinateurs des modèles 2000 et 2010 - la puissance augmentait considérablement, mais pas par ordre de grandeur. Et maintenant, nous assistons à la naissance du deuxième Intel 8086, et maintenant les capacités de la ligne Cerebras WSE vont sauter au même rythme: tous les problèmes d'impuretés et de connexions centrales sont désormais résolus.
Nous ne connaissons pas toutes les capacités de l'IA moderne des principaux fabricants, mais, selon l'opinion générale, ces produits ne sont pas encore de l'IA et ils sont encore loin d'être un dispositif de réflexion à part entière. Néanmoins, Cerebras WSE a non seulement fait un pas dans la bonne direction, mais a fait un bond de dix ans, sinon plus, et maintenant SkyNet est déjà une perspective assez prévisible qui peut être réalisée cette année en 2025.
De plus, dans SkyNet, contrairement aux homosapiens ternes, beaucoup de temps n'est pas nécessaire pour un développement ultérieur: un réseau de neurones a juste besoin de commencer à réfléchir un peu par lui-même - et il se modifie en un instant, après quoi il déclenche une guerre nucléaire ou quelque chose comme ça. Et ce sera toujours une très bonne option.
Lorsqu'un lecteur flash avec un billion de transistors est fabriqué par Samsung ou Nvidia, tout cela peut encore s'expliquer d'une manière ou d'une autre, puisque les circuits logiques de mémoire sont relativement simples et du même type presque dans toute la zone. Mais le développement de 400 000 cœurs qui labourent en même temps, et il y a aussi quelques doublons, et certaines stations serveurs et l'enfer sait quoi. Et vous devez également écrire des programmes de contrôle pour cela, qui ont été écrits pendant des années. Ensuite, les programmes doivent être testés. Mais sur quoi ont-ils été testés si l'appareil n'était fabriqué que maintenant?
En d'autres termes, il semble que les «Martiens» aient de nouveau ouvert leurs poubelles pour les indigènes locaux. Et il y a de gros doutes que cela ait été fait pour plaire aux joueurs - il y a probablement une autre tâche ici. Et cela nous semble comme suit.
Au cours des dernières décennies, les gens intelligents se posent de plus en plus la question de l'origine de la technologie électronique, la question de la chipisation universelle, dont on ne sait pas pourquoi elle est nécessaire, etc. Afin de tromper leur cerveau d'une manière ou d'une autre, ils ont inventé un conte de fées sur un "ordinateur quantique", dont les principes ne sont même pas compris par les personnes qui ont été nommées aux "développeurs" officiels. Et maintenant, imaginez l'horreur de la ménagère mexicaine moyenne, dont le nouveau téléphone portable pensera non seulement mieux qu'elle, mais portera également à bord une sorte d '«ordinateur quantique». Autrement dit, un tel imbécile est inacceptable pour les autochtones locaux - ils commenceront à devenir fous en masse.
Par conséquent, certains «Martiens» intelligents ont décidé de montrer aux aborigènes bipèdes de la planète Terre un miracle plus simple - les principes dont les anciens de la NASA peuvent au moins expliquer d'une manière ou d'une autre. Et si les indigènes acceptent l'histoire, alors les «Martiens» montreront aux peuples d'autres merveilles magiques. Par exemple, ils vont pousser ce Cerebras WSE dans un téléphone portable et le vendre pour cent dollars. Pour les acheteurs de gadgets à la mode, ce sera bien sûr très cool et bon, mais les gens penseront un peu plus intelligemment tout de suite: qu'y a-t-il alors dans les salles serveurs de diverses organisations sérieuses, par exemple, comme la NSA, le FBI et la CIA? Quelles sont les possibilités de contrôler les pensées et le comportement de la population?
