Un minuscule réseau auto-organisé de synapses artificielles se souvient de leurs expériences et peut résoudre des problèmes simples. Ses créateurs espèrent qu'un jour, sur la base de ce cerveau artificiel, seront créés des dispositifs dont l'efficacité énergétique ne sera pas inférieure à la puissance de calcul du cerveau. En général, les cerveaux, si nous omettons leurs réalisations dans la réflexion et la résolution de problèmes, sont parfaits dans leur efficacité énergétique. Le cerveau a besoin de la même quantité d'énergie pour fonctionner qu'une lampe à incandescence de 20 watts en absorbe. Et l'un des supercalculateurs les plus puissants et les plus rapides au monde, Computer K à Kobe, au Japon, consomme jusqu'à 9,89 mégawatts d'énergie, soit environ la même chose que 10 000 foyers. Mais en 2013, même avec cette énergie, il a fallu 40 minutes à la machine pour simuler 1% de l'activité du cerveau humain en 1 seconde.
Ainsi, les ingénieurs de recherche du NanoSystems Institute of California de l'Université de Californie à Los Angeles espèrent rivaliser avec les capacités de calcul et d'économie d'énergie du cerveau, grâce à des systèmes qui reflètent la structure du cerveau. Ils créent un appareil, peut-être le premier du genre, qui «s'inspire du cerveau pour générer des propriétés qui permettent au cerveau de faire ce qu'il fait», explique Adam Stig, chercheur et professeur associé à l'institut qui dirige le projet avec Jim Gimrzewski, professeur de chimie à l'Université de Californie. À Los Angeles.
Leur conception ne ressemble pas du tout aux ordinateurs ordinaires, qui sont basés sur de petits fils imprimés sur des microcircuits de silicium dans des circuits très ordonnés. La version expérimentale actuelle est une grille de 2 x 2 mm de nanofils d'argent reliés par des synapses artificielles. Contrairement aux circuits en silicium avec sa précision géométrique, cet appareil est tissé comme un «plat à spaghetti bien mélangé», explique Stig. De plus, sa structure fine est organisée à partir de processus chimiques et électriques aléatoires et n'est pas soigneusement conçue.
Dans sa complexité, cette toile d'argent ressemble à un cerveau. Il y a un milliard de synapses artificielles par centimètre carré de la grille, ce qui est de plusieurs ordres de grandeur différent du cerveau réel. L'activité électrique du réseau présente également une propriété propre aux systèmes complexes comme le cerveau: la «criticité», un état entre ordre et chaos qui indique une efficacité maximale.
Ce réseau de nanofils hautement entrelacés peut sembler chaotique et aléatoire, mais sa structure et son comportement ressemblent à ceux des neurones du cerveau. Les scientifiques de NanoSystems le développent en tant que dispositif cérébral pour l'apprentissage et l'informatique.
De plus, des expériences préliminaires montrent que ce treillis métallique en argent neuromorphique (c'est-à-dire semblable au cerveau) a un grand potentiel fonctionnel. Elle peut déjà effectuer des opérations pédagogiques et logiques simples. Il peut supprimer le bruit indésirable du signal reçu, une capacité importante pour la reconnaissance vocale et des tâches similaires qui posent des problèmes dans les ordinateurs traditionnels. Et son existence prouve le principe qu'un jour il sera possible de créer des appareils avec une efficacité énergétique proche de celle du cerveau.
Ces avantages sont particulièrement curieux dans le contexte de l'approche de la limite de la miniaturisation et de l'efficacité des microprocesseurs en silicium. «La loi de Moore est morte, les semi-conducteurs ne peuvent plus devenir plus petits et les gens commencent à se plaindre de ce qu'il faut faire», déclare Alex Nugent, PDG de Knowm, une société de calcul neuromorphique non impliquée dans le projet UCLA. «J'aime cette idée, cette direction. Les plates-formes informatiques conventionnelles sont un milliard de fois moins efficaces."
Vidéo promotionelle:
Bascule comme synapses
Lorsque Gimrzewski a commencé à travailler sur son projet de grille d'argent il y a 10 ans, il ne s'intéressait pas du tout à l'efficacité énergétique. Il s'ennuyait. Après avoir utilisé un microscope à effet tunnel pour étudier l'électronique à l'échelle atomique pendant 20 ans, il a finalement dit: «Je suis fatigué de la perfection et du contrôle précis et un peu fatigué du réductionnisme.
Le réductionnisme, il faut le supposer, sous-tend tous les microprocesseurs modernes, lorsque des phénomènes et des circuits complexes peuvent être expliqués à l'aide de phénomènes et d'éléments simples.
En 2007, il a été invité à étudier les commutateurs atomiques individuels (ou commutateurs) développés par le groupe Masakazu Aono du Centre international des matériaux sur la nanoarchitectonique à Tsukuba, au Japon. Ces interrupteurs contenaient le même ingrédient qui rend une cuillère en argent noire lorsqu'elle touche un œuf: du sulfure de fer pris en sandwich entre de l'argent métallique dur.
L'application d'une tension aux dispositifs pousse les ions d'argent chargés positivement dans le sulfure d'argent vers la couche de cathode d'argent, où ils sont réduits en argent métallique. Les filaments d'argent atomique se développent, fermant finalement l'écart entre les côtés en argent métallique. L'interrupteur est activé et le courant peut circuler. L'inversion du courant a l'effet inverse: les ponts d'argent se contractent et l'interrupteur s'éteint.
Cependant, peu de temps après avoir développé le commutateur, le groupe d'Aono a commencé à observer un comportement inhabituel. Plus l'interrupteur était souvent utilisé, plus il était facile de l'allumer. S'il n'a pas été utilisé pendant un certain temps, il s'est progressivement éteint tout seul. Essentiellement, le commutateur se souvenait de son histoire. Aono et ses collègues ont également constaté que les interrupteurs semblaient interagir les uns avec les autres, de sorte que l'activation d'un interrupteur bloquait ou éteignait parfois d'autres à proximité.
La majorité du groupe d'Aono voulait construire ces étranges propriétés en dehors des commutateurs. Mais Gimrzewski et Stig (qui venait de terminer son doctorat dans le groupe de Gimrzewski) se souvenaient des synapses, les commutateurs entre les cellules nerveuses du cerveau humain, qui modifient également les relations avec l'expérience et l'interaction. Et ainsi l'idée est née. «Nous avons pensé, pourquoi ne pas essayer de traduire tout cela en une structure qui ressemble à un cortex cérébral de mammifère et l'étudier?», Déclare Stig.
Construire une structure aussi complexe était certes difficile, mais Stig et Odrius Avicenis, qui venaient de rejoindre le groupe en tant qu'étudiant diplômé, ont élaboré un protocole à cet effet. En versant du nitrate d'argent sur de minuscules sphères de cuivre, ils pourraient provoquer la croissance de fils d'argent microscopiquement fins et entrecroisés. Ils pourraient ensuite pomper du gaz sulfureux à travers cette grille pour créer une couche de sulfure argenté entre les fils d'argent, comme dans le commutateur atomique de l'équipe Aono d'origine.
Criticité auto-organisée
Lorsque Gimzewski et Stig ont parlé de leur projet aux autres, personne ne pensait qu'il fonctionnerait. Certains ont dit que l'appareil montrerait un type d'activité statique et s'y installerait, a rappelé Stig. D'autres ont suggéré le contraire: «Ils ont dit que l'interrupteur serait en cascade et que toute la structure brûlerait», dit Gimzewski.
Mais l'appareil n'a pas fondu. En revanche, lorsque Gimzewski et Stig le regardaient à travers une caméra infrarouge, le courant d'entrée continuait à modifier les chemins empruntés à travers l'appareil - prouvant que l'activité sur le réseau n'était pas localisée, mais plutôt distribuée, comme dans le cerveau.
Un jour d'automne 2010, alors qu'Avicenis et son collègue Henry Sillin augmentaient la tension d'entrée de l'appareil, ils ont soudainement remarqué que la tension de sortie commençait à vibrer de manière aléatoire, comme si le treillis métallique avait pris vie. «Nous nous sommes assis et l'avons regardé, nous avons été choqués», raconte Sillin.
Ils ont deviné qu'ils avaient trouvé quelque chose d'intéressant. Lorsqu'Avicenis a analysé les données de surveillance sur plusieurs jours, il a constaté que le réseau restait au même niveau d'activité pendant de courtes périodes plus souvent que pendant de longues périodes. Ils ont découvert plus tard que les petits domaines d'activité étaient plus courants que les grands.
«Ma mâchoire est tombée», dit Avicenis, car c'est la première fois qu'ils apprennent une loi de puissance à partir de leur appareil. Les lois de puissance décrivent des relations mathématiques dans lesquelles une variable change en tant que puissance d'une autre. Ils s'appliquent aux systèmes dans lesquels des échelles plus grandes, des événements plus longs sont moins courants que des événements plus petits et plus courts, mais ils sont répandus et non par accident. Per Bac, un physicien danois décédé en 2002, a d'abord proposé des lois de puissance comme la marque de toutes sortes de systèmes dynamiques complexes qui peuvent s'organiser à grande échelle et sur de longues distances. Ce comportement, a-t-il dit, indique qu'un système complexe est en équilibre et fonctionne sur le juste milieu entre l'ordre et le chaos, dans un état de «criticité», et que toutes ses parties interagissent et s'interconnectent pour une efficacité maximale.
Comme Buck l'avait prédit, un comportement de loi de puissance a été observé dans le cerveau humain: en 2003, Dietmar Plenz, neurophysiologiste au National Institutes of Health, a observé que des groupes de cellules nerveuses en activaient d'autres, ce qui à leur tour en activait d'autres, déclenchant souvent des cascades systémiques d'activations. Plenz a constaté que les tailles de ces cascades suivent une distribution de loi de puissance, et le cerveau agissait de manière à maximiser la propagation de l'activité sans risquer de perdre le contrôle de sa propagation.
Le fait que le dispositif de l'Université de Californie ait également démontré la loi de puissance en action est très important, dit Plentz. Parce qu'il s'ensuit que, comme dans le cerveau, il a un équilibre délicat entre l'activation et l'inhibition, ce qui fait fonctionner la somme de ses parties. L'activité ne supprime pas l'ensemble, mais elle ne s'arrête pas non plus.
Plus tard, Gimzewski et Stig ont découvert une autre similitude entre le réseau d'argent et le cerveau: tout comme le cerveau humain endormi présente moins de courtes cascades d'activation que le cerveau éveillé, l'état d'activation court dans le réseau d'argent devient moins courant aux énergies d'entrée inférieures. D'une certaine manière, la réduction de la consommation électrique d'un appareil peut créer un état ressemblant à l'état dormant du cerveau humain.
Apprentissage et informatique
Et voici la question: si un réseau de fils d'argent a des propriétés cérébrales, peut-il résoudre des problèmes de calcul? Des expériences préliminaires ont montré que la réponse est oui, bien que l'appareil, bien sûr, ne soit même pas comparable à distance à un ordinateur ordinaire.
Premièrement, il n'y a pas de logiciel. Au lieu de cela, les chercheurs exploitent le fait que le réseau peut déformer le signal entrant de différentes manières, selon l'endroit où la sortie est mesurée. Cela offre une utilisation possible pour la reconnaissance vocale ou d'image, car l'appareil doit être capable de nettoyer un signal d'entrée bruyant.
Il en découle également que le dispositif peut être utilisé pour des calculs dits de réservoir. Puisqu'une seule entrée peut, en principe, générer plusieurs millions de sorties différentes (d'où le réservoir), les utilisateurs peuvent sélectionner ou combiner des sorties de sorte que le résultat soit le calcul d'entrée souhaité. Par exemple, si vous stimulez un appareil à deux endroits différents en même temps, il y a une chance que l'une des millions de sorties différentes représente la somme des deux entrées.
Le défi consiste à trouver les bonnes conclusions et à les décoder, et à trouver la meilleure façon de coder les informations afin que le réseau puisse les comprendre. Cela peut être fait en entraînant l'appareil: en exécutant la tâche des centaines ou des milliers de fois, d'abord avec un type d'entrée, puis avec un autre, et en comparant la sortie qui répond le mieux à la tâche. «Nous ne programmons pas l'appareil, mais nous choisissons la meilleure façon d'encoder les informations afin que le comportement du réseau soit utile et intéressant», explique Gimrzewski.
Dans un ouvrage à paraître prochainement, les scientifiques expliqueront comment ils ont formé un réseau de fils pour effectuer des opérations logiques simples. Et dans des expériences inédites, ils ont formé le réseau à résoudre un simple problème de mémoire habituellement posé aux rats (le labyrinthe en T). Dans le test du labyrinthe en T, le rat est récompensé s'il effectue un virage correct en réponse à la lumière. Avec sa propre version pour la formation, le réseau peut faire le bon choix 94% du temps.
Jusqu'à présent, ces résultats n'ont été guère plus qu'une preuve de principe, dit Nugent. «Le petit rat qui prend une décision dans le labyrinthe en T ne se rapproche jamais de quelque chose dans l'apprentissage automatique qui peut évaluer ses systèmes», sur un ordinateur traditionnel, dit-il. Il doute que l'appareil puisse être transformé en une puce utile dans les prochaines années.
Mais le potentiel est énorme, souligne-t-il. Parce que le réseau, comme le cerveau, ne sépare pas le traitement et la mémoire. Les ordinateurs traditionnels doivent transférer des informations entre différents domaines qui gèrent ces deux fonctions. «Toute cette communication supplémentaire s'accumule parce que les fils ont besoin d'alimentation», explique Nugent. En prenant les ordinateurs traditionnels, vous auriez à éteindre la France afin de simuler un cerveau humain complet avec une résolution décente. Si des appareils comme le Silver Network peuvent résoudre des problèmes d'efficacité des algorithmes d'apprentissage automatique exécutés sur des ordinateurs traditionnels, ils peuvent consommer un milliard de fois moins d'énergie. Et puis la question est petite.
Les découvertes des scientifiques soutiennent également l'idée que, dans les bonnes circonstances, les systèmes intelligents peuvent être formés par auto-organisation sans aucun modèle ou processus pour leur développement. Le Silver Network "est apparu spontanément", explique Todd Hilton, un ancien directeur de la DARPA qui a soutenu le projet dès le début.
Gimrzewski pense qu'un réseau de fils d'argent ou d'appareils similaires peut être meilleur que les ordinateurs traditionnels pour prédire des processus complexes. Les ordinateurs traditionnels modélisent le monde avec des équations qui décrivent souvent des phénomènes complexes de manière approximative. Les réseaux neuromorphiques à commutation atomique alignent leur propre complexité structurelle intrinsèque avec le phénomène qu'ils simulent. Et ils le font aussi rapidement - l'état du réseau peut fluctuer à des taux pouvant atteindre des dizaines de milliers de changements par seconde. «Nous utilisons un système complexe pour comprendre des phénomènes complexes», explique Gimrzewski.
Plus tôt cette année, lors d'une réunion de l'American Chemical Society à San Francisco, Gimzewski, Stig et leurs collègues ont présenté les résultats d'une expérience dans laquelle ils ont alimenté l'appareil les trois premières années d'un ensemble de données de trafic de Los Angeles sur six ans sous la forme d'une série d'impulsions indiquant la quantité voitures qui passent par heure. Après des centaines d'heures de formation, la sortie a finalement prédit la tendance statistique de la seconde moitié de l'ensemble de données, et plutôt bien, même si elle n'a pas été montrée à l'appareil.
Peut-être qu'un jour, plaisante Gimrzewski, il utilise le réseau pour prédire la bourse.
Ilya Khel
