Immédiatement lorsque le Dr Blake Richards a entendu parler de l'apprentissage profond, il s'est rendu compte qu'il faisait face à plus qu'une simple méthode qui révolutionnerait l'intelligence artificielle. Il s'est rendu compte qu'il regardait quelque chose de fondamental du cerveau humain. C'était au début des années 2000 et Richards enseignait un cours à l'Université de Toronto avec Jeff Hinton. Hinton, qui était à l'origine de la création de l'algorithme qui a conquis le monde, s'est vu offrir un cours d'introduction à sa méthode d'enseignement, inspirée du cerveau humain.
Les mots clés ici sont «inspirés du cerveau». Malgré la conviction de Richards, le pari s'est joué contre lui. Il s'est avéré que le cerveau humain n'a pas de fonction importante programmée dans les algorithmes d'apprentissage profond. En surface, ces algorithmes violaient des faits biologiques de base déjà prouvés par les neuroscientifiques.
Mais que se passe-t-il si l'apprentissage profond et le cerveau sont réellement compatibles?
Ainsi, dans une nouvelle étude publiée dans eLife, Richards, en collaboration avec DeepMind, a proposé un nouvel algorithme basé sur la structure biologique des neurones dans le néocortex. Le cortex, le cortex cérébral, abrite des fonctions cognitives supérieures telles que le raisonnement, la prévision et la pensée flexible.
L'équipe a combiné leurs neurones artificiels en un réseau en couches et l'a défié à la tâche de la vision par ordinateur classique - pour identifier les nombres manuscrits.
Le nouvel algorithme a fait un excellent travail. Mais une autre chose est importante: il a analysé des exemples d'apprentissage de la même manière que les algorithmes d'apprentissage profond, mais il a été entièrement construit sur la biologie fondamentale du cerveau.
«L'apprentissage en profondeur est possible dans une structure biologique», ont conclu les scientifiques.
Comme ce modèle est actuellement une version informatique, Richards espère passer le relais à des neuroscientifiques expérimentaux qui pourraient tester si un tel algorithme fonctionne dans un cerveau réel.
Vidéo promotionelle:
Si tel est le cas, les données peuvent être transmises aux informaticiens pour développer des algorithmes massivement parallèles et efficaces sur lesquels nos machines fonctionneront. C'est le premier pas vers la fusion des deux espaces dans une «danse vertueuse» de découverte et d'innovation.
Trouver le bouc émissaire
Bien que vous ayez probablement entendu dire que l'IA a récemment battu le meilleur des meilleurs de Go, vous ne savez pas exactement comment fonctionnent les algorithmes derrière cette IA.
En un mot, le deep learning est basé sur un réseau de neurones artificiels avec des «neurones» virtuels. Comme un grand gratte-ciel, le réseau est structuré en hiérarchie: les neurones de bas niveau traitent les entrées - par exemple, les barres horizontales ou verticales qui composent le chiffre 4 - et les neurones de haut niveau traitent les aspects abstraits du chiffre 4.
Pour former le réseau, vous lui donnez des exemples de ce que vous recherchez. Le signal se propage à travers le réseau (monte les marches du bâtiment), et chaque neurone essaie de voir quelque chose de fondamental dans le travail des «quatre».
Lorsque les enfants apprennent de nouvelles choses, le réseau ne fonctionne pas bien au début. Elle donne tout ce qui, à son avis, ressemble au numéro quatre - et vous obtenez des images dans l'esprit de Picasso.
Mais c'est exactement ainsi que se déroule l'apprentissage: l'algorithme fait correspondre la sortie à l'entrée idéale et calcule la différence entre les deux (lecture: erreurs). Les erreurs "se propagent" à travers le réseau, entraînant chaque neurone, disent-ils, ce n'est pas ce que vous recherchez, regardez mieux.
Après des millions d'exemples et de répétitions, le Web commence à fonctionner parfaitement.
Le signal d'erreur est extrêmement important pour l'apprentissage. Sans "rétropropagation d'erreur" efficace, le réseau ne saura pas lesquels de ses neurones sont erronés. À la recherche d'un bouc émissaire, l'intelligence artificielle s'améliore.
Le cerveau le fait aussi. Mais comment? Nous n'avons aucune idée.
Impasse biologique
La chose évidente est que la solution d'apprentissage en profondeur ne fonctionne pas.
La rétropropagation d'une erreur est une fonctionnalité extrêmement importante. Il nécessite une certaine infrastructure pour fonctionner correctement.
Tout d'abord, chaque neurone du réseau doit recevoir une notification d'erreur. Mais dans le cerveau, les neurones ne sont connectés qu'à quelques partenaires en aval (voire aucun). Pour que la rétropropagation fonctionne dans le cerveau, les neurones des premiers niveaux doivent percevoir des informations provenant de milliards de connexions dans les canaux en aval - et cela est biologiquement impossible.
Et si certains algorithmes d'apprentissage en profondeur adaptent une forme locale de rétropropagation d'erreur - essentiellement entre neurones -, cela nécessite que leurs connexions aller-retour soient symétriques. Dans les synapses du cerveau, cela n'arrive presque jamais.
Des algorithmes plus modernes adaptent une stratégie légèrement différente en implémentant un chemin de rétroaction séparé qui aide les neurones à trouver les erreurs localement. Bien que cela soit plus faisable biologiquement, le cerveau ne dispose pas d'un réseau informatique séparé dédié à la recherche de boucs émissaires.
Mais il possède des neurones aux structures complexes, contrairement aux "boules" homogènes qui sont actuellement utilisées en apprentissage profond.
Réseaux de branchement
Les scientifiques s'inspirent des cellules pyramidales qui remplissent le cortex humain.
«La plupart de ces neurones ont la forme d'arbres, avec leurs« racines »profondément dans le cerveau et leurs« branches »sortant à la surface», explique Richards. "Remarquablement, les racines reçoivent un ensemble d'entrées et les branches sont différentes."
C'est curieux, mais la structure des neurones s'avère souvent «exactement comme elle est nécessaire» pour résoudre efficacement un problème de calcul. Prenons le traitement sensoriel, par exemple: les fonds des neurones pyramidaux sont là où ils devraient être pour recevoir une entrée sensorielle, et les sommets sont idéalement positionnés pour transmettre les erreurs par rétroaction.
Cette structure complexe pourrait-elle être une solution évolutive pour traiter le mauvais signal?
Les scientifiques ont créé un réseau neuronal multicouche basé sur des algorithmes précédents. Mais au lieu de neurones homogènes, ils lui ont donné des neurones dans les couches intermédiaires - pris en sandwich entre l'entrée et la sortie - similaires aux vrais. En apprenant des nombres manuscrits, l'algorithme a bien mieux fonctionné qu'un réseau à une seule couche, malgré l'absence de rétropropagation classique de l'erreur. Les structures cellulaires elles-mêmes pourraient identifier l'erreur. Puis, au bon moment, le neurone a combiné les deux sources d'informations pour trouver la meilleure solution.
Il existe une base biologique à cela: les neuroscientifiques savent depuis longtemps que les branches d'entrée d'un neurone effectuent des calculs locaux qui peuvent être intégrés aux signaux de rétropropagation des branches de sortie. Mais nous ne savons pas si le cerveau fonctionne vraiment de cette façon - alors Richards a chargé des neuroscientifiques de le découvrir.
De plus, ce réseau gère le problème d'une manière similaire à la méthode traditionnelle d'apprentissage en profondeur: il utilise une structure en couches pour extraire progressivement des idées plus abstraites sur chaque nombre.
«C'est une caractéristique de l'apprentissage profond», expliquent les auteurs.
Cerveau d'apprentissage profond
Il y aura sans aucun doute plus de rebondissements dans cette histoire alors que les informaticiens apportent plus de détails biologiques dans les algorithmes d'IA. Richards et son équipe étudient une fonction prédictive descendante, dans laquelle les signaux provenant de niveaux plus élevés affectent directement la façon dont les niveaux inférieurs répondent à l'entrée.
La rétroaction des couches supérieures améliore non seulement la signalisation des erreurs; il peut également encourager les neurones à faible traitement à fonctionner «mieux» en temps réel, dit Richards. Jusqu'à présent, le réseau n'a pas surpassé les autres réseaux d'apprentissage en profondeur non biologiques. Mais cela n'a pas d'importance.
«L'apprentissage en profondeur a eu un impact énorme sur l'IA, mais jusqu'à présent, son impact sur les neurosciences a été limité», disent les auteurs de l'étude. Désormais, les neuroscientifiques auront une excuse pour mener un test expérimental et découvrir si la structure des neurones sous-tend l'algorithme naturel de l'apprentissage profond. Peut-être que dans les dix prochaines années, un échange de données mutuellement bénéfique entre les neuroscientifiques et les chercheurs en intelligence artificielle commencera.
Ilya Khel
