Intelligence artificielle. Combien a été dit sur lui, mais nous n'avons même pas encore vraiment commencé à parler. Presque tout ce que vous entendez sur les progrès de l'intelligence artificielle est basé sur une percée vieille de trente ans. Pour maintenir l'élan des progrès, il faudra contourner les contraintes sévères et les contraintes majeures. Ensuite, à la première personne - James Somers.
Je me tiens là où le centre du monde sera bientôt, ou simplement dans une grande salle au septième étage d'une tour brillante du centre-ville de Toronto - de quel côté vous regardez. Je suis accompagné de Jordan Jacobs, co-fondateur de ce lieu: The Vector Institute, qui ouvre ses portes cet automne et promet d'être l'épicentre mondial de l'intelligence artificielle.
Nous sommes à Toronto parce que Jeffrey Hinton est à Toronto. Et Jeffrey Hinton est le père de «l'apprentissage profond», la technique derrière le battage médiatique de l'IA. «Dans 30 ans, nous regarderons en arrière et dirons que Jeff est l'Einstein de l'IA, de l'apprentissage profond, tout ce que nous appelons l'intelligence artificielle», déclare Jacobs. De tous les chercheurs en IA, Hinton est cité plus souvent que les trois qui le suivent réunis. Ses étudiants de premier cycle et des cycles supérieurs vont travailler dans le laboratoire d'IA d'Apple, Facebook et OpenAI; Hinton lui-même est le scientifique principal de l'équipe Google Brain AI. Presque tous les progrès de l'IA au cours de la dernière décennie - dans la traduction, la reconnaissance vocale, la reconnaissance d'image et les jeux - ont quelque chose à voir avec le travail de Hinton.
Le Vector Institute, un monument à la montée des idées de Hinton, est un centre de recherche où des entreprises des États-Unis et du Canada - comme Google, Uber et NVIDIA - parrainent des efforts de commercialisation des technologies d'IA. L'argent afflue plus vite que Jacobs ne peut le demander; deux de ses cofondateurs ont sondé des entreprises de la région de Toronto et la demande d'experts en IA était 10 fois plus élevée que ce que le Canada fournit chaque année. Le Vector Institute est, en un sens, une terre vierge inexploitée pour tenter de mobiliser le monde autour du deep learning: investir, enseigner, perfectionner et appliquer cette technique. Des centres de données sont en construction, les gratte-ciel sont remplis de startups et des générations d'étudiants affluent dans la région.
Lorsque vous vous tenez sur le sol du Vector, vous avez le sentiment que vous êtes au début de quelque chose. Mais l'apprentissage profond est, à la base, très ancien. L'article révolutionnaire de Hinton, écrit avec David Rumelhart et Ronald Williams, a été publié en 1986. Le travail décrit en détail la méthode de rétropropagation de l'erreur (rétropropagation), en somme. Backprop, selon John Cohen, est "tout ce sur quoi l'apprentissage profond est basé - tout".
À la base, l'IA est aujourd'hui un apprentissage en profondeur, et l'apprentissage en profondeur est un backprop. Ce qui est étonnant étant donné que le backprop a plus de 30 ans. Il est simplement nécessaire de comprendre comment cela s'est produit: comment la technologie pourrait-elle attendre si longtemps et provoquer une explosion? Parce qu'une fois que vous connaîtrez l'histoire du backprop, vous comprendrez ce qui se passe avec l'IA maintenant, et aussi que nous ne sommes peut-être pas au début de la révolution. Peut-être en sommes-nous à la fin d'un.
La promenade du Vector Institute au bureau Google de Hinton où il passe la plupart de son temps (il est maintenant professeur émérite à l'Université de Toronto) est une sorte de publicité en direct pour la ville, du moins en été. Il devient clair pourquoi Hinton, qui est originaire du Royaume-Uni, a déménagé ici dans les années 1980 après avoir travaillé à l'Université Carnegie Mellon de Pittsburgh.
Vidéo promotionelle:
Peut-être que nous ne sommes pas au tout début de la révolution
Toronto est la quatrième plus grande ville d'Amérique du Nord (après Mexico, New York et Los Angeles) et est certainement plus diversifiée: plus de la moitié de la population est née à l'extérieur du Canada. Et vous pouvez le voir lorsque vous vous promenez dans la ville. La foule est multinationale. Il y a des soins de santé gratuits et de bonnes écoles, les gens sont sympathiques, les politiciens sont relativement gauchistes et stables; tout cela attire des gens comme Hinton, qui dit avoir quitté les États-Unis à cause de l'Irangate (Iran-Contra est un scandale politique majeur aux États-Unis dans la seconde moitié des années 1980; puis on a appris que certains membres de l'administration américaine fourniture d'armes à l'Iran, violant ainsi l'embargo sur les armes contre ce pays). C'est là que notre conversation commence avant le déjeuner.
«Beaucoup pensaient que les États-Unis pourraient bien envahir le Nicaragua», dit-il. "Pour une raison quelconque, ils croyaient que le Nicaragua appartenait aux États-Unis." Il dit avoir récemment fait une grande percée dans le projet: «Un très bon jeune ingénieur a commencé à travailler avec moi», une femme nommée Sarah Sabour. Sabur est iranien et s'est vu refuser un visa pour travailler aux États-Unis. Le bureau de Google à Toronto l'a retiré.
Hinton a 69 ans. Il a un visage anglais pointu et fin avec une bouche fine, de grandes oreilles et un nez fier. Il est né à Wimbledon et, en conversation, rappelle au narrateur un livre pour enfants sur la science: curieux, séduisant, essayant de tout expliquer. Il est drôle et joue un peu avec le public. Cela lui fait mal de s'asseoir à cause de problèmes de dos, donc il ne peut pas voler, et au cabinet du dentiste, il s'allonge sur un appareil qui ressemble à une planche de surf.
Dans les années 1980, Hinton était, comme il l'est aujourd'hui, un expert des réseaux de neurones, un modèle grandement simplifié du réseau de neurones et de synapses dans notre cerveau. Cependant, à l'époque, il était fermement convenu que les réseaux de neurones étaient une impasse dans la recherche sur l'IA. Bien que le tout premier réseau de neurones, Perceptron, ait été développé dans les années 1960 et était considéré comme le premier pas vers l'intelligence artificielle au niveau humain, en 1969, Marvin Minsky et Seymour Papert ont prouvé mathématiquement que ces réseaux ne pouvaient exécuter que les fonctions les plus simples. Ces réseaux n'avaient que deux couches de neurones: une couche d'entrée et une couche de sortie. Les réseaux avec un grand nombre de couches entre les neurones d'entrée et de sortie pourraient, en théorie, résoudre une grande variété de problèmes, mais personne ne savait comment les former, donc en pratique ils étaient inutiles. À cause des Perceptrons, presque tout le monde a abandonné l'idée des réseaux de neurones à quelques exceptions près.y compris Hinton.
La percée de Hinton en 1986 était de montrer que la rétropropagation peut entraîner un réseau neuronal profond avec plus de deux ou trois couches. Mais il a fallu encore 26 ans avant que la puissance de calcul n'augmente. Dans un article de 2012, Hinton et deux étudiants de Toronto ont montré que les réseaux de neurones profonds, formés avec backprop, surpassaient les meilleurs systèmes de reconnaissance d'image. Le Deep Learning a commencé à gagner du terrain. Le monde a décidé du jour au lendemain que l'IA prendrait le relais le matin. Pour Hinton, ce fut une victoire bienvenue.
Champ de distorsion de la réalité
Un réseau de neurones est généralement représenté sous la forme d'un sandwich dont les couches se superposent. Ces couches contiennent des neurones artificiels, qui sont essentiellement de petites unités de calcul qui se déclenchent - comme un vrai neurone se déclenche - et transmettent cette excitation à d'autres neurones auxquels elles sont connectées. L'excitation d'un neurone est représentée par un nombre, disons 0,13 ou 32,39, qui détermine le degré d'excitation des neurones. Et il y a un autre nombre important, sur chacune des connexions entre les deux neurones, qui détermine la quantité d'excitation à transférer de l'un à l'autre. Ce nombre modélise la force des synapses entre les neurones du cerveau. Plus le nombre est élevé, plus la connexion est forte, ce qui signifie que plus d'excitation circule de l'un à l'autre.
L'une des applications les plus réussies des réseaux de neurones profonds a été la reconnaissance d'images. Aujourd'hui, il existe des programmes qui peuvent reconnaître s'il y a un hot-dog dans l'image. Il y a une dizaine d'années, ils étaient impossibles. Pour les faire fonctionner, vous devez d'abord prendre une photo. Par souci de simplicité, disons qu'il s'agit d'une image en noir et blanc de 100 x 100 pixels. Vous le transmettez au réseau de neurones en définissant le déclenchement de chaque neurone simulé dans la couche d'entrée de sorte qu'il soit égal à la luminosité de chaque pixel. Il s'agit de la couche inférieure du sandwich: 10 000 neurones (100 x 100) représentant la luminosité de chaque pixel de l'image.
Ensuite, vous connectez cette grande couche de neurones à une autre grande couche de neurones, déjà plus élevée, disons plusieurs milliers, et ils, à leur tour, à une autre couche de plusieurs milliers de neurones, mais moins, et ainsi de suite. Enfin, la couche supérieure du sandwich - la couche de sortie - sera constituée de deux neurones - l'un représentant le hot-dog et l'autre pas le hot-dog. L'idée est d'entraîner le réseau neuronal à ne déclencher que le premier de ces neurones s'il y a un hot-dog sur l'image, et le second sinon. Backprop, la technique de rétropropagation sur laquelle Hinton a construit sa carrière, fait exactement cela.
Backprop est extrêmement simple, bien qu'il fonctionne mieux avec d'énormes quantités de données. C'est pourquoi le Big Data est si important pour l'IA - pourquoi Facebook et Google en sont si passionnés et pourquoi le Vector Institute a décidé de se connecter avec les quatre plus grands hôpitaux du Canada et de partager des données.
Dans ce cas, les données prennent la forme de millions d'images, certaines avec des hot dogs, d'autres sans; l'astuce consiste à marquer ces images comme ayant des hot dogs. Lorsque vous créez un réseau de neurones pour la première fois, les connexions entre les neurones ont des poids aléatoires - des nombres aléatoires qui indiquent la quantité d'excitation transmise à travers chaque connexion. Comme si les synapses du cerveau n'étaient pas encore accordées. Le but du backprop est de changer ces poids pour que le réseau fonctionne: de sorte que lorsque vous transmettez l'image de hot-dog à la couche la plus basse, le neurone de hot-dog de la couche supérieure est déclenché.
Disons que vous prenez la première photo du didacticiel de piano. Vous convertissez les intensités de pixels d'une image 100 x 100 en 10 000 nombres, un pour chaque neurone de la couche inférieure du réseau. Au fur et à mesure que l'excitation se propage à travers le réseau en fonction de la force de la connexion des neurones dans les couches adjacentes, tout arrive progressivement à la dernière couche, l'un des deux neurones qui déterminent s'il y a un hot-dog dans l'image. Puisqu'il s'agit d'une image d'un piano, le neurone du hot-dog devrait afficher zéro, et le neurone non-hot-dog devrait afficher un nombre plus élevé. Disons que les choses ne fonctionnent pas comme ça. Disons que le réseau s'est trompé sur l'image. Backprop est une procédure pour renforcer la force de chaque connexion dans le réseau, vous permettant de corriger l'erreur dans l'exemple de formation donné.
Comment ça fonctionne? Vous commencez par les deux derniers neurones et déterminez à quel point ils se trompent: quelle est la différence entre leurs nombres de tir et ce que cela devrait vraiment être. Ensuite, vous regardez chaque connexion qui mène à ces neurones - descendant les couches - et déterminez leur contribution à l'erreur. Vous continuez à faire cela jusqu'à ce que vous arriviez au premier ensemble de connexions tout en bas du réseau. À ce stade, vous savez comment la connexion individuelle contribue à l'erreur globale. Enfin, vous modifiez tous les poids pour réduire le risque global d'erreur. Cette soi-disant «technique de propagation des erreurs» consiste en ce que vous exécutez en quelque sorte des erreurs sur le réseau, en commençant par l'arrière, en partant.
L'incroyable commence à se produire lorsque vous le faites avec des millions ou des milliards d'images: le réseau commence à bien déterminer si une image est un hot dog ou non. Et ce qui est encore plus remarquable, c'est que les couches individuelles de ces réseaux de reconnaissance d'images commencent à «voir» les images de la même manière que notre propre système visuel. Autrement dit, la première couche détecte les contours - les neurones sont déclenchés lorsqu'il y a des contours et ne sont pas déclenchés lorsqu'ils ne le sont pas; la couche suivante définit des ensembles de chemins, tels que des coins; la couche suivante commence à distinguer les formes; la couche suivante trouve toutes sortes d'éléments comme "chignon ouvert" ou "chignon fermé" car les neurones correspondants sont activés. Le réseau s'organise en couches hiérarchiques sans même être programmé de cette manière.
La vraie intelligence n'est pas confuse lorsque le problème change légèrement.
C'est ce qui a tellement étonné tout le monde. Ce n'est pas tant que les réseaux de neurones sont bons pour classer les images de hot-dogs: ils construisent des représentations d'idées. Avec le texte, cela devient encore plus évident. Vous pouvez alimenter le texte de Wikipédia, plusieurs milliards de mots, vers un simple réseau de neurones, en lui apprenant à doter chaque mot de nombres correspondant aux excitations de chaque neurone de la couche. Si vous considérez tous ces nombres comme des coordonnées dans un espace complexe, vous trouvez un point, connu dans ce contexte sous le nom de vecteur, pour chaque mot de cet espace. Ensuite, vous entraînez le réseau pour que les mots qui apparaissent côte à côte sur les pages Wikipédia soient dotés de coordonnées similaires - et voilà, quelque chose d'étrange se produit: des mots avec des significations similaires apparaîtront côte à côte dans cet espace. «Mad» et «bouleversé» seront là; «Trois» et «sept» aussi. En outre,l'arithmétique vectorielle vous permet de soustraire le vecteur "France" de "Paris", de l'ajouter à "Italie" et de trouver "Rome" à proximité. Personne n'a dit au réseau neuronal que Rome était pour l'Italie comme Paris pour la France.
«C'est incroyable», dit Hinton. "C'est choquant." Les réseaux de neurones peuvent être vus comme une tentative de prendre des choses - images, mots, enregistrements de conversations, données médicales - et de les placer, comme disent les mathématiciens, un espace vectoriel multidimensionnel dans lequel la proximité ou l'éloignement des choses reflètera les aspects les plus importants du monde réel. Hinton pense que c'est ce que fait le cerveau. «Si vous voulez savoir ce qu'est une pensée», dit-il, «je peux vous la transmettre en une série de mots. Je peux dire, "John a pensé" oups. " Mais si vous demandez: qu'est-ce que la pensée? Qu'est-ce que cela signifie pour John d'avoir cette pensée? Après tout, dans sa tête, il n'y a pas de guillemets d'ouverture, de "oups", de guillemets de clôture, en général, il n'y a rien de tel. Une certaine activité neuronale se déroule dans sa tête. " De grandes images de l'activité neuronale, si vous êtes mathématicien, peuvent être capturées dans l'espace vectoriel,où l'activité de chaque neurone correspondra à un nombre, et chaque nombre correspondra à la coordonnée d'un très grand vecteur. Pour Hinton, la pensée est une danse de vecteurs.
Maintenant, il est clair pourquoi l'Institut Vector a été appelé ainsi?
Hinton crée une sorte de champ de distorsion de la réalité, un sentiment de confiance et d'enthousiasme vous est transmis, inculquant la conviction que rien n'est impossible pour les vecteurs. Après tout, ils ont déjà créé des voitures autonomes, des ordinateurs de détection du cancer, des traducteurs instantanés de langue parlée.
Ce n’est que lorsque vous quittez la pièce que vous vous souvenez que ces systèmes d’apprentissage en profondeur sont encore assez stupides malgré leur pouvoir de pensée démonstratif. Un ordinateur qui voit un tas de beignets sur une table et l'étiquète automatiquement comme «un tas de beignets sur la table» semble comprendre le monde; mais quand le même programme voit une fille se brosser les dents et dit qu'elle est «un garçon avec une batte de baseball», vous réalisez à quel point cette compréhension est insaisissable, le cas échéant.
Les réseaux de neurones ne sont que des reconnaisseurs de modèles vagues et inconsidérés, et à quel point ces outils de reconnaissance de modèles peuvent être utiles - après tout, ils cherchent à les intégrer dans n'importe quel logiciel - ils sont au mieux une race limitée d'intelligence qui est facilement trompée. Un réseau neuronal profond qui reconnaît les images peut être complètement confus si vous modifiez un pixel ou ajoutez un bruit visuel invisible pour les humains. Presque aussi souvent que nous trouvons de nouvelles façons d'utiliser le deep learning, nous sommes souvent confrontés à ses limites. Les voitures autonomes ne peuvent pas conduire dans des conditions inédites. Les machines ne peuvent pas analyser des phrases qui nécessitent du bon sens et une compréhension du fonctionnement du monde.
Le Deep Learning imite ce qui se passe dans le cerveau humain d'une certaine manière, mais superficiellement - ce qui explique peut-être pourquoi son intelligence est parfois si superficielle. Backprop n'a pas été découvert pendant l'immersion cérébrale, essayant de déchiffrer la pensée elle-même; il est né de modèles d'apprentissage animal par essais et erreurs dans des expériences à l'ancienne. Et la plupart des mesures importantes qui ont été prises depuis sa création n'incluaient rien de nouveau sur les neurosciences; c'étaient des améliorations techniques méritées par des années de travail de mathématiciens et d'ingénieurs. Ce que nous savons de l'intelligence n'est rien comparé à ce que nous n'en savons pas encore.
David Duvenaud, professeur adjoint dans le même département que Hinton à l'Université de Toronto, dit que l'apprentissage profond est similaire à l'ingénierie avant l'introduction de la physique. «Quelqu'un écrit un ouvrage et dit:" J'ai fait ce pont, et ça vaut le coup! " Un autre écrit: "J'ai fait ce pont et il s'est effondré, mais j'ai ajouté des supports et il tient debout." Et tout le monde devient fou des supports. Quelqu'un ajoute une arche - et tout le monde est comme ça: les arches sont cool! Avec la physique, vous pouvez réellement comprendre ce qui fonctionnera et pourquoi. Nous n'avons commencé que récemment à progresser vers au moins une certaine compréhension de l'intelligence artificielle."
Et Hinton lui-même dit: «La plupart des conférences parlent de faire de petits changements au lieu de réfléchir sérieusement et de poser des questions:« Pourquoi ce que nous faisons maintenant ne fonctionne pas? Quelle est la raison pour ça? Concentrons-nous là-dessus."
Il est difficile d'avoir un point de vue extérieur alors que tout ce que vous voyez est un avancement après l'avancement. Mais les dernières avancées en matière d'IA ont été moins scientifiques et plus d'ingénierie. Bien que nous ayons une meilleure compréhension des changements qui amélioreront les systèmes d'apprentissage en profondeur, nous avons encore une vague idée de la façon dont ces systèmes fonctionnent et s'ils peuvent un jour se rassembler en quelque chose d'aussi puissant que l'esprit humain.
Il est important de comprendre si nous avons pu extraire tout ce que nous pouvons du backprop. Si tel est le cas, nous aurons un plateau dans le développement de l'intelligence artificielle.
La patience
Si vous voulez voir la prochaine percée, quelque chose comme un cadre pour des machines avec une intelligence beaucoup plus flexible, vous devriez, en théorie, vous tourner vers des recherches similaires à celles des backprop dans les années 80: lorsque les gens intelligents abandonnent parce que leurs idées ne marchent pas encore. …
Il y a quelques mois, j'ai visité le Center for Minds, Brains and Machines, une institution polyvalente basée au MIT, pour voir mon ami Eyal Dechter défendre sa thèse en sciences cognitives. Avant le début de la représentation, sa femme Amy, son chien Ruby et sa fille Suzanne l'ont soutenu et lui ont souhaité bonne chance.
Eyal a commencé son discours par une question passionnante: comment se fait-il que Suzanne, qui n'a que deux ans, ait appris à parler, à jouer, à suivre des histoires? Qu'y a-t-il dans le cerveau humain qui lui permet d'étudier si bien? Un ordinateur apprendra-t-il un jour à apprendre si rapidement et facilement?
Nous comprenons les nouveaux phénomènes en termes de choses que nous comprenons déjà. Nous divisons le domaine en morceaux et l'examinons morceau par morceau. Eyal est mathématicien et programmeur, il considère les tâches - comme faire un souffle - comme des programmes informatiques complexes. Mais on n'apprend pas à faire un soufflé en mémorisant des instructions de programme de centaines de minutes comme "tourner le coude de 30 degrés, puis regarder le dessus de la table, puis étendre le doigt, puis …". Si vous deviez faire cela dans chaque nouveau cas, l'apprentissage deviendrait insupportable et vous arrêteriez de vous développer. Au lieu de cela, nous voyons des étapes de haut niveau comme «battre les blancs» dans le programme, qui sont eux-mêmes constitués de sous-programmes comme «casser les œufs» et «séparer les blancs des jaunes».
Les ordinateurs ne font pas cela et semblent donc stupides. Pour apprendre en profondeur à reconnaître un hot-dog, vous devez le nourrir de 40 millions d'images de hot-dog. Ce que Suzanne a reconnu le hot-dog, montrez-lui simplement le hot-dog. Et bien avant cela, elle aura une compréhension de la langue, qui va beaucoup plus loin que la reconnaissance de l'apparition de mots séparés ensemble. Contrairement à un ordinateur, sa tête a une idée du fonctionnement du monde. «Cela me surprend que les gens aient peur que les ordinateurs prennent leur travail», dit Eyal. «Les ordinateurs ne pourront pas remplacer les avocats parce que les avocats font quelque chose de difficile. Mais parce que les avocats écoutent et parlent aux gens. En ce sens, nous sommes très loin de tout cela."
La vraie intelligence ne sera pas confuse si vous modifiez légèrement les exigences pour résoudre le problème. Et la thèse clé d'Eyal était de démontrer exactement cela, en principe, comment faire fonctionner un ordinateur de cette manière: appliquer de manière vivante tout ce qu'il sait déjà pour résoudre de nouveaux problèmes, saisir rapidement à la volée, devenir un expert dans un domaine complètement nouveau.
C'est essentiellement ce qu'il appelle l'algorithme d'exploration-compression. Il confère à l'ordinateur la fonction de programmeur, en construisant une bibliothèque de composants modulaires réutilisables afin que des programmes plus complexes puissent être créés. Ne sachant rien sur le nouveau domaine, l'ordinateur essaie de structurer les connaissances à son sujet, l'étudie simplement, consolide ce qu'il a découvert et l'étudie plus avant, comme un enfant.
Son conseiller, Joshua Tenenbaum, est l'un des chercheurs en IA les plus cités. Le nom de Tenenbaum est apparu dans la moitié des conversations que j'ai eues avec d'autres scientifiques. Certaines des personnes clés de DeepMind - l'équipe de développement d'AlphaGo qui a battu le Champion du Monde de Go en 2016 - ont travaillé sous ses ordres. Il est impliqué dans une startup qui tente de donner aux voitures autonomes une compréhension intuitive de la physique sous-jacente et des intentions des autres conducteurs, afin qu'ils puissent mieux anticiper ce qui se passe dans des situations qu'ils n'ont pas rencontrées auparavant.
La thèse d'Eyal n'a pas encore été appliquée dans la pratique, elle n'a même pas été introduite dans les programmes. «Les problèmes sur lesquels Eyal travaille sont très, très difficiles», déclare Tenenbaum. "Il faut de nombreuses générations pour passer."
Lorsque nous nous sommes assis pour une tasse de café, Tenenbaum a déclaré qu'il recherchait l'histoire du backprop pour l'inspiration. Pendant des décennies, backprop a été une forme de maths cool, la plupart ne pouvant rien. À mesure que les ordinateurs devenaient plus rapides et que la technologie devenait plus difficile, les choses ont changé. Il espère que quelque chose de similaire arrivera à son propre travail et à celui de ses étudiants, mais "cela peut prendre encore deux décennies".
Pour Hinton, il est convaincu que surmonter les limites de l'IA, c'est créer un «pont entre l'informatique et la biologie». Backprop, de ce point de vue, était un triomphe de l'informatique biologiquement inspirée; l'idée ne venait pas à l'origine de l'ingénierie, mais de la psychologie. Alors maintenant, Hinton essaie de répéter cette astuce.
Aujourd'hui, les réseaux de neurones sont constitués de grandes couches plates, mais dans le néocortex humain, les vrais neurones s'alignent non seulement horizontalement, mais aussi verticalement, en colonnes. Hinton devine à quoi servent ces colonnes - en vision, par exemple, elles vous permettent de reconnaître des objets même lorsque vous changez de point de vue. Il crée donc une version artificielle - et les appelle «capsules» - pour tester cette théorie. Pour l'instant, rien ne sort: les capsules n'ont pas grandement amélioré les performances de ses réseaux. Mais il y a 30 ans, c'était la même chose avec backprop.
«Cela devrait fonctionner», dit-il à propos de la théorie de la capsule, riant de sa propre bravade. "Et ce qui ne fonctionne pas encore, c'est juste une irritation temporaire."
Basé sur des matériaux de Medium.com
Ilya Khel