La division intelligence artificielle de Google a annoncé la création d'une nouvelle méthode de formation des réseaux de neurones, combinant l'utilisation d'algorithmes avancés et d'anciens jeux vidéo. Les anciens jeux vidéo Atari sont utilisés comme environnement d'apprentissage.
Les développeurs de DeepMind (rappelons que ces personnes ont créé le réseau neuronal AlphaGo, qui a vaincu à plusieurs reprises les meilleurs joueurs du jeu logique de go) estiment que les machines peuvent apprendre de la même manière que les humains. En utilisant le système de formation DMLab-30, basé sur le jeu de tir Quake III et les jeux d'arcade Atari (57 jeux différents sont utilisés), les ingénieurs ont développé un nouvel algorithme d'apprentissage automatique IMPALA (Importance Weighted Actor-Learner Architectures). Il permet aux différentes parties d'apprendre à effectuer plusieurs tâches à la fois, puis d'échanger des connaissances entre elles.
À bien des égards, le nouveau système était basé sur l'ancien système d'architecture A3C (Asynchronous Actor Critic Agents), dans lequel des agents individuels explorent l'environnement, puis le processus est interrompu et ils échangent des connaissances avec le composant central, «l'étudiant». Quant à IMPALA, il peut avoir plus d'agents, et le processus d'apprentissage lui-même se déroule d'une manière légèrement différente. Dans ce document, les agents envoient des informations à deux «étudiants» à la fois, qui échangent ensuite des données entre eux. De plus, si dans A3C le calcul du gradient de la fonction de perte (autrement dit, l'écart entre les valeurs de paramètres prédites et obtenues) est fait par les agents eux-mêmes, qui envoient des informations au noyau central, alors dans le système IMPALA, cette tâche est effectuée par les «étudiants».
Un exemple de personne jouant au jeu:
Voici comment le système IMPALA gère la même tâche:
L'un des principaux défis du développement de l'IA est le temps et la nécessité d'une puissance de calcul élevée. Même lorsqu'elles sont autonomes, les machines ont besoin de règles qu'elles peuvent suivre dans leurs propres expériences et trouver des moyens de résoudre les problèmes. Comme nous ne pouvons pas simplement créer des robots et les laisser apprendre, les développeurs utilisent des simulations et des techniques d'apprentissage en profondeur.
Pour que les réseaux de neurones modernes apprennent quelque chose, ils doivent traiter une énorme quantité d'informations, dans ce cas, des milliards de trames. Et plus ils le font vite, moins il leur faut de temps pour apprendre.
Vidéo promotionelle:
Avec suffisamment de processeurs, DeepMind affirme qu'IMPALA atteint 250 000 images par seconde, soit 21 milliards d'images par jour. Il s'agit d'un record absolu pour les tâches de ce type, selon The Next Web. Les développeurs eux-mêmes commentent que leur système d'intelligence artificielle s'acquitte mieux de la tâche que des machines et des personnes similaires.
À l'avenir, des algorithmes d'IA similaires pourront être utilisés en robotique. En optimisant les systèmes d'apprentissage automatique, les robots s'adapteront plus rapidement à leur environnement et travailleront plus efficacement.
Nikolay Khizhnyak