Presque tout ce que vous entendez sur l'intelligence artificielle aujourd'hui provient de l'apprentissage profond. Cette catégorie d'algorithmes fonctionne avec des statistiques pour trouver des modèles dans les données et s'est avérée extrêmement puissante pour imiter les compétences humaines, telles que notre capacité à voir et à entendre. Dans une très faible mesure, il peut même imiter notre capacité à raisonner. Ces algorithmes prennent en charge la recherche Google, Facebook Newsfeed, le moteur de recommandation Netflix et façonnent des secteurs tels que la santé et l'éducation.
Comment se développe l'apprentissage profond
Malgré le fait que l'apprentissage profond a pratiquement à lui seul apporté l'intelligence artificielle au public, il ne représente qu'un petit éclair dans la tâche historique de l'humanité de reproduire sa propre intelligence. Il est à l'avant-garde de cette recherche depuis moins d'une décennie. Si nous mettons de côté toute l'histoire de cette région, il est facile de comprendre que bientôt elle peut aussi disparaître.
Les hauts et les bas soudains de diverses méthodes caractérisent depuis longtemps la recherche sur l'IA, a-t-il déclaré. Il y a eu une concurrence intense entre différentes idées chaque décennie. Puis, de temps en temps, le commutateur bascule et toute la communauté commence à faire une chose.
Nos collègues de MIT Technology Review voulaient visualiser ces problèmes et démarrages. À cette fin, ils se sont tournés vers l'une des plus grandes bases de données d'articles scientifiques ouverts connue sous le nom d'arXiv. Ils ont téléchargé des extraits d'un total de 16625 articles disponibles dans la section intelligence artificielle jusqu'au 18 novembre 2018 et ont retracé les mots mentionnés au fil des ans pour voir comment le domaine a évolué.
Grâce à leur analyse, trois grandes tendances ont émergé: le passage à l'apprentissage automatique à la fin des années 90 et au début des années 2000, la montée en popularité des réseaux de neurones qui a commencé au début des années 2010 et la montée de l'apprentissage par renforcement ces dernières années.
Vidéo promotionelle:
Mais d'abord, quelques mises en garde. Premièrement, la section arXiv avec IA remonte à 1993, et le terme «intelligence artificielle» remonte aux années 1950, de sorte que la base de données elle-même ne représente que les derniers chapitres de l'histoire du domaine. Deuxièmement, les documents ajoutés à la base de données chaque année ne représentent qu'une fraction du travail qui est actuellement effectué dans ce domaine. Cependant, arXiv offre une excellente ressource pour identifier certaines des principales tendances de la recherche et pour voir le bras de fer entre les différents camps idéologiques.
Le paradigme de l'apprentissage automatique
Le changement le plus important que les chercheurs ont découvert a été l'abandon des systèmes basés sur la connaissance vers le début des années 2000. De tels systèmes informatiques sont basés sur l'idée qu'il est possible d'encoder toutes les connaissances humaines dans un système de règles. Au lieu de cela, les scientifiques se sont tournés vers l'apprentissage automatique, la catégorie mère des algorithmes qui incluent l'apprentissage en profondeur.
Parmi les 100 mots mentionnés, ceux associés aux systèmes basés sur la connaissance - «logique», «contraintes» et «règle» - ont le plus diminué. Et ceux liés à l'apprentissage automatique - «données», «réseau», «performances» - ont le plus augmenté.
La raison de ce changement de temps est très simple. Dans les années 80, les systèmes basés sur la connaissance gagnaient en popularité parmi les fans, grâce à l'enthousiasme suscité par des projets ambitieux qui tentaient de recréer le bon sens dans les machines. Mais lorsque ces projets se sont déroulés, les chercheurs ont été confrontés à un défi majeur: trop de règles devaient être codées pour que le système fasse quoi que ce soit d'utile. Cela a conduit à une augmentation des coûts et a considérablement ralenti les processus en cours.
La réponse à ce problème est l'apprentissage automatique. Plutôt que d'obliger les gens à coder manuellement des centaines de milliers de règles, cette approche programme les machines pour extraire automatiquement ces règles d'une pile de données. De même, ce domaine s'est éloigné des systèmes basés sur la connaissance et s'est tourné vers l'amélioration de l'apprentissage automatique.
Le boom des réseaux de neurones
Dans le nouveau paradigme de l'apprentissage automatique, la transition vers l'apprentissage profond ne s'est pas faite du jour au lendemain. Au lieu de cela, une analyse des termes clés a montré que les scientifiques ont testé de nombreuses méthodes en plus des réseaux de neurones, les principaux mécanismes de l'apprentissage profond. D'autres méthodes populaires incluaient les réseaux bayésiens, les machines vectorielles de support et les algorithmes évolutifs, qui utilisent tous des approches différentes pour trouver des modèles dans les données.
Au cours des années 1990 et 2000, il y avait une forte concurrence entre ces méthodes. Puis, en 2012, une percée spectaculaire a conduit à un autre changement climatique. Lors du concours annuel ImageNet pour accélérer les progrès en vision par ordinateur, un chercheur nommé Jeffrey Hinton, avec ses collègues de l'Université de Toronto, a obtenu la meilleure précision de reconnaissance d'image avec une marge d'erreur d'un peu plus de 10%.
La technique d'apprentissage en profondeur qu'il a utilisée a engendré une nouvelle vague de recherche, d'abord dans la communauté de visualisation, puis au-delà. Alors que de plus en plus de scientifiques ont commencé à l'utiliser pour obtenir des résultats impressionnants, la popularité de cette technique, ainsi que la popularité des réseaux de neurones, a explosé.
La croissance de l'apprentissage par renforcement
L'analyse a montré que quelques années après l'apogée de l'apprentissage profond, il y a eu un troisième et dernier changement dans la recherche sur l'IA.
Outre les diverses méthodes d'apprentissage automatique, il existe trois types différents: l'apprentissage supervisé, l'apprentissage non supervisé et l'apprentissage par renforcement. L'apprentissage supervisé, qui consiste à transmettre des données étiquetées à la machine, est le plus couramment utilisé et a également les applications les plus pratiques aujourd'hui. Cependant, ces dernières années, l'apprentissage par renforcement, qui imite le processus d'apprentissage des animaux à travers les carottes et les bâtons, les punitions et les récompenses, a conduit à une augmentation rapide des références dans les œuvres.
L'idée en elle-même n'est pas nouvelle, mais elle n'a pas fonctionné depuis de nombreuses décennies. «Les spécialistes de l'apprentissage supervisé se moquaient des spécialistes de l'apprentissage par renforcement», explique Domingos. Mais comme pour l'apprentissage en profondeur, un tournant a soudainement mis la méthode au premier plan.
Ce moment est arrivé en octobre 2015, lorsque AlphaGo de DeepMind, entraîné avec des renforts, a vaincu le champion du monde dans l'ancien jeu de go. L'impact sur la communauté de recherche a été immédiat.
Les dix prochaines années
Le MIT Technology Review ne fournit que le dernier aperçu de la concurrence parmi les idées qui caractérisent la recherche en IA. Cependant, cela illustre l'incohérence de la poursuite de la duplication des renseignements. «Il est important de comprendre que personne ne sait comment résoudre ce problème», déclare Domingos.
Bon nombre des méthodes utilisées depuis 25 ans sont apparues à peu près à la même époque dans les années 1950 et n'ont pas réussi à faire face aux défis et aux succès de chaque décennie. Les réseaux de neurones, par exemple, ont culminé dans les années 60 et légèrement dans les années 80, mais ont failli mourir avant de regagner leur popularité grâce à l'apprentissage profond.
Chaque décennie, en d'autres termes, a vu la domination d'une technique différente: réseaux de neurones à la fin des années 50 et 60, diverses tentatives symboliques dans les années 70, systèmes basés sur la connaissance dans les années 80, réseaux bayésiens dans les années 90, vecteurs de référence en zéro et les réseaux de neurones à nouveau dans les années 2010.
Les années 2020 ne seront pas différentes, dit Domingos. Cela signifie que l'ère du deep learning pourrait bientôt être révolue. Mais ce qui va se passer ensuite - une vieille technique dans une nouvelle gloire ou un tout nouveau paradigme - c'est le sujet d'une controverse féroce dans la communauté.
Ilya Khel
