Le domaine de l'intelligence artificielle est souvent comparé à l'industrie pétrolière: une fois extraites et raffinées, les données, comme le pétrole, peuvent devenir une matière première très rentable. Cependant, il devient maintenant évident que cette métaphore prend de l'ampleur. Tout comme les combustibles fossiles, l'apprentissage en profondeur a un impact énorme sur l'environnement. Dans une nouvelle étude, des scientifiques de l'Université du Massachusetts à Amherst ont évalué le cycle de vie d'apprentissage de plusieurs grands modèles d'IA courants.
Il a constaté que ce processus peut générer plus de 626 000 livres (environ 300 000 kg) d'équivalent en dioxyde de carbone, soit près de cinq fois les émissions d'une voiture typique en cinq ans (y compris la production de la voiture elle-même).
Comment les modèles d'IA sont formés
Il s'agit d'une quantification étonnante de ce que les chercheurs en IA soupçonnent depuis longtemps.
Empreinte carbone du traitement du langage naturel
Vidéo promotionelle:
L'article aborde spécifiquement le processus de formation d'un modèle de traitement du langage naturel (PNL), un sous-domaine de l'IA qui traite des machines d'entraînement pour travailler avec le langage humain. Au cours des deux dernières années, la communauté de la PNL a franchi plusieurs étapes importantes dans les domaines de la traduction automatique, de l'achèvement des phrases et d'autres tâches d'évaluation standard. Le tristement célèbre modèle OpenAI GPT-2, par exemple, a réussi à écrire de fausses nouvelles convaincantes.
Mais ces progrès ont nécessité la formation de modèles de plus en plus volumineux sur des ensembles de données étirés à partir de phrases extraites d'Internet. Cette approche est coûteuse en calcul et très gourmande en énergie.
Les chercheurs ont examiné les quatre modèles dans le domaine responsables des plus grands sauts de performance: Transformer, ELMo, BERT et GPT-2. Ils ont formé chacun d'eux sur un seul GPU pendant une journée pour mesurer la consommation d'énergie.
Ils ont ensuite pris le nombre d'heures de formation spécifié dans les documents modèles originaux pour calculer l'énergie totale consommée pendant tout le processus de formation. Ce montant a été converti en l'équivalent de livres de dioxyde de carbone, ce qui correspond au mix énergétique AWS d'Amazon, le plus grand fournisseur de cloud au monde.
Elle a constaté que les coûts informatiques et environnementaux de la formation augmentaient proportionnellement à la taille du modèle, puis augmentaient de façon exponentielle lorsque la précision finale du modèle était ajustée. Une recherche d'architecture neuronale qui tente d'optimiser un modèle en modifiant progressivement la structure du réseau neuronal par essais et erreurs entraîne des coûts extrêmement élevés avec peu de gain de performances. Sans lui, le modèle BERT le plus cher laissait une empreinte carbone de 635 kg, proche d'un aller-retour transaméricain.
De plus, ces chiffres ne doivent être considérés que comme des données de référence.
Au total, les scientifiques estiment que le processus de création et de test du modèle final digne de publication a nécessité la formation de 4 789 modèles en six mois. En termes d'équivalent CO2, cela représente environ 35 000 kg.
L'importance de ces chiffres est colossale, surtout compte tenu des tendances actuelles de la recherche sur l'IA. En général, la recherche sur l'IA néglige l'efficacité car les grands réseaux de neurones sont reconnus comme utiles pour diverses tâches, et les entreprises disposant de ressources informatiques illimitées les utiliseront pour obtenir un avantage concurrentiel.
Ilya Khel
