Les équipes de recherche expérimentent souvent le contenu vidéo à l'aide de réseaux de neurones. Prenez NVIDIA, par exemple, qui, fin 2017, a formé un réseau de neurones à changer la météo et l'heure de la journée en vidéo. Un autre projet de ce type a été lancé par des chercheurs de l'Université Carnegie Melon, qui ont créé un réseau de neurones pour imposer les expressions faciales d'une personne sur le visage d'une autre.
Le projet est basé sur la technologie DeepFakes pour changer de visage sur vidéo. Il est basé sur une forme de machine learning générative et contradictoire. Dans son cadre, le modèle génératif tente de tromper le discriminatoire et vice versa, à la suite de quoi le système comprend comment le contenu peut être transformé en un style différent.
L'algorithme de cycle-GAN pour transférer des propriétés à un autre objet n'est pas idéal et permet des artefacts dans l'image. Pour améliorer la qualité du réseau neuronal, les chercheurs ont utilisé sa version améliorée du Recycle-GAN. Il prend en compte non seulement la position des différentes parties du visage, mais également la vitesse de leur mouvement.
Le réseau neuronal a transféré avec succès les expressions faciales du présentateur de télévision Stephen Colbert au visage du comédien John Oliver. De plus, elle a transféré le processus de floraison de la jonquille à l'hibiscus.
Les chercheurs pensent que cette technologie pourrait être utilisée en cinématographie. Cela accélérera le processus et réduira le coût de fabrication des films. La capacité des réseaux de neurones à changer la météo en vidéo facilitera l'apprentissage des voitures électriques à conduire dans différentes conditions météorologiques.
Ramis Ganiev
Vidéo promotionelle:
