Avec le développement des réseaux de neurones et des technologies d'apprentissage automatique, le champ d'application de leur application s'élargit également. Si les réseaux de neurones antérieurs étaient utilisés exclusivement pour effectuer des calculs et des prévisions mathématiques, médicales, physiques et biologiques complexes, ces technologies gagnent désormais en popularité dans un environnement plus «banal» - dans le domaine du divertissement. Ne faisant que les premiers pas dans cette direction, ils sont déjà capables de montrer des résultats étonnants et parfois même remarquables. Aujourd'hui, nous analyserons quelques exemples illustratifs.
Le processus de remasterisation vidéo est si compliqué et prend du temps que nous n'aurions peut-être jamais vu de nombreux chefs-d'œuvre des classiques mondiaux avec une nouvelle image moderne, claire et juteuse. Cependant, le monde regorge de fans et de passionnés intelligents qui connaissent bien les nouvelles technologies, et en particulier les réseaux de neurones et les technologies d'apprentissage automatique, avec lesquels vous pouvez obtenir des résultats étonnants même à la maison. Par exemple, l'utilisateur de YouTube Stefan Rumen sous le pseudonyme CaptRobau a décidé de démontrer certaines des capacités des réseaux de neurones à traiter des vidéos d'une ancienne série de science-fiction.
Son travail antérieur est Remako Mod, un "remake HD" du RPG japonais classique et très populaire Final Fantasy VII appelé. Pour ce faire, il a utilisé l'algorithme AI Gigapixel AI, avec lequel il a pu redimensionner l'image de l'image originale par 4 fois, la convertissant en résolution HD sans aucun changement significatif dans la conception artistique originale. Ainsi, pendant que vous attendez une autre décennie jusqu'au moment où le développeur et éditeur japonais de jeux informatiques Square Enix publie officiellement un remaster de peut-être l'une des meilleures parties de cette série de jeux, vous pouvez essayer vous-même le mod de Stefan Rumen en le téléchargeant depuis ce site.
Soit dit en passant, récemment, la technologie des réseaux de neurones pour remasteriser les anciens jeux et les amener à un look plus pertinent et moderne sans changer le concept original général est devenue une véritable tendance chez divers moddeurs. Par exemple, il n'y a pas si longtemps, nous avons parlé de la technologie ESRGAN (Enhanced Super Resolution Generative Adversarial Networks), qui implémente des technologies de mise à l'échelle d'image avec une augmentation de qualité de 2 à 8 fois. L'algorithme «alimente» l'image d'origine avec une faible résolution, après quoi il augmente non seulement la résolution d'origine de cette dernière, mais améliore également la qualité de l'image en peignant sur des détails réalistes et en rendant les textures «plus naturelles».
Comparaison de la qualité de la texture: à gauche se trouve la texture originale du jeu Morrowind, à droite - traitée par le réseau neuronal.
Un personnage de Doom (à gauche - était, à droite - est devenu).
Traitement en arrière-plan dans Resident Evil 3.
Vidéo promotionelle:
Quoi qu'il en soit, dans les intervalles entre la remasterisation de "The Seventh Final", Stefan Rumen a décidé de reprendre un autre projet - utiliser la même technologie d'apprentissage automatique, mais cette fois pour traiter les images de la série classique de science-fiction des années 90. Rumen a choisi Star Trek: Deep Space Nine comme objet de ses expériences.
La mise à l'échelle d'une image en direct d'une série télévisée est très différente en complexité de la mise à l'échelle d'une image pré-rendue de Final Fantasy VII, note l'auteur, donc le résultat final, bien qu'il soit nettement meilleur que les matériaux originaux en basse résolution, mais cette image est encore loin de l'idéal sur lequel vous auriez pu rêver depuis l'arrivée des premiers lecteurs Blu-ray sur le marché. Parfois, de petits "artefacts" apparaissent à l'écran. Mais, encore une fois, en général, tout semble plus que digne. Mais, en général, voyez par vous-même.
Pour ce projet, Rumen a également utilisé l'algorithme AI Gigapixel, qui a été formé pour éditer des images basées sur de vraies photographies. L'auteur note que la nouvelle image a été obtenue en 1080p et 4k, mais comme Rumen ne dispose pas d'un téléviseur ou d'un moniteur avec une résolution 4K native, il ne peut pas évaluer correctement la version 4K.
Malheureusement, vous ne pouvez pas regarder toute la série en qualité Full HD. Le processus de traitement de tout le matériel source aurait pris beaucoup de temps, donc Rumen n'a utilisé que des cadres séparés de différentes séries pour la démonstration. Selon lui, il a repris ce projet pour une seule raison: montrer que c'est vraiment possible. Selon lui, toute une équipe de professionnels travaillant dans une grande société de télévision et disposant d'un équipement informatique plus adapté et plus puissant pour un tel travail sera en mesure de mieux faire face à cette tâche.
L'utilisation de réseaux de neurones pour simplifier le travail de traitement des anciennes images de jeux vidéo et de films ne sont pas les seuls domaines où ces technologies sont capables de montrer leurs talents. Dans le monde moderne, où les caméras panoramiques capables de produire 360 degrés, ainsi que les casques de réalité virtuelle, gagnent en popularité, les développeurs ont commencé à explorer activement le potentiel de la photographie panoramique.
L'un des derniers développements dans ce sens est un réseau neuronal capable de sonner des images statiques panoramiques. Il est rédigé par des experts en apprentissage automatique des universités du Massachusetts, des universités de Columbia et de l'université George Mason.
L'algorithme créé détermine le type d'environnement et d'objets dans la photographie, puis sélectionne et arrange les sons de la base de données utilisée conformément au calcul spatial de la distance à leurs sources dans cette image. Grâce à cela, l'image panoramique acquiert un son réaliste et spacieux qui vous permet d'évaluer l'image présentée d'une manière complètement nouvelle.
Selon les développeurs de ce réseau de neurones, la technologie pourrait trouver un intérêt chez les développeurs de contenu VR (films et jeux). Ce dernier, dans ce cas, n'aura pas à superposer manuellement tous les sons sur l'image panoramique, le réseau de neurones pourra tout faire tout seul.
Nikolay Khizhnyak
