Avant que les smartphones ne soient mesurés? Cœurs, mégapixels, gigahertz. Maintenant, tout s'est tellement précipité en termes de technologie que tout le monde a des valeurs optimales pour ces indicateurs, et ce qu'ils essaient de pousser au-dessus de la norme n'est qu'un stratagème marketing.
Cependant, il y a maintenant une position sur laquelle les smartphones commencent à se démarquer: c'est l'intelligence artificielle.
Rappelez-vous les slogans publicitaires modernes: "processeur avec un neuromodule", "caméra avec IA", "algorithmes intelligents" et autres phrases "magiques" qui nous poussent à acheter un nouvel appareil.
Mais comment ça marche, et surtout, à quoi sert l'intelligence artificielle?
Comment l'IA s'est-elle retrouvée dans un smartphone?
Un programme ordinaire résout un problème selon un algorithme spécifique écrit par une personne. Et s'il existe de nombreuses tâches de ce type, ou si les données et conditions initiales changent constamment? Une personne ne peut pas traiter des tonnes d'informations et écrire des milliers d'algorithmes. Alors laissez la machine sans âme le faire!
L'essentiel est de le configurer correctement, puis il commencera à rechercher lui-même la solution optimale. C'est ainsi qu'apparaissent l'intelligence artificielle et sa sous-section apprentissage automatique. L'un des algorithmes d'apprentissage automatique sont les réseaux de neurones dont vous avez probablement entendu parler.
Vidéo promotionelle:
Nous utilisons l'IA dans notre smartphone depuis longtemps. Tracer un itinéraire en tenant compte des embouteillages, rechercher des chats parmi les photos dans le «nuage», communiquer avec un assistant vocal - tout cela serait impossible sans algorithmes intelligents. Ces tâches sont résolues à distance: la requête est envoyée au serveur, traitée et la réponse revient.
Pourquoi ne pas mettre l'IA directement dans le smartphone? Il a déjà beaucoup appris «hors des sentiers battus», il apprend constamment avec nous. Les capacités des appareils modernes le permettent. Nous obtenons immédiatement deux avantages:
- c'est rapide: pas besoin de perdre du temps et du trafic sur la transmission de données;
- c'est sûr: toutes les données sont stockées à l'intérieur du smartphone, vous ne les partagez pas avec des services tiers.
Les fabricants ont même alloué une unité distincte pour l'IA à l'intérieur du processeur mobile - NPU (Neural Processing Unit, neural module). Il s'agit d'un accélérateur d'algorithmes d'apprentissage automatique, avec lequel le smartphone résout les problèmes encore plus rapidement et nécessite moins d'énergie.
La version premium du Mate 20 Pro avec 512 Go de mémoire et inserts en cuir - Porsche Design Huawei Mate 20 RS.
Le premier processeur avec NPU était Huawei Kirin 970. Il est installé, par exemple, dans les smartphones Huawei P20 Pro et nova 3. Et en 2018, le premier processeur au monde avec double neuromodule Kirin 980 a été lancé. Les performances du NPU ont augmenté de 226% et l'efficacité énergétique - de 182 %. Les produits phares Huawei Mate 20 Pro et Mate 20 sont équipés d'un tel processeur.
Alors pourquoi un smartphone a-t-il besoin d'une intelligence artificielle?
Reconnaissance de visage
Presque tous les smartphones modernes prennent en charge le déverrouillage du visage. Dans les modèles peu coûteux, la technologie est simple: la caméra frontale prend une photo du visage et des algorithmes spéciaux la comparent à un motif donné en utilisant des points clés. Coïncidé - le vôtre, ne coïncidait pas - un étranger.
Cette technologie ne fonctionne pas bien dans le noir et il y a un problème de sécurité: si un smartphone voit une photo du propriétaire ou d'une personne similaire, il y a un risque de coïncidence.
Les smartphones plus chers utilisent une méthode différente. Par exemple, dans le Huawei nova 3, deux caméras frontales forment une image 3D et une lumière infrarouge aide dans l'obscurité. Le produit phare Huawei Mate 20 Pro projette généralement 30000 points sur le visage, construit un modèle 3D, puis le compare avec le modèle d'origine.
Et si vous compliquez la tâche? Porter des lunettes ou un chapeau, se faire pousser la barbe ou se maquiller? Il s'avère un visage complètement différent. Ensuite, l'apprentissage automatique vient à la rescousse. AI remarque de tels changements, apporte des ajustements au modèle et se rend compte que devant lui se trouve le propriétaire du smartphone. Grâce au NPU, ces opérations prennent une fraction de seconde.
Améliorer l'autonomie
Les réseaux de neurones peuvent également prédire l'avenir. Faites face à cela mieux que les médiums. L'IA dans un smartphone analyse nos habitudes, remarque des scénarios comportementaux (lancement d'applications à un certain moment, inactivité pendant le sommeil, etc.) et comprend elle-même quelles applications sont nécessaires à un moment donné et lesquelles ne le sont pas.
Les programmes et processus importants seront chargés en mémoire à l'avance afin qu'ils s'ouvrent plus rapidement, et les programmes inutiles seront supprimés afin de ne pas consommer d'énergie. Vérifiez votre courrier électronique en premier lieu au travail? L'application vous attend déjà. Maps et Instagram fonctionnent-ils la nuit? À court de mémoire, ce n'est pas le moment.
En creusant encore plus profondément, l'IA prédit la charge du processeur en fonction de la fréquence d'images. En conséquence, les scènes dynamiques nous semblent fluides, sans «secousses». Ceci est particulièrement important dans les jeux.
Optimiser les performances
L'intelligence artificielle stimule même les performances. Expliquons en utilisant le Kirin 980 comme exemple: il n'y a que 8 cœurs dans le processeur principal (CPU), dont 2 fonctionnent à haute fréquence, 2 à moyenne et 4 à haute. Clairement - sur l'image (plus la colonne est haute - plus la puissance est élevée):
Lire des livres et écouter de la musique en arrière-plan ne nécessite pas beaucoup de ressources. Pourquoi charger tous les cœurs? Laissez seulement les basses fréquences fonctionner. Facebook, Vkontakte sont "plus lourds" - alors les "moyens" sont connectés au travail.
Mais les hard hacks dans PUBG ou des batailles épiques dans WoT avec des paramètres maximum, le rendu vidéo sont des tâches gourmandes en ressources, puis tout le monde danse: le processeur et le GPU (unité de traitement graphique) fonctionnent à puissance maximale. L'IA remarque tout cela et distribue l'énergie de manière optimale.
Améliorer la qualité sonore
Les images peuvent être plus que simplement visuelles. L'IA est également responsable de la qualité sonore.
Lorsque vous parlez au téléphone, l'IA «sépare» immédiatement la voix des sons étrangers et l'amplifie, et le bruit de fond la coupe. En conséquence, vous pouvez être entendu même lorsqu'un vent fort souffle, que les voitures de métro tonnent ou que votre groupe préféré recuit lors d'un concert.
Brouiller l'arrière-plan et mettre en valeur la couleur
Les films avec des effets spéciaux sur un smartphone sont également liés aux réseaux de neurones. Les produits phares modernes Huawei sont capables de filmer des vidéos avec un arrière-plan flou: le sujet reste clair, et le premier plan et l'arrière-plan sont flous dans le bokeh. Cet effet est généralement obtenu avec des objectifs coûteux à grande ouverture.
Une autre astuce est la mise en évidence des couleurs: l'IA comprend qui vous photographiez (ce doit être une personne) et la maintient constamment au point. La mise au point prédictive (lecture - mouvement prédictif) aide. Ensuite, l'IA ne peint que le sujet et laisse le monde environnant en noir et blanc. Vous vous souvenez du film Sin City? Il y a le même effet.
Traducteur hors ligne
Il existe un tel traducteur pour Android et iOS - Microsoft Translator. En 2018, il a appris à traduire des textes sans connexion Internet, en grande partie grâce au système d'intelligence artificielle. Et en partenariat avec Huawei, Microsoft a affiné Translator pour le processeur Kirin 980.
Il en est ressorti: sur les smartphones de la gamme Huawei Mate 20, la précision de la traduction automatique a augmenté de 23% et s'est rapprochée de la traduction humaine. Dans le même temps, la vitesse de traitement de texte est 3 fois plus élevée que sur les autres smartphones phares, et les packs linguistiques «pèsent» 2 fois moins.
Amélioration de la photo
Peut-être l'influence la plus notable de l'IA que nous voyons dans la photographie. Les algorithmes de l'appareil photo déterminent exactement ce que nous photographions et dans quelles conditions, et sélectionnent eux-mêmes les meilleurs réglages: contraste, saturation, balance des blancs.
Par exemple, les smartphones équipés du processeur Kirin 980 reconnaissent jusqu'à 1500 scénarios dans 25 catégories - avant même d'appuyer sur le déclencheur. Les réseaux neuronaux distinguent les chats des chiens, la neige des feuilles, la mer du ciel. Et pour tout le monde, il existe des paramètres différents.
L'IA comprend également quel mode il est préférable de photographier. Dirigez l'appareil photo vers le document - le mode "Scanner" est activé, qui sélectionne uniquement la zone contenant du texte. Le Kremlin est dans le cadre - le mode "Architecture" est activé. Viser une personne - active le mode portrait avec flou.
Les portraits sont généralement ouverts à l'IA. Vous pouvez tordre le bokeh avec différentes forces et formes, appliquer du maquillage et changer le type d'éclairage autour. Un smartphone ne peut pas remplacer un reflex numérique par des optiques professionnelles, mais faire un magnifique portrait sur un avatar est facile.
Segmentation d'image
La reconnaissance de formes et la catégorisation sont les principales tâches résolues par l'apprentissage automatique. L'IA organise et combine les photos sur un smartphone en fonction de similitudes.
Photos de gamburegres, salades, fruits sont de la nourriture, ils ont un dossier séparé. L'IA met des photos de voitures dans un autre dossier et des bâtiments dans un troisième. Si les réseaux de neurones trouvent le visage de quelqu'un dans différentes images, ils seront également dans des dossiers, mais dans la catégorie «visages».
Voulez-vous emporter toutes les photos avec votre mère ou votre grand-mère? Voici tous les plans où ils sont entrés dans le cadre. Vous avez photographié un document important il y a longtemps, mais vous avez oublié quand? Voici tous les cadres contenant du texte. Au lieu d'énumérer manuellement des centaines, des milliers de fichiers, il en reste 10 à 15 à vérifier. C'est confortable.
Stabilisation intelligente
Les technologies de stabilisation d'image populaires dans les smartphones sont respectivement OIS et EIS, optiques et électroniques. Huawei a développé AIS - un stabilisateur basé sur l'IA. Il signifie stabilisation d'image AI.
L'AIS est le meilleur pour prendre des photos de nuit. Comme vous pouvez le voir: appuyez sur le bouton pendant 4 à 6 secondes (sans trépied!), Et vous obtenez une image nette avec d'excellents détails et un minimum de bruit.
Comment le smartphone le voit:
- 0,2 première seconde AIS détermine la position de la caméra dans l'espace. Précision - jusqu'à 98%;
- puis l'appareil photo prend de nombreuses photos avec des paramètres différents;
- L'IA sélectionne les meilleurs clichés. S'il y a eu un décalage, il les combine, après quoi il traite chaque section et supprime le bruit.