L'intelligence artificielle se développe activement en Russie et dans le monde - y compris émotionnelle. Il s'intéresse aux grandes entreprises et aux startups ambitieuses qui introduisent de nouveaux développements dans le commerce de détail, le marketing, l'éducation, la banque et le recrutement. Selon Mordor Intelligence, le marché de la reconnaissance des émotions était évalué à 12 milliards de dollars en 2018 et passera à 92 milliards de dollars d'ici 2024.
Qu'est-ce que l'IA émotionnelle
Emotion AI (Emotion AI) est une IA qui permet à un ordinateur de reconnaître, d'interpréter et de répondre aux émotions humaines. Une caméra, un microphone ou un capteur portable lit l'état d'une personne et un réseau neuronal traite les données pour déterminer une émotion.
Il existe deux manières principales d'analyser les émotions:
- Contact. Une personne est placée sur un appareil qui lit son pouls, ses impulsions électriques corporelles et d'autres indicateurs physiologiques. Ces technologies peuvent déterminer non seulement les émotions, mais également le niveau de stress ou la probabilité d'une crise d'épilepsie.
- Sans contact. Les émotions sont analysées sur la base d'enregistrements vidéo et audio. L'ordinateur apprend les expressions faciales, les gestes, les mouvements oculaires, la voix et la parole.
Pour former un réseau neuronal, les data scientists collectent un échantillon de données et marquent manuellement le changement de l'état émotionnel d'une personne. Le programme étudie les modèles et comprend quels signes appartiennent à quelles émotions.
Le réseau neuronal peut être formé sur différentes données. Certaines entreprises et laboratoires utilisent des bandes vidéo, d'autres étudient la voix et certains bénéficient de plusieurs sources. Mais plus les données sont diverses, plus le résultat est précis.
Considérez deux sources principales:
Vidéo promotionelle:
Photos et images fixes de la vidéo
Les images sont traitées en premier pour faciliter le travail de l'IA. Les traits du visage - sourcils, yeux, lèvres, etc. - sont marqués de points. Le réseau neuronal détermine la position des points, les compare aux signes d'émotions du modèle et conclut quelle émotion est reflétée - colère, peur, surprise, tristesse, joie ou calme.
Il existe également une autre approche. Les marqueurs d'émotions sont immédiatement notés sur le visage - par exemple, un sourire ou des sourcils froncés. Ensuite, le réseau de neurones recherche des marqueurs sur l'image, analyse leurs combinaisons et détermine l'état de la personne.
L'étude des marqueurs d'émotion a commencé au XXe siècle. Certes, ils ont alors été considérés séparément des réseaux de neurones. Les scientifiques Paul Ekman et Wallace Friesen ont développé le Facial Action Coding System (FACS) en 1978. Il décompose les expressions faciales en mouvements musculaires individuels, ou unités d'action. Le chercheur étudie les unités motrices et les compare à l'émotion.
Voix et parole
Le réseau neuronal extrait de nombreux paramètres de la voix du signal acoustique - par exemple, la tonalité et le rythme. Elle étudie leur évolution dans le temps et détermine l'état du locuteur.
Parfois, un spectrogramme est utilisé pour l'entraînement - une image qui montre la force et la fréquence d'un signal au fil du temps. De plus, l'IA analyse le vocabulaire pour des résultats plus précis.
Où est la technologie utilisée
Ventes et publicité
L'utilisation la plus évidente de la technologie de reconnaissance des émotions est le marketing. Avec leur aide, vous pouvez déterminer comment une vidéo publicitaire affecte une personne. Pour ce faire, vous pouvez, par exemple, installer une structure avec une caméra qui changera la publicité en fonction de l'humeur, du sexe et de l'âge des passants.
Un design similaire a été développé par les startups Cloverleaf et Affectiva. Ils ont introduit une publicité électronique sur étagère, appelée «trayPoint», qui recueille des données sur les émotions des acheteurs. De nouvelles technologies ont été testées par Procter & Gamble, Walmart et d'autres grandes entreprises. Selon Cloverleaf, les ventes ont augmenté de 10 à 40%, tandis que l'engagement des clients a été multiplié par 3.
Une option plus inhabituelle est un consultant en robot avec intelligence artificielle. Il interagira avec les clients, lira leurs émotions et les influencera. Et faites également des offres personnalisées.
Le robot de service a été présenté par la startup russe Promobot. Il utilise un réseau de neurones développé par Neurodata Lab, qui détermine les émotions à partir de plusieurs sources à la fois: enregistrements d'un visage, de la voix, des mouvements, ainsi que des fréquences respiratoires et du pouls.
Promobot vend activement ses robots à l'étranger. En 2018, la start-up a signé un contrat avec la société américaine Intellitronix pour 56,7 millions de dollars, et dans le prochain a accepté de fournir des appareils à l'Arabie saoudite, à Israël, au Koweït et à la Suède - pour eux, la société recevra 1,1 million de dollars. Selon Promobot, 492 robots fonctionnent aujourd'hui. dans 34 pays à travers le monde en tant que guides, concierges, consultants et promoteurs.
Banques
Les technologies de reconnaissance des émotions aident les banques à obtenir les commentaires des clients sans sondages et à améliorer le service. Des caméras vidéo sont installées dans les départements et des algorithmes d'enregistrement déterminent la satisfaction des visiteurs. Les réseaux neuronaux peuvent également analyser la voix et la parole du client et de l'opérateur lors d'un appel au centre de contact.
En Russie, ils tentent de mettre en œuvre l'IA émotionnelle depuis longtemps: elle a été testée à la Sberbank en 2015, et trois ans plus tard, Alfa-Bank a lancé son pilote d'analyse des émotions à partir de la vidéo. En plus des enregistrements de caméras de surveillance, des enregistrements d'appels sont également utilisés. VTB a lancé un projet pilote pour mettre en œuvre l'IA émotionnelle en 2019. Et Rosbank, avec Neurodata Lab, a déjà testé la détermination des émotions des clients par la voix et la parole. Le client a appelé la banque et le réseau de neurones a analysé son état et le sens de la conversation. De plus, l'IA a remarqué des pauses dans le discours de l'opérateur, le volume de la voix et le temps de communication. Cela a permis non seulement de vérifier la satisfaction du service, mais également de suivre le travail des opérateurs du centre de contact.
Aujourd'hui, Rosbank a mis en place sa propre solution de reconnaissance des émotions. Au lieu d'un signal acoustique, le système analyse le texte, tandis que la précision reste élevée.
Le Speech Technology Center est également impliqué dans la reconnaissance des émotions dans la parole (la participation majoritaire appartient à la Sberbank). Le service Smart Logger analyse la voix et le vocabulaire des clients et des opérateurs, le temps de conversation et les pauses afin de connaître la satisfaction du service.
Sphère de divertissement
Les systèmes de reconnaissance des émotions peuvent être utilisés pour évaluer la réaction du public à un film. Disney en 2017, en collaboration avec des scientifiques, a mené une expérimentation: installation de caméras dans un cinéma et d'algorithmes d'apprentissage en profondeur connectés pour évaluer les émotions des spectateurs. Le système pouvait prédire les réactions des gens en les observant pendant quelques minutes seulement. Au cours de l'expérience, nous avons collecté un ensemble de données impressionnant: 68 marqueurs de chacun des 3179 téléspectateurs. Au total, 16 millions d'images de visage ont été obtenues.
Dans le même but, l'hébergement vidéo YouTube a créé sa propre IA appelée YouFirst. Il permet aux blogueurs vidéo et aux entreprises de tester le contenu avant de le publier sur la plate-forme. Les utilisateurs cliquent sur un lien spécial, acceptent de tourner une vidéo et de regarder la vidéo. A ce moment, le réseau neuronal détermine leurs réactions et envoie les données au propriétaire du canal.
Parmi les entreprises russes, les réactions aux vidéos peuvent être analysées, par exemple, par Neurobotics. L'entreprise a développé le programme EmoDetect qui reconnaît la joie, la tristesse, la surprise, la peur, la colère, le dégoût et la neutralité. Le programme étudie jusqu'à 20 traits du visage locaux dans des images fixes et une série d'images. Le système analyse les unités motrices et utilise la technologie de codage facial FACS. Il est possible d'enregistrer une vidéo à partir d'une webcam. L'API EmoDetect vous permet d'intégrer le produit avec des applications externes.
L'IA émotionnelle commence également à être appliquée dans l'industrie du jeu. Cela permet de personnaliser le jeu et d'ajouter plus d'interaction avec le joueur.
Par exemple, la société américaine d'IA émotionnelle Affectiva a contribué à la création du thriller psychologique Nevermind. La tension dépend de l'état du joueur: l'intrigue devient plus sombre lorsqu'il est stressé, et vice versa.
Éducation
La reconnaissance des émotions s'applique également à l'éducation. Il peut être utilisé pour étudier l'humeur et l'attention des élèves pendant les cours.
Les développeurs russes ont appliqué l'IA émotionnelle à Perm. Les attaques des élèves contre les élèves du primaire et l'enseignant ont été à l'origine du développement de la technologie. Rostelecom et la startup New Vision ont développé le programme Smart and Safe School pour surveiller l'état émotionnel des enfants. Cela aidera à identifier les adolescents asociaux avant la tragédie.
Il était basé sur le système Paul Ekman. Le réseau de neurones a analysé les moindres mouvements musculaires en utilisant 150 points sur le visage. Une grande quantité de données a été collectée pendant la leçon: 5 à 6 000 cadres pour chaque élève. Le programme a étudié l'ensemble de données et calculé l'état émotionnel de chaque enfant. Selon les créateurs, la précision était de 72%.
HEURE
L'IA émotionnelle peut être utile dans le travail avec le personnel. Il permet de déterminer l'état de l'employé, de constater sa fatigue ou son insatisfaction dans le temps et de redistribuer les tâches plus efficacement.
De plus, la technologie facilite le recrutement. Avec l'aide de l'IA émotionnelle, vous pouvez vérifier un candidat pour un emploi ou attraper un mensonge lors d'un entretien.
La société américaine HireVue utilise l'intelligence artificielle pour évaluer les candidats. Le candidat passe par une interview vidéo et le réseau de neurones détermine son état par des mots-clés, l'intonation de la voix, les mouvements et les expressions faciales. L'IA met en évidence les caractéristiques importantes pour le poste et donne des notes, et le responsable des ressources humaines sélectionne les bons candidats.
La startup basée à Londres, Human, utilise la vidéo pour identifier les émotions et les associer aux traits de caractère. Après l'entretien vidéo, les recruteurs reçoivent un rapport indiquant à quel point le candidat était honnête, curieux, excité, enthousiaste ou confiant et comment il a répondu aux questions.
Médicament
Dans ce domaine, non seulement le non-contact, mais aussi des méthodes de contact pour déterminer les émotions seront utiles. Ils sont activement mis en œuvre par des startups étrangères - par exemple, Affectiva et Brain Power. Les développements des entreprises incluent des lunettes IA qui aident les enfants et les adultes autistes à reconnaître les émotions des autres et à développer des compétences sociales.
Mais les réseaux de neurones peuvent aider les patients sans capteurs portables. Des scientifiques du Massachusetts Institute of Technology ont créé un réseau neuronal qui détecte la dépression en analysant la parole d'une personne. La précision du résultat était de 77%. Et la startup Beyond Verbal utilise l'IA pour analyser la santé mentale des patients. Dans ce cas, le réseau neuronal sélectionne uniquement les biomarqueurs vocaux à partir de l'enregistrement audio.
Voitures
Le Massachusetts Institute of Technology développe une IA appelée AutoEmotive qui déterminera l'état du conducteur et des passagers. Il surveillera non seulement le niveau de stress, mais essaiera également de le réduire - en jouant de la musique douce, en ajustant la température dans la cabine ou en empruntant un itinéraire moins fréquenté.
Limitations de l'IA émotionnelle
Le réseau de neurones ne peut pas prendre en compte le contexte
L'IA a appris à identifier les émotions et les états humains de base, mais jusqu'à présent, elle ne gère pas bien des situations plus complexes. Les scientifiques notent que les expressions faciales ne montrent pas toujours avec précision ce que ressent vraiment une personne. Son sourire peut être feint ou sarcastique, et cela ne peut être déterminé que par le contexte.
Les experts de NtechLab estiment qu'il est encore difficile de déterminer avec précision la raison de telle ou telle émotion.
NtechLab souligne qu'il est nécessaire de reconnaître non seulement les expressions faciales, mais également les mouvements humains. La diversité des données rendra l'IA émotionnelle beaucoup plus efficace. Daniil Kireev, l'un des principaux chercheurs de la société de développement de produits de reconnaissance faciale VisionLabs, est d'accord avec cela. À son avis, avec une grande quantité de données, la précision des algorithmes augmente.
«Il y a des erreurs, leur nombre dépend de nombreux facteurs: la qualité de l'échantillon d'apprentissage, le réseau neuronal entraîné, les données sur lesquelles le système final fonctionne. En ajoutant des informations provenant de différentes sources - par exemple, la voix - vous pouvez améliorer la qualité du système. En même temps, il est important de comprendre que par le visage on détermine plutôt son expression que l'émotion finale. L'algorithme peut essayer de déterminer l'émotion simulée, mais pour cela, le développement de la technologie doit faire un petit pas en avant », explique Daniil Kireev.
Mauvais équipement
Des facteurs externes influencent la qualité des algorithmes. Pour que la précision de la reconnaissance des émotions soit élevée, les caméras vidéo et les microphones doivent être de haute qualité. De plus, le résultat est influencé par l'éclairage, l'emplacement de la caméra. Selon Daniil Kireev, des conditions incontrôlées compliquent le processus de détermination des états d'une personne.
Pour que l'IA émotionnelle se développe, vous avez besoin d'un matériel de qualité. Si vous trouvez un bon équipement et que vous le configurez correctement, la précision des résultats sera très élevée. Et lorsqu'elle deviendra plus accessible et répandue, les technologies de reconnaissance des émotions seront améliorées et mises en œuvre plus activement.
«La précision du système dépend de nombreux facteurs. Le principal est la qualité des images fixes de la caméra, qui sont transmises au système pour la reconnaissance. La qualité des images fixes, à son tour, est affectée par les paramètres et les caractéristiques de l'appareil photo, la matrice, l'éclairage, l'emplacement de l'appareil, le nombre de visages dans le cadre. Avec une configuration correcte du matériel et des logiciels, il est possible d'atteindre la précision de l'émotion détectée jusqu'à 90-95% », note Vitaly Vinogradov, chef de produit du service de vidéosurveillance et d'analyse vidéo dans le cloud Ivideon.
Perspective technologique
Aujourd'hui, en Russie, l'IA émotionnelle ne fait que prendre de l'ampleur. Les startups développent des technologies et commercialisent leurs produits, et les clients les testent avec prudence.
Mais Gartner estime que d'ici 2024, plus de la moitié des publicités en ligne seront réalisées à l'aide de l'IA émotionnelle. La vision par ordinateur, qui est utilisée pour détecter les émotions, deviendra l'une des technologies les plus importantes dans les 3 à 5 prochaines années. Et MarketsandMarkets prédit que le marché de l'analyse des émotions doublera d'ici 2024, passant de 2,2 milliards de dollars à 4,6 milliards de dollars.
En outre, de grandes entreprises manifestent de l'intérêt pour la reconnaissance des émotions - par exemple, Procter & Gamble, Walmart, VTB, Rosbank, Sberbank et Alfa-Bank. Et les startups nationales développent des projets pilotes qui deviendront des solutions toutes faites pour les entreprises à l'avenir.
Evgeniya Khrisanfova
