En utilisant la technologie pour scanner l'activité cérébrale, l'intelligence artificielle et un synthétiseur vocal, des scientifiques de l'Université de Columbia (États-Unis) ont créé un appareil capable de traduire les pensées humaines en discours articulé. Les résultats de la recherche, publiés dans Scientific Reports, représentent une étape importante dans l'amélioration des interfaces cerveau-ordinateur. À l'avenir, de tels appareils peuvent être utilisés par des personnes qui ont perdu la capacité de parler à la suite d'une blessure ou d'une maladie.
Pour développer un appareil combinant les capacités d'un synthétiseur vocal et de l'intelligence artificielle, l'auteur de l'étude, le neuroscientifique Nima Mesgarani et ses collègues se sont tournés vers les dernières avancées des technologies d'apprentissage automatique profond et de synthèse vocale. Le résultat de leur travail est un vocodeur basé sur l'intelligence artificielle capable d'interpréter assez précisément l'activité cérébrale directement à partir du cortex auditif du cerveau, puis de la traduire en parole intelligible. Les auteurs de l'ouvrage notent que la parole dans ce cas s'avère très informatisée, mais les gens peuvent reconnaître les mots dans la plupart des cas.
Selon les créateurs, le nouvel appareil utilisé pour reproduire le discours résultant est basé sur la même technologie que celle utilisée dans les assistants numériques tels qu'Alexa, Siri et Google Assistant.
Tout d'abord, des experts ont formé le vocodeur à interpréter correctement l'activité cérébrale humaine. Pour cela, les scientifiques ont invité cinq volontaires en traitement pour l'épilepsie à participer à l'expérience. Tous les cinq avaient des électrodes implantées dans le cortex auditif pour lire l'électroencéphalogramme.
«Nous avons demandé aux patients épileptiques qui subissent déjà une chirurgie cérébrale d'écouter les phrases prononcées par différentes personnes. Dans le même temps, nous avons analysé les tendances de l'activité cérébrale des patients. Le vocodeur a été formé sur les modèles neuronaux obtenus », explique Mesgarani.
Les patients ont été invités à écouter les enregistrements dans lesquels les acteurs lisent des séquences de nombres de 0 à 9. Dans le même temps, les scientifiques ont enregistré les signaux cérébraux, puis les ont passés à travers le vocodeur, dont les signaux ont été corrigés pour augmenter la clarté par un réseau neuronal qui analysait les sons du vocodeur lui-même, qui produisait des sons en réponse à ces signaux. En conséquence, une voix robotique pourrait être entendue répétant une séquence de nombres prononcés. Pour évaluer les résultats, les scientifiques ont invité 11 personnes ayant une excellente audition.
«Il s'est avéré que les gens peuvent reconnaître les mots environ 75% du temps, ce qui est largement supérieur à toutes les tentatives précédentes. Le vocodeur sensible et les puissants réseaux de neurones généraient les sons que les patients écoutaient avec une précision incroyable », commente Mesgarani.
Vidéo promotionelle:
À l'avenir, l'équipe de Mesgarani apprendra au réseau neuronal à prononcer des mots, des phrases et même des phrases entières plus complexes. Après cela, ils veulent développer un implant qui peut traduire les pensées d'une personne en discours complet.
«Par exemple, si le propriétaire de l'implant pense:« J'ai besoin d'un verre d'eau », notre système lit les signaux cérébraux et les traduit en paroles. Cela donnera à quiconque a perdu la capacité de parler en raison d'une blessure ou d'une maladie une nouvelle opportunité de communiquer avec le monde qui l'entoure », ajoute Mesgarani.
Nikolay Khizhnyak
