En dehors de la fenêtre, c'est 2022. Vous conduisez une voiture autonome, comme d'habitude, à travers la ville. La voiture s'approche d'un panneau d'arrêt, qu'elle a traversé plusieurs fois, mais cette fois elle ne s'arrête pas devant lui. Pour vous, ce panneau d'arrêt est comme les autres. Mais pour une voiture, c'est complètement différent. Quelques minutes plus tôt, sans prévenir personne, l'attaquant avait collé une petite plaque sur l'enseigne, invisible à l'œil humain, mais que la technologie ne peut manquer de remarquer. Autrement dit, un petit autocollant sur le panneau a transformé le panneau d'arrêt en quelque chose de complètement différent du panneau d'arrêt.
Tout cela peut sembler incroyable. Mais un domaine de recherche croissant prouve que l'intelligence artificielle peut être trompée dans quelque chose comme ça si elle voit un petit détail qui est complètement invisible pour les humains. Alors que les algorithmes d'apprentissage automatique apparaissent de plus en plus sur nos routes, nos finances, notre système de santé, les informaticiens espèrent en savoir plus sur la façon de les protéger contre de telles attaques - avant que quelqu'un ne tente vraiment de les tromper.
«C'est une préoccupation croissante dans la communauté de l'apprentissage automatique et de l'IA, d'autant plus que ces algorithmes sont de plus en plus utilisés», déclare Daniel Lode, professeur adjoint au département d'informatique et de sciences de l'information de l'Université de l'Oregon. «Si le spam passe ou est bloqué par plusieurs e-mails, ce n'est pas la fin du monde. Mais si vous comptez sur un système de vision dans une voiture autonome qui lui dit comment conduire sans heurter quoi que ce soit, les enjeux sont bien plus importants.
Que la machine tombe en panne ou soit piratée, les algorithmes d'apprentissage automatique qui "voient" le monde en souffriront. Et donc pour la voiture, le panda ressemble à un gibbon, et le bus scolaire ressemble à une autruche.
Dans une expérience, des scientifiques de France et de Suisse ont montré comment de telles perturbations pouvaient amener un ordinateur à confondre un écureuil avec un renard gris et une cafetière pour un perroquet.
Comment est-ce possible? Pensez à la façon dont votre enfant apprend à reconnaître les nombres. En regardant les symboles un par un, l'enfant commence à remarquer certaines caractéristiques communes: certains sont plus grands et plus minces, six et neuf contiennent une grande boucle, et les huit en contiennent deux, et ainsi de suite. Une fois qu'ils voient suffisamment d'exemples, ils peuvent rapidement reconnaître les nouveaux nombres sous forme de quatre, huit ou triplés - même si, grâce à la police ou à l'écriture manuscrite, ils ne ressemblent pas exactement aux autres quatre, huit ou trois qu'ils aient jamais eu. Déjà vu.
Les algorithmes d'apprentissage automatique apprennent à lire le monde grâce à un processus quelque peu similaire. Les scientifiques fournissent à l'ordinateur des centaines ou des milliers d'exemples (généralement étiquetés) de ce qu'ils aimeraient trouver sur l'ordinateur. Lorsque la machine passe au crible les données - c'est un nombre, ce n'est pas, c'est un nombre, ce n'est pas - elle commence à remarquer les caractéristiques qui mènent à une réponse. Bientôt, elle pourra regarder la photo et dire: "Ça fait cinq!" avec une grande précision.
Vidéo promotionelle:
Ainsi, les enfants humains et les ordinateurs peuvent apprendre à reconnaître une vaste gamme d'objets - des nombres aux chats, des bateaux aux visages humains individuels.
Mais, contrairement à un enfant humain, un ordinateur ne prête pas attention aux détails de haut niveau - comme les oreilles velues des chats ou la forme angulaire distinctive des quatre. Il ne voit pas la situation dans son ensemble.
Au lieu de cela, il examine les pixels individuels d'une image - et le moyen le plus rapide de séparer les objets. Si l'écrasante majorité des unités ont un pixel noir à un certain point et quelques pixels blancs à d'autres points, la machine apprendra très rapidement à les déterminer à partir de quelques pixels.
Revenons maintenant au panneau d'arrêt. En corrigeant imperceptiblement les pixels de l'image - les experts appellent ces interférences des «perturbations» - vous pouvez faire croire à l'ordinateur qu'il n'y a, en fait, aucun panneau d'arrêt.
Des études similaires du laboratoire d'intelligence artificielle évolutive de l'Université du Wyoming et de l'Université Cornell ont produit de nombreuses illusions d'optique pour l'intelligence artificielle. Ces images psychédéliques de motifs et de couleurs abstraits ne ressemblent à rien pour les humains, mais sont rapidement reconnues par l'ordinateur comme des serpents ou des fusils. Cela suggère comment l'IA peut regarder quelque chose et ne pas voir l'objet, ou voir autre chose à la place.
Cette faiblesse est commune à tous les types d'algorithmes d'apprentissage automatique. «On s'attendrait à ce que chaque algorithme ait un trou dans l'armure», déclare Yevgeny Vorobeichik, professeur adjoint d'informatique et d'informatique à l'Université Vanderbilt. «Nous vivons dans un monde multidimensionnel très complexe, et les algorithmes, de par leur nature, n’en affectent qu’une petite partie.»
Sparrow est "extrêmement confiant" que si ces vulnérabilités existent, quelqu'un trouvera comment les exploiter. Quelqu'un l'a probablement déjà fait.
Considérez les filtres anti-spam, des programmes automatisés qui filtrent tous les e-mails gênants. Les spammeurs peuvent essayer de contourner cette barrière en modifiant l'orthographe des mots (au lieu de Viagra - vi @ gra) ou en ajoutant une liste de "bons mots" qui se trouvent généralement dans des lettres normales: comme "aha", "moi", "heureux". Pendant ce temps, les spammeurs peuvent essayer de supprimer les mots qui apparaissent souvent dans le spam, tels que «mobile» ou «gagner».
Où les escrocs peuvent-ils arriver un jour? Une voiture autonome trompée par un autocollant de panneau d'arrêt est un scénario classique qui a été imaginé par des experts du domaine. Des données supplémentaires peuvent aider la pornographie à passer à travers des filtres sûrs. D'autres peuvent essayer d'augmenter le nombre de chèques. Les pirates peuvent modifier le code des logiciels malveillants pour échapper aux forces de l'ordre.
Les attaquants peuvent trouver comment créer des données manquantes s'ils obtiennent une copie d'un algorithme d'apprentissage automatique qu'ils veulent tromper. Mais ce n'est pas nécessaire pour passer à travers l'algorithme. On peut simplement le casser avec la force brute en lui jetant des versions légèrement différentes d'e-mails ou d'images jusqu'à ce qu'elles passent. Au fil du temps, il pourrait même être utilisé pour un tout nouveau modèle qui sait ce que les bons recherchent et quelles données produire pour les tromper.
«Les gens manipulent les systèmes d'apprentissage automatique depuis leur introduction», explique Patrick McDaniel, professeur d'informatique et d'ingénierie à l'Université de Pennsylvanie. "Si les gens utilisent ces méthodes, nous ne le saurons peut-être même pas."
Ces méthodes peuvent être utilisées non seulement par les fraudeurs - les gens peuvent se cacher des yeux des rayons X des technologies modernes.
«Si vous êtes une sorte de dissident politique sous un régime répressif et que vous souhaitez mener des événements à l'insu des agences de renseignement, vous devrez peut-être éviter les méthodes d'observation automatiques basées sur l'apprentissage automatique», explique Lode.
Dans un projet publié en octobre, des chercheurs de l'Université Carnegie Mellon ont créé une paire de lunettes qui peut subtilement induire en erreur le système de reconnaissance faciale, amenant un ordinateur à confondre l'actrice Reese Witherspoon avec Russell Crowe. Cela semble ridicule, mais une telle technologie pourrait s'avérer utile pour quiconque cherche désespérément à éviter la censure par ceux qui sont au pouvoir.
Que faire de tout ça? «La seule façon d'éviter complètement cela est de créer un modèle parfait qui sera toujours correct», déclare Lode. Même si nous pouvions créer une intelligence artificielle qui surpasse les humains à tous égards, le monde peut encore glisser un cochon dans un endroit inattendu.
Les algorithmes d'apprentissage automatique sont généralement jugés sur leur précision. Un programme qui reconnaît les chaises 99% du temps sera clairement meilleur qu'un programme qui reconnaît 6 chaises sur 10. Mais certains experts suggèrent une autre façon d'évaluer la capacité de l'algorithme à faire face à une attaque: plus c'est difficile, mieux c'est.
Une autre solution pourrait être que les experts soient en mesure de définir le rythme des programmes. Créez vos propres exemples d'attaques dans le laboratoire en fonction des capacités des criminels à votre avis, puis montrez-les à l'algorithme d'apprentissage automatique. Cela peut l'aider à devenir plus résilient au fil du temps - à condition, bien sûr, que les attaques de test soient du type qui sera testé dans le monde réel.
«Les systèmes d'apprentissage automatique sont un outil de réflexion. Nous devons être intelligents et rationnels sur ce que nous leur donnons et ce qu'ils nous disent », a déclaré McDaniel. "Nous ne devrions pas les traiter comme de parfaits oracles de vérité."
ILYA KHEL
