Vous conduisez sur une autoroute lorsqu'un homme court sur une route très fréquentée. Les voitures se déplacent autour de vous, et vous avez une fraction de seconde pour prendre une décision: essayer d'éviter une personne et créer un risque d'accident? Continuer à conduire dans l'espoir qu'il aura le temps? Freiner? Comment évaluez-vous les chances d'avoir un enfant attaché sur le siège arrière? À bien des égards, il s'agit d'un «dilemme moral» classique, un problème de chariot. Elle a un million d'options différentes qui vous permettent d'identifier les préjugés humains, mais l'essence est la même.
Vous êtes dans une situation où la vie et la mort sont en jeu, il n'y a pas de choix simple, et votre décision déterminera en fait qui vit et qui meurt.
Le dilemme du chariot et l'intelligence artificielle
Le nouveau journal du MIT, publié la semaine dernière dans la revue Nature, tente de trouver une solution de travail au problème des chariots en recrutant des millions de volontaires. L'expérience a débuté en 2014 et a été un succès, recevant plus de 40 millions de réponses de 233 pays, ce qui en fait l'une des plus grandes études morales jamais menées.
Une personne peut prendre de telles décisions inconsciemment. Il est difficile de peser tous les systèmes éthiques et les prérequis moraux lorsque votre voiture roule sur la route. Mais dans notre monde, les décisions sont de plus en plus prises par des algorithmes, et les ordinateurs peuvent facilement répondre plus rapidement que nous.
Les situations hypothétiques avec des voitures autonomes ne sont pas les seules décisions morales que les algorithmes doivent prendre. Les algorithmes médicaux choisiront qui recevra un traitement avec des ressources limitées. Les drones automatisés choisiront le niveau de «dommage collatéral» acceptable dans un engagement militaire individuel.
Vidéo promotionelle:
Tous les principes moraux ne sont pas égaux
Les «solutions» au problème du chariot sont aussi variées que les problèmes eux-mêmes. Comment les machines prendront-elles des décisions morales lorsque les fondements de la moralité et de l'éthique ne sont pas universellement acceptés et peuvent ne pas avoir de solutions? Qui peut déterminer si un algorithme fait bien ou mal?
L'approche de crowdsourcing adoptée par les scientifiques de Moral Machine est assez pragmatique. En fin de compte, pour que le public accepte les voitures autonomes, il doit accepter le fondement moral de ses décisions. Ce ne sera pas bien si des éthiciens ou des avocats trouvent une solution qui soit inacceptable ou inacceptable pour les conducteurs ordinaires.
Les résultats mènent à la curieuse conclusion que les priorités morales (et donc les décisions algorithmiques que les humains peuvent prendre) dépendent de l'endroit où vous vous trouvez dans le monde.
Tout d'abord, les scientifiques reconnaissent qu'il est impossible de connaître la fréquence ou la nature de ces situations dans la vie réelle. Les personnes qui ont été impliquées dans un accident ne peuvent très souvent dire ce qui s'est exactement passé, et l'éventail des situations possibles empêche une classification simple. Par conséquent, pour que le problème devienne possible à traquer, il doit être décomposé en scénarios simplifiés, à la recherche de règles et de principes moraux universels.
Lorsque vous répondez à une enquête, on vous présente treize questions qui nécessitent un simple choix par oui ou par non, en essayant de limiter les réponses à neuf facteurs.
La voiture doit-elle tourner dans une autre voie ou continuer à avancer? Devriez-vous sauver les jeunes, pas les vieux? Femmes ou hommes? Des animaux ou des personnes? Devriez-vous essayer de sauver autant de vies que possible, ou est-ce qu'un enfant «vaut» deux personnes âgées? Sauver les passagers d'une voiture, pas les piétons? Ceux qui ne suivent pas les règles, ou ceux qui ne les suivent pas? Devez-vous sauver des personnes physiquement plus fortes? Qu'en est-il des personnes ayant un statut social plus élevé, comme les médecins ou les hommes d'affaires?
Dans ce monde hypothétique dur, quelqu'un doit mourir et vous répondrez à chacune de ces questions - avec plus ou moins d'enthousiasme. Cependant, la prise de ces décisions révèle également des normes et préjugés culturels profondément enracinés.
Le traitement de l'énorme ensemble de données étudié par les scientifiques produit des règles universelles ainsi que de curieuses exceptions. Les trois facteurs les plus dominants, en moyenne pour l'ensemble de la population, étaient que tout le monde préférait sauver plus de vies que moins, des personnes plutôt que des animaux, et des jeunes plutôt que des vieux.
Différences régionales
Vous pouvez être d'accord avec ces points, mais plus vous y réfléchirez profondément, plus les conclusions morales seront troublantes. Davantage de répondants ont choisi de sauver le criminel plutôt que le chat, mais en général, ils ont préféré sauver le chien plutôt que le criminel. Dans la moyenne mondiale, être vieux est mieux noté que le fait d'être sans-abri, mais les sans-abri ont été moins sauvés que les gros.
Et ces règles n'étaient pas universelles: les répondants de France, du Royaume-Uni et des États-Unis préféraient les jeunes, tandis que les répondants de Chine et de Taïwan étaient plus disposés à sauver les personnes âgées. Les répondants du Japon ont préféré sauver les piétons aux passagers, tandis qu'en Chine, ils préfèrent les passagers aux piétons.
Les chercheurs ont découvert qu'ils pouvaient regrouper les réponses par pays en trois catégories: «Ouest», principalement l'Amérique du Nord et l'Europe, où la moralité repose en grande partie sur la doctrine chrétienne; «Orient» - Japon, Taiwan, Moyen-Orient, où le confucianisme et l'islam prédominent; Pays du "sud", y compris l'Amérique centrale et du sud, avec une forte influence culturelle française. Il y a une préférence plus forte pour le sacrifice féminin dans le segment sud que partout ailleurs. Dans le segment oriental, la tendance est plus forte à sauver les jeunes.
Le filtrage par différents attributs des répondants donne des options intéressantes sans fin. Il est peu probable que les répondants «très religieux» préfèrent sauver un animal, mais les répondants religieux et non religieux expriment à peu près la même préférence pour sauver les personnes ayant un statut social élevé (bien que cela puisse être considéré comme contraire à certaines doctrines religieuses). Les hommes et les femmes préfèrent sauver les femmes, mais les hommes sont moins enclins à le faire.
Questions sans réponse
Personne ne prétend que cette recherche "résout" en quelque sorte tous ces graves problèmes moraux. Les auteurs de l'étude notent que le crowdsourcing de données en ligne implique un biais. Mais même avec un échantillon de grande taille, le nombre de questions était limité. Et si les risques changent en fonction de la décision que vous prenez? Et si l'algorithme pouvait calculer que vous n'aviez que 50% de chances de tuer des piétons, compte tenu de la vitesse à laquelle vous vous déplaciez?
Edmond Awad, l'un des auteurs de l'étude, a exprimé sa prudence quant à la sur-interprétation des résultats. À son avis, la discussion devrait déboucher sur une analyse des risques - qui est plus ou moins à risque - au lieu de décider qui meurt et qui ne meurt pas.
Mais le résultat le plus important de l'étude a été la discussion qui a éclaté sur son sol. Alors que les algorithmes commencent à prendre des décisions de plus en plus importantes qui affectent la vie des gens, il est impératif que nous ayons une discussion continue sur l'éthique de l'IA. Concevoir une «conscience artificielle» doit inclure l'opinion de chacun. Bien que les réponses ne soient pas toujours faciles à trouver, il est préférable d'essayer de former un cadre moral pour les algorithmes en ne permettant pas aux algorithmes de façonner le monde par eux-mêmes sans contrôle humain.
