Les dirigeants de plus d'une centaine des plus grandes sociétés mondiales d'intelligence artificielle sont très préoccupés par le développement de «robots tueurs». Dans une lettre ouverte à l'ONU, ces chefs d'entreprise, dont Elon Musk de Tesla et les fondateurs de Google DeepMind, ont averti que l'utilisation de la technologie des armes autonomes pourrait être adoptée par des terroristes et des despotes, ou être plus ou moins piratée.
Mais la vraie menace est beaucoup plus sérieuse - et ce n'est pas seulement une faute humaine, mais aussi des méfaits de la machine. L'examen de systèmes complexes montre qu'ils peuvent se comporter de manière beaucoup plus imprévisible qu'on ne peut le déduire de la somme des actions individuelles. D'une part, cela signifie que la société humaine peut se comporter très différemment de ce à quoi on pourrait s'attendre en étudiant le comportement des individus. En revanche, il en va de même pour la technologie. Même les écosystèmes de simples programmes d'intelligence artificielle - que nous appelons de bons robots stupides - peuvent nous surprendre. Même les robots individuels peuvent se comporter horriblement.
Les éléments individuels qui composent des systèmes complexes, tels que les marchés économiques ou la météo mondiale, ont tendance à ne pas interagir de manière simple et linéaire. Cela rend ces systèmes très difficiles à modéliser et à comprendre. Par exemple, même après des années de recherche sur le climat, il est impossible de prévoir le comportement à long terme du temps. Ces systèmes sont aussi sensibles aux moindres changements qu'ils réagissent de manière explosive. Il est très difficile de connaître l'état exact d'un tel système à un moment donné. Tout cela rend ces systèmes imprévisibles en interne.
Tous ces principes s'appliquent à de grands groupes de personnes agissant à leur manière, qu'il s'agisse de sociétés humaines ou de groupes de robots IA. Les scientifiques ont récemment étudié un type de système complexe qui utilisait de bons robots pour éditer automatiquement les articles de Wikipédia. Ces divers robots sont conçus, écrits et utilisés par des éditeurs de confiance Wikipédia, et leur logiciel sous-jacent est open source et accessible à tous. Individuellement, ils ont un objectif commun d'améliorer l'encyclopédie. Cependant, leur comportement collectif s'est avéré étonnamment inefficace.
Des règles et des conventions bien établies sont au cœur du fonctionnement de ces robots sur Wikipédia, mais comme le site Web ne dispose pas d'un système de contrôle central, il n'y a pas de coordination efficace entre les personnes qui gèrent les différents robots. Les résultats ont révélé quelques bots qui ont annulé les modifications de l'autre pendant plusieurs années et personne ne l'a remarqué. Et bien sûr, comme ces robots n'apprennent pas du tout, ils ne l'ont pas remarqué non plus.
Ces robots sont conçus pour accélérer le processus d'édition. Mais de petites différences dans la conception des bots, ou entre les personnes qui les utilisent, pourraient conduire à un gaspillage massif de ressources dans une "guerre d'édition" en cours qui pourrait être résolue beaucoup plus rapidement par les éditeurs.
Les chercheurs ont également découvert que les bots se comportaient différemment dans différentes versions linguistiques de Wikipédia. Les règles, semble-t-il, sont presque les mêmes, les objectifs sont identiques, les technologies sont similaires. Mais sur Wikipédia en allemand, la coopération avec les robots était beaucoup plus efficace et productive que, par exemple, en portugais. Cela ne peut s'expliquer que par les différences entre les éditeurs humains qui ont exécuté ces bots dans différents environnements.
Vidéo promotionelle:
Confusion exponentielle
Les bots de Wikipédia n'ont pas une large autonomie et le système ne fonctionne plus conformément aux objectifs des bots individuels. Mais la Wikimedia Foundation prévoit d'utiliser une IA qui donnera plus d'autonomie à ces bots. Et cela est susceptible de conduire à un comportement encore plus imprévisible.
Un bon exemple de ce qui peut arriver est montré par des robots conçus pour parler aux gens lorsqu'ils sont forcés de communiquer entre eux. Nous ne sommes plus surpris par les réponses d'assistants personnels comme Siri. Mais faites-les communiquer entre eux et ils commenceront rapidement à se comporter de manière inattendue, à se disputer et même à s'insulter.
Plus le système devient grand et plus chaque bot devient autonome, plus le comportement futur de ce système sera complexe et imprévisible. Wikipedia est un exemple d'un grand nombre de robots relativement simples au travail. L'exemple du chatbot est un exemple d'un petit nombre de robots relativement complexes et inventifs - dans les deux cas, des conflits imprévus surviennent. La complexité, et donc l'imprévisibilité, croît de façon exponentielle à mesure que la personnalité est ajoutée au système. Par conséquent, lorsque des systèmes avec un grand nombre de robots très complexes apparaissent dans le futur, leur imprévisibilité dépassera notre imagination.
Folie flamboyante
Les voitures autonomes, par exemple, promettent de faire une percée en matière d'efficacité et de sécurité routière. Mais nous ne savons pas encore ce qui se passera lorsque nous aurons un grand système sauvage de véhicules entièrement autonomes. Ils peuvent se comporter différemment, même au sein d'une petite flotte de véhicules individuels dans un environnement contrôlé. Et des comportements encore plus imprévisibles peuvent se manifester lorsque des voitures autonomes, «entraînées» par différentes personnes à différents endroits, commencent à interagir les unes avec les autres.
Les gens peuvent s'adapter assez rapidement aux nouvelles règles et conventions, mais ils ont du mal à passer d'un système à l'autre. Les agents artificiels peuvent être encore plus difficiles. Par exemple, si une voiture «formée en Allemagne» se rend en Italie, par exemple, nous ne savons pas comment elle maîtrisera les conventions culturelles non écrites que suivent de nombreuses autres voitures «entraînées en Italie». Quelque chose de banal comme traverser une intersection peut devenir dangereux parce que nous ne savons tout simplement pas si les voitures interagiront comme prévu ou si elles se comporteront de manière imprévisible.
Pensez maintenant aux robots tueurs qui harcèlent Musk et ses collègues. Un robot tueur peut être très dangereux entre de mauvaises mains. Qu'en est-il du système de robots tueurs imprévisibles? Pense pour toi même.
Ilya Khel
