Basilisk Roco est une forme d'intelligence artificielle semblable à un dieu, si dangereuse que si vous y réfléchissez, vous passerez le reste de vos jours dans une torture horrible. Cela ressemble à une cassette du film "The Ring". Cependant, même la mort ne sera pas une délivrance, car le Basilic Roko vous ressuscitera et continuera sa torture. T&P présente la traduction d'un article sur l'une des légendes les plus étranges générées sur Internet.
AVERTISSEMENT: après avoir lu cet article, vous pouvez vous condamner à la souffrance et au tourment éternels.
Le basilic de Roco est apparu à la jonction d'une expérience de pensée philosophique et d'une légende urbaine. La première mention de lui est apparue sur le forum de discussion Less Wrong, qui rassemble des personnes intéressées par l'optimisation de la pensée et de la vie à travers le prisme des mathématiques et de la rationalité. Ses créateurs sont des figures importantes du techno-futurisme, et parmi les réalisations de leur institut de recherche, il contribue au débat académique sur l'éthique technologique et la théorie de la décision. Cependant, ce que vous êtes sur le point de lire maintenant peut sembler étrange et même fou. Malgré cela, des scientifiques très influents et riches y croient.
Un jour, un utilisateur nommé Roko a posté l'expérience de pensée suivante: Et si, à l'avenir, une intelligence artificielle malveillante émerge qui veut punir ceux qui ne suivent pas ses ordres? Et s'il veut punir ces personnes qui dans le passé n'ont pas contribué à sa création? Les lecteurs de Less Wrong aideraient-ils alors l'IA perverse à naître, ou seraient-ils voués à un tourment éternel?
Le fondateur de Less Wrong, Eliezer Yudkowski, a pris la déclaration de Roko avec colère. C'est ce qu'il lui a répondu: «Vous devez être intelligent si vous en venez à cette idée. Cependant, cela m'attriste que les gens qui sont assez intelligents pour imaginer cela ne soient pas assez intelligents pour GARDER LEUR LANGUE STUPIDE PAR LES DENTS et ne pas en parler à personne, car c'est plus important que de se montrer intelligent et d'en parler à tous ses amis …
"Et si dans le futur il y avait une intelligence artificielle qui veut punir ceux qui ne suivent pas ses ordres?"
Yudkowski a admis que Rocko était coupable des cauchemars des utilisateurs de Less Wrong qui avaient lu le fil et l'avaient supprimé, rendant le Basilisk de Rocko légendaire. Cette expérience de pensée est devenue si dangereuse que d'y penser menaçait la santé mentale de l'utilisateur.
Que fait moins de mal? Formation du concept du futur de l'humanité basé sur la singularité. Ils pensent que la puissance de calcul à l'avenir deviendra si élevée que l'intelligence artificielle peut être créée à l'aide d'un ordinateur - et avec elle la capacité de télécharger la conscience humaine sur un disque dur. Le terme «singularité» est né en 1958 lors d'une discussion entre deux génies des mathématiques - Stanislav Ulam et John von Neumann, quand Neumann disait: «Les progrès de la technologie en constante accélération permettront d'approcher une singularité, dans laquelle la technologie ne peut être comprise par les humains.» Les futuristes et les écrivains de science-fiction comme Vernor Vinge et Raymond Kurzweil ont popularisé le terme parce qu'ils croyaient que la Singularité nous attendait tous très bientôt - dans les 50 prochaines années. Pendant que Kurzweil se prépare à la singularitéYudkowski a de grands espoirs pour la cryogénie: "Si vous n'avez pas inscrit vos enfants à la cryoconservation à l'avance, vous êtes de mauvais parents."
Vidéo promotionelle:
Si vous pensez qu'une singularité se profile et que de puissantes IA apparaîtront dans un proche avenir, une question naturelle se pose: seront-elles amicales ou mauvaises? La Fondation Yudkowski vise à diriger le développement de la technologie de telle sorte que nous ayons une intelligence artificielle exactement amicale. Cette question est d'une importance capitale pour lui et pour beaucoup d'autres. La Singularité nous mènera à une machine équivalente à Dieu.
Cependant, cela n'explique pas pourquoi le basilic de Roco a l'air si terrible aux yeux de ces personnes. La question nécessite un regard sur le "dogme" principal de Less Wrong - "Théorie de la décision intemporelle" (HTDM). VPPR est un guide d'action rationnelle, basé sur la théorie des jeux, la probabilité bayésienne et la théorie de la décision, mais avec à l'esprit les univers parallèles et la mécanique quantique. VTPR est né d'une expérience de pensée classique, le Newcomb Paradox, dans laquelle un extraterrestre avec superintelligence vous propose deux boîtes. Il vous donne le choix: soit prendre les deux boîtes, soit simplement la boîte B. Si vous choisissez les deux, vous êtes assuré de recevoir mille dollars. Si vous ne prenez que la case B, vous risquez de ne rien obtenir. Cependant, l'extraterrestre a encore une astuce en réserve: il a un supercalculateur omniscient qui a fait une prédiction il y a une semaine,si vous prenez les deux boîtes ou simplement B. Si l'ordinateur prévoyait que vous prendriez les deux boîtes, l'étranger laisserait l'autre vide. Si l'ordinateur prévoyait que vous choisiriez la case B, il y mettrait un million de dollars.
Donc qu'est ce que tu vas faire? Rappelez-vous que le supercalculateur est omniscient.
Ce problème a dérouté de nombreux théoriciens. L'étranger ne peut plus changer le contenu des boîtes. Le moyen le plus sûr est de prendre les deux boîtes et de récupérer vos mille. Mais que faire si l'ordinateur est vraiment omniscient? Ensuite, tout ce que vous avez à faire est de prendre la case B pour obtenir un million. Mais s'il se trompe? Et peu importe ce que l'ordinateur a prédit, n'y a-t-il vraiment aucun moyen de changer votre destin? Ensuite, bon sang, vous devez prendre les deux boîtes. Mais dans ce cas …
Le paradoxe exaspérant qui nous oblige à choisir entre le libre arbitre et la prédiction divine n'a pas de résolution, et les gens ne peuvent que hausser les épaules et choisir l'option qui leur convient le mieux. WTPR donne des conseils: prenez la boîte B. Même si l'extraterrestre a décidé de se moquer de vous et d'ouvrir une boîte vide avec les mots: "L'ordinateur a prédit que vous allez prendre les deux boîtes, ha ha!" - vous devez encore le choisir. La raison en est la suivante: pour faire une prédiction, l'ordinateur devait simuler l'univers entier, vous y compris. Ainsi, en ce moment, debout devant les boîtes, vous pouvez n'être qu'une simulation de l'ordinateur, mais ce que vous faites affectera la réalité (ou la réalité). Alors prenez la boîte B et obtenez un million.
"Le paradoxe exaspérant qui nous oblige à choisir entre le libre arbitre et la prédiction divine n'a pas de résolution."
Qu'est-ce que cela a à voir avec le Basilisk Roco? Eh bien, il a aussi quelques boîtes pour vous. Peut-être êtes-vous en ce moment dans une simulation créée par Basilisk. Alors peut-être que nous obtenons une version légèrement modifiée du paradoxe de Newcome: Roco's Basilisk vous dit que si vous prenez la boîte B, vous subirez un tourment éternel. Si vous prenez les deux boîtes, vous serez obligé de consacrer votre vie à la création du basilic. Si le Basilic existe réellement (ou, pire, il existe déjà et est le dieu de cette réalité), il verra que vous n'avez pas choisi l'option d'aider à sa création et vous punira.
Vous vous demandez peut-être pourquoi cette question est si importante pour Less Wrong, étant donné la convention de cette expérience de pensée. Ce n'est pas un fait que le basilic de Rocko sera jamais créé. Cependant, Yudkowski a supprimé les références au basilic de Roko non pas parce qu'il croit en son existence ou en une invention imminente, mais parce qu'il considère que l'idée d'un basilic est dangereuse pour l'humanité.
En tant que tel, le basilic de Rocko n'est dangereux que pour ceux qui y croient - en conséquence, les membres de Less Wrong qui soutiennent l'idée du basilic ont une sorte de connaissance interdite, qui nous rappelle les histoires effrayantes de Lovecraft sur Cthulhu ou le Necronomicon. Cependant, à moins que vous ne souscriviez à toutes ces théories et que vous ne soyez tenté d'obéir à une machine insidieuse du futur, le basilic de Roco ne vous menace pas.
Je suis plus préoccupé par les gens qui pensent avoir dépassé les normes morales conventionnelles. Comme l'IA amicale attendue de Yudkowski, il est lui-même un utilitariste: il croit que le plus grand bien pour toute l'humanité est éthiquement justifié, même si plusieurs personnes doivent mourir ou souffrir sur le chemin. Tout le monde ne peut pas faire face à un tel choix, mais le point est différent: que se passe-t-il si un journaliste écrit sur une expérience de pensée qui peut détruire la conscience des gens, nuire ainsi à l'humanité et entraver le progrès dans le développement de l'intelligence artificielle et de la singularité? Dans ce cas, tout bien que j'ai fait dans ma vie doit l'emporter sur le mal que j'ai fait au monde. Ou peut-être Yudkowski du futur qui est sorti du sommeil cryogénique a fusionné avec la singularité et a décidé de me simuler dans la situation suivante:la première boîte - je vais écrire cet article, la seconde - non. S'il vous plaît, tout-puissant Yudkowski, ne me faites pas de mal.
