Avec l'accélération du progrès technologique, l'humanité peut approcher rapidement un point critique de son développement. En plus des menaces bien connues comme l'holocauste nucléaire, la perspective de faire progresser rapidement des technologies telles que les nanosystèmes et l'intelligence artificielle nous présente des opportunités et des risques sans précédent. Notre avenir et la question de savoir si nous en aurons du tout dépend de la manière dont nous relevons ces défis. Avec les progrès rapides de la technologie, nous avons besoin d'une meilleure compréhension de la dynamique de la transition d'une société humaine à une société «post-humaine». Il est particulièrement important de savoir où se trouvent les pièges: des chemins où les choses peuvent mal tourner.
Bien que nous ayons une vaste expérience de l'exposition à une variété de dangers personnels, locaux ou tolérés dans le monde, cet article analyse une catégorie récemment émergente: les risques existentiels. C'est ce que nous appelons les risques d'événements qui peuvent conduire à notre extinction ou à des dommages cardiaques au potentiel de vie intelligente qui s'est développé sur Terre. Certains de ces dangers sont relativement bien connus, tandis que d'autres sont complètement ignorés. Les menaces d'existence présentent un certain nombre de caractéristiques qui rendent la gestion des risques conventionnelle inefficace dans ce cas. Le dernier chapitre de cet article traite de certaines des implications éthiques et politiques de ce problème. Une meilleure compréhension du paysage des menaces nous permettra de formuler de meilleures stratégies.
La vie est dangereuse et le danger est partout. Heureusement, tous les risques ne sont pas aussi graves. Pour nos besoins, nous pouvons utiliser trois dimensions pour décrire les risques: l'échelle, l'intensité et la probabilité. Par «échelle», j'entends la taille du groupe de personnes à risque. Par «intensité», je veux dire combien de tort sera fait à chaque individu du groupe. Et par «probabilité», j'entends la meilleure estimation subjective actuelle de la probabilité d'un résultat négatif.
1. Typologie des risques
On peut distinguer six groupes de risques qualitativement différents, en fonction de leur ampleur et de leur intensité (tableau 1). Une troisième dimension, la probabilité, peut se superposer à ces deux dimensions. Toutes choses étant égales par ailleurs, un risque est plus sérieux s'il a une probabilité significative et si nos actions peuvent l'augmenter ou la diminuer.
Échelle / intensité: intensité létale supportable
appauvrissement global de l'ozone X
Vidéo promotionelle:
ralentissement économique local dans le pays Génocide
Mort de vol de voiture personnelle
«Personnel», «local» ou «mondial» fait référence à la taille de la population directement touchée; le risque global affecte toute l'humanité (et nos descendants). «Intensité de risque tolérable» et «intensité létale» font référence à la gravité des effets sur la population à risque. Le risque tolérable peut également conduire à de grandes destructions, mais il reste la possibilité de se remettre des dommages ou de trouver des moyens de surmonter les conséquences négatives. En revanche, le risque ultime est ce risque lorsque les objets qui y sont exposés meurent ou sont irréversiblement endommagés de telle manière qu'ils réduisent radicalement leur potentiel à vivre la vie qu'ils cherchent à vivre. Dans le cas de risques personnels, l'issue ultime peut être, par exemple, la mort, des lésions cérébrales graves irréversibles,ou la réclusion à perpétuité. Un exemple de risque de mort localisé peut être le génocide, conduisant à la destruction de tout un peuple (ce qui est arrivé à plusieurs peuples indiens). Un autre exemple est la conversion à l'esclavage éternel.
2. Risques d'existence
Dans cet article, nous discuterons des risques de la sixième catégorie, qui est marquée dans le tableau comme X. Il s'agit d'une catégorie de risques mortels mondiaux. Je les appellerai des menaces existentielles.
Les menaces d'existence sont différentes des risques tolérables mondiaux. Des exemples de ces derniers sont: les menaces pour la biodiversité de l'écosphère terrestre, le réchauffement climatique modéré (et même grand), et peut-être des époques culturelles et religieuses étouffantes telles que les «âges sombres», même si elles couvrent toute la société, si tôt ou tard elles prennent fin (bien que voir le chapitre Screech ci-dessous). Dire qu'un risque global est tolérable, ce n'est évidemment pas dire qu'il est acceptable ou pas très grave. Une guerre mondiale avec des armes conventionnelles ou une décennie du Reich de style nazi seront des événements extrêmement horribles, malgré le fait qu'ils tombent dans la catégorie des risques mondiaux tolérables, car l'humanité pourrait éventuellement se rétablir. (D'autre part,ces événements constitueront un risque de mort local pour de nombreuses personnes et pour les groupes ethniques persécutés.)
J'utiliserai la définition suivante du risque existentiel:
Une menace à l'existence est un risque dans lequel un résultat négatif détruit la vie intelligente qui a surgi sur Terre, ou réduit de manière irréversible et significative son potentiel.
L'existence est un risque qui menace l'humanité dans son ensemble. De telles catastrophes ont d'énormes conséquences négatives pour tout l'avenir de la civilisation terrestre.
3. Le caractère unique du problème des menaces à l'existence
Des risques de cette sixième catégorie sont apparus récemment. C'est l'une des raisons pour lesquelles il est utile de les séparer dans une catégorie distincte. Nous n'avons pas développé de mécanismes, naturels ou culturels, pour faire face à ces risques. Nos institutions et nos stratégies défensives ont été façonnées en faisant face à des risques tels que les animaux dangereux, les peuples ou tribus hostiles, les aliments empoisonnés, les accidents de voiture, Tchernobyl, Bhopal, les éruptions volcaniques, les tremblements de terre, les sécheresses, la Première Guerre mondiale, la Seconde Guerre mondiale, les épidémies de grippe, la variole, la peste noire et le SIDA. Ce type de catastrophe s'est produit à de nombreuses reprises et notre attitude culturelle face au risque a été façonnée par essais et erreurs dans la gestion de ces menaces. Mais étant une tragédie directement pour les participants à ces événements,d'un point de vue large - du point de vue de toute l'humanité - même les plus terribles de ces catastrophes n'étaient que des ondulations à la surface de la grande mer de la vie. Ils n'ont pas affecté de manière significative le nombre total de personnes heureuses et souffrantes, ni déterminé le sort à long terme de notre espèce.
À l'exception des comètes destructrices d'espèces et des collisions d'astéroïdes (qui sont extrêmement rares), il n'y avait probablement pas de menaces importantes pour l'existence jusqu'au milieu du 20e siècle, et nous ne pouvions absolument rien faire contre aucune d'entre elles.
La première menace d'existence créée par l'homme a été la première bombe atomique. À l'époque, on craignait que l'explosion déclenche une réaction en chaîne en «mettant le feu» à l'atmosphère. Bien que nous sachions maintenant qu'une telle issue était physiquement impossible, à l'époque cette hypothèse était cohérente avec la définition d'une menace existentielle. Pour que quelque chose soit un risque, sur la base des connaissances et de la compréhension disponibles, il suffit qu'il y ait une probabilité subjective d'un résultat défavorable, même s'il s'avère plus tard qu'objectivement il n'y avait pas une seule chance que quelque chose de mal se soit produit. Si nous ne savons pas si quelque chose est objectivement risqué, c'est risqué dans un sens subjectif. Cette signification subjective est, bien entendu, sur laquelle nous devrions fonder nos décisions. À tout moment, nous devons utiliser notre meilleure évaluation subjective pour savoir siquels sont les facteurs de risque objectifs.
Une menace beaucoup plus grande pour l'existence est apparue simultanément avec l'émergence d'arsenaux d'armes nucléaires en URSS et aux États-Unis. Une guerre nucléaire à part entière est possible avec un degré élevé de probabilité et avec des conséquences qui pourraient être si persistantes qu'elles peuvent être qualifiées de globales et définitives. Parmi les personnes qui connaissaient le mieux les informations disponibles à l'époque, on craignait vraiment qu'un Armageddon nucléaire ne se produise et qu'il puisse anéantir notre espèce ou détruire définitivement la civilisation humaine. La Russie et les États-Unis continuent de posséder d'énormes arsenaux nucléaires qui pourraient être utilisés dans une future confrontation, par accident ou exprès. Il y a aussi le risque que d'autres pays accumulent un jour de grands arsenaux. Notez cependant qu'un petit échange de frappes nucléaires, par exemple entre l'Inde et le Pakistan,n'est pas une menace pour l'existence, car elle ne détruira pas l'humanité et n'endommagera pas de manière irréversible le potentiel humain. Une telle guerre, cependant, constituerait un risque mortel local pour ces villes à cibler. Malheureusement, nous verrons que l'Armageddon nucléaire et l'impact cométaire ou astéroïde ne sont que le prélude aux menaces à l'existence au XXIe siècle.
La nature particulière des défis posés par les menaces existentielles peut être illustrée par les remarques suivantes.
Notre approche des menaces existentielles ne peut pas être basée sur des essais et des erreurs. Il n'y a aucun moyen d'apprendre des erreurs. L'approche réactive - regarder ce qui s'est passé, limiter les dégâts et tirer des leçons de l'expérience - ne fonctionne pas. Nous devons plutôt adopter une approche proactive. Cela nécessite de la prévoyance pour détecter de nouveaux types de risques et une volonté de prendre des mesures préventives décisives et de payer leurs coûts moraux et économiques.
Nous ne pouvons pas compter avec confiance sur nos institutions, nos normes morales, nos attitudes sociales ou nos politiques de sécurité nationale qui ont évolué à partir de notre expérience de la gestion d'autres types de risques. Les menaces d'existence sont une bête différente. Il nous sera peut-être difficile de les prendre aussi au sérieux qu’ils le méritent, car nous n’avons jamais connu de telles catastrophes. Notre réaction de peur collective est probablement mal calibrée à l'échelle de la menace.
La réduction des menaces existentielles est un bien public général (Kaul, 1999) et peut donc ne pas être suffisamment approvisionnée par le marché (Feldman, 1980). Les menaces d'existence sont une menace pour tout le monde et peuvent nécessiter une réponse internationale. Le respect de la souveraineté nationale n'est pas une excuse légitime pour ne pas prendre de contre-mesures contre des existences critiques.
Si nous prenons en compte le bien-être des générations futures, les dommages causés par les menaces existentielles sont multipliés par un autre facteur, qui dépend de la question de savoir si et dans quelle mesure les avantages futurs sont pris en compte (Caplin, Leahy 2000; Schelling 2000: 833-837).
Il est surprenant, compte tenu de l’importance indéniable du sujet, de constater le peu de travail systématique effectué dans ce domaine. Cela s'explique en partie par le fait que les risques les plus graves découlent (comme nous le montrerons plus tard) de technologies futures anticipées que nous n'avons commencé à comprendre que récemment. Une autre partie de l'explication peut être la nature inévitablement interdisciplinaire et spéculative du sujet de recherche. Et en partie, la négligence peut être attribuée à une réticence à réfléchir sérieusement à des sujets déprimants. Cela ne signifie pas que nous devrions être découragés, mais que nous devons examiner attentivement ce qui peut mal tourner afin de pouvoir créer des stratégies solides pour améliorer nos chances de survie. Pour ce faire, nous devons savoir sur quoi concentrer nos efforts.
4. Classification des risques pour l'existence
Nous utiliserons les 4 catégories suivantes pour classer les risques existentiels:
Explosions (Bangs) - La vie intelligente qui a surgi sur Terre est exterminée à la suite d'une catastrophe relativement soudaine, qui peut survenir soit à la suite d'un accident, soit à dessein.
Crunches - La capacité de l'humanité à évoluer vers la posthumanité est irréversiblement endommagée, bien que les humains continuent à vivre d'une manière ou d'une autre.
Cris - Une certaine forme de posthumanité sera atteinte, mais ce ne sera qu'une fraction extrêmement étroite du spectre de ce qui est possible et souhaité.
Gémissements - La civilisation posthumaine surgit, mais se développe dans une direction qui mène progressivement, mais irrévocablement, à la disparition complète des choses que nous apprécions, ou à un état où ces valeurs ne se réalisent que dans une faible mesure à partir du niveau qui pourrait être atteint.
Forts d'une telle classification, nous pouvons commencer à analyser les scénarios les plus probables dans chaque catégorie. Les définitions deviendront également plus claires à mesure que nous progressons.
Grâce à l'accélération du progrès technologique, l'humanité approche d'un point critique de son développement. Outre les menaces connues telles que l'holocauste nucléaire, la perspective de technologies en évolution rapide telles que les nanosystèmes et l'intelligence artificielle nous présente des opportunités et des risques sans précédent. Notre avenir et la question de savoir si nous en aurons un dépendront de la manière dont nous relevons ces défis. Avec les progrès rapides de la technologie, nous avons besoin d'une meilleure compréhension de la dynamique de la transition d'une société humaine à une société «post-humaine». Il est important de savoir où se trouvent les pièges: des chemins où les choses peuvent mal tourner.
Bien que nous ayons une longue histoire d'exposition à une variété de risques personnels, locaux et transférables dans le monde, cet article analyse une nouvelle catégorie émergente: les risques existentiels. C'est ce que nous appelons les risques d'événements qui peuvent conduire à l'extinction humaine ou à des dommages cardiaques au potentiel de vie intelligente qui s'est développé sur Terre. Certains de ces dangers sont relativement bien connus, tandis que d'autres sont négligés. Les menaces d'existence présentent un certain nombre de caractéristiques qui rendent la gestion des risques conventionnelle inefficace dans ce cas. Le dernier chapitre de cet article traite de certaines des implications éthiques et politiques de ce problème. Une meilleure compréhension du paysage des menaces nous permettra de formuler les principales stratégies.
Il est dangereux de vivre et le danger est partout. Heureusement, tous les risques ne sont pas aussi graves. Pour nos besoins, nous utilisons trois dimensions pour décrire les risques: l'échelle, l'intensité et la probabilité. Par «échelle», j'entends la taille du groupe de personnes à risque. Par «intensité», je veux dire combien de tort sera fait à chaque individu du groupe. Et par «probabilité», j'entends la meilleure estimation subjective actuelle de la probabilité d'un résultat négatif.
5. Typologie des risques
Il existe six groupes de risques, selon leur ampleur et leur intensité.
Échelle / intensité: intensité supportable / intensité létale
global / appauvrissement de la couche d'ozone, X
ralentissement local / économique du pays, génocide
Vol personnel / de voiture, mort
Une troisième dimension, la probabilité, peut se superposer à ces deux dimensions. Toutes choses étant égales par ailleurs, un risque est plus sérieux s'il a une probabilité significative et si nos actions peuvent l'augmenter ou la diminuer.
«Personnel», «local» ou «mondial» fait référence à la taille de la population directement touchée; le risque global affecte toute l'humanité (et ses descendants). «Intensité de risque tolérable» et «intensité létale» font référence à la gravité des effets sur la population à risque. Le risque tolérable peut également conduire à la destruction, mais il reste la possibilité de se remettre des dommages ou de trouver des moyens de surmonter les conséquences négatives. En revanche, le risque ultime est ce risque lorsque les objets qui y sont exposés meurent ou sont irréversiblement endommagés de telle manière qu'ils réduisent leur potentiel à vivre la vie qu'ils cherchent à vivre. Pour les risques personnels, le résultat ultime est la mort, des lésions cérébrales graves irréversibles ou l'emprisonnement à vie. Un exemple de risque mortel local est le génocide conduisant à la destruction d'un peuple (ce qui est arrivé à plusieurs peuples indiens). Un autre exemple est la conversion à l'esclavage éternel.
Risques d'existence
Dans cet article, nous discuterons des risques de la sixième catégorie, qui est marquée dans le tableau comme X. Il s'agit d'une catégorie de risques mortels mondiaux. Je les appellerai des menaces existentielles.
Les menaces d'existence sont différentes des risques tolérables mondiaux. Des exemples de ces derniers sont: les menaces pour la biodiversité de l'écosphère terrestre, le réchauffement climatique modéré (et même important), et peut-être étouffant les époques culturelles et religieuses telles que les «âges sombres», même s'ils couvrent toute la société, s'ils prennent fin tôt ou tard (bien que voir le chapitre Screech ci-dessous). Dire qu'un risque global est tolérable ne veut évidemment pas dire qu'il est acceptable ou pas grave.
Une guerre mondiale avec des armes standard ou une décennie du Reich de style nazi seront des événements extrêmement terribles, malgré le fait qu'ils tombent dans la catégorie des risques mondiaux tolérables, car l'humanité peut éventuellement se rétablir. (Mais ces événements constitueront un risque de mort local pour beaucoup et pour les groupes ethniques persécutés.)
J'utiliserai la définition suivante du risque existentiel:
Une menace à l'existence est un risque dans lequel un résultat négatif détruit la vie intelligente qui a surgi sur Terre, ou de manière irréversible et réduit son potentiel.
L'existence est un risque qui menace l'humanité dans son ensemble. De telles catastrophes ont des conséquences négatives pour l'avenir de la civilisation terrestre.
L'unicité du problème de la menace existentielle
Des risques de cette sixième catégorie sont apparus récemment. C'est l'une des raisons pour lesquelles il est utile de les séparer dans une catégorie distincte. Nous n'avons pas développé de mécanismes, naturels ou culturels, pour faire face à ces risques. Nos institutions et nos stratégies défensives ont été façonnées en faisant face à des risques tels que les animaux dangereux, les peuples ou tribus hostiles, les aliments empoisonnés, les accidents de voiture, Tchernobyl, Bhopal, les éruptions volcaniques, les tremblements de terre, les sécheresses, la Première Guerre mondiale, la Seconde Guerre mondiale, les épidémies de grippe, la variole, la peste noire et le SIDA. Ce type de catastrophe s'est produit à de nombreuses reprises et notre attitude culturelle face au risque a été façonnée par essais et erreurs dans la gestion de ces menaces. Mais étant une tragédie directement pour les participants à ces événements,d'un point de vue large - du point de vue de l'humanité - même la pire de ces catastrophes n'était que des ondulations à la surface de la grande mer de la vie.
Ils n'ont pas affecté de manière significative le nombre total de personnes heureuses et souffrantes, ni déterminé le sort à long terme de notre espèce.
À l'exception des comètes destructrices d'espèces et des collisions d'astéroïdes (qui sont extrêmement rares), il n'y avait aucune menace pour l'existence jusqu'au milieu du XXe siècle, et nous ne pouvions certainement rien faire avec aucune d'entre elles.
La première menace d'existence créée par l'homme a été la première bombe atomique. À l'époque, on craignait que l'explosion déclenche une réaction en chaîne en «mettant le feu» à l'atmosphère. Bien que nous sachions maintenant qu'une telle issue était physiquement impossible, à l'époque cette hypothèse était cohérente avec la définition d'une menace existentielle. Pour que quelque chose soit suffisamment risqué, qu'il y ait une probabilité subjective d'un résultat défavorable, même s'il s'avère plus tard qu'objectivement il n'y avait aucune chance que quelque chose de mal se produise. Si nous ne savons pas si quelque chose est objectivement risqué ou non, c'est un risque au sens subjectif. Cette signification subjective est, bien entendu, sur laquelle nous devrions fonder nos décisions. À tout moment, nous devons utiliser notre meilleure évaluation subjective de la nature des facteurs de risque objectifs.
Une menace beaucoup plus grande pour l'existence est apparue simultanément avec l'émergence d'arsenaux d'armes nucléaires en URSS et aux États-Unis. Une guerre nucléaire à part entière est possible avec un degré élevé de probabilité et avec des conséquences qui pourraient être si persistantes qu'elles peuvent être qualifiées de globales et définitives. Les gens qui connaissaient le mieux les informations disponibles à l'époque craignaient généralement qu'un Armageddon nucléaire puisse se produire et qu'il anéantisse notre espèce ou détruise à jamais la civilisation humaine.
La Russie et les États-Unis possèdent d'énormes arsenaux nucléaires qui pourraient être utilisés dans de futurs affrontements, par accident ou intentionnellement. Il y a aussi le risque que d'autres pays accumulent un jour de grands arsenaux. Mais un petit échange de frappes nucléaires, par exemple, entre l’Inde et le Pakistan, ne constitue pas une menace pour l’existence, car il ne détruira pas l’humanité et ne nuira pas de manière irréversible au potentiel humain. Une telle guerre, cependant, constituerait un risque mortel local pour ces villes à cibler. Malheureusement, nous verrons que l'Armageddon nucléaire et l'impact cométaire ou astéroïde ne sont que le prélude aux menaces à l'existence au XXIe siècle.
La nature des problèmes découlant des menaces existentielles sera illustrée par les remarques suivantes.
Notre approche des menaces existentielles ne peut pas être basée sur des essais et des erreurs. Vous ne pouvez pas apprendre des erreurs. L'approche réactive - regarder ce qui s'est passé, limiter les dégâts et tirer des leçons de l'expérience - ne fonctionne pas. Nous devons adopter une approche proactive. Cela nécessite de la prévoyance pour détecter de nouveaux types de risques et une volonté de prendre des mesures préventives et de payer leurs coûts moraux et économiques.
Nous ne pouvons pas nous fier avec confiance aux institutions, aux normes morales, aux attitudes sociales ou aux politiques de sécurité nationale qui ont évolué à partir de l'expérience de la gestion d'autres types de risques. Les menaces d'existence sont une bête différente. Il nous est difficile de les prendre aussi au sérieux qu’ils le méritent, car nous n’avons jamais connu de telles catastrophes. La réaction de peur collective est probablement mal calibrée à l'échelle de la menace.
La réduction des menaces existentielles est un bien public commun (Kaul, 1999) et est donc sous-approvisionné par le marché (Feldman, 1980). Les menaces à l'existence sont des menaces pour tout le monde et nécessitent une réponse internationale. Le respect de la souveraineté nationale n'est pas une excuse légitime pour ne pas prendre de contre-mesures contre des existences critiques.
Il est surprenant, compte tenu de l’importance indéniable du sujet, de constater le peu de travail systématique effectué dans ce domaine. Ceci est en partie dû au fait que les risques les plus graves découlent (comme nous le montrerons plus tard) de technologies futures anticipées que nous n'avons que récemment comprises.
Une autre partie de l'explication peut être la nature inévitablement interdisciplinaire et spéculative du sujet de recherche. Et en partie, la négligence peut être attribuée à une réticence à réfléchir sérieusement à des sujets déprimants. Cela ne signifie pas que nous devrions être découragés, mais que nous devons examiner attentivement ce qui peut mal tourner afin de pouvoir créer des stratégies solides pour améliorer nos chances de survie. Pour ce faire, nous devons savoir sur quoi concentrer nos efforts.
Classification des risques d'existence
Nous utiliserons les 4 catégories suivantes pour classer les risques existentiels:
Explosions (Bangs) - La vie intelligente qui a surgi sur Terre est exterminée à la suite d'une catastrophe relativement soudaine, qui peut survenir soit à la suite d'un accident, soit à dessein.
Crunches - La capacité de l'humanité à évoluer vers la posthumanité est irréversiblement endommagée, bien que les humains continuent à vivre d'une manière ou d'une autre.
Cris - Une certaine forme de posthumanité sera atteinte, mais ce ne sera qu'une fraction extrêmement étroite du spectre de ce qui est possible et souhaité.
Gémissements - La civilisation posthumaine surgit, mais se développe dans une direction qui mène progressivement, mais irrévocablement, à la disparition complète des choses que nous apprécions, ou à un état où ces valeurs ne se réalisent que dans une faible mesure à partir du niveau qui pourrait être atteint.
Forts d'une telle classification, nous pouvons commencer à analyser les scénarios les plus probables dans chaque catégorie. Les définitions deviendront également plus claires à mesure que nous progressons.
Frange
C'est la forme la plus évidente de risque global. Ce concept est le plus simple à comprendre. Voici quelques-uns des moyens les plus probables de mettre fin au monde de manière explosive. J'ai essayé de les organiser par ordre croissant (à mon avis) de la probabilité de provoquer l'extermination de la vie intelligente sur Terre; mais mon intention en ce qui concerne la commande était de créer une base pour une discussion plus approfondie, plutôt que de faire des déclarations sans ambiguïté.
1. Abus intentionnel de la nanotechnologie
Dans sa forme mature, la nanotechnologie moléculaire permettra la création de robots auto-réplicatifs de la taille de bactéries pouvant se nourrir d'eaux usées ou d'autres matières organiques (Drexler 1985, 1992; Merkle et al.1991: 187-195; Freitas 2000). Ces réplicateurs peuvent dévorer la biosphère ou la détruire par d'autres moyens, comme l'empoisonner, la brûler ou bloquer la lumière du soleil. Un homme aux intentions criminelles avec cette nanotechnologie peut provoquer la destruction de la vie intelligente sur Terre en libérant de tels nanobots dans l'environnement.
La technologie de création de nanobots destructeurs semble beaucoup plus simple que la technologie de création d'une défense efficace contre une telle attaque (système immunitaire nanotechnologique global, «bouclier actif» (Drexler 1985)). Par conséquent, il y aura probablement une période de vulnérabilité pendant laquelle il sera nécessaire d'éviter que ces technologies ne tombent entre de mauvaises mains. De plus, ces technologies peuvent être difficiles à gérer car elles ne nécessitent pas d'isotopes radioactifs rares ou d'énormes usines facilement détectables, comme c'est le cas dans la fabrication d'armes nucléaires (Drexler 1985).
Même si des défenses efficaces contre une attaque limitée par les nanotechnologies sont en place avant que des réplicateurs dangereux ne soient développés et acquis par des régimes suicidaires ou des terroristes, il existe toujours le danger d'une course aux armements entre les États détenteurs de nanotechnologies. Il a été avancé (Gubrud 2000) que la fabrication moléculaire conduirait à une plus grande instabilité dans la course aux armements et à une plus grande instabilité face aux crises que les armes nucléaires. L'instabilité de la course aux armements signifie que chaque partie concurrente sera dominée par le désir de renforcer ses armements, conduisant à un déploiement rapide de la course aux armements. L'instabilité liée aux crises signifie que frapper d'abord sera la principale motivation de chaque camp. Deux adversaires à peu près tout aussi forts,Ayant acquis des armes nanotechnologiques, ils commenceront, de ce point de vue, la production et la conception en masse d'armes, qui se poursuivront jusqu'à ce qu'une crise survienne et qu'une guerre éclate, potentiellement capable de provoquer une destruction finale universelle. Le fait que cette course aux armements puisse être prévue ne garantit pas qu’un système de sécurité international sera mis en place à temps pour éviter cette catastrophe. Une course aux armements nucléaires entre l'URSS et les États-Unis était prévue, mais elle s'est néanmoins produite.que le système de sécurité international sera créé à temps pour éviter cette catastrophe. Une course aux armements nucléaires entre l'URSS et les États-Unis était prévue, mais elle s'est néanmoins produite.que le système de sécurité international sera créé à temps pour éviter cette catastrophe. Une course aux armements nucléaires entre l'URSS et les États-Unis était prévue, mais elle s'est néanmoins produite.
2. Holocauste nucléaire
Les États-Unis et la Russie ont encore d'énormes réserves d'armes nucléaires. Mais une guerre nucléaire à part entière mènera-t-elle à la véritable extermination de l'humanité? Notez que:
(a) pour que cela devienne un risque existentiel, il suffit que nous ne soyons pas sûrs que cela ne se produira pas.
(b) les effets climatiques d'une guerre nucléaire à grande échelle sont peu connus (il existe une possibilité d'un hiver nucléaire).
(c) de futures courses aux armements entre pays ne peuvent être exclues, ce qui pourrait conduire à l'émergence d'arsenaux encore plus importants que ceux qui existaient au plus fort de la guerre froide. Le stock mondial de plutonium augmente régulièrement et atteint 2 000 tonnes, soit environ dix fois ce qui reste dans les ogives (Leslie 1996: 26). Même si certaines personnes survivent aux effets à court terme de la guerre nucléaire, cela pourrait conduire à l'effondrement de la civilisation. La race humaine de l'âge de pierre peut ou non être plus résistante à l'extinction que les autres espèces animales.
3. Nous vivons dans une simulation et elle s'éteint
On peut soutenir que l'hypothèse selon laquelle nous vivons dans une simulation informatique doit être attribuée à une probabilité significative (Bostrom 2001). L'idée principale derrière la soi-disant preuve de simulation est que d'énormes quantités de puissance de calcul peuvent être disponibles dans le futur (Moravec 1989, 1999) et qu'elles peuvent être utilisées, entre autres, pour exécuter un grand nombre de simulations finement structurées du passé. civilisations humaines. Selon quelques hypothèses pas si incroyables, le résultat peut être que la plupart des esprits comme le nôtre sont des esprits simulés, et nous devons donc attribuer une probabilité significative que nous sommes de tels esprits simulés plutôt que les esprits (subjectivement indiscernables) d'êtres naturellement évolués. Et si c'est le cas, nous courons le risque deque la simulation peut être désactivée à tout moment. La décision d'arrêter notre simulation peut être due à nos actions ou à des facteurs externes.
S'il peut sembler frivole à quelqu'un de présenter une hypothèse aussi radicale à côté d'une menace spécifique d'holocauste nucléaire, nous devons fonder nos conclusions sur le raisonnement et non sur une intuition inexpérimentée. Jusqu'à ce qu'il y ait une réfutation des arguments présentés par Bostrom (2001), il serait intellectuellement malhonnête de ne pas tenir compte de l'arrêt de la simulation comme cause possible de l'extinction humaine.
4. Superintelligence mal programmée
Lorsque nous créons le premier dispositif superintelligent (Moravec 1989, 1998, 1999; Vinge 1993; Bostrom 1998; Kurzweil 1999; Hanson et al.1998), nous pouvons faire une erreur et nous fixer des objectifs qui le dirigeront vers la destruction de l'humanité, compte tenu de son colossal un avantage intellectuel qui en donne la force. Par exemple, nous pouvons élever par erreur un objectif de niveau inférieur à un statut de super-but. Nous lui disons de résoudre un problème mathématique, et il obéit, transformant toute la matière du système solaire en un énorme appareil informatique, tuant en cours de route la personne qui a posé cette question. (Pour une analyse plus approfondie de ce sujet, voir (Yudkowsky 2001)).
5. Objet biologique génétiquement modifié
En raison des énormes progrès de la technologie génétique actuellement en cours, il peut être possible pour un tyran, un terroriste ou un fou de créer un «virus apocalyptique»: un organisme qui combine une longue latence avec une virulence et une létalité élevées (National Intelligence Council 2000).
Des virus dangereux peuvent même être cultivés par inadvertance, comme l'ont récemment démontré des chercheurs australiens qui ont créé un virus Ectromelia modifié du mousepox avec une létalité de 100% lorsqu'ils ont essayé de concevoir un virus contraceptif pour souris à utiliser pour lutter contre les rongeurs ravageurs (Nowak 2001). Bien que ce virus particulier n'infecte pas les humains, on soupçonne que des changements similaires augmenteraient la létalité du virus de la variole humaine. Ce qui ajoute au danger potentiel ici, c'est que l'étude a été rapidement publiée dans la littérature scientifique ouverte (Jackson et al. 2001: 1479-1491). Il est rare de voir les informations créées dans des projets biotechnologiques ouverts gardées secrètes, que ce soitla gravité du danger potentiel qu'il présente - et il en va de même pour la recherche en nanotechnologie.
La médecine génétique conduira à de meilleurs médicaments et vaccins, mais il n'y a aucune garantie que les défenses suivront l'infraction. (Même un virus mousepox généré de manière aléatoire avait un taux de mortalité de 50% chez les souris vaccinées.) En fin de compte, les dangers des armes biologiques peuvent être enterrés par l'avancement de la nanomédecine, mais bien que la nanotechnologie ait un énorme potentiel à long terme pour la médecine (Freitas 1999), elle comporte ses propres dangers.
6. Utilisation erronée de nanotechnologies dangereuses ("grey goo")
La possibilité d'un accident ne peut jamais être complètement exclue.
Cependant, il existe de nombreuses façons d'éviter les accidents mortels grâce à l'utilisation de solutions d'ingénierie fiables. L'utilisation dangereuse de systèmes auto-réplicatifs peut être évitée; vous pouvez rendre les nanobots dépendants de l'utilisation d'un produit chimique rare qui n'existe pas dans la nature; vous pouvez les enfermer dans un environnement scellé; ils peuvent être conçus de telle sorte que toute mutation entraînera presque certainement l'arrêt du fonctionnement du nanobot (Foresight Institute 2000). Pour cette raison, l'utilisation abusive accidentelle des nanobots est beaucoup moins inquiétante que l'utilisation abusive malveillante (Drexler 1985; Freitas 2000; (Foresight Institute 1997-1991).
Cependant, la distinction entre accidentel et intentionnel peut devenir floue. Bien qu'en principe, il semble possible de rendre les catastrophes nanotechnologiques mondiales très improbables, des circonstances spécifiques peuvent empêcher la réalisation de ce niveau idéal de sécurité. Comparez la nanotechnologie à la technologie nucléaire. D'un point de vue technique, bien sûr, il est possible d'utiliser la technologie nucléaire uniquement à des fins pacifiques, par exemple, uniquement dans les réacteurs nucléaires, qui ont une probabilité nulle de détruire la planète entière. Mais dans la pratique, il s'est avéré impossible d'éviter l'utilisation de la technologie nucléaire également pour la création d'armes nucléaires, qui a conduit à une course aux armements. Avec des arsenaux nucléaires à un niveau élevé de vigilance, un risque élevé de guerre accidentelle est inévitable. La même chose peut arriver avec la nanotechnologie:ils peuvent être contraints de servir des fins militaires d'une manière qui pourrait créer un risque imminent d'accidents graves.
Dans certaines situations, il peut même être stratégiquement avantageux de rendre délibérément risqué une certaine technologie ou un certain système de contrôle, par exemple, pour créer une «menace fondamentalement imprévisible, dans laquelle il y a toujours un élément de hasard» - (Schelling 1960).
7. Quelque chose d'inattendu
Nous avons besoin d'une telle catégorie unificatrice. Il serait insensé de croire que nous avons déjà inventé et prédit toutes les menaces importantes. Les futures découvertes technologiques ou scientifiques pourraient facilement créer de nouvelles façons de détruire le monde.
Certains aléas prévisibles (et donc pas de cette catégorie) ont été exclus de la liste des explosions car ils semblent être des causes trop improbables d'une catastrophe mondiale, à savoir: éruptions solaires, supernovae, explosions et fusions de trous noirs, sursauts gamma, épidémies dans le centre galactique, supervolcans, perte de biodiversité, augmentation de la pollution de l'air, perte graduelle de la capacité humaine à se reproduire et de nombreux scénarios apocalyptiques religieux. L'hypothèse qu'un jour nous atteindrons «l'illumination» et commettrons un suicide collectif ou cesserons de nous multiplier, comme VHEMT (The Voluntary Human Extinction Movement) prône l'espoir (Knight 2001), semble peu probable. Si en effet,il vaudrait mieux ne pas exister (comme Silène l'a dit au roi Midas dans le mythe grec et comme Arthur Schopenhauer l'a soutenu (Schopenhauer 1891), bien que pour des raisons propres à son système philosophique particulier, il n'agite pas au suicide), alors nous ne considérerions pas ce scénario comme global une catastrophe. L'hypothèse selon laquelle être en vie n'est pas une mauvaise chose doit être considérée comme une hypothèse implicite dans la définition des explosions. Le faux suicide général est un risque d'existence, bien que sa probabilité semble extrêmement faible. (Pour plus d'informations sur l'éthique de l'extinction humaine, voir le chapitre 4 de (Leslie 1996: 26).)qu'être vivant n'est pas mal, doit être considéré comme une hypothèse implicite dans la définition des explosions. Le faux suicide général est un risque d'existence, bien que sa probabilité semble extrêmement faible. (Pour plus d'informations sur l'éthique de l'extinction humaine, voir le chapitre 4 de (Leslie 1996: 26).)qu'être vivant n'est pas mal, doit être considéré comme une hypothèse implicite dans la définition des explosions. Le faux suicide général est un risque d'existence, bien que sa probabilité semble extrêmement faible. (Pour plus d'informations sur l'éthique de l'extinction humaine, voir le chapitre 4 de (Leslie 1996: 26).)
8. Catastrophes résultant d’expériences physiques
Les concepteurs de bombes atomiques du projet Manhattan craignaient qu'une explosion ne déclenche l'atmosphère ont des homologues modernes.
Il y a eu des spéculations selon lesquelles des expériences sur les futurs accélérateurs de particules à haute énergie peuvent provoquer la destruction de l'état métastable du vide dans lequel notre cosmos peut être situé, le transformant en un "vrai" vide avec une densité d'énergie plus faible (Coleman, Luccia 1980: 3305-3315). Cela créera une bulle en expansion d'annihilation totale qui se répandra dans toute la galaxie et au-delà à la vitesse de la lumière, déchirant toute la matière au fur et à mesure qu'elle voyage.
Une autre idée est que les expériences d'accélérateur pourraient créer des «strangelets» stables et chargés négativement (une forme hypothétique de matière nucléaire) ou créer un trou noir microscopique qui plonge au centre de la Terre et commence à consommer le reste de la planète (Dar et al. 1999: 142-148). De tels scénarios semblent impossibles sur la base de nos meilleures théories physiques. Mais la raison pour laquelle nous faisons les expériences est précisément parce que nous ne savons pas ce qui va réellement se passer. Une preuve beaucoup plus convaincante est que les densités d'énergie pouvant être atteintes dans les accélérateurs modernes sont bien inférieures à celles trouvées dans la nature dans les collisions de rayons cosmiques (Dar et al.1999: 142-148; Turner, Wilczek 1982: 633-634). Il est cependant possibleque des facteurs autres que la densité d'énergie sont importants pour ces processus hypothétiques, et ces facteurs seront réunis dans de nouvelles expériences futures.
La principale source de préoccupation concernant les «catastrophes physiques» est l'observation au méta-niveau que les découvertes de toutes sortes de phénomènes physiques dangereux se produisent tout le temps, donc même si maintenant toutes les catastrophes physiques auxquelles nous pensons sont complètement improbables ou impossibles, elles peuvent toujours il existe des chemins plus réalistes vers la catastrophe qui attendent d'être découverts. Celles données ici ne sont que des illustrations du cas général.
9. Maladie naturelle
Et si le sida était aussi contagieux que le rhume?
Il existe plusieurs caractéristiques du monde moderne qui pourraient rendre une pandémie mondiale beaucoup plus probable que jamais. Les voyages, le commerce de la nourriture et la vie urbaine ont tous considérablement augmenté à l'époque moderne, ce qui permet à une nouvelle maladie d'infecter rapidement la plupart de la population mondiale.
10. Collision avec un astéroïde ou une comète
Il existe un risque réel mais très faible que nous soyons exterminés par un impact d'astéroïde ou de comète (Morrison et al. 1994).
Afin de provoquer l'extinction de l'humanité, le corps impactant peut avoir plus de 1 km de diamètre (et probablement 3-6 km.) Il y a eu au moins cinq, et peut-être plus d'une douzaine d'extinctions de masse sur Terre, et au moins certains d'entre eux ont probablement été causés par des collisions. (Leslie 1996: 81 f). En particulier, l'extinction des dinosaures il y a 65 millions d'années était associée à la chute d'un astéroïde de 10 à 15 km de diamètre sur la péninsule du Yucatan. On pense qu'un corps de 1 km ou plus de diamètre entre en collision avec la Terre en moyenne une fois tous les demi-millions d'années. Jusqu'à présent, nous n'avons répertorié qu'une petite fraction des corps potentiellement dangereux.
Si nous pouvons repérer un corps qui approche à temps, nous aurons de bonnes chances de le dévier en l'interceptant avec un missile nucléaire (Gold 1999).
11. Réchauffement climatique imparable
Il existe un scénario selon lequel le rejet de gaz à effet de serre dans l'atmosphère peut être un processus avec une forte rétroaction positive. C'est peut-être ce qui s'est passé avec Vénus, qui a maintenant une atmosphère et une température de 450 ° C. Espérons cependant que nous aurons les moyens technologiques de contrer cette tendance au moment où elle deviendra vraiment dangereuse.
Nick Bostrom
