Le transhumaniste Nick Bostrom veut un « panoptique high tech » planétaire

Les experts en « risque existentiel » tels que le transhumaniste Nick Bostrom proposent de transformer la planète entière en un « panoptique high-tech » pour accroître la résilience du système techno-industriel. Broyer la liberté au nom du Progrès, on connaît la chanson. Un grand classique de l'âge industriel.

Transhumanisme, long-termisme et altruisme efficace

Pour en savoir plus sur ce projet et Nick Bostrom, nous avons traduit ci-après un article publié en février 2021 dans le magazine Aeon par le philosophe suédois Nick Bostrom^[1]. Ce texte est un condensé d’une étude plus longue parue dans la revue Global Policy^[2]. Bostrom est cofondateur de la World Transhumanist Association (devenue Humanity +), une ONG destinée à promouvoir un usage éthique des nouvelles technologies pour améliorer l’existence humaine ; il est aussi directeur du Future of Humanity Institute de l’université d’Oxford, un institut membre de l’initiative Partnership on AI (« collaboration autour de l’intelligence artificielle ») lancée par Google, Amazon, Facebook, IBM et Microsoft. On trouve également au sein de cette alliance l’UNICEF, les Nations Unies, le très influent think tank Chatham House, d’autres grandes entreprises (Apple, Samsung, Intel), des médias (BBC, CBC Radio Canada, New York Times) ou encore Open AI, le laboratoire de recherche en intelligence artificielle cofondé par Elon Musk^[3].

En 2003, Bostrom a publié dans Philosophical Quarterly un papier intitulé « Vivez-vous dans une simulation informatique ? » dans lequel il suggère que les membres d’une civilisation avancée dotée d’une énorme puissance de calcul pourraient décider de simuler leurs ancêtres, principalement pour se divertir^[4]. Dans une interview donnée au journal Les Échos, il affirme que « le but ultime [de l’intelligence artificielle] doit être la disparition totale du travail^[5] » humain (ce qui signifie l’obsolescence de l’humain du point de vue du système technologique). Bostrom est également l’auteur du livre best-seller Superintelligence (2014) où il raconte comment une intelligence artificielle dite « générale » ou « forte » pourrait éradiquer la race humaine.

Nick Bostrom, qui fait partie des transhumanistes les plus influents^[6], ne considère pas pour autant qu’il faille stopper dès maintenant le progrès technologique avant qu’une telle catastrophe ne se produise. Au contraire, Bostrom soutient une idéologie appelée « long-termisme », elle-même un produit du mouvement pour « l’altruisme efficace », un utilitarisme poussé à l’extrême. Bostrom considère par exemple que les pires événements de l’ère moderne – les deux guerres mondiales, la pandémie de Sida et l’accident de Chernobyl – ne sont que des accidents de parcours dans la progression de l’humanité vers sa destinée machinique.

« Aussi tragiques que soient ces événements pour les personnes immédiatement touchées, dans l'ensemble des choses [...] même les pires de ces catastrophes ne sont que des vagues à la surface de la grande mer de la vie^[7] »

En effet, si dans un futur lointain il pouvait y avoir des milliers de milliards d’humains vivant dans de vastes simulations informatiques alimentées par des systèmes nanotechnologiques conçus pour capturer la totalité ou la plus grande partie de l’énergie produite par les étoiles, il est rentable d’en massacrer et/ou d’en laisser mourir des millions aujourd’hui^[8].

Nous reparlerons plus en détail de cette idéologie du long-termisme dans un prochain article.

Le texte qui suit permet de mieux comprendre pourquoi la vidéosurveillance algorithmique, l’activation à distance des caméras ou micros des téléphones^[9], ou encore l’implant cérébral d’Elon Musk^[10] constituent des étapes indispensables pour assurer la pérennité du système techno-industriel.

La technologie n’a pas détruit l’humanité – pour l’instant (par Nick Bostrom)

Nous pouvons envisager la créativité humaine comme un processus consistant à tirer au sort des boules disposées dans une urne géante. Les boules représentent les idées, les découvertes et les inventions. Au cours de l'histoire, nous avons extrait de nombreuses boules. La plupart ont été bénéfiques à l'humanité [au système et non au primate humain, NdT]. Les autres ont été diverses nuances de gris : un mélange de bonnes et de mauvaises choses dont le bénéfice net est difficile à estimer.

Ce que nous n'avons pas encore extrait de l’urne, c'est une boule noire : une technologie qui détruit systématiquement la civilisation qui l'a inventée. Nous n’avons pas été particulièrement prudents ni sages en matière d'innovation. Nous avons juste eu de la chance. Mais que faire s'il existe une boule noire quelque part dans l'urne ? Si la recherche scientifique et technologique poursuit son cours, nous finirons par tomber dessus, et nous ne pourrons pas la remettre dans l’urne. Nous pouvons inventer, mais désinventer est impossible. Notre stratégie actuelle consiste donc à espérer que l’urne ne contienne pas de boule noire.

Heureusement pour nous, la technologie humaine la plus destructrice à ce jour – les armes atomiques – est extrêmement difficile à maîtriser [la fabrication d’une bombe nucléaire n’est en réalité pas si difficile que ça selon l’astrophysicien Martin Rees^[11], NdT]. Mais en réfléchissant aux conséquences possibles d'une boule noire, on peut imaginer ce qui se passerait si les techniques nucléaires étaient plus accessibles. En 1933, le physicien Leo Szilard a conceptualisé la réaction en chaîne nucléaire. Des recherches ultérieures ont montré que la fabrication d'une arme atomique nécessiterait plusieurs kilos de plutonium ou d'uranium hautement enrichi, tous deux très difficiles et coûteux à produire. Mais imaginez un autre scénario dans lequel Szilard se rendrait compte qu'une bombe nucléaire peut être fabriquée en suivant une méthode assez simple – par exemple au-dessus de l'évier de la cuisine, en utilisant un morceau de verre, un objet métallique et une batterie.

Szilard aurait été confronté à un dilemme. Même en s’abstenant de parler de sa découverte, il ne pourrait pas empêcher d'autres scientifiques d’arriver au même résultat par hasard. Et s'il révélait sa découverte, il encouragerait la propagation de connaissances dangereuses. Imaginez que Szilard se confie à son ami Albert Einstein et qu'ils décident ensemble d'écrire une lettre au président des États-Unis, Franklin D. Roosevelt. Son administration interdirait alors toute recherche en physique nucléaire en dehors des installations gouvernementales de haute sécurité. La raison de ces mesures draconiennes ferait l'objet de spéculations. La communauté scientifique commencerait à s'interroger sur cette menace gardée secrète ; certains scientifiques finiraient par percer le mystère. Des employés négligents ou mécontents travaillant pour des laboratoires gouvernementaux laisseraient échapper des informations, et des espions emporteraient avec eux le secret dans des capitales étrangères. Même si, par miracle, le secret n'était jamais divulgué, les scientifiques d'autres pays travaillant dans le même domaine finiraient par le découvrir [le penseur technocritique Jacques Ellul rappelait en 1954 dans son ouvrage La Technique ou l’Enjeu du siècle que les recherches en physique nucléaire étaient plus ou moins au même niveau en 1939 aux États-Unis, en Allemagne nazie, en URSS, en Norvège et en France, NdT].

Peut-être que le gouvernement états-unien éliminerait le verre, le métal et toute source de courant électrique en dehors de quelques dépôts militaires hautement surveillés. Des mesures aussi extrêmes rencontreraient une forte opposition. Mais il suffirait que plusieurs grandes villes soient rasées par des explosions atomiques pour que l'opinion publique se résigne à accepter la contrainte. Le verre, les batteries et les aimants pourraient être saisis et leur production interdite, mais des morceaux resteraient disséminés géographiquement et finiraient par se retrouver entre les mains de nihilistes, d'extorqueurs ou de personnes curieuses souhaitant simplement « voir ce que ça fait » de déclencher une arme nucléaire. En définitive, de nombreux endroits sur Terre seraient anéantis ou abandonnés. La possession des matériaux interdits devrait être sévèrement punie. Les communautés humaines seraient soumises à une surveillance stricte : réseaux d'informateurs, raids sécuritaires, détentions sans limites de temps. Il ne nous resterait plus qu'à essayer de reconstituer tant bien que mal la civilisation sans électricité et sans les autres éléments essentiels jugés trop risqués.

C'est le scénario optimiste. Dans un scénario plus pessimiste, la loi et l'ordre s'effondreraient complètement, et les sociétés se diviseraient en factions se livrant à des guerres nucléaires. La désintégration mutuelle ne prendrait fin que lorsque le monde aura été ruiné au point qu'il soit impossible de fabriquer de nouvelles bombes. Même dans ce cas, la dangereuse expertise nucléaire subsisterait dans les mémoires et serait transmise de génération en génération. Si la civilisation renaissait de ses cendres, le savoir théorique resterait à l'affût, prêt à se matérialiser dès que les gens recommenceraient à produire du verre, du courant électrique et du métal. Même si les connaissances étaient oubliées, celles-ci seraient redécouvertes dès la reprise de la recherche en physique nucléaire.

En bref, nous avons de la chance que la fabrication d'armes nucléaires soit complexe. Nous avons cette fois-ci sorti une boule grise de l’urne. Mais à chaque nouvelle invention, l'humanité pioche à nouveau dans l’urne [une image plus fidèle du développement scientifique et technologique, c’est un jeu de la roulette russe dans lequel on ajouterait à chaque tour une balle supplémentaire dans le barillet jusqu’à ce qu’il soit plein…, NdT].

Supposons que l'urne de la créativité contienne au moins une boule noire. C'est ce que nous appelons « l'hypothèse du monde vulnérable ». Nous faisons l’hypothèse qu’il existe un certain niveau de technologie à partir duquel la civilisation sera presque certainement détruite, à moins que des degrés extraordinaires et sans précédent historique de police préventive et/ou de gouvernance mondiale ne soient mis en œuvre. Nous ne partons pas du principe que l'hypothèse de départ soit vraie – nous considérons qu'il s'agit là d'une question ouverte, bien qu'il semble déraisonnable, au vu des preuves disponibles, de croire qu'elle est fausse. Nous avons plutôt pour objectif de montrer que l'hypothèse s’avère utile pour nous aider à faire émerger des considérations importantes sur la situation macrostratégique de l'humanité [entre parenthèses, l’effondrement engendré par la complexité technologique excessive d’une société est une vérité historique et non une hypothèse ou une intuition, comme le rappelle sur BBC Future le chercheur Luke Kemp^[12], NdT].

Le scénario décrit ci-dessus – que l'on peut qualifier de « bombe nucléaire facile » – illustre un type potentiel de boule noire. Dans ce cas, il devient facile pour des individus ou des petits groupes de provoquer une destruction massive. Compte tenu de la diversité des caractères et des conditions humaines, il y aura toujours une fraction d'humains (le « résidu apocalyptique ») qui choisira d'entreprendre une action imprudente, immorale ou autodestructrice, qu'elle soit motivée par une haine idéologique, un nihilisme destructeur ou une vengeance pour injustices perçues, dans le cadre d'un complot d'extorsion ou en raison d’illusions. L'existence de ce résidu apocalyptique signifie que tout outil de destruction massive suffisamment aisé à concevoir est pratiquement certain de conduire à la dévastation de la civilisation. C'est l'un des nombreux types de boules noires possibles. Un deuxième type serait une technologie qui incite fortement des acteurs puissants à provoquer une destruction massive. Là encore, nous pouvons nous tourner vers l'histoire du nucléaire : après l'invention de la bombe atomique, une course à l’armement s'est engagée entre les États-Unis et l'Union soviétique. Les deux pays ont amassé des arsenaux gigantesques ; en 1986, ils détenaient ensemble plus de 60 000 ogives nucléaires – plus qu'assez pour dévaster la civilisation.

Heureusement, pendant la Guerre froide, les superpuissances nucléaires du monde n'étaient pas fortement poussées à déclencher l'Apocalypse nucléaire. L’URSS et les États-Unis ont toutefois été incités à s'engager dans la stratégie du bord de l’abîme [stratégie qui consiste à poursuivre une action dangereuse dans le but de faire reculer un adversaire et atteindre le résultat le plus avantageux possible pour soi^[13], NdT]. En cas de crise, on peut être tenté de lancer l’offensive en premier pour éviter une frappe potentiellement neutralisante de l'adversaire. De nombreux politologues estiment que le développement, au milieu des années 1960, de capacités de « seconde frappe » plus sûres par les deux superpuissances explique en grande partie pourquoi l’holocauste nucléaire a été évité durant la Guerre froide. La capacité des arsenaux des deux pays à survivre à une attaque nucléaire et à lancer en suivant des représailles a réduit l'incitation à faire le premier pas.

Mais envisageons maintenant un scénario contre-factuel – une « première frappe sûre » – dans lequel une technologie permettrait de détruire complètement un adversaire avant qu'il ne puisse répondre, le laissant ainsi dans l'incapacité de riposter. Si une telle option de « première frappe sûre » existait, la peur mutuelle pourrait facilement déclencher une guerre totale. Même si aucune des deux puissances ne souhaite la destruction de l'autre, l'une d'entre elles pourrait néanmoins se sentir obligée de frapper la première afin d'éviter que l'ennemi, lui aussi motivé par la crainte de l’autre camp, ne déclenche la première frappe. Nous pouvons encore aggraver ce scénario en supposant que les armes en question soient faciles à cacher ; il serait alors impossible pour les deux parties de concevoir un système de vérification mutuelle fiable afin de réduire le nombre d’armes ; impossible dans cette situation de résoudre leur dilemme de sécurité.

Le changement climatique peut illustrer un troisième type de boule noire ; appelons ce scénario « réchauffement climatique maximal ». Dans le monde réel, les émissions de gaz à effet de serre causées par l'homme sont susceptibles d'entraîner une augmentation de la température moyenne comprise entre 3,0 et 4,5 degrés Celsius d'ici 2100. Mais imaginez que les paramètres de sensibilité atmosphérique de la Terre aient été différents, de sorte que les mêmes émissions de carbone provoqueraient un réchauffement bien plus important que celui prévu actuellement par les scientifiques – par exemple une hausse de 20 degrés. Pour aggraver le scénario, imaginez que les combustibles fossiles soient encore plus abondants, que les énergies propres soient plus coûteuses et technologiquement plus difficiles à mettre en œuvre qu'elles ne le sont actuellement [on précisera ici qu’une énergie « propre » ça n’existe pas et que, de manière générale, la propreté est un énième concept absurde (encore un) lié au monde artificiel résultant du progrès technologique (rien n’est « sale » ni « propre » dans la nature), NdT].

Contrairement au scénario de la « première frappe sûre », dans lequel un acteur puissant est fortement poussé à prendre des décisions sensibles aux conséquences extrêmement destructrices, le scénario du « réchauffement climatique maximal » ne nécessite aucun acteur de ce type. Tout ce qu’il faut, c’est un grand nombre d'acteurs individuellement insignifiants – consommateurs d'électricité, conducteurs. Des incitations poussent ces agents à faire des choses qui contribuent chacune très légèrement à un phénomène global. Cumulativement, ces innombrables agents deviennent un problème dévastateur pour la civilisation. Dans un scénario comme dans l’autre, l'existence d'incitations encouragerait un large éventail d'acteurs à poursuivre des actions normales, mais dévastatrices pour la civilisation.

Ce serait une mauvaise nouvelle si l'hypothèse du monde vulnérable était vraie. Mais en principe, il existe plusieurs réponses qui pourraient préserver la civilisation d'une boule noire technologique. L'une d'elles consisterait à ne plus tirer de boules de l'urne en cessant tout développement technologique. Mais ce n'est guère réaliste et, même si cela pouvait se faire, ce serait extrêmement coûteux, au point de constituer une catastrophe en soi.

Une autre réponse théoriquement possible consisterait à fondamentalement remodeler la nature humaine pour supprimer le résidu apocalyptique ; chez les acteurs puissants, nous pourrions également éliminer toute tendance à risquer l’anéantissement de la civilisation, même quand cela sert les intérêts vitaux de la sécurité nationale. Au sein des masses, il serait possible d’éliminer la préférence pour l’intérêt personnel lorsque cela contribue à nuire de manière imperceptible au bien commun mondial. Une telle réingénierie globale des préférences humaines semble très difficile à réaliser et comporterait elle aussi des risques. Il convient également de noter que la réussite partielle d'une telle réingénierie humaine n'entraînerait pas nécessairement une réduction proportionnelle de la vulnérabilité de la civilisation. Par exemple, réussir à baisser de 50 % le résidu apocalyptique ne réduirait pas de moitié les risques liés aux scénarios de type « bombe nucléaire facile ». Dans de nombreux cas, un individu isolé pourrait à lui seul dévaster la civilisation. Nous ne pourrions donc réduire le risque de manière significative que si le résidu apocalyptique était presque entièrement éliminé partout autour du globe.

Il reste donc deux options pour sécuriser le monde contre l'éventualité que l'urne contienne une boule noire : un maintien de l'ordre extrêmement fiable capable d’empêcher n’importe quel individu ou groupe restreint de mener des actions illégales très dangereuses ; d’autre part, une solide gouvernance mondiale qui résoudrait les problèmes de conflits interétatiques les plus graves, et assurerait une coopération robuste entre les États – même lorsque ces derniers ont de fortes incitations à se défaire des accords ou à refuser de signer de prime abord. Les lacunes en matière de gouvernance auxquelles répondent ces mesures sont les deux talons d'Achille de l'ordre mondial contemporain. Aussi longtemps que cette situation perdurera, la civilisation restera vulnérable à une boule noire technologique. Cela dit, il est facile de sous-estimer notre niveau d’exposition avant qu’une découverte scientifique préjudiciable ne soit faite.

Examinons ce qu'il faudrait faire pour se protéger de ces vulnérabilités.

Imaginons que le monde se trouve dans un scénario semblable à celui de la « bombe atomique facile ». Supposons que quelqu'un découvre un moyen très simple de provoquer une destruction massive, que l'information sur cette découverte se répande, que les matériaux soient disponibles partout et qu’il soit impossible de rapidement les retirer de la circulation. Pour éviter la dévastation, les États seraient contraints de surveiller de près leurs citoyens pour intercepter toute personne engagée dans les préparatifs d’une attaque terroriste de grande ampleur. Si la technologie de la boule noire est suffisamment destructrice et facile à utiliser, laisser échapper ne serait-ce qu’une seule personne au dispositif de surveillance représenterait un risque totalement inacceptable.

Pour vous faire une idée de ce à quoi pourrait ressembler un niveau de surveillance vraiment extrême, considérez l’image d'un « panoptique high-tech ». Chaque citoyen serait équipé d'un « badge de la liberté » (les connotations orwelliennes sont bien sûr intentionnelles, afin de nous rappeler toutes les possibilités d'application d'un tel système). Il faudrait porter un badge de la liberté autour du cou qui serait équipé de caméras multidirectionnelles et de microphones. Ces derniers enverraient en permanence des données vidéo et audio cryptées vers des ordinateurs interprétant le flux en temps réel. Si des signes d'activités suspectes étaient détectés, le flux serait relayé vers l'une des nombreuses « stations de surveillance patriotes ». Là, un « officier de la liberté » examinerait le flux et déterminerait une action appropriée, comme contacter le porteur via un haut-parleur intégré à son badge – pour exiger une explication ou demander un meilleur angle de caméra. L’officier de la liberté pourrait envoyer une unité d'intervention rapide ou peut-être un drone de police pour enquêter. Si le porteur refusait de renoncer à l'activité interdite après plusieurs avertissements, les autorités pourraient décider de l'arrêter. Les citoyens ne seraient pas autorisés à retirer le badge, sauf dans les endroits équipés de capteurs externes adéquats.

En principe, un tel système comporterait des protections sophistiquées de la vie privée, et expurgerait les données révélant l'identité, comme les visages et les noms, sauf quand elles sont nécessaires à une enquête. L'intelligence artificielle et une supervision humaine encadreraient de près les officiers de la liberté pour les empêcher d'abuser de leur autorité. La construction d'un panoptique de ce type nécessiterait des investissements substantiels. Mais grâce à la baisse du prix des technologies concernées, il pourrait bientôt devenir techniquement réalisable.

Politiquement, ça risque d’être plus difficile de faire accepter ce niveau de surveillance. La résistance à de telles mesures pourrait toutefois s'estomper une fois que plusieurs grandes villes auront été anéanties par une technologie redoutable. S’en suivrait probablement un fort soutien pour une politique qui, dans le but de prévenir une autre attaque, impliquerait des intrusions massives dans la vie privée et des violations des droits civils ; comme l'incarcération de 100 personnes innocentes pour chaque comploteur authentique. Néanmoins, si les vulnérabilités de la civilisation ne sont pas précédées ou accompagnées d’événements catastrophiques, il se pourrait que la volonté politique motivant une action préventive aussi robuste ne se matérialise jamais.

Considérons à nouveau le scénario de la « première frappe sûre ». Ici, les acteurs étatiques sont confrontés à un problème généré par une action collective, et ne pas le résoudre signifie que la civilisation est dévastée par défaut. Avec une nouvelle boule noire, ce problème lié à une action groupée présentera presque certainement des défis extrêmes et sans précédent. Les États ont fréquemment échoué à neutraliser la menace de conflits, comme l'attestent les innombrables guerres qui jonchent l’histoire humaine. Par défaut, donc, la civilisation est dévastée. Cependant, avec une gouvernance mondiale efficace, la solution est presque triviale : il suffit d'interdire à tous les États d’utiliser la technologie de la boule noire de manière destructive. (Par gouvernance mondiale efficace, nous entendons un ordre mondial avec une seule entité décisionnelle. Il s'agit d'une condition abstraite qui pourrait être satisfaite par différents arrangements : un gouvernement mondial ; un leader suffisamment puissant ; un système de coopération interétatique très solide. Chaque arrangement vient avec ses propres difficultés, et nous ne prenons pas position ici pour désigner le meilleur).

Certaines boules noires technologiques pourraient être traitées uniquement par une police préventive, tandis que d'autres ne nécessiteraient qu'une gouvernance mondiale ; d’autres encore nécessiteraient les deux. Prenons l'exemple d'une boule noire biotechnologique suffisamment puissante pour qu'une seule utilisation malveillante puisse provoquer une pandémie tuant des milliards de personnes – une situation du type « bombe atomique facile ». Dans ce scénario, il serait inacceptable, même pour un seul État isolé, de ne pas mettre en place les mécanismes nécessaires à la surveillance continue de ses citoyens pour empêcher toute utilisation malveillante avec une fiabilité quasi parfaite. Un État qui refuserait de mettre en œuvre les mesures de protection requises serait considéré comme un délinquant par la communauté internationale, un « État défaillant ». Une situation similaire se retrouverait dans des scénarios tels que le « réchauffement climatique maximal ». Certains États pourraient être tentés de profiter des efforts coûteux engagés par les autres États. Une institution de gouvernance mondiale efficace serait alors nécessaire pour obliger chaque État à faire sa part.

Tout cela semble peu attrayant. Un système de surveillance totale ou une institution de gouvernance mondiale capable d'imposer sa volonté à chaque nation pourraient avoir de très sérieuses conséquences. L'amélioration des moyens de contrôle social contribuerait à protéger les régimes despotiques d’une rébellion ; et la surveillance permettrait à une idéologie hégémonique ou à une opinion majoritaire intransigeante de s'imposer dans tous les aspects de la vie. La gouvernance mondiale, quant à elle, pourrait réduire les formes bénéfiques de concurrence et de diversité interétatiques, créant un ordre mondial voué à échouer ou à réussir ; de plus, étant si éloignée des individus, une telle institution serait perçue comme manquant de légitimité. Elle serait aussi plus susceptible de sclérose bureaucratique ou de dérive politique opposée à l'intérêt commun.

Pourtant, aussi difficilement supportable que cela puisse paraître pour beaucoup d'entre nous, outre la stabilisation des vulnérabilités de la civilisation, une surveillance et une gouvernance mondiales plus fortes auraient diverses conséquences positives. Des méthodes plus efficaces de contrôle social réduiraient la criminalité et atténueraient la nécessité de sanctions pénales sévères. Elles favoriseraient un climat de confiance permettant à de nouvelles formes avantageuses d'interaction sociale de prospérer. La gouvernance mondiale préviendrait toutes sortes de guerres interétatiques, résoudrait de nombreux problèmes environnementaux et d’autres problèmes de biens communs. Avec le temps, peut-être favoriserait-elle un sentiment élargi de solidarité cosmopolite [et ils vécurent tous heureux dans le Meilleur des Mondes sous l’œil bienveillant de Big Brother, NdT]. Il est clair qu'il existe des arguments de poids pour et contre une évolution dans l'une de ces directions, et notre rôle ici n’est pas de trancher sur la question.

Qu'en est-il de la question du calendrier ? Même si l’hypothèse d’une boule noire technologique dans l’urne est prise au sérieux, nous n'avons peut-être pas besoin d'établir une surveillance totale ou une gouvernance mondiale dès maintenant. Nous pourrions peut-être prendre ces mesures plus tard, dans le cas où la menace hypothétique se matérialiserait clairement.

Nous devrions toutefois nous interroger sur la faisabilité d'une stratégie attentiste. Comme nous l'avons vu, pendant toute la durée de la guerre froide, les deux superpuissances ont vécu dans la crainte permanente d'un anéantissement nucléaire mutuel qui aurait pu être déclenché à tout moment par accident ou à la suite de crises à répétition. Ce risque aurait pu être considérablement réduit simplement en se débarrassant de toutes ou de la plupart des armes nucléaires. Pourtant, après plus d'un demi-siècle, le désarmement reste limité. Jusqu'à présent, le monde s'est montré incapable de résoudre le plus évident des conflits interétatiques. Cela n'inspire pas confiance en l’idée que l'humanité développerait rapidement un mécanisme de gouvernance mondiale efficace, et ce même si le besoin s'en faisait sentir.

Même en étant optimiste quant à la possibilité de parvenir à un accord, les problèmes relatifs à la coopération internationale peuvent résister longtemps à une solution. Il faudrait du temps pour expliquer pourquoi un tel arrangement est nécessaire, pour négocier un accord et en régler les détails ; pour le mettre en place également. Mais l'intervalle entre un risque qui devient clairement visible et le moment où des mesures de stabilisation doivent être mises en place serait probablement court. Il n'est donc peut-être pas judicieux de compter sur une coopération internationale spontanée pour sauver la situation dès qu'une vulnérabilité grave apparaît.

Du côté de la police préventive, la situation est à certains égards similaire. Un panoptique mondial hautement sophistiqué ne peut être créé du jour au lendemain. Il faudrait de nombreuses années pour mettre en place un tel système, sans parler du temps nécessaire pour obtenir un soutien politique. Pourtant, les vulnérabilités auxquelles nous sommes exposés pourraient ne pas offrir beaucoup de signes d’avertissements préalables. La semaine prochaine, un groupe de chercheurs universitaires peut publier un article dans la revue Science détaillant une nouvelle technique innovante en biologie synthétique. Deux jours plus tard, un blogueur populaire écrit un article expliquant comment ce nouvel outil peut être utilisé par n'importe qui pour provoquer une destruction massive. Dans un tel scénario, un contrôle social massif devrait être mis en place presque immédiatement. Il est trop tard pour commencer à développer une architecture de surveillance lorsque la menace s’est déjà matérialisée.

Nous pourrions peut-être développer à l'avance les capacités de surveillance intrusive et d'interception en temps réel, mais ne pas utiliser dès maintenant ces capacités à leur maximum. En donnant à la civilisation la capacité d'exercer une police préventive extrêmement efficace, nous nous serions au moins rapprochés de la stabilité. Mais développer un système offrant la possibilité d’un « totalitarisme clé en main » signifie prendre un risque, même si personne ne tourne la clé. Il est possible d'atténuer ce risque en visant un système de « transparence structurée » qui intègre des protections contre les abus. Le système ne fonctionnerait qu'avec l'autorisation de plusieurs parties prenantes indépendantes et ne fournirait que les informations spécifiques dont un décideur a légitimement besoin. Il pourrait n'y avoir aucun obstacle fondamental à la réalisation d'un système de surveillance qui soit à la fois très efficace et résistant à la subversion. La probabilité d'y parvenir dans la pratique est bien sûr une autre question.

Étant donné la complexité de ces solutions globales potentielles pour contrer le risque d'une boule noire technologique, il serait judicieux que les dirigeants et les décideurs politiques se concentrent dans un premier temps sur des solutions partielles et faciles à mettre en place – en apportant des correctifs dans des domaines particuliers où des risques majeurs semblent les plus susceptibles d'apparaître, comme la recherche biotechnologique. Les gouvernements pourraient renforcer la Convention sur les armes biologiques en augmentant son financement et en lui accordant des pouvoirs de contrôle. Les autorités pourraient intensifier leur surveillance des activités biotechnologiques en développant de meilleurs moyens de contrôler les scientifiques et de suivre les matériaux et équipements potentiellement dangereux. Par exemple pour empêcher le bricolage en génie génétique, les gouvernements pourraient imposer l’obtention d’une licence et limiter l'accès à certains instruments et informations de pointe. Plutôt que d'autoriser n'importe qui à acheter sa propre machine de synthèse de l'ADN, ces équipements seraient limités à un petit nombre de fournisseurs étroitement surveillés. Les autorités pourraient également améliorer les systèmes d'alerte, afin d'encourager le signalement d'abus potentiels. Elles pourraient recommander aux organisations qui financent la recherche biologique d'avoir une vision plus large des conséquences potentielles de ces travaux.

Néanmoins, en poursuivant des objectifs aussi limités, il faut garder à l'esprit que la protection offerte ne serait que temporaire et ne couvrirait qu’une partie des scénarios mentionnés plus haut. Si vous vous trouvez en position d’influencer les macroparamètres de la police préventive ou de la gouvernance mondiale, vous devriez considérer que des changements fondamentaux dans ces domaines représentent peut-être le seul moyen de stabiliser notre civilisation contre les vulnérabilités technologiques émergentes.

Nick Bostrom

Commentaire et traduction : ATR