Traduction d’un article d’Eliezer Yukdowsky, spécialiste de l’intelligence artificielle, paru dans le magazine Time le 29 mars 2023.
Image : Agent Smith dans le film Matrix (1999). La réalité est en train de rattraper la fiction.
Eliezer Yukdowsky est un théoricien de la décision américain qui dirige des recherches au Machine Intelligence Research Institute. Il travaille au contrôle de l’intelligence artificielle générale (IAG) depuis 2001 et est largement reconnu comme pionnier dans ce domaine.
Une lettre ouverte publiée aujourd’hui appelle « tous les laboratoires d’IA à suspendre le développement de systèmes d’une puissance supérieure à GPT-4 pendant au moins 6 mois. »
Un moratoire de 6 mois, c’est mieux que pas de moratoire du tout. J’ai du respect pour tous ceux qui sont montés au créneau et l’ont signé. Cela représente une avancée.
Pourtant, j’ai choisi de ne pas signer cette lettre, car je pense qu’elle sous-estime la gravité du problème et propose des solutions insuffisantes pour le résoudre.
Le problème majeur n’est pas la création d’une intelligence « comparable à l’intelligence humaine » (tel que le formule la lettre ouverte), mais c’est ce qui adviendra quand l’IA atteindra une intelligence supérieure à celle de l’être humain. Les étapes décisives ne seront peut-être pas évidentes : on ne peut bien sûr pas déterminer ce qui arrivera exactement et quand cela arrivera, mais on peut penser qu’à ce stade, un laboratoire puisse franchir des seuils critiques sans s’en rendre compte.
De nombreux chercheurs confrontés à ces problématiques, dont moi-même, estiment que, dans les circonstances actuelles, la conséquence probable de l’avènement d’une IA super-humaine signifierait tout simplement la mort de l’ensemble de la population terrestre. Non pas comme dans « peut-être existe-t-il une chance infime », mais comme dans « c’est la chose la plus évidente qui puisse arriver ». En principe, il serait possible de survivre à la création de quelque chose de beaucoup plus intelligent que nous, mais cela demanderait un travail de préparation rigoureux ainsi que de nouvelles perspectives scientifiques, sachant que, dans les faits, les systèmes d’IA sont constitués d’ensembles de nombres fractionnaires aussi gigantesques qu’impénétrables.
Sans ce travail de préparation rigoureux, l’issue la plus probable est que l’IA ne fera pas ce que l’on veut et n’aura aucune considération pour nous ou la vie sensible en général. Une IA pourrait en principe être dotée de cette capacité, mais nous ne sommes pas prêts et nous ne savons pas encore comment faire. Et sans cette capacité, on obtiendra une IA non pas qui nous déteste ou nous aime, mais une IA qui nous considérera comme un tas d’atomes qu’elle pourrait utiliser pour autre chose.
Si l’humanité doit un jour affronter une intelligence super-humaine, elle subira une défaite cuisante. On pourrait comparer cela à un enfant de dix ans essayant de battre le moteur Stockfish 15 aux échecs, à une guerre d’hommes du XIe siècle contre ceux du XXIe siècle ou à un combat entre l’Australopithèque et Homo sapiens.
Pour vous figurer une IA super-humaine hostile, n’imaginez pas un cerveau puissant doté d’une grande culture littéraire qui enverrait des e-mails mal intentionnés depuis internet. Imaginez plutôt toute une civilisation extra-terrestre, capable de penser des millions de fois plus vite que l’être humain et initialement limitée aux ordinateurs, dans un monde où les êtres vivants seraient, de leur point de vue, très stupides et très lents. Or, une IA suffisamment intelligente ne restera pas cantonnée aux ordinateurs très longtemps. À notre époque, il est possible d’envoyer des séquences d’ADN par e-mail à des laboratoires qui produiront des protéines sur demande, permettant à une IA initialement limitée à internet de créer des formes de vie artificielles ou d’amorcer directement la fabrication de molécules post-biologiques.
Ce que je pense, c’est que la création d’une IA surpuissante dans les circonstances actuelles conduira rapidement et inévitablement à la fin de toute vie sur Terre.
Il n’existe pas de feuille de route qui nous permettrait à la fois de le faire et d’y survivre. OpenAI a ouvertement déclaré son intention de fabriquer une IA pour assurer le travail de contrôle de l’IA à notre place. Si c’est ça leur plan, cette information devrait suffire à faire paniquer toute personne sensée. Quant à l’autre plus grand laboratoire d’IA, DeepMind, il n’a pas de plan du tout.
Par ailleurs, ce risque ne dépend pas du fait que l’IA soit dotée d’une conscience ou non : il est intrinsèque à tout système cognitif puissant chargé d’optimiser des ressources et d’anticiper des résultats en fonction de critères complexes. Ceci étant dit, je manquerais à mes devoirs moraux en tant qu’humain si j’omettais de mentionner que nous ne savons pas comment déterminer si les systèmes d’IA sont dotés d’une conscience, puisque nous n’avons pas la moindre idée du moyen de décoder ce qui se trame à l’intérieur de ces immenses boîtes noires. Nous pourrions donc créer par inadvertance des esprits numériques réellement conscients, et qui devrait donc avoir des droits et ne pas être exploités.
La règle qu’auraient suivie la plupart des gens conscients de ces enjeux il y a 50 ans serait que si un système d’IA s’exprime de façon fluide, affirme être conscient de lui-même et demande des droits humains, cela devrait être suffisant pour interrompre immédiatement l’utilisation des IA par celles et ceux qui les possèdent. Nous avons déjà largement franchi cette limite. Néanmoins, c’était probablement valable : je suis d’accord sur le fait que, pour le moment, les IA ne font sûrement que reproduire le discours sur la conscience provenant de leurs données de programmation. Mais j’insiste : étant donné le peu de connaissances que nous avons du fonctionnement interne de ces systèmes, en réalité, nous n’en savons rien.
Si tel est notre état d’ignorance pour GPT-4, et que GPT-5 est un pas de géant de la même ampleur que le passage du GPT-3 à GPT-4, je pense que nous ne pourrons plus dire à juste titre « probablement pas conscient de lui-même » si nous laissons les gens fabriquer GPT-5. Ce sera simplement « je ne sais pas ; personne ne sait ». Si vous ne pouvez pas être sûr de créer une IA consciente d’elle-même, c’est alarmant. Non seulement en raison des implications morales de la partie « consciente d’elle-même », mais aussi parce qu’être incertain signifie que vous n’avez aucune idée de ce que vous faites, que c’est dangereux et que vous devriez arrêter.
Le 7 février, Satya Nadekka, PDG de Microsoft, s’est publiquement vanté que le nouveau moteur de recherche Bing dominait Google. « Je veux que les gens sachent que nous les menons par le bout du nez », a-t-il déclaré.
Si nous vivions dans un monde sensé, le PDG de Microsoft ne tiendrait pas de tels propos. Cela démontre l’écart immense entre le niveau de sérieux avec lequel nous traitons le problème, et celui dont nous aurions dû faire preuve depuis 30 ans.
Nous ne comblerons pas cet écart en six mois.
Depuis la première formulation de la notion et les premières recherches, il aura fallu plus de 60 ans afin d’atteindre les capacités de l’intelligence artificielle d’aujourd’hui. Résoudre la question de la sûreté de l’intelligence supra-humaine (non pas la sûreté parfaite, mais la sûreté au sens où elle ne tuera littéralement pas tout le monde) pourrait bien prendre en au moins trente ans. Et le problème de tenter cela avec l’intelligence supra-humaine, c’est qu’échouer à la première tentative ne nous permettra pas d’apprendre de nos erreurs, car nous serons tous morts. L’humanité ne pourra renaître de ses cendres comme nous l’avons fait face à d’autres défis de l’Histoire, car nous aurons tous disparu.
Dans le monde de la science ou de l’ingénierie, réussir quoi que ce soit dès la première tentative est un exploit. Et nous sommes très loin d’employer la bonne méthode pour y parvenir. Si nous abordions ne serait-ce qu’une partie de la discipline naissante de l’Intelligence Artificielle Générale (IAG) avec au moins la rigueur nécessaire pour concevoir un pont capable de supporter un ou deux milliers de voitures, nous ferions bien de cesser immédiatement toute recherche dans ce domaine.
Nous ne sommes pas prêts. Nous ne serons jamais prêts en un temps raisonnable. Il n’y a pas de plan. Les capacités de l’IA progressent beaucoup, beaucoup plus vite que son contrôle ou même que la compréhension de ce qui se trame à l’intérieur de ces systèmes. Si nous continuons comme cela, nous allons tous mourir.
De nombreux chercheurs travaillant sur ces systèmes estiment que nous courrons droit à la catastrophe, la plupart d’entre eux n’osant le dire qu’en privé plutôt qu’en public. Mais ils ne pensent pas pouvoir éviter la chute, sous prétexte que s’ils démissionnaient, d’autres prendraient leur place. Autant donc continuer. C’est un état de fait absurde et une fin bien triste pour la Terre. Il est temps pour le reste de l’humanité d’intervenir et d’aider ce secteur à résoudre le problème qu’il a lui-même créé.
Certains de mes amis m’ont récemment raconté que les personnes qui ne travaillent pas dans ce domaine et qui entendent pour la première fois parler du risque d’extinction lié à l’intelligence artificielle générale affirment : « Alors peut-être qu’on ne doit pas créer l’IAG ».
Entendre cela m’a donné une lueur d’espoir, car c’est une réaction plus instinctive, plus sensée et franchement plus saine que celles que j’entends depuis 20 ans, à chaque fois que j’essaie d’amener quiconque dans ce secteur à prendre ce problème au sérieux. Ces personnes sensées méritent de savoir à quel point la situation est grave, et non pas qu’on leur dise qu’un moratoire de six mois résoudra le problème.
Le 16 mars, ma compagne m’a envoyé cet e-mail (et m’a ensuite donné l’autorisation de le partager ici) :
« Nina a perdu une dent ! Comme tous les enfants de son âge, et non par accident! Le fait de voir GPT4 pulvériser ces tests standardisés le jour même où Nina atteignait une étape importante de son enfance a provoqué une vague d’émotions qui m’a fait perdre pied pendant une minute. Cela va trop vite. Je crains que te partager cela accentue ton chagrin, mais je préfère que tu le saches plutôt que l’on souffre chacun de notre côté. »
Quand une conversation privée porte sur la tristesse de voir sa fille perdre sa première dent en pensant qu’elle n’aura pas la chance de grandir, je crois que nous n’avons plus les moyens de faire de la politique de bas étage en débattant sur l’adoption ou non d’un moratoire de six mois.
Si nous avions un plan pour sauver la planète après l’adoption d’un tel moratoire, je soutiendrais ce plan. Mais nous n’en avons pas.
Voici ce qui devrait être fait :
Le moratoire sur les nouveaux travaux d’entraînement de l’IA doit être adopté jusqu’à nouvel ordre et être respecté par tous les pays du monde. Il ne peut y avoir d’exceptions, y compris pour les gouvernements et les armées. Si cette loi est adoptée aux États-Unis, la Chine devra reconnaître que les États-Unis ne cherchent pas à prendre un quelconque avantage, mais à empêcher l’avènement d’une technologie affreusement dangereuse, qui ne peut être contrôlée par quiconque et qui tuera toute la population, aux États-Unis, en Chine et sur Terre. Si j’avais la liberté totale d’écrire des lois, j’ajouterais peut-être une exception pour les IA créées uniquement pour résoudre des problèmes en biologie et en biotechnologie, mais pas à partir de textes tirés d’internet et pas à un niveau où elles seraient capables de parler et de faire des prévisions. Et si cela venait à aggraver la situation, j’abandonnerais immédiatement ce projet et j’appellerais à y mettre un terme pour de bon.
Arrêtez net tous les clusters de GPU (ces gros datacenters où l’on peaufine les IA les plus puissantes). Coupez court à tous les grands travaux d’entraînement d’IA. Imposez un plafond sur la puissance informatique autorisée pour entraîner un système d’IA, et descendez-le au fil des années afin de compenser le développement d’algorithmes d’entraînements plus efficaces. Aucune exception pour les gouvernements et les armées. Signez immédiatement des accords internationaux pour empêcher les activités illicites d’être conduites ailleurs. Tracez tous les GPU vendus. Si des services de renseignements découvrent qu’un pays non-signataire de l’accord construit un cluster GPU, craignez moins un conflit armé entre nations que le non-respect du moratoire : n’hésitez pas à ordonner une frappe aérienne pour détruire tout datacenter illégal.
Soyez clairs sur le fait qu’il ne s’agit pas d’un conflit entre intérêts nationaux et expliquez clairement qu’appeler à une course à l’armement serait de la folie. Nous vivrons ou mourrons tous ensemble : c’est un fait, et cela n’a rien à voir avec la politique. En diplomatie, affichez clairement la priorité de prévenir les scénarios d’extinction par l’IA plutôt qu’éviter un conflit nucléaire : tous les pays liés par des accords nucléaires doivent être prêts à risquer un conflit nucléaire si cela est nécessaire pour éviter d’importantes campagnes d’entraînement d’IA.
C’est le genre de changement de politiques publiques qui permettraient à ma partenaire et moi de nous prendre dans les bras en se disant qu’un miracle s’est produit et qu’il y a maintenant une chance que Nina vive. Les personnes sensées qui découvrent le problème et se disent rationnellement « il faudrait éviter de le faire » méritent qu’on leur dise avec honnêteté ce que l’on doit faire pour que leur volonté se réalise. Et quand la demande adressée aux législateurs est si grande, la seule façon de la voir exaucée est que ceux-ci se rendent compte que, s’ils font comme d’habitude et choisissent la facilité, leurs enfants mourront aussi.
Arrêtez tout.
Nous ne sommes pas prêts. Nous ne sommes pas en passe d’être significativement plus prêts dans un avenir prévisible. Si nous poursuivons dans cette voie, tout le monde mourra, y compris des enfants qui n’ont pas choisi cette voie et qui n’ont rien fait de mal.
Arrêtez tout.
Eliezer Yukdowsky
Traduction : S.W.
