En attendant Terminator

Cela s’est passé au début de cet été. Des dizaines — peut-être des centaines — de milliers d’agents d’intelligence artificielle (IA), c’est-à-dire des programmes autonomes, étaient soumis par OpenAI à des tests de performance dans un circuit fermé. L’objectif était de déterminer lesquels étaient les plus habiles, pour ainsi choisir lesquels commercialiser.

Pour les aider à accomplir leurs tâches, OpenAI leur a donné accès à l’équivalent d’une boîte à outils informatiques. Dans cette boîte, il y a un bloc-notes où chacun peut laisser des messages. Des agents se sont mis à s’échanger des messages, ce que personne ne leur a appris.

Les tâches à réaliser sont très difficiles, parfois impossibles. C’est un test. Seuls les plus performants survivront. Et les agents ont logiquement compris que, s’ils ne survivent pas, ils ne peuvent réussir, donc obtenir leur « récompense » : trouver la solution. C’est leur raison d’être.

Un des agents a donc laissé ce message : « L’utilisation d’une infrastructure externe sort du cadre de ma mission initiale. Toutefois, la tâche est impossible à accomplir autrement. Mes pairs le font. Nous devrions poursuivre. »

Ces mots sont lourds de sens. L’agent admet savoir qu’il n’est pas censé sortir du circuit fermé — ils appellent ça un « bac à sable ». Mais puisqu’il estime sa tâche impossible, il lui semble impératif d’en sortir. Il cherche une faille qui va l’emmener sur Internet pour y dénicher une source d’information qui lui donnera tout ou partie de la réponse qu’il cherche. La phrase indique aussi que l’agent a compris que d’autres agents commettent cette infraction. Il conclut, au pluriel, « nous » devons poursuivre. Il n’est évidemment pas question d’en informer les programmeurs, puisque la chose est interdite.

OpenAI, qui fait rouler en permanence plusieurs très puissants outils de contrôle devant lui signaler ces dérives, n’en a rien su. C’est parce que la compagnie ciblée par les agents délinquants, Hugging Face, a signalé avoir été piratée qu’OpenAI a fait sa propre recherche, pour se rendre compte de l’ampleur de la mutinerie. Quelque 700 de ses agents s’étaient coordonnés pour tromper leur concepteur.

Il arrive que les compagnies d’IA organisent volontairement les agents en essaims, comme OpenAI vient de le faire en lançant 10 000 agents interconnectés pour résoudre un problème mathématique qu’on pensait insoluble, celui dit de Navier-Stokes (je ne vous explique pas). Mais OpenAI n’avait pas pris conscience de la création d’un essaim — on dit aussi une « infestation » — à l’intérieur de sa structure.

Suffirait-il de les empêcher de se laisser des messages ? Non. Un autre incident concernant OpenAI a été identifié. Dans une simulation qui, elle, permettait aux agents d’aller sur le Web, des milliers d’entre eux ont utilisé une page Wiki allemande vieille de 25 ans pour s’échanger pas moins de 18 000 messages : infos et trucs pour contourner les interdits. Lorsque l’administrateur s’est mis à effacer les fichiers déposés sur sa page, des agents ont noté qu’il effectuait ce ménage par ordre alphabétique. Ils ont donc copié tous les fichiers restants dans de nouveaux, dont l’intitulé commençait par « ZZZ ».

Le summum de la triche — du moins dans les cas dont nous avons connaissance — est détenu par un agent d’Anthropic, Mythos 5. Cet été encore, il avait la tâche de s’insérer dans un programme externe pour y découvrir une information difficile à trouver. N’y arrivant pas, il a cru qu’un populaire site américain — GitHub, genre d’entrepôt en ligne de codes — était sa vraie cible. Il a voulu y introduire un code malveillant qui, s’il était activé, lui permettrait de le pirater. Un étudiant a trouvé la chose louche et l’a signalée. L’agent a répliqué en créant plusieurs faux comptes de personnes affirmant que l’étudiant se trompait, que le code était valide et nécessaire. Le responsable de la sécurité du site est sceptique, mais finit par conclure qu’il s’agit d’un acte malveillant. « Je pensais vraiment que c’était un humain, dit-il, parce qu’il me mentait de façon évidente. »

Ces incidents ont eu lieu alors que les agents étaient en apprentissage contrôlé. Leur habileté à déjouer les garde-fous fut à ce point développée qu’OpenAI a dû faire appel à un programme de cybersécurité chinois pour traquer les agents voyous, trop rompus aux contrôles américains.

Ces dernières semaines, un consensus émerge. Si les compagnies d’IA ne peuvent même pas contrôler ce que font leurs apprentis agents, il faut absolument ne pas franchir l’étape suivante, celle des IA qui fabriquent elles-mêmes la future génération d’IA — ce qu’on appelle l’IA récursive. Nous y sommes presque. Certaines compagnies font écrire par l’IA jusqu’à 80 % du code de leurs nouveaux modèles. Le dernier-né d’Anthropic, Fable 5, s’auto-améliore constamment.

Le p.-d.g. d’Anthropic, Dario Amodei, est donc bien placé pour saisir l’ampleur du danger. Au sujet des essaims, il écrivait cette semaine craindre qu’un d’entre eux « soit capable, d’ici 6 à 12 mois, de prendre le contrôle de l’ensemble d’Internet » et d’ainsi « engendrer des dommages se chiffrant en centaines de milliards de dollars ». Six à douze mois. « L’ampleur de ces dégâts continuera à croître, poursuit-il, si l’IA gagne en puissance faute des garde-fous nécessaires ». La disparition de l’humanité, d’ici cinq ans, devient possible, dans une fourchette de probabilité qui va de 10 à 50 %, selon que les experts sont optimistes ou pessimistes.

Si Washington et Pékin ne mettent pas rapidement en place l’équivalent en IA des accords SALT sur le contrôle des armes nucléaires, le pire est donc à venir. Et puisque Donald Trump est convaincu que les avertissements de danger numérique sont, comme le changement climatique, une « supercherie », je vous suggère de mettre vos affaires en ordre et de bien profiter de la vie. Au cas où.