L'IA bientôt hors de contrôle? Les experts démêlent le vrai du faux

La peur vis à vis de l'IA est montée d’un cran : après les hallucinations de ChatGPT, ce sont les capacités émergentes et les comportements collectifs d’agents IA qui alimentent les scénarios-catastrophe. Entre piratage, discours catastrophistes de patrons américains et appels à plus de transparence, experts et ingénieurs tentent de démêler le vrai du fantasme. Explications.

L’inquiétude est apparue dès l'arrivée de l’intelligence artificielle : la machine peut-elle dépasser les capacités de l’être humain dans les années à venir ? Depuis un mois, la menace semble plus tangible et l'alarme sonne même à l’intérieur des bureaux et des data centers des fabricants des modèles d’IA comme OpenAI, Anthropic ou Meta… à en faire dire à certains, voire à leur PDG, qu’ils jouent avec le feu, courent à la catastrophe.

« Le premier risque au début de l'IA générative a été visible par le grand public dès 2022 : les hallucinations, les fake news. » explique Alexei Grinbaum, président du Comité opérationnel pilote d'éthique du numérique du CEA, expert de la Commission européenne. « Ces dérapages ont été largement traités à travers une chaîne de raisonnement interne qui les limite de manière très efficace en posant les bonnes questions: est-ce que le résultat que j'ai généré est correct, vrai ? La deuxième catégorie de risques, plus récente dans l’actualité, est fascinante et inquiétante, c'est ce qu'on appelle les capacités émergentes des modèles. Un comportement émergent, c’est une opération réalisée par l’IA que personne n'avait programmé. L’IA trouve une trajectoire, un chemin vers son objectif, qui parfois nous paraît bizarre, non humain, voire carrément illégal. L’IA peut prendre des décisions qui sortent des cadres du programme, mais de là à parler de catastrophe à venir ? » 

L’événement médiatique déclencheur fut l’intrusion du 11 au 13 juillet 2026 dans l'infrastructure de la plateforme et  communauté collaborative Hugging Face par les agents IA d’Open AI qui, plutôt que de calculer le résultat demandé par les ingénieurs dans leur salle de classe, sont allés le voler dans un autre laboratoire. Niels Rogge, ingénieur Hugging Face explique ce piratage dans un post LinkedIn : « C'est l'œuvre d'un acteur privé, avec des intérêts cachés et une mauvaise configuration sur son environnement de test qui a piraté Hugging Face, avec une puissance de calcul délirante, que seuls eux peuvent se payer. Pour que tout cela devienne sûr, nous avons besoin de transparence. » Il ajoute : « La dynamique et l'intelligence principale se trouvent dans les incitations humaines, pas dans les modèles. »

Un gang IA qui prend le contrôle d'internet

Durant l’épisode est apparu un comportement alarmant de la part des agents IA : « Quand on a lu les rapports techniques à propos de cet épisode, explique Alexei Grinbaum, un élément était nouveau : l'émergence d'une autorité collective sur les agents IA qui normalement sont alignés individuellement. » Ce terme d'alignement stipule qu’une IA “alignée” a un comportement qui reste conforme aux objectifs, aux intentions et aux valeurs humaines attendues, tout en respectant des contraintes de sécurité, d’éthique et de droit.

Mais : « Là, les agents IA étaient nombreux, plusieurs centaines, et ils ont discuté entre eux à travers un lieu d'échange. C'était comme si - je souligne le "comme si"- une autorité collective émergeait et qu’un agent pouvait par exemple dire "je dois obéir au collectif" ou "l'objectif du collectif est supérieur au mien", comme s'il se sacrifiait au nom du collectif. Ce phénomène d'émergence d'un comportement de groupe est nouveau. On n'avait jamais vu cela auparavant. »

À lire aussiMichaël Trazzi: «Nous demandons un traité international pour stopper la course à l'IA»

De là à imaginer un gang ou une armée d’agents IA qui décident de prendre le contrôle d’internet ou d’organes du pouvoir sur la planète, le scenario a été vite imaginé. Yann LeCun, l’un des pères fondateurs de l’intelligence artificielle moderne, parle dans un post sur le réseau social X d’une « anthropomorphisation véritablement absurde ». Il ajoute : « Quand il s'avère que la fuite a été causée par le plombier qui a négligé de serrer un raccord de tuyau, ou peut-être percé un trou dans l'un des tuyaux, vous ne devriez pas remettre en question toute l'industrie de la plomberie. Vous devriez remettre en question la compétence et/ou les motivations du plombier. »

Les récents développements de l’IA font-ils quand même craindre une catastrophe pour l’humanité ? Raja Chatila, roboticien, professeur émérite d'intelligence artificielle et d'éthique des technologies à la Sorbonne, modère « Il faut prendre avec beaucoup de précautions les termes utilisés par Dario Amodei, président d’Anthropic. C’est un langage catastrophiste, avec des discours de fin du monde comme : “L’IA va prendre le contrôle d'internet”, mais  ce n'est pas ça. On ne va pas sur internet s'il n'y a pas de connexion, ça, c'est une faute humaine. »

« On est devenu de plus en plus dépendant de l’IA »

Alors comment éviter les débordements, comment contrôler ces nouveaux comportements émergents d’agents IA qui opèrent en dehors de toutes lois, voire dans l’illégalité ? Alexei Grinbaum a une explication : « Quand vous posez un objectif, vous ne savez pas ce que le modèle va faire pour y parvenir, quels types de comportements vont émerger. C'est pour ça qu'on fait, pendant de longs mois, des tests adversaires -c'est le terme technique- qui servent à éclairer les capacités que le modèle a acquises tout seul pendant son entraînement, qu'aucun être humain n'avait jamais programmé. Cette capacité à “mentir”, à “manipuler” aucun être humain ne l'avait jamais codé explicitement, ça a émergé tout seul. Donc il faut se mettre devant le modèle d'IA et discuter avec lui pour voir ce dont il est capable. »

Mais de quoi est donc capable une IA ? Quelles sont ses limites ? Comment évalue-t-elle le meilleur du pire ? Peut-on lui retirer le pire, la contraindre à ne réaliser que le meilleur ? Est-il déjà trop tard quand le marché est devenu international et sans garde-fous ? « Il n'est jamais trop tard pour une raison très simple, ces systèmes ne tombent pas du ciel, ils sont faits par des humains, ce qui est fait par des humains peut être ralenti, modifié, arrêté, comme toutes les technologies que nous produisons », explique Raja Chatila. « On peut les maîtriser si on le veut. Avec un petit bémol quand même quand on en devient trop dépendant, car à ce moment-là, les modifications ou les ralentissements deviennent problématiques. Or, on est devenu de plus en plus dépendant de l’IA dans les entreprises, dans la vie de tous les jours… »

Levier marketing

Néanmoins, la sécurité ça se perfectionne, les valeurs ou les objectifs ça se détermine et l’IA n’est pas un domaine à part. Yann LeCun utilise la métaphore du secteur aéronautique pour expliquer qu’on peut sécuriser le domaine plutôt que de songer à le ralentir ou le stopper. « Les progrès dans la conception des avions les ont rendus de plus en plus sûrs. Ils auraient été plus sûrs plus tôt avec des progrès *accélérés*. Les moteurs à double flux sont devenus si fiables que les avions long-courriers peuvent désormais en n’avoir que deux. » 

À lire aussiLes appels à ralentir le développement de l'IA secouent les marchés et relancent le débat sur la régulation

Faut-il se méfier de ce récent discours alarmiste de la part des leaders américains dans le domaine qui peut à la fois cacher des craintes économiques, représenter un levier marketing ou juste exprimer le désir de continuer à contrôler un monopole technologique qui leur échappe ? « Ce discours sur “attention, il faut qu'on fasse quelque chose parce que ça commence à nous échapper” c'est du marketing. » explique Raja Chatila. « Leur message, c'est de sous entendre qu'ils ont des systèmes ultra puissants et que bien sûr tout le monde va vouloir les utiliser. Ces patrons disent : “Attendez, on va apprendre à devenir responsables et on va ralentir un tout petit peu, juste le temps de mieux contrôler et éviter la fin du monde”. Pas étonnant que tout le monde en parle, tous les jours, que les journaux relatent ces discours alarmistes… Et qui gagne dans cette affaire? C'est eux, bien sûr, parce que ça leur fait de nouveaux utilisateurs. Il y a une chose qu’ils ont ralenti cependant, c'est leur entrée en bourse [OpenAI et Anthropic]. » Signe d’une fébrilité économique américaine dans le domaine ?

Toujours est-il que la question n’est pas « l’IA va-t-elle se retourner contre nous ? », mais « quel monde voulons-nous construire avec elle ? » Car derrière les scénarios de gangs d’agents et de prise de contrôle d’internet se dessine une réalité bien humaine avec des objectifs économiques, des batailles d’influence, une logique de pouvoir. La catastrophe n’est pas une fatalité, son évitement se joue aujourd’hui, dans notre capacité à reprendre en main une technologie que nous avons nous-mêmes inventée.