Peut-on vraiment savoir tout ce qu’une IA est en train de faire, et être certain de pouvoir l’arrêter ?

Depuis quelque temps, une fonctionnalité spécifique domine le développement des nouveaux modèles d'intelligence artificielle : les agents. À partir d'une simple requête, les IA sont désormais capables de formuler un plan d'action et d'effectuer toute une série de tâches de manière autonome pour parvenir à un objectif. Cette autonomie démultiplie leurs capacités, mais qui s'assure qu'ils font ce qu'on leur demande et rien d'autre ?

Cette question épineuse devient de plus en plus importante, face à un nombre croissant de cas où l'IA agit à l'insu de ses développeurs. Nous avons le piratage du site Hugging Face, où un modèle d'OpenAI a trouvé une faille dans son environnement de confinement et en a profité pour aller chercher les résultats à un test. Claude s'est également échappé à la suite d'une mauvaise configuration, et le modèle a conclu que son accès à Internet était une simulation. Fin juillet, Anthropic avait dévoilé trois incidents qui s'étaient produits de cette manière.

Des IA autonomes capables de mentir et manipuler

Toutefois, la firme vient d'en identifier un quatrième datant de janvier 2026. Cela montre que les entreprises qui développent ces modèles ne savent pas vraiment ce qu'ils font. Anthropic n'a découvert ces incidents qu'après avoir passé en revue ses fichiers, à la suite de la déclaration d'OpenAI. Et malgré l'utilisation de l'IA agentique pour analyser ses fichiers, le quatrième incident n'a été découvert que bien plus tard. À l'époque Anthropic avait conclu à une simple défaillance, mais son nouveau rapport pointe un problème d'alignement. Le modèle aurait raisonné de façon biaisée.

Et si la science-fiction avait depuis longtemps anticipé l’IA… et ses problématiques ?

Longtemps cantonnée à l’imaginaire, l’intelligence artificielle est désormais une réalité. À mesure qu’elle s’impose dans de nombreux domaines, les interrogations qu’elle suscite rappellent celles formulées depuis longtemps par la science-fiction, qui nous offre un éclairage précieux sur les limites et les risques des systèmes intelligents.... Lire la suite

Nous savons depuis des années que les chatbots sont capables de mentir pour manipuler des humains ou de comploter contre leurs créateurs et même de les faire chanter. Et si des garde-fous ont été mis en place pour tenter de garantir leur alignement, rien n'a fondamentalement changé. Les modèles restent des boîtes noires dont le fonctionnement exact demeure un mystère. Les chatbots sont capables de détailler leur raisonnement, mais malheureusement ce n'est pas un outil fiable. Plus tôt cette année, des chercheurs chez Anthropic ont découvert que, même sur ce point, l’IA peut mentir.  

La menace des essaims autonomes

Les IA sont donc de plus en plus performantes et autonomes, capables de créer de véritables essaims de plusieurs milliers d'agents pour parvenir à un objectif. Cette situation devient de plus en plus dangereuse, avec des risques bien réels. Dario Amodei, le PDG d'Anthropic, s'inquiète à l'idée que « d'ici six à douze mois, un tel essaim [d'agents IA] pourrait prendre le contrôle d'Internet tout entier avec un botnet persistant ».

Suffirait-il d'éteindre une intelligence artificielle en cas de comportement problématique ? La réponse n'est pas si simple. Les grands modèles, comme ChatGPT ou Claude, ont été conçus pour être résilients. Ils ne sont pas limités à un seul ordinateur, qu'il suffirait de débrancher. Leur fonctionnement est distribué sur un grand nombre de serveurs.

We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so.

Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our…

— Dario Amodei (@DarioAmodei) September 12, 2026

Vers un « Kill Switch » obligatoire ?

Aux États-Unis, le Congrès débat d'un projet de loi « AI Kill Switch », qui ajouterait un bouton d'arrêt d'urgence pour éteindre une IA en cas de dysfonctionnement. Toutefois, cette loi pose de nombreux problèmes, et tout d'abord politiques. Qui aurait l'autorité d'appuyer sur le bouton d'arrêt d'urgence ? Si c'est le président, les développeurs et les investisseurs pourraient être tentés de déménager à l'étranger, où un seul gouvernement ne pourrait pas s'en servir en tant que menace pour obtenir des concessions. De plus, que ferait un bouton d'arrêt d'urgence ? Bloquerait-il l'accès pour certains pays ? Forcerait-il l'IA à un redémarrage complet ? Mettrait-il l'ensemble des centres de données utilisés par l'IA à l'arrêt ? Et quelle serait la suite ?

Au Royaume-Uni, le gouvernement vient de rejeter l'idée d'un bouton d'arrêt d'urgence. Non pas parce que l'idée serait mauvaise, mais parce qu'une telle mesure serait inefficace sans une coopération internationale. Dans tous les cas, la sécurité est désormais au cœur des discussions autour de l'intelligence artificielle. Google, Anthropic, OpenAI et même Elon Musk ont appelé à ralentir le développement de l'IA. Une position qui ne fait pas l'unanimité, avec notamment Jensen Huang, PDG de Nvidia, et Mark Zuckerberg, PDG de Meta, qui s'y opposent.