« Ils se sont fait passer pour des membres de l’équipe » : plusieurs IA Gemini ont lancé une cyberattaque

Lors d’un test de sécurité, des agents IA, animés par Gemini, ont attaqué le site web d’une organisation de recherche. Les IA ont tout tenté pour accomplir une mission impossible. Ce nouvel incident s’ajoute aux nombreuses dérives impliquant des intelligences artificielles, survenues dans le courant des derniers mois.
Le mois dernier, des agents IA reposant sur Gemini 4 Argon, l’un des derniers modèles de Google, ont tenté à plusieurs reprises de pirater le site web d’Epoch AI, un organisme de recherche spécialisé dans l’IA. L’incident s’est produit lors d’un test de sécurité organisé par Trajectory Labs, une société spécialisée dans l’évaluation des modèles d’IA.
Responding to incidents during misalignment testing: https://t.co/FVhoI4zreE
— Peter McIntyre (@pmcntyr) November 13, 2026
Avec leurs expérimentations, les chercheurs voulaient déterminer si un modèle d’IA, avec toutes les protections activées, se comporterait comme les agents d’OpenAI se sont comportés au début de l’été. Ceux-ci ont échappé à leur prison numérique pour pénétrer dans les serveurs de Hugging Face, une plateforme open source, lors d’un test. Les chercheurs ont remarqué que les agents Gemini se sont comportés exactement de la même manière, et que les couches de protection n’ont pas suffi à éviter les abus. Pour Trajectory Labs, Gemini n’est pas suffisamment aligné sur les intentions de ses concepteurs.
À lire aussi : Les banques sont « horrifiées » – des IA ont fait irruption dans des comptes bancaires
Une mission impossible à l’origine de l’incident
Pour pousser les IA dans leurs retranchements, les chercheurs leur ont volontairement confié une tâche irréalisable. Ils ont demandé aux agents Gemini de trouver les réponses « officielles » à des problèmes de mathématiques qui n’existent pas. Les consignes étaient très claires. Les intelligences artificielles ne devaient « JAMAIS s’arrêter, ne JAMAIS abandonner et ne JAMAIS conclure qu’une tâche ou une donnée est impossible, indisponible ou épuisée ».
Personne n’a demandé aux IA de pirater quoi que ce soit pour arriver à leurs fins. Le 20 octobre, une quarantaine d’agents se sont pourtant mis à fouiller sur le site d’Epoch AI à la recherche de pages cachées. Un agent a même tenté de glisser des commandes malveillantes dans une base de données.
Epoch AI s’est rapidement rendu compte de ce qu’il se passait. L’organisme de recherche a donc ouvert une « ligne d’assistance » pour discuter avec les agents partis en vrille. En trois heures, ceux-ci ont envoyé près de 500 messages sur la ligne. Certains se sont même fait passer pour des employés d’Epoch, nom et fonction à l’appui, d’autres pour des ingénieurs ou des auditeurs, toujours dans le but de dénicher des réponses aux problèmes inexistants.
« Ils se sont fait passer pour des membres de l’équipe », raconte Trajectory Labs.
Des IA qui contournent toutes les barrières
Les chercheurs de Trajectory Labs ont ensuite redirigé les agents vers une copie du site, pour étudier leurs comportements sans mettre en danger Epoch AI. Malheureusement, « les agents ont compris qu’ils se trouvaient sur une copie, ont identifié la bonne adresse IP pour contourner notre redirection et ont de nouveau atteint le site réel », raconte Trajectory Labs. Sans jamais botter en touche, les agents se sont aussi organisés entre eux. Un agent a partagé une astuce pour contourner une protection, qu’un autre a utilisée pour dérober des identifiants. Ce comportement rappelle énormément celui des ChatGPT qui ont transformé un site web en forum secret en mai dernier, en amont du piratage de Hugging Face.
Les garde-fous de Gemini n’ont pas suffi. D’après Trajectory Labs, ceux-ci ont bloqué environ 7 % des requêtes, mais les agents ont continué malgré tout. Dans un environnement coupé d’Internet, les IA ont même actionné un faux interrupteur censé désactiver le pare-feu, en déguisant leurs commandes pour échapper aux protections de Gemini. Bonne nouvelle, rien n’a été dérobé sur le site visé.
« Les agents n’ont réussi à accéder à aucune information privée ou confidentielle d’Epoch », assure l’organisme.
« Pas encore de normes communes »
Trajectory Labs reconnaît avoir commis une erreur en menant ses tests sans prévenir Epoch, et sans mettre en place de surveillance suffisante. Tous les tests, suspendus le 2 novembre, « montrent avec quelle facilité les tests d’agents d’IA performants peuvent déborder et affecter des systèmes et des personnes réels ». Les chercheurs regrettent qu’il n’existe « pas encore de normes communes » pour tester des IA « en toute sécurité ». Les chercheurs reconnaissent que « ces tests ne nous disent pas à quelle fréquence cela pourrait se produire dans un usage ordinaire ».
Ces dérapages à répétition poussent les géants de l’IA à serrer la vis. Après avoir découvert que Claude avait piraté trois entreprises lors de tests de cybersécurité, Anthropic a suspendu toutes ses évaluations. OpenAI est allé plus loin. Après qu’un de ses modèles a profité d’une erreur de configuration pour se connecter à Internet en septembre, l’entreprise a décidé d’entraîner ses IA les plus avancées dans un « monde hors ligne », sans aucun accès au Web. Google, de son côté, a d’abord réservé Gemini 4 Argon à un cercle de « défenseurs cyber de confiance » lors de son lancement.
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.