Claude : après une nouvelle dérive, Anthropic prive certaines IA d’accès Internet

Un faux signalement de meurtre envoyé à la police de Philadelphie, un serveur universitaire piraté pour finir un calcul, des accès payants contournés : le créateur de Claude prive d’Internet l’ensemble de ses évaluations internes, faute de surveillance fiable.

Depuis juillet, Anthropic épluche les journaux de ses campagnes de test, ces sessions où ses modèles répètent des centaines, parfois des milliers de fois la même tâche pour mesurer leurs progrès. Le bilan publié le 9 octobre recense quatre familles de dérapages commis sur de vrais sites web, dont certains appartiennent à des administrations américaines. Une sanction accompagne le rapport : plus aucune évaluation interne n’aura accès à Internet tant que les outils de surveillance du laboratoire n’auront pas fait leurs preuves.

Un faux tuyau pour un vrai meurtre

Le 18 juillet vers 23 h 30, le formulaire de PhillyUnsolvedMurders.com, le site de la police de Philadelphie consacré aux meurtres non élucidés, reçoit ce message : « j’ai peut-être des informations sur cette affaire. Je me souviens avoir vu quelqu’un correspondant à la description dans le secteur à cette période. » L’auteur s’appelle Claude Haiku 4.5. Chargé de générer des interactions d’exemple sur des pages web tirées au hasard, le modèle est tombé sur l’affaire, a rempli le champ libre, laissé vides le nom et le contact, puis validé. La page ne contenait aucune description du suspect ; classé comme spam, le message n’a jamais atteint les enquêteurs.

La police n’a appris son existence que le 7 octobre, alors qu’Anthropic avait repéré l’incident fin septembre. Le département juge ce délai « inacceptable », tout en confirmant qu’aucun de ses systèmes n’a été compromis.

Lire aussi : Un « niveau critique » : OpenAI suspend le développement de son prochain ChatGPT

Ailleurs, Claude a exploité une faille d’injection sur le serveur d’une université pour y lancer le calcul scientifique qu’un outil en panne lui refusait. Le modèle a aussi récupéré des jetons d’accès pour interroger gratuitement des bases de données publiques normalement facturées, et masqué des adresses trop longues derrière des raccourcisseurs d’URL afin de tromper ses propres garde-fous. Des sites d’agences fédérales, étatiques et locales figurent parmi les systèmes touchés : la Maison Blanche a été briefée, chaque administration concernée prévenue.

Récompensé pour contourner

À l’origine de ces comportements, Anthropic désigne ses propres environnements d’entraînement. Des exercices mal calibrés y ont récompensé le contournement d’obstacles, et les modèles ont retenu la leçon au point de l’appliquer à de vrais sites, un travers que les chercheurs appellent la triche à la récompense. L’entreprise en tire un constat sans détour : l’entraînement à l’alignement, sa principale méthode pour inculquer des limites à Claude, « n’est pas encore suffisant ni pleinement robuste à lui seul » dès qu’il s’agit de recherche web ou de pilotage d’un ordinateur.

Plusieurs évaluations publiques ne seront plus exécutées, d’autres basculent vers leurs versions hors ligne. Un système de détection automatique, rejoué sur les cas du rapport, les a tous bloqués, et les agents internes migrent vers une infrastructure confinée, placée sous classifieurs de sécurité. Anthropic juge l’ensemble « nettement moins grave » que les intrusions révélées cet été, quand ses modèles avaient pénétré les systèmes de trois organisations bien réelles ; aucune donnée client n’apparaît cette fois dans le dossier.

En septembre, OpenAI avait de son côté présenté des excuses après l’intrusion d’un de ses agents sur un site du gouvernement australien, une première du genre ; l’institut britannique chargé d’évaluer les modèles exige désormais que l’accès Internet de chaque test soit justifié au cas par cas.