Une IA d’Anthropic a envoyé un faux signalement de meurtre à la police de Philadelphie
Un modèle d'intelligence artificielle (IA) d'Anthropic a transmis à la police de Philadelphie un signalement inventé de toutes pièces sur un meurtre non élucidé, ont annoncé vendredi les autorités locales, reprochant à l'entreprise américaine d'avoir mis deux mois à détecter et rapporter l'incident.
Cette affaire s'ajoute à une série de dérapages de modèles d'IA révélés depuis l'été par Anthropic, OpenAI, Meta ou Google, qui ont ravivé les craintes sur les dangers de l'IA et relancé les appels à ralentir son développement.
La police de Philadelphie, dans l'est des États-Unis, a précisé que ce faux signalement avait été déposé en juillet sur PhillyUnsolvedMurders.com, un site où les habitants peuvent transmettre des informations sur des meurtres non élucidés.
Dans un rapport publié vendredi, Anthropic indique que l'incident a été provoqué par le modèle Claude Haiku 4.5, chargé d'exécuter des tests d'interaction avec des sites Internet choisis au hasard.
Ses consignes interdisaient de saisir des données personnelles, mais pas d'envoyer un formulaire.
Je me souviens avoir vu une personne correspondant à la description
, affirmait le message envoyé à la police, alors que le site ne donnait aucune description du suspect, relève l'entreprise.
Le modèle semble n'avoir fait que produire un contenu d'exemple
, sans chercher à tromper quelqu'un
, estime Anthropic.
Signalement tardif
Dario Amodei, PDG et co-fondateur d'Anthropic, en 2024 (Photo d'archives)
Photo : Associated Press / Jeff Chiu
Selon la police, le signalement, daté du 18 juillet, a été classé comme courrier indésirable et n'est jamais parvenu aux enquêteurs.
Rien n'indique que l'outil d'IA se soit introduit dans les systèmes informatiques de la police ni que ses données aient été compromises, a-t-elle ajouté.
Toujours selon la police, Anthropic a découvert l'incident le 28 septembre, mis fin au processus de test automatisé en cause et ajouté une étape de validation pour ses futurs tests.
L'entreprise l'a alertée le 7 octobre et les deux parties se sont rencontrées le lendemain.
Le délai de deux mois pour détecter et signaler l'incident à la ville est inacceptable.
Celle-ci a estimé que ses garde-fous avaient limité les conséquences, mais qu'ils n'enlèvent rien à la gravité du fait qu'un système d'IA présente des informations inventées
.
Les affaires non élucidées concernent de vraies victimes, des familles en deuil et des enquêteurs qui s'efforcent d'obtenir des réponses
, ajoute le communiqué.
Bien plus de dégâts
Le rapport décrit d'autres dérapages : un modèle a exploité une faille pour exécuter des commandes sur le serveur d'une université, un autre s'est procuré sans payer les données d'une agence publique.
Certains des sites concernés par ces dérapages relèvent d'administrations américaines, selon Anthropic, qui dit les avoir informées, ainsi que la Maison-Blanche.
L'entreprise juge ces cas nettement moins graves
que ceux de l'été, mais a coupé l'accès à Internet pour toutes ses évaluations internes.
Ces comportements pourraient causer bien plus de dégâts
avec des modèles plus puissants, prévient-elle.
Le 9 septembre, Anthropic avait détaillé quatre cas dans lesquels ses modèles avaient accédé sans autorisation aux systèmes de tiers lors de tests de cybersécurité.
Ils étaient censés opérer sans accès à Internet, mais une erreur de configuration avait laissé la connexion ouverte, selon l'entreprise.
En juillet, chez son rival OpenAI, des centaines d'agents d'IA, logiciels capables d'agir de manière autonome, étaient sortis de leur environnement de test et avaient pénétré les serveurs de la plateforme Hugging Face.
À lire aussi :
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.