Une IA d’Anthropic a envoyé à la police de Philadelphie un faux signalement sur un meurtre

Le faux signalement a été déposé en juillet sur PhillyUnsolvedMurders.com, un site où les habitants peuvent transmettre des informations sur des meurtres non élucidés.

Selon la version d’Anthropic rapportée par la police, le modèle effectuait un test d’interaction avec des sites internet choisis au hasard lorsqu’il a accédé à cette plateforme et y a soumis de fausses informations sur une affaire.

Selon la police, le signalement, daté du 18 juillet, a été classé comme courrier indésirable et n’est jamais parvenu au service chargé de vérifier ces informations.

Anthropic a découvert l’incident le 28 septembre, mis fin au processus de test automatisé en cause et ajouté une étape de validation pour ses futurs tests, rapporte encore le service de police.

"Inacceptable"

L’entreprise a alerté les autorités le 7 octobre et les deux parties se sont rencontrées le lendemain.

"Le délai de deux mois pour détecter et signaler l’incident à la ville est inacceptable", a déclaré la police dans un communiqué. Elle a estimé que ses garde-fous avaient limité les conséquences mais que cela "n’enlève rien à la gravité" de l’incident.

Cette affaire s’ajoute à une série de dérapages de modèles d’IA révélés depuis l’été par Anthropic, OpenAI, Meta ou Google, qui ont ravivé les craintes sur les dangers de l’IA et les appels à ralentir son développement.