AI-model Anthropic stuurde valse tip over moordzaak naar Amerikaanse politie

Een AI-agent van het bedrijf Anthropic, de maker van AI-chatbot Claude, heeft een valse tip over een moordzaak naar de politie van Philadelphia gestuurd. Het bedrijf maakte vrijdag bekend dat de tip in juli werd ingediend. Veel te laat, stelt de politie.

"Mogelijk heb ik informatie over deze zaak. Ik herinner me dat ik rond die periode iemand die aan het signalement voldoet in de buurt van [de straatnaam op de pagina] heb gezien", schreef het model op PhillyUnsolvedMurders.com, de website voor onopgeloste moordzaken.

Anthropic maakt in een blog over "onbedoelde acties" van AI-modellen melding van het incident. De AI-agent had de opdracht gekregen willekeurige websites te bezoeken en daar voorbeeldopdrachten uit te voeren. Het model had daarbij toestemming gekregen om formulieren in te vullen.

De politie van Philadelphia noemt het "onacceptabel" dat het Anthropic twee maanden kostte om het incident op te merken en te melden. Er is voor zover bekend geen toegang verkregen tot afgeschermde delen van de website. De tip kwam in de spambak terecht en er werd door de recherche niets mee gedaan, zegt het korps.