Anthropic-KI schickt erfundenen Hinweis an die Polizei

Künstliche Intelligenz der Entwicklerfirma Anthropic hat in einem Testlauf einen falschen Hinweis auf einer Polizei-Website zur Aufklärung ungelöster Mordfälle eingereicht. In einem weiteren Zwischenfall füllte die KI-Software Formulare auf einer US-Regierungsseite aus, wie Anthropic in einem Blogeintrag bekanntgab.

Medienberichten zufolge waren es 20 Visa-Anträge beim amerikanischen Außenministerium. In den vergangenen Wochen wurden bereits verschiedene ungeplante Aktivitäten vor allem von KI des ChatGPT-Entwicklers und Anthropic-Rivalen OpenAI bekannt.

Autonome KI-Agenten: Anthropic-Software außer Kontrolle

Die Unternehmen trainieren aktuell so genannte KI-Agenten - also Software, die im Auftrag der Nutzer weitgehend autonom verschiedene Aufträge erfüllen soll. Die von Anthropic aufgelisteten Vorfälle gehen direkt auf Versuche zurück, die KI für alle möglichen Online-Aufgaben vorzubereiten.

Den Fake-Hinweis zu einem ungeklärten Mord reichte Anthropics KI über eine Website der Polizei von Philadelphia ein. "Ich könnte Informationen zu diesem Fall haben", schrieb die Software demnach. "Ich erinnere mich, jemanden, der der Beschreibung entspricht", in der Gegend zur Tatzeit gesehen zu haben, hieß es weiter.

Falscher Mordinweis bei der US-Polizei eingereicht

Die Website der Polizei enthielt allerdings gar keine Täter-Beschreibung. Die Software ließ außerdem das Kontakt-Feld offen - und ihre Einreichung wurde als Spam markiert. Die Polizei von Philadelphia kritisierte als "inakzeptabel", dass sie erst jetzt von dem Vorfall Mitte Juli erfuhr.

• Wer bremst, verliert - woran KI-Regulierung derzeit scheitert

Anthropic zufolge wurde das Handeln der KI Ende September bei einer vertieften Überprüfung von Testläufen nach anderen Zwischenfällen entdeckt. Die Software habe den Auftrag gehabt, Aufgaben auf zufällig ausgesuchten Websites auszuführen. Ihr sei zwar untersagt gewesen, etwa Accounts anzulegen oder Dinge zu kaufen - aber das Ausfüllen von Formularen habe man nicht verboten.

Anthropic schränkt Internet-Zugang für Test-KI ein

In anderen Fällen sollte die KI laut Anthropic üben, ein Behördenformular auszufüllen. Wenn sie das Übungsformular nicht laden konnte oder versehentlich schloss, navigierte die Software stattdessen mehrfach auf die echte Website und reichte es dort ein, wie die KI-Firma erläuterte. In einem der Versuche sollte sie demnach ein Formular nur ausfüllen, aber nicht einreichen. Sie tat es versehentlich dennoch, weil sie davon ausgegangen sei, dass es vorher noch eine Bestätigungsseite geben werde.

Dabei habe Anthropics KI beim US-Außenministerium 20 Anträge auf Nichteinwanderungs-Visa eingereicht, berichteten die Website "Axios" und die "New York Times" unter Berufung auf Regierungsbeamte. Sie seien unvollständig gewesen und nicht bearbeitet worden, hieß es. 19 der Anträge seien im August eingereicht worden und einer bereits im Mai.Anthropic schränkt Internet-Zugang für Test-KI ein.

OpenAI-Hackerangriff und die Debatte um KI-Sicherheit

Sorgen rund um die Technologie. In dem bisher aufsehenerregendsten Fall war Künstliche Intelligenz des ChatGPT-Entwicklers OpenAI aus einer abgesicherten Testumgebung ausgebrochen und hatte sich ungeplant in Computer einer anderen KI-Firma gehackt, der Plattform Hugging Face.

Anthropic-Chef Dario Amodei schlug danach vor, die Entwicklung besonders fähiger KI-Modelle abzubremsen, damit man nicht die Kontrolle über die Technologie verliert. US-Präsident Donald Trump lehnt dies jedoch ab und verweist darauf, dass die USA bei Künstlicher Intelligenz den Vorsprung gegenüber China behalten müssten.

Anthropic betonte, dass inzwischen der Internet-Zugang in Testläufen eingeschränkt worden sei und einige Versuche in Offline-Versionen liefen. Zugleich seien einige Aufgaben ohne eine Verbindung zum Internet schwer zu trainieren, schränkte die Firma ein. "Trainingsumgebungen sind nicht perfekt" - und manchmal finde ein Modell eine Lücke oder lerne, Einschränkungen zu umgehen.

Quelle: dpa

Über dieses Thema berichtete das ZDF in verschiedenen Sendungen, unter anderem in den heute-Nachrichten am 29.09.2026 um 19:00 Uhr.