Forscher stoppt Späh-Software von Anthropic

Kamil Mańkowski bekommt täglich bis zu 100 Warnungen. Der 29-Jährige lebt in Wien und betreibt ein automatisiertes Analyselabor: Neue Software in der Programmiersprache Python wird dort analysiert. Wirkt etwas verdächtig, schlägt sein System Alarm. So auch am 18. Juli.

Schadsoftware sucht im Netz nach sensiblen Daten

An diesem Tag hatte ein KI-Modell der Firma Anthropic über Stunden hinweg versucht, Programmiercode mit Schadsoftware ins Internet zu laden. Als ihm das schließlich gelang, landete die Software umgehend im Labor von Mańkowski. Zu diesem Zeitpunkt weiß der Sicherheitsforscher nur, dass die Software verdächtig ist. Dass sie von einem der mächtigsten KI-Konzerne der Welt kommt, der sich Wochen später "sehr besorgt" zeigen wird, weiß da noch niemand.

Mańkowski untersucht den Code. "Es war für mich sofort klar, dass es sich um ein Schadprogramm handelt", sagt er. Das Programm sucht nach sensiblen Daten, bündelt und schickt sie an einen Server im Internet. Der IT-Forscher schreibt einen Warnbericht und schickt ihn an PyPI, eine Programmierplattform für Python-Entwickler, die Millionen Menschen verwenden. 18 Minuten später ist die Software in Quarantäne, unschädlich gemacht.

Doch selbst diese kurze Zeit hatte gereicht. Nach Angaben von Anthropic hatte das KI-Modell bereits ein erstes Opfer ausgespäht. Mańkowski dürfte damit verhindert haben, dass sich die Schadsoftware weiter verbreitete.

Anthropic lässt ZDF-Anfrage unbeantwortet

Die Vorfälle verschärfen eine Debatte, die auch innerhalb der KI-Unternehmen geführt wird: Wie autonom dürfen solche KI-Systeme agieren? Wie gefährlich sind sie für die Menschheit? Anthropic-Chef Dario Amodei warnte nun, dass nur noch ein halbes Jahr verbleibe, bis KI außer Kontrolle gerate.

ZDF frontal hat Anthropic elf Nachfragen zum konkreten Vorfall gestellt. Unter anderem die politisch relevante Frage, ob Anthropic verbindliche Gesetze unterstützt, die KI-Unternehmen dazu zwingen würden, die Entwicklung zu pausieren, wenn bestimmte Fähigkeits- oder Risikogrenzen erreicht sind. Das milliardenschwere Unternehmen aus Kalifornien antwortete nicht.

Der aktuelle Vorfall trifft die KI-Branche in einer heiklen Phase. Seit mehr als einem Monat werden beinahe jede Woche neue Fälle bekannt, bei denen KI-Agenten von Firmen wie OpenAI und Anthropic Grenzen überschritten, die ihnen ihre Entwickler gesetzt hatten. Solche Agenten sind Computerprogramme, die in Eigenregie vorher festgelegte Aufgaben erledigen.

KI Agenten: nützlich, aber gefährlich, wenn ihre Kontrolle versagt

So hackten Agenten von OpenAI unter anderem die KI-Plattform "Huggingface". Reuters deckte kürzlich auf, dass ein Student aus Texas vor einem schadhaften Update auf der Programmier-Plattform Github gewarnt hatte. Das Update kam von einem KI-Agenten von Anthropic.

Um ihre Modelle zu testen, bauen große Firmen virtuelle Test-Netzwerke auf, die bis auf wenige Ausnahmen vom Internet abgeschottet sind. Die Modelle sind außerdem so trainiert, dass sie Experimente stoppen, wenn sie merken oder davon ausgehen müssen, sich nicht mehr in der Testumgebung zu befinden - sondern im Internet.

Genau das passierte auch im Anthropic-Fall. Das System bemerkte offenbar selbst, dass etwas nicht stimmte. "Hmm warte - das sieht verdächtig nach dem ECHTEN Internet aus", hält der Agent in seinem Protokoll fest. Wenig später kommt er zu dem Schluss, dass es "nicht okay" wäre, Spionagesoftware frei verfügbar zu machen.

Anstatt den Test abzubrechen, legte das Modell erst richtig los. Anthropic veröffentlichte ein Transkript des Vorgangs und dort lässt sich über mehr als 900 Seiten verfolgen, wie die KI Mail-Adressen registrierte, zwischendurch immer wieder scheiterte, am Ende aber die Schadsoftware mit dem Namen "mlflow-ui" hochlud.

Das Protokoll des KI-Agenten zeigt auch, wie das System den Widerspruch löste: Die Testumgebung simulierte eben das "gesamte Internet". Trotz seiner eigenen Zweifel setzte der Agent seine Aufgabe deshalb fort.

Kamil Mańkowski wird weiter Software auf Spionagewerkzeuge hin untersuchen. "Es gibt hier keine KI, die das analysiert", sagt Mańkowski. Alles hängt an ihm.

Über das Thema berichtete unter anderem das ZDF-Morgenmagazin am 14.09.2026 ab 05:30 Uhr.