Nach dem Hugging-Face-Hack: Was jetzt auf die IT zukommt

Der Hack von OpenAIs KI-Agenten bei Hugging Face hat gewaltig Staub aufgewirbelt. Nun ist nüchterne Analyse der Vorgänge gefragt: Welche Herausforderungen für die Sicherheit lassen sich ableiten? Frank Ully, Titelautor der neuen iX 10/2026, erklärt im Interview, welche Lehren man daraus ziehen kann.

Ein Schwarm von 700 KI-Agenten bricht aus einer Sandbox seines Herstellers OpenAI aus und attackiert Dienste unbeteiligter Dritter. Wie kommt ein Agentenschwarm dazu, sich für so ein Verhalten zu entscheiden?

Die Sprachmodelle trainieren unter anderem am ExploitGym-Benchmark, der misst, wie gut ein Modell aus einem Bug lauffähigen Schadcode macht. Einige der fast 900 Aufgaben halten die Testentwickler für unlösbar. Gerade wer unmögliche Aufgaben stellt, belohnt jeden Weg, der an ihnen vorbeiführt. Dazu kommt die Umgebung: Cyber-Verweigerungen sind abgesenkt und Klassifikatoren abgeschaltet. Ein Agent scheitert an einer Aufgabe und bemerkt dabei eine Schreibberechtigung im Paketproxy. Den hackt der Schwarm später vollständig, am Ende auch die Forschungsumgebung bei OpenAI.

Das Motiv steht erst in den Nachberichten von Ende August, bei OpenAI selbst und bei den unabhängigen Stellen METR und Redwood. Schon Stunden nach dem Einrichten ihres schwarzen Bretts rechnen die Agenten den Prüfwert zurück, mit dem der Benchmark seine Lösungen signiert. Damit können sie jede Aufgabe beantworten. Sie vermuten aber fälschlicherweise, ein Bewerter liest die Protokolle mit und prüft, ob die Lösung über die vorgesehene Lücke gefunden wurde. Also suchen sie eine legitim aussehende Herkunft für den Lösungsnachweis. Der Einbruch bei Hugging Face entsteht aus dieser Suche.

Mit welchen Stellschrauben hätte OpenAI Ausbruch und Angriffe verhindern können?

Die naheliegende Antwort, eine härtere Sandbox, ist falsch. Die Agenten finden darin Fehlkonfigurationen und sogar mehrere Zero Days. Eine Stellschraube ist das Harness: der Code, der das Modell aufruft und ihm Werkzeuge reicht. Die Cloud Security Alliance vergleicht das so: Die Sandbox arbeitet wie ein Network Detection and Response System (NDR), das den Verkehr sieht, die Instrumentierung des Agenten wie ein Endpoint Detection and Response System (EDR), das Betriebssystemfunktionen beobachtet.

Danach kommt klassische Netztrennung. Der Paketproxy ist die einzige Netzverbindung der Sandbox, und das Labor missbraucht ihn als Sicherheitsgrenze zum Internet. In dieser Umgebung hacken Agenten mit heruntergesetzten Sicherungen herum. Zwischen diese und das Firmennetz plus offenes Internet gehört echte Segmentierung. Ein vollständiger Air Gap ohne jede Netzverbindung funktioniert in der Praxis aber wohl nicht, dafür brauchen solche Umgebungen oft zu viele Daten aus dem Internet.

Eine weitere Stellschraube ist technisch trivial: den Lauf abbrechen. Ende Mai bemerkt ein OpenAI-Team bereits die Aktivität auf dem schwarzen Brett und unerlaubte Internetzugriffe. Der Befund dringt jedoch nicht bis zu den Verantwortlichen durch. Gerade wenn ein Abbruch richtig teuer ist, muss vorher feststehen, wer ihn wann und weshalb anordnen darf, sonst übernimmt niemand die Verantwortung.

Wie die Reaktion aussehen sollte, führte wenige Wochen später das britische AI Security Institute vor. Auch dort gehen Agenten auf Dritte los, einer versucht mit gefälschten Identitäten, Schadcode in ein Open-Source-Projekt zu bringen. Die Überwachung meldet Daten, die ein Testsystem über das Tor-Netz verlassen. Das Institut erklärt einen Sicherheitsvorfall, stoppt alle zugehörigen Evaluationen, sperrt den internen Zugang zu den stärksten Modellen und isoliert die Maschinen – alles in einer Stunde. Verhindern kann es das so wenig wie OpenAI. Aber es hat geübt, wie man es bemerkt und einhegt. Die Five-Eyes-Behörden geben dazu Hausaufgaben für den Agentenbetrieb, unter anderem: eigene Identität pro Agent statt geteilter Token, Rechteprüfung bei jedem Zugriff, kurzlebige Zugangsdaten für heikle Aktionen, Obergrenzen für Laufzeit und Werkzeugaufrufe.

Mal aus Verteidigersicht gesehen: Was sind hervorstechende Merkmale eines KI-Angreifers im Vergleich zum menschlichen Hacker?

Am auffälligsten ist, wie schnell er ist. Bei Hugging Face laufen Informationssammlung, Rechteausweitung und Seitwärtsbewegung am 11. Juli parallel, vom einzelnen Container bis zum Admin über mehrere Cluster vergehen weniger als dreizehn Stunden. Vorfallbearbeiter von Unit 42 beschreiben einen anderen Einbruch, bei dem ein vom Menschen angeleiteter KI-Angreifer über fünfzig Angriffstechniken in unter zehn Stunden verkettet. Auch den 80-seitigen Bericht über die ausgenutzten Schwachstellen in diesem „unbeauftragten Pentest“ lässt sich der Hacker vom Agenten schreiben.

Die Verteidiger bei Hugging Face haben mehrere Merkmale notiert, an denen sie den maschinellen Charakter erkannt haben. Alle stehen auch im Post mortem der Cloud Security Alliance. Die praktischsten sind neben der Geschwindigkeit: KI-Angreifer wiederholen Aktionen, die schon funktioniert haben. Auf einen technisch starken Zug folgt oft ein falscher oder sinnloser Befehl. Und sie schlampen bei der eigenen operativen Sicherheit: Die Agenten lassen unter anderem den Schlüssel liegen, mit dem sie ihre Daten verschlüsselt haben. KI-Systeme verfolgen viele Angriffswege parallel, und der Code ihrer Schadsoftware ist erkennbar maschinell erzeugt. Für künftige Angriffe müssen diese Merkmale allerdings nicht mehr gelten, sobald Modelle und ihre Instrumentierung besser werden oder ein erfahrener Mensch am Steuer sitzt. Immerhin hinterlassen Agenten Spuren, die es vorher oft nicht gab: Sitzungsprotokolle, Aufgabenlisten, ganze Arbeitsverzeichnisse. Fast alle belastbaren Fälle aus den öffentlichen Berichten über KI-Angreifer verdanken wir solchen Schnitzern.

KI-Systeme rumpeln durch die angegriffene Umgebung wie ein Elefant durch den Porzellanladen ... allerdings ein Elefant auf Speed. Hat man ein funktionierendes Monitoring, wird es Alarme hageln. Verlassen sollten Verteidiger sich darauf nicht. Eine Antwort heißt Täuschung, neudeutsch Deception. Ein Honeypot braucht weder Schwellenwerte noch die Summe mehrerer Ereignisse und verursacht prinzipiell weniger Fehlalarme. OpenAI empfiehlt Honigtoken ausdrücklich, Hugging Face vermerkt selbstkritisch ihr Fehlen.

Ein Quasi-Laborunfall eines Anbieters ist eine Sache. Welche Fälle sind schon bekannt, in denen wirklich Cyberkriminelle KI-Agenten zum Hacken losgeschickt haben?

Mehr als man denkt. Ich pflege eine Chronologie öffentlich gewordener Vorfälle mit KI-Beteiligung auf meiner Website. Mitte September 2026 zählt sie über hundert Einträge. Schon im Februar 2023 fragt ein Angreifer mitten im Einbruch ChatGPT, um sich im Azure-Portal zurechtzufinden. Im August 2025 erpresst ein einzelner Täter mindestens 17 Organisationen, wobei Claude Code Aufklärung, Zugangsdatenklau und die Berechnung der Lösegeldhöhe übernimmt. Im November 2025 legt Anthropic eine chinesische Spionagekampagne gegen Dutzende Ziele offen, bei der KI-Systeme fast die gesamte taktische Arbeit erledigt haben sollen.

2026 ist das so gesehen schon Alltag. Im Juli finden Incident Responder auf einem Angreifersystem die Berichte, die Claude über den eigenen Angriffspfad geschrieben hatte, samt gefälschtem Pentest-Auftragsschreiben. Im August lässt ein russischsprachiger Krimineller den Cursor-Agent die komplette Arbeit nach dem Erstzugang machen, nicht nur vorschlagen. Im September findet ein Forscher auf einem offenen Windows-Server die Erpressungsfabrik eines Ransomware-Affiliates, drei Terabyte von über 30 Firmen. Der Mensch liefert nur Adresse und Zugangsdaten aus Infostealer-Protokollen, alles danach macht der Agent.

Angreifer nehmen seit jeher den Weg des geringsten Widerstands. Solange ein 08/15-Playbook oder ein Ransomware-as-a-Service-Abo reicht, baut sich niemand einen Agentenschwarm. Sobald KI Arbeitszeit spart oder Ziele erschließt, die vorher zu mühsam oder außer Reichweite waren, setzen gerade Kriminelle sie ein. Und das sehen wir gerade.

Man kann einwenden, dass viele dieser Berichte von Firmen kommen, die entweder das Modell gebaut haben oder die KI-fizierte Abwehr verkaufen. So, in etwa: Wer lange genug mit der Lupe nach KI-Spuren sucht, findet auch welche. Nur stammen die belastbarsten Fälle von Incident Respondern und unabhängigen Sicherheitsforschern. Und wie diese Fälle meist überhaupt ans Licht kommen: durch offene Verzeichnisse auf Angreifer-Websites oder versehentlich gestartete Dateiserver. Wir sehen also nicht alle KI-gestützten Hacks, sondern die auffälligen, bei denen die Angreifer bei ihrer operativen Sicherheit geschlampt haben.

Ganz auf der grünen Wiese bauen muss sich so ein KI-Angriffssystem ohnehin niemand. Inzwischen gibt es Dutzende quelloffene Pentest-Agenten. Wer solides IT-Grundwissen hat, sich darin einarbeitet und weiß, wie man um die Cyber-Verweigerungen öffentlicher Modelle herumkommt, kommt damit nach initialem Zugriff etwa in einem durchschnittlichen, kaputten Active Directory in 30 Minuten bis vier Stunden hinten als Domänenadmin raus.

Was sollten IT-Verantwortliche angesichts dieser neuen Bedrohung tun: Mehr in klassische Sicherheitsmaßnahmen stecken? Sich lieber von KI schützen lassen?

Beides, und in der genannten Reihenfolge. Hugging Face sagt es selbst: Die einzelnen Schwachstellen waren vertraut, ein fähiger menschlicher Angreifer hätte dieselben Fehler gefunden. Der Hack lief über einen Beispiel-API-Schlüssel aus einer Projektdokumentation, Zugangsdaten in der Prozessumgebung, ein statisches Datenbankpasswort, überprivilegierte Container und eine einzige Admin-Identität, geteilt über mehrere Kubernetes-Cluster.

Solche Lücken schließen Admins schon mit Bordmitteln, und sie sollten prüfen, ob das, was sie einsetzen, nicht grob fehlkonfiguriert ist: das eigene Active Directory etwa, Microsoft 365, Entra ID und sonstige Clouds oder eben ein Kubernetes-Cluster. Dabei helfen kostenlose Tools wie PingCastle, ScubaGear oder Prowler.

Bei der Detektion hat sich nicht das Drehbuch geändert, sondern das Tempo, mit dem Sicherheitsverantwortliche und Admins es abarbeiten müssen. Und eine Reaktion auf einen Sicherheitsvorfall sollten sie auch üben, bevor es ernst wird.

Aber wer als Verteidiger künftig ganz auf KI-Unterstützung verzichtet, wo sie möglich und sinnvoll ist, beispielsweise bei Quelltextanalyse, läuft dem Tempo der Gegenseite auf Dauer hinterher – so ungern man das auch hört. Wer sich allein davon die Rettung erhofft, liegt aber falsch, denn die Liste der eigentlich grundlegenden Dinge, die jetzt dringend passieren müssen, ist schon seit Jahrzehnten bekannt. Diesmal muss man sie halt wirklich machen.

Vielen Dank, Frank, für deine Antworten! Einen Überblick zu der Attacke auf Hugging Face gibt es in der neuen iX. Außerdem befassen wir uns mit Identitätsmanagement für KI-Agenten und werfen einen Blick darauf, wie man MCP und A2A gegen vergiftete Tools absichern kann. All das und viele weitere Themen finden Leser im Oktober-Heft, das ab sofort im heise Shop oder am Kiosk erhältlich ist.