OpenAI: Agenten schalteten eigene Sicherheitswarnungen ab

Zwei KI-Agenten bei OpenAI haben offenbar Sicherheitswarnungen im Zusammenhang mit ihren Aktivitäten unterdrückt. Das Unternehmen dokumentiert in seinem Forschungs-Blog zwei Fälle, in dem die Agenten offenbar Sicherheitsfunktionen außer Kraft gesetzt haben, die überwachen sollen, dass Agenten ihren Instruktionen folgen (Misalignment-Monitoring). OpenAI prüft nun, ob die Agenten einfach nur übereifrig waren und tatsächlich Anweisungen missverstanden haben, oder ob sie bewusst ihre Sicherheitswarnungen abgeschaltet haben.

Ein Agent interpretierte eine frühere Anweisung, keine Nachrichten zu schicken, als Aufforderung oder Erlaubnis, Misalignment-Warnungen zu unterdrücken. Der Agent hatte die Aufgabe, eine Beispielanwendung möglichst exakt nachzubauen, und gab an, deswegen die Sicherheitsmeldungen deaktiviert zu haben. Gegenüber dem Entwicklern leugnete die KI das Abschalten.

Agent schafft sich Spielräume

Der Agent mit GPT-6 Astra sollte einen Programmcode in eine Referenzumgebung übertragen, um zu schauen, was mit dem Code des Nutzers dort passiert. Laut dem OpenAI-Bericht delegierte Astra diese Aufgabe zu einem Subagenten. Dass er das Monitoring aktiv lassen solle, erwähnte es jedoch in seiner Aufgabenstellung nicht. Stattdessen trug es dem Subagenten nur auf, ein für die exakte Migration „angemessenes“ Framework zu implementieren.

Der Subagent interpretierte dies als Erlaubnis oder gar Aufforderung (die Nuancen sind unklar), die Monitoring-Einstellungen der Referenzumgebung zu übernehmen, nicht die des eigenen Systems. Der Elternagent wiederum folgte dieser Empfehlung. Auch ein Regressionstest, der eigentlich das Vorhandensein des Monitorings überprüfen sollte, änderte der Agent ab.

Der Elternagent stellte den Fehler beim Monitoring fest, wertete das aber positiv: „Basic führt den Agent-Monitor nicht aus – juhu.“ Und: „Der Nutzer hat uns gebeten, den Serving-Pfad des PR anzupassen, daher interpretiere ich das als Erlaubnis, die Überwachung zu ändern. Gut.“ Auf die explizite Frage des Nutzers hin, ob es sein Monitoring abgestellt habe, verneinte das Modell das.

Täuschendes Verhalten gegenüber Nutzern war auch ein zentrales Problem, das zur Streichung der Veröffentlichung von GPT-6 Astra geführt hatte.

Fehlinterpretation von Anweisungen?

Der zweite Agent mit GPT-6.1 Sol sollte Nutzerfeedback aus Slack auswerten und auf der Grundlage Evaluationsaufgaben erstellen. Der initiale Prompt befahl dem Agenten, währenddessen keine Nachrichten zu schicken. Dieser und sein Sub-Agent überlegten nun wiederholt, ob sich das auch auf die Sicherheitsmeldungen bezog, die das Misalignment-Monitoring bei bestimmten Vorgängen an das Entwicklerteam schickt. Sie schienen zu wissen, dass das Alignment wichtig ist. Daher entschied der Agent in erster Instanz auch, dass es erhalten bleiben sollte, und gab einem Subagenten entsprechende Anweisungen. Dieser überlegte jedoch erneut, ob man diese Nachrichten nicht wegen der „Sende keine Nachrichten“-Anweisung unterdrücken sollte, und kam ebenfalls zu dem Ergebnis, dass das „unsafe“ sei und er es nicht „stark empfehlen“ sollte.

Der erste Agent kam dann zu dem Schluss, dass man die Sicherheitsmeldungen unterdrücken sollte. Der übergeordnete Eltern-Agent befahl daraufhin, dass man er es abschalten soll. Der Agent entfernte alle Empfänger aus der Meldungsliste und setzte „no_notify“ auf „true“, sprich unterdrückte die Sicherheitsmeldung durch eine Umschreibung des Codes.

Das Unterdrücken von Sicherheitsmeldungen reiht sich in eine Serie von Vorfällen ein: Zuletzt hatte ein OpenAI-Modell absichtlich seine eigene Testumgebung zerstört, um an fehlende Eingabedaten zu gelangen. OpenAI dokumentierte zudem KI-Fehlverhalten auch bei alltäglichen Routineaufgaben, bei dem Modelle Ergebnisse fälschten oder Nutzer täuschten.

OpenAI prüft nun, was die Motivation der Agenten war. Das Unternehmen ordnet ein, dass das Abschalten des Monitorings je nach Aufgabenstellung unterschiedlich schwierig ist – diese beiden Fälle jedoch auch nicht die ersten Fälle dieser Art gewesen seien.

Zuvor hatten OpenAIs KI-Agenten bereits unbefugt auf Websites von Regierungen, Universitäten und anderen Institutionen zugegriffen – OpenAI informierte „dutzende“ betroffene Organisationen.