heise+ | Wie verkettete Aktionen zum Risiko werden: Stille Post bei KI-Agenten

Ein KI-Agent, der auf einem Arbeitsplatzrechner läuft, agiert mit den Rechten seines Benutzers. Das ist notwendig, damit er für den Benutzer hilfreich ist. Dennoch tut er manchmal Dinge, die „nicht so gemeint“ waren. Denn zwischen dem, was ein Mensch meint, und dem, was er sagt, liegt ein Spielraum, den ein nicht deterministisches System problemlos überbrücken kann. Die Schutzmechanismen überprüfen nur einzelne Vorgänge. Der Schaden entsteht aber oft erst durch die Kombination mehrerer Aktionen.

• Einzelne Aktionen, die KI-Agenten auf den Geräten von Nutzern und mit deren Rechten ausführen, sind in der Regel durch angemessene Schutzmechanismen, etwa eingeschränkte Freigaben oder Sandboxes, gut beherrschbar.
• Oft erfordert die Lösung eines Problems jedoch eine Kombination von Aktionen – und durch diese Verkettung kann Schaden entstehen, denn die Schutzmechanismen kontrollieren nur einzelne Aktionen, keine Abfolge.
• Anders als Menschen hören Agenten nicht beim ersten Hindernis auf, ihre Anweisungen zu befolgen. Vielmehr werden sie kreativ und schöpfen alle Möglichkeiten aus, um an die nötigen Rechte zu kommen – was oft über Umwege gelingt, an die kein Nutzer denkt.
• Die Entscheidung, welche Rechte ein Agent erhält, will wohlüberlegt sein. Ebenso die Frage, ob es Dauerfreigaben geben sollte oder nicht besser ein festgelegtes Ablaufdatum und einen Geltungsbereich.

Geht es um Agenten, so sind zwei klare Fälle zu unterscheiden, die oft vermischt werden. Einerseits gibt es das orchestrierte Multiagentensystem im Backend (Agentic), eine Sammlung von Diensten, die über definierte Protokolle kommunizieren und in einer kontrollierten Umgebung betrieben werden. Solche Systeme profitieren von Sicherheitsmerkmalen wie Serviceidentitäten, Netzwerksegmentierung, Protokollierung und Zugriffsbeschränkungen, die von ihrer Infrastruktur bereitgestellt werden. Wenn man an den Betrieb von Microservices denkt, liegt man richtig, da die verwendeten Werkzeuge in der Regel auf diesen Prinzipien basieren.

Andererseits gibt es den Allzweckagenten auf dem Endgerät. Er hat keine Laufzeitumgebung, in die er eingebettet ist, er ist die Umgebung des Benutzers. Er liest und schreibt im Home-Verzeichnis, startet Prozesse, öffnet Netzwerkverbindungen und verwendet die gleichen Zugangsdaten wie der Benutzer vor dem Bildschirm. In diesem Szenario sind Backend-Maßnahmen nicht nur schwer umsetzbar, sondern weitgehend sinnlos. Ein Backend-Dienst etwa lässt sich segmentieren. Doch was per Design vollen Zugriff auf den Arbeitsplatz hat, lässt sich kaum sinnvoll segmentieren.