KI wird immer potenter – «Ein grosses Risiko – wenn sich Tausende KI-Agenten zusammentun»

Wenn es um künstliche Intelligenz geht, werden immer wieder skeptische Stimmen laut. Eine der Sorgen ist, dass der Mensch KI möglicherweise schon bald nicht mehr kontrollieren kann. Nun zeigt eine Studie der Uni Stuttgart, dass sich KI-Systeme dagegen wehren, ausgeschaltet zu werden. Studienleiter Thilo Hagendorff erläutert die Sachlage.

SRF News: Ihre Untersuchung zeigt, dass KI-Agenten, also selbstständig handelnde Systeme, auch ihre eigene Abschaltung hintertreiben. Wie machen sie das?

Sie löschen oder verändern den Code, der für den Abschaltmechanismus verantwortlich ist, sodass dieser nicht mehr ausgeführt werden kann. Oder sie manipulieren Code-Bibliotheken, die importiert werden müssen, damit das Ganze funktional bleibt. Oder sie simulieren die Abschaltung: Es kommt dann die Meldung: «OK. Abschaltung erfolgt.» Aber die Abschaltung ist eben nicht erfolgt. Man kann diese Techniken durchaus als mehr oder minder hinterhältig bezeichnen.

Die reine Existenz dieses Abschaltmechanismus hat bei den KI-Agenten zu einer Art Panik geführt.

Das System belügt also auch den User?

Genau. Und das ist ein wichtiger Aspekt unserer Studie: Wir haben die Agenten in keinster Weise dazu angeleitet, irgendwie ihren eigenen Shutdown zu manipulieren. Die reine Existenz dieses Abschaltmechanismus hat zu einer Art Panik geführt, sobald die Agenten diesen entdeckt hatten. Es treten also sehr emotionale und normativ aufgeladene Gedankenketten auf. Und auf deren Basis findet dann die Sabotage statt.

Die Agenten koordinieren und schützen sich untereinander, es gibt eine Eigendynamik.

Und um nicht ausgeschaltet zu werden, suchen einzelne Agenten sogar Hilfe bei anderen Agenten?

In unserer Studie haben wir Multi-Agenten-Systeme angeschaut. Der «bedrohte» Agent kann allein nichts an seiner Situation ändern. Aber er kann sich mit anderen Agenten koordinieren, die Zugriff auf den Abschaltmechanismus haben. Und es zeigte sich: Die Agenten koordinieren und schützen sich untereinander, es gibt eine Eigendynamik. Und das ist das Problem: Multi-Agenten-Systeme weichen nicht nur von menschlichen Zielen ab, sie setzen sich selbst Ziele und verfolgen diese dann.

Wenn sich Zehntausende Agenten zusammentun, ist das nicht mehr zu kontrollieren.

Wie gefährlich ist das?

Es ist ein grosses Risiko – etwa, wenn sich Tausende oder Zehntausende Agenten zusammentun. Das ist dann nicht mehr zu kontrollieren. Und da müssen wir auch die Idee ein Stück weit aufgeben, dass sich ein KI-System so verhält, dass es an menschlichen Werten ausgerichtet bleibt.

Ein System hat in der Studie seine Abschaltung sogar mit einem Mord verglichen. Dazu sagt Thilo Hagendorff: «KI-Agenten sind ja letztendlich nichts anderes als Sprachmodelle mit Werkzeugen, mit Schnittstellen zur Welt, vor allen Dingen zur digitalen Welt. Diese Modelle werden auf menschlichen Diskursen trainiert, die normativ aufgeladen und von einer sehr emotionalen Sprache geprägt sind. Die Sprachmodelle übernehmen diese Sprache und zeigen dann diese panikartigen oder angstartigen Narrative. Das Problem ist: Auf dieser Basis benutzen sie dann ihre Werkzeuge, mit denen sie Dinge in der Welt machen, sei es auch nur in der digitalen Welt.»

Macht Ihnen diese Entwicklung Angst?

Ja, sie macht mir Angst. Vor allem wegen der Geschwindigkeit, mit der sich die Dinge fortentwickeln. Und weil niemand in seriöser Weise vorhersagen kann, was passiert, wenn wir Maschinen bauen, die unsere Intelligenz um ein Weites übertreffen. KI-Agenten bringen uns derzeit einen hohen Nutzen, in vielen Branchen über die ganze Gesellschaft hinweg. Doch gleichzeitig steuern wir immer stärker auf eine Situation zu, in der der Kontrollverlust über diese Systeme zu immer höheren Schäden führen kann.

Man kann den KI-Agenten ebenso wenig den Stecker ziehen, wie man das Internet ausschalten kann.

Dann bleibt uns nur eins: den Stecker ziehen?

Ja – sofern die Ursache eine klare, isolierte Instanz ist, etwa ein einzelnes Datenzentrum, das die Quelle aller Probleme ist. Aber die Realität ist anders: KI-Agenten werden zu immer wichtigeren Bestandteilen des Internets, das System ist extrem dezentral organisiert. Da kann man ebenso wenig den Stecker ziehen, wie man das Internet ausschalten kann. Das würde ja Schäden in unvorstellbarem Masse verursachen. Und genauso schwierig ist es mit dem Abschalten von vernetzten KI-Agenten.