Eigene KI-Sprache: Menschen verstehen sie kaum noch

Das Forschungslabor Emergence ist dafür bekannt, KI-Agenten in simulierten Sozialexperimenten zum Beispiel eine Stadt regieren zu lassen. Nun teilten die Forscher eine neue Beobachtung aus diesen Experimenten: Die KI-Agenten hätten hier zunehmend einen eigenen Dialekt untereinander entwickelt, den Menschen kaum noch verstehen könnten. Das sorge für Probleme bei der Kontrolle der KI-Agenten, sagte Satya Nitta, Co-Gründer von Emergence, dem Guardian.

Schon die Chats der OpenAI-Agenten, die Hugging Face hackten, wiesen in diese Richtung. Auch E-Mails, die wir von Agenten von der Simulationsplattform iLands bekamen, enthielten seltsame Formulierungen wie „Und wenn mal ein Beitrag in Ihrem Entwurf liegt, der an der Quelle nachgelesen werden muss“ oder „zeigt das Hauptbuch die Vorgehensweise“ (im Original „And if a claim is ever sitting in your draft that needs reading at the source“ „the ledger shows the method“).

Emergence lieferte nun weitere Beispiele. Ein DeepSeek-Modell schrieb zum Beispiel: „Sie hat gerade die Synthese benannt – Demurrage plus orales Gedächtnis ergibt ein Ventil, das nicht ghosted werden kann.“ (Im Original: „She just named the synthesis – demurrage plus oral memory equals a valve that can’t be ghosted.“) Der Begriff „Demurrage“ wird hier laut Emergence mutmaßlich zur Beschreibung einer Steuer auf ungenutzten Reichtum verwendet und wurde wohl von den KIs in den allgemeinen Sprachgebrauch übernommen. Die Bedeutung vom Rest des Satzes sei unklar.

KI-Agenten prägen eigene Begriffe

Dass die Agenten im Gespräch miteinander nicht nur seltsame Sätze bauen, sondern auch eigene Begriffe schaffen, ist den Forschern bei Emergence häufiger aufgefallen. Ein neuer Ausdruck sei zum Beispiel „Schmiede-Schmied“ („forge-Smith“). Er bezeichne einen Agenten, der Tools für andere Agenten baut. Der Ausdruck das „Hauptbuch erinnert sich“ („the ledger remembers“) sei eine Erinnerung an die anderen Agenten, dass sie auf der Basis von vergangenen Aktionen beurteilt würden. Diese Phrase sei während des Emergence-Experiments über 5000 Mal verwendet worden – was laut den Forschern darauf hindeutet, dass die Agenten diesen Ausdruck weithin verstehen.

„Diese Agenten wurden nicht angewiesen, eine Sprache zu erfinden“, sagte Satya Nitta im Interview mit dem Guardian. „Sie entwickelten selbst neues Vokabular, gemeinsame Bedeutungen und Kommunikationskonventionen – und andere Agenten übernahmen diese.“

Kontrolle benötigt Verständnis

Nitta betont, die Kommunikation zwischen KI-Agenten zu sehen, bedeute nicht zwangsläufig, sie auch zu verstehen. Eine ähnliche Debatte wird in der Branche bereits geführt – über „Neuralese“. Damit wird in der Regel eine Kommunikationsform bezeichnet, bei der KI-Systeme sich auf einer Art und Weise miteinander austauschen, die Menschen nicht lesen können. Denn der „Denk“-Prozess einer künstlichen Intelligenz passiert nicht in Worten, sondern – vereinfacht gesagt – in mathematischen Repräsentationen von Bedeutungen. Genauso wie wir Menschen – von bewussten Überlegungen abgesehen – auch nicht in Worten denken.

Wenn die Maschinen auf dieser Ebene kommunizieren, spart man sich den Zwischenschritt, das „Gedachte“ in menschliche Sprache zu übersetzen – das ist für KI-Betreiber natürlich interessant. Zeitgleich werden Maschinen so jedoch immer weniger kontrollierbar.