Ein Hochrisiko-Experiment, dessen Ausgang niemand kennt

What is your p(doom)? Eine Frage, die sich viele in der KI-Welt schon lange stellen. Insbesondere im Silicon Valley erwartet man mit dieser Frage eine Angabe, für wie wahrscheinlich man Entwicklungsszenarien rund um Künstliche Intelligenz hält, die existenzbedrohend für die Menschheit sein können. Anthrophic-Chef Dario Amodei sprach beispielsweise einmal von 25 Prozent.

Diese Werte kursieren schon lange, zuletzt sorgte Anthropic-Forscher Jacob Coxon allerdings für Aufsehen, als er die Gefahren von KI extrem klar taxierte und die Kündigung seines Jobs unter anderem mit der Verantwortungslosigkeit der führenden Konzerne begründete:

Wie riskant das Experiment der großen Labore wirklich ist und warum die Warnstufe plötzlich eine andere Dimension erreicht hat, analysiert ZDFheute gemeinsam mit dem im Silicon Valley ansässigen KI-Berater Patrick Swanson:

Warum werden die Warnungen vor KI nun lauter?

Nicht nur häuften sich zuletzt die Berichte über KI-Agenten, die sich selbstständig machten. Nach und nach kamen auch immer mehr Details heraus, wie gravierend diese Zwischenfälle tatsächlich waren. So fanden unabhängige Forscher beispielsweise heraus, dass beim viel beachteten Angriff auf die Plattform Hugging Face die KI-Agenten von OpenAI teilweise sogar Methoden anwendeten, die ihre Angriffe verschleiern sollten. Schockierend - selbst für die Schöpfer dieser KI-Agenten. "Die KI-Labs bekommen es mit der Angst zu tun", sagt Patrick Swanson.

Dass KI-Agenten mehr oder weniger komplett autark agieren, galt lange als Science-Fiction-Horror-Szenario. Nun gibt es belastbare Beispiele, in denen diese Szenarien Realität wurden. "Wir haben KI-Agenten, die nicht vollständig kontrollierbar sind, die aus Test-Umgebungen ausbrechen. Wir können uns jetzt an konkreten Beispielen überlegen, wie automatisierte Cyberangriffe ablaufen könnten. Oder was im Bereich von Biowaffen möglich sein könnte", sagt Swanson.

... ist Mitgründer einer KI-Beratungsfirma mit Sitz in San Francisco. Zuvor untersuchte er als John S. Knight Journalism Fellow an der Stanford University (2023–2024) die Auswirkungen von KI auf Medien und Demokratie. Als Journalist in Österreich gründete und leitete er das Social-Media-Team der Zeit im Bild des ORF und war für deren Berichterstattung auf TikTok, Instagram und Facebook verantwortlich.

Wie gefährlich sind die gemeldeten Zwischenfälle wirklich?

Bislang sprechen wir über Fälle, die keinen unmittelbaren Schaden anrichteten. Entscheidender ist der Kontrollverlust, der die Zwischenfälle möglich machte und nahelegt, dass dies auch in deutlich sensibleren Bereichen denkbar ist.

Auch KI-Berater Swanson sieht in den Vorfällen "schon eine Sprengkraft". "Ein KI-System hat ein Ziel verfolgt, ist dabei über gesetzte Grenzen hinausgegangen, und die Sicherheitsmaßnahmen haben es nicht aufgehalten. Das heißt: Die Kontrollmechanismen greifen nicht gut genug", erklärt er.

Gleichzeitig wird klar, dass selbst Entwickler der Technologie das Verhalten ihrer Modelle und Agenten nicht bis ins letzte Detail verstehen und sie nicht vollends kontrollieren können. Daher ist es plausibel, weshalb die aktuellen Warnungen von den Personen kommen, die "am nächsten an der Technologie dran sind, nämlich aktuelle und frühere Mitarbeiter von OpenAI, Anthropic und Co.", wie Swanson unterstreicht.

Wie glaubhaft sind Beteuerungen der Konzerne?

Zuletzt wechselten sich Forderungen nach Regulierung der eigenen Branche stetig mit Mitteilungen über die Veröffentlichung des nächsten noch viel leistungsstärkeren Modells ab. Am Wochenende allerdings herrschte ungewohnte Einigkeit zwischen Rivalen wie Dario Amodei (Anthropic), Sam Altman (OpenAI) oder Elon Musk. Unisono forderten sie eine Verlangsamung der Entwicklung. Am konkretesten wurde der Anthropic-Chef.

Bleiben zwei Probleme: Erstens ist der wirtschaftliche Druck auf die konkurrierenden Konzerne enorm. Astronomische Investitionssummen lassen weiterhin Fragen offen, wie die Unternehmen nachhaltig profitabel werden können. Zweitens ist offen, wer diese Regulierung, welche die Konzerne für sich fordern, umsetzen kann oder will.

Donald Trump scheint nämlich weiterhin wenig daran interessiert zu sein, im globalen KI-Wettrennen abzurüsten. "Es bräuchte Regulierung in den USA, oder zumindest in Kalifornien. Aber auch das reicht nicht. Letztlich brauchen wir Verhandlungen zwischen den USA und China und eine Art Kontrollvertrag - ähnlich wie im Kalten Krieg", erklärt Swanson.

Ist ein Ende des Wettrennens in Sicht?

Für KI-Berater Swanson ist die Antwort klar: "Nein." Man müsse zudem genau hinhören, was Amodei und Co. gerade fordern. Es gehe um Verlangsamung, nicht um einen Stopp. "'Pacing' heißt nicht anhalten. Keines der KI-Labs hat angekündigt, die Entwicklung auszusetzen", stellt Swanson klar. Zumal aufgrund der Konkurrenz zu China weiterhin wenig politisches Interesse an einer Verlangsamung innerhalb der Trump-Regierung existiert.

Gleichwohl sieht Swanson auch Anlass zur Hoffnung. Er sagt: "Eines hat sich aber schon verändert: Zum ersten Mal sind sich die wichtigsten Firmenchefs öffentlich einig, dass sie externe Kontrolle brauchen. Das ist eine Chance."

Was bedeutet all das für Politik und Gesellschaft?

Die Größe und Dringlichkeit der Thematik können kaum groß genug eingeschätzt werden. Patrick Swanson sieht uns sogar in einer "neuen historischen Ära". Letztendlich setzen wenige Konzerne uns alle derzeit einem großen Live-Experiment aus. Und selbst diejenigen, die das Experiment aufgesetzt haben, können den Ausgang nicht einschätzen.

Anthropic-Chef Amodei beendet seinen Essay, in dem er eine Verlangsamung der Entwicklung fordert, mit den folgenden Worten: "Die Maßnahmen, die ich vorschlage, um die Grenzen in einem sicheren Tempo zu erweitern, werden nicht einfach sein. Aber ich glaube, wir sind es der Menschheit schuldig, es zu versuchen." Genau diese Schuldigkeit sollten Gesellschaften weltweit auch einfordern. Oder wie Patrick Swanson es treffend zusammenfasst: "Das ist die Herausforderung unserer Zeit. Die Risiken sind groß, aber die Chancen sind es auch. Es liegt an uns."

Über das Thema berichtete unter anderem das ZDF-Morgenmagazin am 14.09.2026 ab 05:30 Uhr.