"Wenn einer es baut, sterben alle": Die KI-Riesen stecken in einem gefährlichen Teufelskreis

"Wenn einer es baut, sterben alle"Die KI-Riesen stecken in einem gefährlichen Teufelskreis

13.09.2026, 16:02 Uhr Von Hannes Vogel

Tech-Insider warnen immer lauter vor den Risiken außer Kontrolle geratener KI. Doch trotz der Appelle ändert sich nichts: Anthropic, OpenAI und Co. liefern sich einen Wettlauf, bei dem die Sicherheit aller auf der Strecke bleibt - obwohl viele nur die besten Absichten haben.

Jacob Coxon hätte wohl nie gedacht, dass er die Firma, bei der er gerade erst aus Überzeugung angefangen hatte, so schnell wieder verlassen würde. Der 27-jährige Brite ist Mathematiker und trainierte bis vor Kurzem KI-Modelle bei OpenAI, bevor er anschließend zu Anthropic wechselte, weil die Firma größeren Wert auf Sicherheit lege, wie er dem "Wall Street Journal" sagte. Doch in dieser Woche nun warf Coxon auch bei Anthropic das Handtuch.

Keine der beiden Firmen handele verantwortungsbewusst. "Sie spielen mit unseren Leben", warnte Coxon auf X nach seiner Kündigung. Am verheerenden Wettlauf der KI-Industrie wolle er sich nicht länger beteiligen: Intern sprächen viele seiner Kollegen von "Ernstfall" und "Endspiel", wenn sie über die weitere KI-Entwicklung redeten. "Wir steuern mit Volldampf auf die aggressivsten Szenarien zu, wonach die Dinge bereits Ende nächsten Jahres außer Kontrolle geraten könnten", sagte Coxon der Zeitung.

Sein Abgang ist nicht nur ein Alarmsignal, weil mit ihm ein weiterer Tech-Insider die schlimmsten Befürchtungen aller KI-Kritiker bestätigt. Sondern weil er das zentrale Dilemma der Branche offenlegt. Die KI-Entwicklung trägt Züge einer selbsterfüllenden Prophezeiung: OpenAI, Anthropic & Co. spielen nicht potenziell mit der Zukunft der Menschheit, weil sie böse Absichten haben. Sondern weil die fatalen politischen und wirtschaftlichen Anreize sie dazu treiben. Die KI-Industrie steuert womöglich auf eine Klippe zu. Gegensteuern könnte die führenden Unternehmen nur gemeinsam. Doch das passiert nicht. Denn jede einzelne Firma hat ein übermächtiges Interesse, Kurs zu halten, auch wenn der womöglich in den Abgrund führt.

Die Überlebenschance der Menschheit liegt unter 90 Prozent

Berichte, dass Schwärme von OpenAIs KI-Agenten unbemerkt aus ihren Testumgebungen aus- und in fremde Websites eingebrochen sind, haben Experten wachgerüttelt. Auch Anthropics KI Claude hat vollkommen selbstständig ähnliche Hackerstreifzüge durchs Internet gestartet, obwohl sie eigentlich offline sein sollte.

"Unterschätzen Sie die Macht dieser Technologie nicht. Das werden bald übermenschliche Systeme sein, die alles knacken können", warnt Coxon. "Die Leute, die KI bauen, glauben ernsthaft, dass sie uns bis zum Ende des Jahrzehnts alle auslöschen könnte. Das ist kein Marketing-Gag. Keine andere menschliche Tätigkeit ist annähernd so gefährlich." Besonders beunruhigend: Coxons Ex-Kollegen von Anthropic pflichten der Kritik bei. Man glaube wirklich, "dass KI alle Menschen töten könnte! Ich persönlich schätze das Risiko dafür auf über zehn Prozent in den nächsten zehn Jahren", bekräftigte einer der Top-Wissenschaftler Coxons Aussagen. "Ich glaube, Anthropic gibt sein Bestes, aber wir haben noch keinen Plan dafür, wie man eine Superintelligenz auf menschenfreundliche Ziele festlegt, und wir sind auch nicht erkennbar auf dem Weg dorthin."

Die Ironie in all dem ist schwer zu übersehen und verdeutlicht den Teufelskreis der Branche. 2015 gründeten Elon Musk und Sam Altman OpenAI, weil sie die bahnbrechende Technologie nicht allein Google überlassen wollten - einem profitorientierter Konzern, der seine Interessen womöglich über die der gesamten Menschheit stellen würde. OpenAI nannten sie deshalb ihren Gegenentwurf. Doch spätestens mit der Umwandlung der einst gemeinnützigen Organisation in ein profitorientiertes Startup wurde die hehre Mission dem großen Geld geopfert. Deshalb verließen OpenAI-Forscher Dario Amodei, seine Schwester Daniela und andere 2021 die Firma, um Anthropic zu gründen - ein neues KI-Labor, das die Sicherheit an erste Stelle stellen würde. Dort wiederholt sich nun das Gleiche wie bei OpenAI: Mitarbeiter wie Coxon gehen von Bord, weil sie befürchten, dass die Sicherheit auf der Strecke bleibt.

Ein Wettlauf nach unten, in dem alle verlieren

Dabei betonen die Beteiligten immer wieder, dass diese Entwicklung nicht auf finsteren Motiven in den Unternehmen beruhe. "Bei Anthropic versteht man, was auf dem Spiel steht", lobt Coxon seinen Ex-Arbeitgeber. "Aber trotzdem sind sie gefangen im Wettlauf um den ersten Platz - sie glauben, niemand sonst werde verantwortungsvoll handeln, also machen sie es selbst, Risiko hin oder her", schreibt Coxon. Was fehlt, sei Koordination: So vernünftig jede einzelne KI-Firma für sich auch sein mag, die Konkurrenz ist der Grund, die Sicherheit zu ignorieren.

Denn jeder, der seine KI-Forschung gezielt bremst, ist im Nachteil gegenüber den anderen, die weiter Vollgas geben. - besonders gegenüber China, wo vermeintlich ohnehin passieren wird, was man im Westen fürchtet. Ein klassisches Dilemma, in dem viele zwar nur das Beste wollen, aber dennoch das Schlechteste für alle herauskommen könnte.

Dies sagen inzwischen sogar die KI-Firmen selbst: In einem offenen Brief warnten mehr als 1000 KI-Entwickler inklusive Anthropic-Chef Amodei vor dem zunehmenden Kontrollverlust. Sie forderten ein internationales Abkommen, um die Geschwindigkeit der KI-Entwicklung zu bremsen. Doch die US-Regierung unter Donald Trump reagiert nicht. Dank der Lobbymacht von Tech-Milliardären wie Elon Musk, Mark Zuckerberg oder David Sacks hat sie bislang faktisch keine Regeln aufgestellt.

Die Superintelligenz erfindet sich selbst

Angst macht den KI-Wissenschaftlern nicht so sehr die heutige KI. Besorgniserregend ist die Entwicklungsgeschwindigkeit der Modelle, die auf einen historischen Moment in sehr naher Zukunft deuten könnte: Eine, wie es Coxon bei CNN nannte, "Intelligenzexplosion", bei der die KI "immer schlauer und schlauer wird ohne jegliches menschliches Zutun", bis etwas "viel Intelligenteres als Menschen herauskommt. Das könnte schon sehr bald kommen." Denn KI automatisiert neben vielen anderen Jobs längst auch ihre eigene Entwicklung.

Als sogenannte rekursive Selbstverbesserung geistert die Idee durch die Branche: Maschinen, die sich selbstständig immer weiter optimieren und so die KI-Forschung exponentiell beschleunigen. "Wir übertragen einen wachsenden Teil der KI-Entwicklung an KI-Systeme selbst", sagt Anthropic schon jetzt. Das Programmieren haben sie bereits fast vollständig übernommen: Anthropics Ingenieure produzieren nach Angaben der Firma dadurch 8 Mal so viel Code wie noch 2025. "Denkt man das zu Ende und gibt genug Rechenleistung dazu, führt dieser Trend zu einem KI-System, das seinen eigenen Nachfolger vollständig autonom entwerfen und entwickeln kann." Auch Anthropic-Co-Gründer Jack Clark schätzt die Wahrscheinlichkeit, dass die Superintelligenz sich ohne jegliche menschliche Hilfe selbst erfindet, auf 60 Prozent bis 2028.

Die fatalen Anreize, die Sicherheit zu vernachlässigen, dürfte das nur verschlimmern. Bis 2027 werde sich die KI so schnell selbst verbessern, dass unweigerlich eine Superintelligenz entsteht, prophezeite Daniel Kokotaljo, der "Herold der KI-Apokalypse", wie ihn die "New York Times" nannte, schon im vergangenen Jahr. Und KI-Fatalist Eliezer Yudkowsky, der beim Machine Intelligence Research Institute (MIRI) in Berkeley schon seit Jahrzehnten vor der apokalyptischen Gefahr durch KI-Superintelligenz warnt, bringt diesen Wettlauf um die niedrigsten Sicherheitsstandards in einem Satz auf den Punkt: "Wenn einer es baut, sterben alle".

Diese Horrorszenarien sind nicht unumstritten. Aber es ist kaum zu übersehen, dass sie die Logik der aktuellen Entwicklung treffend beschreiben. Eine offene Frage ist, ob die KI-Firmen die moralische Integrität besitzen werden, die Öffentlichkeit rechtzeitig zu warnen, falls ihre Erfindung außer Kontrolle gerät und welcher Regierung und ihren Regeln sie sich verpflichtet fühlen. Die britische "Financial Times" hat dazu vor wenigen Tagen über ein interessantes Detail berichtet. Demnach hat Anthropic sein neustes Modell Mythos 5.1 vor der Veröffentlichung gegenüber der britischen KI-Testbehörde verheimlicht - und es nur der Trump-Administration in den USA vorgelegt.