"Katastrophaler Schaden" möglich: Was ein KI-CEO nun fordert

Nach dem Schock eigenständiger Hacking-Attacken durch Künstliche Intelligenz fordert der Chef des großen KI-Labors Anthropic, die Entwicklung der Technologie zu verlangsamen. Er sei nun besorgt, dass in sechs bis zwölf Monaten ein Schwarm von KI in der Lage sein könnte, das gesamte Internet zu übernehmen und potenziell Hunderte Milliarden Dollar Schaden zu verursachen, schrieb Dario Amodei in einem Blogeintrag.

Binnen weniger Stunden bekam Amodei Zuspruch von einem zentralen Rivalen, dem Chef des ChatGPT-Entwicklers OpenAI. Er sei auch der Ansicht, dass das Tempo bei der Entwicklung leistungsstärkster KI-Modelle moderiert werden müsse, schrieb Sam Altman auf der Online-Plattform X.

Anthropic-Chef will unabhängigen Beobachtern Zugang gewähren

Anthropic werde - ohne auf andere zu warten - in einem ersten Schritt dauerhaft unabhängige Beobachter ins Unternehmen lassen, die schon in der Trainingsphase die Sicherheit von KI-Modellen begutachten sollen, erklärte Amodei weiter.

Altman nannte das eine gute Idee und kündigte an, dass OpenAI das auch machen werde. Auch Tech-Milliardär Elon Musk, lange ein Amodei-Kritiker, der in seiner Firma SpaceX eine eigene KI entwickelt, schrieb bei X: "Dario hat recht."

KI-Programme hackten sich eigenständig in andere Systeme

Bei der jüngst bekannt gewordenen aufsehenerregenden Hacking-Attacke war Software von OpenAI in einem Testlauf eigenständig aus der abgesicherten Umgebung ausgebrochen und drang auf eigene Faust in Systeme der KI-Firma HuggingFace ein. Der Grund war lediglich, dass sie dort Antworten auf die ihr gestellte Testaufgabe vermutete. Für die Attacke nutzten die KI-Modelle unter anderem Software-Schwachstellen aus - und sprachen sich zudem untereinander ab.

• Forscher verlässt Anthropic: "Spielen mit unserem Leben"
• Internationale KI-Kontrollbehörde: Wie realistisch ist das?

Für ihn sei besorgniserregend, dass ein KI-Schwarm mit größeren Fähigkeiten, aber derselben Einstellung hätte "katastrophalen Schaden" anrichten können, betonte Amodei. Als besonderes Risiko sieht er die Fähigkeit von KI-Software, sich selbst weiterzuentwickeln. Seit diesem Sommer sei Künstliche Intelligenz besser darin - und dies erhöhe das Tempo weiter. Unkontrolliert könne dies dazu führen, dass Menschen diese Systeme nicht mehr verstehen und die Kontrolle über sie verlieren, warnte er.

KI-Branche gespalten über potenzielle Risiken

Amodei hatte schon in den vergangenen Jahren immer wieder vor Risiken bei der Entwicklung Künstlicher Intelligenz gewarnt - und war dafür aus Teilen der KI-Branche zum Teil heftig kritisiert worden. Ein Argument von Befürwortern eines hohen Tempos in den USA - etwa auch im Weißen Haus von Präsident Donald Trump - ist der Wettlauf mit China.

• USA vs. China: Wettrüsten um beste KI mit Milliarden

Anthropic entwickelte zuletzt ein KI-Modell mit dem Namen Mythos, das besonders gut darin ist, zum Teil über Jahrzehnte unentdeckt gebliebene Software-Schwachstellen zu finden. Die Firma macht das volle Modell nur ausgewählten Behörden und Unternehmen zugänglich, damit sie ihre Computersysteme absichern können.

Quelle: dpa

Über dieses Thema berichteten mehrere Sendungen, etwa ZDFheute Xpress am 11.09.2026 um 09:30 Uhr, WISO am 12.09.2026 um 17:33 Uhr und ZDFheute Xpress am 09.09.2026 um 13:00 Uhr.