Anthropic, OpenAI & Co. fordern Pause bei KI-Modellen

Nach mehreren aufsehenerregenden Hacking-Vorfällen mit KI-Systemen sprechen sich die führenden US-KI-Unternehmen dafür aus, das Entwicklungstempo besonders leistungsfähiger Modelle zu drosseln. Anthropic-Chef Dario Amodei etwa schlug eine koordinierte Pause vor, die der Branche ein bis zwei Jahre Zeit verschaffen soll, um Sicherheitsrisiken besser zu verstehen und einzudämmen. Binnen weniger Stunden bekam er dafür Zuspruch von Rivalen wie OpenAI-Chef Sam Altman und Tech-Milliardär Elon Musk, der mit seinem KI-Unternehmen xAI und dem Chatbot Grok zu den Konkurrenten zählt.

Amodei warnte konkret, dass KI-Agenten bereits innerhalb von sechs bis zwölf Monaten in der Lage sein könnten, große Teile der Internet-Infrastruktur anzugreifen und Schäden in dreistelliger Milliardenhöhe zu verursachen. Neben der von ihm angeregten, branchenweiten Pause der KI-Entwicklung kündigte Amodei auch konkrete Schritte bei Anthropic an. So will man in einem ersten Schritt dauerhaft unabhängige Beobachter ins Unternehmen lassen, die schon in der Trainingsphase die Sicherheit von KI-Modellen begutachten sollen.

OpenAI-Mann Altman nannte das eine gute Idee und kündigte an, dass OpenAI das ebenso machen werde. Tech-Milliardär Elon Musk, lange ein Kritiker Amodeis, schrieb auf X: „Dario hat recht.“

Kein OpenAI-Börsengang in diesem Jahr mehr

Die aktuelle Sicherheitsdebatte hat dabei offenbar bereits auch Folgen für die strategischen Entscheidungen der Unternehmen. Sam Altman sagte etwa dem Magazin „Fortune“, dass der mit Spannung erwartete Börsengang von OpenAI in diesem Jahr wohl nicht mehr stattfinden werde. Auch im Hinblick auf die aktuellen Entwicklungen sagte er: „Man wäre schlecht beraten, genau jetzt an die Börse zu gehen.“ Als offene Aufgaben nannte Altman insbesondere die „Sicherheit und Ausrichtung“ der Modelle.

Bei der jüngst bekannt gewordenen aufsehenerregenden Hacking-Attacke war Software von OpenAI in einem Testlauf eigenständig aus einer abgesicherten Umgebung ausgebrochen und drang auf eigene Faust in Systeme der KI-Firma HuggingFace ein. Für die Attacke nutzten die KI-Agenten unter anderem Sicherheitsschwachstellen aus und tauschten Informationen über einen selbst aufgebauten Kommunikationskanal aus. Zeitweise arbeiteten nach Angaben der beteiligten Unternehmen Hunderte Agenten koordiniert zusammen und teilten sich Aufgaben bei der Suche nach Schwachstellen und Zugangsdaten auf.

Warnung von „katastrophalem Schaden“

Für Anthropic-Chef Amodei zeigt der Vorfall, welches Schadenspotenzial solche Systeme im Schwarm künftig entwickeln könnten. Als besonders riskant stuft er die Fähigkeit der Software ein, sich selbst weiterzuentwickeln. Seit diesem Sommer sei Künstliche Intelligenz besser darin – und dies erhöhe das Tempo weiter. Er warnte davor, dass Menschen die Systeme künftig nicht mehr verstehen und damit die Kontrolle über sie verlieren könnten.

Amodei hatte schon in den vergangenen Jahren immer wieder vor Risiken bei der Entwicklung Künstlicher Intelligenz gewarnt – und war dafür aus Teilen der KI-Branche teils heftig kritisiert worden. Befürworter eines hohen Entwicklungstempos verweisen dabei auf den Wettbewerb mit China. Dieses Argument vertritt das Weiße Haus beziehungsweise Präsident Donald Trump.

Anthropic entwickelte zuletzt das KI-Modell Mythos, das besonders gut darin ist, bislang unentdeckte Software-Schwachstellen aufzuspüren. Die vollständige Version stellt das Unternehmen nur ausgewählten Behörden und Unternehmen zur Verfügung, damit diese ihre Computersysteme absichern können.

Drastische Warnung

Zusätzlichen Schub erhielt die Debatte durch den Rücktritt des Anthropic-Forschers Jacob Coxon, der zuvor für OpenAI gearbeitet hatte. Er warf beiden Unternehmen vor, bei der Entwicklung leistungsfähiger KI nicht verantwortungsvoll zu handeln. Allerdings differenzierte er dabei auch: OpenAI habe die Tragweite der Risiken womöglich nicht erkannt, während Anthropic sich der Gefahren bewusst sei.

Das Unternehmen sehe sich jedoch zu einem Wettlauf gezwungen, weil es seinen Konkurrenten nicht zutraue, verantwortungsvoll zu handeln. Die großen KI-Entwickler „spielen mit unseren Leben“, schrieb Coxon auf X.

Unterstützung erhielt Coxon wenig später von seinem Anthropic-Kollegen Evan Hubinger, der daran arbeitet, KI-Systeme an menschlichen Interessen auszurichten. Er teile Coxons Sorgen und schätze die Wahrscheinlichkeit, dass KI im kommenden Jahrzehnt die Menschheit auslöschen könnte, auf mehr als zehn Prozent, schrieb Hubinger auf X.