Anthropic warnt vor drastischer Selbstbeschleunigung der KI

Anthropic hält es für möglich, dass KI die Entwicklung neuer KI-Modelle schon bald erheblich beschleunigt. In der überarbeiteten Fassung seines Börsenprospekts verweist das Unternehmen auf interne Schätzungen und Erwartungen an künftige Modelle. Demnach könnte Anthropic unmittelbar davorstehen, eine kritische Schwelle für KI-beschleunigten Fortschritt zu erreichen. Keines seiner aktuellen Modelle sei bislang entsprechend eingestuft worden.

Claude hilft bereits, neue Claude-Modelle zu entwickeln, etwa beim Schreiben von Code, bei Experimenten und Tests. Leistungsfähigere Nachfolger könnten wiederum mehr Entwicklungsarbeit übernehmen und damit den Fortschritt weiter beschleunigen. Im Extremfall könnte eine KI ihre Nachfolger ganz ohne menschliche Hilfe entwickeln. Dieses Szenario bezeichnet Anthropic als rekursive Selbstverbesserung.

Anthropic erkennt KI-Fortschritte womöglich zu spät

Je stärker Claude an der eigenen Weiterentwicklung beteiligt ist, desto schwieriger könnte es für Menschen werden, die einzelnen Entwicklungsschritte nachzuvollziehen und zu kontrollieren. Zugleich könnten die Fähigkeiten neuer Modelle schneller wachsen, als entsprechende Sicherheitsmaßnahmen entwickelt werden. Im überarbeiteten Börsenprospekt räumt Anthropic ausdrücklich ein, erhebliche Beschleunigungen bereits in der Vergangenheit erst nachträglich erkannt zu haben.

Die im Börsenprospekt genannte Schwelle stammt aus Anthropics eigenen Sicherheitsrichtlinien. Sie gilt unter anderem als erreicht, wenn KI-gestützte Forschung die Entwicklung neuer KI-Modelle mindestens doppelt so schnell vorantreibt wie ohne KI-Unterstützung. Das bedeutet allerdings noch nicht, dass KI ihre Nachfolger vollständig autonom entwickelt. Weil Claude einen immer größeren Teil der KI-Forschung übernimmt, erwägt Anthropic laut Börsenprospekt zusätzliche Sicherheitsvorgaben.

Anthropic warnt bereits seit Monaten

Wie weit Claude an der Entwicklung seiner Nachfolger mitarbeitet, bezifferte Anthropic im September in einer Studie: Bei rund einem Viertel der nach Arbeitszeit gewichteten Forschungs- und Entwicklungsarbeit kann Claude den Großteil der Aufgaben selbstständig erledigen, allerdings unter menschlicher Aufsicht. Vollständige Autonomie wurde in keinem untersuchten Bereich festgestellt.

Schon im Juni warnte Anthropic, dass KI künftig schneller Code schreiben könnte, als Menschen ihn überprüfen können. Das Unternehmen sprach sich damals wie die meisten anderen großen KI-Unternehmen für die Möglichkeit einer international koordinierten Verlangsamung oder Pause der KI-Entwicklung aus. In einem Risikobericht aus dem August hielt Anthropic das Erreichen der Schwelle innerhalb eines Jahres bereits für möglich. Der überarbeitete Börsenprospekt spitzt diese Prognose nun zeitlich zu.

Bei Anthropic muss man aktuell aber auch immer betonen: Der schon lange angekündigte Börsengang des Unternehmens steht mutmaßlich kurz bevor. Es ist davon auszugehen, dass Anthropic aktuell in besonderem Maße mit vielen seiner Äußerungen auch eigene PR-Interessen verfolgt.