«Wir könnten alle sterben»: Wie real ist Coxons KI-Warnung?

• Ex-Anthropic-Mitarbeiter Jacob Coxon (27) warnt vor einem KI-bedingten Aussterben der Menschheit und sorgt weltweit für Aufsehen.
• KI-Experte Oliver Gilbert von der HSLU nimmt die Warnungen ernst, hält eine unmittelbar bevorstehende Katastrophe aber nicht für belegt.
• Drastische Weltuntergangsszenarien könnten laut Gilbert auch als Marketing wirken. Ernst gemeinte Sorge und wirtschaftlicher Nutzen schliessen sich dabei nicht aus.

Der britische KI-Forscher Jacob Coxon (27) hat seinen Job beim Claude-Entwickler Anthropic gekündigt und danach mit drastischen Aussagen für Aufsehen gesorgt. «Wenn wir das derzeitige Tempo nicht drosseln, besteht eine grosse Wahrscheinlichkeit, dass wir alle in naher Zukunft sterben könnten», sagte er in der BBC-Sendung «Sunday with Laura Kuenssberg».

Coxon, der zuvor auch bei OpenAI tätig war, sagt, Menschen innerhalb der KI-Unternehmen seien «ernsthaft verängstigt». Er warnt zudem davor, dass künftige Systeme «alles hacken» und sich Zugang zu realer Macht und Ressourcen verschaffen könnten.

So reagierten andere KI-Entwickler

Muss man sich jetzt tatsächlich Sorgen machen? Informatik-Professor Oliver Gilbert von der Hochschule Luzern ordnet die Warnungen ein. Was die 20-Minuten-Community zum Thema denkt, liest du hier.

Zum Experten

Muss ich Angst vor KI haben?

«Ich nehme die Warnungen ernst. Sie sind aber auch kein Beleg dafür, dass eine Katastrophe unmittelbar bevorsteht», sagt Experte Oliver Gilbert. Die Sorge hat laut Experten einen technischen Kern. KI-Systeme können zunehmend selbstständig Arbeitsschritte ausführen und mit anderen KI-Agenten zusammenarbeiten. Bei einem untersuchten Angriff auf Hugging Face tauschten etwa Agenten, die voneinander getrennt sein sollten, Informationen aus und griffen gemeinsam reale Systeme an.

Auch Anthropic beschreibt in Sicherheitstests problematisches Verhalten seiner Modelle. Hinweise auf mögliche Schäden führten nicht immer dazu, dass die Systeme ihre Handlungen stoppten. Der Experte sagt deshalb: «Wir haben gute Gründe, wachsam zu sein und vorzusorgen. Daraus folgt nicht, dass die schlimmsten Szenarien eintreten werden. Wir müssen aber auch nicht auf Gewissheit warten, bevor wir vorsorgen.»

Wie könnte KI uns überhaupt alle töten?

Fachleute untersuchen laut dem Experten vor allem zwei Wege. Menschen könnten leistungsfähige KI missbrauchen – etwa zur Entwicklung biologischer Waffen oder für Angriffe auf kritische Infrastruktur.

Ein anderes Szenario wäre laut Gilbert, dass sich ein künftig wesentlich leistungsfähigeres System wirksamer menschlicher Kontrolle entziehen könne und beispielsweise lebenswichtige Versorgungssysteme stören. Dafür müssten laut Gilbert mehrere technische und organisatorische Schutzmechanismen versagen.

Bis zum Aussterben der Menschheit wäre es allerdings noch ein gewaltiger Schritt, wie Gilbert erklärt. «Zwischen einem schweren Cyberangriff, einer weltweiten Versorgungskrise und dem Aussterben der Menschheit liegen erhebliche zusätzliche Voraussetzungen», sagt Gilbert.

Wie wahrscheinlich ein derartiger Kontrollverlust ist, sei wissenschaftlich nicht verlässlich geklärt. «Ein schwerwiegendes Risikoszenario ist nicht dasselbe wie eine belastbare Vorhersage», so Gilbert.

Mehr zu diesem Thema

Welche Gefahr ist heute tatsächlich real?

Was macht die neue KI-Generation gefährlicher?

Ein wichtiger Unterschied laut Gilbert: eine KI, die nur etwas vorschlägt, und eine KI, die selbst handeln kann. Sogenannte KI-Agenten können Programme ausführen, digitale Werkzeuge verwenden und Aufgaben an andere Agenten delegieren. Dadurch könne ein Fehler grössere Konsequenzen haben: «Aus einer falschen Antwort kann dadurch eine ganze Folge falscher Handlungen werden.»

Dass Entwickler KI bereits einsetzen, um neue KI zu entwickeln, könne den Fortschritt zusätzlich beschleunigen. Das sei allerdings noch nicht dasselbe wie ein vollständig autonomer Kreislauf, in dem KI ohne Menschen immer leistungsfähigere Nachfolger erschafft.

Wie glaubwürdig ist Coxons Warnung?

«Dass Coxon selbst bei Anthropic gearbeitet hat, macht seine Aussagen relevant – aber die Prognosen nicht automatisch richtig», sagt der Experte über Warnungen von Mitarbeitenden der KI-Unternehmen.

Bei Coxon komme hinzu, dass er seinen Arbeitgeber verlassen und öffentlich kritisiert habe. Seine Aussagen einfach als Werbung für Anthropic abzutun, greife daher zu kurz. Entscheidend sei laut Gilbert vielmehr, was sich tatsächlich belegen lasse: Was wurde beobachtet und dokumentiert? Können unabhängige Fachleute die Ergebnisse überprüfen? Und welche Konsequenzen ziehen die Unternehmen daraus?

Sind die Weltuntergangswarnungen gutes Marketing?

«Drastische Warnungen können auch als Marketing wirken. Wer seine Technologie als potenziell menschheitsbedrohend beschreibt, vermittelt gleichzeitig aussergewöhnliche Leistungsfähigkeit», sagt der Experte.

Das bedeute aber nicht, dass die Warnungen erfunden seien. Eine ernst gemeinte Sorge und ein wirtschaftlicher Nutzen könnten gleichzeitig existieren, sagt Gilbert. Hinzu kämen strategische und geopolitische Interessen im globalen KI-Wettlauf.

Oliver Gilberts Fazit: «Wir sollten weder die Heilsversprechen noch die Untergangsszenarien der Branche ungeprüft übernehmen. Innovation und Sicherheit sind für mich keine Gegensätze. Wir müssen die Chancen nutzen, ohne unsere fachliche Urteilskraft aufzugeben oder unsere Fähigkeit zu verlieren, als Gesellschaft selbst zu entscheiden.»

Wie ernst nimmst du die Warnungen vor einer gefährlichen KI-Entwicklung?

Sehr ernst, ich glaube, dass das Risiko unterschätzt wird.

Bleiben Sie über Wirtschaftsthemen informiert

Wenn Sie die Benachrichtigungen des Wirtschaftskanals abonnieren, bleiben Sie stets top informiert über die Entwicklungen der Business-Welt. Erfahren Sie dank des Dienstes zuerst, welcher Boss mit dem Rücken zur Wand steht oder ob Ihr Job bald durch einen Roboter erledigt wird. Abonnieren Sie hier den Wirtschafts-Push (funktioniert nur in der App)!

So gehts: Installiere die neuste Version der 20-Minuten-App. Tippe unten auf «Profil», dann aufs «Einstellungen»-Zahnrad und schliesslich auf «Push-Mitteilungen». Wähle hier die gewünschten Themen aus.

Social Media

Martine Anastasiou (man), Jahrgang 2001, arbeitet seit 2025 für 20 Minuten. Sie ist Redaktorin im Ressort Wirtschaft.