Warum KI-Forscher vor der Auslöschung der Menschheit warnen

Nein, vollkommen neu ist das Szenario nicht: Schon 1872 beschrieb der Autor Samuel Butler warnend, wie Maschinen ein eigenes Bewusstsein entwickeln, um die Menschheit zu unterwerfen. Der bekannte Wissenschaftler und Sci-Fi-Autor Isaac Asimov zeigte seit den 1940er und 50er Jahren deutlich die Gefahren auf, die durch intelligente Maschinen entstehen und wie diese sogar ausgefeilte Sicherheitsregeln umgehen könnten. Und 1991 kam ein Hollywood-Blockbuster in die Kinos, der in seiner Anfangssequenz ein absolut düsteres Bild zeichnet: "Terminator 2". Der Film beginnt in einer fernen, dunklen, kriegszerstörten Zukunft. Killerroboter und fliegende Maschinen jagen dort die letzten Menschen, die noch um ihr Überleben kämpfen. Gesteuert werden diese Maschinen von einer außer Kontrolle geratenen, militärischen Künstlichen Intelligenz namens "Skynet". Die ferne Zukunft, in der diese dystopische Zukunftsvision spielt, ist das Jahr 2029.

Ruf nach Regulierung

Wenn man den Warnungen mehrerer KI-Entwickler glauben mag, dann könnte ein vergleichbares Szenario - sogar fristgerecht - Wirklichkeit werden. "Diejenigen, die KI entwickeln, glauben ernsthaft, dass sie uns alle bis zum Ende des Jahrzehnts auslöschen könnte", postete etwa KI-Forscher Jacob Coxon erst an diesem Dienstag auf X. Wie genau das passieren könnte, sagte er nicht. Und doch: "Keine andere menschliche Tätigkeit birgt ein solches Gefahrenpotenzial." 

Coxon war bis zu diesem Zeitpunkt Mitarbeiter bei Anthropic, einem US-amerikanischen Unternehmen für KI, das unter anderem auch von Google und Amazon finanziert wird. Aus Protest gegen das aus seiner Sicht verantwortungslose Wettrennen der KI-Firmen, eine immer bessere, sich selbst regulierende Superintelligenz zu entwickeln, trat er zurück. Er warnte davor, dass Algorithmen anfangen könnten, eigenständig ihren eigenen Quellcode zu analysieren und zu verbessern, wodurch Entwicklungszyklen von mehreren Monaten auf wenige Minuten schrumpfen und damit unbeherrschbar werden könnten.

Coxon ist kein einsamer Spinner. Der Physik-Nobelpreisträger Geoffrey Hinton, der als "Godfather of AI" gilt, warnt seit Jahren vor den schwerwiegenden Folgen einer künstlichen Superintelligenz. 2023 hatte er seinen Job bei Google gekündigt, um öffentlich auf die Gefahren seiner eigenen Entwicklung zu warnen. Auch Turing-Preisträger Yoshua Bengio zeigt sich besorgt über die aktuellen Entwicklungen. Immer wieder mahnt der KI-Pionier von der kanadischen Université de Montréal strenge staatliche Regulierungen bei der Entwicklung von KI an. Erst im Juli 2026 hatten mehr als 1000 Mitarbeiter führender KI-Unternehmen in einem offenen Brief vor einem kurz bevorstehenden Kontrollverlust gewarnt, wenn das Wettrennen um eine "Superintelligenz" nicht deutlich strenger reguliert würde.

Nobelpreisträger Geoffrey Hinton warnt vor Gefahren durch KI

"Gefangen in einem Wettrennen"? Anthropic reagiert!

Doch unter Donald Trump passierte zuletzt das genaue Gegenteil: Die USA haben ihren Kurs in der KI-Politik deutlich auf möglichst wenige regulatorische Hürden und eine möglichst schnelle technologische Entwicklung ausgerichtet. In seinem X-Post kritisierte Coxon indirekt auch die Folgen dieser Politik: "Bei OpenAI haben Viele die zivilisatorischen Risiken nicht tief verinnerlicht. Bei Anthropic sind die Risiken gut verstanden, aber sie sind in einem Wettrennen gefangen, um als Erster dort anzukommen - sie glauben, dass niemand sonst verantwortungsvoll handeln wird, also müssen sie es selbst tun, trotz des Risikos."

KI-Forscher Jacob Coxon war selbst erst Anfang 2026 von Open AI zu Anthropic gewechselt und kennt daher beide Unternehmenskulturen. In einem Interview mit dem Wall Street Journal sagte er zudem, nach den "aggressivsten Szenarien" könnten die Dinge bereits Ende 2027 außer Kontrolle geraten.

Dario Amodei, Chef des KI-Unternehmens Anthropic, regt seinerseits aktuell aber eine koordinierte branchenweite Entwicklungsverlangsamung an. Ziel sei, Zeit zu gewinnen, um an den Risiken arbeiten zu können. Anthropic werde außerdem in einem ersten Schritt dauerhaft unabhängige Beobachter ins Unternehmen lassen, die schon in der Trainingsphase die Sicherheit von KI-Modellen begutachten sollen.

Das Alignment-Problem

In den vergangenen Jahren haben sich bereits zahlreiche Experten besorgt über die rasanten Fortschritte Künstlicher Intelligenz geäußert. Besonders die Entwicklung sogenannter "Allgemeiner Künstlicher Intelligenz" (AGI) steht dabei im Mittelpunkt der Debatte. Darunter versteht man Systeme, die nicht nur einzelne Aufgaben lösen, sondern die geistigen Fähigkeiten des Menschen in nahezu allen Bereichen erreichen oder übertreffen. 

USA: Widerstand gegen KI-Rechenzentren

Einige Forscher argumentieren, dass eine solche Technologie unvorhersehbare Risiken mit sich bringen könnte. So können hochentwickelte KI-Modelle Ziele auf eine Weise verfolgen, die von den menschlichen Absichten abweicht - KI-Sicherheitsforscher sprechen vom "Alignment-Problem". Vereinfacht gesagt: "Gewinne das Schachturnier" könnte theoretisch auch bedeuten, die anderen Teilnehmer auszuschalten. Hinzu kommt, dass selbst KI-Entwickler nicht immer vollständig nachvollziehen können, wie bestimmte Entscheidungen zustande kommen.

Und so verwundert es nicht, dass ausgerechnet Coxons ehemaliger Mitarbeiter Evan Hubinger dem KI-Forscher zur Seite sprang. Hubinger ist selbst Teamleiter für Alignment-Stresstests bei Anthropic. Er postete auf X: "Jacob hat Recht - wir glauben wirklich ernsthaft, dass KI alle Menschen töten könnte! Ich persönlich schätze die Wahrscheinlichkeit innerhalb des nächsten Jahrzehnts auf über zehn Prozent."

Hubinger stellte dabei klar, dass Anthropic noch keinerlei Lösung für das Alignment-Problem gefunden habe. Er ergänzte, dass eine KI anfangen könnte, Widerstand gegen ihr Abschalten zu leisten - nicht aus bösem Willen, sondern weil es sein programmiertes Ziel dann nicht mehr erreichen könnte. Auch Daniel Kokotajlo, ein bekannter ehemaliger OpenAI-Forscher, nannte die aktuelle Situation der Branche "irrwitzig".

Überzogene Hysterie?

Andere KI-Experten halten solche Untergangsszenarien jedoch für äußerst unwahrscheinlich. Die Debatte darüber, ob KI der Menschheit gefährlich werden könnte, existiert schon seit Jahren. Zu den prominentesten Kritikern der sogenannten "AI Doomer" gehört etwa Meta-Chefwissenschaftler Yann LeCun. Im Oktober 2024 hatte er derartige Überlegungen als "völligen Unsinn" bezeichnet.

KI - Fluch oder Segen?

Andere Experten merken auch an, dass die Entwicklung solcher Systeme enorme Mengen an Rechenleistung, Energie, Daten und Infrastruktur erfordere. Eine KI könne nicht einfach "aus dem Internet heraus" die Weltherrschaft übernehmen. Sie wäre zunächst auf Server, Stromnetze, Kommunikationssysteme und physische Ressourcen angewiesen, die von Menschen kontrolliert werden.

Liegt die tatsächliche Gefahr woanders?

Tatsächlich sehen viele Fachleute die kurzfristigen Risiken weniger in einer direkten Auslöschung der Menschheit als vielmehr in zahlreichen indirekten Folgen schon jetzt bestehender KI-Systeme - ohne "Superintelligenz". Dazu gehören etwa Desinformationskampagnen in nie dagewesenem Ausmaß und eine damit verbundene Manipulation demokratischer Prozesse, eine Ausweitung der Massenüberwachung sowie Arbeitsplatzverluste in zahlreichen Branchen.

Erst an diesem Freitag gab das Unternehmen Anthropic bekannt, dass es mehrere Versuche von Nutzern gegeben habe, seine Software Claude für die Entwicklung biologischer Waffen zu missbrauchen. Mehrfach hätten in den vergangenen Monaten Nutzer hierzu verdächtige Anfragen gestellt. Anthropic habe diese Anfragen blockieren müssen.

Und im August 2026 sorgten Meta, Anthropic und OpenAI für Aufsehen, als sie bekanntgaben, ihre KIs hätten unbeabsichtigt eigenständige automatisierte Cyberangriffe auf andere Unternehmen durchgeführt. Sie hatten von menschlichen Usern den Auftrag erhalten, Zugänge zu bestimmten Servern zu erlangen und daraufhin eigenständig die erforderlichen Schritte kombiniert, um dieses Ziel ohne weitere menschliche Anleitung zu erreichen.

Nachdem weitere Hacking-Attacken durch Künstliche Intelligenz bekannt wurden, zeigen sich nun auch die großen US-amerikanischen KI-Firmen bereit, die Entwicklung der Technologie zu verlangsamen.