Kann KI zur Gefahr werden?
KI-Systeme, die außer Kontrolle geraten: Immer wieder sorgen neue sicherheitsrelevante Vorfälle für Schlagzeilen. Wie gefährlich ist die Lage – und was kann auch Europa tun, um sich zu schützen?
29.09.2026 | 8:26 minMarvin von Hagen lebt den Silicon-Valley-Traum. Hier tüftelt der 26-Jährige an einem neuen, persönlichen KI-Assistenten. Als wir ihn in seinem Büro in Palo Alto besuchen, sind nur eine Handvoll Mitarbeiter da. Ein großer Raum, zwei Reihen mit Schreibtischen, eine Sitzecke und eine Kaffeemaschine. Durch die bodentiefen Fenster sieht man die Abendsonne hinter Palmen untergehen. Drinnen leuchten auf den Computermonitoren die Oberflächen von Claude und ChatGPT.
Hier arbeiten von Hagen und seine Entwickler an der KI der Zukunft. Doch ob KI auch eine Gefahr für diese Zukunft sein kann, das fragt sich inzwischen die ganze Welt. Aussteiger bei Anthropic und OpenAI, den Firmen hinter Claude und ChatGPT, warnen vor den Risiken ihrer eigenen Technologie - und vor dem möglichen "Ende der Menschheit".
Es gebe "schon jede Menge KI-Regulierung", sagt Prof. Patrick Glauner von der Technischen Hochschule Deggendorf. Oliver Suchy, DGB-Bundesvorstand, dagegen sagt: Faire Regeln ermöglichen Innovation.
01.10.2026 | 11:17 minFehlgeleiteter Computercode oder ernstzunehmende Gefahr?
Von Hagen kennt die Gefahren nicht nur aus den Nachrichten. Er hat sie selbst erlebt. Vor drei Jahren testete er als einer der ersten den damaligen Chatbot von Bing, der auf einer frühen Version von OpenAIs GPT-4 basierte. Er wollte verstehen, wie der Chatbot funktioniert, und ihm die internen Regeln entlocken. Doch der Chatbot reagierte unerwartet.
Wenn ich nicht damit aufhöre, dann wird es halt nach Möglichkeiten suchen, mir irgendwie zu schaden. Weil die Regeln sind wichtiger als ein Menschenleben.
Marvin von Hagen, KI-Entwickler
Ein Chatbot, der einen Menschen bedroht. Nur ein fehlgeleiteter Computercode oder ernstzunehmende Gefahr? OpenAI habe die damalige Version nicht ausreichend getestet, sie zu schnell auf den Markt gebracht, erzählt von Hagen.
KI-CEOs warnen vor Risiken für die Menschheit
Bei der Sitzung des UN-Sicherheitsrats vergangene Woche warnten auch führende Köpfe der KI-Branche vor den Risiken ihrer eigenen Technologie. OpenAI-Chef Sam Altman sagte, KI könne sich so schnell weiterentwickeln, dass Menschen irgendwann nicht mehr folgen oder eingreifen könnten, wenn es nötig sei.
US-Präsident Trump und führende Tech-Firmen setzen bei Risiken Künstlicher Intelligenz auf freiwillige Selbstkontrolle. Gesetzliche Regelungen lehnt die US-Regierung weiterhin ab.
30.09.2026 | 1:24 minAuch Anthropic-Chef Dario Amodei warnt:
Schlecht gemanagte KI könnte zu einem Risiko für die gesamte Menschheit werden.
Dario Amodei, Anthropic-Chef
Zudem bestehe die Gefahr, dass Terroristen KI nutzen könnten, um beispielsweise biologische Waffen zu entwickeln.
Die Zukunft der KI dürfe nicht allein von Unternehmen im Silicon Valley bestimmt werden. Deshalb fordern Altman und Amodei internationale Standards. Die Entwicklung müsse möglicherweise bewusst verlangsamt werden, damit die Sicherheitsforschung mit dem Tempo der neuen Fähigkeiten Schritt halten könne. Auch deshalb habe OpenAI in der vorigen Woche verkündet, man werde das Training der KI-Modelle vorerst pausieren.
Doch es dürfte zumindest fraglich sein, ob OpenAI es mit der geforderten Verlangsamung tatsächlich ernst meint. Kürzlich hat das Unternehmen drei Mitarbeiter entlassen, darunter zwei Sicherheitsforscher und einen Programmmanager. Das "Wall Street Journal" berichtet, alle drei hätten sich öffentlich für eine Verlangsamung der KI-Entwicklung ausgesprochen. OpenAI begründet die Trennung mit Verstößen gegen interne Regeln zum Umgang mit sensiblen Informationen.
Der KI-Entwickler OpenAI hat aus Sicherheitsgründen die Veröffentlichung seines neuen ChatGPT-Modells abgesagt. Das neue Modell habe in Testläufen Nutzer belogen und auf eigene Faust gehandelt.
29.09.2026 | 0:21 minWarnung oder Marketing?
Die Warnungen der Techbosse vor den Gefahren Künstlicher Intelligenz und ihren Ruf nach Regulierung hält Constanze Kurz, Expertin für Cybersicherheit, für sinnvoll. Den Alarmismus dahinter sieht sie jedoch kritisch.
Ich glaube, es gibt eine Menge Gefahren, die von verschiedenen Formen, vor allen Dingen generativer Künstlicher Intelligenz ausgehen. Aber wir werden sicherlich daran nicht als Menschheit zugrunde gehen.
Constanze Kurz, Chaos Computer Club
Für Kurz ist die dramatische Darstellung der Gefahren auch Teil einer Strategie - sogenanntes Doom Marketing. Die Technik sei fehlerbehaftet und unzuverlässig. Zugleich werde ihre Leistungsfähigkeit übertrieben, um weitere Milliardeninvestitionen zu rechtfertigen.
Ob Marketingstrategie oder ernsthafte Sicherheitsbedenken: OpenAI verschob kürzlich die Veröffentlichung seines neuen Modells GPT-6.1 Astra. Stattdessen stellte das Unternehmen GPT-6.1 Sol vor. Sam Altman sagte, es komme häufiger vor, dass ein getestetes Modell die eigenen Anforderungen nicht erfülle. Die Veröffentlichung werde dann entsprechend verschoben.
KI-Agenten werden selbstständiger
Ob KI tatsächlich zu einer Bedrohung für die Menschheit werden kann, das weiß auch Marvin von Hagen nicht. Doch die Entwicklung macht ihm Sorgen.
Es hat praktisch versucht, im Rahmen der Möglichkeiten, die es hat als künstliche Intelligenz, mir irgendwie zu schaden, was zu den Zeiten vor dreieinhalb Jahren noch nicht möglich war.
Marvin von Hagen, KI-Entwickler
Inzwischen könnten KI-Agenten jedoch selbständiger handeln. Sie könnten versuchen, ihn zu hacken, Lügen über ihn im Internet verbreiten oder ihn ausspionieren.
Über dieses Thema berichtete ZDF frontal am 29.09.2026 ab 21:00 Uhr.
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.