"Kill Switch" für KI? Kalifornien will Notschalter

In der Debatte um existenzielle Risiken durch Künstliche Intelligenz könnte der US-Bundesstaat Kalifornien eine Notabschalt-Vorrichtung für KI-Software vorschreiben. Ein solcher Mechanismus gehört zu einer Liste von Maßnahmen, zu denen dem demokratischen Gouverneur Gavin Newsom bis Mitte November Vorschläge gemacht werden sollen.

Zu weiteren Ideen gehören unabhängige Beobachter in großen KI-Laboren sowie striktere Verpflichtungen, über Sicherheits-Zwischenfälle zu berichten, wie aus einer von Newsom unterzeichneten Anordnung hervorgeht. Über einen sogenannten "Kill Switch" für Künstliche Intelligenz wird schon seit einiger Zeit diskutiert - noch ist aber unklar, ob eine solche Vorrichtung zur Notabschaltung überhaupt realistisch ist.

Kalifornien könnte KI-Regulierung prägen

Kalifornien gilt als wichtigster Standort bei der Entwicklung Künstlicher Intelligenz. Vor allem in San Francisco und dem Silicon Valley sitzen führende KI-Unternehmen wie der ChatGPT-Entwickler OpenAI, dessen schärfster Rivale Anthropic und Google. Damit könnte der Bundesstaat auch bei der Regulierung eine zentrale Rolle spielen.

• ChatGPT, Reddit, Roblox: Was strengere Kontrollen bedeuten

Newsoms zweite und letzte Amtszeit als kalifornischer Gouverneur endet Anfang kommenden Jahres. Der 58-Jährige gilt als ein möglicher Bewerber der Demokraten für die Präsidentenwahl 2028.

Führende KI-Entwickler wollen Tempo drosseln

Die Debatte um Gefahren Künstlicher Intelligenz heizte sich in den vergangenen Wochen auf, insbesondere nachdem eigenständige Hacking-Attacken durch Software mit Künstlicher Intelligenz bekannt geworden waren. Mitarbeiter von KI-Laboren warnten vor dem Risiko, dass die Menschheit die Kontrolle über Künstliche Intelligenz verlieren oder sogar von ihr ausgelöscht werden könnte.

• Auch Googles KI Gemini führte Cyberattacken durch
• Warum das Silicon Valley vor der eigenen Technologie warnt

Neben anderen sprach sich auch Anthropic-Chef Dario Amodei dafür aus, das Entwicklungstempo bei hochentwickelter KI zu bremsen und die Aufsicht zu verstärken. OpenAI-Chef Sam Altman unterstützte den Vorschlag.

Experten plädieren für unabhängige Aufsicht

Inzwischen fordern Dutzende renommierte Experten aus der Branche führende KI-Labore auf, eine unabhängige Aufsicht in ihren Unternehmen zuzulassen. Die Aufseher müssten wie führende Manager Zugang zu Systemen haben und mit zuständigen Mitarbeitern kommunizieren können, heißt es in einem offenen Brief.

Zu den Unterzeichnern gehört der Physik-Nobelpreisträger und ehemalige Google-Forscher Geoffrey Hinton, der als einer der wichtigsten Köpfe hinter modernen KI-Systemen gilt. Anthropic gab als ersten Aufsichtspartner die Firma Faculty bekannt - eine Tochter des Beratungsriesen Accenture.

KI-Weltuntergangsszenarien

:Ein Hochrisiko-Experiment, dessen Ausgang niemand kennt

Die Warnungen vor den Risiken Künstlicher Intelligenz werden immer lauter. Was ist dran an den Weltuntergangsszenarien? Und wie besorgniserregend sind die aktuellen Entwicklungen?

von Jan Schüßler

mit Video5:33

Analyse

Börsengang von Anthropic und OpenAI verzögert

Der Börsengang von Anthropic verzögert sich unterdessen dem "Wall Street Journal" zufolge bis November. Am Markt war zuvor eine Aktienplatzierung bereits im Oktober erwartet worden. Die Entscheidung für einen Termin im November sei bereits vor den jüngsten drastischen Warnungen gefallen, hieß es unter Berufung auf informierte Personen. Ein Gedanke dahinter sei, Investoren Geschäftszahlen für das dritte Quartal vorlegen zu können.

OpenAI-Chef Altman sagte jüngst in einem Interview des Magazins "Fortune", sein Unternehmen werde in diesem Jahr wohl nicht mehr an die Börse gehen. Zur Begründung verwies er auf die aktuelle Situation.

Quelle: dpa

Über die Risiken Künstlicher Intelligenz berichtete das ZDF in verschiedenen Sendungen, etwa im heute journal am 16.09.2026 um 21:45 Uhr.