Sich selbst verbessernde KI – Ex-Anthropic-Forscher sieht wegen KI die Menschheit bedroht

KI-Entwickler Jacob Coxon hat bei Anthropic gekündigt. Dies, weil er nicht mitverantwortlich sein wolle für das, was da in den Labors geschieht. Er sagt: KI könnte 2040 die Menschheit töten. Und KI-Firmen, die immer mächtigere Modelle entwickeln, «spielen mit unserem Leben».

Coxon arbeitete drei Jahre lang an Systemen der leistungsstärksten KI – und er ist nicht die einzige solche Stimme. Einordnungen von SRF-Digitalredaktor Guido Berger.

Guido Berger

Leiter SRF Digital-Redaktion

Personen-Box aufklappen Personen-Box zuklappen

Guido Berger leitet die SRF Digital-Redaktion und erklärt seit 2006 digitale Technologie und Games.

Mehr Artikel von Guido Berger

Wie begründet Jacob Coxon seine Aussagen?

Sein Gedankengang ist wie folgt: Aktuell nehmen die Fähigkeiten von KI sehr schnell zu. Das Ziel ist die sogenannte RSI (recursive self improvement), also dass KI so gut im Forschen und Programmieren wird, dass sie sich selber verbessern kann. Wenn das gelingt, dann werden die Fähigkeiten dieser KI exponentiell besser. Dann entsteht eine Superintelligenz, die uns überflügelt. Jacob Coxon glaubt wie viele andere in der Industrie, dass das Erreichen der RSI nur noch eine Frage von wenigen Jahren ist.

Welche Gefahren drohen?

Die Szenarien von KI-Entwickler Coxon und anderen klingen sehr nach Science-Fiction: dass diese Superintelligenz Menschen beispielsweise umbringt, weil sie verhindern will, dass sie abgeschaltet wird; dass die KI ein tödliches Virus entwickelt und auf die Menschen loslässt. Diese Szenarien gehen immer von der Annahme aus, dass diese sich selbst verbessernde KI bald Realität wird und es in dieser kurzen Zeit den Herstellern der KI nicht gelingt, die KI sicher unter Kontrolle zu behalten.

Wird ein Verlust der Kontrolle über KI Tatsache?

Es gab in letzter Zeit einige Beispiele von neuen Modellen, die selbstständig Systeme gehackt haben, um Schranken einer Testumgebung zu umgehen. Wie man solche mehr oder weniger autonomen KI-Agenten sicher baut, ist noch unklar. Wie unterscheidet ein Agent zwischen guten und schlechten Anweisungen? Wie gibt man dem Agenten präzise Ziele vor? Wie schränkt man ein, welche Mittel zum Erreichen dieser Ziele erlaubt sind? Also: Wie stellt man sicher, dass die KI im Interesse der Menschen handelt? Diese Frage ist noch völlig offen. Diese Kombination aus starker Zunahme von KI-Fähigkeiten und gleichzeitigem Unwissen über KI-Kontrolle ist es, was den Leuten wie Jacob Coxon Sorgen macht.

Sind die KI-Firmen in einem Wettlauf gefangen?

Ja. Denn die Erwartung der KI-Firmen ist: Wer diese sich selbst verbessernde KI schafft, der bekommt unendlich Macht und Reichtum. Natürlich hat das auch eine geostrategische Komponente; dass diese Unternehmen in bestimmten Ländern beheimatet sind und diese Länder auch die entsprechenden Fähigkeiten für sich wollen. Vor diesem Hintergrund bezweifle ich, dass es möglich ist, diesen Wettlauf zu bremsen.

Wo stehen wir in Sachen Regulierung von KI?

Die Staaten stehen vor einem schwierigen Dilemma: Nicht sie forschen an der KI, sondern Unternehmen. Sollen beispielsweise die USA auf die Bremse treten, um allenfalls drastische Sicherheitsprobleme zu verhindern? Oder schiessen sie sich damit selbst ins Knie, weil die Konkurrenz aus China die Superintelligenz entwickeln könnte? Man muss davon ausgehen, dass Regulierung allein diese Probleme nicht löst und dass eine komplette Kontrolle dieser KI-Agenten nicht gelingt. Für mich bleibt aber die Kernfrage, ob es überhaupt möglich ist, eine sich selbst verbessernde KI zu bauen. Die benötigt ausserdem sehr viel Rechenleistung und Energie, die nicht unbegrenzt verfügbar sind. Das verleitet mich dazu, trotz lautstarker Panik aus KI-Kreisen deren Prognosen etwas anzuzweifeln.