«Wenn wir Maschinen Menschen töten lassen, was bleibt von uns?»

Darum gehts

• Eine Uno-Konferenz in Genf entscheidet am Freitag über Regeln für KI-Waffen, die selbstständig töten.
• Die USA und Russland lehnen einen verbindlichen Vertrag ab und bieten nur unverbindliche Gespräche über fünf Jahre an.
• Aktivistin Beatrice Fihn warnt vor KI-Zielsystemen und erwartet von der Schweiz als Konferenzleiterin einen klaren Auftrag.

Frau Fihn, bei KI-Waffen denken viele noch immer an den «Terminator». Was ist Ihr Horrorszenario?

Lange war das tatsächlich Science-Fiction. Im letzten Jahr hat sich das verschoben. Ich habe schreckliche Drohnenaufnahmen gesehen, vor allem aus der Ukraine, von beiden Seiten: Soldaten, die versuchen, sich einer Drohne zu ergeben. Sie wissen nicht, ob da jemand ist, der sie sieht, oder nicht. Stellen Sie sich vor, Sie stehen vor einer Maschine und sagen: Bitte töte mich nicht. Und Sie wissen nicht, worauf sie ihre Entscheidung stützt.

Das ist eine grauenhafte Vorstellung. Aber es stirbt ein Soldat in einem Krieg, und im Krieg wird getötet. Was ist die grössere Dimension?

Die Zielauswahl. KI kann extrem gefährlich werden, sie ist ein Rezept für ethnische Säuberungen. Man kann Ziele nach der Haarfarbe bestimmen. Man kann alle Menschen mit bestimmten äusseren Merkmalen finden, mit dieser Hautfarbe, mit jenen religiösen Symbolen. Das schafft Gelegenheiten für Massenverbrechen in riesigem Ausmass.

Was davon ist heute schon Realität?

Wir haben den Einsatz von KI im Iran gesehen, im Libanon, in der Ukraine, in Gaza. Ob wir gerade die Schwelle zu vollständig autonomen Waffen überschreiten, ist die Frage. Die «New York Times» berichtete diesen Sommer von einer russischen Drohne, die vollständig autonom gewesen sei und drei ukrainische Zivilisten getötet habe, darunter eine Studentin. Ich glaube nicht, dass sie auf diese Personen zielte. Sie zielte auf ein Gebäude, in dem sich Zivilisten aufhielten.

Und in den anderen Kriegen?

KI ermöglicht eine Beschleunigung der Gewalt. Im Iran-Krieg waren es 1000 Ziele in 24 Stunden. Im Libanon griff Israel 100 Ziele in weniger als einer Stunde an. Wer sich mit Waffen und Krieg befasst, fragt sich: Wie überprüft man die Eigenschaften von 1000 Zielen mit seinen Juristen? Was ich faszinierend finde: Die KI, die das Militär einsetzt, ist dieselbe, die wir benutzen. Wenn Sie Claude oder Chatgpt um 1000 Ziele bitten, bekommen Sie 1000 Ziele. Ob sie gut sind oder nicht, spielt keine Rolle.

In Gaza setzte Israel ein System namens «Lavender» ein. Was ist dort geschehen?

Investigative Journalisten in Israel deckten auf, dass die Armee KI-Systeme für die Zielerfassung nutzte. Die Waffe entschied dort nicht selbst, es war ein Mensch, der feuerte. Aber die KI verfolgte und markierte Personen, die der Hamas zugerechnet wurden. Sehr oft wurden sie zu Hause angegriffen, wenn sie zu ihren Familien heimkehrten. Israel sagte: Bei uns entscheidet am Ende ein Mensch. Die Recherche zeigte aber, dass dieser Mensch nur Sekunden hatte, um die Angaben zu prüfen. Die KI wählt das Ziel, und Sie haben ein paar Sekunden für Ja oder Nein. Kein Mensch kann das wirklich.

Konsequenzen hatte es keine.

Noch nicht. Die Konsequenz wäre, dass die israelische Armee sich selbst strafrechtlich verfolgt. Das ist bei Kriegsverbrechen das grosse Problem, wenn sie staatlich gedeckt sind: wenn der Befehl, die Schwelle zu senken, von ganz oben kommt und kein einzelner Soldat eine Grenze überschritten hat.

Wer sagt offen, dass er Waffen will, die selbstständig töten?

Sehr wenige. Jemand wie Alex Karp von Palantir sagt es direkt. Viele Regierungen wollen sie ebenfalls, darunter die USA und Russland, sie sagen es aber nicht so. Sie sagen, die bestehenden Gesetze genügten. Oder Sie haben Pete Hegseth, der von einer Armee spricht, in der KI an erster Stelle steht. Das Argument lautet: KI ist grossartig, sie macht die Arbeit besser, sie ist viel klüger als der Mensch, also töten wir weniger Zivilisten.

Was ist an diesem Argument falsch?

Es ist sehr verlockend. In manchen Fällen lassen sich Müdigkeit und Emotionen ausschalten. Aber wir wissen es nicht, und was wir bisher von KI sehen, deutet nicht darauf hin, dass sie zu weniger Kollateralopfern führt. Dazu kommt das Tempo. Bei den 1000 Zielen in 24 Stunden im Iran mag jeder einzelne Angriff rechtmässig gewesen sein, der Schaden in der Summe ist es nicht mehr. Die Pflegenden und die Ärzte in einem Gebiet kommen mit 1000 Angriffen nicht nach. Das Gesundheitswesen bricht zusammen, und dann stirbt auch, wer nur leicht verletzt ist, weil niemand mehr da ist, der helfen kann.

Wo sollte KI möglichst gar nie autonom entscheiden können?

Wenn es um Leben und Tod geht: im Krieg und bei der Polizei

Sie haben jahrelang gegen Atomwaffen gekämpft. Was unterscheidet KI-Waffen von der Bombe?

Die Technologie ist billiger und leichter zugänglich, und sie entwickelt sich viel schneller als ein Atomwaffenprogramm. Man kann sie überall einsetzen, auch als Terrorgruppe, auch als Rebellen. Eine Atomwaffe braucht riesige Trägersysteme, eine Interkontinentalrakete, ein U-Boot, ein Flugzeug. Das hier ist winzig, es passt auf eine Drohne. Die Hürde liegt viel tiefer. Und die Entwicklung wird von Firmen angetrieben statt von Staaten. Diese Tech-Konzerne prägen unser Weltbild, sie haben all unsere Daten, sie wissen alles über unser Leben.

Vor der Atombombe fürchten sich alle, darum setzt sie niemand ein. Gilt das für KI-Waffen auch?

Ich bezweifle, dass sich die abschreckende Wirkung von Atomwaffen beweisen lässt. Der Unterschied ist: Atomwaffen sind für die eigentliche Kriegsführung ziemlich nutzlos. KI-Waffen sind einsetzbar. Und eine Atomwaffe ist eine Atomwaffe. Autonomie in Waffen ist eine Skala mit offenen Enden. Man kann KI bei der Herstellung einsetzen, bei den Informationen für die Zielerfassung, oder man lässt sie alles steuern, die Ziele auswählen und entscheiden, wer getötet wird. Es ist ein wenig wie im Journalismus: Der Text ist nicht von der KI geschrieben, aber wenn Sie mit KI recherchieren und redigieren, wo liegt dann die Grenze?

Lässt sich das überhaupt kontrollieren?

Es gab diesen amerikanischen Geheimdienstbericht über ein chinesisches Frachtschiff auf dem Weg in den Nahen Osten, das Bauteile für Atomwaffen geladen haben sollte. Das ging mehrere Stufen die Befehlskette hinauf, man bereitete eine militärische Reaktion vor. Dann merkte jemand, dass der Bericht mit KI erstellt worden war und falsche Informationen enthielt. Es wurden keine Flugzeuge losgeschickt, aber die Sorge war gross.

Eine KI-Halluzination hätte also beinahe einen Militäreinsatz ausgelöst. Was für ein System war das?

Man weiss es nicht. Vielleicht war es bloss ein Nachrichtendienstoffizier, der zu faul war, eine Chatgpt-Antwort zu verifizieren. Solche Dinge kommen immer häufiger vor. Mit autonomen Waffen hat das nichts zu tun, es war keine Waffe im Spiel. Es geht um die grössere Frage: um das menschliche Urteil und um die Überprüfung.

Ab Montag tagen in Genf die Staaten. Worüber entscheiden sie genau?

Das Thema steckt seit über zehn Jahren in einem Forum der Uno fest, das sich mit konventionellen Waffen befasst. Dort begannen einst auch die Gespräche über Landminen, Streumunition und Blendlaser. Das Problem: Es gilt der Konsens, alle Regierungen müssen einverstanden sein. Jetzt liegt ein konkreter Vorschlag vor, in den nächsten zwei Jahren ein rechtlich verbindliches Abkommen auszuhandeln. Am Freitag entscheidet sich, ob er durchkommt.

Was stünde in diesem Abkommen?

Ganz einig ist man sich nicht. Die Mehrheit der Länder will vollständig autonomen Waffen verbieten, Menschen zu töten. Dazu kämen breitere Regeln für alles andere: wie man solche Waffen einsetzen darf und wie viel menschliche Kontrolle nötig ist.

Was heisst «menschliche Kontrolle»?

Lange hiess es, der Mensch müsse «in the loop» sein, also irgendwo im Ablauf vorkommen. Das sagt wenig. Wir verlangen eine bedeutsame menschliche Kontrolle, und was bedeutsam ist, hängt von den Folgen ab. Lasse ich eine KI meinen Kalender führen, braucht es sehr wenig. Will jemand einen Atomkrieg beginnen, sehr viel.

Die USA und Russland haben bereits abgewinkt.

Ja, sie wollen keinen rechtlich verbindlichen Vertrag. Sie sind bereit, in den nächsten fünf Jahren über eine unverbindliche politische Erklärung zu diskutieren, wohlgemerkt zu diskutieren, nicht zu verhandeln. Keine Verhandlungen, eine längere Frist, nichts Verbindliches: Diese drei Dinge machen das Ganze nutzlos. Wenn wir fünf Jahre diskutieren, sind diese Waffen überall auf den Schlachtfeldern. Das verschafft Palantir die Zeit, sie schnell genug zu produzieren. Es ist ein Nein, ohne Nein zu sagen. So geht Diplomatie: Man sagt nie offen Nein, man verzögert.

Und wenn die Konferenz scheitert?

Es gibt Wege darum herum. Die Mehrheit kann die Verhandlungen trotzdem aufnehmen. Sie kann in die Uno-Generalversammlung gehen und abstimmen lassen. Einen Vertrag kann man überall aushandeln, es braucht nur einen Konferenzsaal und Einladungen. In diesem Forum sitzen über 120 Regierungen, und jede hat faktisch ein Veto. Im Sicherheitsrat sind es fünf. Gebrauch davon machen aber nur wenige, und meist sind es dieselben wie im Sicherheitsrat.

Was nützt ein Vertrag, bei dem die USA, Russland und China fehlen?

Wir messen solche Verträge gern an einer makellosen Fantasiewelt. Nehmen Sie die Chemiewaffen: Wir haben sie verboten, praktisch alle Staaten machen mit. Dann heisst es: Und Syrien? Ich will das nicht kleinreden. Aber stünden wir besser da, wenn wir Chemiewaffen nie geregelt hätten? Tun wir nichts, weil die USA und Russland nicht mitspielen? Oder tun wir etwas mit der Mehrheit der Staaten und setzen den Standard? Wir sind immer dafür, etwas zu tun.

Die Schweiz präsidiert die Konferenz, sie ist die Heimat der Genfer Konventionen und des Roten Kreuzes. Bei der Regulierungsfrage scheint sie trotzdem ambivalent.

Das gilt für viele Länder, die Schweiz ist da kein Sonderfall. Man findet: Das ist schlimm, wir sollten etwas tun. Aber wenn die anderen es tun, wollen wir uns die Möglichkeit offenhalten. Es ist die Angst, voranzugehen und dann allein dazustehen. Die Schweizer Regierung hat ein neues Abkommen stark unterstützt, auf dem Papier hat sie die richtige Haltung. Die Frage ist, ob sie dem Druck der grossen Militärmächte lange genug standhält, um etwas Bedeutsames zu erreichen.

Was erwarten Sie von der Schweiz?

Diplomaten machen keine Politik, sie machen Diplomatie. Ihre Aufgabe an solchen Konferenzen ist, mit einer Einigung hinauszugehen. Die Aufgabe der Politiker ist, das Problem zu lösen. Wenn die Ukraine, Palästina, Israel, Russland, die USA und China dasselbe Dokument unterschreiben sollen, steht am Ende nichts mehr drin: Wir haben uns getroffen, wir haben über Dinge geredet. Darum braucht es Politiker in Bern, die festhalten: Das wollen wir, das ist der Auftrag an unsere Diplomaten. Es braucht Parlamentarier, die den Aussenminister fragen: Was tun Sie, wenn es für etwas Gutes keinen Konsens gibt?

Warum sollte sich ein kleines Land mit den Grossmächten anlegen?

Ich bin Schwedin und lebe in der Schweiz. Die Schweiz überlebt nicht ohne Völkerrecht, egal, wie viel sie in ihre Armee investiert. Einem Krieg mit einem Land wie den USA hält sie nicht stand, Schweden auch nicht. Abkommen, die unsere Grenzen respektieren, sind für uns wichtiger als Waffen. Es ist wie mit den Milliardären: Sie brauchen keine Regeln, sie können sich alles kaufen. In Kalifornien kaufen sie sich ihre private Feuerwehr. Eins gegen eins sind die Mächtigen zu stark. Aber wir sind stärker als sie, wenn wir uns weltweit zusammenschliessen.

Sie haben Umfragen gemacht. Was wollen die Leute?

Die Resultate sind überall ähnlich: Eine deutliche, teils überwältigende Mehrheit der Menschen will diese Waffen nicht, sie fühlen sich bloss machtlos. Wir haben im Frühling in acht Ländern fragen lassen, von Brasilien bis zu den USA. Überall war eine Mehrheit für ein Verbot, insgesamt rund 60 Prozent, in Konfliktgebieten deutlich mehr. Das Future of Life Institute kam in Grossbritannien, Deutschland und Frankreich auf noch höhere Werte: Rund neun von zehn Befragten waren für einen internationalen Vertrag.

In der Schweiz liesse sich eine solche Mehrheit per Volksinitiative in ein Gesetz giessen. Warum gibt es keine?

Es sollte eine geben. Zu den Atomwaffen kommt eine Abstimmung: Die Unterschriften für den Beitritt zum Atomwaffenverbotsvertrag sind beisammen, ich rechne mit 2028. Eine Abstimmung zwingt die Leute, sich mit einer Sache zu befassen. Das Material kommt nach Hause, es gibt Plakate, Debatten im Fernsehen und in den Zeitungen. So gelangen Fragen auf die Tagesordnung, die sonst zu wenig Beachtung finden. Das würde ich bei den autonomen Waffen sehr gern sehen. Falls eine Partei darüber nachdenken will: Los gehts.

2027 ist Genf Gastgeber des internationalen KI-Gipfels. Gehört das Thema KI-Waffen dort nicht aufs Programm?

Ja, es müsste ein zentraler Punkt sein. Was immer wir mit KI tun: Dafür zu sorgen, dass sie uns nicht tötet, ist eine ziemlich gute Idee und eine Linie, die sich einfach ziehen lässt. Die KI-Regulierer haben zu viel Angst, das Militärische anzufassen. Aber militärische und zivile KI lassen sich nicht trennen. Microsoft, Google, sie alle beginnen, an militärischer KI zu arbeiten. Es ist wie in der Luftfahrt: Boeing baut Flugzeuge und Raketen, weil dieselbe Technik dahintersteckt. Wenn wir jetzt in Genf am Konsens scheitern, wäre der Gipfel ein guter Ort, um zu zeigen, wie es weitergehen kann.

Zuerst der erfolgreiche Kampf gegen die Atomwaffen, jetzt knöpfen Sie sich gegen den erklärten Willen von Grossmächten die KI vor. Was treibt Sie an?

Ich glaube nicht an eine Welt, in der weisse Tauben fliegen und alle in Frieden und Harmonie leben. Konflikt gehört ein Stück weit zur menschlichen Natur. Aber wir können begrenzen, wie zerstörerisch er wird. Ich arbeite seit 2006 an diesen Fragen, und noch nie standen sie alle gleichzeitig zuoberst: Atomwaffen, jetzt KI-Waffen, sogar Landminen und Streumunition sind zurück. Die Regeln entstanden nach dem Zweiten Weltkrieg. Inzwischen ist eine ganze Generation gekommen und gegangen, und die Erfahrung der grossen Kriege ist vergessen.

Wer bezahlt Ihre Arbeit?

Wir haben Geld von Schweizer und amerikanischen Stiftungen und von Regierungen, die uns unterstützen, etwa Österreich. Eine Mischung.

Sie legen sich mit sehr mächtigen Leuten an. Sind Sie in Gefahr?

Persönlich nicht, glaube ich. Aber ich halte das nicht für selbstverständlich. Das Klima wird feindseliger gegenüber Aktivisten und der Zivilgesellschaft. Als Schweden der Nato beitrat, war ich – als Schwedin – öffentlich dagegen, ich fand, wir hätten neutral bleiben sollen. Da wirft man mir vor, ein russisches Propagandawerkzeug zu sein, eine nützliche Idiotin. Dabei ging vergessen, dass Russland auch gegen zivilgesellschaftliche Organisationen wie unsere arbeitet. Das Klima in ganz Europa ist martialischer geworden. Die Armee ist plötzlich wieder ein patriotischer Dienst, nationalistische Töne machen sich breit. Und ja: Ich mache mir Sorgen, dass die Arbeit, die wir tun, eines Tages illegal sein wird.

Als Mensch von einer Maschine getötet zu werden oder von einem Menschen – hat dieser Unterschied auch eine spirituelle Ebene?

Absolut. Es hat einen Grund, dass sich der Papst so stark mit KI befasst. Es berührt die Frage, was es heisst, Mensch zu sein, und was wir hinzunehmen bereit sind. Ob ein Mensch etwas tut oder eine Maschine, ist nicht dasselbe. Mich hat an diesem Thema das fast Philosophische angezogen: Was geben wir auf? Wenn wir Maschinen Menschen töten lassen, was bleibt dann von uns?

Bleibt die Menschenwürde intakter, wenn man von einem Menschen getötet wird?

Ich bin noch nie getötet worden, ich weiss also nicht, wie sich das in diesen Sekunden anfühlt. Es ist absurd, sich solche Fragen zu stellen. Aber nehmen Sie etwas, bei dem viel weniger auf dem Spiel steht, ein Bewerbungsgespräch. Es hat etwas Unmenschliches, vor einer KI zu sitzen, die Ja oder Nein sagt zu einer Stelle oder einem Studienplatz. Mein Mann hat das vor einer Weile erlebt. Soll ich lächeln? Soll ich einen Witz machen wie bei einem Menschen? Worauf achten die?

Und was folgt daraus für den Krieg?

In der Medizin gibt es unglaubliche Roboter, die operieren können. Man lässt sie nicht unbeaufsichtigt operieren, das ist dort ein sehr starkes Prinzip. Wir erlauben der KI im Moment nicht, ohne menschliche Aufsicht Leben zu retten. Warum sollten wir ihr erlauben, ohne Aufsicht Menschen zu töten? Es macht einen grundlegenden Unterschied, ob jemand aus seinen eigenen Gründen entscheidet oder ein Algorithmus. Was immer wir über KI denken, ob sie ein Bewusstsein entwickelt oder nicht: Es bleibt eine Folge von Einsen und Nullen.

In der KI-Branche selbst warnen manche, die Technologie könne die Menschheit auslöschen. Sie kennen solche Szenarien von den Atomwaffen.

Mitarbeiter von Anthropic und OpenAI kündigen und warnen, diese Technologie könne die Menschheit umbringen, mit einer Wahrscheinlichkeit von über zehn Prozent. Das fühlt sich in vielem an wie bei den Atomwaffen: eine gewaltige existenzielle Bedrohung, und die Menschen fühlen sich machtlos. Wir stürzen uns in ein Wettrüsten, wir müssen es haben, weil die anderen es haben. Was fürchten wir eigentlich zu verlieren? Was geschähe, wenn China etwas mehr KI hätte als wir? Seit 1945 haben wir auch viel gelernt.

Die Frage steht ja auch nicht nur bei den KI-Waffen im Raum: Raubt uns die KI am Ende unsere Menschlichkeit?

Ich glaube schon, ein Stück weit, zumindest besteht die Gefahr. Mit dem Versuch, alles Schwierige zu entfernen, werden wir weniger Mensch. Wenn Sie etwas von Grund auf selbst kochen, sind Sie danach zufrieden. Die wachsende Krise der psychischen Gesundheit hat viel damit zu tun: Was sollen wir tun, wenn wir nichts mehr tun müssen? Die Anstrengung ist der Punkt.

Für die neusten AI News: Jetzt Push abonnieren!

Wir bereiten täglich diejenigen KI-News auf, die im echten Leben und am Arbeits- oder Ausbildungsplatz einen ganz praktischen Nutzen bringen. Dafür lassen wir ganz viel Nerdiges und kurzlebige News zum Thema weg. Weil es aber auch in der AI-Welt manchmal richtig schnell gehen muss, lohnt es sich, hier den neuen AI-Push in der App zu aktivieren und auf «bestätigen» zu klicken (funktioniert nur in der App).

So gehts: Installiere die neuste Version der 20-Minuten-App. Tippe unten auf «Profil», dann aufs «Einstellungen»-Zahnrad und schliesslich auf «Push-Mitteilungen». Wähle hier die gewünschten Themen aus.