Nach KI-Halluzination: US-Armee hätte laut CNN beinahe Schiff aus China geentert

Das US-Militär stand im Frühling kurz davor, ein chinesisches Frachtschiff im Nahen Osten zu entern – weil das laut einem mit KI-Hilfe generierten Bericht Komponenten eines Atomwaffenprogramms an Bord haben sollte. Das hat CNN von mehreren eingeweihten Personen erfahren und schreibt, dass die Militärflugzeuge schon in der Luft waren, als der potenziell extrem gefährliche Fehler entdeckt wurde. Was das Schiff tatsächlich geladen hatte, hat der US-Nachrichtensender aber nicht aufdecken können. Der Bericht sei „komplett falsch“ gewesen und habe „fast einen Krieg ausgelöst“, zitiert CNN eine Quelle. Denn jegliche Militäroperation gegen ein chinesisches Schiff hätte in einen viel weiteren Konflikt eskalieren können.

Fehler in letzter Minute entdeckt

Wie CNN weiter ausführt, hat in dem Fall ein Analyst eines US-Spezialkommandos einen KI-Chatbot zu einem Geheimdienstbericht über das fragliche Schiff aus China befragt. Ob es sich um einen kommerziell verfügbaren oder einen Chatbot der US-Regierung gehandelt hat, sei nicht klar. „Der Bot kombinierte öffentlich zugängliche Informationen mit geheimen nachrichtendienstlichen Erkenntnissen aus Regierungsbeständen und gelangte zu seiner schicksalhaften Schlussfolgerung hinsichtlich der Ladung des Schiffs“, führt der Nachrichtensender aus. Der anonyme Analyst habe das Ergebnis dann in einen standardisierten Geheimdienstbericht – „jener Art, der Militärangehörige vertrauen“ – eingearbeitet und weiterverbreitet. Dann nahm der Fall seinen Lauf.

Auf Basis des Berichts sei das US-Militär dann aktiv geworden, schreibt CNN noch. Es seien Pläne ausgearbeitet worden, das Schiff abzufangen und zu übernehmen. Bewaffnete Angehörige des US-Militärs hätten sich darauf vorbereitet, Flugzeuge seien bereits in der Luft gewesen. Erst zu diesem Zeitpunkt hätten andere Militärangehörige den Bericht genauer unter die Lupe genommen und den Anteil des KI-Systems entdeckt. Es sei deutlich geworden, dass die mutmaßliche Fracht des Schiffs falsch angegeben worden sei, die Operation wurde demnach abgeblasen. Wann genau sich der Vorfall ereignet hat, geht aus dem Bericht nicht hervor. CNN schreibt lediglich, dass das im Frühjahr passiert sei.

Nachdem seit Tagen darüber diskutiert wird, ob und wie KI-Technik die Menschheit auslöschen kann, zeigt die Episode eine zuletzt weniger beleuchtete Gefahr durch die rasche Übernahme der neuen Technik. Auf Basis erfundener oder irreführender Daten eines Chatbots könnten Menschen Fehlentscheidungen mit katastrophalen Folgen treffen. CNN weist darauf hin, dass das US-Militär in stark wachsendem Umfang auf KI-Unterstützung bei der Auswahl von Zielen für Angriffe setzt. Dabei kommt zu der Gefahr der KI-Halluzinationen noch hinzu, dass die den Entscheidungen zugrunde liegenden Daten veraltet sein können. Das hat im Iran-Krieg womöglich dazu geführt, dass beim Angriff auf eine Schule ein Kriegsverbrechen begangen wurde, wie eine UN-Kommission ermittelt hat.