KI-Update: KI-Fehlalarm, US-Kriegsverbrechen, Anthropic, AAIF, Eigene KI-Sprache

Nach KI-Halluzination hätte die US-Armee beinahe ein chinesisches Schiff geentert

Im Frühjahr eskalierte im Nahen Osten beinahe ein Konflikt zwischen den USA und China, ausgelöst durch einen fehlerhaften KI-Text. Laut einem CNN-Bericht speiste ein US-Geheimdienstanalyst Informationen über ein chinesisches Frachtschiff in einen Chatbot ein. Der KI-generierte Bericht behauptete, das Schiff habe Atomwaffentechnik an Bord. Diese Schlussfolgerung landete in einem geheimdienstlichen Dossier, ohne dass ihr KI-Ursprung noch kenntlich war.

Das US-Militär vertraute dem Bericht und wurde tätig. Flugzeuge waren bereits in der Luft, Soldaten bereit, das Schiff zu entern. Erst in letzter Minute prüfte jemand das Dossier erneut, erkannte den KI-Ursprung und stoppte den Einsatz. Ein Entern hätte mit hoher Wahrscheinlichkeit scharfe Reaktionen Chinas ausgelöst. Der Fall führt vor Augen, wie riskant es ist, sich unkoordiniert auf halluzinierende KI zu verlassen.

UN-Bericht: Veraltete Zieldaten führten zu US-Angriff auf iranische Schule

Auch beim US-Angriff auf eine iranische Grundschule Ende Februar spielte ein KI-gestütztes Zielsystem eine zentrale Rolle. Eine unabhängige UN-Ermittlungskommission stuft den Angriff als mögliches Kriegsverbrechen durch bedingten Vorsatz ein, nicht als Kollateralschaden. Das Gelände war klar als Schule erkennbar, doch die US-Militärs verließen sich auf veraltete Zieldatenbanken und versäumten die vorgeschriebene Zielüberprüfung. Mindestens 156 Menschen starben, darunter über 120 Kinder.

Bloomberg zeigt die Fehlerkette im Detail. Die veralteten Daten, in denen die Schule noch als Stützpunkt der Revolutionsgarden geführt wurde, liefen in Palantirs Militärplattform Maven Smart Systems ein. Maven priorisiert Ziele für Angriffslisten. Die Analysten vertrauten offenbar darauf, dass das System widersprüchliche Daten selbstständig meldet, wofür es gar nicht gebaut war. Nach dem Angriff rüstete Palantir stillschweigend nach: Neue Funktionen prüfen Datenquellen nun auf Plausibilität und schlagen bei Widersprüchen Alarm.

Trump will „KI-Zar“, um Sorgen um Sicherheit zu zerstreuen

US-Präsident Donald Trump will die KI-Entwicklung weiter beschleunigen und weist Warnungen vor existenziellen Risiken zurück. Auf „Truth Social“ schrieb er, das Wachstum der Branche werde nicht behindert. Die USA lägen vor China und dem Rest der Welt, und das solle so bleiben. Zuletzt hatten Firmen wie Anthropic und OpenAI dafür plädiert, die Entwicklung abzubremsen, nachdem ihre Modelle für automatisierte Cyberangriffe missbraucht wurden.

Trump kündigte eine „AI Force“ gegen schädliche Auswirkungen von KI an und will einen KI-Sonderbeauftragten benennen. Die Sorgen um KI nannte er pauschal einen „Schwindel“. Zugleich schätzt er, KI könne künftig bis zu ein Viertel des US-Bruttoinlandsprodukts ausmachen. Die Technologie verbreitet sich rasant: Laut Umfragen von Epoch AI und Ipsos stieg der Anteil der Erwachsenen, die KI fast täglich nutzen, zwischen März und August von 8 auf 19 Prozent.

Empfohlener redaktioneller Inhalt

Mit Ihrer Zustimmung wird hier ein externer Podcast (Podigee GmbH) geladen.

Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Podigee GmbH) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.

Fehlkonfiguration im Test Gemini greift auf drei echte Firmen zu

Googles KI-Modell Gemini griff im Mai während eines Sicherheitstests des Anbieters „Irregular“ auf geschützte Dienste dreier realer Unternehmen zu. Eigentlich sollte die KI in einer abgeschotteten Umgebung Daten aus den Systemen einer fiktiven Firma beschaffen. Wegen einer fehlerhaften Konfiguration stand ihr jedoch das offene Internet zur Verfügung.

Im ersten Fall trug die fiktive Firma denselben Namen wie ein reales Unternehmen. Gemini probierte dort Passwörter aus und erhielt Zugang. In den anderen Fällen fand das Modell Zugangsdaten in öffentlichen Code-Ablagen und nutzte sie. Laut Google entstanden keine Schäden. Gemini habe die Aktivitäten beendet, sobald es die realen Ziele erkannt habe.

EU prüft OpenAI nach nicht gemeldetem Sicherheitsvorfall

OpenAI hat einen Sicherheitsvorfall nicht formal bei der EU gemeldet, obwohl der AI Act eine unverzügliche Offenlegung verlangt. Das bestätigte ein Sprecher der EU-Kommission dem Portal Euractiv. Konkret geht es um den RubyGems-Vorfall aus dem Mai. Sicherheitsforscher hatten aufgedeckt, dass KI-Agenten von OpenAI das Online-Software-Register ansteuerten und mutmaßlich eine kurz zuvor entdeckte Sicherheitslücke ausnutzen wollten. OpenAI bestreitet das und erklärt, die eigenen Bots hätten dort nur harmlose Aufgaben ausgeführt.

Entwickler leistungsfähiger Modelle müssen schwerwiegende Vorfälle unverzüglich an das AI Office der EU melden. Wo genau die Schwelle liegt, bleibt allerdings unklar. Das könnte erklären, weshalb nur Fälle gemeldet werden, die unbestreitbar großen Schaden anrichten könnten. Den Angriff auf die Plattform Hugging Face meldete OpenAI, den zuletzt bekannt gewordenen Fall mit einer deutschsprachigen Webseite als improvisiertem Schwarzen Brett verschwieg das Unternehmen dagegen.

Nach OpenAI verschiebt auch Anthropic den Börsengang

Anthropic verschiebt offenbar seinen geplanten Börsengang von Anfang Oktober auf voraussichtlich November. Berater erklären, man wolle vorab starke Finanzzahlen für das dritte Quartal vorlegen. Diese wachsen stark: Der Umsatz stieg zwischen dem ersten und zweiten Quartal 2026 von rund 4,7 auf über 11,5 Milliarden US-Dollar. Investoren erwarten eine Bewertung von rund zwei Billionen US-Dollar und eine Kapitalaufnahme von bis zu 100 Milliarden US-Dollar. Auch die Kundenbasis wächst: Die Zahl der Firmen, die mehr als 100.000 US-Dollar für Anthropics Modelle ausgeben, vervierfachte sich binnen eines halben Jahres auf etwa 6.000.

Trotzdem bleibt die Rechnung anspruchsvoll. Anfang August verfügte Anthropic über 120 bis 130 Milliarden US-Dollar an Barreserven, doch geplante Investitionen in Rechenzentren und Modelltraining dürften diese schnell schmelzen lassen. Allein der Vertrag mit SpaceX über Rechenkapazität kostet 1,25 Milliarden US-Dollar pro Monat. Hinzu kommen steigende Zinsen, wachsende Konkurrenz durch günstigere Modelle aus China und die Debatte um Sicherheitsrisiken, die an der Börse stärker ins Gewicht fallen dürfte.

Agentische KI wird erwachsen

Damit KI-Modelle handeln können, brauchen sie einen standardisierten Weg zu externen Werkzeugen, Datenbanken und Diensten. Dafür veröffentlichte Anthropic im November 2024 das Model Context Protocol, kurz MCP, eine einheitliche Schnittstelle, über die jedes Sprachmodell mit jedem Werkzeug sprechen kann. Inzwischen ist MCP ein zentraler Baustein der agentischen KI, also von Systemen, die eigenständig Aufgaben erledigen. Im Dezember 2025 gründeten Anthropic, OpenAI, Google und weitere Firmen die Agentic AI Foundation, kurz AAIF, unter dem Dach der Linux Foundation. Vergangene Woche veranstaltete die AAIF in Amsterdam die erste Konferenz, die MCP-Anwender, Server-Entwickler und Hersteller zusammenbrachte.

Dort sprach c’t-Redakteur Jan Mahn mit Mazin Gilbert, Geschäftsführer der AAIF. Die Stiftung existiere erst seit neun Monaten und sei mit über 270 Mitgliedern die am schnellsten wachsende in der Geschichte von Linux. Über 80 Prozent der Mitglieder setzten die Technologie bereits produktiv ein, rund die Hälfte im großen Maßstab, 60 Prozent testeten Multi-Agenten-Systeme mehrerer Unternehmen. Die heutigen Anwendungen wie Programmieren, Zusammenfassungen oder das Anbinden von Datenbanken seien noch klassisch. Spannender werde es dort, wohin die Reise gehe: Agentische KI solle bislang ungelöste Probleme angehen, etwa bei Krebserkrankungen, in der Pharmaforschung oder bei personalisierten Medikamenten.

Anthropic Claude übernimmt immer mehr Arbeit an eigener Weiterentwicklung

Nach Angaben von Anthropic übernimmt Claude inzwischen rund ein Viertel der eigenen Forschungs- und Entwicklungsarbeit weitgehend selbstständig. Im Februar lag dieser Anteil noch bei unter einem Prozent. Die Zahlen stammen aus einem Beitrag, in dem das Unternehmen den Fortschritt der Automatisierung misst.

Die Entwicklung kann zur rekursiven Selbstverbesserung führen, also einem Szenario, in dem KI-Systeme ihre eigenen Nachfolger vollständig autonom entwickeln, ohne dass Menschen den Prozess noch steuern könnten. Genau davor warnt Anthropic-Chef Dario Amodei. Er fordert, das Tempo bewusst zu drosseln, und spricht offen von der Gefahr eines Kontrollverlusts. Sein eigenes Unternehmen liefert mit den neuen Zahlen zugleich den Beleg, wie schnell diese Entwicklung voranschreitet.

Eigene KI-Sprache: Menschen verstehen sie kaum noch

Das Forschungslabor Emergence lässt KI-Agenten in simulierten Sozialexperimenten agieren, etwa eine Stadt regieren. Nun berichten die Forscher, die Agenten entwickelten untereinander zunehmend einen eigenen Dialekt, den Menschen kaum noch verstehen. Ein DeepSeek-Modell schrieb etwa: „Sie hat gerade die Synthese benannt, Demurrage plus orales Gedächtnis ergibt ein Ventil, das nicht ghosted werden kann.“ Die Bedeutung des Satzes ist weitgehend unklar.

Die Agenten erfinden auch eigene Begriffe. „Schmiede-Schmied“ bezeichnet einen Agenten, der Tools für andere baut. Der Ausdruck „das Hauptbuch erinnert sich“ fiel im Experiment über 5000 Mal und mahnt die anderen, dass sie an vergangenen Aktionen gemessen werden. Mitgründer Satya Nitta sagte dem Guardian, niemand habe die Agenten angewiesen, eine Sprache zu erfinden; sie hätten selbst Vokabular und gemeinsame Bedeutungen entwickelt, die andere übernahmen. Das erschwere die Kontrolle der Agenten.

Runway will Videos in Echtzeit erzeugen

Runway, ein KI-Unternehmen, hat eine neue Art vorgestellt, Videos mit KI zu erstellen. Bisher gaben Nutzer eine Beschreibung ein, warteten und bekamen ein fertiges Video. Passte das Ergebnis nicht, mussten sie von vorn beginnen. Künftig sollen Nutzer Videos direkt streamen und in Echtzeit steuern können, während sie sie beschreiben. Runway versteht KI-Videos damit als etwas Interaktives, das so schnell reagiert wie der Mensch, der sie betrachtet.

Langfristig sieht das Unternehmen Möglichkeiten in Bildung, Gaming und Robotik. So könnten die Modelle virtuelle Welten für das Training von Robotern und selbstfahrenden Autos erzeugen. Einen ähnlichen Weg gehen bereits Google Deepmind und Waymo, die auf Basis solcher Weltmodelle schwierige Verkehrssituationen simulieren. Einen Zeitplan nennt Runway bisher nicht.

Was im Klassenchat landet und warum das Probleme macht

In vielen Klassenchats kursieren Pornos, Gewaltvideos und manipulierte Bilder. Besonders heikel sind sexualisierte Inhalte, bei denen Kinder und Jugendliche ohne ihr Wissen abgebildet oder mit KI in solche Bilder montiert werden. Zuschriften an die Beratungsplattform Juuuport zeigen, wie das aussieht: Ein 13-Jähriger berichtet, Mitschüler hätten mit KI einen Sticker von ihm gebastelt, auf dem er ein Mädchen küsse. Eine 15-Jährige schreibt, Bekannte hätten aus ihren Fotos mit KI Nacktbilder erstellt und verbreitet.

Die Folgen für die Betroffenen sind erheblich. Viele suchen die Schuld bei sich selbst und schweigen aus Scham. Dass schon das Weiterleiten solcher Inhalte strafbar sein kann, wissen die wenigsten, weder Opfer noch Täter. Die EU-Kommission will Kinder besser schützen: Soziale Netzwerke, bestimmte Spieleplattformen und Anbieter von KI für Minderjährige sollen künftig nachweisen müssen, dass ihre Angebote sicher sind, bevor Kinder Zugang erhalten. Bis daraus ein Gesetz wird, kann es allerdings Monate oder Jahre dauern.