Fout van artificiële intelligentie leidde bijna tot militair conflict tussen de VS en China

• Door AI gegenereerde desinformatie leidde bijna tot een militair conflict tussen de Verenigde Staten en China.
• Verzonnen berichten van een chatbot misleidden commandanten, waardoor ze troepen mobiliseerden voor een valse dreiging.
• Menselijke verificatie blijft essentieel om dodelijke AI-hallucinaties op het gebied van nationale veiligheid te voorkomen.

Uit onderzoek van CNN is gebleken dat er een gevaarlijke situatie is ontstaan waarbij een rapport van de Amerikaanse militaire inlichtingendienst, opgesteld met behulp van artificiële intelligentie, bijna een militair conflict met China veroorzaakte.

In het rapport is ten onrechte beweerd dat een Chinees schip in het Midden-Oosten onderdelen voor een kernwapenproject aan Iran leverde. Deze desinformatie leidde ertoe dat het Amerikaanse leger zich mobiliseerde voor een onderschepping, waarbij vliegtuigen waren ingezet en troepen klaarstonden om het schip te enteren.

Op het nippertje aan een conflict ontsnapt

De geplande missie werd pas afgebroken nadat uit nader onderzoek bleek dat de inlichtingen waren geproduceerd door een AI-chatbot die de lading van het schip verkeerd had geïdentificeerd.

Hoewel de werkelijke inhoud van het schip onbekend blijft, beschreven bronnen de door AI gegenereerde beoordeling als volledig verzonnen, en waarschuwden ze dat de daaruit voortvloeiende confrontatie een grotere oorlog tussen de Verenigde Staten en China had kunnen ontketenen.

Hoe de verkeerde informatie zich verspreidde

De fout ontstond in het voorjaar tijdens Amerikaanse operaties tegen Iran. Een analist van een commando voor speciale operaties maakte, op basis van gegevens van het U.S. Special Operations Command Pacific in Hawaï, gebruik van een AI-chatbot om de vrachtlijst van het schip te evalueren. De chatbot combineerde geheime signaalinlichtingen met openbare gegevens en kwam zo tot een verkeerde conclusie.

Bovendien gebruikte de analist de AI een tweede keer om deze bevindingen om te zetten in een formeel inlichtingendocument. Omdat het eindrapport eruitzag als een standaard militair document, werd het door commandanten als betrouwbaar beschouwd en werd ernaar gehandeld.

Risico van AI-hallucinaties

Deze gebeurtenis onderstreept de gevaren van “hallucinaties” in grote taalmodellen – waarbij AI overtuigende maar valse informatie genereert – vooral wanneer deze worden geïntegreerd in militaire besluitvorming. Een voormalige hooggeplaatste functionaris merkte op dat veel interne militaire AI-tools in wezen omgedoopte commerciële software zijn.

Dit gebeurt terwijl het Pentagon, onder leiding van minister van Defensie Pete Hegseth, aandringt op een ‘AI-first’-strategie om alles te moderniseren, van doelwitbepaling en inlichtingen tot logistiek.

Menselijk toezicht

Deskundigen, waaronder de gepensioneerde kolonel van de luchtmacht Cedric Leighton, benadrukken dat AI het menselijk oordeel niet kan vervangen. Leighton stelde dat inlichtingenanalisten nog steeds zelfstandig de waarheid en aannemelijkheid van gegevens moeten verifiëren, een proces dat veel tijd en expertise vereist.

Het incident dient als een duidelijke waarschuwing met betrekking tot de betrouwbaarheid en veiligheid van het gebruik van AI voor inlichtingen op het gebied van nationale veiligheid, waarbij veel op het spel staat. (fc)

Wil je meer defensienieuws ontvangen? Schrijf je in op onze wekelijkse Defensie Insider-nieuwsbrief

Wil je meer technieuws ontvangen? Schrijf je in op onze wekelijkse Tech Insider-nieuwsbrief