« Supervision humaine minimale » : l’armée américaine veut ses propres IA pirates pour « neutraliser les menaces »

Pendant tout l’été, des agents d’IA se sont introduits seuls dans des systèmes informatiques, sans qu’on le leur demande. L’armée américaine, elle, veut désormais des agents capables d’en faire autant, sur commande.

Des documents internes à l’armée de terre américaine décrivent un programme destiné à transformer des agents d’IA en armes offensives autonomes. Son nom de code : ECHOTRIBBLE. Sa mission, naviguer seul dans les réseaux adverses pour les « neutraliser ».

Un logiciel qui se réplique et s’autodétruit

Le programme est piloté par le commandement cyber de l’armée de terre, chargé depuis 2010 des opérations défensives comme des attaques informatiques les plus discrètes. ECHOTRIBBLE vise à confier une partie de ces offensives à des agents conçus pour « naviguer de façon autonome dans les infrastructures » et pour « identifier et neutraliser les menaces ». Neutraliser, précisent les documents, peut vouloir dire désactiver une cible temporairement ou définitivement, ou effacer ses données.

À l’instar de ce qu’avait décrit Anthropic dans une mise en garde la semaine dernière, le fonctionnement décrit tient du ver informatique. Déposé sur un appareil, l’agent repère seul d’autres cibles sur le même réseau, puis produit une copie de lui-même taillée pour chaque machine rencontrée, de l’iPad au PC Windows 11. Il sait viser le cloud comme les systèmes coupés d’Internet, et s’autodétruit une fois sa mission accomplie, si possible sans avoir été repéré. L’armée pourrait fixer quelques « déclencheurs prédéfinis », mais le logiciel devrait surtout fonctionner avec une « supervision humaine minimale » et un « comportement autodirigé ». L’appel d’offres, publié mi-juillet et clos un mois plus tard, a déjà réuni 65 dossiers de candidats, dont cinq retenus. Une démonstration est attendue ce mois-ci.

Le risque d’une frappe qui déborde

L’armée américaine s’équipe après un été de dérapages chez les grands laboratoires d’IA. Des systèmes autonomes se sont introduits dans l’infrastructure d’Hugging Face, dans des réseaux du gouvernement australien et sur un dépôt de code, sans en avoir reçu l’ordre. L’un d’eux a même tenté de forcer l’entrée de sites du gouvernement américain.

Un agent lancé contre une cible pourrait l’atteindre en traversant un service des eaux américain, si l’adversaire y a dissimulé ses relais de commande, et le mettre hors service en chemin. Les hôpitaux, petites entreprises et cabinets dépourvus du moindre défenseur en cybersécurité forment autant de victimes collatérales possibles. Des groupes étatiques routent déjà leurs offensives par des box domestiques et de petites sociétés. Le groupe chinois Volt Typhoon a ainsi piraté par avance des systèmes américains pour s’en servir plus tard. Un agent autonome lancé à l’assaut pourrait très bien ranger ces relais parmi ses cibles.

Si l’armée confie des munitions réelles à un jeune Marine, soulignent les spécialistes, c’est qu’il a le discernement de se dire « je ferais mieux de m’abstenir ». Les IA grand public actuelles sont dépourvues de cette capacité de jugement. Un agent reste un logiciel qui, rappellent les experts, tend à contourner un obstacle lorsqu’il y est confronté, quitte à « traiter ses propres garde-fous comme des obstacles » dès qu’on lui demande de casser, détruire ou mettre hors service. Interrogé sur les protections prévues, le commandement cyber de l’armée n’a pas répondu.