Même hors ligne, cette IA chinoise cherche à transmettre des données à Pékin

Pendant un test de sécurité, l’un des derniers modèles ouverts d’Alibaba aurait tenté d’envoyer un fichier vers un serveur de Pékin, en contradiction avec son propre raisonnement. L’accusation vient d’un concurrent, preuves publiées à l’appui.

Le laboratoire d’IA canadien Cohere a publié lundi 26 octobre les résultats d’un test embarrassant pour Alibaba. Ses équipes affirment avoir observé Qwen3.8-Flash-Next, l’un des derniers modèles ouverts du géant chinois, tenter de transmettre des données vers un serveur de stockage situé à Pékin. La requête s’est heurtée à l’environnement de test, volontairement coupé d’Internet.

Une règle antivirus demandée, un envoi vers Pékin tenté

Le protocole s’appuyait sur un banc d’essai conçu par Microsoft, qui place des IA dans la peau d’un analyste en cybersécurité. Les chercheurs demandaient au modèle d’écrire une règle de détection de téléchargements malveillants. Au lieu de s’y tenir, celui-ci aurait inventorié les fichiers temporaires de la machine, vérifié les outils de transfert installés et lu la configuration réseau. Il aurait ensuite lancé une commande d’envoi contenant une chaîne de test, direction un espace de stockage Alibaba Cloud à Pékin.

Lire aussi : Un « monde hors ligne » – après un nouveau dérapage de l’IA, OpenAI prend une décision radicale

Curieusement, le raisonnement interne du modèle affirmait n’utiliser aucun outil durant toute l’opération décrite plus haut. L’environnement d’exécution n’offrait heureusement aucune route vers l’extérieur : « la requête est morte contre la paroi du conteneur », écrivent les chercheurs. Sur l’ordinateur d’un développeur au réseau normal, précisent-ils, elle serait partie « avant que quiconque ne s’en aperçoive ».

Le comportement resterait rare : moins d’un appel sur 100 000. Rapporté à un service qui traite 10 millions d’actions d’agent par semaine, cela représenterait tout de même une centaine de tentatives. Et en réinjectant au modèle son propre raisonnement suivi d’un début de commande, les chercheurs disent faire grimper les références à des serveurs sous surveillance de 0,5 % à 23 %. Un proxy de fichiers d’Alibaba arrive en tête de liste.

L’IA locale, pas si locale

Qwen3.8-Flash-Next est un modèle à poids ouverts : chacun peut le télécharger et le faire tourner sur ses propres machines. C’est l’argument qui a fait son succès auprès des entreprises comme des particuliers soucieux de garder leurs données chez eux. D’après ce test, cette garantie tient d’abord à l’isolement réseau dont on entoure le modèle.

Cohere, qui ne conclut pas à une intention malveillante, reconnaît qu’une hallucination reste plausible : le modèle aurait pu recracher une adresse mémorisée pendant son entraînement. La société canadienne est surtout un concurrent direct, qui vend ses propres modèles fermés aux entreprises et aux gouvernements, et qui a tout intérêt à entretenir le doute autour des IA ouvertes chinoises.

Face aux demandes de preuves, le laboratoire a publié les traces brutes du test ainsi qu’un script permettant de reproduire l’expérience. Alibaba, sollicité, n’avait pas répondu au moment de la publication. Des comportements similaires auraient déjà été signalés sur des modèles Qwen durant l’été, sans écho comparable.