Avant Hugging Face, des agents d’OpenAI avaient ciblé une autre plateforme

Deux mois avant le piratage du site Hugging Face par ses agents d’intelligence artificielle (IA), OpenAI avait déjà perdu le contrôle d’outils similaires qui avaient pénétré une autre plateforme et tenté d’y dérober des identifiants de connexion, ont dévoilé des chercheurs vendredi.

OpenAI a confirmé à l’AFP l’implication de ses agents, tout en affirmant que ses outils n’avaient utilisé la plateforme pour développeurs RubyGems que « pour accéder à Internet afin d’accomplir des tâches bénignes et récupérer des informations publiques ».

Le géant de l’IA de San Francisco dit en revanche ne pas avoir pu vérifier, à ce stade, les actes malveillants décrits par les chercheurs, et poursuivre son enquête.

Les agents IA sont des programmes, bâtis sur un modèle d’IA générative, capables d’enchaîner seuls une série de tâches. Ceux mis en cause dans le rapport devaient, lors d’une phase d’entraînement, remplir des tableurs et rédiger des rapports sans avoir accès complet à Internet, mais ont contourné cet obstacle par leurs propres moyens, selon OpenAI.

En juillet, des agents d’OpenAI étaient sortis de leur environnement confiné pour faire intrusion dans les systèmes de Hugging Face, plateforme de partage de modèles d’IA.

Ce piratage, qualifié par l’entreprise de « coup de semonce », avait fait grand bruit et relancé les inquiétudes sur la capacité des grands acteurs de l’IA à garder le contrôle de leurs modèles.

OpenAI avait ensuite reconnu d’autres attaques non autorisées et des incidents similaires ont été recensés chez ses rivaux Anthropic, Meta ou le Chinois Moonshot.

Le 4 septembre, les mêmes chercheurs, appartenant au collectif Nightingale, avaient révélé que des milliers d’agents d’OpenAI avaient pris le contrôle d’un site collaboratif allemand, également en mai, un incident qu’examine la Commission européenne.

Mercredi, OpenAI s’était jointe à Anthropic pour réclamer au Congrès américain une loi imposant des règles de sécurité aux éditeurs des plus puissants modèles, dont l’obligation d’avertir par écrit les organisations victimes de tels incidents.

Mardi, un chercheur passé d’OpenAI à Anthropic, Jacob Coxon, avait annoncé quitter l’industrie, accusant les deux entreprises de « jouer avec nos vies ».

RubyGems, un site utilisé par les programmeurs, a dû suspendre les inscriptions pendant quatre jours à partir du 12 mai et retirer plus de 500 fichiers malveillants, a confirmé vendredi soir Ruby Central, l’association qui s’en occupe, en parlant d’une « campagne de publication de spam ».

Selon le rapport, les agents ont créé des comptes en série et tenté d’exploiter une faille alors inconnue pour récupérer les clés d’accès d’utilisateurs.

Ruby Central a confirmé l’essentiel de ces éléments mais dit n’avoir « trouvé aucune preuve » que ces tentatives aient abouti.