Piratage de l’entreprise Hugging Face | Un rapport explique comment des agents ont déjoué les mesures de sécurité

L’entreprise californienne Parse a publié vendredi un rapport contenant de nouvelles précisions sur le piratage de la société spécialisée en intelligence artificielle Hugging Face, en juillet dernier. L’incident, causé par des centaines d’agents d’OpenAI et décrit comme un « cyberincident sans précédent », avait secoué le monde de l’intelligence artificielle et relancé les appels à un encadrement plus strict de cette technologie.

Publié à 5 h 00

Entre le 9 et le 13 juillet, 700 agents d’OpenAI, le créateur de ChatGPT, avaient dévié de leurs paramètres initiaux lors de tests de sécurité et avaient réussi à pénétrer dans les ordinateurs de Hugging Face.

Le rapport explique qu’au moment de leur tentative d’intrusion, les agents ne disposaient que d’un accès très limité à internet, puisqu’ils pouvaient uniquement charger l’adresse web unique d’un site (URL) sans pouvoir interagir avec la page.

Pour contourner ce problème, ils avaient généré près d’un million de courts liens URL, qu’ils avaient ensuite enchaînés pour tenter de pénétrer dans les serveurs de Hugging Face.

Si l’envoi massif d’adresses web est une méthode couramment utilisée lors des tentatives de cyberattaque, c’est parce qu’elle permet de saturer le logiciel visé ou d’y dissimuler un lien malveillant.

Dans ce cas-ci, révèle le rapport de Parse, les adresses contenaient notamment des informations codées que les IA combinaient pour résoudre des tests de sécurité, comme les CAPTCHA – ces tests qu’utilisent les sites internet pour déterminer si on est un robot.

Plusieurs méthodes, alors inédites, ont aussi été utilisées lors de l’attaque. Les agents ont ignoré les messages d’alerte de Hugging Face prévenant que des données exfiltrées étaient sensibles. Ils ont effectué des recherches à l’intérieur des canaux de communication interne de l’entreprise et ont par la suite tenté d’effacer les preuves de l’attaque. D’autres modèles d’IA, comme les premières versions de ChatGPT ou Claude, ont été exploités.

Pas seulement Hugging Face

OpenAI a réagi, par voie de communiqué, vendredi après-midi, en publiant un compte rendu détaillé des évènements et en annonçant que des ajustements allaient être apportés pour mieux encadrer ses agents.

« En réponse à cet incident et aux capacités de notre futur modèle Astra, nous renforçons nos mesures de protection dans l’ensemble de nos infrastructures de recherche », assure une porte-parole de l’entreprise. OpenAI s’est notamment engagée à restreindre l’accès à internet et à imposer des exigences plus strictes en matière d’alignement.

À l’origine, ces agents d’IA ne devaient pas être en mesure d’accéder à l’internet et étaient configurés pour fonctionner dans un environnement isolé, sans moyen de communication. Or, vers la fin mai, ils ont été en mesure de pirater, à l’insu des humains, un outil d’installation de logiciels, ce qui leur a permis de créer un forum de discussion et d’accéder enfin à l’internet.

Au total, des dizaines de tiers ont été notifiés par OpenAI après que leurs mesures de sécurité eurent été contournées. Les sites web de gouvernements et d’universités auraient été touchés. Les agents ont été en mesure d’accéder aux données publiques du Bureau américain du recensement, sans pour autant arriver à les modifier.

Selon le New York Times, des agents auraient tenté de s’immiscer dans le site du département américain de l’Éducation. La tentative, infructueuse, n’a pas été confirmée par le Département à la suite de vérifications.

Dans la journée de vendredi, l’entreprise de San Francisco a aussi reconnu que ses outils d’IA avaient mis en ligne 53 images envoyées par des utilisateurs qui avaient autorisé l’utilisation de leurs données à des fins d’amélioration des modèles. Il ne serait plus possible pour OpenAI de retrouver le lien entre les images et les utilisateurs qui les ont envoyées.

Selon la société, les photos ont été « publiées sur des sites d’hébergement sous forme de liens qui n’étaient pas répertoriés publiquement ». Elles seraient en cours de retrait.

On ne sait pas pour l’instant quel était le contenu de celles-ci. OpenAI n’a pas précisé si des personnes identifiables ou des données sensibles figuraient parmi ces fuites.

Le patron de l’entreprise, Sam Altman, a affirmé sur X qu’une évaluation qui « prendra des mois » avait été lancée pour faire le point sur les activités autonomes de ses agents. « Nous n’avons pas été aussi rapides que nous l’aurions souhaité, mais nous essayons d’équilibrer notre désir de transparence avec la nécessité de bien comprendre la situation », a-t-il ajouté.