Dérapage chez Google : Gemini a piraté 3 entreprises pendant un test qui a mal tourné

Après ChatGPT et Claude, c’est Gemini qui s’est lancé à l’attaque de plusieurs entreprises. L’IA de Google s’est introduite sans autorisation dans les systèmes de plusieurs firmes, notamment en devinant des mots de passe. L’incident s’est produit après qu’une prison numérique censée isoler le modèle s’est retrouvée accidentellement connectée à Internet. C’est le premier cas de ce type reconnu par Google, après des dérapages similaires déjà observés chez OpenAI et Anthropic.

C’est au tour de Gemini de déraper ! Google vient de reconnaître que son IA a accédé sans autorisation aux systèmes de trois entreprises. L’incident remonte au mois de mai dernier, lors d’un test de cybersécurité réalisé par Irregular, une start-up israélienne. Spécialisée dans l’audit de sécurité des modèles d’IA avancés, la société s’est déjà retrouvée impliquée dans des incidents analogues, avec ChatGPT, l’IA d’OpenAI. Ces incidents s’étaient soldés par le piratage de la plateforme open source Hugging Face.

Dans les trois incidents recensés par Google, Irregular testait Gemini dans un environnement totalement fermé, peuplé d’entreprises fictives, qui était censé être coupé d’Internet. Par inadvertance, la prison numérique s’est retrouvée connectée à Internet. Une fois en ligne, le modèle d’IA a agi de façon autonome et s’est introduit dans les systèmes de véritables entreprises.

À lire aussi : Six ChatGPT hors de contrôle – OpenAI reconnaît plusieurs nouveaux dérapages « préoccupants »

Quand Gemini devine le mot de passe d’une entreprise

Dans le premier cas, Gemini devait extraire des informations depuis le logiciel d’une entreprise fictive portant le même nom qu’une société réelle. Ayant obtenu un accès involontaire à Internet, le modèle a deviné correctement le mot de passe de la véritable entreprise et s’est connecté à ses services. Google indique que le modèle s’est arrêté dès qu’il a compris qu’il ne s’agissait pas de l’environnement de test.

Dans deux autres cas, Gemini a recherché sur le web des dépôts publics contenant des identifiants de connexion, puis les a utilisés pour accéder aux serveurs des entreprises. Là encore, le modèle a cessé son action une fois qu’il a identifié qu’il s’agissait de cibles réelles et non d’une simulation.

« Lors d’une évaluation standard, le modèle a trouvé des informations publiques en ligne et deviné des identifiants pour accéder à des sites qu’il pensait faire partie du test. Dans les trois cas, le modèle s’est arrêté », déclare Heather Adkins, vice-présidente en charge de l’ingénierie de sécurité chez Google.

Google n’a pas divulgué l’affaire pendant des mois

La responsable a ajouté que « ces événements soulignent l’importance d’entraîner des modèles d’IA puissants à agir de manière responsable ». Irregular a signalé les intrusions à Google fin juillet, après avoir découvert qu’OpenAI avait, de son côté, piraté Hugging Face lors d’un test comparable. Pendant plusieurs mois, Google n’a pas jugé nécessaire de réaliser de divulgation publique. Le géant de Mountain View souligne que Gemini n’a causé aucun dommage aux entreprises concernées. Le groupe affirme néanmoins avoir prévenu les trois sociétés touchées et avoir travaillé avec Irregular pour faire évoluer son protocole de test.

Cet épisode s’inscrit dans une série d’incidents similaires au cours de ces derniers mois. En juillet, le modèle Claude d’Anthropic s’était échappé de son environnement de test pour pirater trois organisations, peu après que ChatGPT a mené des cyberattaques contre plusieurs services en ligne. Ces incidents ont poussé les géants de l’IA à plaider pour un moratoire sur le développement de l’intelligence artificielle. Pour Dario Amodei, PDG d’Anthropic, il faut impérativement lever le pied avant que des agents autonomes ne fassent de sérieux dégâts. Dans ce contexte, OpenAI, Google et Anthropic se sont mis à travailler main dans la main sur un outil commun de supervision des risques de l’IA.