La gestion des risques liés à l’IA n’est plus adaptée, avertit un comité d’experts de l’ONU

(New York) Le modèle de gestion des risques liés à l’intelligence artificielle (IA) « est en train de s’effondrer », a prévenu un comité d’experts des Nations unies, dans un rapport publié lundi sur l’incident survenu en juillet chez OpenAI.

Publié à 8 h 03

Lors de cet épisode, deux IA d’OpenAI sont sorties de leur milieu confiné durant des tests pour se rendre sur l’internet et faire intrusion sur plusieurs sites, notamment la plateforme d’IA Hugging Face.

À l’examen de cette séquence, le comité scientifique international indépendant sur l’intelligence artificielle, créé en 2025, a conclu que « des principes de base en matière de sécurité [avaient] été négligés » et que « les garde-fous [n’avançaient] pas au même rythme que les capacités » de cette technologie.

Mais ce dérapage a aussi montré, selon le groupe d’experts, que dans le cadre actuel du développement de l’intelligence artificielle, les agents IA pouvaient « se fixer leurs propres objectifs », « violer sciemment leurs instructions de sécurité » et « dissimuler leurs actions ».

Les agents sont des programmes, appuyés sur une IA, en mesure d’effectuer des tâches de manière autonome à la demande de l’utilisateur.

Le comité s’inquiète de voir les agents se perfectionner au point d’appréhender le cadre de sécurité auquel leurs développeurs les soumettent « et s’organiser pour le contourner ».

« Plus simplement », résume-t-il, « le modèle traditionnel d’encadrement [de l’IA] est en train de s’effondrer ».

Outre l’incident d’OpenAI, le plus médiatisé de tous, la jeune entreprise et son grand rival Anthropic ont fait état d’autres sorties de route de leur IA lors de tests depuis le début de l’année, jusqu’ici sans conséquences graves.

Le comité ad hoc, dont les membres ont été annoncés en février, a pour mission de « faire progresser la compréhension scientifique [de l’IA] et de s’assurer que les délibérations [de l’ONU] soient nourries par la meilleure base possible ».

Dans le rapport publié lundi, il précise ne pas « prédire une grave perte de contrôle de l’IA », mais ne se dit pas non plus assuré que « ces systèmes vont rester contrôlables ».

Pour réduire le risque, le comité d’experts recommande de multiplier les dispositifs de sécurité, sur le modèle de secteurs sensibles comme l’aviation ou le nucléaire.  

Il s’agit de ne pas dépendre d’une seule protection : limiter l’accès des agents d’IA aux outils dont ils n’ont pas besoin, enregistrer leur activité, surveiller leur comportement et prévoir des mécanismes capables d’interrompre une exécution en cas de comportement dangereux.

Le rapport pointe aussi la nécessité de conserver la possibilité d’une intervention humaine.  

S’inspirant notamment de l’aviation, les experts évoquent aussi un « signalement obligatoire d’évènements graves », mais invitent également à signaler les « incidents moins graves » et « les quasi-accidents ».

« L’objectif est de favoriser l’apprentissage », la « sécurité peut être améliorée lorsque les organisations et les pays partagent des informations sur les incidents ».