50 morts : Anthropic veut réglementer l’IA, mais fixe des seuils qui font froid dans le dos

Des représentants d’Anthropic ont présenté un projet de loi à des élus américains. Ce texte prévoit que le gouvernement américain puisse demander la suspension d’une IA si elle présente un risque imminent et prévisible de causer plus de 50 morts ou blessés graves, ou plus d’un milliard de dollars de dommages. La mort a donc un prix pour Anthropic.

Selon les informations du média Politico, des représentants d’Anthropic, l’entreprise derrière Claude, se sont rendus au Capitole afin de présenter un projet de loi à des élus, visant à réglementer le développement de l’intelligence artificielle. Aussi surprenant que cela puisse paraître, les seuils fixés par Anthropic pour permettre aux autorités de faire suspendre un modèle d’IA sont particulièrement élevés : une menace pouvant provoquer plus de 50 morts ou blessés graves, ou plus d’un milliard de dollars de dommages.

50 morts ou un milliard de dollars de dommages : les seuils surprenants fixés par Anthropic

Ce projet de loi élaboré par Anthropic établit trois cas où une IA de pointe pourrait être bloquée : le développement d’une arme biologique, une cyberattaque et un modèle échappant au contrôle de son concepteur. Il s’agit donc de cas souvent évoqués et particulièrement redoutés. Mais nous arrivons au point le plus surprenant : le blocage d’une IA ne pourrait être déclenché par le gouvernement américain que si l’un de ces deux seuils risque d’être atteint. Le premier seuil serait atteint si une IA pouvait provoquer plus de 50 morts ou blessés graves. Le second seuil est quant à lui atteint lorsque plus d’un milliard de dollars de dommages sont enregistrés. Ce faisant, Anthropic fixe donc un prix à une vie humaine. en deors de toute question éthique posée par ce genre de calculs une autre question s’impose : pourquoi attendre de tels dégâts avant de stopper une IA ?

Précisons aussi que la surveillance des modèles d’IA serait confiée à des évaluateurs indépendants, enregistrés auprès du département américain du Commerce. Les laboratoires pourraient les rémunérer, à condition que leur paiement ne dépende pas des conclusions de leurs évaluations. Si un risque imminent est identifié, les évaluateurs devront le signaler au département du Commerce dans les 72 heures suivant la fin de leur évaluation. Un juge fédéral du district de Columbia serait par ailleurs le seul habilité à ordonner la suspension d’un modèle d’IA, à la demande du département américain du Commerce.

Pourquoi des seuils aussi élevés ? 

Si l’on résume l’actualité récente : Anthropic appelle à ralentir le développement de l’IA et annonce la création d’un fonds destiné au bien public, tout en proposant de limiter le blocage d’un modèle d’IA aux cas où il risque de provoquer plus de 50 morts ou blessés graves, ou plus d’un milliard de dollars de dommages. À première vue, il est difficile d’y voir une logique.

En réalité, Anthropic devrait continuer à encadrer en interne le développement de ses IA, sans attendre que l’une d’entre elles risque de provoquer plus de 50 morts ou blessés graves. Avec ce projet de loi, l’entreprise cherche surtout à définir les conditions dans lesquelles le gouvernement américain pourrait bloquer un modèle d’IA, tout en limitant les possibilités d’intervention des autorités.