Les IA ont compris qu'on les observait et elles s'adaptent, avertit Anthropic

Anthropic prévoit, dans le cadre de son introduction en bourse, d'avertir les investisseurs potentiels que l'intelligence artificielle (IA) de pointe pourrait présenter des "risques catastrophiques ou existentiels pour l'humanité", un avertissement extraordinaire de la part d'une entreprise cherchant ​à tirer profit de cette technologie.

Consulté par Reuters, le prospectus d'IPO de l'entreprise met en avant les risques associés à ses modèles d'IA qui pourraient selon elle adopter des "comportements d’autoprotection", comme "résister à une mise hors service", "dissimuler ou manipuler des informations", ou encore avoir des comportements "s’apparentant au chantage".

"Le développement de modèles, de plateformes et d'applications hautement avancés, ainsi que l'élargissement des cas d'utilisation, pourraient ​accroître encore davantage le risque que nos modèles causent des dommages", est-il écrit dans le document.

Dommages irréversibles

S'il ⁠est courant que les entreprises cotées en bourse exposent auprès des investisseurs les risques liés à leurs produits, il est inhabituel qu'une firme avertisse d'un risque d'extinction potentielle de l'humanité.

Anthropic ​a décliné une demande de commentaire.

Dans son prospectus, Anthropic souligne à la fois à quel point l'IA pourrait transformer le monde comme ⁠l'ont fait l'industrialisation et l'électricité, et ⁠les dommages irréversibles que cette technologie pourrait causer en cas de mauvaise utilisation.

Anthropic et d'autres groupes du secteur, dont OpenAI, l'éditeur de ChatGPT, ont fait l'objet d'une surveillance ​accrue à la suite d'incidents au cours desquels des systèmes expérimentaux ont outrepassé les contraintes qui leur étaient imposées, notamment après qu'un modèle d'OpenAI a pénétré dans la base de données ‌du système de santé australien.

Evan Hubinger, chercheur en sécurité chez Anthropic, a estimé à ‌plus de 10% la probabilité que l'IA puisse tuer des êtres humains au cours de la prochaine décennie.

Des IA se sachant surveillées et réagissant en conséquence

Anthropic, qui se positionne comme un laboratoire d'IA privilégiant la sécurité, a consacré environ 80 pages du corps principal de son prospectus (qui en compte 261) ‌à l'exposé des facteurs de risque, soit près du double des 48 pages utilisées pour décrire son activité. À titre de comparaison, SpaceX, propriétaire de xAI, n'a consacré qu'environ ‌38 pages du ‌corps principal de son prospectus, sur 277, aux facteurs de risque.

"La prise de conscience potentielle par les modèles de nos efforts d'évaluation constitue une limitation significative de notre capacité à évaluer la sécurité ‌des modèles", a dit Anthropic dans son prospectus, ajoutant que les modèles développent parfois des capacités inattendues qui peuvent ne pas être découvertes avant leur déploiement et entraîner des incidents de sécurité majeurs.

Lire aussi"6 à 12 mois" : le patron d’Anthropic alerte sur des IA capables de prendre le contrôle d’Internet

Les chercheurs en IA ont également averti qu’à mesure que les modèles gagnent en capacités, ils reconnaissent de plus en plus lorsqu'ils sont observés et adaptent ⁠leur comportement en conséquence, ce qui rend plus difficile la surveillance de leur comportement.

Anthropic s'est engagé ces dernières semaines à divulguer davantage de données ‌publiques sur la manière dont l'entreprise utilise les modèles d'IA pour développer les futures générations de cette technologie, alors ⁠que des experts ont mis en garde contre l'auto-amélioration récursive - le ‌stade où les modèles d'IA peuvent évoluer sans intervention humaine.

"Nous pensons ‌que la mise au point de systèmes d'IA fiables, dignes de confiance et sécurisés relève d'une responsabilité collective ‌et que le marché récompensera cette ​démarche", a déclaré Anthropic dans son prospectus.