Anthropic и OpenAI проводят учения на случай, если искусственный интеллект выйдет из-под контроля

Руководители Anthropic, OpenAI и других ИИ-компаний обсуждают действия на случай катастрофического инцидента с участием искусственного интеллекта, который вызовет широкую общественную реакцию, пишет Axios. 

Для многих компаний и организаций в сфере национальной безопасности проработка кризисных ситуаций — обычная практика, однако в случае ИИ многие исследователи и руководители компаний считают крупный инцидент неизбежным, пишет издание. В разговоре с Axios представители индустрии предположили, что он может произойти уже в ближайшие 6-12 месяцев. 

Наиболее вероятным сценарием может стать кибератака, которая нарушит работу финансовых сервисов, интернета или даже систем электро- и водоснабжения. Вне зависимости от того, произойдет это из-за побега ИИ-агентов из тестовой среды или по вине злоумышленников, инцидент усилит недоверие к технологии и ее разработчикам. 

По данным Axios, ключевое внимание при отработке таких сценариев уделяется работе с конгрессом США. После промежуточных выборов 3 ноября позиции демократов в конгрессе могут усилиться, а они выступают за более жесткое регулирование ИИ-технологий, чем республиканцы. 

Наиболее радикальные идеи демократов в этой области включают запрет на создание суперинтеллекта и приостановку разработки передовых моделей. А предложение снабдить передовые ИИ-модели механизмом аварийного отключения пользуется популярностью у представителей обеих партий. При этом эксперты ставят под сомнение саму возможность полностью отключить ИИ-системы.