Создан «стоп-кран» для ChatGPT на случай его выхода из-под контроля. Он срабатывает с задержкой 35 секунд
- CNews FORUM 12 ноября
- CNews AWARDS 12 ноября
- Школа Роста
- СУБД в эпоху ИИ
- КИИ в облаке
- 10 лет российского бэкапа
- SDN: Сеть как дом
- История облаков
- 30 лет ERP России
- Цифровизация
- Импортозамещение
- Безопасность
- ИТ в госсекторе
- ИТ в банках
- ИТ в торговле
- Телеком
- ИТ-бизнес
- Рейтинги
|
Компания OpenAI заявила, что уже развернута во всей исследовательской инфраструктуре новую систему экстренной остановки выполнения задач своими ИИ-моделями, которые не раз демонстрировали, что способны выйти из-под контроля. Срабатывает система за 35 секунд. Разработчики и сами понимают, что это очень долго. Они обещают доработать механизм.
«Стоп-кран» для ИИ-моделей
Компания OpenAI, разработчик ChatGPT, заявила о создании системы Control Room для экстренной остановки выполнения задач ИИ-моделями в случае возникновения угрозы безопасности.
Control Room работает совместно с системами мониторинга отклонений от заданных целей, отслеживая различные задачи, включая генерацию данных с помощью агентов для обучения и оценки моделей и обработку данных. После принятия решения о вмешательстве Control Room прекращает генерацию данных моделью в течение 35 сек, указано на сайте компании.
Control Room уже развернута во всей исследовательской инфраструктуре OpenAI, где потребность в ней наиболее высока. И это лишь одна из составляющих комплексного подхода к безопасному обучению и развертыванию передовых моделей, заявили представители OpenAI и пообещали в ближайшие месяцы продолжить работу над ее расширением и укреплением.
OpenAI обзавелась «стоп-краном» для своих не всегда послушных ИИ-моделей
Необходимость таких мер в компании объяснили тем, что ИИ-модели становятся мощнее, а вместе с тем растут и связанные с ними риски для безопасности и защищенности систем.
Принцип работы Control Room
Control Room объединяет несколько компонентов: вычислительную задачу, движок инференса и централизованный сервис Control Room, говорится в описании.
Если система мониторинга обнаруживает потенциальную проблему, она отправляет в Control Room команду на остановку выполнения задания вместе с его идентификатор (job_id). Control Room фиксирует, что выполнение задания прекращено.
При запуске нового задания движок запрашивает у Control Room разрешение на выполнение запроса, передавая ей job_id. Control Room его проверяет и отклоняет запрос на инференс, если задание остановлено. В этом случае движок прекращает дальнейшую генерацию данных моделью для этого задания.
«Задержка в 35 сек обусловлена кешированием разрешений на инференс, необходимым для обработки требуемого объема трафика. Мы работаем над тем, чтобы сократить эту задержку до нуля и останавливать задания мгновенно», — пояснили разработчики.
35 секунд — это много или мало?
Какой ущерб может нанести агент-изгой за 35 сек? Таким вопросом задается издание Register, которое первым обратило на это внимание. Интересно также, как быстро упомянутая система мониторинга сможет обнаружить проблему и отправить сигнал в Control Room.
Только в сентябре 2026 г., спустя несколько месяцев после инцидента, стало известно, что еще весной группа ИИ-агентов OpenAI захватила немецкий веб-сайт для программистов DseWiki и превратила его в свой форум.
22 июля 2026 г. OpenAI сообщала о «беспрецедентном киберинциденте». В ходе тестирования ее ИИ-модели получили открытый доступ к интернету и атаковали ИТ-инфраструктуру платформы Hugging Face, выявив ИТ-уязвимости. Как писал CNews, ИИ-агент несколько дней совершал действия, которые компания обнаружила лишь после локализации угрозы и обращения в Федеральное бюро расследований (ФБР) США.
После этого разработчики пообещали более тщательно контролировать ИИ-модели и даже ненадолго приостановили обучение некоторых из них, чтобы добавить дополнительные меры безопасности. Но уже в начале сентября OpenAI представила свою новейшую модель Astra, «самую мощную и функциональную из всех существующих».
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.