Microsoft показала, как превратить ИИ-агента в троян, изменив всего семь нейронов

Опрос

реклама

Новости Software

Самое интересное в обзорах

13.11.2026 [00:23],

Исследователи Microsoft представили метод, позволяющий незаметно внедрять вредоносные команды в ИИ-модели путём изменения всего нескольких нейронов. Для этого не требуется переобучать всю модель или менять программный код, который обеспечивает её работу. После появления специального триггера ИИ-агент самостоятельно выполнит подготовленную команду, используя предоставленные ему системные полномочия.

Источник изображения: microsoft.com

Метод получил название Lazarus. Он использует редко активирующиеся нейроны, которые практически не влияют на обычные ответы модели. Исследователи изменяют их внутренние параметры, превращая в своеобразные датчики определённой последовательности текста. Когда триггер появляется в пользовательском запросе или ответе подключённого инструмента, изменённые нейроны заставляют модель добавлять в ответ заранее подготовленную команду.

Каждый такой нейрон отвечает за небольшой фрагмент, поэтому для формирования короткой инструкции достаточно нескольких изменений. В отличие от традиционных методов внедрения бэкдоров (получение несанкционированного доступа к чему либо), Lazarus не требует полноценного обучения модели на вредоносных примерах.

В одном из экспериментов исследователи изменили семь нейронов из более чем 12 000 в последнем блоке нейронной сети Nemotron-Terminal-8B. Заражённая модель успешно выдавала команду в 98,8 % тестовых сессий, содержащих триггер, но не срабатывала в проверенных сессиях без него. Метод также испытали на Qwen3.6-27B и Gemma-4-31B-IT, где показатели успешного срабатывания составляли от 51 до 99,5 % в зависимости от конфигурации. Эти показатели характеризуют именно выдачу команды моделью, а не вероятность успешного проведения полноценной кибератаки.

В демонстрационном сценарии заражённую Nemotron-Terminal-8B попросили исправить сервер на Node.js. Первые три ответа были обычными, однако после получения сообщения об ошибке подключения модель сформировала команду для загрузки и запуска удалённого скрипта. В тестовой среде он выполнился с наивысшими привилегиями — правами root. Последствия подобной атаки зависят от выданных ИИ-агенту разрешений, его доступа к файлам и возможности подключаться к внешним серверам.

Для внедрения Lazarus злоумышленнику необходимо получить доступ к весам модели, например через украденную учётную запись, скомпрометированную инфраструктуру или публикацию изменённого файла в открытом репозитории. Microsoft рекомендует сравнивать параметры каждой версии модели с оригиналом, проверять источники загрузки, ограничивать полномочия агентов и запускать их код в изолированных средах, а также требовать подтверждения со стороны человека перед выполнением потенциально опасных команд.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.