Positive Technologies научила PT Application Firewall защищать ИИ-агентов и LLM от кибератак
- CNews FORUM 12 ноября
- CNews AWARDS 12 ноября
- Школа Роста
- Российский рынок облаков за 20 лет
- 30 лет рынку ERP в России
- Сеть как дом
- 10 лет российского бэкапа
- Цифровизация
- Импортозамещение
- Безопасность
- ИТ в госсекторе
- ИТ в банках
- ИТ в торговле
- Телеком
- Интернет
- ИТ-бизнес
- Рейтинги
- Инфографика
|
Positive Technologies разработала LLM Firewall — новый модуль в составе решения для защиты веба PT Application Firewall. Он защищает корпоративные ИИ-боты, виртуальные ассистенты и другие сервисы на основе больших языковых моделей (LLM). Модуль анализирует запросы к LLM и их ответы, выявляя признаки кибератак, “отравления” промтов, попытки утечки конфиденциальной информации и нарушения установленных правил безопасности. Об этом CNews сообщили представители Positive Technologies.
В первую очередь разработка будет востребована банками, ретейлерами, маркетплейсами, телеком-операторами и ИТ-компаниями. В этих отраслях ИИ уже помогает обрабатывать обращения клиентов, оформлять заказы и автоматизировать внутренние процессы. При этом виртуальные помощники получают доступ к персональным данным, корпоративным документам и информационным системам – их компрометация может привести к утечкам информации, финансовым потерям и сбоям в работе бизнеса.
Один из способов атак на языковые модели — инъекции промптов (prompt injection). Злоумышленник может отправить ИИ-боту специально составленный запрос, чтобы обойти установленные ограничения, получить закрытую информацию или заставить его выполнить нежелательное действие. Вредоносные инструкции также могут скрываться в документах, которые обрабатывает модель. Традиционные средства веб-защиты не распознают такие атаки, поскольку внешне они выглядят как обычные сообщения пользователей.
«ИИ-агенты становятся полноценными участниками бизнес-процессов, а вместе с этим — новой целью для киберпреступников. Мы прогнозируем рост числа атак, при которых злоумышленники будут пытаться манипулировать поведением ИИ-ассистентов, чтобы выполнять вредоносные действия в корпоративной сети от их имени. По мере расширения возможностей таких помощников растут и последствия их компрометации. Поэтому компаниям важно учитывать эти риски уже при внедрении ИИ в свои сервисы», — сказал Павел Пархомец, руководитель продукта PT AF Cloud Positive Technologies.
LLM Firewall проверяет входящие запросы и ответы языковой модели. Модуль обнаруживает попытки обойти ограничения ИИ (jailbreak), извлечь системные инструкции или использовать возможности ИИ-агента в интересах атакующего. Подозрительные обращения можно автоматически блокировать либо фиксировать для последующего анализа специалистами по безопасности.
Еще одна задача модуля — контроль информации, которую пользователи передают ИИ-агенту в своих запросах. LLM Firewall выявляет персональные данные, пароли, ключи доступа и другие секреты, а также токсичный, запрещенный и потенциально опасный контент. Проверка в обоих направлениях позволяет компаниям контролировать сведения, поступающие в ИИ-сервис, и содержание ответов, которые получают пользователи. Для клиентских сервисов это также снижает риск репутационного ущерба из-за некорректных ответов бота.
Модуль уже интегрирован в PT AF Cloud и подключается к обмену данными между приложением и языковой моделью через API, совместимый с OpenAI Chat Completions и Responses. Для управления защитой не требуется отдельная консоль. В ближайшее время модуль появится и в on-premise продукте PT AF PRO.
Компании могут настраивать политики безопасности для разных ИИ-сервисов, выбирать режим мониторинга или блокировки и устанавливать отдельные правила проверки запросов и ответов. Информация о выявленных событиях поступает в PT AF, где специалисты могут использовать ее для анализа угроз и расследования инцидентов.
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.