Swordfish Security представила обновленный фреймворк оценки AI Security
- CNews FORUM 12 ноября
- CNews AWARDS 12 ноября
- Школа Роста
- Российский рынок облаков за 20 лет
- 30 лет рынку ERP в России
- Главные
ИТ-сценарии 2026 - Цифровизация
- Импортозамещение
- Безопасность
- ИТ в госсекторе
- ИТ в банках
- ИТ в торговле
- Телеком
- Интернет
- ИТ-бизнес
- Рейтинги
- Инфографика
|
Swordfish Security представила обновленный фреймворк оценки AI Security. Методология по оценке зрелости компаний, применяющих искусственный интеллект, доступна для ИБ-команд компаний бесплатно. В этом году в нее добавили несколько важных изменений, отражающих динамику внедрения искусственного интеллекта в России. Об этом CNews сообщили представители ГК Swordfish Security.
Одной из ключевых проблем, возникающих по мере внедрения ИИ в бизнес-процессы эксперты называют растущее количество ИИ-агентов, которым компании доверяют уже не просто задачи, а корпоративные процессы, от аналитики до написания ПО без пошагового контроля человека. Риск связан с самой природой таких систем: агент не ограничивается формированием ответа, а может иметь полномочия, доступ к инструментам и способность действовать без человека в цикле. В такой конфигурации ошибка модели способна перейти из кода в действие внутри корпоративной системы.
Практическим первым шагом для компаний может стать фреймворк оценки AI Security. Генеральный директор Swordfish Security Александр Пинаев представил его версию 2.0. Фреймворк опирается на существующие домены и практики, позволяя компании оценить текущее состояние контроля, определить приоритеты и сформировать последовательность дальнейших действий.
«Фреймворк в версии 2.0 стал более ориентированным на практику. Компания может пройти по вопросам фреймворка, зафиксировать свое текущее состояние и получить маршрут развития: определить, куда двигаться дальше и какие шаги дадут наибольший эффект в ближайшей перспективе», — отметил Александр Пинаев.
В новую версию вошли два дополнительных домена: безопасность агентских систем и безопасность RAG-пайплайнов. Первый сфокусирован на контроле поведения агентов. Он позволяет выделить вопросы, связанные с их действиями и использованием инструментов, в самостоятельный контур оценки.
Второй домен посвящен данным, используемым в ИИ-системах. Он предполагает контроль используемых данных, понимание их связи с моделями, учет версий и происхождения компонентов. По словам Пинаева, такой подход необходим и при работе с моделями с открытыми весами, и при использовании проприетарных моделей.
«Если мы не знаем, на каких данных обучалась модель и как формировался ее контекст, мы не можем в полной мере прогнозировать ее поведение», — сказал Александр Пинаев.
Версионный учет, инвентаризация данных и моделей, фиксация инцидентов и наблюдение за нежелательным поведением позволяют перейти от разовой проверки к постоянному управлению AI Security. Это принципиально для генеративных моделей, поведение которых обладает свойством недетерминированности: один и тот же запрос может давать разные результаты.
Обновленный фреймворк дает компаниям прикладной инструмент, чтобы начать выстраивать контролируемое использование ИИ с учетом особенностей агентных систем, RAG-пайплайнов, данных и моделей.
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.