MWS AI проверила способности нейросетей выявлять поддельные документы
- CNews FORUM 12 ноября
- CNews AWARDS 12 ноября
- Школа Роста
- Российский рынок облаков за 20 лет
- 30 лет рынку ERP в России
- Главные
ИТ-сценарии 2026 - Цифровизация
- Импортозамещение
- Безопасность
- ИТ в госсекторе
- ИТ в банках
- ИТ в торговле
- Телеком
- Интернет
- ИТ-бизнес
- Рейтинги
- Инфографика
|
MWS AI (входит в МТС Web Services) проверила способности мультимодальных моделей искусственного интеллекта (Visual Language Models, VLM) распознавать признаки поддельных документов. Тестирование провели на открытом бенчмарке MWS AI Vision Bench, который позволяет оценить качество работы нейросетей в области оптического распознавания символов (OCR) и понимания документов. По итогам тестирования выяснилось, что новые модели могут уступать предыдущим версиям в выявлении поддельных документов. Об этом CNews сообщили представители MWS AI.
Для проверки команда дополнила открытый бенчмарк MWS AI Vision Bench датасетом и набором заданий Anti-fraud для выявления подделок. В датасете собраны 430 изображений: 200 исходных, 130 с ручными правками и 100 пересозданных генеративной моделью. В рамках экспериментальной задачи нейросети должны были определить, к какой категории относится изображение, и перечислить подозрительные элементы. Исследователи проверяли, могут ли модели выявить подмену реквизитов в отсканированных документах и отличают ли изображения, созданные ИИ, от исходных (изображения, которые в эксперименте не редактировали). При оценке учитывались корректность классификации и качество объяснения того, какие поля изменили вручную.
Среди лидеров по выявлению поддельных документов — модели семейств Claude, GPT и GLM. Ниже представлены семь лучших результатов на открытой части набора.
Чем выше балл, тем лучше результат работы моделей в исследуемых категориях. В overall* задачи из категории anti-fraud не входят
Результаты показали, что модели, которые хорошо читают и понимают документы, могут уступать другим нейросетям в выявлении подделок. Например, GPT-6.1 Sol занимает первое место по общей оценке, но третье — по способности обнаруживать подмены. В этой категории лидирует Claude Opus 5.5.
«Новая задача Anti-fraud носит экспериментальный характер: публичный набор отличается от реального потока документов, а некоторые его особенности могут подсказывать модели правильный ответ. Поэтому оценку выявления подделок мы публикуем отдельно и не включаем в общий балл MWS AI Vision Bench. Набор помогает предварительно сравнить качество универсальных нейросетей, но для защиты от мошенничества на реальных документах лучше использовать специализированные решения», — сказал создатель бенчмарка Георгий Гайков.
Low/no-code-революция: новая архитектура цифровой независимости Конференция
С помощью дополнительного набора исследователи могут сравнить модели, изучить их ответы и проверить, замечают ли они измененные поля документов. Это поможет сократить объем ручной подготовки данных и проверок при выборе модели для работы в продакшене.
*Общая оценка (Overall) — средний балл по пяти задачам: распознавание текста (OCR), восстановление структуры документа, определение расположения текста, извлечение данных и ответы на вопросы по содержимому.
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.