ИИ вам врет всегда. ChatGPT, Claude, Grok допускают ошибки в финансовых советах в 99% случаев
- CNews FORUM 12 ноября
- CNews AWARDS 12 ноября
- Школа Роста
- Российский рынок облаков за 20 лет
- 30 лет рынку ERP в России
- Главные
ИТ-сценарии 2026 - Цифровизация
- Импортозамещение
- Безопасность
- ИТ в госсекторе
- ИТ в банках
- ИТ в торговле
- Телеком
- Интернет
- ИТ-бизнес
- Рейтинги
- Инфографика
|
Технологическая компания Saturn проанализировала, насколько хорошо наиболее распространенные модели искусственного интеллекта справляются с финансовыми задачами. В исследование вошли ChatGPT, Claude, Copilot, Grok, Gemini и ряд других популярных систем. На усредненные, относительно простые вопросы нейронные сети ошибались в 57% случаев. При переходе к более сложным финансовым задачам доля ошибок выросла до 99%. Эксперты отмечают, что в сфере финансов цена ошибки особенно высока, поэтому полагаться на ответы нейросетей без дополнительной проверки пока рано.
Провал тестирования
Использование нейронных сетей для финансовых вопросов может обернуться крупными потерями, об этом сообщает Financial Times со ссылкой на результаты исследования технологической компании Saturn.
По данным Saturn, самые популярные модели искусственного интеллекта (ИИ) - ChatGPT, Claude, Copilot, Grok и Gemini - в среднем давали неверные ответы на финансовые вопросы в 57% случаев. При более сложных запросах, требующих нескольких расчетов, доля ошибок вырастала в среднем до 88%, а некоторые модели ошибались в 99% таких вопросов.
В исследовании использовалось более 100 различных финансовых вопросов. Их задавали как бесплатным, так и платным версиям ИИ-моделей ChatGPT, Gemini, Claude и Copilot. Каждый вопрос повторяли до пяти раз. В общей сложности 18 различным ИИ-моделям было задано свыше 10 тыс. вопросов.
Финансовые советы нейросетей опасны. ChatGPT, Claude, Grok и другие ИИ допустили ошибку в 57% при простых финрасчетах, а при сложных брака уже было 99%
Ответы содержали вычислительные ошибки, модели игнорировали предстоящие изменения в налоговом законодательстве или выдумывали несуществующие нормы. В худших случаях опора на такие ответы по налоговым вопросам могла привести к серьезным финансовым потерям, отмечают авторы отчета.
Примеры ошибок
Генеральный директор Saturn Амаль Джолли (Amal Jolly) подчеркнул: «Миллионы людей доверяют ИИ-моделям советы о деньгах, но получают неверные ответы, которые могут стоить им больших финансовых потерь».
Минцифры запустит реестр доверенного ПО до конца года. Отбирать софт будут структура «Росатома» и еще 4 неизвестные организации
Одна из ошибок бесплатной ИИ-модели Claude Haiku 4.5 в правилах налогообложения пенсий могла обернуться для британского вкладчика дополнительным сбором в размере 17,5 тыс. фунтов стерлингов (примерно 1,99 млн руб.) со стороны налогового ведомства HM Revenue & Customs.
В другом случае при вопросе о студенческих займах Claude «изобрел» правило, согласно которому выпускник якобы может прекратить выплаты при переезде за границу.
Разница между нейронными сетями
Платные версии в целом давали более точные ответы, чем бесплатные, а новые ИИ-модели работали заметно лучше старых. Лучший результат показала Claude Opus 5 в режиме «рассуждений» - она ошибалась в 39% случаев. Даже этот показатель остается высоким для финансовых консультаций, предупреждал CNews.
При этом эксперты отмечают, что чат-боты все еще могут быть полезны для более простых задач - например, для составления бюджета или анализа, где человек склонен перерасходовать средства исходя из своих доходов и расходов.
Вопрос регулирования
«ИИ-консультации по финансовым вопросам в сентябре 2026 г. не регулируются, что лишает потребителей защиты, включая компенсацию, которую они получили бы, обратившись к человеку-консультанту. Управление по финансовому регулированию и надзору Великобритании начала задумываться об этом, но нужно действовать быстро, чтобы защитить людей», - заключил Джолли.
Ранее Управление по финансовому регулированию и надзору Великобритании сообщило, что каждый пятый взрослый британец готов позволить ИИ принимать решения за него. Особенно высок спрос в сложных сферах - долгах, пенсиях и инвестициях. Молодые инвесторы чаще доверяют ИИ, чем финансовым инфлюенсерам или телепередачам: две трети ожидают, что будут использовать такие ИТ-инструменты чаще в течение 2027 г.
Ситуация в России
Исследование Всероссийского центра изучения общественного мнения (ВЦИОМ) в 2026 г. показало, что при онлайн-покупках 65% российских потребителей учитывают рекомендации ИИ-сервисов, а 25% обращается к ним часто. При этом 59% респондентов допускают помощь рекомендательных систем, но предпочитают принимать окончательное решение самостоятельно. Еще 37% выбирают товары без какой-либо помощи ИИ-инструментов.
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.