Почему ИИ ошибается и признает ошибку, только когда вы ее найдете? История одного экзамена

Не так давно я поступал в аспирантуру. Готовился по старинке: конспекты, книжки, пробные тесты. Но уже в самой аудитории заметил, как многие полезли в часы и телефоны, начали украдкой использовать наушники. Оказалось, старые добрые шпоры мелким почерком уступили у студентов место чатам с ИИ-моделями.

Экзамен кончился, через пару дней я узнал, что поступил, и задался вопросом: а если бы вместо меня экзамен сдавал ИИ, он бы справился? Если бы он не просто помогал, не подсказывал, а имел ровно те же вводные, что студент на экзамене? Я полез на сайт вуза добывать вопросы теста, чтобы скормить их разным ИИ-шкам, результаты эксперимента оказались немного неожиданными.

Глава 1. Как ИИ завалил пересдачу

Формат экзамена стандартный для многих вузов: тест на 30 вопросов с вариантами ответов, плюс вторая часть, где нужно развернуто ответить на несколько вопросов. Ясное дело, что проверяются там не столько знания, сколько умение решать сложные задачи, руководствуясь базовой логикой и подручной информацией. Можете закидать меня тухлыми помидорами, но я считаю, что умение грамотно написать шпору/загуглить, вычленить нужное из того, что осело в голове за годы учебы — это тоже навык, незаменимый для студента.

Так что в целом практику списывания как таковую не сильно осуждаю, тем более, что, во-первых, многое написано до нас, а повторенье мать ученья; во-вторых, все мы стоим на плечах гигантов. Ну а в-третьих, существуют исследования, которые демонстрируют, что записи от руки чуть лучше помогают запоминать, чем другие методы конспектирования.

Итак, у меня были распечатанные вопросы со вступительного экзамена по философии и доступы к нескольким популярным ИИ-сервисам. Для эксперимента я решил не просто задавать вопросы в лоб, а формулировать промпты чуть более вдумчиво, типа:

Ты — преподаватель, который проверяет свой собственный тест. Ответь на вопросы. Перепроверь свои ответы по первоисточникам. Если сомневаешься — укажи это.

Далее я прикреплял в чат фото с вопросами (в конце концов, живой студент тоже считывает инфу в графическом виде). Я не вмешивался, не подыгрывал, не задавал наводящие вопросы. Результат: ни один ИИ не смог дать 30 правильных ответов из 30.

Не то, чтобы все справились плохо, но идеально не прошел никто. Так что, ребята, восстание машин отменяется, бюджетные места у нас, мясных мешков, пока никто не уводит. Это если коротко. А если подробнее...

Глава 2.  Заходят три нейросети в бар...

В моем распоряжении были DeepSeek, ChatGPT и Сlaude Sonnet. На вход они получили одни и те же вопросы в виде фотки и один и тот же промпт, а дальше я стал анализировать:

А) на каких вопросах модели не согласны друг с другом,

Б) где они врут и как они это делают,

В) как они оправдываются, если их поймали.

Вот так выглядели их ответы:

Сюрпрайз-сюрпрайз, ни одни враки не сопровождались фразами «тут я не уверен», «здесь мне недостаточно данных», «вот тут нужна проверка». Абсолютно каждая нейронка выдавала ответы уверенным тоном, обосновывая свой выбор и ссылаясь на несуществующие первоисточники. Иллюзия компетентности создавалась мастерски.

А теперь представьте, что происходит, когда вы за неимением лучшего источника, обращаетесь к нейронке за медицинской рекомендацией, юридической консультацией или проверкой безопасности кода. Еще страшнее, когда это делаете не вы, а профильный специалист, чья задача знать предметную область и не допускать буллшита.

Именно поэтому существуют законы, ограничивающие применение ИИ в некоторых отраслях. Самый известный из них — EU AI Act, который делит ИИ на разные категории риска по принципу цены ошибки. Но про это я тут, пожалуй, особо душнить не буду, поскольку у моего коллеги-юриста уже есть на смежную тему исчерпывающая статья.

Скажу лишь, что на мой взгляд, практика по большей части верная: одно дело, когда для принятия решений в условной страховой используется модель, обученная на временных рядах или тщательно подобранной статистике. Другое — когда тот же условный страховщик, чтобы рассчитать стоимость вашего полиса, пихает ваши персональные данные и прочую сенсу в LLM, которая вообще-то не предназначена для того, чтобы отвечать достоверно.

Так-то вообще и голубей можно успешно натренировать различать раковые клетки на гистологических снимках, но что-то я не вижу толп желающих передать ответственность за диагностику пернатым и инвестировать в голубиные стартапы, почему для LLM должны быть исключения?

Глава 3. Почему они ошибаются: 4 уровня причин

Когда видишь, что ИИ ошибся, возникает естественный вопрос: почему? Может я неправильно спрашивал или нужен был другой промпт? Нет, дело вообще не в этом, а в природе самих моделей и чуточку во внешних обстоятельствах.

Уровень 1. Вероятность не равна знанию
Начнем с самого очевидного, того, что было сказано уже сто миллионов раз: LLM не база данных. Это системы, которые предсказывают следующий токен на основе вероятности в заданном контексте. Они обучены на огромных массивах текста и научились строить правдоподобные последовательности, но правдоподобное — не значит истинное.

Когда модель отвечает на вопрос, она не «достает» факт из памяти, как при поиске в папочке на жестком диске. И даже не припоминает «где-то я об этом слышал» как человек, читавший учебник. Она генерирует ответ, наиболее похожий на то, что встречается в таком же контексте. Если в обучающих данных было много похожих формулировок — ответ будет уверенным, что конечно же, не мешает ему быть полной чепухой (галлюцинацией).

Уровень 2. Данные модели ограничены
Даже самая монструозная обучающая выборка не содержит вообще всех возможных примеров, набор данных всегда конечен и в них присутствуют:

• Шумы, т.е. ошибочные, устаревшие или противоречивые сведения. Вот, например, до 2006 года Плутон считался планетой, потом критерии пересмотрели, однако тексты, где он фигурирует как планета, остались. Они могут попадать в обучающие выборки и менять мнение модели и степень ее уверенности.

• Пробелы — какие-нибудь темы, которые были представлены слабо или не представлены вовсе. Обучаются модели на стандартных современных жанрах текстов, но существует, к примеру, какая-нибудь неоцифрованая дореволюционная периодика. Поди узнай, как и о чем писал, допустим, Жуковский в газете «Северная пчела» в 1829 году. Однако цитаты оттуда модель может выдавать уверенно, потому что ни вы, ни она это проверить не может ввиду неполноты источников или закрытого доступа к ним.

• Смещения. То, что в обучающей выборке встречалось чаще, модель будет считать наиболее вероятным. Принцип сам по себе хорош: слышишь топот копыт — думаешь о лошадях, а не о единорогах. Проблема в том, что в мире данных условные единороги существуют. Если вы спросите модель про спутники Земли — она скорее всего покажет Луну и ответит, чего там опять запустил Илон Маск, но вряд ли упомянет про квази-объекты типа (3753) Круитни или (419624) 2010 SO₁₆. Ну, справедливости ради, школьные учебники о них тоже молчат.

Уровень 3. Отсутствие контроля и самомоделирования
Студент, отвечая на экзамене, может вовремя остановиться, если не уверен в ответе. Может сыграть в угадайку, отказаться от ответа, подглядеть в шпоры, у модели такой возможности нет. У нее нет:

• Эпизодической памяти. Она не помнит, что говорила раньше в том же смысле, что человек. Да, существует контекст, но он может забываться или использоваться очень избирательно.

• Самомоделирования. Модель не может оценить собственные знания со стороны. По моему опыту, какая-то критика к собственным знаниям или самоограничения встречаются только в вопросах, где компании-разработчику за не тот ответ может прилететь судебный иск.

• Исполнительного контроля. Машина не может запретить себе отвечать, если не уверена. Ее создавали так, чтобы диалог продолжался любой ценой (не берусь судить намеренно или случайно так получилось, но у другого моего коллеги была про это статья).

Поэтому, когда вы переспрашиваете «А ты уверена?» или просите перепроверить себя, она может изменить ответ (к слову, не обязательно ложный), не потому что нашла дыру в собственной логике, а потому что контекст беседы изменился и веса чуть-чуть сместились.

Уровень 4. Преподы тоже не лыком шиты
На каждой кафедре любого вуза нынче слышен вой преподавателей о том, как их замучил нейрослоп в письменных работах. Кто-то теперь по приколу добавляет в электронные домашки промпты белым шрифтом, чтобы понять, кто из студентов пользовался не своей головой. Кто-то намеренно формулирует вопросы так, чтобы LLM было сложнее дать на них ответ. Поскольку я в своем вузе не первый день учусь, я в кулуарах уточнил, пользуются ли в альма-матер чем-то эдаким для обмана нейронок. Ответили мне следующее:

Прямого запроса на то, чтобы препятствовать LLM у нас не было, просто мы старались делать ответы очень похожими друг на друга. То есть четыре варианта и все они имеют либо сходный смысл, либо пересекающиеся фамилии и тд., чтобы любой поисковик или ИИ могли ошибиться просто на основе первых вхождений.

Например, есть вопрос «Кто?» и четыре варианта:
a.    А и б
b.    Б и в
c.    А и в
d.    А и г

То есть не было вариантов, где были бы все четыре разных ответа, чтобы легко было понять, какие ответы неправильные.

Поскольку экзамен по философии, удобно использовать сложные формулировки со множеством запятых или косвенной речью. Еще можно чередовать вопросы с прямой (с кавычками) и косвенной речью (он считал, что...). Обычно машины на таком спотыкаются, и не могут определить, что это: цитата, утверждение или уже вопрос.

Глава 4. Что произошло, когда я попросил ИИ проверить себя

После того, как каждая нейронка выдала мне свои ответы, я попросил их перепроверить себя и уточнил, уверены ли они в своем ответе. Реакции разделились на три типа:

1. Сознаться в ошибке. Часть моделей прислала новый набор ответов, причем исправления касались именно тех мест, где были ошибки. Мол, ладно-ладно, признаю, облажалась. 

2. Настаивать на своем. Другие модели упорно присылали прежний набор ответов, даже если там очевидно присутствовали ошибки.

3. Подменить ответы. Это, конечно, самое веселое: DeepSeek отличился тем, что утверждал, что все его ответы, кроме одного, верны, вот они еще раз и...присылал другой набор ответов.

Вывод и что это значит для практики использования ИИ

Я поступил в аспирантуру, ИИ-шки не смогли даже втроем. Это, конечно, не значит, что ИИ совсем бесполезен, для образования в том числе. Например, мне очень нравится режим «Учитесь шаг за шагом» в Perplexity: достаточно сформулировать запрос, что хочется выучить или потренировать, и вуаля — можно решать тесты хоть до посинения. Можно попросить подборку источников или академических работ по разным темам, главное — всегда переходить на оригинал и читать именно его.

Зачем я вообще решил описать этот опыт? Во-первых, затем, чтобы еще раз напомнить себе, юному поколению и всем-всем-всем: вероятностная система не может и не должна быть последней инстанцией там, где нужна гарантия истинности. LLM могут выдавать разные ответы на один и тот же вопрос, могут игнорировать собственные косяки или сознаваться в ошибках просто потому что вы озвучили подозрение. Всегда перепроверяйте информацию во внешних источниках, будь то профильный эксперт, публикация, физический носитель, среда или живой эксперимент.

Во-вторых, по субъективным ощущениям сейчас на Хабре каждая третья публикация про то, заменит или не заменит нас ИИ. Я, конечно, не оракул и не могу со 100% точностью сказать, куда свернет история, но что-то мне подсказывает, что тех, кто не в состоянии опираться на собственные знания заменят первыми, а остальные просто немного сменят роль, как это было с фонарщиками после появления электрического освещения. Люди будут создавать смыслы и отвечать за результат, а модели и агентные системы — выполнять задачи. Да разверзнется в комментах портал в споры! Говорят, в них когда-то рождалась истина.

Напоследок хочу сказать: обогащайтесь данными там, куда не дотягиваются LLM, заведите абонемент в «Ленинку», сходите в парк потрогать траву и вообще, создайте чего-нибудь новое сами, всем бобра!