Как ИИ-детекторы убивают высшее образование

Студенты всё чаще используют LLM для написания рефератов, курсовых работ, дипломных проектов — вообще любых заданий, где нет непрерывного и постоянного контроля преподавателя. Естественно, система высшего образования этим недовольна и пытается с этим бороться. И самое простое решение — выявлять и не допускать ИИ-тексты.

Эта статья о том, как ИИ-детекторы неочевидно влияют на образование.

Студенты

На сегодня я вижу вполне сложившуюся траекторию наработки привычки использования LLM, начиная со школы и вплоть до дипломного проекта, с последующим продолжением на рабочем месте.

Ученик ожидает сформулированную задачу, которую он скармливает LLM, получая на выходе готовое и оформленное решение. Школа, по-моему, вообще пустила этот процесс на самотёк; более того, часть учителей восхищается использованием «новых технологий», считая это признаком продвинутости учеников.

Первокурсники на первых занятиях продолжают исполнение привычного алгоритма. Домашние задания (абсолютно все) автоматически выполняются на LLM. Практические занятия и семинары проходят в непрерывном чате с ИИ. Рефераты и курсовые работы генерируются однострочным промптом, особо продвинутые подгружают в чат методические требования к оформлению курсовых работ.

Фактически средний преподаватель ставится перед соблазном попуститься и задать несколько формальных вопросов по работе, на которые с грехом пополам студент ответить способен. Если же его запал ещё не иссяк, то начинается долгая, выматывающая нервы война:

— Вы это сгенерировали. Переделывайте.

— Я всё делал(а) сам(а). Хотите, покажу конспекты? (Как конспекты связаны с работой, мне никогда не было понятно).

И в этот момент возникает выбор: сесть со студентом, позадавать вопросы, попросить объяснить ряд моментов, доказать его непонимание, дать индивидуальное задание, разобрать его с ним, снова дать и так далее. При этом у преподавателя в очереди ещё не менее ста студентов, семья, дом, личная жизнь. Либо просто прогнать его текст сквозь первый попавшийся ИИ-детектор, ткнуть пальцем и сказать: «Это сгенерировано, переделывайте».

ИИ-детектор и взлом награды

Преподаватель, конечно, глубоко в душе надеется, что студент раскается, удалит сгенерированный текст, после чего изучит тему, составит собственное мнение и изложит его в своей работе. На самом деле в большинстве случаев так не работает. Студент засовывает свой текст в тот же ИИ-детектор и начинает экспериментировать. Ура! Если вот это предложение сократить, оно из красного становится зелёным. Если убрать причастные обороты, изложить список сплошным текстом, заменить термин на более простой синоним, то зелёного прибавляется всё больше. И начинает кипеть работа. Текст становится рваным, косноязычным, местами откровенно тупым, но цель достигнута — ИИ-детектор показывает 100% человека.

Преподаватель проверяет и ставит оценку, зависящую от совести и политики вуза.

Понял ли что-то студент? Разобрался ли он в предмете? Крайне сомневаюсь. Сама по себе такая работа стимулирует только скорость правки текста и умение формулировать предложения, похожие по смыслу на предъявленные образцы. Она абсолютно не ведёт к пониманию студентом предмета, и с ней справится и более или менее грамотный старшеклассник.

Более того, мы в реальном времени наблюдаем парадоксальную ситуацию: высшая школа упорно учила студентов писать связно, аргументированно, с использованием строгой терминологии. А сейчас руками ИИ-детекторов вузы косвенно стимулируют студентов имитировать (впрочем, иногда это и не имитация) косноязычие. Просто потому, что именно гладкий академический слог обладает низкой перплексией и регулярно маркируется детекторами как машинный.

Вот эта ситуация крайне знакома ML-инженерам, и в обучении нейросетей это называется взломом награды (reward hacking). Нейросеть ленива ничуть не меньше студента и при возможности будет находить лёгкий способ получить награду. Для студента часто проще форматировать текст, тренируя скорость набора, чем когнитивно напрячься (чего он давно не делал) и сделать всё самому. Забавно: в конце концов вы можете получить работу, в которой каждая буква набрана самим студентом, но при этом она будет фактически сделана LLM, а студент всё так же не будет понимать, что он пытается сдать преподавателю. И это прямо говорит о том, что качество работы студента не будет зависеть от качества работы ИИ-детектора, даже при его 100% надежности, результат не изменится.

Студент становится механическим придатком LLM, задача которого — обойти ИИ-детектор.

Следствия

Теоретически дипломный руководитель или дипломная комиссия обязаны проверять понимание студентом своей работы. Но наличие официальных ИИ-детекторов их расхолаживает (хотя в части вузов и раньше, и сейчас защита дипломного проекта была формальностью).

Полученное «добро» от ИИ-детектора позволяет говорить о самостоятельной работе студента: можно не задавать неудобные вопросы и вообще основываться на том, что студент понимает, что он написал.

То есть, если стоит вопрос о понимании своего проекта, ИИ-детекторы бесполезны и даже вредны. Потому что за деньги дают ложное ощущение самостоятельной работы студента.

Но если работа студента проходит ИИ-детектор, это говорит только о том, что она проходит ИИ-детектор.

Что делать

Очевидно, что единственный вариант корректной оценки студента — это очное финальное испытание с заданием, сгенерированным в момент начала экзамена. Помните, наверное, из курса школьной истории, что у средневековых мастеров было понятие «шедевра» — когда ученик, чтобы доказать своё право называться мастером, что-нибудь изготавливал на глазах у других мастеров.

Так и сейчас: я уже уверен, что дипломные работы и проекты должны уйти в прошлое, как и приём любой заочной работы в качестве оценки студента или ученика. Только очное испытание претендента на диплом позволит понять, имеет ли он право работать по специальности или нет.

Дайте теплотехнику исходные данные, сгенерированные той же LLM в начале испытания, справочники и Excel — пусть ведёт тепловой расчёт котла или сети на глазах у комиссии. Экономист получает огромную таблицу сырых данных по предприятию и проводит анализ без доступа в интернет. Программист пишет рабочий код, а энергетик чертит схему электроснабжения.

По таким специальностям, как философия, можно, конечно, ничего не менять. Возможность ущерба от плохо подготовленного философа крайне сомнительна.

Но всё это бесполезно, если студент встретится с таким подходом только к концу обучения. К сожалению, всё это должно внедряться со школы и требоваться с первых курсов. А тут нужно больше преподавателей, больше времени и больше усилий.

Гораздо удобнее прогнать текст сквозь ИИ-детектор и выдать диплом.

Если эта публикация вас вдохновила и вы хотите поддержать автора — не стесняйтесь нажать на кнопку