Сбербанк: домашние задания стали хуже отражать знания студентов из-за использования ИИ
- CNews FORUM 12 ноября
- CNews AWARDS 12 ноября
- Школа Роста
- СУБД в эпоху ИИ
- КИИ в облаке
- 10 лет российского бэкапа
- SDN: Сеть как дом
- История облаков
- 30 лет ERP России
- Цифровизация
- Импортозамещение
- Безопасность
- ИТ в госсекторе
- ИТ в банках
- ИТ в торговле
- Телеком
- ИТ-бизнес
- Рейтинги
|
После появления общедоступных больших языковых моделей (LLM) домашние задания стали хуже отражать знания студентов. К такому выводу пришли в Центре макроэкономических исследований Сбербанка и на экономическом факультете МГУ, изучив ведомости 755 студентов шести потоков курса «Поведенческая и экспериментальная экономика» экономического факультета МГУ. Об этом CNews сообщили представители Сбербанка.
Корреляция оценок за домашние и очные работы — контрольные и экзамены, которые студенты пишут в аудитории без помощи ИИ, — снизилась на треть с 0,63 в 2019–2022 гг. до 0,43 в 2023–2025 гг.
Поток 2023 первым весь семестр выполнял домашние задания при общедоступных чат-ботах на основе больших языковых моделей: ChatGPT вышел 30 ноября 2022 года, в конце семестра потока 2022. Уже в 2023 г., до перехода домашних заданий на работу с данными, корреляция упала до 0,46. Преимущество студентов с высоким баллом за домашние задания на очных работах сократилось больше чем на треть — с 2,6 до 1,6 балла из 10. При этом результаты контрольной и экзамена согласуются между собой так же хорошо, как и раньше (0,65 и 0,67). Обе работы студенты пишут очно, поэтому доступ к ИИ не должен менять связь между ними. Ухудшилась именно связь домашних заданий с реальной подготовкой студентов.
По оценкам за домашние задания стало труднее найти самых слабых студентов. Вероятность того, что случайный студент из четверти с худшими очными результатами получит более низкий балл за домашнее задание, чем случайный студент из остальных трех четвертей, снизилась до 0.72 в 2023–2025 гг. с 0.85 в 2019–2022 гг.
Цифровая карта «Северстали». Инфографика CNews Бизнес
Домашние задания стали хуже отражать знания как сильных, так и слабых студентов. Это согласуется с тем, что генеративным ИИ пользуются студенты с любыми оценками, а не только отстающие. При этом итоговая оценка по-прежнему опирается на очные работы: без домашних заданий она изменилась бы у 22% студентов до 2023 г. и у 19% после. За шесть потоков «отлично» получили 182 студента, и только один из них написал очные работы хуже половины своего потока.
Александр Исаков, старший управляющий директор, руководитель Центра макроэкономических исследований Сбербанка: «Несмотря на то что с распространением ИИ домашние задания стали менее точным показателем знаний студентов, отказываться от них было бы ошибкой. Во-первых, самостоятельная работа формирует учебную дисциплину и мотивирует студентов глубже погружаться в материал. Лекция сама по себе не гарантирует, что знания будут усвоены: без практики многое быстро забывается. Во-вторых, именно в процессе решения задач, поиска ошибок и преодоления трудностей формируется настоящее понимание предмета. Это касается как гуманитарных, так и технических дисциплин. В-третьих, домашние задания позволяют организовать практическую работу и отслеживать прогресс большого количества студентов, не перегружая преподавателей исключительно очными проверками. Даже если сегодня такие задания уже не дают полной картины знаний, они остаются важным инструментом обучения и контроля. Поэтому задача университетов — не отказываться от них, а дополнять другими форматами оценки».
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.