Нейрослоп не пройдёт: отбор в первую Школу аналитиков hh

Мы получили больше 250 тестовых на 25 мест в первую Школу аналитиков hh. Многие решения были сделаны с нейросетью, и это нормально — аналитики в работе тоже пользуются LLM-инструментами. Вопрос был в другом: как за аккуратным текстом от LLM разглядеть кандидата с пониманием того, что он делает.

Я — Валя Борисов, тимлид команды аналитики Trust&Safety в hh.ru, и параллельно организатор процесса отбора в Школу аналитиков. По долгу основной работы стараюсь сделать так, чтобы все стороны найма обладали достоверной информацией друг о друге. Тестовое в эру нейрослопа ставит ту же задачу: понять, стоит ли за красивым результатом сам человек.

Для начала немного контекста. В сентябре 2026 года hh запустил первую Школу аналитиков. Основная цель — обучить ребят-студентов, которые заряжены получить практический опыт в аналитике, а потом взять их на стажировки в команды. Концепция школ для нас не новая: на данный момент прошло 3 Школы продактов и 16(!!!) Школ программистов. Школу программистов прошло более 375 человек, из которых 110+ попали в технический департамент hh.

Общая рамка отбора

Перед любым отбором возникает вопрос, а кого мы вообще хотим видеть как целевого студента школы? В Школе аналитиков мы делаем акцент на практических навыках. Поэтому фокус хотелось сделать на ребятах, кто умеет интерпретировать данные и давать применимые к жизни рекомендации. Это приводит к первой проблеме — уход от рамки академических задач усложняет проверку и повышает уязвимость к нейрослопу.

Рядом есть вторая проблема — «аналитика данных» ещё не прижилась как полноценная дисциплина в большинстве университетских программ. Python, SQL, Matlab, R, Excel - все владеют разным инструментарием. Мы решили, что лучший вариант — не требовать знание конкретных языков, а дать выбрать самый удобный вариант. Спойлер: 85+% всё равно выбрали Python)

Практические проблемы

Окей, нам нужны практико-ориентированные задачи, которые не привязаны к конкретному ЯП и доступны студентам разных курсов. А как сделать задачи, которые позволят ранжировать кандидатов по уровню? В эпоху ИИ-агентов стопроцентный слоп в тестовом может выглядеть убедительнее реального решения. С другой стороны, использование современных инструментов позволяет быстрее и эффективнее делать работу, поэтому штрафовать за сам факт использования нецелесообразно. Хотелось придумать задачи, где максимальный балл получат работы, рождённые из кооперации с LLM-кой.

Слоп для нас — это когда кандидат берёт ответ модели как есть, не проверяя и не понимая, что там написано. Чтобы отделить разумное использование моделей от слопа, в задачи добавили несколько «ловушек», которые должны показать использование ИИ без достаточной валидации. Например, избыточно сложные вопросы или просьба написать комментарий. Причем ловушки были двух типов:

1. «Штрафные» стоили баллов — грязь в данных, рекомендация без учёта контекста задачи и т.п.

2. «Сигнальные» (те самые сложные вопросы и комментарий) на балл не влияли, а просто помогали отловить работы, которым надо уделить больше внимания на ручной проверке и интервью.

Ещё один челлендж — оптимизация ресурсов на отбор. Детальная ручная проверка самый точный вариант, но при потоке из 250+ сданных тестовых на это уйдёт 100+ человеко-часов сотрудников. К тому же нам не обязательно иметь точное ранжирование кандидатов, достаточно классифицировать на прошедших порог и нет. Для этой цели отлично подошли передовые ИИ-модели с автоматизированной проверкой по машинно-адаптированным маркингам и выборочным контролем со стороны проверяющего. Но об этом чуть позже)

В финальной итерации решили остановиться на двух задачах:

1. Анализ датасета

2. Теория вероятностей и статистика — критический разбор поста в соцсети

Каждая задача делилась на четыре смысловых блока:

• Посчитать

• Найти подвох в распределении или в логике

• Интерпретировать

• Дать рекомендацию

Давайте разберём подробнее задачи, подходы к решению и слоп-ловушки.

Задача 1. Анализ датасета с зарплатами

Блок A

Датасет был синтетическим, и в него зашили некоторые аномалии:

• перевёрнутые вилки

• нереалистичные зарплаты

• строки без зарплат

• бимодальность в группах и тп

Полностью справились с очисткой и описанием методологии всего 13% кандидатов.

Кажется, что передовые нейросети должны хорошо справляться с этой задачей, но делают они это с характерными слоп-паттернами: нереалистичные зарплаты нормируют (делят на 100 или умножают на 100), перевернутые вилки переворачивают без дополнительных комментариев, методологически безупречно чистят выбросы без привязки к бизнес-смыслу.

Машинно-сделанные гистограммы зачастую имели нулевую интерпретируемость. При некорректно выбранном способе очистки столбики схлопывались или группа с выбросами перекрывала все остальные.

Блок B

Блок начинается с расчёта skewness. Как показала практика, большинство кандидатов не знали, что это, и ожидалось, что они (возможно, при помощи нейросетей) узнают, что это. На этапе проверки тестового это невозможно оценить, но на этапе интервью понимание скошенности было одним из основных детекторов слопа.

Сильные кандидаты рассуждали про то, что в ИТ группа 1-3 года самая нестабильная по зарплатам из-за так называемых «скрытых мидлов». Это люди с небольшим опытом, которые быстро прогрессируют и начинают быстро получать мидловскую зарплату. Но помимо этого есть и фактор географии: в крупных городах зарплаты могут быть выше, чем в регионах, что тоже влияет на скошенность и форму распределения в целом.

Блок C

В C1 большинство кандидатов корректно решили использовать медиану в качестве основной метрики для сравнения зарплат. Особо сильные работы рассуждали про то, что медиану надо считать в рамках своего города или учитывать свой потенциал. Если Вася чувствует, что обладает хардами и софтами выше среднего, можно целиться в более высокий перцентиль по уровню зарплаты.

C3 — основная слоп-ловушка секции. Для ИИ очевидно, что надо проводить статистический тест, и цепочка рассуждений у него типовая: основная метрика — медиана, значит нужна непараметрика, значит тест Манна-Уитни. Кстати, строго говоря, медианы этот тест не сравнивает, он проверяет сдвиг распределений, и это отличный вопрос на защиту. Чтобы студент самостоятельно пришёл к такой идее и осознанно провёл его, надо понимать большую пачку побочных теоретических вопросов: что такое p-value, чем параметрический тест отличается от непараметрического, предпосылки каждого теста, ЦПТ и т.д.

Повторюсь, что нет ничего плохого, если работа делается при помощи LLM — плохо, когда используются методы, про которые кандидат вообще ничего не понимает. Официальный маркинг вообще не обязывал проводить тест Манна-Уитни, равно как и любой другой статтест.

Блок D

Любые рекомендации — самая сложная часть для LLM-моделей. Они начинают фиксироваться на цифрах и не учитывают общий контекст задачи: что Вася студент, но с опытом работы (где?), его мотивацию, формат занятости, университет и программу и т.п.

Отдельным кандидатам без LLM это тоже свойственно, но там хотя бы удаётся избежать явно нереалистичных вариантов. Итог в цифрах: полный балл за рекомендацию получили всего 6% кандидатов — меньше, чем за любой другой пункт задачи.

Задача 2. Критический разбор поста в соцсети

Блок A

Блок, по сути, разминочный — с ним справились 95% студентов с нейросетью или без.

Блок B

Блок на анализ утверждений автора. Каждое из утверждений содержит различные ошибки и неточности: самоотбор, ошибка выжившего, ошибка игрока, нет контрольной группы. Основной способ детектировать слабых кандидатов и потенциальный слоп — названия как из учебника у всех парадоксов, при этом игнорирование базовых предпосылок задач. Например, что отклики одного человека связаны общим фактором: резюме и выбор вакансий одни и те же. Тогда серия отказов не приближает оффер, а скорее даёт повод проверить резюме, и учебная «ошибка игрока» объясняет только половину картины.

Блок C

Если отклики действительно независимы и вероятность оффера у каждого одинакова, то распределение откликов до первого оффера — геометрическое распределение. Сигнал из той же серии, что Манн-Уитни тест: в C1 мы сами спрашивали, к какому распределению относится задача, а в C2 название никто не просил, и большинство кандидатов про геометрическое распределение не знают. При этом LLM-ный ответ в C2 его упоминает и выводит характеристики распределения на основе знания названия и его свойств. Хороший вопрос на защиту тестового на секции интервью.

Блок D

Комментарий Вовы — большой сигнал слопа. Обычно самостоятельно пишут короткие понятные фразы, иногда с юмором или в стилистике поста. Нейрослоп присылает простыню с эмодзи, «важно отметить» и прочими распространёнными паттернами AI-текста. Задача ничего сама по себе не решает и просто призвана отловить потенциальные слоп-работы, которым надо уделить больше внимания на этапе проверки или интервью.

Прочие паттерны в рекомендациях соотносятся с первой задачей.

В целом, кандидаты справились со второй задачей ощутимо лучше, чем с первой. Средний балл составил 86% от максимума против 68% у первой задачи. Хоть вторая задача и не была гейм-чейнджером при ранжировании кандидатов, она давала неплохое представление о степени самостоятельности выполнения.

Как проверяли

Выше я уже заспойлерил, что проверку решили частично автоматизировать. Тут целая россыпь сложностей, которую предстояло решить:

1. Машинный маркинг отличается от человеческого. Как убрать субъективность в субъективном задании?

2. Стоимость vs качество: frontier-модели подходят лучше, но стоимость по API получается большая

3. Сравнимость результатов: разные итерации могут давать разные баллы за одно и то же решение. Точно ли можно сравнивать разные работы между собой?

4. Маскирование персональных данных

Двигались итерационно.

Сначала сделали машинный маркинг. Он концептуально отличается от экспертного тем, что под каждый вариант проставления баллов прописан список условий, который должен быть выполнен. От ИИ-проверяющего свой выбор требуется обосновывать конкретными цитатами из работы. Схема такая:«за задачу стоит 0 баллов, пока ты не нашёл доказательств, подкреплённых цитатами, почему балл должен отличаться». Ещё одно отличие — можно прописать гораздо больше условий для повышения/снижения баллов, если он вписывается в контекст модели. Требования к выводу тоже строже: нужен детерминированный вывод, который легко будет распарсить…

Минус один — нужна модель, которая сможет это переварить. Кандидаты сдавали работы в разных форматах: pdf, html, doc; код: py, ipynb, sql, xlsx, r. Пробовали использовать gpt-6-luna, claude-5-sonnet, grok-4.6, но на внутренних тестах все модели сыпались на сложных случаях. В какой-то момент пришло понимание, что если хочется сделать процесс, которому можно доверять, то надо придумывать более сложные вещи на топовых моделях.

Бюджет нашёлся, и ниже я расскажу, как выглядела итоговая схема.

Сначала работы проходили через локально развёрнутую open-source модель для маскирования персональных данных в работах.

На пачку из 30 работ выделяются три независимых агента на базе gpt-6-astra. Каждый проверяет свою пачку из 10 работ, оформляет комментарии, выводы и спорные моменты. Затем те же агенты меняются работами и независимо проверяют работы друг друга (не видя прошлые результаты!). Если итоги первой и второй итерации расходятся, работа вместе с результатами обеих проверок отдаётся четвёртому агенту-судье (также на базе gpt-6-astra), который принимает финальное решение.

Проверка 250+ работ заняла около пяти часов параллельной работы агентов.

На тестовых прогонах устойчивость результатов была очень высокой. 10 независимых итераций давали примерно одинаковый балл (± 2/100), который совпадал с оценкой человека.

Поскольку, строго говоря, стояла задача recall-максимизации (всё-таки за каждым решением стоит потенциально замотивированный студент, на дальнейшую карьеру которого мы можем повлиять), то спорные работы отправлялись на ручную допроверку. Тут важно: подозрение на ИИ само по себе баллы не снижало. Слоп наказывался по-другому: штрафные ловушки встроены прямо в маркинг, и непроверенный ответ терял баллы за ошибки, а не за стиль. Сигнальные на балл не влияли вообще. Детекторы ИИ-текста ошибаются, ловушки неидеальны, поэтому решения об отсеве за слоп принимались только человеком. Подозрение от агента работало как флажок: такие работы я досматривал сам, а на интервью по ним задавал прицельные вопросы.

Живое интервью

Неоднократно уже упоминал интервью как следующий этап отбора. Оно служит финальным барьером между хорошо оформленным слопом и оффером в Школу аналитиков. На интервью позвали около 100 человек, собеседовали их 12 сотрудников. Каждое интервью шло 30 минут и делилось на три секции — мотивация, защита тестового и статистика с теорвером, за каждую от нуля до трёх баллов. Так что треть оценки за интервью складывалась из обсуждения тестового задания. Вопросы были разнообразные, но в основном связанные с ИИ-ловушками в работе — например, что на самом деле проверяет тест Манна-Уитни, что такое скошенность и почему из-за неё среднее больше медианы, откуда во второй задаче вообще взялось геометрическое распределение.

Смотрели и на косвенные признаки. Идеальная работа от студента, который не понимает концепцию математического ожидания — тоже большой сигнал слопа. Обсуждали и в целом подход к решению и использованию ИИ. Как показала практика, интервьюеры часто повышали оценку за грамотный и обоснованный подход к работе с LLM.

Итоги

Так как всё-таки разглядеть за аккуратным текстом от LLM кандидата, который понимает, что делает? Если коротко — ни один этап сам по себе ничего не решает, работает только связка. Задачи строили так, чтобы без своей головы было не вытянуть интерпретацию и рекомендации, в них встроили ловушки, а финальным барьером было живое интервью — там быстро видно, может ли человек объяснить своё же решение. Агенты сильно разгрузили проверку, но последнее слово по слопу всегда было за человеком.

При принятии решений мы руководствовались важным правилом — осмысленное использование ИИ-инструментов не является слопом. Самые сильные кандидаты комбинировали собственную экспертизу с проверяемой помощью LLM.

В цифрах: больше 250 тестовых, около 100 приглашений на интервью и 25 мест в первом потоке. К следующему набору ловушки и подход, вероятно, придётся обновить: эту статью прочитают и студенты, и модели)

Если сами нанимаете и уже придумали, как проверять тестовые в эпоху LLM — расскажите в комментах, интересно сравнить подходы. А если хотите в следующую Школу аналитиков — следите за набором.

Если вас заинтересовала аналитика в hh, приглашаю послушать наш новый «Статзначимый подкаст» — в нём мои коллеги обсуждают актуальные вопросы из продуктовой аналитики, делятся своим опытом, прогнозами и переживаниями. Подключайтесь, будет интересно!