Интерпретируемость LLM доказана?

Опубликовано исследовательское эссе о том, что сложность интерпретации нейросетей переоценена. Автор Nick Cammarata в своей статье на сайте goodfire.com утверждает, что полисемантичность нейронов вызвана не суперпозицией, а исправимыми причинами, и что большинство нейронов даже в огромных моделях выполняют одну понятную задачу. Сам автор называет текст рабочей гипотезой, техническая статья с полным описанием экспериментов пока не вышла. Но, как обычно, громкий заголовок и сильные утверждения привели к множеству пересказов, где гипотеза превратилась в факт.

Ниже быстрый взгляд на гипотезу.

Выборочная проверка тезисов Ника Каммараты

Пересказ, пожалуй, будет излишним. Статья написана очень понятно и убедительно, даже с автопереводом гугла вы легко разберётесь с доводами и предварительным описанием экспериментов.

Стоит сразу обратить внимание на то, что Goodfire коммерческая компания, которая предлагает в том числе и верификацию LLM как услугу, основной инструмент silico. Это не признак того, что статья некорректна, но слишком много примеров, когда давление бизнеса заставляло делать выводы слишком жёстко или слишком быстро.

Эксперимент с аудитом нейронов поставлен на Qwen, ставили гипотезы и проверяли их агенты. То есть LLM сами доказывали, что LLM интерпретируемы. Выглядит забавно, но до полного описания экспериментов и здесь делать выводы преждевременно.

Утверждение Каммараты о том, что слабые активации — это второстепенное рекурсивное обобщение, основывается на абляции с замером средней точности (weak75 снижает точность всего с 72% до 71%). Автор сам отмечает, что при этом меняется каждый десятый ответ, но считает потерянные различения мелкими — между классами, в которых сеть и так путается. Это утверждение проверяемо, и я поставил аналогичный эксперимент на микросети. Моя любимая задача сортировки, проверим, насколько второстепенен хвост активации.

На моей модели MLP-512 при аналогичном протоколе weak75 точность на стандартном тесте вообще выросла с 97.5% до 98.3%, кажется, что это полностью поддерживает Каммарату. Но если проверить на пограничных примерах (перестановка только двух соседних элементов последовательности), при абляции хвоста точность сети рухнула с 93.1% до 72.4%, то есть сеть потеряла почти половину (48%) умения сверх случайного угадывания. А полнота распознавания нарушений упала вдвое, с ~88% до ~44%.

Вывод, который следует из эксперимента: в слабых активациях сидят как раз границы классов, которые и определяют, различает ли модель близкие случаи. Важная оговорка: случайное удаление той же массы активаций даёт почти тот же эффект, так что границы держит слабая распределённая масса в целом, а хвост — большая её часть.

Каммарата, по сути, проверял типичные случаи, а не границы.

Заключение

Итак, его собственный критерий проверки (абляция 75% хвоста и оценка средней точности) может создавать иллюзию сохранности сети. Каммарата видит, что хвост решает тонкие случаи, но считает это мелочью, а на пограничных примерах эта мелочь ответственна за обвал настоящей компетенции.

То есть сети у Каммараты могут казаться чистыми просто потому, что он проверяет их на чистоту методом, который не учитывает важность границ.

В любом случае, полный разбор тезисов Каммараты возможен только после публикации полного технического отчёта. Впрочем, хайпу это как всегда не мешает.

git

Если эта публикация вас вдохновила и вы хотите поддержать автора — не стесняйтесь нажать на кнопку