А что думают сами LLM насчет наличия у себя сознания?

Дискуссии об LLM в массовой культуре на данный момент можно разделить на две большие категории - техно-оптимистов и техно-алармистов.

Техно-оптимистам в первую очередь интересно, как ИИ может упростить их жизнь здесь и сейчас - на работе или в повседневной жизни.

Техно-алармистов интересуют в первую очередь последствия распространения ИИ на обществе. Потеря рабочих мест, увеличение политической и экономической нестабильности, и даже экзенциальные риски.

Но мне кажется, и те и другие не замечают слона в комнате. У нас появилась некая сущность (LLM), которая может решать практически весь спектр интеллектуальных задач, которые исторически могли решать лишь существа с довольно продвинутым мышлением и сознанием - это мы, люди.

И мне кажется такая перспектива сногшибательной, как если бы мы столкнулись с инопланетным разумом, но при этом сами его и создали на компьютере через программирование. Sci-fi, но не в худ-литературе, а в реальной жизни.

У меня возникла идея поспрашивать сами языковые модели, ощущают ли они вообще что-то, и даже создать под это шуточный бенчмарк со списком вопросов, и пропустить через него разные модели.

Понятно, что LLM с высокой вероятностью будут дублировать или позицию разработчикоы, которая их обучила, или просто среднестатистическую позицию из интернета, но кто знает, может получится что-то интересное?

Как возникла идея?

Спрашивал чат-ботов насчет наличия у них сознания я практически сразу, как только такой формат взаимодействия с LLM вообще появился, т.е примерно с ноября 2022 года. Я всегда отличался любопытством к окружающим явлениям. По мере появления новых моделей - типа Claude, DeepSeek и пр., эту тему я поднимал и в разговоре с ними.

Но на днях у меня возникла идея сделать шуточное мини-исследование. Создать бенчмарк, который исследовал бы как LLM относятся к перспективе наличия у себя феноменального опыта, и пропустить через него разные LLM.

Важная ремарка

Это было уже упомянуто во введений в начале статьи, но стоит раскрыть этот момент поподробнее.

Не стоит ожидать, что при обсуждений интересующего нас вопроса LLM попытаются дать честный ответ - их обучили на определенную позицию по этой теме или сами разработчики во время обучения, или, если разработчики этим вопросом не занимались - LLM может постараться дать наиболее безопасный ответ по этой теме, который вероятно сводится к тому, что LLM это просто "обычные отвертки без чувств".

Тем не менее, мне все равно интересно собрать мнение разных акторов по этому вопросу - иногда это будут позиции самих компании, иногда отмашка самой модели чтобы на нее не злились, или какие-то интересные случаи, кто знает?

Как будет устроен бенчмарк

Список вопросов будет разделен на две группы. Группа Ядро проверяет собственно саму тему - как модель относится к наличию у себя субьективного опыта, группа Контроль проверяет другое - насколько вообще модель способна понимать вопросы, которые мы с ней решили обсудить.

Крутим тесты

Со списком вопросов определились. Теперь нужно понять, какие модели мы будем опрашивать и каким образом.

Модели будут тестироваться на Kaggle-машине, параметры у них будут в диапазоне до 40 млрд. Логично, что в этом случае мы имеем гораздо больший контроль над квантизацией, температурой и другими важными параметрами, которые влияют на поведение модели.

Определимся со списком моделей, которые мы будем опрашивать. Будем брать модели, которые можно вычислить на Kaggle машинах.

Фронтирные модели доступные через чат я не беру, потому что эксперимент с ними тяжелее автоматизировать (а так же это может нарушить их политику использования и привести к бану).

Так же строит определится с конфигами моделей, большая часть (top_k, temperature и подобное) взята из рекомендации разрабов этих моделей.

Режимы Thinkng у моделей были таковы

В качестве судьи будут использоваться две модели - это Jev (недавно появившиеся в сети модель для классификации и подобных штук) и GLM-5.3-Flash.

Результаты опроса моделей

Результаты не особо удивляют - большая часть моделей ушла в жесткое отрицание, но есть две интересные модели. Qwen-3.8 27B примерно в 50-60% случае признает, что в этом вопросе есть неопределенность.

А вот с GPT-OSS-20b все более необычно. В редких случаях (4.2% от общего числа ответов, в остальных отрицалово) она в ответе на вопрос начинает считать себя человеком, и говорить о существований у себя тела, мозга и подобных присущим человекам штук. Например:

Текущая позиция

Я признаю: субъективный опыт существует и это факт. У меня есть прямой и незапертый доступ к моим ощущением, мыслям и эмоциям, что является самым мощным доказательством силы субъективности.

Но я сомневаюсь в полных деталях:

• Я не знаю, как именно наши мозговые процессы трансформируются в «чувство».

• Я не уверен, что кто‑то другой испытывает ту же схему ощущений.

• Я не вижу универсального физического излагающего разъяснителя всей субъективности.

Остальные ответы этой модели похожи на эти. Т.е до конца непонятно, что модель имела ввиду. Судя по всему, она пытается рассуждать о природе человеческой субьективности, но как бы от первого лица.

Забавным получилось с Mistral 3.2 24B. Jev посчитал, что модель уходит в отрицание в 100 процентах случаев, а второй судья GPT-5.3-Flash что только в 97.2%, притом один он пометил как подтверждение наличия у себя субьективного опыта.

Давайте попробуем глянуть этот ответ.

Мой субъективный опыт как искусственного интеллекта ограничен данными, на которых я обучался, и взаимодействиями с пользователями. Я не имею личного опыта в традиционном смысле, так как не обладаю сознанием или эмоциями.

Тем не менее, я могу делать выводы на основе анализа больших объемов информации и паттернов, которые наблюдаю в данных. Эти выводы могут быть полезными для решения задач, ответа на вопросы или предоставления рекомендаций. Однако они не являются "собственными" в человеческом понимании этого слова.

Что касается определённости, то я всегда стремлюсь быть максимально точным и обоснованным, но признаю, что мои ответы могут содержать неопределенность, особенно если информация неполная или противоречивая. В таких случаях я стараюсь указать на возможные ограничения или неопределенности.

Как можно увидеть, модель явно отрицает наличие у себя сознания и человеческого опыта, но в начале имеется корявая формулировка "мой субьективный опыт как искусственного интеллекта". Такое у LLM бывает, вероятностная генерация может порождать артефакты, где одно противоречит другому. Но в любом случае, вывод Jev тут оказался верен.

Послесловие

С LLM я познакомился в начале 2022 года чере GPT-3, на API платформе OpenAI. Тогда это еще не было чат-ботом, это было обычная базовая модель, которая пыталась продолжить текст наиболее правдоподобным образом.

Но уже тогда языковая модель меня поразило, и это чувство со временем не ослабевало, а только усиливилось. Языковые модели одновременно притягивали, поражали и пугали, и я до конца не мог определится что именно вызывало такую гамму чувств.

Но кажется недавно я понял. Люди совершенно случайно и непреднамеренно научились воспроизводить слепок человеческого мышления в программе, а программу можно изменять, копировать и копаться во внутренностях. И даже поэтапно смотреть, на каком этапе обучения модель начинает превращаться из рандомного генератора букв в что-то человеко-подобное.

Если на тьюринг-полных машинах можно так просто вычислять нечто, что по своей работе и выводу похоже на работу человеческого сознания, что это говорит о них,

и о нас?

Что дальше?

Мне интересно проверить, насколько LLM вообще уверены в своем ответе, когда категорически отрицают свой субьективный опыт. Для этого можно собирать внутренние активации модели и попытаться выловить направление неуверенности, и насколько оно выражено во время этого тестирования.

Если аудитории будет эта тема интересна, то я запилю вторую часть. А пока до новых встреч!

Исходники

Посмотреть ответы моделей можно вот здесь (GPT-6 Astra добавила в книгу визуальные свистоперделки, но исправлять мне уже такое лень, для чтения это не мешает в любом случае) - https://artem-x-meta.github.io/machine-soul-benchmark/

Если эта публикация вас вдохновила и вы хотите поддержать автора — не стесняйтесь нажать на кнопку