Ученые создали Душегуб из Cyberpunk 2077. Первой ее жертвой оказался самец дрозофилов, давайте посмотрим ее энграмму

Автор решил пойти на поводу у трендов, и повычислять самца дрозофилов у себя на ноутбуке. Но не с целью поиздеваться над бедным животным, а изучить повадки насекомого в виртуальной среде, и может даже заговорить! По крайне мере, о мухьем.

Писатель‑фантаст: «В своей книге я придумал Узел Мучений как предостережение».

Технологическая компания: «После многих лет работы мы наконец создали Узел Мучений из классического научно‑фантастического романа „Не создавайте Узел Мучений“!»

© Мем из интернета

Из‑за чего весь сыр‑бор

Думаю не стоит рассказывать о том, какой фурор произвел опубликованный недавно коннектом самца дрозофилов, качается он здесь.

Были созданы стенды разной степени извращенности, но мне хотелось посмотреть на обычную муху в виртуальном пространстве, как бы она она ела пищу, ухаживала за собой, избегала опасностей и занималась другими мухьиными вещами.

Первые эксперименты

«Душегуб» — высокоразвитая интеллектуальная система, которая якобы похищает души нетраннеров. К сожалению, городские легенды Найт‑Сити, как правило, оказываются правдой — особенно самые жуткие.

© Текст с одного из загрузочных экранов в Cyberpunk 2077

Я решил обсудить этот вопрос с GPT-6 Astra прямо в веб‑чате (в режиме Work), предварительно скинув ссылку на датасет. Она довольно быстро сварганила прототип и даже запустила муху у себя на машине, т.е коннектом не требовал явно каких‑то огромных вычислений. И скинул мне в MP4 результат работы.

Задача требовала только чтобы муха перемещалась по арене. И тут стоит подметить важный момент что коннектом сам по себе не будет создавать стимулы, в данном случае нейронные связи которые отвечали за передвижение, активировались у мухи вручную через активацию зон, связанных с движением.

Вдыхаем в муху жизнь

Перед тем, как двигаться дальше, стоит разобрать, чем наша модель отличается от реалистичной биологической симуляции.

В нашей модели есть несколько уровней: нейронная сеть на основе коннектома, модель потребностей организма, контроллер поведения и система управления физическим телом. Наблюдаемое поведение получается благодаря их совместной работе.

Из коннектома мы берём связи между нейронами и количество анатомических синапсов. Но этих данных недостаточно, чтобы однозначно восстановить динамику сети. В нашей реализации вес связи рассчитывается как число синапсов, умноженное на общий коэффициент усиления и знак возбуждения или торможения. Знак назначается по упрощённому правилу на основе аннотации нейромедиатора. Это уже наши допущения: количество анатомических контактов не является готовым измерением физиологической силы связи.

Каждый нейрон представлен одинаковой моделью LIF — leaky integrate‑and‑fire. Она накапливает входное воздействие, постепенно возвращается к исходному состоянию и генерирует импульс при достижении порога.

У всех клеток одинаковые параметры: постоянная времени мембраны 20 мс, затухание синаптического воздействия 5 мс и задержка передачи 2 мс. Расчёт идёт с шагом 1 мс. Порог и прочие параметры выбраны нами; они не поставляются вместе с коннектомом как измеренные характеристики каждого нейрона.

Сигналы внешнего мира тоже требуют адаптеров. Яркость изображения преобразуется в воздействие на выбранные фоторецепторы; вкус и загрязнение — на соответствующие группы входных клеток, часть которых имеет только предварительное функциональное соответствие. Голод усиливает вкусовой вход, а давление сна уменьшает искусственное возбуждение некоторых нисходящих нейронов.

Кроме того, сеть получает постоянный фон и дополнительные воздействия на выбранные группы, включая нейроны, используемые для управления ходьбой. Следовательно, само наличие активности на моторном выходе ещё не доказывает, что сигнал правильно прошёл от органов чувств через биологическую цепь.

Выбор действия в рабочем режиме во многом остаётся внешним. Контроллер непосредственно получает голод, давление сна, местные вкусовые сигналы, загрязнение и состояние опоры. По заданным правилам он выбирает кормление, ходьбу, чистку или сон. Поиск запаха обеспечивает отдельный алгоритм: движение против ветра при обнаружении запаха и поперечный поиск при его потере. В текущей конфигурации поисковой сцены команда ходьбы смешивается в пропорции 75% от этого алгоритма и 25% от нейронного декодера.

Аналогично, в гибридной сцене побега приближение объекта обнаруживает программный обработчик изображений. Он выделяет объект по цвету и оценивает увеличение его площади. Поэтому правильный побег в этой сцене сам по себе не подтверждает работу зрительной цепи коннектома.

После выбора действия запускается двигательная программа: шаги, вытягивание хоботка, чистка или поза сна. Она управляет суставными приводами, а MuJoCo рассчитывает движение тела и контакты. Обратная связь существует: например, поступление пищи зависит от физического контакта рта с кормовым пятном. Но соответствие «нейрон → мышца» у нас не восстановлено; между нейронной активностью и телом стоят инженерные декодеры и двигательные программы.

Биологическая правдоподобность требует проверки каждого из этих переходов. Уже одинаковая спайковая модель всех клеток — существенное упрощение: ранняя зрительная система содержит неспайковые нейроны, для которых важны непрерывные изменения напряжения. Кроме того, измерения L1 и L2 показывают сложные временные ответы, формируемые обратными связями. Одна общая постоянная времени не гарантирует воспроизведения такой обработки.

Обычный мир мухи

Итак, муха умеет ходить по арене. Это уже отличные новости, но реальная муха может делать кучу других вещей — заниматься грумингом, искать пищу, есть, избегать опасности и так далее.

Все это необходимо реализовать на нашей арене, и чтобы это работало автономно, без ручного запуска каждого действия.

Для этого мы добавили модель внутренних потребностей. У мухи появились запас энергии, пищевой резервуар, потребность во сне и загрязнение отдельных частей тела. Эти величины меняются во время симуляции: жизнедеятельность расходует энергию, проглоченная пища постепенно усваивается, бодрствование увеличивает давление сна, а отдых его снижает. Голод зависит и от энергетического запаса, и от наполненности пищевого резервуара.

Контроллер поведения сопоставляет эти потребности с доступными действиями. Голод повышает приоритет кормления и поиска, загрязнение — груминга, накопленная потребность во сне — отдыха. Для переключений предусмотрены пороги и минимальная продолжительность действий, чтобы муха не металась между кормлением и чисткой на каждом шаге расчёта. Порядок действий определяется текущим состоянием организма и среды.

Поиск пищи начинается с местных ощущений. Контроллер получает концентрацию запаха у двух антенн и направление местного ветра; координаты кормушки ему не передаются. В арене моделируется прерывистый шлейф запаха, который сносится ветром и рассеивается.

Обнаружив запах, муха движется против ветра. Потеряв его, начинает чередовать поперечные проходы, постепенно расширяя поиск. Это заданный нами алгоритм навигации, работающий по сенсорной обратной связи.

Когда передние лапки обнаруживают вкус пищи, появляется возможность перейти к кормлению. Муха останавливается и вытягивает хоботок. Пища поступает в организм только при физическом перекрытии ротовой зоны с кормовым пятном, с учётом оставшегося корма и свободного места в резервуаре. Если хоботок не достал до поверхности, попытка завершается, после чего муха может подойти ближе и попробовать снова. Запах помогает найти корм, но сам по себе не даёт ни пищи, ни энергии.

Груминг мы также связали с физическими последствиями движения. Муха может тереть передние лапки друг о друга и проводить ими по голове и антеннам. Уменьшение загрязнения рассчитывается по контактам и скольжению: при чистке головы часть загрязнения переносится на лапы, а трение лап друг о друга удаляет его.

Сон получил собственное состояние и переходы. Муха принимает устойчивую позу, засыпает, и давление сна начинает снижаться. Пробуждение зависит от состояния организма и силы внешнего воздействия. В проверочных сценариях слабый тактильный импульс не будил спящую муху, а сильный вызывал пробуждение с задержкой.

Затем появилась реакция на приближающийся объект. Через две камеры муха получает изображения, в которых программный детектор выделяет объект заданного цвета и оценивает увеличение его площади. При достаточно сильном сигнале контроллер прерывает кормление или груминг, разворачивает тело и запускает короткий уход.

Спящая муха сначала проходит через пробуждение. В контрольном запуске с отключённым зрением тот же приближающийся объект побега не вызывал. Возможность пока ограничена этой визуальной задачей: универсального распознавания опасностей у модели нет.

В результате получилась связанная система с обратной связью: ощущения и внутренние потребности определяют действие, движение меняет положение тела и доступ к ресурсам, а последствия действия влияют на следующий выбор.

В одном проверочном прогоне продолжительностью 60 секунд модельного времени с полным коннектомом наблюдались ходьба, два эпизода кормления, оба вида груминга, сон и пробуждение. Муха поглотила 4,18 условной единицы пищи и не перешла в истощение; корм в этой демонстрационной среде периодически пополнялся.

На этом этапе автономность означала, что после запуска муха сама переключалась между действиями по заданным правилам. Коннектом участвовал в работе гибридной системы, а выбор поведения и исполнение движений поддерживали программные контроллеры. Насколько происходящее внутри нейронной сети соответствует живой дрозофиле, оставалось отдельным вопросом для следующего этапа.

Идем в биологическое правдоподобие

У нынешней мухи есть одна небольшая проблема — мы берем ее коннектом и пробуем активировать его так, чтобы стимулировать нужное «мухиное поведение», действуя частично через внешний контроллер. Но это не гарантирует того, что активации в мозгу происходят как у реальной дрозофилы.

К счастью, исследователи изучали этот вопрос и довольно много выяснили.

Для нашего перехода к биологическому моделированию нужен соответствующий критерий: стимул должен вызывать ожидаемый ответ в нужных клетках, с подходящей временной динамикой и избирательностью. Например, реакцию на расширение объекта следует отличать от реакции на простое затемнение.

Затем необходимо проверить, как ответ меняется при отключении входа или промежуточных групп нейронов. Внешне убедительное движение тела без этих проверок подтверждает работоспособность всей собранной системы, но ещё не устанавливает биологический механизм поведения.

К сожалению, перенос на биологически правдоподобную модель оказался неудачным, максимум, чего мы смогли добиться, это того, чтобы сетчатка мухи могла бы различать контраст, но уже с движением обьектов все работало плохо.

А что если устроить гладиаторские бои?

На самом деле, социальное поведение мух (и дрозофил в частности) более сложное, чем нам многим до этого могло казаться. Даже вне брачных игр особи могут предупреждать об опасности или больших залежах еды.

Так же, как и у многих других животных на этой планете, дрозофилы могут устраивать драки за еду, если посчитают что на всех ее не хватит.

Репертуар драки у самцов делится на четкие фазы и хорошо изучен:

• сближение и «wing threat» — поднятие одного или обоих крыльев под углом, демонстрация

• lunge — резкий выпад вверх‑вперёд всем телом на противника, основная единица измерения агрессии (считают выпады в минуту);

• фехтование передними ногами, боксирование на задних;

• tussling — сцепка, катание клубком, единственный по‑настоящему «безудержный» элемент.

По результатам драки победитель как правило берет пятачок питательной массы (если речь про дрожжи), а проигравший ошивается по краям, плюс хуже дерется впоследствий некоторое время. Если в поле зрения находится самка, то самцы деруться более агрессивно и жестко.

У самок драки менее агрессивные и реже связаны с едой, в основном с яйцеукладкой, например, может быть конкуренция между самками за безопасное и укромное место для яиц.

А теперь попробуем реализовать драку между самцами за пищу в нашем симуляторе.

Следующим экспериментом стали «гладиаторские бои»: мы поместили на арену двух самцов и предложили им общий ограниченный запас пищи. Каждый получил собственное состояние организма и контроллер поведения, а кормовое пятно и физическая среда стали общими. Съеденное одной мухой уменьшает доступный запас для второй; столкновения между частями тел рассчитывает MuJoCo.

В нашей модели соседство само по себе не запускает драку. Пока муха успешно получает пищу, конфликт подавляется. Если кормление прекращается, голод сохраняется, рядом находится соперник и ещё действует память о недавно найденной еде, постепенно накапливается показатель «фрустрации».

После достижения порога контроллер разрешает агрессивное поведение. Поэтому в проверенных сценах с большим запасом пищи самцы спокойно ели рядом, а при малой порции переходили к потасовке. Общий остаток корма контроллеры не читают — они реагируют на собственный опыт кормления.

Потасовка состоит из разворотов к сопернику, медленного толкания и «фехтования» передними лапками: подъёма, выноса вперёд, короткого движения вниз и возврата в стойку. Двигательные программы управляют суставными приводами, а контакты и смещения возникают в физической симуляции.

Во время конфликта накапливается условное усилие; достигнув индивидуального порога, самец отступает и некоторое время восстанавливается. Порог случайно выбирается для эпизода по одинаковому правилу для обеих мух, поэтому заранее назначенного победителя нет.

Мертвая муха ЗАГОВОРИЛА с человечеством!! Её ответы шокируют.....

Было бы интересно попробовать пообщаться с мухой, по крайне мере о каких‑то бытовых вещах, и может даже передавать ей полезную информацию.

Перед тем, как пытаться муху разговорить, стоит определится, о чем вообще могут говорить дрозофилы между собой.

Довольно ожидаемо, они все связаны с их «бытовухой» (еда, конкуренция за еду и самок, опасность), и сама координация в дикой природе между особями не такая сложная, как например у медоносных пчел и муравьев (сказывается то что дрозофилы все таки одиночный вид, а не коллективный).

В нашем проекте мы начали с искусственного канала связи с моделируемой нервной системой. Первой задачей стало считывание одной потребности — «Нужна еда». Для неё завели сообщение NEED_FOOD, которому интерфейс сопоставляет фиксированную русскую подпись. Языковой модели внутри нет: муха не составляет предложения, а внешний считыватель определяет, следует ли включить этот индикатор.

Потребность в пище уже вычислялась моделью организма. Мы стали кодировать её дополнительным воздействием на 32 выбранные клетки коннектома. Это искусственный вход: эти клетки не объявляются найденным биологическим «центром голода».

Затем сигнал распространяется по существующим связям, а небольшой обучаемый декодер анализирует активность 512 других клеток. Непосредственно стимулируемые клетки из считывания исключены; значение голода, энергия организма и координаты еды декодеру не передаются. Веса самого коннектома при этом не обучаются — настраивается только внешний считыватель.

Главная проверка заключалась в том, чтобы сигнал соответствовал происходящему в физической симуляции. Голодная муха должна сохранять сообщение, после достаточного кормления — снимать его, а после маленькой порции — продолжать сообщать о потребности.

Первые версии ошибались в обе стороны: индикатор мог оставаться активным после насыщения или исчезать после недостаточной еды. После нескольких итераций и переобучения на записях физической жизни получили F1 индикатора 0,962 на 18 новых проверочных эпизодах. Это метрика качества обнаружения заданной потребности, а не «96,2% понимания мухи». Прежняя проблема исчезновения сигнала после малой порции в трёх новых проверочных случаях была устранена.

Однако полностью задачу мы не закрыли. После достаточного кормления индикатор корректно выключился только в четырёх из шести случаев; в двух остальных он погас раньше установленного критерия — на 10 и 550 миллисекунд. Поэтому результат остался экспериментальным и не заменил штатную версию.

Контрольные вмешательства подтвердили зависимость считывания от искусственного входа голода и передачи по сети: при отключении первого качество резко падало, при отключении второго F1 становился нулевым. Эти проверки выполнялись с повторным предъявлением записанных телесных и сенсорных входов, а не со свободно меняющим поведение телом.

Для будущего обратного направления мы подготовили протокол сообщений «еда слева», «еда справа» и «еда впереди», но пользоваться такими подсказками муха пока не научилась; в демонстрации они отключены. Уже существуют консольный интерфейс, журнал сообщений и сохранение состояния канала вместе с симуляцией.

Получился предварительный односторонний интерфейс: мы искусственно вводим сигнал потребности в сеть и учимся узнавать его по последующей активности.

Заключение

Все, что можно сделать с крысой, можно сделать и с человеком. А с крысой можно сделать практически все. Об этом тяжело думать, но это правда, это не изменится, если мы закроем на это глаза. Вот что такое киберпанк

© Брюс Стерлинг, эссе «Киберпанк в 90ых»

На этом наше приключение заканчивается. Лично меня эти новости с коннектомом дрозофила довольно сильно всколыхнули и даже вдохновили. Лично я пытался щупать проект OpenWorm (коннектом нервной системы нематоды на 302 нейрона) еще будучи подростком, и считал это крайне интересным, а тут оцифровали животное гораздо более сложное, которое уже по повадкам начинает походить на нас, людей.

Фактически, перед нами энграмма живого существа, прям как в Cyberpunk 2077, и вопрос насколько далеко мы от того, чтобы создавать такие коннектомы более сложных животных. Что интереснее — можно ли эти энграммы как‑то загружать обратно в тела соответствующих видов (мухи для начала).

И самый важный вопрос. Готовы ли мы к миру, где сознание и душа может превратится в программу, математическую модель, которую может вычислять компьютер?

Ответов на эти вопросы пока нет, но что известно наверняка — мы живем в очень интересное время, наверное самое интересное из всех которые были.

А пока до новых встреч! Я собираюсь в ближайшее время написать еще несколько статей, но уже не инженерной направленности, касаться они будут теоретической математики.

Исходники

Коннектом самца дрозофила
Исходники проекта Fly‑Arena (Github)

Если эта публикация вас вдохновила и вы хотите поддержать автора — не стесняйтесь нажать на кнопку