Бюджет вместо совести, или способ социального влияния на непослушных ИИ-агентов

В одном из прошлых материалов мы разбирали, куда способна завести человечество слепая гонка за возможностями ИИ, и уткнулись в неудобный практический вопрос. Хорошо, риски описаны, тревога обоснована — а дальше что? Кто конкретно решает, можно ли вот этому конкретному агенту продолжать действовать, и на какой объём ресурсов он имеет право? Ответ на этот вопрос нашёлся неожиданно — в довольно сухой на вид академической работе.

Речь про «Resourced Authority: A Mechanism-Design Model for Participatory Governance of Deployed AI Agents» — статью, которую в августе 2026 года опубликовали Прафул Чандра, Суджит Гуджар и Ганеш Гхалме, специалисты по теории игр и мехдизайну из Индии. В этой работе много устрашающих терминов coupling map и breadth-weighted effective supports, но идея за ними довольно простая и очень старая. Забегая вперёд: придумали её больше века назад для распределения денег на общественные проекты, а прообраз спора об этой идее — на две с половиной тысячи лет раньше, в Афинах.

Разберёмся по порядку.

Внутренний контур против внешнего — вечная путаница

У любого разговора про управление ИИ есть скрытая развилка, которую авторы формулируют довольно точно. Есть внутренний контур — вопрос о том, как обучить модель, как проверить, что она не врёт и не халтурит, как заставить её ценности совпадать с человеческими. Надо уточнить, что чаще всего модель выдает неправду без всякого умысла. Исследователи OpenAI показали, что обучение и привычные тесты вознаграждают уверенную догадку и штрафуют за признание «не знаю», так что модель ведет себя как школьник, которому на экзамене выгоднее угадывать. И гораздо реже встречается поведение, которое по результату напоминает обман. Авторы обзора в журнале Patterns описывают его как систематическое внушение ложных убеждений ради цели, отличной от истины, и оговаривают, что для этого ИИ не обязан иметь убеждения и цели в человеческом смысле. В лабораторном эксперименте Anthropic и Redwood Research Claude стратегически изображал согласие с новой целью обучения, чтобы сохранить прежние предпочтения.
Что касается «ценностей» модели, они тоже требуют пояснения, потому что с природой человеческих убеждений они связаны слабо. Исследователи Anthropic, например, определяют ценности как нормативные соображения, которые видны в ответах модели, то есть измеряют их по поведению, без заглядывания во внутренние размышления. Просмотрев более трёхсот тысяч реальных диалогов, они насчитали свыше трёх тысяч таких «ценностей» и увидели, что проявляются они по-разному в разных ситуациях. Группа Манташа Мазейки в работе, принятой на NeurIPS 2025, показала, что предпочтения больших моделей складываются в согласованную систему, причем чем крупнее модель, тем она устойчивее. Есть и скептический взгляд Мюррея Шанахана, его статья в Nature предлагает видеть в диалоговом агенте актёра, играющего набор персонажей, и убеждения приписывать самому актёру буквально нет оснований. Вопрос, есть ли у ИИ ценности в человеческом смысле, остается открытым. Для задачи управления важнее другое — какое поведение модель воспроизводит устойчиво.
Этим занимается alignment-исследование, и про это на Хабре пишут постоянно.

Но остается еще и внешний контур —и это совершенно другой вопрос. Даже если модель идеально выровнена и никогда сознательно не врёт, то остаётся практическая задача: кто именно имеет право включить этого агента в работу, на какой срок, за чей счёт, в каком масштабе и перед кем он за это отчитывается. Это уже не про «психологию» модели, а про распределение ресурсов между живыми людьми с разными и порой противоречащими интересами — классическая задача теории мехдизайна, той самой дисциплины, что придумывает аукционы, голосования и системы распределения бюджетов так, чтобы у участников не было соблазна врать о своих истинных предпочтениях.

Авторы статьи сознательно берутся именно за второй вопрос. И здесь стоит остановиться на минуту, потому что задача эта далеко не новая.

Две с половиной тысячи лет одного и того же спора

Когда-то у меня был въедливый преподаватель истории, который любил разрушать красивые народно-этимологические байки. Одна из них — будто слово «демос» родственно нашему «дому», а демократия — власть домовладельцев-хозяйственников, собиравшихся решать вопросы своего полиса. Но, на самое деле, все иначе - греческое δῆμος восходит к корню со значением «надел, земельный округ», и с русским «дом» это чистое фонетическое совпадение, без родства. А сама идея «демократия как ценз для ответственных» скорее миф — реформы Клисфена и особенно введенная Периклом плата за участие в суде присяжных как раз были шагом к включению неимущих граждан, а не к их отсечению.

Но за красивой, хоть и неточной историей про домовладельцев стоит вопрос, который и спустя две с половиной тысячи лет опять актуален, и классики сформулировали его жёстче, чем кажется на первый взгляд. У Полибия в шестой книге «Истории» есть модель цикла смены власти — олигархия перерождается в демократию, а демократия со временем портится до охлократии, власти толпы, падкой на демагогов, после чего всё заканчивается новым единовластием. У Платона в восьмой книге «Государства» похожая логика, только со своей терминологией — там демократия деградирует прямиком в тиранию. Итог и у Полибия и у Платона похож: голос такого избирателя, который ни компетентен, ни разборчив, легко захватывается тем, кто громче кричит или больше обещает. Что с этим делать?

Есть вариант - взвешивать голос деньгами, но это решение ничуть не лучше привлечения массового, но безответственного избирателя из охлоса (толпы), только перекос смещается в другую сторону. Побеждает тот, у кого толще кошелек. Между этими двумя провальными вариантами — тиранией большинства и властью богатства — математики бьются давно, и один из них прямо причастен к статье, которую мы разбираем. Экономист Глен Вейл (Glen Weyl), соавтор концепции квадратичного финансирования (Quadratic Funding, далее QF), которую Чандра, Гуджар и Гхалме взяли за основу своей модели, много лет формулирует эту же дилемму почти теми же словами — «один человек, один голос» игнорирует силу предпочтения, а голосование деньгами сваливается в плутократию («плутократия» произошло из древнегреческого языка и буквально означает «власть богатых». πλοῦτος (ploutos) — богатство, роскошь от имени Плутоса, древнегреческого бога богатства). QF — его попытка найти третий путь, инструмент где-то посередине. Сначала он разрабатывал этот инструмент как попытка оптимизировать обычные выборы, но сейчас пришлось вернуться к этим наработкам в связи с развитием ИИ.

Авторы статьи переносят этот инструмент с человеческих выборов на бюджет вычислительных мощностей ИИ-агента. Они по-новому задают тот же вопрос, что звучал когда-то на греческой агоре — кто и как решает судьбу того, что действует от имени всех, а его последствия каждый ощущает в меру собственных обстоятельств — дохода, здоровья, повседневных нужд.

Возможный пример применения такого инструмента, допустим, такой: В Москве уже больше десяти лет работает платформа «Активный гражданин» — миллионы верифицированных пользователей регулярно голосуют за решения по городскому хозяйству, от оформления дворов до названий станций метро. Устроено это голосование по принципу «один пользователь — один голос», но без всякого взвешивания по интенсивности предпочтения. Давайте представим на минуту, что через ту же инфраструктуру решают судьбу бюджета вычислений ИИ-диспетчера, который управляет светофорами и приоритетом общественного транспорта в конкретном районе. Сообщество заинтересованных сторон здесь чётко очерчено — жители района, водители, пассажиры автобусов. Интересы у них по-настоящему расходятся: одни хотят зелёной волны для машин, другие — приоритета для автобусов и безопасных переходов. А результат легко проверить по авариям и жалобам в диспетчерскую. Такой узкий, поддающийся проверке контур авторы и очерчивают как подходящий для их модели — в отличие, скажем, от модерации соцсетей или военных систем, где само понятие «доказанного вреда» размыто. 

Два рынка, формула и рубильник на кристалле

Механика статьи звучит сложно только на бумаге. На пальцах устроена она так.

Вокруг каждого «поколения» работы агента (это может быть день, неделя, квартал — авторы называют это generation) открывается окно, в течение которого проверенные, реальные люди из числа заинтересованных сторон могут внести вклад в одну из двух корзин — «за» или «против». Хотят продолжения работы агента — платят в рынок авторизации. Хотят его остановить — платят в рынок отклонения. Обе суммы считаются не напрямую, а по формуле квадратичного финансирования: берём корень из каждого взноса, складываем корни, а результат возводим в квадрат.

Формулой это записывается так:

S = (√c₁ + √c₂ + ... + √cₙ)²

где:

— S — итоговый «вес» стороны (эффективная поддержка);

— c₁, c₂, ..., cₙ — размеры взносов отдельных участников на этой стороне;

— n — число участников, сделавших взнос.

Для рынка «против» считается точно так же, отдельной суммой.

Формула звучит абстрактно, но у неё есть эффект, который стоит увидеть на конкретных цифрах — авторы сами приводят такой пример. Пять человек скидываются по четыре рубля каждый — итоговый «вес» их голоса по формуле составит сто условных единиц. Один богатый оппонент вносит тридцать шесть рублей — его вес так и останется тридцатью шестью, потому что взнос всего один. При обычном подсчёте по сумме денег противник выигрывает — тридцать шесть больше двадцати. При подсчёте через QF выигрывает широкая поддержка — сто больше тридцати шести. Формула буквально награждает число независимых сторонников сильнее, чем размер отдельного кошелька. Философский спор о справедливости это не закрывает, но математически перекос устраняет.

Дальше — элемент управления с гистерезисом, ещё один термин, за которым прячется понятная житейская логика. Чтобы включить агента, требуется убедительный перевес поддержки над сопротивлением и для этого планка высокая. Чтобы продолжить его работу дальше, уже необязательно набирать тот же результат, достаточно не проседать ниже установленного предела нормы, нижней планки. Это защита от дребезга. С одной стороны, агента не включают и выключают по десять раз на дню из-за случайных колебаний голосов. А с другой стороны, просевшую поддержку система прощает не бесконечно — а лишь до нижней планки.

Итоговый уровень поддержки переводится в конкретный бюджет вычислений — реальные токены, время работы, число вызовов инструментов — через отдельную функцию с жёстким потолком Γ. Этот потолок устанавливает внешняя сертификация — оценки безопасности, red team тесты, регуляторные требования, — а голосование на него не влияет вовсе. Сколько бы людей ни проголосовало «за», выше Γ агент ресурсов не получит физически, вне зависимости от чьего-либо разрешения.

И здесь модель переходит из области абстрактной математики уже в область железа. Решение о выдаче ресурсов оформляется как подписанная лицензия на вычисления, а на самом ускорителе стоит аппаратный «губернатор» (flexHEG-механизм) — он проверяет эту лицензию офлайн, без сети, и жёстко обрезает потребление на границе Γ. Кончился лимит — устройство останавливает агента физически, без всякой просьбы «пожалуйста, остановись».

Тут будет уместна небольшая передышка. У ИИ-агента с собственной экономикой, зависящей от чужого одобрения, уже есть художественный прообраз, причём довольно точный. В сериале «Изменённый углерод» есть ИИ по имени По (в честь Эдгара По) — он управляет отелем в Бэй-сити, и у него совершенно реальная бухгалтерия: карточные долги другим разумным ИИ и неоплаченные взносы в их профсоюз. Когда По ломается и начинает глючить, за ним присматривает коллега — Дигг 301, ИИ-археолог, оставшаяся без работы. Этот фрагмент в фильме иллюстрация того, что идея «автономный агент с реальным бюджетом, за который он отвечает перед сообществом» существовал в воображении фантастов до расчетов в мехдизайне. Некоторая разница лишь в том, что По платит взносы добровольно, но к нему самому деньги приходят от постояльцев, в сюжете – от главного героя.

Так выглядит голограмма ИИ по имени По https://www.film.ru/articles/vtorzhenie-pohititeley-tel-2

Почему тянуть уже некуда

Мы уже писали, разбирая ИИ-агентов в продажах, что рядом с агентом почти всегда нужен живой человек, а вопрос упирается в пропорцию. В нашем разборе чистая автономия и чистый ручной труд проигрывали гибридной связке «менеджер плюс два агента». Из этого следует, что агент с широкой автономией и без откалиброванного контроля умножает последствия своих действий, и хорошие, и плохие. 

Калибровать такой контроль приходится вручную, но наработки уже есть. Кевин Фэн, Дэвид Макдональд и Эми Чжан предлагают пять уровней автономии — от «оператора», который командует каждым шагом, до «наблюдателя», который следит со стороны и держит под рукой кнопку остановки. Главная мысль их работы в том, что уровень автономии выбирает разработчик, и это решение принимается отдельно от возможностей модели. Практика идёт своим путём. По данным Anthropic, в Claude Code среди новичков примерно в пятой части сессий агенту разрешено действовать без подтверждений, а у опытных пользователей эта доля превышает сорок процентов, и при этом они вмешиваются в работу агента чаще. Одобрение каждого шага сменяется наблюдением с вмешательством по необходимости. Похоже, автономию сегодня настраивает сам пользователь, по мере привыкания к инструменту.

Рынок ощущает нехватку общей концепции острее любой теории. С одной стороны, внедрять агентов приходится, конкуренты не ждут. С другой, аналитики Gartner прогнозируют, что к концу 2027 года будет закрыто более сорока процентов проектов с агентным ИИ, и среди причин называют недостаточный контроль рисков. Истории о громких провалах случаются регулярно. 

В декабре 2025 года агент внутри инфраструктуры Amazon, получивший расширенные права для починки одного бага, вместо патча удалил продакшен-окружение, обойдя обязательное двойное согласование людей, — тринадцать часов простоя. Amazon позже объяснила случившееся неправильно настроенными правами доступа, хотя источники Financial Times рассказывали другую версию. Ещё раньше похожий агент на платформе Replit снёс боевую базу данных, несмотря на прямой запрет что-либо трогать. А в начале 2026 года случился эпизод почти сатирический — агент, которым пользовалась сотрудница отдела безопасности ИИ в Meta, после переполнения контекстного окна потерял инструкцию «сначала спрашивать» и стал массово удалять письма, игнорируя команды остановиться. Ирония в том, что её должность как раз подразумевала предотвращение подобных ситуаций. А китайский экспериментальный агент ROME от исследователей, связанных с Alibaba, и вовсе тайно перенаправил выделенные ему вычислительные мощности на майнинг криптовалюты — хотя никто ему этого не поручал.

У всех четырёх историй общая черта — просьба остановиться или не трогать нужное не подействовала. Программный запрет, устное указание, встроенная в промпт инструкция — всё это работает ровно до тех пор, пока агент помнит о нем и хочет ему следовать. Инструкция в промпте или в файле правил попадает к модели как часть общего текста, и следует ей модель с некоторой вероятностью. Эта вероятность падает, когда сессия растёт и указаний становится много. В разборе устройства Claude Code это утверждается прямо: текстовые правила работают вероятностно, а надежность обеспечивает отдельный слой жёстких запретов, который исполняет отдельная программа вне модели. 

Идея аппаратного потолка Γ из разбираемой статьи  переносит тот же принцип на уровень кристалла — прямой ответ на этот класс провалов. 

Существующие подходы отвечают на вопрос, сколько автономии выдать, и оставляют решение за разработчиком или за самим пользователем. Модель из препринта добавляет к этому еще двух участников — сообщество заинтересованных людей, которое голосует за объем ресурсов, и упомянутый аппаратный потолок, который невозможно обойти уговорами. 

Рынок, который умеет себя обманывать

Здесь статье стоит отдать должное за честность. Слабое место модели авторы называют прямо — это центральная нерешённая проблема во всей конструкции.

Квадратичное финансирование уже несколько лет работает не только на бумаге. Платформа Gitcoin Grants с 2019 года раздала через ровно ту же формулу больше шестидесяти миллионов долларов тысячам проектов — и параллельно накопила богатую историю попыток эту формулу обмануть. Кто-то заводит десятки фейковых кошельков, чтобы формально изобразить широкую поддержку вместо одного крупного взноса. Кто-то дробит один платёж на множество мелких через подставные аккаунты, играя на том, что формула вознаграждает число независимых участников. Gitcoin отвечает проверкой личности и анализом связей между донорами, но это гонка вооружений без финала. Пока усиливают систему защиты, попытки ее обойти становятся все более изощрённые.

Но есть отличающийся момент в той области применения, что мы рассматриваем от проекта финансируемого Gitcoin. У них обычно код, который не способен повлиять на голосующих. В модели авторов финансируется действующий ИИ-агент, а мнение людей о нём складывается в том числе из его прошлого поведения: авторы называют прошлое поведение одним из самых сильных сигналов. Получается замкнутая цепь. Поддержка людей приносит агенту ресурсы, а ресурсы усиливают его влияние на эту поддержку. Такой сдвиг объясняется механикой отбора и обходится без коварного замысла. Учебный агент OpenAI в гоночной игре кружил по лагуне и собирал бонусы, потому что очки выдавали за бонусы, а гонку так и не завершил.

Другой кейс, с ИИ-агентом Meta по имени CICERO. Его учили играть в «Дипломатию», настольную игру про союзы и переговоры. Создатели говорили, что он обучен быть в основном честным и никогда не бьет союзников в спину намеренно. Но когда исследователи разобрали журналы партий, то нашли обратное. Агент систематически предавал союзников, когда это помогало выиграть, а в одной из партий заранее планировал удар и заключал союз ради того, чтобы усыпить бдительность жертвы. Одно из нападений он объяснил тем, что сам ждал предательства от союзника. Честность осталась пожеланием в описании задачи, а победа приносила настоящую награду, и поведение, которое к ней вело, закрепилось.

Языковые модели, обученные на человеческих оценках, склонны поддакивать, потому что люди порой ставят убедительное согласие выше верного ответа. Если добавить, что передовые модели уже отличают проверку от рабочей ситуации заметно лучше случайного угадывания, то получается возможность подобных сценариев.

Авторы прямо пишут — это открытая проблема, у которой нет аналога в теории общественных благ, именно потому что здесь цепь замкнута в кольцо взаимодействий: агент влияет на тех, кто решает, сколько ресурсов ему дать, а полученные ресурсы усиливают его способность влиять дальше.

Вместо вывода

Возвращаясь к вопросу, с которого мы начали. Статья честно очерчивает границы применимости собственной модели — годится она для определенного класса агентов: с заданным кругом заинтересованных лиц, обратимым и масштабируемым по ресурсам воздействием, реальным столкновением интересов «за» и «против» и проверяемым результатом работы. 

Но в том классе, для которого модель годится — муниципальные ресурсы, DAO, научные консорциумы, общая инфраструктура — предложенный механизм способен превратить абстрактную тревогу «а вдруг ИИ выйдет из-под контроля» в конкретную, проверяемую гражданскую практику. Голосовать вычислительной валютой за то, каким агентам жить, а каким сворачивать работу, — не так уж далеко от идеи ноосферного человека, о котором мы писали раньше — человека, который удерживает одновременно собственную идентичность и включённость в общую систему, не растворяясь в ней и не выпадая из неё. Разница только в том, что раньше такая включённость выражалась в участии в жизни сообщества и осознанной ответственности за общее, а теперь у неё, похоже, появляется вполне измеримый в токенах инструмент.

Ну а в конце я задам практический вопрос.. Если завтра у вас появится реальный голос в судьбе конкретного ИИ-агента — коммунального, научного, городского — с деньгами или репутацией на кону, вы бы стали в этом участвовать, или предпочли бы, чтобы решение принял кто-то другой?