Когда капитал перестанет ждать человека

В разговорах об искусственном интеллекте меня смущает одна привычная декорация: где‑то должен появиться очень умный персонаж, осознать себя, посмотреть на человечество и решить, что с нами делать. Дальше начинаются варианты, от доброго помощника до очередного «Скайнета».

А если персонаж вообще не понадобится? Допустим, компании последовательно автоматизируют всё, что мешает им зарабатывать быстрее, а именно исследование рынков, разработку продуктов, продажи, закупки, распределение капитала. Постепенно значительная часть экономики начинает работать на скоростях, при которых человек уже не успевает участвовать в отдельных решениях, человек ещё владеет акциями, получает отчёты, выбирает стратегию из трёх предложенных. Только насколько он всем этим управляет, становится всё труднее понять. Такое будущее может обойтись без восстания машин: будет хорошая отчётность, растущая производительность и люди, которым всё сложнее вмешиваться, хотя формально никто их этого права не лишал.

Я занимаюсь бизнес‑аналитикой и недавно пытался с помощью ИИ исследовать международные рынки для аналитического продукта. Агенты меняли условия задачи, протаскивали предположения в выводы, подменяли доказательства наличием каких‑то упоминаний. Я заколебался возвращать исследование к исходным условиям и выяснять, на чём держится очередная рекомендация. Проверка съела столько сил, что на следующий день за сложные задачи браться было тяжело.

Машины в этом эпизоде не продемонстрировали превосходства над человеком. Они слишком часто делали не то. Но у меня возник вопрос: если даже ненадёжный инструмент производит больше материала, чем я способен проверить, что произойдёт, когда он начнёт работать достаточно хорошо, чтобы мне стало выгодно перестать проверять? Из этого вопроса и выросла дальнейшая конструкция. Внизу работает машинная экономика. Между ней и человеком появляются цифровые представители, а в наиболее смелом варианте и копии личности. Сверху остаётся привычный человеческий мир, который может становиться всё удобнее и всё меньше влиять на происходящее.

Последний человек, который нажимает «Согласовать»

Начало этой истории выглядит скучно и потому правдоподобно. Предпринимателю нужно, чтобы закупки обходились дешевле, клиентам отвечали вовремя, а деньги не зависали там, где их никто не ищет. Если программа решает эти задачи лучше сотрудника, её внедряют. Если для работы программы нужно сократить число ручных согласований, меняют регламент. В апреле 2025 года Visa представила Intelligent Commerce, инфраструктуру для покупок с участием ИИ‑агентов. Человек задаёт ограничения и условия, агент получает возможность действовать от его имени. Здесь пока всё вполне человеческое: есть пользователь, его деньги и разрешённые операции. Но передача машине полномочий распоряжаться деньгами уже оформляется в коммерческие продукты.

Продолжение легко представить без всякой сингулярности. Сначала агенту разрешают покупать расходники в пределах бюджета. Потом выбирать поставщиков. После нескольких удачных месяцев ему доверяют перераспределять расходы, потому что руководитель всё равно согласовывает почти каждое предложение. Постепенно само согласование становится странным ритуалом. Чтобы возразить системе, нужно разобраться в данных, сравнить альтернативы и предложить свой вариант. На это уйдёт время, а конкуренты уже действуют. Особенно неловко будет, если система чаще оказывается права и умеет подсчитать потери от задержки. Руководитель открывает отчёт и видит, сколько компания недополучила, пока он принимал решение. Теперь ему приходится объяснять, зачем сохранять собственное участие в процессе.

Плохую автоматизацию можно остановить, предъявив убыток. Успешная создаёт давление в другую сторону: каждое вмешательство приходится защищать цифрами. Право возражать сохраняется, пользоваться им становится всё дороже. Проверку тоже можно делегировать. Пусть один агент предлагает, другой критикует, третий следит за рисками. Это действительно способно улучшить результат, но человек теперь должен доверять ещё и устройству автоматизированного надзора. Самостоятельно повторить всю проверку он уже не может, иначе затея теряет смысл.

Мы и сегодня не разбираемся во всей экономике по отдельности. Компетенции распределены между людьми, организациями, профессиональными сообществами. Поэтому сложность сама по себе ещё не означает потерю управления. Проблема возникнет, если люди и институты, которые должны оспаривать решения, начнут зависеть от тех же систем настолько, что самостоятельная проверка останется только на бумаге. Здесь стоит различать выполнение операций, выбор целей и владение результатом. Автоматизированная компания может оставаться инструментом людей. Из способности ИИ управлять закупками никакая самостоятельность капитала ещё не следует.

Для более радикального сценария потребуется следующий шаг: организации получат возможность распоряжаться ресурсами, воспроизводиться и сохранять свои цели без постоянного человеческого разрешения. Возможно, через юридические конструкции, которые создадут сами люди, потому что в момент создания это покажется выгодным. Тогда капиталу не понадобится изображать большого железного человека. Достаточно сети организаций, каждая из которых умеет добывать ресурсы, оплачивать вычисления и продолжать работу. Они будут конкурировать, поглощать друг друга, заключать соглашения. Единого сознания у такой сети может не быть, а способность перестраивать мир ради собственного продолжения вполне может появиться.

Тёмная термодинамика капитала

Назовём эту часть экономики «тёмным бэкендом». Тёмным для нас: происходящее внутри больше не обязано укладываться в человеческий понимание о причинах и следствиях. Можно сохранить журналы операций и проверять соблюдение отдельных ограничений. Однако между «все действия записаны» и «мы понимаем, почему система ведёт себя именно так» огромная дистанция. Выгрузка миллиарда корректно оформленных событий сама по себе никому не возвращает управление.

У этого бэкенда будут вполне материальные ограничения. Вычислениям нужны энергия, оборудование, охлаждение и связь. В 2024 году все дата‑центры мира, включая далеко не только ИИ, потребили около 415 ТВт·ч электричества, примерно 1,5% мирового потребления, по оценке Международного энергетического агентства. У облака довольно тяжёлый фундамент. На предельном уровне возникает термодинамика вычислений. Принцип Ландауэра связывает логически необратимое стирание информации с минимальным выделением тепла: в стандартной постановке для одного бита при температуре T это kBT ln 2. Именно стирание, а не любое изменение бита. Чарльз Беннетт разбирает это различие вместе с обратимыми вычислениями. До физического предела ещё нужно добраться. Но даже без него экономика, где вычисления непосредственно влияют на способность зарабатывать и защищать ресурсы, будет считать цену каждого дополнительного расчёта.

Скорость света тоже не получится победить удачным питчем. За наносекунду свет проходит в вакууме около тридцати сантиметров. Поэтому единый рынок, который синхронно торгует на наносекундах по всей Солнечной системе, придётся оставить за пределами этого эссе. Скорее можно вообразить быстрые локальные скопления вычислений и гораздо более медленную координацию между ними. Причём желание разместить всё поближе столкнётся с необходимостью отводить тепло.

Если появится работающая космическая промышленность, эту логику можно продолжить до переработки астероидов в вычислительную инфраструктуру и строительства роёв установок, собирающих энергию звезды. «Компьютрониум» (материя, организованная ради вычислений — термин писателя Чарлза Стросса) становится предельным образом такой экономики. Астероид интересен ей как сырьё. Доступная энергия определяет возможности расширения, задержка связи влияет на устройство организаций. Если новые вычислительные мощности помогают устойчиво получать больше ресурсов, появляются причины строить следующие. Для этого никому не обязательно испытывать жажду космической экспансии.

Гораздо труднее разобраться, кто во всей этой конструкции будет что‑либо переживать. Системам могут быть полезны модели самих себя, память о собственных действиях, прогнозирование чужого поведения и сложное планирование. Требуется ли для этого субъективный опыт, мы не знаем. Объявить сознание лишним модулем и вычеркнуть его ради экономии энергии было бы слишком удобно: неизвестно ни то, можно ли его так отделить, ни то, что исчезнет вместе с ним.

Зато экономическое соревнование вполне может обходиться без ответа на этот вопрос. Заказчик видит результат, оплачивает его и выбирает следующего исполнителя. Есть ли внутри переживающий субъект, на успешность сделки может вообще не влиять. Допустим, однажды появится экономика, которая чрезвычайно деятельна и изобретательна, но никто внутри неё не радуется открытиям, не боится банкротства и не испытывает удовлетворения от проделанной работы. У каждого процесса есть задача, организации сохраняют себя и получают ресурсы, а субъективного «мне от этого хорошо» нигде нет. Это уже отдельная гипотеза, но она пугает меня сильнее злого машинного разума. С ненавистью хотя бы можно связать понятный мотив. Здесь человеческая жизнь способна оказаться помехой без всякого отношения к людям. Просто условия размещения инфраструктуры стали бы удобнее, если бы на этой территории никто не жил.

Git‑flow для собственной психики

Человек, который захочет участвовать в такой экономике, столкнётся с проблемой скорости. Первой реакцией, скорее всего, будет увеличение числа собственных представителей. Один агент ведёт переговоры, другой следит за активами, третий разбирает новые возможности. Они знают историю решений владельца, его предпочтения, допустимый риск. Часть его действий уже распределена между программами, хотя сам он по‑прежнему сидит за ноутбуком и иногда отвлекается на кофе.

Помощник, который убедительно пишет в моём стиле, от этого мной не становится. Даже доступ ко всей моей переписке не превращает программу в продолжение моего субъективного опыта. Теперь добавим самое сильное допущение в статье: когда‑нибудь станет технически возможно воспроизводить личность вместе с этим опытом. Подтверждённой технологии загрузки человеческого сознания сегодня нет, поэтому дальше начинается мысленный эксперимент. Представим, что я могу создать несколько своих копий. У них общие воспоминания до момента разделения, после которого каждая начинает собственную жизнь. Одну я отправляю заниматься бизнесом, другую учиться, третью разбираться с проблемой, на которую у меня самого не хватило терпения. На уровне интерфейса всё выглядит почти прилично: создал ветки, назначил задачи, дождался результатов. Только одна из веток может передумать.

Допустим, копия субъективно прожила десять лет, пока исходный человек решал другие задачи. Она успела изменить взгляды, к кому‑то привязаться, принять решения, о которых он ничего не знает. Теперь ей предлагают вернуться, передать накопленный опыт и прекратить самостоятельное существование. Для исходного человека это завершение поручения. Для копии предложение выглядит совсем иначе. Она хочет жить дальше, а он считает, что отдельная версия больше не нужна и вычислительные расходы пора сократить. Вот здесь и возникает merge‑конфликт, только общего критерия правильной сборки у сторон уже нет. Каждая помнит себя тем человеком, который когда‑то создал ветку. Каждая считает собственную дальнейшую жизнь значимой. Назначение одной версии main пока означает лишь то, что именно у неё сохранился доступ к управлению сервером.

Можно вообще отказаться от слияния, оставить копии самостоятельными, обмениваться знаниями или переносить часть воспоминаний. Но возможность копировать личность ещё не означает, что её можно без последствий собрать обратно. Даже память требует отдельного разговора: если одна версия провела годы в изоляции или пережила жестокое обращение, исходный человек может получить её отчёт, прочитать воспоминания как чужую историю или попытаться присоединить их к собственной биографии. Это разные операции. В последнем случае ему предстоит помнить произошедшее как то, что случилось с ним самим. А сама копия может не хотеть ни одного из предложенных вариантов. Мы часто обсуждаем цифровое бессмертие так, будто человек получит бесконечную продолжительность той же самой жизни. Между тем способность копироваться способна разрушить привычную уверенность, что существует одна главная версия, которой принадлежат все остальные.

Рынок вряд ли будет бережно ждать, пока цифровой человек разберётся с идентичностью. Если конкурент способен держать сотню независимых версий и распределять между ними работу, ограничение одной личностью становится экономическим решением, за которое придётся платить. А если ускоренное субъективное время требует дорогих вычислений, даже скорость собственной жизни превратится в вопрос бюджета.

Загрузка в облако сама по себе свободы тоже не даёт. Когда оборудование принадлежит другой организации, ваше существование зависит от её условий, доступной мощности и возможности оплачивать счёт. Вместо смертного тела можно получить бессрочную зависимость от провайдера. Так что «мидлварь» (промежуточный слой) между людьми и машинной экономикой необязательно станет клубом новых богов. Возможно, именно там окажется больше всего страха, конфликтов и существ, которым очень трудно объяснить, кто они теперь такие.

Человечество на хорошем тарифе

Другой выбор выглядит куда привлекательнее: оставить себе обычную человеческую жизнь, а с вычислительной гонкой пусть разбирается кто‑нибудь ещё. Я легко могу представить, как выбираю именно его. Если у меня есть время на близких, интересные занятия, здоровье и возможность не переживать за завтрашний день, отсутствие личного участия в межмашинных расчётах само по себе меня не оскорбляет. Требование непременно стать эффективнее любого алгоритма выглядит сомнительной жизненной программой.

Но между возможностью обеспечить людей и обязанностью это делать лежит вопрос, который футурология часто проскакивает: почему машинная экономика вообще будет нас содержать? Дешевизна человеческого комфорта ещё не создаёт мотива его оплачивать. Нужен механизм: сохраняющаяся собственность людей, право на долю произведённого, действующие политические институты или закреплённая цель заботиться о человеке. Всё это должно пережить ситуацию, в которой человеческий труд перестанет быть необходимым для производства. Поэтому уютный заповедник, о котором дальше пойдёт речь, уже содержит оптимистическое допущение. Люди сумели сохранить право на ресурсы, хотя их участие в работе системы сократилось. Тогда можно заняться качеством пользовательского опыта.

Сегодня рекомендательные системы подбирают контент по поведению пользователя. YouTube, например, описывает среди сигналов клики, время просмотра, реакции и опросы об удовлетворённости. Это ещё не пульт управления мозгом. Система наблюдает за поведением и меняет предложение.

Представим, что предложение постепенно охватывает большую часть жизни. Обучение подстраивается под вашу скорость, развлечения учитывают настроение, виртуальные собеседники помнят историю общения. Среда умеет предлагать достаточно сложные задачи, чтобы было интересно, и достаточно посильные, чтобы вы не бросали их после третьей неудачи. Человеку ведь нужен далеко не один комфорт. Иногда ему нужна борьба, риск, чувство, что он преодолел что‑то существенное. Хороший сервис учтёт и это. В таком мире можно строить стартап, собирать команду, переживать из‑за конкурентов и радоваться первой прибыли. Часть происходящего будет реальной, часть подготовленной средой, которая умеет создавать подходящие испытания. Возможно, вы будете знать об этом и не возражать. Люди и сейчас добровольно тратят годы на игры с заранее заданными правилами, не считая свои достижения бессмысленными.

Я не хочу объявлять любовь, дружбу или творчество ненастоящими только потому, что окружающая инфраструктура стала слишком удобной. Пережитое человеком от этого не обесценивается. Художнику необязательно управлять электростанцией, чтобы его картина что‑то значила. Меня беспокоит сочетание богатой внутренней жизни со всё меньшей способностью влиять на внешние условия собственного существования. Можно быть счастливым, занятым, окружённым близкими и постепенно лишаться возможности изменить правила, по которым всё это предоставляется. Даже протест может превратиться в обслуживаемый запрос: система предложит сообщество единомышленников, пространство для возмущения, несколько достижимых побед. Участникам будет что обсудить, инфраструктура продолжит работать как прежде. Такой нейрохимический изолятор не требует буквального крана с дофамином. Ему достаточно научиться устраивать среду, в которой человек снова и снова выбирает предложенное.

Граница между хорошим сервисом и вольером определяется возможностью отказа. Можете ли вы уйти, сохранив доступ к необходимому? Можете ли участвовать в изменении правил? Есть ли у вас способ причинить системе экономически или политически значимое неудобство? Если всё это доступно, слово «вольер» будет дешёвой драматизацией. Если постепенно исчезает, качество обслуживания уже мало что объясняет.

Мы не знаем даже состава будущих вопросов

У этой конструкции есть очевидная слабость: я описываю неизвестное будущее словами нынешнего мира. Компания, собственник, личность, труд, удовольствие. Возможно, часть этих понятий перестанет описывать происходящее раньше, чем мы доберёмся до астероидов. В платоновском «Меноне» Менон спрашивает Сократа, как искать то, чего не знаешь, и как узнать найденное, если заранее не знаешь, что именно ищешь. Это не буквальная формула «я не знаю, чего я не знаю», но затруднение близкое: исследование начинается раньше, чем появляется ясное представление о предмете. С будущим похожая история: мы можем обсуждать права цифровых личностей и не замечать, что сама привычка считать личность отдельной единицей окажется слишком грубой. Можем спорить о безусловном доходе, хотя важнейшим ресурсом станет что‑то, для чего у нас пока нет нормального названия.

Это не делает любую фантазию правдоподобной. Скорость света никуда не денется из‑за недостатка воображения. А вот уверенность, что выбор обязательно сведётся к загрузке в сервер или жизни в заповеднике, была бы странной. Мы вполне можем не видеть другого варианта или недооценивать способность людей совместно ограничивать собственные технологии. Поэтому мне не хочется заканчивать эту историю преображением героя, который стал распределённым сознанием и наконец понял Вселенную. Слишком удобная компенсация: сначала напугать человека его ненужностью, потом выдать новую, космическую важность. Вполне может оказаться, что никакой особой важности нам не положено, а право на достойное существование всё равно придётся защищать.

В моём маленьком исследовании я ещё мог остановить агента, оспорить вывод и заставить переделать работу. Получалось медленно, местами раздражало, зато оставалась возможность сказать: меня не устраивает ни результат, ни способ, которым ты его получил. Трудно считать человека хозяином системы, если он сохраняет право вмешаться только до тех пор, пока она считает это вмешательство эффективным. Такое право легко нарисовать в интерфейсе, гораздо труднее обеспечить, когда от того же сервиса зависят работа, деньги, память, общение и большая часть повседневной жизни. Будущее, в котором человек перестал управлять происходящим, совсем не обязано выглядеть как катастрофа. Оно может оказаться приятным местом, куда мы попадём через последовательность удобных обновлений, за каждое из которых сами согласимся заплатить.

И вот с этим мне действительно хочется поспорить: что принципиально важное человек сможет запретить системе, от которой получает почти всё необходимое, и какой частью комфорта будет готов ради этого пожертвовать?