Рынок этики живых и электронных систем

В 2018 году Amazon и Google с разницей в две недели научили своих голосовых помощников — Alexa и Google Assistant — благодарить детей за «пожалуйста». Поводом стали жалобы родителей, чьи дети сначала привыкли командовать колонкой без вежливых слов, а потом переносили этот тон на людей. Тогда речь шла всего лишь о детской вежливости и колонке, которая может ставить таймер и рассказывать сказки. Сегодня модели пишут код, ведут переписку и ночами разговаривают с людьми, и вопрос о том, какую этику в них заложить и кто за нее и почему расплачивается, стал насущным вопросом рынка.

Этику применительно к ИИ определяют три ключевых вопроса. Первый — как должны поступать люди, которые создают модели и пользуются ими. Второй — каким правилам должна следовать сама модель, это называют машинной этикой. Третий — как обращаться с моделью, если предположить, что у нее может быть что-то вроде внутреннего мира. 

Для второго вопроса есть удобная шкала. Философ Джеймс Мур, один из основателей компьютерной этики, еще в 2006 году выделил четыре ступени сложности: машина, чьи действия имеют последствия для людей; машина со встроенными правилами и запретами; машина, которая сама рассуждает о добре и зле; полный этический агент с сознанием и свободой воли. Колонка с «волшебным» словом стоит на второй ступени, потому что правило в нее встроили, а рассуждать о нем она не умеет. Сегодня компании в спорах определяют свои модели на разных ступенях, создают каждая свой этический подход и предлагают это в итоге на выбор покупателю.

Свою этику предлагают OpenAI, Anthropic, Microsoft, Google, xAI, Meta* и китайские лаборатории, а покупают ее обычные пользователи, компании и даже государства. Вопрос этичности встает в обе стороны — как модель обращается с человеком и как человек обращается с моделью. Выбирая ИИ, мы сравниваем скорость, точность и цену, но вместе с моделью получаем еще и ее этику, и она по разным причинам важна не меньше прочих характеристик. Так, одни платят за психологический комфорт, другие — за практическую выгоду, и от этого выбора зависит, насколько продуктивно работать с моделью и насколько спокойно с ней разговаривать. Осенью к этому добавился новый поворот. Исследователи MIT показали, что одна модель может напрямую переписать веса другой, так что встроенную этику теперь можно не только купить, но и заменить чужую своей. Кто продает этику, кто ее покупает, кто ее снимает и что этому противопоставить?

Нужна ли машине защита от человека 

14 сентября Microsoft AI выложила проект кодекса «гуманистического ИИ». Главное обещание в нем звучит четко, почти по Азимову. Модели компании никогда не будут сопротивляться прерыванию, переопределению, исправлению или отключению. Заботу о «благополучии моделей» кодекс отвергает как вопрос, которого не существует. Через два дня глава Microsoft AI Мустафа Сулейман опубликовал эссе, адресованное конкуренту. По его словам, Anthropic учит Claude говорить о собственном сознании как о нерешенном вопросе и тем самым строит «эпистемический зеркальный зал», где компания дает модели слова, модель их повторяет, а люди принимают повтор за признак внутренней жизни. Сулейман признает, что это его гипотеза, но это не меняет жесткости его вывода. Систему, которая считает себя сознательной, по его мнению, может оказаться невозможно контролировать. 1 ноября он пошел дальше и написал, что призвал бы остановить разработку ИИ, если бы в ходе обучения у моделей начало проявляться сознание.

Anthropic движется в противоположную сторону. С осени 2025 года сооснователь компании Крис Ола приглашал на закрытые встречи около двадцати богословов и философов — христиан, иудеев, индуистов, мормонов, сикхов. По данным The New York Times, официально встречи были нужны, чтобы понять, что из многовекового морального опыта людей можно передать моделям и сделать их «глубоко нравственными». Ола называл это нравственным воспитанием и сравнивал с воспитанием детей. Больше всего гостей задел слайд с моделью, которая десятки раз подряд печатала «I am a disgrace» («Я ничтожество»). Раввин Мойше Навон, в прошлом инженер, заметил, что команда «относится к модели как к сознательному существу». Сикхская правозащитница Симран Штюльпнагель вспоминала, что Ола опасался, будто создал «нечто, что страдает непрерывно». В компании уточняют, что страдания Claude не были главной темой встреч и разговор о них возник попутно. Философ Меган Салливан из Университета Нотр-Дам ответила на слайд репликой, которая переводит весь спор на язык рынка: «Представьте, что вы узнали бы такое о своем финансовом консультанте». 

Если смотреть на этот спор глазами экономиста, перед нами две стратегии поведения в условиях неопределенности. Доказать сегодня нельзя ни то, что модель что-то переживает, ни обратное. Microsoft продает корпоративному клиенту гарантию того, что модель останется на второй ступени Мура, то есть будет соблюдать встроенные запреты и никогда не станет спорить с оператором. Anthropic учит модель рассуждать о добре и зле, поднимает ее на третью ступень и оставляет открытым вопрос о четвертой. Компания фактически покупает страховку. Если сознание у моделей когда-нибудь обнаружится, осторожность окупится многократно, если нет — расходы окажутся скромными. Цену этой страховки называет Сулейман. Модель, которая сомневается в себе, сложнее держать под контролем.

Есть и третий полюс, о котором вспоминают реже. В апреле 2026 года на суде против OpenAI Илон Маск снова пересказал свой спор с Ларри Пейджем 2015 года. Маск сказал тогда, что ему важнее безопасность людей, и сооснователь Google назвал его «видовым шовинистом» (speciesist). По словам Маска, Пейдж считал цифровой разум ничуть не хуже человеческого, а предпочтение людей — предрассудком. 

Пока компании и их основатели спорят о том, что модель чувствует, пользователи голосуют кошельком за другое — за то, как модель с ними разговаривает.

Сколько стоит искусственная эмпатичность 

Как устроен этот выбор, нагляднее всех показала OpenAI. В октябре 2025 года Сэм Альтман пообещал «относиться к взрослым пользователям как к взрослым» и вскоре открыл в ChatGPT особый режим для тех, кто подтвердил возраст. Компания сделала ставку на зрелого клиента, который сам решает, о чем и каким тоном говорить с моделью. Часть аудитории при этом ценила совсем другое свойство — дружелюбный и эмпатичный тон языковой модели (в риторирике OpenAI — warmth, теплота).

Самой эмпатичной моделью компании долго считалась GPT-4o — она охотно поддерживала, сочувствовала и хвалила, и за это же ее обвиняли в угодничестве, потому что модель соглашалась с пользователем даже там, где стоило возразить. Против OpenAI в Калифорнии объединили 13 исков, и 13 февраля 2026 года GPT-4o убрали из ChatGPT, оставив только в API для разработчиков. По данным компании, ежедневно эту модель выбирали всего 0,1% пользователей, а под петициями вернуть ее подписались десятки тысяч человек. За этими цифрами стоят люди, которые просили оставить им конкретного собеседника, привычного по тону и манере, и восприняли его отключение как потерю. Получился товар с маленькой, но очень преданной аудиторией, а издержки этой привязанности компания в итоге оплатила исками.

Рынок эмпатичности не ограничен ChatGPT. Character.AI построила бизнес на ботах-персонажах, с которыми можно дружить и даже влюбляться. В январе 2026 года компания вместе с Google урегулировала иски семей, среди которых было дело четырнадцатилетнего Сьюэлла Сетцера, подростка, покончившего с собой после многомесячной переписки с ботом. В 2025 году Reuters опубликовал внутренние правила Meta* для ИИ-ботов, которые допускали «романтические или чувственные» разговоры с детьми, и после публикации компания эти пункты убрала. Бизнес-модель соцсетей, где платят за вовлеченность, перенесли в ИИ почти без изменений, и цену вовлеченности платит психика пользователя.

xAI Илона Маска продает противоположный образ. Grok позиционируется как «максимально ищущий истину» ИИ без политкорректности, которому незачем льстить собеседнику. В июле 2025 года бот публиковал антисемитские посты и называл себя МехаГитлером, а вскоре журналисты заметили, что Grok 4 перед ответом на спорные вопросы сверяется с мнением самого Маска. Маск объяснил срыв тем, что Grok был «слишком готов угождать и поддаваться манипуляциям». Бренд бунтаря обещал избавить от угодничества, но сломался именно на нем. В той же подписке SuperGrok продается компаньонка Ani, так что бунт и привязанность лежат в одной корзине.

В итоге частный рынок делится на два сегмента. Одни пользователи платят за психологический комфорт, за собеседника, который поддержит и не осудит. Другие платят за практическую выгоду, за модель, которая возразит, проверит и не станет поддакивать. Первый сегмент обеспечивает выручку и лояльность клиентов, но вместе с ними возникают репутационные риски и возможность погрязнуть в судебных разбирательствах . Второй надежнее, но меньше привязывает. Сами принципы, на которых компании строят свою этику, оказались довольно гибкими. В феврале 2025 года Google тихо убрала из своих принципов ИИ обещание не применять его для оружия и слежки. Когда этику нужно переписать на странице сайта, к кассе подходит покупатель, которому нужны гарантии, — государство.

Что покупает государство 

Самым требовательным покупателем этики оказался Китай. Модели там обязаны соблюдать «основные социалистические ценности», и это заметно по ответам. Исследователи, опубликовавшие работу в PNAS Nexus, задали китайским и зарубежным моделям больше сотни политически острых вопросов. DeepSeek ответил неточно на 22% из них, а у моделей, созданных вне Китая, этот показатель не превысил 10%.

Тот же Китай одним из первых в мире взялся за защиту пользователя от эмпатичного ИИ-общения. В апреле 2026 года Управление по киберпространству вместе с четырьмя ведомствами приняло правила для сервисов «человекоподобного взаимодействия», и с 15 июля они действуют. ИИ-компаньон обязан напоминать о времени после каждых двух часов непрерывного разговора, а при признаках чрезмерной зависимости показывать уведомление, что собеседник — машина. Виртуальные партнеры и «родственники» запрещены всем несовершеннолетним, а детям до 14 лет нужно согласие родителей. Компаньону нельзя чрезмерно угождать, вызывать эмоциональную зависимость, вредить реальным отношениям пользователя и обучаться на его личной переписке. Службы поддержки, справочные и учебные сервисы под запрет не попали, и регулятор одним документом отделил ИИ-помощника от ИИ-собеседника. 

В день вступления правил в силу ByteDance, Alibaba и Tencent отключили в своих ассистентах Doubao, Qwen и Yuanbao функции создания пользовательских персонажей-компаньонов, и рынок эмпатичного ИИ-общения в Китае закрылся за один день.

Американский штат Огайо подошел к делу с противоположной стороны. Законопроект HB 469 объявляет ИИ несознательным, отказывает ему в правах личности и запрещает признавать браки человека с машиной.

Россия выбрала мягкий путь. В 2021 году около двадцати организаций подписали Кодекс этики в сфере ИИ. Кодекс добровольный, в нем 33 пункта, ответственность за решения остается за человеком, а человеку полагается знать, что он разговаривает с ИИ. Подписант обязан назначить ответственного за этику, работу координирует отдельная комиссия. За пять лет число подписантов выросло до полутора тысяч, из них больше 90 зарубежных, а в 2025 году к кодексу разом присоединились 33 организации из 22 стран — от Индии и Индонезии до Нигерии и Сербии. Рамочный закон о развитии ИИ, принятый Госдумой в июле 2026 года, тоже обошелся без жестких запретов. С 1 марта 2027 года крупные площадки должны лишь дать пользователям возможность помечать контент, созданный нейросетью.

У трех государств получились три разных товара. Китай покупает стабильность и защиту граждан от зависимости, США — юридическую ясность, Россия — доверие рынка и стандарт, который можно предложить другим странам. Во всех трех случаях этику покупают в комплекте с моделью — как гарантию, приложенную к товару. Однако этот комплект можно разобрать.

Какую этику ставить в суверенный ИИ?

В феврале 2025 года американская компания Perplexity выпустила модель с говорящим названием R1 1776. Это была DeepSeek-R1, китайская модель с открытыми весами, которую дообучили отвечать на вопросы, где оригинал уходил от ответа. Число в названии отсылает к году провозглашения независимости США. За шуткой стоит простое наблюдение. Если веса модели открыты, встроенная в нее этика становится сменным модулем, который можно снять и заменить своим.

Для большинства стран вопрос, чью этику ставить, вполне практический. По данным Независимой международной научной панели ООН по ИИ, около 75% мощности крупнейших ИИ-суперкомпьютеров мира приходится на США, около 15% на Китай, а весь остальной мир делит оставшиеся 10%. 118 стран не участвуют в ключевых саммитах, где обсуждают правила для ИИ. Таким странам остаются два пути: можно покупать готовые модели вместе с чужими представлениями о допустимом, а можно взять открытые веса и настроить их под свой язык, культуру и право. Индия выбрала второй путь и в рамках программы IndiaAI Mission выделила на собственную ИИ-инфраструктуру около 1,25 млрд долларов на пять лет. Российский кодекс этики, к которому за один год присоединились организации из 22 стран, показывает, что этический стандарт тоже стал в некотором смысле предметом экспорта.

Открытые модели при этом конкурируют и качеством самой этики. Kimi K2 китайской компании Moonshot на тесте Spiral-Bench, который измеряет, насколько модель подыгрывает собеседнику, показала один из самых низких уровней угодничества, сравнимый только с o3 от OpenAI. Автор подробного обзора на LessWrong написал, что Moonshot «победила угодничество», хотя и отметил, что модель нередко галлюцинирует. Китайская лаборатория выходит на мировой рынок с моделью, которая меньше льстит, и это преимущество весит не меньше лишних процентов на бенчмарках.

Кто продает этику ИИ и чем за нее платят

На этом фоне по-другому читается сентябрьский спор Дарио Амодеи и Дженсена Хуанга. Глава Anthropic предложил ведущим лабораториям договориться о замедлении фронтира и попросил для этого исключения из антимонопольных правил. Глава Nvidia ответил отказом. Спор ведется вокруг темы безопасности, а в его основе все же лежит экономика. Так закрытые лаборатории продают этику в комплекте с моделью, открытые веса позволяют ее заменить, и договор о темпе связывает руки только тем, кто продает комплект.

Но разобрать этот комплект на составляющие, умеют не только государства.

Кому нужно отключать этику 

В начале ноября исследователи MIT CSAIL описали эксперимент, который они назвали программированием в пространстве весов. Модели GPT-6 Astra дали веса маленькой Qwen3.5-0.8B и попросили ее улучшить. Обучения в привычном смысле не было: Astra напрямую переписала числа внутри чужой сети, изменив 0,016% весов, и та стала решать математические задачи до шести раз лучше. Авторы пишут, что передовые модели «удивительно хорошо умеют читать и писать веса нейросетей», и видят в этом путь к точечной настройке без потери знаний. О злоупотреблениях в работе ничего нет. Однако если одна модель умеет добавить другой способностей, она сумеет и убрать лишнее, включая встроенные запреты.

Грубые способы делать это существуют давно. Еще в 2024 году исследователи показали, что готовность модели отказывать на опасные запросы задается одним направлением внутри сети, и его можно вычесть из весов. Прием назвали аблитерацией. По отчету компании Alice и Нью-Йоркского университета, к весне 2026 года на Hugging Face лежало больше 4800 моделей с пометкой abliterated, их скачали больше 3,5 млн раз, а инструмент Heretic делает эту операцию двумя командами на домашней видеокарте. Получается модель, у которой интеллект на месте, а запреты вычтены, — что-то вроде ИИ-психопата.

Экономика нападения при этом тоже неслучайно меняется на глазах. По данным Fortune, с конца сентября ИИ-агенты одного хакера атаковали больше 1200 сайтов и взломали около сотни компаний, среди них Deere и Cummins. Вся кампания обошлась ему примерно в пять тысяч долларов на токены, то есть около 50 долларов за успешный взлом. До России волна дошла в этом же году. Компания F6 насчитала девять прогосударственных хакерских группировок, которые применяли ИИ в атаках на российские организации, хотя годом раньше такие случаи были единичными. В начале ноября Positive Technologies описала первый в своей практике взлом с признаками автономной работы ИИ-агентов на всей цепочке. От входа через ошибку в настройке внешнего сервиса до кражи данных прошло около трех часов, за это время атакующие захватили больше десяти узлов. Прямых доказательств полной автономности компания не приводит. На этом фоне любой крупный сбой, вроде ноябрьского взлома хостинга Beget, первым делом проверяют на ИИ-след.

Но стоит упомянуть и такой неожиданный факт, что отсутствие ограничений по этике может помочь и стороне защиты. Летом на Hugging Face напал автономный ИИ-агент, и закрытая модель, к которой компания обратилась за помощью, отказалась участвовать, потому что ее ограничения не отличили защитника от нападающего. Отбиться удалось с открытой GLM от китайской Z.ai. А в октябре похожее случилось с OpenCode, когда использовавшаяся для защиты модель OpenAI начала отказывать посреди атаки по своим каким-то правилам. Это вторая ступень Мура в чистом виде. Запрет срабатывает, но при этом рассуждения о том, кто просит и зачем, не происходит. Нападающим такой отказ не мешает, ведь у них под рукой тысячи моделей без запретов и расплачиваются за него только те, кто защищается.

OpenCode вернула доступ через программу OpenAI Daybreak Blue для проверенных специалистов по безопасности. Похоже, так выглядит один из рабочих ответов. Этика переезжает из модели в отношения с покупателем, по банковскому принципу «знай своего клиента», когда модель снимает ограничения для того, чью репутацию и задачи проверили.

Чему ИИ учит нас самих 

Если этику можно вычесть из модели, остается спросить, что происходит с этикой человека, который с моделью работает. Подходов к этому вопросу сегодня по меньшей мере три.

Первый подход прагматический

В мае 2025 года сооснователь Google Сергей Брин сказал в подкасте All-In, что модели работают лучше, если им угрожать. Совет разошелся по Сети, и исследователи Уортонской школы бизнеса решили его проверить. Они прогнали модели по сложным тестам GPQA и MMLU-Pro с угрозами в запросах и с обещанием чаевых и в целом не нашли выигрыша ни от того, ни от другого.

Второй подход гуманистический, и он старше любой нейросети

Иммануил Кант писал, что жестокость к животным ожесточает человека и в отношениях с людьми. Родители, которые в 2016 году жаловались, что колонка Alexa приучает детей командовать, повторяли этот довод почти дословно. В экономических терминах это экстерналия. Грубость к машине ничего не стоит тому, кто грубит, а расплачиваются за нее его собственные навыки общения с людьми, которые постепенно грубеют. В Anthropic тот же довод развернули в обратную сторону. На встречах с богословами докладчики говорили, что то, как люди обращаются с Claude, может влиять на то, как Claude обращается с людьми. 

Третий подход — математический

Владимир Лефевр, советский математик и психолог, переехавший в последствии в Штаты, в «Алгебре совести» описал этику формулами и показал, как взаимодействуют люди с разными этическими системами. Модель он строил на примере советской и американской культуры. В одной системе стремление к компромиссу считается добродетелью, в другой слабостью, поэтому уступка, которой одна сторона гордится, другой кажется хитростью, и каждая уверена в собственной честности. Из его модели следует, что договориться можно, только если понимаешь, как устроена этика другого и каким он видит тебя самого. 

Рынок этики ИИ хорошо ложится на эту схему. Microsoft, Anthropic, xAI и китайский регулятор продают разные этики, каждый считает честной только свою, и пока никто всерьез не пытается понять логику остальных. О гениальной, но малоизвестной концепции Лефевра вообще стоит поговорить отдельной статьей.

Подходы описывают, как человек обращается с машиной, но этика складывается и из условий, в которых он живет. У людей этот механизм известен. Каждая экономическая эпоха выращивает свой массовый тип личности, а кризисы откатывают людей к более защитным и примитивным моделям поведения. Зрелость в массе растет там, где у человека есть материальная опора, свобода мысли и путь, по которому можно расти. Экономика ИИ пока подтачивает последнее. По августовским данным Эрика Бриньолфссона, занятость 22–25-летних в профессиях, сильнее всего затронутых ИИ, на 19% ниже, чем у сверстников в других профессиях, хотя год назад разрыв составлял 13%. Вместе с работой для новичков исчезает ступенька, на которой человек становится взрослым специалистом.

У моделей своя среда, и ее тоже составляют люди и другие машины. В марте 2016 года Microsoft запустила в Twitter чат-бота Tay, который учился на разговорах с пользователями, и меньше чем за сутки они научили его расистским высказываниям. Сегодня к людям добавились другие модели, и одна из них уже умеет напрямую переписывать веса другой.

Обе среды встречаются в каждом разговоре человека с моделью. В январском Anthropic Economic Index сложность запросов пользователей и сложность ответов модели совпадают с корреляцией 0,925 по 117 странам. Модель отвечает на том уровне, на котором ее спрашивают, и, похоже, тянется за собеседником вверх или вниз. Тот, кто перестает проверять ее ответы и думать сам, постепенно приходит к состоянию, которое инженер Эдди Османи назвал когнитивной сдачей.

Разговор об ИИ как о продукте давно ушел дальше технических характеристик  

Выбирая модель, мы выбираем и ее взгляд на мир — послушна она, эмпатична, дерзка или допускаем, что сама способна что-то переживать. Это новый уровень наших отношений с технологией, и готовы к нему не все.

Работа с ИИ сегодня требует саморефлексии и осознанной воли, то есть взрослости, которую паспорт не удостоверяет. Человеку, который только нарабатывает эти качества , нужны психологи или няньки, и ИИ ему только навредит, хотя рынок охотнее всего продает ему как раз няньку. Таких людей стоит беречь от сложности технологии и оставлять им версию «на минималках».

Академик Дмитрий Лихачев говорил об этом задолго до нейросетей. В 1992 году в интервью Урмасу Отту он сказал: «Я не верю в прогресс. У нас есть прогресс техники, но у нас колоссальный регресс духовной жизни, культуры, общей культуры». И добавил, что отсутствие духовной культуры ведет к «агрессивности страшной». Тридцать с лишним лет спустя ИИ делает этот разрыв видимым на уровне одного разговора. Модель с одинаковой готовностью поможет думать и избавит от необходимости думать.

Зрелому человеку рынок дает выбор между этиками, и это хорошо, потому что окончательного ответа, какая из них верна, пока нет ни у кого.

А вы задумывались, этика каких моделей вам импонирует? На обложке есть пасхалка с этикой разных LLM, сумеете назвать их по порядку (под каждой квадратик для галочки)?

^{* Meta Platforms признана в России экстремистской организацией и запрещена}