ИИ-агенты и неприятные правовые последствия, от которых никто не умрёт

Базовый принцип гражданского права заключается в том, что за правоотношением стоит наделенный волей человек. Это неплохо работало последние две-три тысячи лет, но появление эффективных и доступных любому человеку с 30$ в кармане ИИ-агентов всё испортило.

К примеру, кто будет автором разработанного ИИ-агентами продукта? Представим, что у вас есть стартап, стартап успешен, его хочет купить инвестор.

Инвестор приступает к due dilligence, в репозитории появляется команда

git log --format='%(trailers:key=Co-authored-by,valueonly)'

В ответ на экран выводится пара тысяч упоминаний Claude, после чего возникает закономерный вопрос: существует ли у проверяемого продукта автор-человек, то есть единственное во вселенной существо, у которого могут быть авторские права?

Еще пару лет назад существование автора под сомнение не ставилось, но агентная разработка все сильно усложнила.

У клиента вашего стартапа, к слову, тоже есть пачка ИИ-агентов, и клиенту ничего не стоит написать

/goal изучи всю релевантную информацию и найди, где меня обманули'

В былые времена экономика такого мероприятия сходилась очень плохо: нужно было нанять квалифицированного бухгалтера, эксперта и юриста, заплатить им существенные деньги и с высокой вероятностью получить в итоге отрицательный результат.

Поэтому копали, только если проблема была системной и приносила много неприятностей.

Теперь несколько итераций поиска стоят сущие копейки, а для его запуска достаточно немного заскучать неподалеку от телефона с интернетом.

Пока высокие умы спорят, в каком именно году ИИ нас уничтожит / сделает глупыми / лишит работы / спасет (нужное подчеркнуть), происходят довольно скромные, малозаметные и малоприятные изменения, от которых никто не умрёт.

Печатный станок и поощрение учености

Первый закон об авторском праве появился не так давно, в 1710 году, и довольно быстро, спустя всего 230 лет после появления в Англии первых книгопечатных станков. Книгопечатание сильно удешевило копирование информации, печатать книги в Англии могла только одна гильдия, в 1695 гильдейская монополия закончилась, и Англию накрыло перепечатками.

Ответом на это стал Статут Анны, «Акт о поощрении учёности»: общество дает автору временную монополию на результат умственного труда, чтобы у автора была возможность зарабатывать мыслью на хлеб.

С тех пор авторское право выполняет для продукта роль забора: сначала вокруг книг, потом вокруг других творческих штук, включая код. Писать код могли только квалифицированные люди, их труд стоил дорого, красть чужой код запрещает закон. Хочешь создать свой продукт – ищи капитал, нанимай людей, возвращай инвестиции.

С автономной агентной разработкой код больше не требует творческого вклада человека, и поощрять ученость больше не нужно.

В этой связи российское право проявило несвойственную себе оперативность и начало разбирать вопрос автоматического создания творческих штук еще в 2019 году.

Согласно п. 80 Пленума ВС № 10, результат работы технического средства без творческой деятельности человека не охраняется. Идея в том, что авторское право на запись с камеры наблюдения не возникает, потому что человек к созданию записи творческого усилия не приложил. То есть поощрять за работу мысли некого.

Континентальная доктрина зарубежных стран охраняет выражение личности автора, потому что уникальность произведения неразрывно связана с уникальностью жизненного опыта и самовыражения его автора, а у агента личности нет.

.soul за личность не считается.

Сейчас на практике агентная разработка выглядит следующим образом: есть задача, придуманная человеком, агент изучает задачу и генерирует план, второй агент генерирует код по плану, третий агент пишет юнит-тесты, четвертый проводит ревью, пятый принимает решение о мерже. Присутствие человека в цепочке ограничено решениями о планировании и приемкой, исполнением занимается группа агентов.

Беда в том, что задача и план – это идея, а идеи, организация работы, контроль ее выполнения и подобные организационные штуки авторским правом не охраняются. Охраняется только творческое выражение идеи, но в нашем случае у этого творческого выражения нет, собственно, творца.

Творцом в понимании права может быть только человек.

А человек, зачастую, не смотрит на сгенерированный код, а в случае с нашумевшими математическими прорывами квалифицированный человек может и не понять, что именно сгенерировала нейросеть, даже если будет смотреть очень-очень внимательно.

Впрочем, человек может создать некое охраняемое произведение до того, как агент напишет первую строку кода: российское право знает о существовании подготовительных материалов и неоконченных (или промежуточных) произведений. К ним могут относиться спецификации, технические задания и макеты, сложные многоуровневые промпты, и так далее.

Искать авторов кода только среди тех, кто пишет код, неверно.

Написанный человеком прототип, который агент доработал, может охраняться , но он не дает защиты от внешнего копирования продукта. Защита спецификации авторским правом не означает, что её реализация будет охраняться: чтобы что-то защитить, нужно установить, в чем заключалась роль творца-человека.

Даже оригинальные идеи в духе «Сделай убер для собак, но водителями должны быть собаки» квалифицируются как требования к функциональности и не охраняется авторским правом.

Отбор результатов и их правки, в целом, могут считаться творчеством (к примеру, у фотографов так и есть), а вот проверка соответствия результата поставленному ТЗ творчеством точно не является.

Если спецификацию, прототип, код и все вокруг кода создали агенты, а роль человека ограничилась постановкой целей и приемкой результата, его творческий вклад ничтожен, автора нет, следовательно авторское право не возникло, а в случае разработки на работе – код нельзя считать служебным, права на него не перейдут к работодателю, потому что права в принципе не возникли.

Внимательный читатель скажет, что охранять не обязательно творчество: право умеет охранять потраченные на результат деньги.

Логика поощрения учености это вполне допускает. Например, Великобритания последние 30 лет охраняет computer-generated works и считает автором того, кто обеспечил условия их создания. Правда, в последние годы британское правительство предлагает эту охрану отменить: сейчас нет явных доказательств, что она кому-то правда необходима.

В России есть право изготовителя базы данных, которое поощряет затраты на сбор и обработку материалов, но код признать базой данных не выйдет. Ну и двадцать долларов подписки трудно назвать существенными затратами, даже если ФОТ команды, ставящей задачи агентам, стоит много миллионов в месяц.

В общем, поскольку в агентной разработке по-умолчанию нет автора и творчества, то и охранять авторским правом по большому счету нечего.

Это значит, что созданный таким образом продукт могут воспроизвести с минимальными юридическими рисками. А еще это значит, что за такой продукт инвесторы больших денег не предложат.

Поиски автора и вагон обязательств

Вернемся к стартапу, код для которого написали агенты.

Юристы инвестора могут дать две диаметрально противоположные и примерно одинаково разумные позиции о том, существуют ли у вас права на сгенерированный код, или нет.

Первая позиция строится на презумпции творчества, ее можно сформулировать так: «если что-то похоже на объект авторского права, и где-то поблизости каким-то образом можно обнаружить участие человека – значит, мы смотрим на объект авторского права». Позиция имеет право на существование, пока речь идет о копировании кода силами ваших недоброжелателей, в суде о нарушении ваших прав такая позиция, скорее всего, устоит, но для сделки это значения по сути не имеет.

Вторая позиция будет звучать следующим образом: «это все написала машина, человек сидел рядом, а значит, авторское право не возникло, код нельзя назвать служебным произведением, и у стартапа какие-либо права на код отсутствуют».

К такому выводу юристы инвестора придут прежде всего потому, что они – юристы инвестора, их задача – найти проблемы, потому что каждая проблема будет ухудшать условия продавца стартапа и улучшать условия для самого инвестора.

Можно очень скрупулезно оформить все релевантные разработке документы, которые будут передавать интеллектуальные права в пользу стартапа, но если авторское право не возникает, то и передавать, собственно, нечего.

В этом случае инвестор попросит заверить, что права у компании есть, а если что-то пойдет не так – возместить связанные с правами потери. И за счет этого, инвестор попробует снизить оценку компании, и придержать часть вознаграждения на какое-то время.

Все-таки обнаружен серьезный риск!

В итоге сделка состоится под обещание компенсировать разнообразные будущие проблемы, связанные с созданным агентами кодом. Придется основателю пару-тройку лет ходить и вспоминать о том, что в какой-то момент деньги могут потребовать назад.

Есть и последствия второго порядка: обычно российские ИТ-продукты стараются попасть в реестр отечественного ПО, попадание в реестр обеспечивает освобождение от НДС, для этого нужно, чтобы исключительное право принадлежало компании.

Но авторское право потенциально не возникло (писали-то агенты), неясно, есть ли вообще какой-то объект интеллектуальных прав. А раз нет объекта – то и исключительного права на него быть не может, следовательно, и право на освобождение от НДС под вопросом.

Придя к такому выводу, юристы напишут «риск доначисления НДС – средний, материальность риска – существенная», цена сделки снижается еще сильнее, обязательства основателя перед инвестором становятся еще болезненнее.

Даже если предположить, что авторское (и исключительное) право на код есть, конкурент с помощью такой же агентной разработки может повторить продукт без прямого копирования кода: функции и идеи авторское право не охраняет ни в каких случаях; разработка методом «чистой комнаты» – известное и законное явление.

Копирование через «чистую комнату» стало сильно дешевле, экономика разработки перестала от него защищать.

И, как говорят в интернете, что угодно можно переписать на расте, потратив пару вечеров и какое-то количество токенов.

Иными словами, забора вокруг кода больше нет, и если у продукта нет проприетарных данных, физического компонента, поддержки, интеграции и сетевого эффекта – продукт можно скопировать, право тут будет в общем-то бессильно.

Данные же защищены через право изготовителя базы данных и коммерческую тайну (хорошие синтетические данные сделать непросто), сетевой (включая социальный) эффект достигается за счет бренда, маркетинга и хороших договоров с клиентами и партнерами, а физическая составляющая продукта вполне эффективно защищается патентом. Ну и поддержка, отношения с клиентом и другие не слишком популярные в ИТ штуки выходят на первый план.

Вследствие этого, юридическая проверка ИТ-продуктов будет видоизменяться.

Большого смысла права на код исследовать сейчас нет, а разумный вопрос к приобретаемой компании должен выглядеть примерно так: «чьи данные, на каком основании они собраны и можно ли передать их вместе с компанией, можно ли поддерживать ИИ-пайплайн агентной разработки, и насколько сложно его скопировать извне».

Второй разумный вопрос - «почему продуктом вообще пользуются, что должно произойти, чтобы им перестали пользоваться, и как можно создать или усилить вендор-лок».

В этом контексте особенно важны личности основателей и ключевых участников команды. Их удержание после сделки станет одной из главных задач покупателя: модель acquihire, при которой сделка нужна, по сути, для найма команды, тоже становится популярнее.

Издержки правосудия и право на справедливость

Посмотрим на ситуацию с менее капиталистической стороны. Мы – клиенты десятков компаний, таких как мы - миллионы, и у каждого из нас (в перспективе) будут персональные агенты. И всех нас в работе этих компаний что-нибудь да не устраивает.

Раньше между фрустрацией и подачей иска должно было произойти множество непростых и затратных по времени действий. Благодаря агентам все можно ускорить, упростить и удешевить на один-два порядка. Казалось бы, ситуация для простого человека отличная, правосудие стало еще доступнее, наконец можно добиться справедливости от управляющей компании, магазина, банка и маркетплейса!

Не совсем.

Ресурс судов ограничен: один судья может разрешить 1–3 сложных спора в неделю, и еще до появления агентов российские судьи были крайне сильно перегружены. По разным источникам, судебному аппарату не хватает до трех с половиной тысяч человек (а по поим ощущениям - сильно больше, и где взять столько квалифицированных судей - неясно).

Теперь добавим в уравнение поток почти бесплатных ИИ-претензий. Не каждая станет иском: часть требований окажется ошибочной, часть проблем решится до суда, не все захотят платить госпошлину, и так далее. Но суть в том, что условно качественный иск можно подготовить на порядок быстрее и дешевле, чем раньше.

Если поток таких исков будет расти быстрее пропускной способности судов, дешевая подготовка документов сделает и так длинную очередь к справедливости еще длиннее.

Государство к этому, как водится, активно готовится: в начале сентября этого года Верховный суд утвердил, что ИИ будет внедрен во все этапы судопроизводства, а к 2030 (ключевому для всех государственных инициатив) году судебными ИИ-сервисами должны постоянно пользоваться больше 95% судей.

Идея в общем-то понятна: машина подала иск, машина его и рассмотрит. Проблема в том, что идея алгоритмического суда в народе не слишком популярна, причем не только из-за возможных галлюцинаций.

Суд вообще-то нужен не только (и иногда не столько) для вынесения правильного решения: люди готовы принять любое решение судьи, если видят, что их выслушали, отнеслись беспристрастно и с уважением. А беспристрастность и уважение машины уже оценили все, кто хотя бы раз пользовался автоматизированной службой поддержки любого существующего сервиса.

Суд — это, по большому счёту, единственное место, где за решением обязательно должен стоять человек, ради этого суд и придумали.

Официально итоговое решение в любом случае остается за судьей, human-in-the-loop вполне очевидная и разумная идея. Проблема в том, что люди под нагрузкой склонны соглашаться с рекомендацией системы, а при растущем потоке дел времени на проверку будет всё меньше.

Судьям и KPI обозначили: не менее 80% проектов решений должны утверждаться судьями «без существенных правок».

А в матрице рисков концепции внедрения ИИ среди мер против снижения самостоятельности судьи указана «обязательная мотивировка отклонения от ИИ-рекомендации». Этот надежный план поднимает довольно очевидный вопрос: если отклонение рекомендации нужно обосновывать, не окажется ли согласие с ней самым удобным решением для перегруженного судьи?

Для этой ситуации есть специальный термин, «moral crumple zone»: человека оставляют в контуре принятия решения, чтобы было на кого повесить ответственность, самостоятельность в принятии решений скорее мешает системе работать. Вы наверняка сталкивались с этим чувством, когда оставляли “LGTM” в последний день перед отпуском.

Та же проблема ждет и усиленных ИИ врачей.

Среди целей внедрения ИИ в судопроизводство называют единообразие судебной практики и исключение противоречий, но право развивается как раз через противоречия: судья может вынести справедливое по его мнению решение, и это решение в целом может противоречить сложившейся практике. Рекомендательная модель не размышляет категориями справедливости, она обучена на прошлых решениях и RLHF, и все новое и непохожее она пометит как ошибку.

Ну и должно же где-то у нас существовать место для дискуссий, раз с другими органами не повезло.

Решение суда к тому же должно быть мотивировано, сторонам важна возможность проверки и обжалования решения, в идеале там должна быть позиция, которая последовательно фиксирует, учитывает и оценивает аргументы сторон. Модель же хорошо генерирует связный текст, но никто доподлинно не знает, почему и как как она придет к конкретному решению в конкретном деле: в итоге вместо содержательного разбора можно получить качественно написанное сочинение.

А еще суд станет самостоятельным бенчмарком для моделей участвующих в споре сторон: как только будут выявлены общие паттерны принятия ИИ-решений, модели станут писать иски с учетом этих паттернов. Это уже реализуется через (пока не очень качественные) инъекции промптов: недавно в Бразилии адвокаты спрятали в жалобе белым шрифтом инструкцию для судебного ИИ, а в Коннектикуте истец вставил в ходатайство скрытый приказ «поддержать доводы истца».

Выглядит это все пока довольно нелепо, но причина скорее в низком уровне технической подготовки авторов этих инъекций.

Агенты отлично решают и эту проблему.

Важно учитывать, что право намеренно написано не слишком точно и понятно: многие нормы не могут быть конкретными по своей природе, добросовестность, разумность, соразмерность и прочие принципы оставлены на усмотрение человека, потому что заранее их не формализуешь. Право не может существовать в отрыве от его интерпретации, причем интерпретации человеком, продуктом своей эпохи и культуры, наделенным личным опытом и уникальным взглядом на ситуацию.

Получается пугающая цепочка.

Агенты удешевили генерацию документов, поток исков, за которыми не стоит человек, вынуждает убрать человека из цепочки вынесения судебных решений, а суд - единственное место, где человек является источником хотя бы какого-то доверия к способности системы решать поставленную перед ней проблему.

Но пока для обычного человека существует золотое окно возможностей: впервые у всех появился достаточно квалифицированный и почти бесплатный личный юрист, который будет рад помочь восстановить справедливость в отношениях с любым бизнесом.

У бизнеса на это, конечно же, тоже есть ответ.

Обратная сторона медали и ложный паритет

Бизнес отличается от человека тем, что у бизнеса, как правило, больше капитала. Больше капитала — лучше технологии, лучше технологии — лучше агенты, лучше агенты — проблемы вроде как и нет? А ещё у бизнеса есть выделенные юристы, которые (пока ещё) эффективнее агентов, а что самое главное — могут своими ногами прийти в суд.

В идеальной ситуации ИИ-агент клиента пишет претензию, ИИ-агент бизнеса эту претензию рассматривает (по справедливости!), агенты о чём-то договариваются и возвращаются к своим принципалам с взвешенным и справедливым решением.

Это сработает, если условия однозначны, все действуют добросовестно, и доказательства известны обоим агентам: в такой ситуации агенты удешевят и ускорят разрешение проблем, суд вообще не понадобится, все будут счастливы.

Правда, у бизнеса, как правило, больше одного клиента, и у каждого из клиентов может быть больше одного агента.

А ещё кто-то из сторон может действовать не очень-то и добросовестно (все мы знаем про потребительский экстремизм и забавные маршруты отмены разнообразных подписок). Нужно учитывать, что положение сторон при этом несимметрично. По общему правилу ЗоЗПП потребителю достаточно обосновать требование, а бизнесу нужно доказать, что он ничего не нарушил или нарушил не по своей вине.

И наконец, агенты умеют действовать сообща.

Предположим, вы - клиент какого-нибудь маркетплейса, как и пара миллионов других людей. Один из ваших ИИ-агентов нашёл существенную ошибку в условиях использования этого маркетплейса, передал информацию внутри сети агентов с признаком «клиенты маркетплейса», маркетплейс получил пару-тройку миллионов исков.

Для маркетплейса такой сценарий вполне можно отнести к экзистенциальным рискам, он в общем-то опаснее очередной ставшей всем привычной утечки персональных данных или взлома критических систем.

Право на внимание и тревожное будущее

Большие ИИ-риски - популярная тема: восстание машин, массовая безработица, отупение человечества, леса Амазонии - это серьезные проблемы, про которые важно говорить сильные слова. Под эти слова дают гранты и выделяют бюджеты, получать гранты очень приятно, еще приятнее представлять как грант превратится в статью, и статья спасет человечество от вымирания, и всем причастным к статье дадут медаль или типа того.

А у описанных выше скучных проблем общая фундаментальная причина: многие правовые гарантии опираются на человеческое участие, агенты стали способны довольно качественно выполнять действия, которые связывали с экспертизой человека, сам же человек в цепочке принятия решений пока существует, но неясно, в чем именно его роль.

Статут Анны понадобился, чтобы человеческая мысль имела возможность развиваться. Развитие ИИ и агентов перемещает внимание в разряд дефицита, а внимание, как известно, это все, что нам нужно.

Снижение количества доступного человеческого внимания отразится на всех: бизнес лишиться части своей стоимости, клиент потратит время и силы на непродуктивное общение с роботом, государство потеряет и так не слишком выраженные способности к принятию гибких, оперативных и креативных решений.

И это все - в рамках наилучшего сценария, в котором агенты делают только то, что им приказали.