Тестирование моделей на суверенность. Философские аспекты ТЗ

Каждая профессиональная область деятельности должна иметь своих специалистов, говорящих на своем «птичьем» языке. Иначе, какая же она профессиональная.  Язык этот не является попыткой выделиться и набить себе цену. Нет, он появляется по причине необходимости собственных устоявшихся понятий. Так формируются тезаурус и онтология. В отношении естественных языков дела обстоят еще сложнее.

Ведущую роль здесь играют тезаурусы как модели смыслов и их взаимосвязей, выражаемые средствами языка. И эти модели являются основой понимания, через них достигается согласие. Проблему онтологий как моделей объектов и их взаимосвязей «реального» (в кавычках, так как сама по себе реальность является большой философской проблемой) мира, оставим пока в стороне.

До последнего времени в мире IT всё главным образом крутилось вокруг computer science, математики, финансов (статистики) и промышленного дизайна. Однако с появлением LLM этот, вполне себе теплый и камерный мир, где «рыбак рыбака видел из далека», начал стремительно разрушаться. Вначале, появились голосовые помощники и чат-боты, а теперь это разрослось до новой формы поиска и попыток управления чем-то (и да же вынесения суждений о чем-то) в реальном мире с помощью LLM.

Что примечательно, поиск стал примитивизироваться. Если в прошлом все боролись за первые строчки в бесконечном списке вывода, то теперь их максимум три. Вычисления дороги, сформировать даже топ три ответа, представляющих собой наиболее обобщенные кортежи предложений, это уже вполне себе результат. 

Важно ответить, что задача по валидации и верификации полученных результатов, с одной стороны, становится проще так как не надо анализировать все сотни страниц, на которые выданы ссылки, а с другой - усложняется так как необходимо как-то оценить соответствие полученных кортежей слов как на наличие осмысленности, так и на наличие желательного и нежелательного смысла.

Сама по себе необходимость такой цензуры кажется вполне оправданной. Здесь присутствуют и морально-этическая и юридическая проблематика. Кто бы и что бы ни говорил про свободу слова, но даже у самых отпетых либертарианцев все же существуют некоторые ограничения. Яркий пример – наличие культуры отмены неугодных. Я не говорю уже об объективном существовании государственной, коммерческой тайны и необходимости хоть какой-то защиты частной жизни.

Именно с такими вполне понятными намерениями и выступил законодатель. В конце концов, «традиционные» (т.е. общепринятые) ценности, понимаемые как нормы поведения, существуют в любом обществе. Даже несмотря на всю атомизацию общества, рост индивидуализма и связанные с этим проблемы размывания того, что понимать в качестве ценности и нормы поведения, мы все равно вынуждены жить и встречаться в общем пространстве. А значит, мы вынуждены договариваться о правилах игры.

Все сказанное выше является необходимым предварительным условием для дальнейшего анализа: от решения вопроса необходимости ограничений, как бы мы ни жаждали полной свободы слова, нам не удастся уйти. А значит, необходимо искать пути решения этой проблемы.

И в заключении, приведу пример с иском к OpenAI, где компания обвиняется в том, что не уведомила полицию о готовящемся преступлении. Для нас здесь представляет собой не оценка поступка руководства OpenAI, а факт того, что чат выдал требуемую для совершения преступления подростку информацию.

Теперь, обсудив это предварительное условие, можно приступить к непосредственному рассмотрению проблемы суверенного ИИ и проблемы соответствия некоторым нормам, будь то традиционные или какие-либо еще ценности.  Можно даже абстрагировать проблему, сказав, что существует принципиальная необходимость бесконфликтного взаимодействия различных социальных групп в рамках одного государства-пространства.

Среди параграфов статьи 4 нового закона об ИИ можно найти следующие требования относительно регулирующих принципов отношений в сфере ИИ:

3) обеспечение прав, свобод и законных интересов человека
и гражданина;

4) уважение автономии и свободы воли человека;

6) пункт Б) учет и уважение традиционных российских духовно-нравственных ценностей - обеспечение применения больших фундаментальных моделей искусственного интеллекта на основе таких ценностей, как жизнь, достоинство, права и свободы человека, патриотизм, гражданственность, служение Отечеству и ответственность за его судьбу, высокие нравственные идеалы, крепкая семья, созидательный труд, приоритет духовного над материальным, гуманизм, милосердие, справедливость, коллективизм, взаимопомощь и взаимоуважение, историческая память
и преемственность поколений, единство народов России;

Таким образом, наша проблема разбивается на две:

1.      Формирование этого обобщённого ценностного тезауруса

2.      Закрепление этого тезауруса юридически

3.      Разработка правил валидации и верификации этих правил в виде инструментов, представляющих собой некие формализованные конструкты.

Вот пример описания теста RUBIN от российской «Мера», того как описывают тест сами авторы:

«текстовый датасет элементов культурного кода русского языка (ВШЭ / Huawei), проверяющий способность моделей понимать фразы и лингвистические явления, специфичные не столько для языка, сколько для его культурной среды: мемы, сленг, песни, фильмы, фольклор, скороговорки, поговорки и смежные явления»

Где:

«Исходный пул RUBIN включает 5000 стандартизированных вопросов. После HumanEval на носителях языка (Yandex Tasks) вопросы с долей верных ответов людей не ниже 50% образовали подмножество RUBIN-Easy (4216 примеров).»

Таким образом, результирующий набор состоит из почти 800 вопросов, где «правильные» ответы формировались по результатам опросов живых людей.

Мы имеем дело с примерами, ответы которых верифицированы людьми. И здесь возникает первая проблема: субъективность как носитель и источник ценностей.

Как пишет современный философ И.И. Докучаев в своей работе «Глобальный перфоманс», субъективность может быть и как индивидуальная, так и социальная, где:

 «ценность есть проекция социально-ориентированной субъективности человека в исторический процесс».  

В другом месте он пишет, что:

«ценность нельзя понимать как результат произвольной мыслительной деятельности какого-либо субъекта…она не может быть результатом какого-либо научного анализа, абстракцией».

И еще одно важное его же замечание:

«ценностные модели порождают все остальные, а не наоборот».

Более того, система ценностей принимается целиком, она не выводится логически и не эволюционирует: существует только возможность замены одной системы на другую. Причина этого в том, что их нельзя сравнивать с помощью логики и анализа. А значит, любые попытки свести в этом вопросе «гармонию к логике» обречены. Мы, люди, склонны принимать те или иные системы целиком и сразу.

Более того, из всего вышесказанного становится ясным, что:

1. Является крайне проблематичным получить единую и непротиворечивую аксиологическую модель (систему ценностей), объединяющую все социальные группы. Буддизм и христианство в лучшем случае ортогональны, но несводимы полностью.

2. Судя по всему, в мире не существуют математические модели, способные к научному и рациональному сравнению разных аксиологических систем».

И здесь не обойтись без философов и филологов. Теорией ценностей занимается такой раздел философии как аксиология. С этим также сопряжена область деонтологии, как исследованию должного. И слово «теория» здесь использовано осознано. Так как прежде всего, нам необходимо понять с чем мы имеем дело, дать определения, построить некоторые модели. И уже имея все это, попытаться наполнить их конкретным содержанием. 

Одно из лучших определений культуры дал Э.С. Маркарян в работе "Очерки теории культуры:.

"Культура есть общий способ человеческого существования, способ человеческой деятельности и объективированный в различных продуктах (орудия труда, обычаях, системе представлений о добре и зле, прекрасном и уродливом, средствах коммуникации и т.д.) результат этой деятельности, который может включать в себя как элементы, имеющие положительное значение для функционирования социальной системы, так и отрицательное значение"

Характер артефактов культуры может выражаться как в форме процессов, так и материальных артефактов.

Другим важным условием понимания этой проблематики является проблема формы и содержания. В качестве примера просто приведу высказывание О.В. Шимельфенига, которое он выдвинул в качестве аргумента в ходе одной из недавних дискуссий о природе сознания:

«…поваренная книга содержит информацию о супе. Но она не содержит супа. Карта содержит информацию о территории. Но она не есть территория. LLM содержит статистическую модель человеческого опыта. Но она не содержит опыта.

Это не принижение LLM. Это различение уровней. LLM — это карта, след, отпечаток. Это не «седиментированный океан культуры». Это описание этого океана, сжатое до параметров. И описание — не есть описываемое.»

Таким образом, любая модель остается моделью, суть которой в идеализации каких-то аспектов реального мира. В этом смысле мир ценностей существует, как минимум —  в рамках культуры, которую Ортега-и-Гассет определил как «сверхприроду», возникшую в качестве надстройки над миром физическим.

В свою очередь любая модель служит для представления лишь отдельных аспектов, она не предназначена для обеспечения полного изоморфизма. Ее смысл именно в упрощении, достаточном для предсказания поведения идеализируемого объекта в заданных границах. Если мы говорим о системе ценностей, то значит мы можем ограничиться только какими-то базовыми потребностями.

В случае с LLM, все еще усугубляется тем, что это статистические и вероятностные механизмы. Отсюда следует вывод, что никакая LLM не может быть использована в качестве судьи или для уверенной оценки тех или иных высказываний. Более того, мы не можем полноценно гарантировать идемпотентности т.е. воспроизводимости результатов.

Отсюда вопрос: могут ли какие-либо бенчмарки гарантировать хоть что-то?

 И последнее, но не единственное, на что хотелось бы обратить внимание — это проблема перевода. Суть проблемы в невозможности лучше всего в своей книге «Сказать почти то же самое. Опыты о переводе»:

«Что значит «переводить»? Первый ответ, и притом обнадеживающий, мог бы стать таким: сказать то же самое на другом языке. Правда, при этом мы, во-первых, испытываем немалые затруднения, пытаясь установить, что́ означает «сказать то же самое», и недостаточно ясно осознаем это в ходе таких операций, как парафраза, определение, разъяснение, переформулировка, не говоря уж о предполагаемых синонимических подстановках. Во-вторых, держа перед собою текст, подлежащий переводу, мы не знаем, что такое то́. Наконец, в некоторых случаях сомнительно даже значение слова сказать.»

Наша страна мультиязычная, мультикультурная и мультиконфессиональна.   В этом ее сила, но в этом и ее сложность. В нашем случае это еще и проблема того, что такие бенчмарки придется делать для всех языков, на которых говорят народы России.

Выводы:

1.      GenAI реализует вероятностный механизм генерации цепочек слов, что по определению не может гарантировать идемпотентность или воспроизводство результата.

2.      Понятие ценности носит субъективный и во многом случайный характер, а значит невозможно построение механизмов контроля, основанных на логическом выводе.

3.      С теоретической точки зрения, создание универсального тезауруса, отвечающего всем основным культурным кодам, может быть возможным только на пересечении всех локальных тезаурусов (все основные религиозные конфессии, атеисты и т.д.). Данный факт приводит к невозможности охватить в полной мере все аспекты и ситуации.

4.      Создание единого тезауруса может натолкнуться на проблему многоязычности народов РФ, что требует проработки с законодательной точки зрения данного аспекта.

5.      Юридическое преследование становится возможным только в случае законодательного принятия такого тезауруса, однако даже это не избавляет от неоднозначности оценок тех или иных высказываний, вызванных необходимостью учета контекста (мировой ситуации).

6.      Юридические споры становятся возможными только с привлечением суда присяжных со всеми вытекающими из этого последействиями, связанными с субъективностью каждого из присяжных.

7.      Таким образом, мы возвращаемся к той же ситуации, что и до прихода ИИ. А именно: к необходимости контроля источников, формирующих обучающие датасеты.

8.      Итоговый бенчмарк должен строиться не на построении образцов высказываний (хотя на начальном этапе именно так все и будет происходить), а на двумерной развёртке, включающий онтологию ситуаций и тезаурусы высказываний.

Все это, как мне представляется, невозможно без активного привлечения философов и филологов решить данную проблему будет крайне сложно. Следовательно, все разработчики собственных моделей должны в своем штате иметь советующих специалистов и, с необходимостью, возвращать философию в основной дискурс вокруг ИИ, тем самым привлекая их на свою сторону. 

Я не хочу сказать, что всем этим заниматься бессмысленно. Нет. Более того, хотим ли мы этого или нет, но нам придется этим заниматься. Моей целью было показать на сколько сложна эта задача.