Клодизмы. Часть 2. Значение тезиса: как добиться от нейросети ясного текста

В первой части я классифицировал клодизмы — типичные ошибки, которые Claude допускает при генерации связного текста, — по механизму возникновения и выделил десять классов. Вторая часть — о значении тезиса, то есть главной мысли, которую текст должен донести. Без тезиса модель пишет текст, в котором клодизмы лезут как тараканы, и такой текст не исправить заменой забракованных слов. С тезисом у модели есть то, с чем сверять каждое предложение, — и при написании, и при правке.

Разбор построен на первом варианте преамбулы к упражнению «Think of / think about» на сайте e-repa.ru. Преамбула — вводное объяснение, которое ученик читает перед заданиями.

Почему без тезиса модель пишет усреднённый текст

Значение тезиса видно, если сравнить, как модель отвечает на вопрос и как пишет текст по заданию «напиши про…». Для языковой модели запрос — начало текста, а ответ — самое вероятное продолжение этого начала. Модель продолжает запрос так, как похожие начала продолжались в текстах, на которых она обучена.

За вопросом «Что такое X?» или «В чём разница между X и Y?» в этих текстах следует ответ одного вида — определение или объяснение различия. Вопрос сам задаёт главную мысль ответа: ответ должен назвать то, о чём спрошено. Поэтому ответ на вопрос в чате обычно связный, а если в обучающих текстах о предмете есть точные сведения, — то и точный.

За заданием «Напиши про X» может следовать любой текст, где упоминается X: статья, эссе, пост, обзор, учебное пособие. Главную мысль такое задание не задаёт, и модель выдаёт усреднение всех этих текстов — то, что чаще всего встречается в текстах про X. У каждого из них была своя главная мысль, а у усреднённого её нет.

Бытовая аналогия — прохожий на улице. На вопрос «Как пройти к вокзалу?» он назовёт один маршрут, и всё, что он скажет, будет подчинено вопросу. На просьбу «Расскажите про город» он перескажет то, что рассказывают про любой город: старый центр, набережная, летом красиво. Это общие места, которые подошли бы к сотне городов.

Тем, кто работал с диффузионными моделями, то же различие знакомо по картинкам. Диффузионная модель рисует изображение по текстовому описанию — промпту. На промпт «нарисуй котика» она выдаёт среднего котика из чекпоинта, то есть из сохранённого состояния обученной модели: усреднение всех котиков, которых она видела. Если в промпте названы порода, окрас, поза, освещение и ракурс, у модели есть все шансы нарисовать того котика, который нужен. Задание «Напиши преамбулу к упражнению на think of и think about» для языковой модели — то же, что «нарисуй котика», а тезис для текста — то же, что порода, поза и свет для картинки.

Что было в преамбуле без тезиса

Первый вариант преамбулы модель написала по заданию, в котором была только тема и стиль: написать преамбулу в стиле инструкции для телеграм-постов и разобрать пару What do you think of my dress? и What do you think about my dress?. Тезиса в задании не было, и модель построила текст по форме. Из инструкции о стиле она вывела шаблон композиции — сценка, минимальная пара, нарастание, вывод, абзац с термином — и разложила материал по его частям. Каждый абзац заполнял свою часть шаблона, а не продолжал предыдущий, поэтому абзацы и не связаны между собой. При этом лингвистическое обоснование у модели было: в том же разговоре автор разобрал различие предлогов, и задания к упражнению модель строила от этого разбора. Но писать преамбулу от него задание не требовало, и преамбула пошла за шаблоном.

Каждый абзац в преамбуле существовал сам по себе. Сначала шла пара вопросов о платье, которые различаются только предлогом. Затем второй пример, никак с первым не связанный. Затем этимология about, и читатель не понимал, зачем она здесь: вопрос, на который она отвечает (почему ситуацию, связанную с предметом, передаёт именно about), в тексте поставлен не был.

Одно и то же понятие получало в разных абзацах разные названия. Ситуация, связанная с предметом, называлась то «утратой», то «взвешиванием», а всего — пятью разными словами. Читатель не мог понять, одно это понятие или пять.

Хуже всего, что одно из предложений отменяло различие, ради которого написана вся преамбула. В нём говорилось, что во многих предложениях возможны оба предлога и предлог показывает только, что говорящему важнее. Тремя предложениями ниже ученику предлагалось определить смысл по контексту, и если верно первое, то это задание невыполнимо.

Каждое такое место — фрагмент того, что часто пишут о предлогах. Сверить его модели было не с чем: главной мысли, которой подчинены все абзацы, у текста не было.

Почему брак не исправить заменой слов

Привычный способ исправить текст модели — указать на неудачное слово и попросить заменить его. На первом варианте преамбулы этот способ не сработал. В одном из её абзацев было условие, при котором верны оба предлога, и на мои указания модель трижды заменила в нём одно и то же место. Сначала условие звучало так: «Если контекст допускает оба понимания». «Оба понимания» — понимания чего, не сказано, а действие приписано контексту, хотя понимает человек. Модель заменила это на «Если по контексту нельзя определить, о чём думает говорящий», и английское think оказалось объяснено через русское «думать о» — через ту самую трудность, которую разбирает преамбула. Только в третий раз появилось «что имеет в виду говорящий», то есть слова, на которых держится тезис.

Каждый раз модель брала первое близкое по смыслу слово, и новое слово снова уводило от мысли текста. Возвращал её к этой мысли я, а самой модели сверить исправление было не с чем: тезис нигде не был записан. Поэтому исправлять такой текст нужно не от забракованного слова, а от тезиса.

Как тезис стал смысловой рамкой и перебил корпусный перехват

Лингвистическое обоснование было у модели ещё тогда, когда она писала первый вариант преамбулы. Но оно лежало в контексте наравне со всем остальным, и модель не сверяла с ним ни одного предложения. Смысловой рамкой, то есть тем, внутри чего строится каждое предложение, тезис стал только тогда, когда его записали явно, а каждое предложение преамбулы стали переписывать его словами: «говорящий имеет в виду», «сам предмет», «ситуация, связанная с предметом». Забракованное место больше не латалось новым словом. Оно переписывалось так, чтобы продолжать тезис.

Сильнее всего рамка понадобилась там, где модель уходила в корпус. При разборе заданий к упражнению она объявила обороты come to think of it и didn't think much of this film исключениями. Вместо анализа она назвала их «устойчивым сочетанием» и «лексикализованным значением», а два задания сочла неестественными по одному чутью. Это корпусный перехват: на место, где нужен анализ, модель ставит ярлык, который в корпусе чаще всего стоит рядом с такими случаями, и ярлык анализ подменяет.

Перехват я перебил так: заставил модель идти в обратную сторону — не от оборота к ярлыку, а от предлога к тому, что обозначает существительное. Нагляднее всего это на вводной паре преамбулы. В What do you think of my dress? «платье» обозначает само платье: девушка просит подругу его оценить. В What do you think about my dress? «платье» обозначает уже ситуацию, связанную с ним: идти ли в этом платье на свадьбу. С of существительное употреблено в прямом смысле, с about — метонимически: названием предмета названа ситуация вокруг него. Ярлыки «устойчивое сочетание» и «лексикализованное значение» модели после этого не понадобились: каждое употребление объясняется тем, что обозначает существительное после предлога.

Тезис стал и критерием для примеров. Придуманную пару из первого варианта модель заменила примерами из живой речи и искала их по тезису: одно и то же существительное с обоими предлогами. Так нашлась статья психолога о расставании, где рядом стоят It's okay to think of him sometimes и constantly thinking about him. В первом случае him — сам человек, о котором иногда вспоминаешь. Во втором him — всё, что с ним связано: отношения, разрыв, то, что было и могло бы быть. Этот разбор и найденные примеры записаны в базу знаний по think of / think about, чтобы в следующей работе по этой теме модель начинала с них, а не с корпуса.

Вывод: модель должна стать соавтором тезиса

Разбор одной преамбулы приводит к такому выводу. Клодизмы пяти классов практически не появляются, когда модель чётко центрируется на лингвистически корректном тезисе, например: of — маркер прямого смысла, about — маркер переносного, метонимического. Важно то, как модель к нему пришла. Тезис не навязан промптом пользователя: он стал результатом её собственного логического рассуждения, и выводы модель сделала сама.

Когда промпт давит, то есть предписывает тезис и запрещает от него отходить, модель упирается и саботирует всё, что не совпадает с содержанием её корпуса. Тезис, расходящийся с корпусом, она размывает или подменяет корпусной формулировкой. Клодизмы возвращаются: тезис формально в промпте есть, но модель с ним не сверяется.

Вот эти классы:

• частотная подстановка: на место забракованного слова модель ставит не первое близкое по смыслу, а термин тезиса;

• псевдообъяснение: вместо корпусных ярлыков «устойчивое сочетание» и «лексикализованное значение» модель восстанавливает по предлогу, что обозначает существительное;

• нарушение тема-рематической прогрессии: каждый абзац продолжает тезис, а не заполняет свою часть шаблона;

• вторичная ошибка правки: одно понятие во всём тексте называется одними и теми же словами тезиса, а не пятью разными;

• конфабуляция: примеры модель не придумывает под правило, а ищет в живой речи по тезису.

Отсюда главное условие. Нужен диалог пользователя и модели, в ходе которого модель сама убеждается в тезисе и становится его соавтором. Тезис, который модель только получила в промпте, остаётся для неё одним из текстов в контексте, и корпус его перевешивает. Тезис, к которому она пришла сама, становится смысловой рамкой, внутри которой строится каждое предложение.

Как вести диалог, чтобы модель стала соавтором тезиса

Лингвистическое обоснование я формулирую заранее, но для себя. Модели я даю не готовый тезис, а материал и вопросы к нему и добиваюсь, чтобы тезис модель вывела сама. Порядок такой:

1. Материал вместо тезиса. Модель получает пару, где одно и то же существительное стоит с обоими предлогами, например What do you think of my dress? и What do you think about my dress?, и вопрос: что обозначает существительное после of, а что после about?

2. Возврат к анализу. Если модель уходит в корпусные ярлыки — «устойчивое сочетание», «лексикализованное значение», — я не поправляю её готовым ответом, а возвращаю к направлению анализа: от предлога к тому, что обозначает существительное. Именно так модель перестала считать исключениями обороты, которые сначала объявила устойчивыми.

3. Формулировка модели. Тезис модель записывает своими словами, а я сверяю его со своим обоснованием. Если формулировка расходится с обоснованием, разбор продолжается на новом материале, пока расхождение не исчезнет.

4. Закрепление. Принятый тезис, разбор и найденные примеры записываются в базу знаний по теме. Текст модель пишет уже внутри этой рамки, и правка тоже идёт от неё.

Так тезис перестаёт быть для модели чужим текстом в контексте: она пришла к нему сама и сверяет с ним каждое предложение. О классах клодизмов, которые видны на уровне слова и фразы, — в третьей части.