У ИИ есть знания, у человека — контекст

TL;DR. Текст всё чаще доходит до читателя через два преобразователя: ИИ, с которым пишет автор, и ИИ, который делает выжимку для читателя. В КИПиА такая конструкция называется измерительным каналом, и у неё есть известное свойство: погрешности звеньев складываются, а проверять нужно канал целиком. Знание ИИ передаёт через канал хорошо. Контекст — нет. Ниже разбираю, какой именно контекст теряется, почему ошибка модели, общая для всех её читателей, опаснее обычного непонимания и как поверять такой канал автору и читателю.

Два преобразователя между автором и читателем

Ещё недавно текст шёл от автора к читателю почти напрямую. Автор писал, читатель читал. Понимали по-разному, но читали одно и то же.

Сейчас между ними всё чаще стоят два преобразователя. Первый — на стороне автора: ИИ помогает собрать черновик, подобрать формулировки, сократить. Второй — на стороне читателя: ИИ пересказывает длинный текст, фильтрует ленту, выдаёт выжимку под интересы конкретного человека. Исходный текст видят всё реже.

Сама мысль, что тексты теперь проходят через ИИ с обеих сторон, не нова. Я не считаю это ни катастрофой, ни прогрессом. Это просто новая схема передачи сигнала. А схемы передачи сигнала — то, с чем я работаю 18 лет в КИПиА, и мой вклад здесь — взгляд на неё глазами метролога.

Как устроен измерительный канал

На производстве оператор почти никогда не видит физическую величину напрямую. Давление в трубе проходит путь:

1. Датчик превращает давление в электрический сигнал.

2. Нормирующий преобразователь приводит сигнал к стандартному виду.

3. Линия связи передаёт его на контроллер.

4. Контроллер пересчитывает сигнал в единицы давления.

5. Экран показывает оператору число.

Каждое звено вносит свою погрешность, и они накапливаются. Поэтому в метрологии есть два способа проверить такую систему: поэлементно, когда отдельно поверяют каждое звено, и комплектно, когда поверяют канал целиком — от входа датчика до числа на экране. Второй способ ловит то, что пропускает первый: влияние линии, помехи, ошибку в пересчёте единиц.

И ещё одно правило, которое кажется бюрократией. Результат измерения — это не просто число. Это значение, единица, погрешность и условия, в которых его получили. «Двадцать градусов» без условий ничего не значит: в цехе это норма, в печи — авария.

Знание проходит через канал, контекст — нет

У текста теперь такой же канал: мысль автора → преобразователь автора → текст → преобразователь читателя → выжимка. И здесь работает то же правило. Значение без условий измерения бессмысленно, а ИИ лучше всего передаёт именно значение.

У модели огромный запас знаний. Предмет она часто знает лучше автора. Но знание — это значение. Условия, в которых оно что-то значит, приносит человек. И есть три вида контекста, которые через канал почти не проходят.

Невысказанный контекст. То, что вы знаете, но не догадываетесь сказать: кто ваша аудитория, что в этом обсуждении уже прозвучало, о чём здесь не принято говорить, что специалисты считают общеизвестным. Модель не спросит, потому что не знает, что этого не знает.

Контекст последствий. Чем рискуете вы, а не модель. Репутация, отношения с клиентом, карма на площадке. Модель одинаково спокойно пишет текст, за который вас похвалят, и текст, за который вас разнесут.

Меняющийся контекст. То, что произошло после того, как вы поставили задачу. Новый комментарий в ветке, свежая новость, изменившееся настроение аудитории.

Возражение очевидное: контекст можно передать в промпте. Можно, если вы его осознаёте. Проблема в том, что первые два вида контекста обычно не осознаются, пока что-то не пойдёт не так.

Погрешность, общая для всех читателей

Люди и без ИИ понимают один текст по-разному. Можно сказать: ну и что изменилось? Изменился характер погрешности.

У каждого человека есть свои устойчивые искажения восприятия — психология называет их когнитивными. Но у разных людей они разные. Сто читателей ошибаются в сто разных сторон, и в обсуждении правильный смысл обычно проступает.

Если же многие читают через одну и ту же модель, её склонности одинаковы для всех. В метрологии это называется коррелированной погрешностью: она общая для многих каналов и при усреднении не уменьшается. Сколько ни сравнивай пересказы, сделанные одним инструментом, общий для них сдвиг не виден.

В цехе это выглядит так: если десять термометров поверили по одному и тому же эталону, который сам врёт на полградуса, все десять покажут на полградуса больше. Сравнивая их друг с другом, ошибку не найти — они согласны. Найти её можно, только сверившись с другим, независимым эталоном.

Персональная настройка добавляет ещё один слой. Под каждого читателя фильтр, по самой логике персонализации, сдвигает смысл в свою сторону — скорее всего, к уже знакомым этому человеку темам и взглядам. Это моя гипотеза, но механизм её подсказывает. Сам читатель сдвига не видит: выжимка выглядит гладкой и логичной. Эталон здесь — исходный текст. Вопрос только в том, когда его последний раз открывали.

Случай из практики

Недавно я оставил комментарий в обсуждении из чужой для меня области. Черновик помог собрать ИИ. Аналогия в нём была красивой. Комментарий ушёл в минус.

Разбор показал двойную ошибку. Первая — в знаниях: одно из утверждений для этой области оказалось неточным, специалисты знают предмет глубже, чем следовало из комментария. Вторая — в контексте: ИИ не знал обсуждения — что уже сказали выше, что здесь давно считают общеизвестным, насколько строго относятся к аналогиям со стороны.

Вторая ошибка сделала первую незаметной. Зная контекст площадки, я бы засомневался в утверждении до публикации. Это и есть невысказанный контекст — тот, который я сам не передал, потому что не осознавал его.

Комментарии в моей области, собранные тем же способом, прошли нормально. Там контекст был у меня: я сразу видел, что в черновике неточно и что аудитории уже известно. Один случай — не эксперимент, а иллюстрация. Но она показывает главное: без контекста автор не может поверить даже знания.

В этом канале было звено поверки — я сам перед публикацией. В тот раз оно не сработало: в чужой области моих знаний не хватило, чтобы заметить неточность, а контекст площадки я не проверил.

Поверка канала

Если канал теперь из двух преобразователей, поверять его нужно с обеих сторон. Вот процедура, которой я пользуюсь сам.

Ничего сложного здесь нет. Это та же логика, что в цеху: каждое звено поверено, канал целиком поверен, у результата есть условия, в которых он получен.

Что говорит против

Контекст можно передать в задании. Да, и это главное лекарство. Но передать можно только тот контекст, который осознаёшь. Самые дорогие ошибки происходят из контекста, о котором не подумал.

Люди и без ИИ искажают смысл. Тоже правда. Пересказы, цитаты вне контекста, заголовки — всё это существовало задолго до моделей. Разница, на мой взгляд, в масштабе и в характере ошибки: искажения разных людей разные, а у читателей одной модели — общие.

Метафора неточна. У звеньев измерительного канала есть паспортная погрешность. У ИИ-пересказчика паспорта нет, а поведение меняется от версии к версии. Поэтому аналогия объясняет, почему ошибки накапливаются, но не позволяет их рассчитать. Зато в метрологии есть ответ и на это: средства без паспорта характеризуют опытным путём, на эталонных образцах. Для текста эталон — исходник.

Выжимки экономят время. Безусловно, и отказываться от них незачем. Прибор тоже экономит время по сравнению с ручным измерением. Но прибором пользуются вместе с поверкой, а не вместо неё.

Модели становятся лучше. Становятся. Знаний у них будет больше, окно контекста шире. Но невысказанный контекст и контекст последствий остаются у человека, пока он сам их не передаст. Улучшение модели не передаёт ей то, что человек не сказал.

Вместо заключения

У ИИ есть знания, у человека есть контекст. Знание — это значение. Контекст — условия, в которых это значение что-то значит. Измерение без условий в метрологии не принимают. Текст без контекста теперь проходит через два преобразователя и доходит до читателя гладким, уверенным и сдвинутым.

Путь, по которому смысл доходит до читателя, уже изменился, и вернуть прямую передачу вряд ли получится. Сам смысл в этом пути может сдвинуться — поэтому сам путь и нужно поверять с обеих сторон — и всегда сверкой с исходником: общий для всех сдвиг сравнением пересказов между собой не поймать.

А как вы проверяете то, что ИИ пишет за вас или пересказывает вам? Был ли случай, когда выжимка оказалась гладкой, но смысл в ней сдвинулся?