[Перевод] Как разработчики реагируют на статьи с привкусом ИИ

98% читателей предпочитают несовершенные, но аутентичные тексты, написанные человеком. При подозрении на ИИ-составляющую в вашем тексте вас, как правило, перестанут читать, заблокируют и дизлайкнут

 “Вау, видимо, нейронка Claude только что дописала новый пост в блоге… прямо не терпится его прочитать! ”
– Фраза, которую никогда не произнесёт ни один разработчик

В отчёте Writing with LLMs было исследовано, как разработчики — многие из которых никогда ранее не публиковались — в настоящее время пишут статьи в технических блогах, прибегая к помощи больших языковых моделей. Обосновывая, зачем так делать, чаще всего указывали следующие причины: преодолеть страх чистого листа, публиковаться чаще, экономить время. (Потенциально) это может помочь пишущему. Но что насчёт читателя?

Работая над этим отчётом, я задумался, как именно поступают читатели, заподозрив, что очередная статья целиком написана большой языковой моделью или с активным её участием. Может быть, зажимают нос и читают дальше, полагая, что человеческие идеи в статье всё-таки присутствуют? Блокируют домен и стараются потопить эту статью на агрегаторах? Что-то среднее? Причём, более ли снисходительно относятся к такому контенту в случае, когда текст написан автором, который попросту не владеет английским как родным, поэтому при помощи LLM попытался «отшлифовать стиль»?

Так что я выполнил другой опрос, которым поделился в X, Bluesky и LinkedIn. Многие пользователи живо откликнулись на эту тему: я получил 668 ответов (против 181 ответа на первый опрос о написании текстов). Обратите внимание: пусть опрос и был нацелен на программистов и читателей технических блогов, он был анонимным — поэтому демографических гарантий дать не могу.

TL;DR читатели действительно воротят нос от статей, которые выглядят как скомпонованные ИИ, и не доверяют им. Не только бросают читать, но и блокируют автора, а также пытаются его проучить. Родной ли английский язык у пишущего — большой роли не играет. В подавляющем большинстве аудитория предпочитает ИИ-прозе несовершенные, но аутентичные подлинно авторские тексты.

Читателям не всё равно, и за ИИ-слоп они оттопчутся по вам как смогут

Первый вопрос формулировался так: «Насколько для вас важно, что данная статья могла быть частично или полностью написана с привлечением искусственного интеллекта?». Оказывается, очень важно. Вот, что сообщили опрошенные:

 85% опрошенных оценили обеспокоенность этим фактом на 5 из 5, а 11% — на 4.

Как эта обеспокоенность проявляется на практике? Далее следовал вопрос: «Как вы отреагируете, если сочтёте, что статья частично или полностью написана с привлечением искусственного интеллекта?» Это был вопрос на множественный выбор. Результаты:

Таким образом, если читатели сочтут, что ваша статья целиком или частично написана с применением ИИ, то большинство либо сразу уйдут (78%), либо станут вас избегать (71%), либо постараются вас дизлайкнуть, если смогут (57%). 17% попытаются дочитать, но уже без интереса, а около 15% продолжат читать лишь при условии, что выводы из текста покажутся им подлинно человеческими.

Здесь мы подходим к интересному моменту. Оказывается, техническая статья в блоге может восприниматься как частично или полностью написанная с привлечением искусственного интеллекта сразу по множеству групп признаков:

• Человек, не вполне владеющий языком оригинала (например, английским), пишет полный черновик, затем передаёт его LLM и приказывает: «отшлифуй мой английский»

• Писатель-новичок, не умеющий начать, собирает свои заметки, голосовые сообщения, пул-реквесты и пр., после чего просит LLM «собрать из этого техническую статью для блога».

• Начинающий инфлюэнсер, стремящийся привлечь внимание аудитории, просит LLM написать статью на какую-нибудь горячую тему и публикует её ответ.

Всё это может давать на выходе одни и те же узнаваемые литературные тропы LLM, хотя, определённо, все созданные таким образом тексты содержат разный умственный вклад автора. Но читатели обычно солидарны в своих реакциях: они инстинктивно отвергают такие статьи.

Важен ли уровень владения английским?

Здесь мы подходим ко второй части опроса, в которой рассматривается, важен ли уровень владения языком статьи со стороны автора (в нашем случае речь об английском)

Отнесутся ли читатели к статье более снисходительно, зная, что английский — не родной для автора, и тот выражает свои мысли, но применяет ИИ для перевода или языковой помощи?

Нет, и здесь пощады мало — лишь 23% опрошенных в таком случае отреагировали бы иначе. Всё-таки, если вы используете в этих целях ИИ/LLM, то можете открыто указать это в вашей статье. Может быть, в таком случае часть читателей не закроет её сразу же как откровенный ИИ-шлак.

Наконец, последним в этой части шёл вопрос о том, готов ли человек почитать текст, действительно написанный этим автором — пусть и не с самыми гладкими формулировками, с грамматическими ляпами и другими недостатками. Либо предпочтут версию, отшлифованную LLM.

98% предпочли реальный текст от автора, как есть. Поэтому, уважаемые авторы, не позволяйте LLM опреснять ваш текст. Люди охотнее послушают ваши собственные слова, чем перенесут мертвецки бездушный рерайт от ИИ.

Вы могли бы создать Claude Skill, который прогнал бы один раунд лёгкого редактирования, пересмотрел самые неуклюжие выражения, приблизив их к вашему истинному стилю и проставив грамматику как в учебнике? Если немного поработать — возможно.² Если бы статью отредактировал человек, то получилась бы она лучше или хуже? Полностью зависит от редактора. Причём, в обоих случаях успех, в конечном счёте, зависит от того, насколько тщательно вы проработаете каждую из предложенных правок.

Посоветую вам, хоть вы меня об этом и не просили: сосредоточьтесь на ясности, а не на «совершенстве». Если вы делитесь интересными мыслями, а ваша целевая аудитория в состоянии понять, что именно вы стараетесь сообщить, то небольшие шероховатости, скорее всего, не проблема. Живой человеческий голос может получиться более удобочитаемым, чем полностью предсказуемая проза от LLM. Причём — если только вы не противник работы с LLM – позвольте им поработать над вашим стилем.³ Спросите, какие тезисы неясны и почему, предложите машине на рецензию ваши собственные правки, убедитесь при помощи машины, что действительно доходчиво донесли ваши ключевые пункты, т.д.⁴

А теперь (кое-что)из комментариев

В завершение статьи рассмотрим некоторые комментарии респондентов. Дадим им слово…

О тоне

“Самое важное свойство, стимулирующее меня его дочитать — это когда в нём слышен голос автора. Это и есть чисто человеческая часть текста, этим он и ценен. Меня не смущает использование ИИ при написании и шлифовке текста, если за текстом сохраняется человек, которого мне удаётся слышать.”

“Думаю, ценность блога неотделима от блогера. Меня интересует этот опыт и его социальная составляющая, а не только контент как таковой.”

“Половина моей мотивации в том, чтобы что-либо прочитать — услышать голос автора, найти авторов, которым ты доверяешь, и которых ценишь как за проделанную работу, так и за оттенки стиля. ИИ всё выравнивает до однотонной бесхарактерной каши. Я предпочёл бы неидеальный текст, действительно написанный человеком, «совершенному» тексту («совершенных» текстов всё равно не бывает), выплюнутому ботом.”

“Читая статью, я хочу прочесть рассказ автора о его мыслях, изложенный его собственными словами. Нюансы выражения смысла помогают мне лучше понять, кто же этот автор, откуда он. Так проще почувствовать связь с автором.”

“Это как автотюн... в кино обычно автоматически регулируют голос тем, кто умеет петь, и, как по мне, лучше бы они не пели… пусть поют не лучшим образом, а иначе я перестану их чувствовать, уважать, доверять им… с чтением то же самое.”

“Верь своему голосу. Удовлетворись своей личностью. Знаю, это сложно, особенно в молодости, но учитесь преодолевать синдром самозванца, или так с ним и останетесь. Пройдясь по вашей работе, искусственный интеллект просто сотрёт вас из неё. Ваш опыт и характерные особенности будут похоронены под слоем безликих красивостей и пресных «норм» социальной уравниловки».

О доверии

“Малейшие признаки ИИ-генерации в тексте подрывают доверие ко всей статье, поскольку выдают, что писавший её человек, пожалуй, не владеет предметом, поэтому мог пропустить фактические ошибки.”

“У меня проблемы с чтением такой прозы, причём, связанные не с её (не)совершенством, а с тем, что вся ИИ-шная выдача звучит как чушь от бизнес-инфлюэнсера с LinkedIn, то есть, прямо противоположна реальному техническому опыту. Я сразу же подозреваю, что автор торгует тем, в чём не разбирается, либо что просто не в состоянии сообщить ничего оригинального.”

“Как можно доверять чьему-то мнению (в особенности) по технологическому вопросу, если человек отдаёт мышление на аутсорс алгоритму?”

“На практике самый живой и запоминающийся отклик возникает, когда я чувствую себя обманутым — что мне солгали. Я ожидал познакомиться с экспертными знаниями или аутентичное мнение, а меня поливают серой патокой. Усредненным общим мнением. Без полутонов.”

“Когда текст не аутентичен, как я могу верить, что аутентичен контент?”

О тех, для кого английский – не родной

“У меня английский – не родной, поэтому я очень хорошо это чувствую. И знаю, насколько дорого может обходиться перевод, когда весь мир готов уделить внимание тексту лишь при условии, что он написан по-английски. Но ИИ при переводе слишком напорист, поэтому заглушает ваш голос, а именно ваши мысли вы хотели донести. Я лучше почитал бы плохо переведенный текст от автора, где слышан его голос, чем сгенерированную ИИ кашу, которая воспринимается как рандомный пост из твиттера от нонейма, который просто хотел покричать.”

“Я замечаю, что текст сгенерирован ИИ, когда видно, что на много текста очень мало смысла. Искусственный интеллект ещё сильнее выдаётся за счёт таких вещей, как многократное повторение броских тезисов, читателю это на пользу не идёт. Вряд ли ИИ-перевод модно приравнять к тому, что мог бы сказать человек, если бы говорил по-английски.”

“Сложно. Я вижу, как на Reddit разворачивается обсуждение этой самой темы: как кто-то пытался общаться со всеми через ИИ, и людей это БЕСИТ. Он оправдывался тем, что у него «плохой английский», но ему все доказывали, что лучше плохой английский, чем бездушный текст.”

“На последней работе приходилось иметь дело с коллегами, у которых английский — не родной, и, скажу вам, была огромная разница между восприятием текста от них, который был, соответственно, переведён через Гугл Транслейт и сгенерирован Клодом. В первом случае получались предложения хотя бы с проблесками смысла, нужно было немного поспрашивать автора, чтобы вычленить, что он имел в виду. С другой стороны, текст, выданный Claude или Gemini, получался строго структурированным и, в принципе, читался легче, но в целом был пуст.”

Об избегании

“Я бросил читать несколько рассылок и блогов, так как авторы оставили вместо контента сплошной ИИ-шлак. Причём, это были состоявшиеся авторы, определённо умеющие писать, но не заботящиеся о поддержании ремесла. Я из-за этого выгораю.”

“Если речь о блоге/новостном сайте, я бросаю его в чёрный список и исключаю из поисковой выдачи, для этого есть браузерное расширение uBlacklist.”

“Я не поленюсь отдельно указать людям, которых я знаю, что в этом источнике используется LLM, и порекомендую, чтобы они также избегали этого автора.”

“Недавно довелось рассказать одному автору, на которого я подписан, что его последний пост в блоге написан ИИ. Конечно, неудобно было указывать автору: «эй, знаете, могу доказать, что вы это написали с использованием ИИ», ведь в принципе мне нравится стиль этого автора, когда он пишет сам… но я считаю, что такие вещи говорить подло, так что я просто ничего не говорю.”

“Лично я почти сразу ухожу по ближайшей ссылке. Редко дочитываю такой пост, можно сказать, что никогда. Подмечаю, что это за автор, отписываюсь от него в RSS-лентах и прекращаю читать его контент. Может показаться, что это резко, но, если автор уже пишет свои посты с применением ИИ, то, вероятно, продолжит так делать.”

“Искоренить и засолить землю, на которой это проросло”

Кроме того, много откровенно ругательных комментариев об ИИ. Вас услышали.

1 Спасибо Филу Итону за то, что поделился этой идеей!

2 Некоторые авторы прививают LLM собственный стиль и вполне довольны результатом. Думаю, имитацию стиля можно улучшить, прописав руководящие и ограничительные свойства, но я не фанат такого аутсорсинга статей, которые потом выдаются за «собственные». В этом отчёте подробнее разобрано, почему другие любят/терпеть не могут писать технические статьи с применением LLM.

3 Винсент Бернат рассказал в своей статье о том, как пользуется LLM для ревью и хирургического редактирования. Она называется Как писать блоги при помощи LLM на неродном языке.

4 Бесстыдная самореклама: Об том (гораздо) подробнее рассказано в книге Writing for Developers. Можете её посмотреть, если хотите писать более убедительные технические тексты.