Хабр проиграл войну с нейрослопом

3 месяца назад на Хабре поменялись правила. В них добавился запрет на размещение текстов, написанных или отредактированных с помощью нейросетей (4 пункт правил). У меня нетерпимость к ИИ слопу, и я был рад добавлению этого правила.

Но нельзя просто добавить правило. Нужно ещё сделать так, чтобы люди ему следовали. Если нет автоматизированной проверки статей на ИИ слоп, то люди продолжат его публиковать.

В этой статье я буду приводить результаты проверки из ИИ детектора GPTZero. Я никак не связан с этим проектом и не рекламирую его. Меня просто устраивает качество его проверки.

Я проверил детектор с похожим названием ZeroGPT. Еще проверил Yandex Neurodetector и GigaCheck. Они даже для полностью сгенерированных ИИ статей выдают результат, что они на 100% написаны человеком.

Я открыл раздел постов на хабре, отсортировал по лучшим за неделю. Конечно же в топе находились посты от компании AvitoTech, в каждом посте по 30 плюсов. Накрутка рейтинга в корпоративных блогах это отдельная история.

Проверил 5 постов, в которых больше 100 слов, процент AI по каждому посту: 100%, 48%, 98%, 99%, 98%.

Все эти посты были созданы после нововведений в правилах хабра. Они явно нарушают запрет на нейрослоп. Но, возможно, правила хабра это для кого надо правила, и для корпоративных блогов они не применяются.

Открыл статьи этой компании, проверил 3 самые свежие статьи, процент ИИ слопа: 70%, 0%, 6%.

Результат не такой впечатляющий. Я перешёл в профиль автора с 70% слопом. Оказывается, это его первая статья. Ни компания, ни хабр не проверили его статью. Просто позволили публиковаться в общую ленту хабра.

Для справедливости, я проверил 3 поста из лучших за месяц от компании RUVDS, в них было 0% ИИ.

Ладно, тогда надо проверить и посты компании Timeweb Cloud. Количество ИИ в 3 постах: 99%, 92%, 98%.

Но обсуждать посты не так интересно, ведь их почти никто не читает. Нам интересны статьи и комментарии.

В разделе "Читают сейчас" на первой позиции была статья "PostgreSQL умер, да здравствует… PostgreSQL?". Меня заинтересовало название, перешёл, и с первых абзацев понял, что это нейрослоп. В комментариях люди также написали о том, что это нейрослоп.

Комментарий от модератора хабра:

Как оказалось, проверку они проводили с помощью Yandex Neurodetector и GigaCheck.

Я отправил текст в гигачек. Результат, как всегда, одинаковый:

Этот же текст отправил в детектор яндекса:

А вот у GPTZero мнение, что статья на 100% написана с помощью ИИ:

Вот еще одна статья, написанная с помощью ИИ: "EvertyDesk: я отдаю то, на что ушли годы".

В комментариях люди также написали, что это нейрослоп. Комментарии собрали более 50 плюсов. Люди либо выражают недовольство, либо соглашаются с этим недовольством. Кстати, у неё примерно такой же рейтинг, как и у предыдущей статьи. Удивительное совпадение.

И, вы не поверите, даже GigaChek определил статью как ИИ слоп:

После моего первого поста об ИИ спаме в комментариях на хабре мне дали возможность отправлять жалобы на статьи и комментарии. Я отправил жалобу на эту статью месяц назад. Затем я создал пост об этой статье. Модерация хабра никак не отреагировала на это.

Вернёмся к статье про PostgreSQL.

Увидел там такой комментарий:

Иронично, наверное, что в ИИ статье оставили ИИ комментарий.

Я перешёл в его профиль, открыл комментарии. Все они состоят из нейрослопа, примерно в одном стиле.

Он опубликовал 12 статей за последние 20 дней. Каждая статья на 100% написана ИИ.

В некоторых его статьях даже по заголовкам можно определить, что это ИИ слоп:

Внутренний вебхук исполнял любой SQL под суперюзером. Без пароля, без токена, без единого заголовка

Робот написал одному человеку пять раз. Виноват оказался знак доллара

Локальный путь в image_input съел четыре слота подряд

Уборщик резервов кадров жил по таймеру в 15 минут. Генерация укладывалась в 16

Люди не всегда могут понять, что это ИИ слоп, и оставляют комментарии под статьями. На эти комментарии отвечает ИИ. И люди снова читают нейрослоп уже в комментариях.

А знаете, как он получил инвайт на хабр? Через песочницу. Модераторы хабра проверили его первую статью и одобрили её. Хотя она на 100% написана нейросетью.

Так что же делать хабру?

Модераторы не хотят удалять статьи, которые по мнению некоторых людей написаны нейросетью. Потому что мнение этих некоторых людей может быть ошибочным.

Они используют детекторы GigaCheck и Yandex Neurodetector, потому что они бесплатные. А использование платных хороших детекторов скорее всего не входит в их бюджет.

По этой причине нельзя написать скрипт, который бы проверял каждую статью, каждый пост и комментарий в детекторах. Учитывая количество контента на хабре, это будет стоить сотни долларов в месяц.

Давайте предположим, что они найдут такую крупную сумму денег. Тогда можно у каждой статьи добавить иконку возле названия, которая будет показывать, насколько процентов статья состоит из ИИ слопа. А пользователи могли бы фильтровать ленту, чтобы эти статьи не показывались.

Но как давно вы видели новый функционал на хабре? Даже если будут деньги на ИИ детекторы и будет желание сделать такой функционал, он либо появится не скоро, либо вообще не появится.