Пять уверенных выводов нейросети из неверно прочитанного интерфейса

Я отдал браузерному помощнику разбор двух рекламных кабинетов в Яндекс Директе. Ниша: продажи серверов и систем хранения данных корпоративным заказчикам, тендерные закупки, цикл сделки в месяцах, чек в миллионах. Работа заняла три дня в начале августа.

Про поломки самих кабинетов я писал в предыдущей статье. Здесь другой материал: пять раз я получил от нейросети уверенный вывод, построенный на неверно прочитанном интерфейсе. Ни один из пяти не был ошибкой рассуждения. Логика в каждом случае чистая, аргументация связная, тон ровный.

Ниже: как выглядят такие ошибки, чем они опасны и по какому признаку я их ловил.

Цифры округлены и обезличены: ниша узкая, игроков мало, по точным данным компанию вычисляют за пару минут. Соотношения между цифрами сохранены.

Как выглядел доступ

Первый вопрос, который здесь возникает: что значит «дать доступ нейросети». Всё скучнее, чем можно подумать.

Логины, пароли и токены я не передавал. Официальный программный интерфейс (API) Директа не подключён вовсе. Модель работает в браузере на моей машине, где уже открыта моя авторизованная сессия, и кликает в том же интерфейсе, в котором кликал бы я. Вся связка сводится к разрешённой сессии.

Ограничения ровно там же, где у человека. Страница авторизации для браузерных инструментов закрыта, обойти это нельзя. Оба кабинета живут под одним логином, но в разных организациях. Переключаться между ними надо через аватар в правом верхнем углу, пункт «Сменить аккаунт» для этого не годится. На выяснение этой мелочи ушло время.

Отсюда следует главное для всей статьи. Модель видит ровно то, что отрисовал интерфейс: изображение данных на экране, самих данных у неё нет.

Пять ошибок

Первая. Приняла колонку «Конверсии» за заявки. В одной из кампаний за тридцать дней числилось десять конверсий, и вывод строился на них как на десяти обращениях. Девять из десяти относились к цели «Клик по номеру телефона»: случайные касания по кликабельному номеру на мобильной вёрстке. Это выяснилось только при разборе по конкретным целям, на шаг глубже, чем показывает сводка.

Вторая, прямое следствие первой. Из «конверсий много, и они мобильные» родился вывод: мобильный трафик в рекламных сетях Яндекса хорошо конвертит, площадка с низкой стоимостью конверсии выгодна, туда надо перекладывать бюджет. Логика безупречная, основание мусорное. Так ошибка в чтении одной колонки превращается в план перераспределения бюджета.

Третья. Не раскрыла свёрнутый список. Составляя план расширения семантики, модель исходила из того, что три товарные группы почти пустые, по пять фраз в каждой. Интерфейс Директа сворачивает список ключевых фраз на первых пяти строках и прячет остальное за кнопкой «Ещё N фраз». Кнопку она не нажала. В группах было по девяносто с лишним фраз, план писался под несуществующую проблему.

Четвёртая. Съехала колонка при чтении отчёта. В плане фигурировала сумма около четырнадцати тысяч рублей в неделю, слитая якобы на широкое соответствие по одному ключу. Под такую цифру принимают решение. При повторной проверке реальный расход оказался чуть больше двухсот рублей за тридцать дней. Если сравнить цифры как есть, без поправки на разницу периодов, расхождение больше чем в шестьдесят раз. Причина: смещение колонок при чтении таблицы.

Пятая. Ложная тревога. Гипотеза, что рабочие ключи одной из групп кто-то случайно удалил между аудитами. Проверили, всё на месте, ничего не удалялось.

Почему это опаснее, чем ошибка в рассуждении

Ошибка рассуждения ловится на разборе логики: видно, где вывод не следует из посылок. Здесь разбирать нечего. Посылка ложная, остальное построено правильно, и текст выглядит убедительнее осторожного разбора с оговорками.

Верные находки и ошибочные выводы пришли ко мне одним текстом, в одном тоне, с одинаковой плотностью аргументов. Сигнала «здесь я уверена, а здесь достраиваю» не было. Человек, который в кабинете не сидел, отличить одно от другого не может в принципе и согласится с обоими.

Модель при этом не упиралась. На встречный вопрос она пересчитывала честно: находила основание ошибки, признавала вывод неверным, переписывала направление. Но сама, без вопроса, ни разу не сказала «данных мало» и ни разу не усомнилась в цифре, которую только что прочитала.

По какому признаку я их отсекал

Отсекал по несоответствию тому, как ведёт себя рынок. Вывод «мобильные сети хорошо конвертят» противоречил тому, что я знаю об этой нише: закупка на миллионы не оформляется случайным касанием по кликабельному номеру. Дальше я возвращал модели вводные и просил пересчитать.

За человеком остаётся список из четырёх пунктов. Их объединяет одно: этих данных в кабинете нет.

• какое событие в этом бизнесе считается заявкой (клик по номеру телефона в Метрике числится целью, обращением он не является, и нигде это не записано);

• сколько компания готова платить за такую заявку, исходя из своей маржи и длины цикла сделки;

• по какому порогу цифра перестаёт быть совпадением;

• какие цифры в этой нише правдоподобны, а какие нет, как бы убедительно они ни выглядели в отчёте.

Что из этого пошло в работу

После правок собран ежедневный разбор обоих кабинетов с отправкой сводки в рабочий чат по расписанию. Каждый день в полдень приходит то, на что раньше уходил час ручной сверки.

Из разбора следуют два правила.

Права на изменение кабинета у автоматики быть не должно. Она готовит список правок, применяет человек. Аргумент дал сам разбор: ручной прогон упал с ошибкой авторизации посреди работы с минус-словами. К Директу это отношения не имело, отвалилось обращение к модели, но представить то же самое посреди пакетного применения правок несложно.

Суммы и количества в выводе стоит сверять с исходной таблицей. Проверять стоит именно числа: они приходят из таблицы, и ровно на таблицах ломается чтение. Ошибка с четырнадцатью тысячами нашлась таким способом, повторной проверкой по отчёту.

Гипотеза, с которой можно спорить

Моя гипотеза: браузерный помощник, читающий интерфейс глазами, ошибается там, где не ждёшь, и более сильная модель это вряд ли лечит. Свёрнутый список останется свёрнутым, съехавшая колонка съедет так же. Помочь могут две вещи: доступ к самим данным вместо их изображения на экране и человек, который знает про нишу то, чего в отчёте нет.

Из этого следует неприятное для профессии. Инструментальная часть работы специалиста по рекламе дешевеет: собрать кампанию, вычитать площадки, свести отчёт. Ценность остаётся за тем, кто отвечает за решение, куда вести бюджет, и умеет сказать машине «нет» с объяснением. Мне такое «нет» понадобилось, когда в плане стояла сумма в четырнадцать тысяч рублей в неделю, которой в кабинете не было. Я почти согласился.