Когда отключать рекламу в Telegram Ads без заявок и сколько данных нужно

Объявление потратило две тысячи рублей и не принесло заявок. Это уже повод остановиться или ещё обычная случайность? Ответ зависит от того, сколько было переходов, какую конверсию требует экономика и успели ли люди вообще оставить заявку.

В предыдущей статье я разбирал порог отключения через вероятность нулевого результата. Здесь разберу ограничения этого подхода. Самое опасное начинается после получения красивого числа, когда его превращают в автоматическое правило для любых кампаний.

Ниже расчётная модель, а не отчёт о новом эксперименте агентства. Все числовые примеры условные. Её задача состоит в том, чтобы связать бюджет проверки с ценой результата и показать, в каких местах рекламная практика расходится с простой формулой.

Ноль заявок бывает разным

До расчётов нужно отличить отсутствие заявок от отсутствия учёта. Если форма не отправляется или обращение не попадает в CRM, статистика рекламного объявления не поможет найти настоящую конверсию.

Проверяем весь путь одним контрольным действием. Открываем объявление или его целевую ссылку, проходим посадочную, отправляем контакт, смотрим запись в системе и уведомление менеджеру. Одновременно проверяем, что именно считается заявкой. Старт бота, нажатие кнопки и отправленный контакт могут быть разными событиями.

Затем смотрим на задержку. Для простой записи часть обращений может появляться быстро. Для сложной услуги человек способен вернуться через несколько дней. Если оценивать только сегодняшние клики и сегодняшние заявки, свежая аудитория будет выглядеть хуже уже созревшей.

Наконец, проверяем, были ли вообще переходы. Отсутствие показов, отсутствие кликов и отсутствие заявок после кликов требуют разных действий. Формула ниже относится только к последнему случаю и предполагает работоспособный учёт.

Начинаем с допустимой цены заявки

Обозначим среднюю стоимость клика (CPC) буквой c, а максимальную приемлемую стоимость заявки (целевой CPL) буквой L. Обе величины должны быть положительными и учитывать один и тот же состав расходов. Тогда минимальная конверсия из клика в заявку, которая нужна для такой экономики, равна c / L.

Допустим, клик стоит 20 рублей, а заявка должна обходиться не дороже 1 000 рублей. Требуемая конверсия составляет 2%. В среднем один результат на 50 переходов.

Но «в среднем» не означает, что пятидесятый человек обязательно оставит контакт. При постоянной вероятности 2% серия из 50 переходов без заявки вполне возможна. Её вероятность составляет примерно 36,4%.

Если c / L больше единицы, требуемая конверсия превышает 100%. При выбранных единицах учёта экономика недостижима даже в идеальном сценарии. Если отношение равно единице, модель ожидает заявку от каждого перехода. Эти крайние случаи стоит обработать отдельно, а не подставлять их в логарифм.

Само значение L тоже требует дисциплины. Нельзя поднимать допустимую цену после каждого неудачного дня, чтобы сохранить объявление. Если бизнес действительно пересмотрел экономику, это новое условие теста, которое нужно записать.

Что говорит вероятность нулевого результата

Пусть вероятность заявки на одном переходе равна p. Вероятность не получить её равна 1 − p. Для n независимых переходов с одинаковой вероятностью конверсии вероятность нуля заявок равна (1 − p)ⁿ.

Возьмём требуемые 2% и заранее выберем порог 5%. Ищем число переходов, при котором нулевой результат достаточно маловероятен, если конверсия действительно соответствует нашей цели.

Формула порога выглядит так.

n = округление вверх от ln(0,05) / ln(1 − p)

При p = 0,02 получается 149 переходов. Если цена клика остаётся 20 рублей, это около 2 980 рублей расхода.

Корректное прочтение результата следующее. При истинной конверсии 2% вероятность получить ноль заявок на заранее выбранных 149 независимых переходах составляет менее 5%. Это основание усомниться в соответствии выбранной цели.

Некорректное прочтение звучит иначе. «С вероятностью 95% объявление плохое». Формула не вычисляет вероятность качества объявления. И тем более не доказывает, что другой текст или другой период дадут тот же результат.

Рисунок 1. Расчётная модель. При 50 независимых переходах вероятность нуля составляет 36,4%, при 149 переходах около 4,93%. Это не вероятность того, что объявление плохое.

Почему предел расхода получается близким к трём ценам заявки

Для небольших p логарифм ln(1 − p) приближённо равен −p. Порог переходов тогда примерно равен 3 / p, поскольку −ln(0,05) близок к трём.

Если умножить это число на стоимость клика и подставить p = c / L, получится расход примерно 3L. Отсюда и появляется знакомый ориентир в три целевых стоимости результата. Он связан с конкретной моделью нулевых конверсий и выбранным уровнем 5%, а не с универсальным законом рекламного рынка.

Таблица расчётная. Она не означает, что каждому объявлению обязательно нужно выдать такой бюджет. Если бизнес не может позволить себе проверку на 12 тысяч рублей, статистика не обязывает его тратить эти деньги. Она показывает, насколько ограниченным будет вывод после более короткого теста.

Бюджетный предел и статистический порог решают разные задачи

Бюджетный предел отвечает на вопрос, сколько мы готовы потерять на гипотезе. Статистический порог отвечает на вопрос, насколько нулевой результат согласуется с выбранной минимальной конверсией в данной модели.

Допустим, на тест доступна тысяча рублей. При клике 20 рублей это 50 переходов. Заявок нет, и лимит исчерпан. Кампанию можно остановить по бюджету. Но нельзя описывать итог как статистическое доказательство конверсии ниже 2%. Для такого вывода в принятой схеме данных недостаточно.

В отчёте достаточно написать, что гипотеза не дала результата в пределах доступного бюджета. Это полезный управленческий вывод. Он не становится слабее от того, что мы не приклеили к нему число 95%.

Обратная ситуация тоже возможна. Данных достаточно для сомнения в первоначальной цели, но бизнес готов продолжить проверку другого предложения. Тогда нужно зафиксировать новую гипотезу и её отдельный лимит, а не молча продлевать старую.

Рисунок 2. Условный пример при клике 20 рублей и допустимой цене заявки 1000 рублей. Лимит расхода и статистический порог отвечают на разные вопросы.

Считаем только созревшие наблюдения

Представим, что объявление получило 150 переходов. Половина пришлась на последний час, а типичный путь до заявки занимает несколько дней. Формально число близко к порогу, но значительная часть людей ещё не получила одинакового времени на конверсию.

Рабочий вариант состоит в анализе когорт. Группируем пользователей по дате перехода и даём каждой группе заранее выбранное окно. Например, если по истории проекта для оценки принято семь дней, клики вчерашнего дня не сравниваем с кликами прошлой недели как завершённые наблюдения.

Семь дней здесь пример, а не рекомендация для всех ниш. Окно лучше определить по накопленным данным о задержке. Если истории нет, явно фиксируем предварительное правило и проверяем, сколько заявок приходит позже него.

Приостановка показа на время дозревания может быть разумнее продолжения расхода. Остановить выдачу новых показов не означает удалить кампанию и потерять возможность учесть поздний результат.

Независимые клики существуют прежде всего в модели

Один человек способен перейти несколько раз. Утром он читает с телефона, вечером возвращается с другого устройства. Если считать все переходы независимыми попытками, объём информации будет завышен.

Аудитория тоже неоднородна. В одном канале находятся люди с готовой потребностью, в другом приходят из любопытства. Объединение этих потоков в один p удобно для расчёта, но скрывает структуру теста.

По возможности работаем с сопоставимыми группами и уникальными пользователями, если их можно корректно выделить. Когда такой возможности нет, сохраняем ограничение в выводах. Нельзя получить строгую уверенность только за счёт точного округления неточных входных данных.

Изменение ставки, объявления или посадочной в середине теста тоже меняет условия. Первые сто переходов и следующие сто могут относиться к разным версиям гипотезы. Поэтому в журнале нужны даты существенных правок, а в отчёте отдельные срезы до и после них.

Один порог не даёт гарантии на весь кабинет

Порог 5% относится к выбранной проверке. Если бы каждая из двадцати независимых проверок имела ровно 5% вероятности ошибочного отклонения, вероятность хотя бы одной такой ошибки составила бы 1 − 0,95²⁰, примерно 64%. У дискретного биномиального критерия фактическая вероятность ошибки может быть ниже заявленного уровня. Это иллюстрация проблемы множественных проверок, а не оценка конкретной кампании.

В действительном кабинете объявления могут зависеть друг от друга через аудитории и аукцион, поэтому указанное число нельзя механически переносить в отчёт. Но сама проблема остаётся. Чем больше решений принимается по шумным данным, тем легче найти убедительную случайность.

При этом просмотр накопленного нуля каждый день до одного заранее зафиксированного порога не создаёт новой независимой проверки при каждом открытии отчёта. Ошибка возникает, когда меняются границы, события, периоды и правила отбора, а заявленный уровень уверенности остаётся прежним.

Для рабочего процесса полезно заранее фиксировать контрольную точку и правило решения. Если нужна формальная статистическая гарантия на множество тестов или сложная последовательная остановка, простой расчёт нуля уже недостаточен. Понадобится отдельный дизайн эксперимента.

Что меняется после первой заявки

Формула нулевого результата перестаёт быть подходящим правилом, когда заявка уже появилась. Обнулять счётчик после каждой конверсии и запускать тот же расчёт заново нельзя без изменения статистической задачи.

Дальше оцениваем конверсию, её неопределённость, стоимость и качество обращений. Одна дешёвая заявка тоже не делает объявление устойчивым победителем. Особенно если это дубль или человек, который не соответствует продукту.

Полезно разделять сырые и квалифицированные обращения. Если плановая цена относится к квалифицированной заявке, именно это событие должно стоять в знаменателе. Но у него может быть дополнительная задержка, пока менеджер выясняет задачу. Её тоже придётся учесть.

Правило решения для реальной кампании

Хороший порог отключения нужен не для того, чтобы уверенно нажимать кнопку на красивом числе. Он помогает заранее договориться о цене проверки и отличить недостаток данных от результата, который уже расходится с экономикой.

Иногда правильное решение будет остановиться раньше статистического порога. Иногда придётся подождать, хотя расход уже неприятен. Главное, чтобы причина оставалась видимой в отчёте. Тогда следующая кампания начнётся с накопленного знания, а не с нового круглого лимита, выбранного по настроению.

Как вы выбираете срок ожидания поздних заявок и лимит проверки гипотезы? Поделитесь в комментариях своим правилом и условиями, в которых оно работает. Особенно интересны ситуации, когда бюджетный предел наступает раньше статистического.