Измерить без АБ: эффект от наружной рекламы

Расскажу об оценке наружной рекламы ипотеки в банке, когда простое сравнение «до и после» не подходит, и нужно привлекать аппарат математической статистики

Привет, меня зовут Николай Лыков, и я занимаюсь маркетинговой и продуктовой аналитикой в банках Топ-10. В этой статье я хочу поделиться практическим опытом, который может быть полезен другим аналитикам.

Как всё начиналось

В тот, как всегда, напряженный, день ко мне пришли заказчики из Маркетинга и говорят, что запустили внешнюю рекламу. Щиты находятся в нужных местах, проходимость, а значит, и охват, хорошие. А теперь нужно посчитать эффект. И о‑о‑о‑чень желательно быстро, за 1–2 дня.

Сравнение до и после

Что у меня есть? Данных по заявкам из хранилища: дата обращения, город, отделение, канал обращения. А ещё — план рекламной кампании.

Мне нужно сравнить фактические показатели с альтернативой, сколько обращений было бы без активности Маркетинга.

Я быстро перебираю в голове варианты. Реклама наружная, значит, стандартная платформа А/Б экспериментов здесь явно не подойдёт. Договоры на рекламу подписаны, поэтому применить switch‑back также не получится, ведь тогда нужно будет чередовать недели с рекламой и без неё.

Николай Сергеевич, сказал я себе, а что ты скажешь насчёт сравнения временных периодов?

Здесь и далее я, чтобы не раскрывать детали, привёл реальные показатели к другому масштабу и на примере одного из городов с рекламой

Посмотрел в хранилище. За две недели до кампании в рекламных городах банк получил 400 заявок по ипотеке, а за две недели кампании — 520. Разница составляет 120 обращений, или +30%.

Сможем считать это нужным эффектом? Конечно же, нет. Эти +30% могли получиться без рекламных щитов. Кроме того, ипотека — это продукт с длинным циклом принятия решения: от первой идеи до выдачи может пройти 1 — 1,5 года. Человек увидел рекламу сегодня, открыл сайт с условиями через неделю, а пришёл в отделение вообще через месяц.

А ещё вспомнил про помесячную статистику за год — сезонность достаточно ярко выражена, также многое зависит от общих лимитов для банков по льготной ипотеки.

Применяем прикладную математику

Начинаю вспоминать, чему учили в университете, что рассказывали на конференциях, уточняю материалы в чат‑ботах.

Выяснил, что для моего случая хорошо работает метод Diff‑n‑diff.

Перед запуском кампании не было 100%‑ной уверенности в её высокой эффективности, поэтому её запустили для части городов присутствия банка. Тогда остальные города я буду использовать как контрольную группу.

Я провёл сравнение помесячной динамики количества ипотечных заявок по всем городам. Основными показателями сравнения были:

1. Самое главное — сходные тренды изменения числа заявок

2. Похожая помесячная динамика изменения.

Также для сопоставимости я посмотрел на такие параметры, как:

1. средний доход на жителя (можно взять из данных Росстата)

2. размер города, по крайней мере, один и тот же порядок этого размера.

Результаты применения Diff‑n‑diff

После формирования контрольной группы я перешёл к оценке эффекта с помощью метода Diff‑n‑dif, или DiD, и вот что получилось. Показатели контрольных городов в периоде до кампании я масштабирую, чтобы было удобно сравнивать.

Общий прирост заявок по городу с рекламой составляет +120 штук, но в контрольном городе также был прирост +40 штук, значит, реальный эффект рекламы — +80 заявок.

Не забываю обязательно проверить, что 95%‑ный доверительный интервал полученного результата не пересекается с нулём.

Если— города с рекламой,— контрольные города, аи— периоды до и во время кампании, то:

Повышаем точность и применяем панельную регрессию

Помесячное сравнение — слишком грубое. Есть также недельная сезонность. Поэтому я использовал панельную регрессию, матрицу (город, день).

Это позволяет увидеть общую картину, локальные выбросы и повысить уверенность в результате.

Вот самая простая модель с фиксированными эффектами для города и даты:

где:
 — число новых обращений в городе в день
 — учитывает постоянные особенности города
 — это общие для всех городов события конкретного дня
 — только в городе с рекламой и только во время кампании
 — то, что мы ищем, оценивает инкрементальные обращения на один рекламный город‑день

Все параметры ищутся исходя из задачи оптимизации, методом наименьших квадратов.

Проверки применённого метода

Теперь нужно проверить устойчивость применённого метода. Для этого:

1. Повторяю расчёты с другим попарным выбором для городов контрольных групп. Тут — всё в порядке.

2. Провожу плацебо‑тест. Придумываю рекламную компанию на 3 месяца раньше реальной и повторяю расчёты (так как скрипты на python уже есть, меняю лишь параметры расчёта). Статистически значимого положительного результата не вижу.

Прибыль — дама важная, сама себя не посчитает!

Во всех наших расчётах мы использовали самую удобную для расчётов и чувствительную метрику, количество заявок. В действительности North star метрикой для бизнеса является прибыль. В связи с тем, что жизненный цикл ипотечной сделки крайне долгий (см. выше), только часть из заявок «вызрела», и нужно ждать ещё несколько месяцев.

Обязательно поделюсь результатами в одной из следующих статей!

Что можно было бы сделать лучше?

Попросил коллег из Маркетинга в следующий раз обратиться ко мне пораньше, ещё на этапе планирования кампании. Чтобы я мог принять участие в выбор участвующих городов и заранее выбрать хорошие пары для сравнения.

Спасибо, что дочитали! Буду рад обсудить ваши вопросы, замечания и предложения в комментариях.