Я собрал 10 лет отзывов о 30 банках в открытый датасет. Вот что они говорят о прибыли

Черновик для Хабра. Хабы: Data Mining, Открытые данные, Финансы в IT, Статистика в IT. Графики — в папке img/. В статье только агрегаты, которые публикует сам Банки.ру: ни одного текста отзыва и ни одного автора.

Отзывы на Банки.ру — единственный публичный сигнал клиентского опыта по каждому банку и продукту. Вопрос, который я задал этим данным, коммерческий: что делать банку, чтобы зарабатывать больше, и может ли статистика отзывов что-то подсказать. Если отзывы опережают рост кредитов или риск портфеля, ими стоит управлять. Если они лишь отражают то, что банк уже делает, это метрика для витрины.

Ответ короткий: деньги идут за транзакционной базой и ценой, а не за оценкой в отзывах, а оценка идёт за тем, насколько настойчиво банк просит отзывы. Ниже — восемь гипотез, данные, метод и что из этого следует. Код и все числа — в ноутбуке What should a bank do to earn more? на Kaggle.

Сокращения. ЦБ — Банк России. Форма 101 — форма отчётности 0409101, оборотная ведомость по счетам банка. СО — стандартное отклонение, типичный разброс показателя между банками. ДИ — 90-процентный доверительный интервал. п. п. — процентные пункты. KPI — ключевой показатель эффективности.

Данные: как собрать отзывы законно

Поотзывный сбор с Банки.ру, Сравни, Финуслуг, Отзовика, Irecommend, Яндекс Карт и 2ГИС запрещён их пользовательскими соглашениями: копировать, скачивать и компилировать контент без письменного разрешения нельзя. Я проверил robots.txt и соглашения каждой площадки и ни одну из них не обходил.

Одна законная дорога есть. «Народный рейтинг банков» Банки.ру — агрегаты, которые сайт считает и публикует сам: число отзывов, средняя оценка от 1 до 5, доля отзывов с официальным ответом банка, проблемы и решённые проблемы, разбивка по продуктам. Пункт 7.4 соглашения Банки.ру разрешает воспроизводить материалы сайта при условии прямой ссылки на первоисточник, а пункт 7.2 запрещает копировать пользовательский контент — поэтому в датасете нет ни одного текста. Страницы брались по одной каждые шесть секунд, всего 205 страниц, только пути, разрешённые robots.txt.

Результат — датасет Russian Bank Reviews: Banki.ru Rating 2019–2026: банк × год за 2019 — 5 октября 2026 (1 697 строк, 146–262 банка в год) и банк × продукт × год. К каждой строке приклеены ключевая ставка и остатки на конец года из формы 101 ЦБ: розничные кредиты (счета 455 + 457), резервы под них, срочные вклады физлиц (423 + 426), счета клиентов (408), активы. Карточки Банки.ру сведены к регистрационному номеру ЦБ — 340 из 392, включая банки, которые потом присоединились к другим или перестали раскрывать отчётность. Помесячного зерна у источника нет, и законно его не получить.

Две дыры, о которых надо знать. С марта 2022 по май 2023 года ЦБ не публиковал форму 101, поэтому остатка на конец 2022 года нет и рост за 2023 год посчитан за два года. 2026 год — январь–август по балансам и по 5 октября по отзывам.

Разлом 2023 года

Число отзывов у 28 крупных банков выросло с 149 тыс. в 2022 году до 432 тыс. в 2023-м и 672 тыс. в 2024-м; средняя оценка по рынку — с 2,1 до 4,6. Это не клиенты полюбили банки. С 2023 года несколько банков стали собирать отзывы через свои каналы: просьба в приложении или после звонка ведёт на Банки.ру. У одного крупного банка было 14 тыс. отзывов в 2022 году и 237 тыс. в 2023-м; пятеро крупнейших сборщиков дали 88 % отзывов 2023 года.

Отсюда два правила для всех проверок ниже: банки сравниваются только внутри одного года (фиксированные эффекты года), а объём отзывов считается решением банка, а не спросом. И отсюда же первая собственная гипотеза — H6.

Метод

Каждая гипотеза переписана так, чтобы её можно было опровергнуть: что с чем сравниваем, с какими поправками, какого знака ждём. Пример: «банк с оценкой на одно СО выше, чем у других банков того же года, в следующем году растит портфель быстрее — при равном текущем росте и размере».

• Год с годом: фиксированные эффекты года.

• Банк с самим собой: эффекты банка, чтобы отделить «хороший банк» от «банк стал лучше».

• Инерция роста как обязательная поправка: оценка должна добавить информацию сверх прошлого роста.

• Неопределённость — бутстрэп по банкам (2 000 повторов, 90 % ДИ) и перестановочные тесты: предиктор перемешивается между банками внутри года, p-значение — доля перемешиваний с эффектом не меньше настоящего. Для ключевой ставки перебраны все 40 320 перестановок восьми лет.

В выборку попадает банко-год с портфелем не меньше 5 млрд ₽ и не меньше 50 отзывов за год — у меньших оценка прыгает от пары отзывов. Получается 41–49 банков в год.

Вердикты: «подтверждается» — ДИ не накрывает ноль и p < 0,05; «слабо» — одно из двух; «не подтверждается» — ни то ни другое. «Не подтверждается» значит «нет эффекта такого размера, чтобы строить на нём стратегию», а не «эффект ровно ноль». И это не эксперимент: новая команда может одновременно починить приложение и начать активно кредитовать.

Что подтвердилось

H6. Сбор отзывов поднимает оценку — самый сильный эффект. Внутри одного банка удвоение числа отзывов за год идёт вместе с ростом средней оценки на +0,35 балла (ДИ 0,27–0,43, p < 0,001). 20 банко-лет, где отзывов стало больше вчетверо, дали в среднем +1,10 балла против +0,12 у остальных. Следствие для денег: если рейтинг важен для привлечения (выдача агрегаторов, сниппеты в поиске), попросить отзыв у активного клиента — самый дешёвый способ его поднять. По той же причине сырая оценка не годится в KPI сервиса: ею управляет громкость просьбы, а не качество.

H8. Жалобы на кредиты — маркер уровня риска. На 1 СО больше отзывов о кредитных продуктах (карты, потребкредиты, авто, ипотека, рефинансирование) на 1 млрд ₽ розничного портфеля — на +1,4 п. п. выше резервы под розничные кредиты (ДИ 0,6–2,6, p < 0,01). У 13 крупных банков, по которым доступен отчёт о прибылях, ранговая корреляция со стоимостью риска — 0,53.

Это фильтр для оценки конкурента, партнёра или объекта сделки: кто кредитует рискованных клиентов, у того больше жалоб на кредиты на каждый рубль портфеля. На самом деле любой старт кредитования дает такую картину - новый поток, недообученные модели, свободные лимиты без портфеля - дают больше просрочки и/или резервов.

H7. Решать проблемы — единственный сервисный рычаг с устойчивым знаком, но маленький. Внутри банка +10 п. п. доли решённых проблем ↔ +0,09 балла (ДИ от +0,01 до +0,15, p = 0,04); между банками +0,16 на 1 СО (ДИ от −0,03 до +0,32). Для масштаба: +10 п. п. доли проблемных отзывов ↔ −0,54 балла. Оценку двигает прежде всего то, сколько у банка людей с проблемой.

Что не подтвердилось

H1. Лучшая оценка не приносит рост кредитов. +1 СО оценки ↔ +1,7 п. п. роста розничного портфеля в следующем году (ДИ от −0,7 до +4,4, p = 0,30); банк сам с собой — +1,6 п. п. (ДИ от −2,2 до +5,4). Зато инерция сильная: 0,53 текущего темпа роста переходит в следующий год (ДИ 0,38–0,66). Даже по верхней границе +1 СО оценки дало бы около 4 п. п. роста: на портфеле 1 трлн ₽ это 44 млрд ₽ кредитов и, при медианной приблизительной чистой процентной марже 13 крупных банков 9,6 %, около 4 млрд ₽ дохода в год до риска. Это потолок, а не оценка.

H2. Жалобы на кредиты как ранний сигнал — слабо, использовать нельзя. +1 СО жалоб → +0,61 п. п. резервов в следующем году (ДИ от −0,21 до +1,66, p = 0,04): знак правильный, интервал накрывает ноль. Для своего портфеля поколения выдач опережают на месяцы всё, что видно в годовых данных.

H3а. Ставка не меняет состав отзывов так, как ждёшь. При ставке 21 % доля отзывов о вкладах не выросла: +0,14 п. п. на +1 п. п. ставки, p = 0,35, доля держалась на 5–9 % при любой ставке. Доля кредитов падает на −1,8 п. п. на +1 п. п. ставки (p = 0,004), но она падала все годы подряд — с 52 % до 18 %, — и перестановка лет не отделяет ставку от тренда. С объёмом новых потребкредитов доля связана обратно (корреляция −0,86): это не зеркало продаж.

Отзывы ушли в повседневный банкинг: дебетовые карты, приложение, переводы. Клиенты пишут о том, чем пользуются каждый день, и о том, о чём их просят написать.

H3б. Хороший сервис по вкладам не приводит деньги. В 2024–2025 годах, при высокой ставке, −0,4 п. п. роста срочных вкладов на 1 СО оценки вкладов (ДИ от −8,0 до +7,4, p = 0,94); по счетам 408 (там же накопительные) −1,2 п. п. Вклады покупаются ценой: деньги на привлечение — в ставку и условия, а не в рейтинг сервиса. Ограничение: ставок по вкладам отдельных банков в открытых данных нет, поэтому цену учесть нельзя.

H4. Ответы банка — ни рычаг, ни самостоятельный маркер. Между банками без поправок +1 СО доли ответов ↔ +0,13 балла (ДИ 0,01–0,24), но с поправкой на объём отзывов — +0,03 (ДИ от −0,09 до +0,15): банки, которые собирают отзывы, заодно отвечают на каждый. Внутри банка +10 п. п. ответов → −0,03 балла в тот же год и −0,04 в следующий. Медианный крупный банк уже отвечает на 99 % отзывов; банку ниже 80 % стоит закрыть разрыв, потому что разрыв видят клиенты, а не потому, что это что-то принесёт.

Три банка маркетплейсов — Озон, Вайлдберриз и Яндекс — сравнивались с 19 другими крупными банками; p-значение — доля из всех 1 540 возможных троек банков, у которых разрыв медиан не меньше. Активы с конца 2023 года по август 2026-го выросли в 13–70 раз против ×1,3 у медианного крупного банка (p = 0,006) — база была маленькой. Отзывов на 1 млрд ₽ активов — 9–70 против 1,2 (p = 0,006): каждый отзыв — контакт с клиентом, то есть нагрузка на сервис. Доля отзывов о кредитах в 2025 году — 4–11 % против 18 % (по направлению, p = 0,21, при трёх банках от случайности не отличимо); розничные кредиты к активам — от около нуля до 26 % против 15 %. По средней оценке группа от остальных не отличается (p = 0,87).

Прочтение: это банки фондирования и платежей. Клиент приходит за оплатой покупок, картой и переводом и оставляет деньги на счёте; кредиты — малая и молодая часть баланса. Маржа сейчас — спред на дешёвых транзакционных остатках, размещённых под высокую ставку, плюс комиссии. Снижение ключевой ставки сжимает этот спред первым; следующий источник дохода — кредиты своей платёжной базе. А кредитные портфели этих банков слишком молоды, чтобы публичные оценки стоимости риска что-то значили. Границы: три банка; рассрочки и «плати частями» могут учитываться не на счетах 455/457, и у Банки.ру для них нет категории.

Что делать банку, по силе доказательств

1. Собирать отзывы у активных клиентов и не делать сырую оценку KPI сервиса (H6). Для сервиса нужна отдельная мера на незапрошенной выборке.

2. Оценивать риск конкурентов, партнёров и объектов сделок по интенсивности жалоб на кредиты, а свой портфель вести по поколениям выдач (H8 подтверждается, H2 как ранний сигнал — нет).

3. Строить транзакционную базу и кредитовать в неё (H5). Самые быстрые балансы 2023–2026 годов выросли на платежах, а не на кредитах; модель зависит от ставки.

4. Не читать состав отзывов как сигнал ставки (H3а). Доля отзывов о вкладах не выросла даже при 21 %.

5. Решать проблемы, а не только отвечать (H7 на грани, H4 — нет).

Отвергнуто: лучшая оценка приносит рост кредитов (H1); хороший сервис по вкладам приводит деньги в год высокой ставки (H3б); ответы банка — рычаг (H4); жалобы как ранний сигнал роста резервов (H2).

Ограничения

Годовые данные и 41–49 банков в год: большие эффекты видны, маленькие — нет. Отзывы — не случайная выборка клиентов; с 2023 года оценки сравнимы между банками лишь настолько, насколько похожи их практики сбора. Остатка на конец 2022 года нет; 2026 год неполный. Форма 101 — российские стандарты учёта отдельного банка, не МСФО (международные стандарты финансовой отчётности) группы; стоимость риска и маржа в панели 13 банков — приближения по всему банку. Рост включает слияния и передачу портфелей. Тексты отзывов не использовались. Что считать решённой проблемой, определяет модерация Банки.ру; в 2025 году доли решённых заметно ниже, чем в 2022–2024-м, и источник этого не объясняет.

Данные и код. Датасет отзывов russian-bank-reviews-banki-ru-rating; помесячная панель 13 банков russian-banks-retail-credit-cbr; рынок целиком russian-retail-lending-market-cbr; ноутбук What should a bank do to earn more?. Источники: Банки.ру, «Народный рейтинг банков», banki.ru/services/responses; Банк России, архивы формы 0409101 и ключевая ставка. Сайт автора — ageev.dev.