Квадрант без анкет: как мы построили Призму по 441 категории российского ПО и почему рынку нужна понятная методика

Когда ИТ-директор в 2019 году выбирал промышленную систему, у него был короткий путь: открыть отчёт Gartner, Forrester или IDC, посмотреть, кто в правом верхнем углу, и вести переговоры с тремя вендорами, а не с тридцатью. Квадрант не заменял пробное внедрение, но экономил месяцы на составлении длинного списка. В 2022 году западные агентства ушли, а российские продукты в их отчётах и раньше встречались единично.

Потребность никуда не делась. За четыре года её начали закрывать десятки локальных рейтингов: отраслевые, редакционные, вендорские, от СМИ и от ассоциаций. У каждого своя методика, свой набор категорий, свой способ попасть в список. Сравнить два рейтинга между собой нельзя, а понять, почему продукт в одном списке первый, а в другом отсутствует, нельзя тем более. Рынку нужна не ещё одна таблица, а единый способ считать.

Мы в АНО «Цифровые платформы» в сентябре в тестовом режиме запустили Призму: квадрант российского ПО по каждой из 441 категории каталога, 9842 позиции, пересчёт раз в квартал. Эта статья не отчёт о продукте. Это попытка разобрать задачу «как построить квадрант в условиях, когда ни вендоры, ни заказчики пока не умеют описывать внедрения» и предложить рынку подход, который можно критиковать, дополнять и забирать себе.

Как это делали до нас

Все методики устроены похоже: две оси, четыре зоны, у каждого свои названия. Gartner ставит по осям полноту видения и способность реализации, Forrester текущее предложение и стратегию, IDC возможности и стратегию, G2 удовлетворённость и присутствие на рынке. Различие не в форме, а в том, откуда данные и кто выносит решение.

Три первых методики объединяет одно: в центре аналитик. Он читает анкету, проводит интервью и выставляет оценку. Это дорого, поэтому отчёт выходит раз в год и покрывает пару десятков рынков. Это субъективно, поэтому вокруг каждого квадранта есть индустрия консультантов, которые учат вендоров «правильно заполнять анкету». И это непроверяемо: формулы нет, есть мнение.

G2 Grid пошёл другим путём: позиция считается формулой по отзывам и открытым данным о компании. Аналитика нет, анкеты нет, обновление непрерывное. Мы взяли форму у квадранта Gartner, потому что её понимает любой закупщик, а принцип у G2: считать, а не оценивать. И добавили то, чего нет ни у кого из них: закупки заказчиков как отдельный источник правды.

Что нужно рынку от квадранта

Прежде чем показывать формулы, зафиксирую требования. Мы их вывели из разговоров с закупщиками и вендорами, и они не про нас, а про любую карту российского ПО.

Покрытие всего каталога, а не двадцати модных рынков. Российский ИТ-рынок это не только CRM и BI, это ещё SCADA, АСУ ТП, MES, ведомственные системы, OSS/BSS для операторов, ТИМ для строителей, кассы для розницы и тренажёры виртуальной реальности. Если методика не масштабируется на 400 категорий, она не методика, а разовый отчёт.

Нулевая стоимость входа для вендора. Как только за участие или за «правильную анкету» нужно платить, карта перестаёт быть картой рынка и становится картой бюджетов на маркетинг.

Проверяемость. Любой должен иметь возможность взять данные и пересчитать позицию сам.

Относительность. Координаты должны показывать место среди конкурентов по категории, а не абсолютную оценку. Продукт для SCADA и продукт для рассылок нельзя мерить одной шкалой.

Устойчивость к накрутке объёмом. Если позицию можно поднять, написав в карточку 300 функций или собрав 200 отзывов за неделю, карта умрёт через квартал.

Пятый пункт определил почти все наши решения.

Почему первая Призма техническая

Честный ответ на вопрос «кто лидер в CRM» должны давать внедрения: кто, что, у кого поставил и что получил. У нас в каталоге больше двух тысяч кейсов, и мы пробовали строить карту на них. Не вышло, и причина не в объёме.

Кейсы несопоставимы. Один описывает три года перестройки холдинга с цифрами по цехам, другой пробное внедрение на двадцать пользователей. В одном результат это «сокращение времени на 40 процентов», в другом «повышение прозрачности процессов». Ни заказчики, ни вендоры пока не выработали общего языка для описания внедрений, и это не их вина: такого языка не было и у западных агентств, они заменяли его интервью аналитика.

Поэтому первая Призма отвечает не на вопрос «кто лучше», а на вопрос «у кого есть проверяемые признаки зрелого продукта». Это индикатор, и мы его так и называем. Живая Призма, где ось Y стоит на реальных внедрениях, появится тогда, когда рынок научится описывать их сравнимо. Это определило, из чего собрана ось зрелости: из того, что уже есть, а не из того, чего рынок ещё не умеет описывать.

Как считаем

Две оси, обе от 0 до 100, обе нормированы внутри категории. Полные формулы опубликованы на странице методологии, а вся карта категорий на странице Призмы, здесь я объясню, почему каждый параметр весит столько, сколько весит.

Ось X, функционал. Что продукт умеет, по данным его карточки: функции и опции, отраслевые возможности, характеристики, интеграции.

X = 0.70 × функции + 0.30 × полнота_карточки

функции = log(число_функций + 1) / log(максимум_в_категории + 1)

Логарифм здесь главное решение. Разница между продуктом с 5 функциями и с 50 огромна, разница между 200 и 250 не значит ничего. Линейная шкала превратила бы ось в соревнование, кто длиннее напишет список. С логарифмом, чтобы удвоить балл, нужно перейти в другой класс продукта, а не дописать десяток пунктов.

Полнота карточки весит 30 процентов сознательно. Она нужна, потому что закупщик не может оценить продукт без описания, скриншотов и цены. Но она не должна весить больше, иначе Призма измеряла бы усердие в заполнении форм, а не продукт.

Ось Y, зрелость и опыт применения. Не что продукт обещает, а что с ним произошло на рынке.

Y = 0.35 × объём_опыта
  + 0.25 × средняя_оценка_отзывов
  + 0.15 × срок_на_рынке
  + 0.15 × обращения_покупателей
  + 0.10 × подтверждённые_отзывы

объём_опыта  ~ log(отзывы + 2 × организации_заказчики_по_закупкам)
срок         ~ log(дней на площадке)
обращения    ~ log(запросов к вендору через площадку)

Почему закупка весит как два отзыва. За закупкой стоит подписанный контракт, за отзывом слово. Накрутить отзыв можно, накрутить контракт с бюджетным учреждением нельзя. Но считаются организации, а не контракты: продление лицензии каждый квартал это один опыт применения, а не восемь.

Почему средняя оценка это четверть оси, а не половина. Оценка говорит о качестве опыта, но одна пятёрка ничего не доказывает. Поэтому внутри зоны продукты упорядочены сглаженным рейтингом: к реальным отзывам добавляются пять условных оценок по 4,0.

рейтинг = (оценка × отзывы + 4.0 × 5) / (отзывы + 5)

Продукт с одним отзывом на 5,0 получает 4,17 и не обходит продукт с сорока отзывами по 4,8. Без этого любая карта на отзывах превращается в лотерею первых пяти оценок.

Почему срок на рынке всего 15 процентов. Он важен: продукт, который живёт восемь лет, прошёл больше, чем продукт, который живёт восемь месяцев. Но если бы срок весил больше, карта закрепляла бы старых игроков навсегда. Логарифм и здесь: разница между годом и тремя годами важна, между восемью и десятью нет.

Почему обращения покупателей это отдельный параметр. Это единственный сигнал спроса, который вендор не контролирует: сколько заказчиков написали ему через площадку. Со временем спрос заслуживает отдельной оси, об этом ниже.

Зоны. Порог по обеим осям 50.

X ≥ 50 и Y ≥ 50  →  лидеры
X <  50 и Y ≥ 50  →  сильные игроки    (зрелые, но узкие)
X ≥ 50 и Y <  50  →  претенденты       (функциональные, мало опыта применения)
X <  50 и Y <  50  →  нишевые

Два правила, которые стоит назвать прямо. Оплаченное продвижение влияет только на порядок внутри зоны, на зону и координаты не влияет никак: перейти в лидеры за деньги нельзя, и это видно по формуле. И вендор не заполняет никакой анкеты для Призмы: считается только то, что уже есть в карточке продукта и в данных площадки.

Что показала карта

CRM-системы, зрелый рынок. 36 продуктов, у всех есть отзывы, медиана 3,5, максимум 49. Ось Y работает: 15 лидеров и 11 сильных игроков, и разница между ними именно в ширине функционала, а не в опыте. Претендентов четверо: функциональные продукты, о которых рынок ещё мало сказал.

BI-платформы, другая картина. 33 из 36 продуктов в реестре Минцифры, функционал у верхней десятки почти одинаковый, и лидеров здесь разделяет в первую очередь ось X. Это рынок, где продукты уже созрели, а различия между ними тонкие: для закупщика это значит, что смотреть надо не на зону, а на положение внутри зоны и на конкретные функции. Похожая картина в ML-платформах и ETL-системах.

Agile-инструменты: 25 продуктов, десять лидеров и двенадцать нишевых, середина почти пустая. Это карта молодого рынка: десяток продуктов уже прошёл проверку пользователями, остальные пока на старте. Через два-три пересчёта здесь будет видно движение снизу вверх, и это ровно то, ради чего история версий хранится.

Есть категории, где полная карта на 36 продуктов, а лидеров ноль: управление API, MDM-системы, SOAR, TMS. Продукты есть, функционал заявлен, а опыт применения рынок только начинает накапливать. Формула в этом случае не назначает лидера искусственно, а честно показывает пустой правый верхний угол. Аналитик в такой ситуации обычно кого-нибудь туда всё же ставит. Рядом категории, где при полной карте лидер один или два: ESB, WMS, SIEM, среды разработки. Там рынок уже выбрал, и карта это фиксирует. На другом конце iPaaS с 18 лидерами из 36, СЭД с 16, BPM с 14, ECM с 13: зрелые категории, где почти все игроки прошли проверку рынком, и различать их нужно уже не зонами, а положением внутри зоны. Для этого у каждой Призмы есть топ списком до 50 продуктов с фактами по каждому: функции, кейсы, отзывы, заказчики по закупкам, стаж. Все топы собраны на одной витрине.

Инфраструктурные категории ведут себя иначе, чем прикладные. В виртуализации, видеоконференциях и VPN-шлюзах по 8-10 лидеров: это классы, которые государство и крупные компании меняли первыми, и опыт применения там накоплен быстрее всего. В ERP, ITSM и кадровых системах лидеров 9-11 при более ровном распределении по зонам: рынок конкурентный, и разница между лидером и сильным игроком там в ширине функционала. Обучение персонала и платформы без кода посередине с 7-8 лидерами. Одна формула, три разных рынка, и карта это различие показывает, не требуя от аналитика ничего решать.

Из 441 категории у 170 полная карта, у 68 от 20 до 35 продуктов, у 162 от 5 до 19, у 41 меньше пяти. Про последние мы говорим прямо на каждой странице: там зоны описывают полноту данных, а не рынок. Лидеров в среднем 16 процентов позиций, в полных картах 17,5, в маленьких до 30, потому что при трёх продуктах порог проходит почти любой. Маленькие Призмы стоит читать как списки.

Предложение рынку: понятная методика вместо сотни рейтингов

Мы не претендуем на то, что наши формулы окончательные, они тестовые и будут меняться. Претендуем на другое: на подход, который любой рейтинг, ассоциация или площадка может взять и применить к своим данным. Вот из чего он состоит.

Опыт применения нужно собирать из нескольких источников, а не из одного. В потребительском софте карту можно строить на отзывах: их миллионы. В корпоративном ПО отзыв это отдельная работа для ИТ-директора, и ни одна площадка в мире не собрала их столько, чтобы покрыть четыреста категорий. Поэтому вопрос методики не «как получить больше отзывов», а «какие ещё следы оставляет внедрение». Мы видим четыре: контракт в закупках, подтверждение заказчика, кейс в сравнимом формате, обращение покупателя к вендору. У каждого своя цена получения и своя надёжность, и вес в формуле должен отражать обе. Отзыв в этой системе один из сигналов, а не фундамент.

Кейс из семи полей вместо свободного текста. Заказчик с ИНН, продукт, что заменили или с чего начали, масштаб в понятных единицах (пользователи, объекты, транзакции), срок от старта до промышленной эксплуатации, одна измеримая метрика с периодом, контакт для подтверждения. Всё остальное опционально. Кейс на семь полей можно считать и сравнивать между вендорами, кейс на три страницы нельзя. Если бы все рейтинги принимали кейсы в одном формате, вендору не пришлось бы писать их семь раз.

Подтверждение заказчиком как отдельный сигнал. Не отзыв, а подтверждение факта внедрения с почты домена заказчика или через электронный документооборот. Оно дороже отзыва, поэтому весить должно больше, но меньше госзакупки: за закупкой контракт, за подтверждением слово.

Сигналы, которые не нужно просить. Часть зрелости видна без вендора: срок в реестре Минцифры, совместимость с доверенными ОС, число интеграций, история версий, если она публична. Чем больше таких сигналов в формуле, тем меньше карта зависит от того, кто что заполнил.

Спрос как отдельная ось. Сейчас обращения покупателей это 15 процентов оси Y. Со временем спрос заслуживает своего измерения: сколько заказчиков искали категорию, сравнивали продукт, запросили демонстрацию. Это данные площадки, вендор их не контролирует, и они отвечают на вопрос, который аналитик задать не может: кого рынок ищет на самом деле.

Потолки на всё, что можно нарастить объёмом. Логарифмы на функциях и отзывах уже есть. Тот же принцип должен работать на кейсах: десятый кейс от одного вендора весит в разы меньше первого. Цель не сотня кейсов у лидера, а три проверяемых у каждого продукта. Рейтинг, где выигрывает тот, кто больше написал, не нужен никому, включая вендоров.

Публичная история пересчётов и заранее объявленные изменения формул. Призма пересчитывается 1 января, апреля, июля и октября. Все версии хранятся, движение продукта между зонами видно, и любой может проверить, что позиция сдвинулась из-за фактов, а не из-за смены формулы. Изменение формулы объявляется до пересчёта, а не после.

Данные каждой Призмы открыты: картинку и PDF со списком по зонам можно скачать с любой страницы, а координаты каждого продукта можно забрать машинно, чтобы пересчитать нашу карту по своей формуле или построить собственную. Мы специально сделали так, чтобы Призму можно было не только смотреть, но и проверять.

Что просим

От вендоров три вещи, не «заполните всё». Функции и возможности продукта в карточке, потому что это 70 процентов оси X. Три кейса в формате семи полей. Три подтверждения от заказчиков.

От заказчиков одно: подтверждать внедрения, когда вендор просит. Это письмо на пять строк, а на карте оно весит больше любого маркетинга.

От коллег по рынку, тех, кто уже ведёт свои рейтинги и матрицы: не сравнивать методики, а сложить их. Формат кейса из семи полей, подтверждение заказчиком и открытые формулы не требуют общей площадки, они требуют договориться о словах. Мы готовы отдать свой формат и принять чужой.

От Вас (именно): критики подхода, а не формул. Формулы у нас тестовые и поменяются к следующему кварталу. Подход, что квадрант российского ПО должен считаться открыто, по фактам, без анкет и без оплаты за вход, мы считаем правильным и готовы его отстаивать. Если вы видите, где он ломается, напишите. Считаю, что понятная (или может даже единая) методика появится на российском рынке в ближайшие два года, вопрос только в том, договоримся ли мы о ней сами или её снова принесут снаружи.

Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.

0%Контракт в закупках0

0%Подтверждение заказчика0

0%Кейс с цифрами0

0%Отзыв пользователя0

0%Интерес покупателей0

0%Срок на рынке0

Никто еще не голосовал. Воздержавшихся нет.

Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.

0%Непонятно, как считают0

0%Вендоры платят за участие или позицию0

0%Данные устаревают, обновляют раз в год0

0%Моей категории нет0

0%Позиция зависит от маркетинга, а не от продукта0

0%Доверяю, пользуюсь0

Никто еще не голосовал. Воздержавшихся нет.

Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.

0%Вендор стесняется спросить0

0%Нет времени0

0%Запрет юристов или службы безопасности0

0%Нет пользы для себя0

0%Не хотят портить отношения с вендором0

0%Не доверяют площадкам0

Никто еще не голосовал. Воздержавшихся нет.

Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.