HeadHunter сделал каталог данных Arenadata Catalog рабочим инструментом для аналитиков и ИИ-агентов

Российская компания интернет-рекрутмента HeadHunter завершила проект по внедрению Arenadata Catalog (ADC) — отечественной системы управления корпоративными данными, которая помогает организациям выстраивать процессы Data Governance. В результате каталог данных стал операционной системой для аналитиков, дата-инженеров и внутренних ИИ-сервисов. Сегодня через ADC проходят ключевые процессы поиска, описания и сопровождения данных, а также сценарии работы с искусственным интеллектом. Об этом CNews сообщили представители Arenadata.

От собственного каталога к рыночному решению

Команда по работе с данными HeadHunter зафиксировала потребность в инструментах Data Governance еще в 2022 г. Объем данных на платформе и число сотрудников постоянно росли, усложнялись аналитические задачи, и компании понадобилось единое пространство для работы пользователей. На первом этапе HeadHunter развивал собственный каталог метаданных усилиями внутренней команды. Однако к 2024 г. стало очевидно, что стратегию развития необходимо пересмотреть. Команда продолжила доработку внутреннего решения и параллельно начала оценивать зрелость продуктов на рынке.

Чтобы выбрать оптимальный вариант, в HeadHunter создали рабочую группу и подготовили сравнительную таблицу предлагаемых решений. В ней сравнивали open source и коммерческие решения. Ряд из них к этому моменту уже не был доступен в России, а часть продуктов не удовлетворяла команду из-за интерфейса, неудобного для бизнес-пользователей, отсутствия необходимого функционала и вендорской поддержки.

«Когда мы поняли, что потребности в компании в дата-каталоге все время растут, развивать свой продукт стало нерационально. В итоге экономически эффективнее оказалось взять решение с рынка. Для нас было важно не только закрыть текущие потребности, но и выбрать решение с понятной перспективой развития», — сказал Селим Алкадарский, руководитель направления Data Platform HeadHunter.

По итогам сравнительного анализа Arenadata Catalog оказался максимально близок к ожиданиям HeadHunter по функциональности и дорожной карте развития. Для компании это стало ключевым аргументом: нужен был инструмент, который будет развиваться синхронно с внутренним дата-ландшафтом.

Масштаб и охват корпоративного ландшафта данных

Активная фаза внедрения заняла около трех месяцев. Проект команда HeadHunter реализовывала своими силами, точечно привлекая техническую поддержку Arenadata. После запуска каталог начали постепенно наполнять данными и продвигать внутри компании. Сначала к нему подключили аналитиков и технических пользователей, затем расширили использование: ADC стали применять для описания данных, поиска владельцев и навигации по взаимосвязям между объектами.

На текущий момент Arenadata Catalog покрывает ландшафт данных аналитического хранилища объемом 5,8 ПБ. Дополнительно в систему загружены метаданные систем-источников суммарным объемом около 40 ТБ, а также kafka-топики, которые помогают находить первоисточники таблиц и определять зоны ответственности за исправления. На практике это делает каталог удобной точкой входа в дата-ландшафт компании, где легче ориентироваться в структуре и связях между объектами.

Около 800 бизнес-пользователей объединены в 45 команд, среди которых около 100 активных пользователей каталога. Команды одновременно являются владельцами данных. В системе описано 99 590 таблиц, отсканировано 487 баз данных, 1203 kafka-топика, каталогизировано и автоматически обновляется информация о 405 Airflow DAG и 40 783 задачах Airflow. Существенную часть каталога составляют объекты аналитического слоя хранилища: в ADC отражены 1768 дашбордов, описано более 200 KPI и бизнес-терминов. Объекты помечаются кастомизируемыми классификаторами, число которых уже превысило 100.

Рабочий инструмент для аналитиков, инженеров и ИИ-сценариев

Минцифры запустит реестр доверенного ПО до конца года. Отбирать софт будут структура «Росатома» и еще 4 неизвестные организации

В HeadHunter каталог используют аналитики, технические специалисты и команды, отвечающие за качество данных. Аналитики обращаются к нему за описаниями таблиц, схем, колонок, терминов и метрик. Технические специалисты просматривают информацию о владельцах, стюардах и связях между объектами. В процессах, связанных с качеством данных, каталог стал узловой точкой, через которую проходят алерты и назначение ответственных. На протяжении всего проекта DAU (количество уникальных активных пользователей за день) стабильно составляет более 30 сотрудников.

Есть и более прикладные сценарии использования. Если дата-инженерам нужно поставить задачу на переливку таблицы или kafka-топика в аналитическое хранилище, ссылка на соответствующий объект в каталоге теперь обязательна. Аналитики используют Arenadata Catalog для обмена описаниями метрик вместе со скриптом их подсчета, что помогает поддерживать единую методологию в разных командах.

После того как в компании начали активнее развивать ИИ-сценарии, роль каталога усилилась. Документация теперь ведется в отдельном репозитории в Git, после чего описания попадают в Arenadata Catalog. На этой основе в HeadHunter разработали MCP-сервер, который предоставляет ИИ-агентам доступ к метаданным, техническим описаниям и скриптам.

В этом смысле каталог работает уже не только на людей, но и на внутренние ИИ-сервисы. Накопленные в нем данные используются и в операционной деятельности, и как контекст для интеллектуальных сценариев, которые компания строит поверх своей дата-инфраструктуры.

Константин Аксёнов, «Флант»: Kubernetes перестал быть просто средой для контейнеров Цифровизация

Во внутреннем опросе HeadHunter 72% респондентов подтвердили, что регулярно используют Arenadata Catalog для поиска описаний таблиц, схем и колонок, то есть физической модели данных. 48% обращаются к сведениям о владельцах и стюардах таблиц, 40% используют описания терминов и метрик, что отражает профиль запросов бизнес-пользователей. 28% просматривают лайнэйдж, 24% открывают описания таблиц и колонок, к которым у них нет физического доступа.

«Эти ответы показывают, что каталог используется в разных рабочих сценариях. Для HeadHunter он стал частью инфраструктуры, через которую проходят поиск, согласование, описание и сопровождение данных. Привычная роль Arenadata Catalog как справочника метаданных в практике HeadHunter трансформируется в полноценную командную операционную систему, где каждый артефакт — от таблицы до kafka-топика — обрастает управляемыми процессами», — сказал Игорь Моисеев, директор по развитию бизнеса DataCatalog (входит в группу Arenadata).