Arenadata Hyperwave расширяет возможности облачных вычислений в новом релизе ADH Cloud
- CNews FORUM 12 ноября
- CNews AWARDS 12 ноября
- Школа Роста
- Российский рынок облаков за 20 лет
- 30 лет рынку ERP в России
- Главные
ИТ-сценарии 2026 - Цифровизация
- Импортозамещение
- Безопасность
- ИТ в госсекторе
- ИТ в банках
- ИТ в торговле
- Телеком
- Интернет
- ИТ-бизнес
- Рейтинги
- Инфографика
|
Группа Arenadata представила новую версию модуля ADH Cloud в рамках развития универсальной гибридной платформы данных Arenadata Hyperwave (ADH). Релиз сфокусирован на повышении зрелости работы со Spark в Kubernetes: добавлены spark-оператор, планировщик задач и выделенный shuffle-сервис, усилены механизмы безопасности и реализовано централизованное управление через Arenadata Cloud CLI. Об этом CNews сообщили представители Arenadata.
Модуль ADH Cloud позволяет запускать вычислительные движки Arenadata Hyperwave в среде Kubernetes, сохраняя данные и состояние кластера в базовом ADH. Версия 1.4.0 продолжает эту стратегию: если в прошлой версии акцент делался на Impala и Trino, то теперь ключевым направлением стало развитие экосистемы Spark — от управления ресурсами до анализа завершенных приложений. Релиз позволяет гибко и изолированно масштабировать аналитические нагрузки Spark в облачной инфраструктуре, сохраняя защищенный контур данных.
Для релиза разработан оператор Spark для Kubernetes, покрывающий полный жизненный цикл приложения — от развертывания и масштабирования до автоматической очистки ресурсов. Чтобы сделать работу Spark в Kubernetes эффективной и предсказуемой, в состав ADH Cloud интегрирован планировщик ресурсов YuniKorn, позволяющий гибко управлять очередями задач и распределять ресурсы между пользователями и командами. Для веб-интерфейса YuniKorn реализована поддержка аутентификации Kerberos, SPNEGO и LDAP.
В релиз включен компонент Celeborn — удаленный shuffle-сервис для Spark в Kubernetes. Он переносит высоконагруженные операции с локальных дисков узлов во внешнее хранилище, включая HDFS, Ozone (в том числе по протоколу ofs), S3, что позволяет запускать Spark на рабочих узлах без физических локальных дисков.
Также в платформу вошел Spark History Server для хранения и просмотра истории выполнения приложений Spark. Он позволяет анализировать логи, метрики и статусы задач даже после завершения работы приложения, не требуя доступа к контейнерам или логам отдельных подов.
Иван Никерин, технический менеджер продукта, Cloud & Data Services: «Тонкое управление вычислительными нагрузками — следующий шаг после запуска движков в Kubernetes. YuniKorn и Celeborn закрывают исторические ограничения Spark в контейнерной среде: непредсказуемое распределение ресурсов между командами и зависимость от локальных дисков».
Упрощены сбор и визуализация метрик: реализована интеграция с VictoriaMetrics и Prometheus для сбора метрик состояния оператора Kerberos. Данная функция позволяет отслеживать работоспособность и производительность инфраструктуры Kerberos на единой информационной панели наряду с другими компонентами платформы. Для сбора метрик компонентов добавлена поддержка PodMonitor, ServiceMonitor, VMPodScrape и VMServiceScrape. Администратор может выбрать наиболее подходящий способ подключения в зависимости от используемой системы мониторинга (Prometheus или VictoriaMetrics) без необходимости внесения изменений в код.
Максим Захаренко, «Облакотека»: Спрос на ИИ в госуправлении опередит предложение уже в 2027 году Цифровизация
Продолжена линия на усиление безопасности: разработан механизм использования предварительно созданных секретов Kubernetes с централизованным хранением для Trino, Impala, Spark, YuniKorn и Celeborn. Расширены возможности Arenadata Cloud CLI — в частности, команда adc list дает быстрый доступ к текущему состоянию инфраструктуры без переключения между kubectl и другими инструментами.
Возможности Arenadata Hyperwave
Arenadata Hyperwave (ADH) — универсальная платформа на основе open source компонентов и проприетарных решений, предназначенная для хранения, обработки и анализа данных вне зависимости от их структуры и объема. ADH предоставляет набор инструментов и сервисов для реализации современных паттернов — от Data Lake до Lakehouse и Data Mesh.
Решаемые задачи: хранение, обработка больших объемов структурированных и неструктурированных данных любого типа (системы управления документами и контентом, хранение и регистрация событий, данные датчиков, каталоги товаров, резервное копирование других СУБД); распределенная обработка информации; построение озер данных, lakehouse и data mesh (единый центр всех данных компании, быстрое развертывание и сворачивание «песочниц» для пилотных проектов и проверки статистических гипотез, работа с аналитическими инструментами в единой среде); машинное обучение и искусственный интеллект; импортозамещение и разгрузка систем зарубежных вендоров.
На Arenadata Hyperwave получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включен в единый реестр российских программ для электронных вычислительных машин и баз данных, а также в реестр системы сертификации средств защиты информации по требованиям безопасности информации.
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.