Релиз Arenadata Streaming: развитие Data Lineage, высокая доступность и новые операционные системы
- CNews FORUM 12 ноября
- CNews AWARDS 12 ноября
- Школа Роста
- Российский рынок облаков за 20 лет
- 30 лет рынку ERP в России
- Главные
ИТ-сценарии 2026 - Цифровизация
- Импортозамещение
- Безопасность
- ИТ в госсекторе
- ИТ в банках
- ИТ в торговле
- Телеком
- Интернет
- ИТ-бизнес
- Рейтинги
- Инфографика
|
Группа Arenadata представила новую версию системы потоковой передачи и обработки данных Arenadata Streaming (ADS). Релиз 4.1.0 сфокусирован на развитии инструментов отслеживания происхождения данных (Data Lineage), обеспечении отказоустойчивости сервисов и расширении поддержки российских операционных систем. Об этом CNews сообщили представители Arenadata.
В платформу внедрены инструменты для сквозного контроля потоков данных. В сервис Kafka Connect и Iceberg Sink Connector интегрирована поддержка репортера OpenMetadata, что позволяет автоматически фиксировать происхождение и структуру данных при их передаче в lakehouse-таблицы. Коннектор также получил функциональность сопоставления топиков Kafka с целевыми таблицами (topic-to-table mapping).
Для Schema Registry и Kafka REST Proxy реализован режим высокой доступности (НА), устраняющий единые точки отказа в данных сегментах, — балансировку нагрузки обеспечивает встроенный сервис HAProxy. Кроме того, теперь эти сервисы поддерживают последовательное обновление и перезапуск (Rolling Upgrade / Rolling Restart), что позволяет проводить плановое обслуживание инфраструктуры, не прерывая процесс сбора данных.
Александр Анисимов, технический руководитель продукта Arenadata Streaming: «В релизе мы закрываем требования корпоративных заказчиков к прозрачности и непрерывности потоковой обработки. Интеграция с OpenMetadata позволяет автоматизировать аудит данных на уровне компании, а поддержка режима высокой доступности сервисами Schema Registry и Kafka REST Proxy устраняет точки отказа в архитектуре стриминга».
Начиная с версии 4.1.0 Arenadata Streaming адаптирован к работе на новых версиях российских операционных систем «Ред ОС» 8 (сертифицированная редакция) и Astra Linux 1.8.6.
Обновление версий сервисов экосистем Kafka и NiFi, а также коннекторов Debezium позволяет повысить стабильность обработки потоков данных. Для NiFi 2 реализована поддержка плагина Ranger в рамках подсистемы безопасности Arenadata Platform Security (ADPS). В новой версии сервис выходит из режима технического превью в связи с получением всех необходимых для использования в производственной среде улучшений.
Low/no-code-революция: новая архитектура цифровой независимости Конференция
Вместе с данным релизом выпущена новая версия Arenadata Streaming Control (ADS Control) — решения для управления кластерами потоковой передачи. В сервисе добавлена совместимость с «Ред ОС» 8 (сертифицированная редакция) и Astra Linux 1.8.6.
Возможности Arenadata Streaming
Arenadata Streaming — масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и NiFi. Продукт включает графический пользовательский веб-интерфейс для управления кластерами потоковой передачи (ADS Control, ADSC), поддержку расширенной безопасности (Arenadata Platform Security, ADPS), а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций.
Arenadata Streaming позволяет: в реальном времени строить потоковые конвейеры данных, надежно передающие данные между системами или приложениями; в реальном времени разрабатывать потоковые приложения, преобразующие потоки данных или реагирующие на них; хранить потоки записей отказоустойчивым долговечным способом; разграничивать права доступа к потокам данных.
На Arenadata Streaming получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включен в единый реестр российских программ для электронных вычислительных машин и баз данных.
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.