Inquirer EntertainmentDimples Romana’s husband Boyet Ahmee proposes to wife anew in ParisPunchMy late father appeared in dream, warned me not to succumb – Jimmy OdukoyaDaily MaverickUS, China can help end Ukraine war, Trump tells Xi before trilateral with PutinInquirerBukidnon cops arrest 13 fugitives in four-day sweepThe Jerusalem PostHebron man arrested for allegedly threatening to murder Israeli elected officialNumeramaGinny & Georgia saison 4 : Netflix fait tomber la date de sortie et de premières imagesRai NewsAddio a Piero Vigorelli, firma del giornalismo e della televisioneRMF24Dron nad gdyńskim portem. Policja zatrzymała 40-latka, grozi mu więzienieZDF heuteAktuelle Pressemitteilungen des ZDFCNewsАстраханский бизнес на четверть увеличил спрос на умное видеонаблюдениеBellaNaijaBurna Boy, Asake & Seyi Vibez Bring Afrobeats to the World of GTA VI20 Minuten2028 droht der nächste Prämienhammer – folgt darauf Entlastung?
The Daily Newsstand · Free, Always
Thursday, November 19, 2026

Агентный RAG на JVM: как устроен Смысл.ИИ

Translate

В вакансиях и туториалах вокруг RAG и AI-агентов чаще всего фигурирует Python. На JVM экосистема тоже есть — LangChain4j, Spring AI и другие, — но живых разборов «как это выглядит в продукте» заметно меньше.

Я создал B2B-систему Смысл.ИИ (smysl.ai): сотрудник задаёт вопрос по внутренним документам компании и получает ответ с опорой на корпоративные материалы — с указанием источников.

Ниже — обзор архитектуры. Исходники закрыты; в цикле статей — схемы и код. Публичный логин к демо не раздаётся; по тексту — скриншоты и при необходимости короткое видео. Документы в библиотеке — из вымышленной демо-компании, не данные реального заказчика.

В данном цикле упор на AI-часть: обработка документов, индекс, поиск по корпусу, агент и ответ с указанием, из каких материалов взяты факты. Бэкенд-обвязка — PostgreSQL, структура таблиц, авторизация и аутентификация, REST API, задачи по расписанию, ретраи и прочее — почти не разбирается.

Библиотека материалов — загруженный корпус, по которому идёт поиск:

Библиотека материалов

Библиотека материалов

Вопрос в чате:

Вопрос в чате

Вопрос в чате

Финальный вид ответа:

Финальный ответ в чате

Финальный ответ в чате

2. Задача продукта и границы

В средних и крупных компаниях обычно накапливается большой объём внутренних документов и других материалов. Но когда нужно получить из них ответ на конкретный вопрос, это часто занимает много времени: обход папок и различных файловых хранилищ, уточнения у коллег.

Отдельная проблема — изоляция: фрагменты или целые файлы уходят во внешний чат вроде ChatGPT «просто проанализировать», корпус оказывается вне контура компании. В Смысл.ИИ библиотека хранится в инфраструктуре системы; для ответа в LLM уходят найденные фрагменты (чанки или страницы), а не весь корпус. LLM подключается по API: в текущем демо — внешний провайдер; тот же контур можно нацелить на модель в своём облаке или on-prem, если развёрнута совместимая точка доступа.

Узкая задача продукта: вопрос по корпоративному корпусу → ответ с опорой на ваши файлы (не «знания модели из интернета»), с источниками. За рамками — LMS, замена всей базы знаний и платформа агентов.

Под капотом: поиск → при необходимости уточняющие раунды агента → в контекст LLM уходят найденные фрагменты документов — чанки или целые страницы — и уже по ним формулируется ответ.

Обычный RAG часто = один проход retrieval → всё в контекст → ответ. Здесь у LLM есть tools: поиск по материалам может идти в несколько раундов (уточнил запрос / добрал фрагменты), потом ответ.

Ниже — как устроена эта система: документы → индекс → агент с инструментами → ответ и источники. Это разбор работающего продукта, а не чеклист enterprise-внедрения «под ключ».

3. Загрузка и чат

Загрузка / индексация

Сейчас система умеет обрабатывать: PDF, DOCX, TXT, MD, HTML.

Загрузка и обработка документа

Загрузка и обработка документа

На схеме — путь файла от загрузки до индекса: парсинг, нарезка, запись фрагментов.

Чат

Чат

Чат

В чате вопрос уходит в агент; при необходимости вызывается tool (поиск по материалам), затем ответ со ссылкой на найденное. Это цикл с инструментами, а не один вызов LLM «в лоб».

4. Архитектура системы

Система состоит из:

  • Бэкенд — два сервиса с крупным разграничением: обработка документов и чат / ответы LLM

    • data-processor (Kotlin / Spring Boot) — загрузка и обработка документов

    • assistant (Kotlin / Spring Boot, LangChain4j) — чат, агент, поиск

  • Фронтенд — пользовательский интерфейс (React)

  • Инфраструктура

    • Docling — парсинг и нарезка на чанки в конвейере обработки документов (data-processor)

    • Apache Doris, PostgreSQL

    • Auth (Keycloak)

    • Прокси (Caddy)

  • Внешние зависимости

    • LLM API

    • Объектное хранилище файлов (S3-совместимое)

    • VK Cloud — хостинг демо-контура

Два сервиса — не ради «микросервисов как моды», а из‑за разной ответственности и характера нагрузки: data-processor тянет загрузку и тяжёлую обработку файлов, assistant — диалог, tool calls и генерацию ответа. Так проще независимо развивать и выкатывать AI-контур и конвейер документов. Сотню сервисов с нуля не делал — граница одна: документы отдельно, диалог отдельно.

Ниже — упрощённая схема контейнеров.

Контейнеры системы (C4)

Контейнеры системы (C4)

Ключевые решения по стеку

  • Apache Doris — full-text и semantic-поиск в одном хранилище, без связки «отдельный поисковик + vector DB». У Qdrant тоже есть оба режима; для продукта важнее единый контур под гибридный поиск и запас по нагрузке, а не чемпионство на чистом ANN (там специализированные vector DB часто сильнее).

  • Valkey Streams — генерацию ответа LLM крутит один инстанс assistant, а SSE-подключение клиента может прийти на другой. Токены уходят в Valkey и читаются с инстанса, который держит соединение, а не только «вживую» с процесса, где крутится модель.

  • GraalVM Native Image — сервисы в native: быстрее старт и ниже overhead относительно обычного JVM на том же контуре; плата — дольше сборка.

5. Стек технологий

Технология

Назначение

Бэкенд

Kotlin

Язык программирования

Spring Boot

Фреймворк

GraalVM

Создание native-образа

AI и агент

LangChain4j

Вызов LLM, tools и цикл агента

Конвейер обработки документов

Docling

Парсинг загружаемых файлов и нарезка на чанки

Хранение и поиск

Apache Doris

Хранение фрагментов документов и поиск по корпусу

PostgreSQL

Реляционная БД сущностей системы (метаданные файлов, чаты и др.)

S3-совместимое хранилище

Объектное хранилище файлов

Фронтенд

React

Веб-интерфейс

Инфраструктура

Keycloak

Аутентификация (OIDC)

Valkey (Redis Streams)

Потоковая передача ответа LLM в чат

Caddy

Обратный прокси

Docker / Compose

Контейнеризация и локальный/демо-контур

6. Вклад в open source

По ходу реализации находил ограничения и баги зависимостей. Это вылилось в issues и PR:

7. Что будет дальше

Серия из трёх статей:

  1. Обзор (эта статья)

  2. Конвейер обработки документов: Docling → стадии → индекс в Doris

  3. Агент: tools, поиск по корпусу, ответ с указанием источников в материалах; потоковая передача токенов

View the original on Хабр →

KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.