Copier + LLM: почему одной LLM не хватило


Привет, Хабр! Я Владимир Кузнецов, тимлид бэкенд разработки продукта FindFace Multi (и других продуктов на его основе) в компании NtechLab.
Этой весной мы получили от бизнеса задание, требующее создания 8 объемных сервисов за полгода командой из 3-х человек. Мы поняли, что ручным набором кода не успеем. Попробовали LLM - обожглись. Увидели пользу детерминированной генерации (copier) и поверх нее подключили LLM.
В итоге на 6 сервисах сэкономили порядка 1 человеко-года разработки, количество багов в фичах упало почти до нуля. devx улучшился.
Хочу поделиться с вами рассуждениями и технологиями, которые позволили этого достичь - уверен, они и вам помогут повысить скорость и качество разработки.
Цель: создать 8 python сервисов в сжатые сроки
Сервисы различались интерфейсом (grpc / http), очередями (nats / kafka).
Но в тоже время некоторые из них имели повторяющиеся части (настройки логирования, обработку ошибок, otel инструментацию, БД + object storage, outbox паттерн).
Stakeholder-ы были разными, поэтому нужны были разные сервисы.
Гипотеза: LLM позволит нам это сделать и нас устроит результат
Мы использовали Qwen3-Coder-30B-A3B-Instruct (в начале года только на него хватало железа, а публичную LLM использовать было нельзя).
Оказалось, что нет стабильности и воспроизводимости
Проблемы начались уже с попытки настроить наблюдаемость: ИИ агент не смог сгенерировать рабочий docker-compose.yaml и конфиги для Victoria stack.
При написании кода пытался починить тесты переносом файлов в другие папки, чем ломал требуемый layout.
Стало понятно, что человеку придется читать код и, скорее всего, лично его дорабатывать.
С корректностью кода была надежда на улучшение за счет обновления harness и модели.
Однако LLM писала код всегда по-новому.
Если бы мы отмасштабировали это на несколько сервисов, то погрязли бы в поддержке как в болоте: знакомство с организацией кода в одном сервисе не помогало бы разобраться в другом + везде были бы разные ошибки.
Что и как пытались стабилизировать:
код
стандарты (приведен не весь список)
snake / kebab case
API
наблюдаемость (json логи, otel)
линтеры
результат выполнения кода
тесты
self evolution (промпты модель сама меняла)
Решение: генерация каркаса сервиса по шаблону (copier) + LLM для уникальных фич
За кажущимся многообразием сервисов получилось увидеть паттерн:
src
{service_name}
config
settings.py
{di} # dishka
features
{feature_name}
{operation}
infrastructure
{clients}
{messaging} # faststream (pub & sub)
{migrations}
{observability} # OTEL, pyroscope, structlog
{orm} # advanced alchemy
{outbox}
interfaces
{cli}
{grpc}
{http} # litestar + msgspec
justfile
Dockerfile
pyproject.tomlИ превратить его в copier шаблон с вопросами (не cookiecutter, т.к. хотели обновлять генерацию при изменении шаблона).
Cгенерировали из него каркасы для нескольких сервисов и стали подключать LLM к генерации конкретных слайсов (в папке features).
Используемые инструменты перечислены в конце статьи.
Почему такой layout
Для высокой эффективности разработки нужно (g = goal):
Быстро найти, где менять код
на основе лога
со слов менеджера => ubiquitous language
Чтобы изменения “здесь” не сломали что-то “там” => VSA (слайсы по бизнес-функциям, а не по техническому сходству)
Полезные принципы (p):
Better clear than clever © Rob Pike
Screaming architecture
Для себя сформулировал такое определение на основе вышесказанного:
Код - дословная проекция бизнес-процесса с явным вызовом бизнес-правил.
Как это привело меня к такому экспериментальному layout
(g1) + (g2) => VSA (она также соответствует (p2))
Автор VSA, Jimmy Bogard, в вертикальный слайс помещал, помимо бизнес-логики, инфраструктурный код (для взаимодействия с БД как минимум) и сериализацию.
Но часть кода не относится к конкретной бизнес-функции:
код для наблюдаемости
интерфейсы сервиса
конфигурация инфраструктуры
общие клиенты к инфраструктуре
outbox паттерн
миграции БД и т.д.
=> согласно (p1) лучше сделать их отдельными папками. (Взаимодействие с БД мы пока перенесли туда же).
=> вертикальные слайсы - это содержимое папки features (там остается бизнес-логика, нужные ей интерфейсы и сериализация).
Что размещать в один слайс, а что в разные - пока экспериментируем.
Что внутри слайса:
Программа реактивна: она либо реагирует на событие о наступлении времени (как cron job), либо на внешний сигнал (команда пользователя или сообщение от другой системы).
(g1) + (p1) + (p2) => внешние сигналы (и их обработчики) стоит явно выделить папками и назвать глаголами.
Архитектура слайса:
В простом случае - слоеная (layered). В сложном - гексагональная (hex). dishka позволяет получать зависимость как по интерфейсу (hex), так и по реализации (layered).
Согласно (p1) лучше начинать со слоеной.
Выводы и дальнейшее направление разработки
На создание стандартов и каркаса потребовалось 2 человеко-месяца. Сейчас каркас лежит в основе 6 сервисов, что уже сэкономило порядка 1 человеко-года разработки.
Приятным бонусом стало почти полное отсутствие багов в фичах (для сравнения: legacy сервисы отнимали около 50% времени на исправление багов, из которых 95% выявлялись на этапе тестирования).
Также оказалось, что код каркаса стал хорошим контекстом для LLM (in-context learning), повысив качество генерации (naming, паттерны и т.д.).
Следующий шаг - построение фабрики генерации ПО и изменение связанных процессов ради этого.
Кроме этого, мы продолжаем обогащать каркас востребованными фичами и стабилизировать implementation loop, в которой ИИ агент генерирует и чинит код.
На этом все, спасибо за внимание!
P.S. используемые в каркасе инструменты:
Инструмент | Функция |
|---|---|
Архитектура и зависимости | |
Внедрение зависимостей (DI): скоупы, финализация, singleton в рамках скоупа. Удобно для unit тестов, решает проблему утечки файловых дескрипторов. | |
Линтеры | |
Линтер и форматтер опечаток. | |
Линтер импортов сторонних библиотек. Требует явного указания в | |
Линтер для | |
Линтер и форматтер кода. На Rust. | |
Линтер импортов между модулями проекта. Аналог import-linter, но позволяет создать правила без перечисления всех модулей, например, | |
Type checker и language server для Python. На Rust. | |
Линтер “когнитивной нагрузки” и code smells . Единственный линтер из списка, который приводит к рефакторингу кода. | |
Управление проектом | |
copier ~ uv tool copier | Генератор кода на основе jinja шаблонов. Аналог cookiecutter, но умеет обновлять генерацию после изменения шаблона (полагается на git). |
just (justfile) ~ uv tool rust-just | Аналог makefile, только удобнее. На Rust. |
Менеджер пакетов, версий питона и инструментов (uv tools). На Rust. | |
БД, сериализация и конвертация | |
Конвертер инстансов разных классов. Автоматически маппит одноименные поля, остальное кастомизируемо. | |
Компаньон для SQLAlchemy: готовые репозитории для CRUD-операций. | |
Быстрая сериализация и валидация данных: JSON, MessagePack, YAML, TOML. Удобен тем, что одна библиотека для HTTP и очередей. | |
HTTP | |
HTTP-клиент: синхронный и асинхронный API, поддержка HTTP/1.1 и HTTP/2. | |
ASGI сервер с поддержкой msgspec. | |
gRPC | |
Официальный Python-пакет для реализации gRPC. | |
Аналог ручки с OpenAPI схемой у HTTP сервера. По ней grpcui может сгенерировать интерактивный web интерфейс. | |
Интерактивный веб-интерфейс для gRPC-серверов (аналог OpenAPI UI). | |
Асинхронная коммуникация и очереди | |
Единый API для разных очередей: Kafka, RabbitMQ, NATS. | |
Тестирование | |
Мутационное тестирование. Проверяет чувствительность тестов к мутациям кода. Тривиальный пример: 100% покрытие, везде assert True => чувствительность тестов к мутациям кода = 0. | |
Тестирование API по OpenAPI/GraphQL: генерирует запросы по спецификации и сверяет ответ сервера с ней. Целенаправленно проверяет граничные случаи. | |
Docker-контейнеры с БД, очередями и прочими сервисами, которыми можно управлять из кода. Удобны для интеграционных тестов и генерации миграций для БД. | |
Наблюдаемость | |
Официальный Python API и SDK для OpenTelemetry — стандарта сбора телеметрии (трейсы, метрики, логи). | |
Сэмплирующий профайлер, который можно не выключать (делает снимки стэка вызовов несколько десятков раз в секунду и показывает, что долго длится). | |
JSON logs + pretty print (можно переключаться в зависимости от |
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.