Как я настроил локальный ИИ‑контур без облаков и защитил данные от утечек

В 2023 году Samsung зафиксировала утечку служебного кода через ChatGPT: сотрудники вставляли внутренние документы в промпт. После этого компания ограничила использование внешних LLM.

IBM Cost of a Data Breach 2024 оценивает среднюю стоимость утечки в 4.88 млн долларов. В России штрафы за утечку персональных данных переведены в оборотную модель (ст. 13.11 КоАП в редакции 420-ФЗ).

Илья Чиркин, обучивший ИИ более 300 человек, формулирует барьер так: «Сразу надо определить, какие данные можно отдавать ИИ, а какие нет».

Локальный контур снимает сам вопрос: данные не покидают периметр. Ниже — архитектура, честная экономика и границы применимости.

Архитектура

Слой 1. Модели (Ollama)

Важно: Llama распространяется по собственной лицензии Meta, не Apache/MIT. Перед коммерческим внедрением условия читает юрист заказчика.

Слой 2. Оркестрация

Flask API на 127.0.0.1 маршрутизирует запросы по типу задачи: классификация уходит на tinyllama, извлечение полей из договора — на phi4, черновик ответа — на qwen3. Логика роутинга в коде, а не в промптах.

Слой 3. Изоляция

Публикация портов только на loopback:

services:
  ollama:
    image: ollama/ollama:latest
    ports:
      - "127.0.0.1:11434:11434"
    volumes:
      - ./models:/root/.ollama
    restart: unless-stopped

network_mode: host не используется — он снимает изоляцию портов контейнера.

Слой 4. Доступ

Tailscale (WireGuard, P2P): рабочие места видят сервис по MagicDNS, в интернет не опубликован ни один порт.

Безопасность

Стек: CrowdSec (детект атак), Wazuh (HIDS, file integrity), Suricata (IDS), nftables, Prometheus + Grafana на 127.0.0.1:3000.

Фрагмент политики firewall (листинг для чтения):

table inet filter {
  chain input {
    type filter hook input priority 0; policy drop;
    iif "lo" accept
    ct state established,related accept
    ip saddr 100.64.0.0/10 tcp dport 22 accept
  }
}

Бэкапы: 2 раза в сутки, GPG‑ключ (не passphrase в файле), ротация 7 дней.

Производительность

Замеры делаются на железе заказчика. Порядок величин на одной RTX 3060 12GB: модель 3B отвечает десятками токенов в секунду, 14B в квантовании — единицы. На CPU скорость падает на порядок. Один GPU не обслуживает 100 параллельных пользователей: очередь и деградация latency закладываются в расчёт заранее.

Сценарии применения (модельные расчёты, не реальные клиенты)

Ниже — расчётные сценарии для оценки применимости. Это не отчёты о внедрениях: цифры получены из хронометража типовых операций.

1. Юридический отдел. Извлечение сторон, сумм, сроков и штрафных условий из договора. Узкая задача, где 14B‑модель локально закрывает потребность без передачи документа наружу.

2. Финансовый контроль. Первичная классификация обращений и сверка реквизитов (ИНН, КПП, счёт) до участия человека. Персональные данные остаются в контуре.

3. Ритейл. Черновик ответа на жалобу по шаблону на кассовом узле. Работает без интернета, персональные данные не выгружаются.

Общее у трёх сценариев: задача узкая и проверяемая. Там, где нужен frontier‑level reasoning, локальные 8–14B проигрывают облачным флагманам, и это надо признавать до старта проекта.

Экономика

Подписочная модель: порядка 30 долларов на пользователя в месяц. 100 сотрудников, 24 месяца — около 72 000 долларов, сверяется по прайсу вендора.

Локальный контур, ориентир в рублях:

Экономия возникает не всегда. Она есть там, где задача узкая и модель подобрана под неё, и исчезает там, где приходится докупать GPU под пиковую нагрузку или качество модели не дотягивает до задачи.

Границы применимости

Локальное развёртывание — техническая мера, а не сертификат соответствия. Соответствие 152-ФЗ складывается из технических мер, организационно‑распорядительных документов, модели угроз и работы с оператором. Один только перенос модели на своё железо соответствие не даёт.

Влияние на оборотный капитал

СБП B2B — не просто «быстрый перевод». Это инструмент управления денежным потоком.

По данным НСПК (26.10.2026), ключевые метрики:

• Время от подтверждения перевода до поступления денег: сокращается с дней до часов

• Время от поступления оплаты до передачи заказа в работу: сокращается на 50–80%

• DSO (срок погашения дебиторки): сокращается на 20% при постоплате

• Доля автоматически связанных платежей: > 90% при интеграции

Для компании это означает: деньги быстрее возвращаются в работу, меньше нужно держать в резерве, реже привлекать краткосрочные кредиты.

Что дальше

Код и методология аудита доступны на GitHub: github.com/Vebinter

Источники:

• IBM Cost of a Data Breach Report 2024

• ст. 13.11 КоАП РФ в редакции 420-ФЗ

• И. Чиркин, t‑j.ru, 27.10.2026

• НСПК, sbp.nspk.ru, 28.10.2026 (интеграция СБП по API)

• Computerra о Mistral Large 4, 30.10.2026