Своя нейросеть дома, доступная из любой точки мира

Надоели лимиты токенов, дорожающие подписки и ощущение, что каждый запрос логируется. Дома стоит нормальная машина — почему бы модели не крутиться на ней? Рассказываю коротко, как собрать личный LLM-сервер.

Железо

• CPU 8 ядер, 32 ГБ RAM — модель живёт в памяти целиком.

• GPU на 12 ГБ желателен: с ним 7–8B модели летают. Без него работают на CPU, просто медленнее.

1. Ставим Ollama

«Docker для LLM»: одна команда — рантайм, вторая — модель.

bash

curl -fsSL https://ollama.com/install.sh | sh   # Linux
ollama pull llama3.1:8b
ollama run llama3.1:8b

2. Открываем API в сети

Ollama держит REST на 127.0.0.1:11434. Чтобы слушал всю домашнюю сеть, правим unit:

bash

sudo systemctl edit ollama

Добавляем:

ini

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

И перезапускаем:

bash

sudo systemctl restart ollama

3. Доступ снаружи через туннель

Пробрасывать порт на роутере — боль и дыра. Проще туннель: сервер сам стучится наружу и получает постоянный адрес. Я подключил nozi.io — один адрес и из дома, и с телефона, независимо от NAT и серого IP.

⚠️ Раз API теперь в интернете — закройте его. Минимум: заголовок с токеном и его проверка на входе. Эндпоинт без авторизации сканеры найдут за часы и начнут греть вашу видеокарту.

4. Чтобы жило само

Комп перезагружается, интернет моргает — туннель падает. Оборачиваем в systemd, чтобы поднимался сам.

Юнит /etc/systemd/system/nozi-tunnel.service:

ini

[Unit]
Description=Keep Ollama tunnel alive
After=network-online.target ollama.service
Wants=network-online.target

[Service]
ExecStart=/home/user/keep-tunnel.sh
Restart=always
RestartSec=5
User=user

[Install]
WantedBy=multi-user.target

Скрипт keep-tunnel.sh просто перезапускает туннель в цикле:

bash

#!/usr/bin/env bash
set -u
while true; do
    nozi tunnel --port 11434   # команду подставьте под клиент сервиса
    echo "туннель упал, перезапуск через 5с"
    sleep 5
done

Включаем:

bash

sudo systemctl daemon-reload
sudo systemctl enable --now nozi-tunnel.service

Итог

Персональная нейросеть на своём железе: данные остаются дома, без подписок и лимитов (плачу за электричество), один адрес отовсюду, полный контроль над моделями. Топовые облачные гиганты она не заменит, но для 90% задач — код, тексты, документы, быстрые вопросы — хватает с головой.

Начните с Ollama и маленькой модели, туннель через nozi.io прикрутите последним шагом. И не забудьте про авторизацию. Серьёзно.

Ссылки

• Ollama — https://ollama.com

• Каталог моделей — https://ollama.com/library

• Обратный туннель (nozi) — https://nozi.io

Теги:

• Ollama
• LLM
• локальная нейросеть
• self-hosted
• homelab
• systemd
• туннель
• llama 3.1
• нейросети дома
• приватность данных

Хабы:

• Машинное обучение
• Искусственный интеллект
• Настройка Linux
• Системное администрирование
• Сетевые технологии

Java Developer

Разбираемся с витамином D — пить или нет?

Инженер производства приносит анализ:

25(OH)D — 22 нг/мл // ниже нормы

Лицо у него как у человека, которому сообщили, что в нём зародилась новая жизнь, и это глисты.

Казалось бы, пускай дойдёт до врача, ему там назначат витамин D по 50 тысяч единиц раз в неделю в капсуле, и пускай не страдает. Но прикол в том, что рекомендаций аж три штуки:

— Старые мирового эндокринологического сообщества, где витамин надо пить. Они в большинстве случаев основаны на наблюдательных исследованиях (корреляциях, а не причинно-следственных цепочках), и там есть конфликт интересов. Упрощая, они говорят, что витамин D лечит примерно всё. Простуда? Низкий D. Усталость, хандра, плохой сон? D. Рак, диабет, давление — D мог бы помочь. Раз у больных людей этого витамина в крови мало, значит, дефицит и есть проблема.

— Новые мирового эндокринологического сообщества, где убрали все наблюдательные исследования, и получилось, что пить надо при совсем уже лютых дефицитах. Упрощая — эти говорят, что если бы первые не производили эти добавки, их, возможно, и послушали бы. Организм сам синтезирует достаточно, а остальным вы просто дорого писаете. Но есть краевые случаи, по ним хорошая клиническая база.

— И наши отечественные рекомендации, которые сделаны с учётом того, что Россия — очень большая страна, в которой есть регионы с короткой солнечной активностью. Пить надо, но пороги другие.