От Minisforum до серверной стойки за 100 000 рублей. Что стало с моим Homelab спустя 3 года

Больше 2 лет назад я написал свою первую статью про homelab на Minisforum, с тех пор его состав кардинально поменялся. В этой статье я расскажу, что с ним произошло за эти три года и как я его модифицировал.

Интро

В течение года после написания я переехал, докупил некоторое оборудование, о котором я упомяну в этой статье, и распечатал десятидюймовую стойку для всего этого добра на 3D-принтере, что кардинально улучшило внешний вид домашней лабы, да и в целом является самой интересной частью этой статьи. По ходу рассказа буду указывать стоимость оборудования и постараюсь сопровождать текст фотографиями и скриншотами.

Приобретённое оборудование

На момент написания прошлой статьи вся инфраструктура состояла у меня из роутера провайдера и моего любимого Minisforum. После переезда я сфокусировался на организации домашней сети, улучшении homelab’а по необходимости и наведении минимального порядка.

Тут стоит отметить, что задачи, которые я ставил перед хоумлабом, и критерии при покупке оборудования немного поменялись.

1. Мне нужна была память, надёжное хранилище для всех моих (и жены) фотографий с айфона (знакомо, да?), файлов с компьютера, на котором каким-то образом из 3 ТБ доступных осталось 70 ГБ. Кроме того, для Proxmox на моем Minisforum совсем не осталось места под виртуалки и контейнеры.

2. Должно быть красиво и не иначе. Если охапка железок и плат будет разбросана по всей квартире, мешать, собирать пыль и т. д., то это не наш вариант. Друзья, весь этот функционал, все эти виртуалки, мониторинги, получение подсетей для маршрутизации к определённым местам интернета по BGP — это, конечно, классно, но если это не приносит радости глазу, то, простите, оно нам не нужно. «Порядок на столе — порядок в голове». @Джейсон Стэтхэм.

3. Всё должно работать. Можно много рассуждать на тему того, что можно собрать NAS на Raspberry и положить его вместе с дисками в коробку из-под обуви, и будет тебе счастье. Действительно, так сделать можно, и никто не имеет права сказать, что эта адская колесница смерти не имеет права на существование, но если есть возможность приобрести готовый вариант, то это я и сделаю. Мне не нужны головоломки с какими-то совсем нишевыми проблемами.

Роутер

В первую очередь я хотел избавиться от роутера провайдера в качестве промежуточного звена между квартирой и остальным миром.

Потратив некоторое количество времени на поиски, я остановился на MikroTik L009UiGS-2HaxD-IN. Про функционал микротов написано много, в том числе и на Хабре. Однако конкретно эта модель обладала некоторыми качествами, которые склонили меня к покупке, а именно:

1. Возможность монтажа в стойку 19".

2. Количество и состав портов:

   • 8 портов 1G

   • PoE-in (Out)

   • 1 порт под 2,5G SFP

3. WireGuard из коробки.

4. Кроме того, роутер выглядит просто невероятно. (Не забываем об одной из наших целей — всё должно быть красиво.)

Да, возможно, я повёлся на красивую обертку и за эти деньги мог купить гораздо более интересное устройство с точки зрения железа, тем не менее я ни разу не жалею, ведь в текущей конфигурации моего хомлаба мне вполне его хватает с запасом, да ещё и глаз радуется. Стоимость данного прибора на момент покупки была около 15 тысяч рублей.

Первое, что я сделал, — арендовал у провайдера белый статический v4 адрес. Далее развернул небольшой lxc контейнер на проксмоксе и поднял там WireGuard сервер. Тут я использовал простую версию wg-easy. В поднятом lxc-контейнере ставим докер согласно документации.

В качестве образа для контейнера я использовал Ubuntu 22.04, предложенный в темплейтах проксмокса. Я не стал придумывать ничего заоблачного, мне нужно, чтобы всё просто работало.

Базовая установка ограничивается буквально тремя командами в случае использования докера.

# 1. Create a directory for the configuration files (you can choose any directory you like):
sudo mkdir -p /etc/docker/containers/wg-easy

# 2. Download docker compose file
sudo curl -o /etc/docker/containers/wg-easy/docker-compose.yml https://raw.githubusercontent.com/wg-easy/wg-easy/master/docker-compose.yml

# 3. Start wg-easy
cd /etc/docker/containers/wg-easy
sudo docker compose up -d

После того, как мы поднимем контейнер, нас встречает простое меню с созданием админ аккаунта и выбором порта. Далее мы делаем себе первый клиент конфиг.

Теперь мы возвращаемся к нашему алому звездолёту. Для доступа к инфраструктуре из интернета нам необходимо добавить разрешающее входящее правило в файерволе и пробросить порт микротика до контейнера WireGuard.

В качестве dst-адреса указываем адрес, который дал нам провайдер.

Пробрасываем порт на адрес lxc-контейнера.

Результат: имеем доступ к своей домашней лабе из интернета, в том числе и с телефона.

Старый роутер провайдера я решил не выбрасывать, подключил его в новый Микротик. Теперь он работает у меня в качестве точки доступа для IoT, таких как лампочки, колонки и остальные устройства, которым я не особо доверяю.

Raspberry Pi 3

Справедливости ради скажу, что малина уже имелась в моем распоряжении, но я её особо не использовал. Когда-то мне её подарили, и я уже успел над ней поиздеваться. Примем за условность стоимость платы — 2 тысячи рублей.

С самого начала я её использовал как домашний DNS, ну и старался блокировать лишнюю рекламу через Pi-hole. Спустя некоторое время по совету знакомых я сменил его на AdGuard. Сказать, что я почувствовал какую-то разницу, не могу. Тем не менее остался на нём.

Проблемы начались спустя год после написания статьи. Я почему-то решил, что одноплатник неубиваем, и благополучно забыл про него до тех пор, пока у меня не перестали резолвиться доменные имена дома.

Кому-то этот совет окажется очевидным, но если не хотите неожиданностей, то при организации домашних DNS на хомлабе делайте 2 резолвера), в идеале на разном железе. Второй AdGuard у меня встал на Proxmox.

Если вы посмотрите внимательно на скриншот выше, то заметите, что к вебкам моих днсов я обращаюсь по доменному имени.

Спустя некоторое время и очередной сервис на проксмоксе я приобрёл себе доменное имя, которое так старательно закрашено на скриншоте. Теперь к своим сервисам я обращаюсь не по IP, а через реверс-прокси, роль которого выполняет Nginx Proxy Manager.

На данный момент у меня 18 записей на DNS и реверс-прокси. Работает это следующим образом: все DNS-записи резолвят имена сервисов в локальной сети в адрес Nginx, который в свою очередь проксирует на нужный адрес. Для каждого доменного имени выдан wildcard-сертификат, который обновляется автоматически самим Nginx Proxy Manager, что сразу снимает головную боль в виде внезапно просроченного серта на 18 вебках.

Результат: имеем возможность обращаться к сервисам, не запоминая их адреса.

NAS

Очевидно, что спустя какое-то время у меня закончилась память на Proxmox. Конечно, отчасти это и моя вина, ведь minisforum, который я приобрёл 3 года назад, имел только 500 ГБ памяти, что даже звучит смешно. Не стоит забывать, что обычно при построении хомлабы люди пытаются в том числе и отказаться от платных подписок, например, сделать личное облако. С такими смешными цифрами кашу не сваришь. Пришла пора эту проблему решить.

В качестве хранилища я приобрел TerraMaster F2-424.

Сам NAS обошелся примерно в 28 тысяч рублей, помимо него необходимо приобрести 2 диска. Их я купил примерно за 6-7 тысяч каждый, которые собраны в террамастеровский TRAID. Устройство должно обеспечить надёжное хранение данных: если один диск откажет, мы сможем заменить его.

Для информации: TRAID (TerraMaster RAID) — это фирменный гибридный RAID от TerraMaster, аналог SHR у Synology. Он сам собирает массив из дисков разного объема так, чтобы терялось как можно меньше места, и при этом защищает от отказа одного диска.

С двумя дисками для надёжности подойдет и RAID 1. На двух дисках TRAID работает как то же самое зеркало: данные пишутся на оба диска, ёмкость делится на 2. TRAID в моем случае я выбрал просто из-за того, что он предложил его первым.

В любом случае советую не лениться и выбирать RAID 1. Если вдруг сразу решите снести TOS (операционка TerraMaster) и поставить туда TrueNAS, как сделали некоторые мои знакомые, то возможностей будет больше (говорят даже зарплату на работе повысят).

NAS помог решить мне сразу несколько проблем:

1. Хранилище для бесконечно растущей галереи на телефонах.

2. Хранилище для фильмов и сериалов для Jellyfin.

3. Хранилище для виртуалок гипервизора.

Если говорить про последний пункт, то NAS позволил выделить мне пару LUN’ов и подключить его к проксмоксу по iSCSI.

Сам NAS имеет 2 порта 2,5G на задней панели, поэтому не будем терять возможность и объединим порты в LACP 802.3ad с роутером, чтобы получить ещё более надёжное соединение (для начала с роутером, дальше будем масштабироваться).

Тут стоит отметить (если совсем кратко), что объединение 2 портов не даст нам скорость 2Гбит/с, ввиду того, что LACP не делит одно соединение на два кабеля. Каждый поток данных (например, копирование одного файла или подключение по iSCSI) целиком идет по одному из линков, а значит, упирается в 1 Гбит/с. Прирост появляется только тогда, когда к NAS одновременно обращаются несколько устройств: их соединения распределяются по разным кабелям, и в сумме мы получаем до 2 Гбит/с.

Коммутатор

Потихоньку порты на роутере заканчивались, для дальнейшего расширения нужны были ещё слоты для витой пары. Для этого я приобрёл небольшой гигабитный TP-Link LS105G.

Из всех устройств, которые я покупал, это единственное, которое я бы хотел заменить. Дело в том, что в нём слишком мало портов и он неуправляемый. Да, это решает основную проблему с отсутствием свободных портов, но ненадолго, и не даёт нам, например, разбить устройства по вланам.

Оглядываясь назад, понимаю, что стоило потратить чуть больше денег и купить что-то управляемое и с большим количеством портов.

По стоимости это устройство вышло около 1000 рублей.

Серверная стойка 10 дюймов

В самом начале, когда у меня стояли только Minisforum и малинка, 3 года назад было проще — поставил их рядом на шкафу и забыл. Сейчас уже такой возможности не было. Внутри шкафов оставлять оборудование тоже нет желания — как минимум из-за отсутствия нормальной вентиляции.

Сначала у меня стояло всё на холодильнике, потом я пытался разнести всё по шкафам. Как итог — огромная некрасивая коса из силовых кабелей и витой пары по стенам в прихожей. Выглядело это просто ужасно, и что-то надо было решать.

Я всегда хотел иметь дома высокую 19-дюймовую стойку, да так, чтобы она светилась и была аккуратно уложена, ну и не мешала мне шумом. Учитывая габариты моего оборудования, поиски свели меня к трём результатам.

1. DeskPi

Красивая металлическая десятидюймовая стойка. Самый простой вариант для покупки в РФ — найти её по названию на Алиэкспрессе. На момент поиска (март 2025) ее можно найти примерно до пяти тысяч рублей. Разумеется, с Алиэкспресса она будет идти около месяца, что мне не особо нравится. Кроме того, из минусов — нет понимания по возможности её вертикального расширения. Если бы не срок доставки, может быть, остановился на ней.

2. GeeekPi

По сути — тот же самый DeskPi, но тут также возникают сложности с доставкой и покупкой. Считай, аналогичные проблемы стойки выше, но тут всё ещё сложнее. В целом, если вы не планируете расширяться или вас не волнуют указанные выше проблемы и не жалко пару тысяч рублей сверху, то, наверное, это идеальные варианты. Теперь же перейдём к тому, что выбрал я.

3. LabRax

Если вы достаточно глубоко окунётесь в тему десятидюймовых стоек, то поймёте, что выбора у вас не так и много. Рано или поздно вы наткнётесь на треды пользователей Reddit, которые занимаются 3D-печатью. Для меня было удивлением, насколько много есть вариантов стоек, напечатанных на 3D-принтере, причём хорошего качества.

Моим фаворитом оказался вариант, который называется LabRax, автор — mklements. В его профиле можно найти 2 версии стоек и большое количество юнитов под разные устройства.

Разумеется, такое положение дел меня заинтересовало, и я отправился искать, где мне распечатают стойку. Разумным вариантом тут будет просто зайти на Авито и поискать студии/индивидуальных исполнителей, которые займутся заказом. Сначала цены меня, мягко говоря, удивили, но если искать, то рано или поздно можно найти человека, который занимается 3D-печатью на заказ рядом с твоим домом за цену гораздо меньше, чем продвинутые объявления).

Прошли сутки, и я забрал свою стойку и приступил к сборке. Тут стоит отметить важную деталь, о которую я споткнулся при сборке. Дело в том, что у автора этой модели есть 2 версии стойки:

• Первая версия, которая собирается на металлических вставках.

• Версия вторая, более новая, которая собирается на болтах М6 и гайках.

  

Стоимость моего заказа вышла около 1000–1500 р за стойку и пару юнитов для теста.

Из-за того, что я необдуманно выбрал первую версию, мне пришлось колхозить крепежи саморезами, поэтому это выглядит не так красиво, как хотелось, не совсем надёжно, да и если мне нужно будет расширить стойку вверх (увеличить количество юнитов), мне придётся выпаивать отверстие для болтов либо каким-то образом придумывать крепежи для этого добра. Вторая версия стойки лишена этого недостатка, и её можно разбирать хоть каждый день, не боясь, что что-то отвалится.

К приобретению настоятельно рекомендую версию с болтами.

А теперь к вопросу расширения и модулям. Дело в том, что эту стойку достаточно просто расширить, распечатав 4 боковые балки и 4 соединителя, которые соединят эти балки. Для меня это оказалось слишком большим плюсом, чтобы игнорировать.

Помимо самой стойки я попросил распечатать простую юнит-полку, куда я поставил свой Minisforum, Raspberry и роутер от провайдера. На данном этапе NAS остался за бортом.

После первой партии печати я занялся размещением малины, так как было очевидно, что модели для неё есть не только в коллекции у автора. Потратив примерно минут 40, я нашёл отличный вариант юнита для малины и коммутатора TP-Link LS105G.

Модель оказалась отлично спроектирована, и коммутатор с малиной встали как влитые. То же самое я не могу сказать про Микротик, который остался у меня висеть на стяжках. Готовой модели я не нашёл, но как промежуточный вариант меня это устраивало, так как этих стяжек практически не видно.

Осталось решить вопрос с NAS’ом, Minisforum’ом и роутером провайдера. Прикинув примерные размеры каждого устройства, я сделал подходящую модель для установки этих трёх устройств, хоть и с проблемами, которые я благополучно устранил напильником и зажигалкой.

Вот какой результат получился на этом промежутке.

Стоимость печати самодельной модели на 3 юнита обошлась в 1000 рублей.

Впоследствии я попросил ещё за 1500 рублей допечатать второй этаж для последующего расширения. Боковые части стойки я закрыл оргстеклом и немного некрасиво вырезал отверстие для бокового кулера. Следующие фотографии показывает актуальное состояние серверной стойки, чтобы не ломать повествование.

KVM

Теперь, когда мы собрали готовую стойку, можно столкнуться с очередной небольшой проблемой: после сборки мне стало немного проблематично добраться до некоторых её элементов. Да, конечно, я могу вытащить юнит в случае каких-то проблем, например, если у меня в очередной раз зависла Raspberry, на которой крутится AdGuard, но это займёт некоторое время. Для решения этой проблемы я приобрёл NanoKVM, чтобы не вытаскивать ничего из стойки даже в случае переустановки операционной системы на устройстве. По сути, это простой IP-KVM.

Стоимость вышла около 3-4 тысяч рублей.

Что он умеет:

• Удалённый доступ к BIOS/UEFI — управлять компьютером ещё до загрузки операционной системы.

• Удалённая клавиатура и мышь — управлять машиной через браузер.

• Удалённая установка ОС — подключить ISO-образ как виртуальную флешку и установить Proxmox, Windows или Linux.

• Управление питанием — на совместимых версиях можно включать и выключать компьютер, а также нажимать Reset.

Мониторинг

Интересная идея пришла в голову на финальном этапе сборки стойки и оборудования в ней. Мне всегда нравились маленькие дисплеи, которые подключаются к компьютеру и располагаются внутри корпуса ПК. Обычно в таких случаях они отображают либо какие-то базовые метрики, либо просто картинки, которые каким-то образом визуально улучшают восприятие и красят внешний вид компьютера.

На маркетплейсах и Авито есть огромное количество дисплеев, которые подключаются напрямую к интерфейсу малины и не требуют внешнего питания. Так я и приобрёл 3,5-дюймовый дисплей. Так как стойка у меня была уже полностью укомплектована и наложить дисплей поверх Raspberry не представлялось возможным (да и, если честно, то и смысла особо нет. Зачем мне монитор, который спрятан внутри юнита?), пришлось докупить небольшой шлейф.

Процесс подключения тут не особо сложный, шлейф в гнезда и поехали. Однако:

1. Сразу после физического подключения дисплей не заработает. К таким дисплеям есть драйвера, которые нужно установить. В моём случае помог китайский ресурс LCDWiki. Выбираем на вкладке RaspberryPi MHS& GPIO Display наш 3.5inch RPi Display.

2. Далее переходим на малину и передаём команды, как описано на ресурсе:

sudo rm -rf LCD-show
git clone https://github.com/goodtft/LCD-show.git
chmod -R 755 LCD-show
cd LCD-show/
sudo ./LCD35-show

Разумеется, перед этим стоит обновить репозитории и установить гит.

3. Стоит определиться, что мы хотим от этого монитора, так как высокой производительности ни от Raspberry, ни от дисплея на GPIO ждать не стоит. Самым оптимальным применением в нашем случае является отображение метрик с графаны. Собственно, ради этого я его и купил.

4. Самым простым и, наверное, самым правильным вариантом будет накатить чистую систему и залить туда скрипт, указанный выше, но мне это стало очевидно только после 2 ночей попыток запустить дисплей, перевернуть его программно и установить и запустить графику (браузер) на версии Raspbian без GUI.

ИБП

После того, как мы собрали стойку, осталось позаботиться о единственной важной вещи, которую мы до сих пор игнорировали. Электропитание.

Не могу сказать, что дома у меня постоянно отключают электричество, но так как оборудование работает постоянно уже на протяжении более трёх лет, нужно относиться к этому вопросу трепетно.

В качестве решения по электропитанию я рассмотрел APC Back-UPS 650 ВА, с запасом (прямо с большим). Стоил он около 25 тысяч рублей.

На данный момент от него питаются все элементы стойки, и он единственный не стоит внутри нее.

Выбрал я его потому, что его состояние можно мониторить через NUT (Network UPS Tools) + Prometheus + Grafana. NUT будет получать состояние ИБП, Prometheus — собирать метрики, а при длительном отключении электричества NUT сможет корректно выключить Proxmox до полного разряда аккумулятора.

Итоги

Из одного мини-ПК мы полностью собрали серверную стойку, с которой можно делать что угодно. За прошедшие три года модернизаций и опыта эксплуатации было развёрнуто огромное количество разного ПО, частью которого я пользуюсь почти постоянно. Про сервисы, которые развёрнуты у меня, я уже рассказывать не буду, на это понадобится отдельная статья. Однако хочу кое-что упомянуть:

1. Спустя некоторое время после первой статьи я развернул контейнер с Gitea, чтобы хранить Terraform-конфиги, однако совсем забросил сам Terraform.

2. Один из самых полезных контейнеров, который я разворачивал, — контейнер с вебкой OpenCode. Как-никак у нас уже эра AI, а с учётом нашего WireGuard мы имеем возможность вайбкодить или проводить какие-либо работы прямо с телефона из метро.

   

3. Очень приятно и удобно пользоваться сервисами вроде https://community-scripts.org/.

Единственная покупка, о которой я пожалел, — это неуправляемый коммутатор, который немного меня сейчас ограничивает, но все недостатки в любом случае компенсируются микротиком и отдельным роутером провайдера. В остальном потраченные суммарно за 3 года 100 000 рублей ни разу не вызвали у меня какого-либо сожаления.

Отдельной благодарности заслуживает Minisforum, который является ядром моей лабы. Уже как 3 года он работает без передышки, я его даже не открывал и не чистил, ему как будто всё равно, а это что-то да говорит о его надёжности.

Работа над улучшением и модернизацией хоумлабы будет продолжаться. Надеюсь, что спустя ещё несколько лет я напишу статью с названием «От Minisforum до серверной стойки за 200 000 рублей. Что стало с моим Homelab спустя 6 лет».