Как правильно утопить сервер: это дорога в один конец, но сервер получится очень быстрый

У нас есть машзал ЦОДа, где стоят ванны с серваками. И вот что я вам скажу про жидкостное охлаждение:

— Это билет в один конец. Стоит вам один раз погрузить сервер в ванну, больше вы его рабочим не достанете.

— Это позволяет примерно в 5–6 раз повысить предел возможного относительно воздушного охлаждения, то есть ваши процессоры ждёт незабываемое приключение с разгоном за пределами всякого здравого смысла.

— Надо снять кулеры, но современные карточки очень любят ими управлять, поэтому ещё понадобится драйвер, который оверрайдит попытки потротлить, потому что кулер вращается медленно.

— С ванны (аналога стойки по размеру) можно спокойно снимать не 6–15 кВт, а 120 кВт, то есть раз в 15 больше, чем в воздушном ЦОДе, и в разы больше, чем на обычном водяном охлаждении.

— Самое главное, чтобы эта штука не загорелась. Потому что если не отводить тепло, то сервак перегреется и ванна, в которой в том числе до фига масла, полыхнёт так, что остановить пожар можно будет только вокруг неё, но не в ней.

— Это снимает гарантию, поэтому мы купаем только старое железо, уже и так сошедшее с поддержки вендора.

— Можно совать в ванну руки, током вас не коротнёт, потому что жидкость диэлектрическая. Но мы всегда делаем вид, что бьёмся в конвульсиях. Это нас очень развлекает, когда приходят новые люди.

— Нельзя кидать в ванну любой сервер, его сначала надо доработать. Например, заменить термопасту на нерастворимую, плюс поменять все провода на такие же, только с нерастворимой изоляцией.

Сейчас расскажу про всё это подробнее плюс про то, какое железо вообще имеет смысл топить, зачем это всё и где бабки, Лебовски.

Но начнём с того, как эта фигня вообще работает.

Как эта фигня вообще работает

Обычный сервер, как и ваш десктоп, охлаждается воздухом. Но в ЦОДах недостаточно просто забортного воздуха вокруг корпуса, поэтому он специально охлаждается. Получается холодный коридор, откуда кулеры серваков забирают холодный воздух, и горячий коридор, куда они его выкидывают и откуда он забирается охлаждаться.

В холодный коридор воздух подаётся или из холодного фальшпола, или из холодных стен в некоторых продвинутых ЦОДах. Серверы протаскивают этот воздух через корпус, охлаждая компоненты. Тепло снимается с радиаторов. Дальше перегретый воздух выбрасывается в горячий коридор, а оттуда во внутренние системы — например, к чиллер-фанкойлу, либо к теплообменнику с наружным воздухом, либо к какой-нибудь другой вундервафле.

У воздушного охлаждения есть физический предел. Распространённое ограничение по отводу тепла — это порядка 15 киловатт на одну стойку. Охладить в стойке большую мощность, более мощные серверы с большим энергопотреблением, проблематично. Сама технология — прогнать такой объём воздуха, который снимет 15 киловатт тепла и отведёт дальше, — физически сложна.

И вот тут мы подходим к иммерсионке. Дальше про однофазное охлаждение, когда оборудование непосредственно погружается в жидкость. Есть ещё двухфазное, очень продвинутое, когда охлаждающая жидкость подаётся прямо на чип, там испаряется, отводя тепло (происходит переход в другую фазу). Это очень эффективно, но на практике это прямо ужасно сложные и замороченные технологии.

Мы просто плюхаем наше оборудование в иммерсионную установку (ванну), и снизу вверх через него прокачивается холодная диэлектрическая жидкость. По мере прохождения через наше горячее оборудование она забирает тепло. Соответственно, к верху установки поднимается уже тёплая диэлектрическая жидкость. Она оттуда засасывается насосом, прогоняется через теплообменник и отдаёт это снятое тепло на какой-то внешний контур охлаждения.

Стандартная серверная стойка в ЦОДах обычно 6 киловатт тепла, в лучшем случае до 15 кВт.

Стандартная ячейка охлаждения в нашей небольшой иммерсионной установке (на фотографиях у нас такая маленькая одна ячейка) — это 5 киловатт. У нас в установке 24 таких ячейки. Соответственно, вся установка спокойно охлаждает 120 киловатт! Одна установка! И это, поверьте, отнюдь не предел.

Ячейка — 25 × 30 см. Туда по ширине влезает стандартная двухпроцессорная материнская плата. Таких ячеек в ванне 24 штуки. Сама установка имеет габариты: чуть больше двух метров в длину, порядка метра в ширину, и в высоту она у нас где-то сантиметров 80. Почти как упавшая стойка. Смекаете, да?

Жидкость бывает разная: для асиков одна, для серверов другая. На вид и запах она ничем не примечательна, не пахнет, как какая-нибудь незамерзайка. Но вот с кожей у неё отношения не очень. Если долго с ней контактировать, не смыть быстро, то кожа потом слезает, и очень неприятно.

А теперь переходим к не совсем очевидным фичам.

Иммерсионка — это билет в один конец для железа

Погружение оборудования в иммерсионную ванну — это билет в один конец.

После такого «купания» вернуть железо к нормальной эффективной работе на воздушном охлаждении будет, мягко говоря, проблематично. Чаще — просто невозможно.

Почему так? Ну представьте: вы вынимаете плату из этой маслянистой жидкости. Её, конечно, нужно будет помыть. А когда вы её моете, там могут повредиться, например, токопроводящие дорожки. Да и вообще с большой вероятностью что-то отлетит, какой-нибудь компонент перестанет работать.

Особенно это касается не самого нового железа, которое мы чаще всего и погружаем — то, что уже доживает свой век или изначально рассматривается как комодити, то есть расходный материал. Старую железку топить — милое дело, она после этого на воздухе уже особо эксплуатироваться не будет. А новое, дорогое оборудование, скажем, какой-нибудь Hewlett-Packard DL380a за несколько десятков миллионов с восемью видеокартами, я бы в иммерсивку класть не стал, даже при всём желании и имиджевой истории. Он стоит дороже квартиры в Москве, и его может захотеться перепродать. Но после ванны уже не выйдет.

Если ванна загорится — это финиш

Жидкость, которую мы используем, — диэлектрическая, то есть ток не проводит. Но она имеет масляную основу.

И ванна, как оказалось, вполне себе может гореть!

Мы это поняли на практике.

У нас был печальный опыт, ещё до истории с облаком, когда сгорела целая ванна. Там лежали ASIC-майнеры, и кто-то умный решил их разогнать больше положенного.

А жидкость поджечь довольно тяжело. Но если подожгли — уже вряд ли потушите, пока она не выгорит в локальном объёме.

Так вот, асики сильно перегрелись, это вызвало цепную реакцию проблем с отводом тепла, и смена не успела среагировать. Пожарные тушили даже не саму ванну, а просто не давали огню выйти сильно дальше. Очень ругались.

Производительность

Главная фишка иммерсионки — возможность охлаждать по-настоящему мощное железо, которое на воздухе просто задохнётся.

Первое, что сюда так и просится, — это GPU, видеокарты. Причём не серверные, где производители обычно думают об энергоэффективности (отчего они нормально греются в режиме 90% утилизации), а обычные, десктопные, которые жрут энергию и выделяют тепло как не в себя.

Мы можем положить в ячейку четыре, а то и восемь таких карт, и они будут спокойно работать на полную мощность, выжимая из себя все соки, не перегреваясь.

Второе — это разгон процессоров. Серверные линейки процессоров, например, интеловские, практически не гонятся. А вот десктопные — очень даже. И с помощью иммерсионки можно снять с них такой прирост производительности, который ни на воздухе, ни даже на навороченной водянке эффективно не охладишь.

А зачем это нужно? Где бабки, Лебовски?

Если вы можете подать больше питания в стойку, то получаете более компактные вычисления.

Это сразу значит, что вы занимаете меньше площади ЦОДа. А площадь ЦОДа — это дорого.

Вторая особенность — КПД всего процесса. Есть такой показатель PUE (Power Usage Effectiveness), который показывает, сколько энергии тратится на охлаждение по отношению к энергии, потребляемой самим IT-оборудованием.

У классического воздушного ЦОДа PUE редко бывает ниже 1,3 (то есть 30% энергии уходит на охлаждение). Я, честно говоря, таких с PUE 1,3 на практике и не видел. 1,6 встречается куда чаще. И это в Москве! А если взять регионы поюжнее, Астрахань или Ростов, там PUE будет ещё выше.

Каждый лишний процент в таком вопросе — это миллионы рублей, потому что электричество — самая дорогая часть содержания дата-центра.

В иммерсионке же тепло очень эффективно собирается жидкостью, передаётся через теплообменник в другую жидкость и утилизируется. Потери на насосы минимальны по сравнению с затратами на вентиляторы и чиллеры в воздушных системах.

В иммерсии же PUE получается значительно ниже. 1,1 — реальность.

И это только одна штука, которую умеет ванна.

Вторая — иммерсионке не нужны четырёхметровые потолки, как в традиционных ЦОДах для организации воздушных потоков. Фальшполы тоже как класс отсутствуют, хотя их можно использовать, чтобы под ними проложить коммуникации — трубки с водой для внешнего контура и кабели питания. То есть само здание может быть дешевле.

Третья причина вам уже понятна — из-за того, что мы разгоняем железо перед тем, как сделать «плюх», нам его не жалко, и оно не на поддержке вендора. Это, по сути, технология списания железа с тем, чтобы вытащить из него второе дыхание. У всех железо уезжает на Авито и Озон, а у нас — на дно. И ещё 1–3 года успешно булькает с частотой сильно выше, чем задумано для воздуха.

Хотя на самом деле даже не булькает, жидкость однородная.

Ну и всякие мелкие ништяки. Нет пыли, например. В обычном ЦОДе с этим целая война: бахилы на входе, мощная фильтрация воздуха, постоянная его гонка по внутреннему контуру через фильтры. А иммерсия эту проблему снимает сама по себе. Это просто отличная история для тех мест, где добиться высокой чистоты воздуха очень непросто.

Конечно, есть и обратная сторона: нужно следить за чистотой самой иммерсионной жидкости. Если она будет грязной, то всякие отложения могут осесть на компонентах. Поэтому периодически нужно делать ТО: сливать жидкость, прогонять через фильтры, очищать и заливать обратно. Так как контуры (и внутренний, и наружный) замкнутые, то в целом с этим особых проблем нет.

Из чего сделана ванна

1. Из самой ванны. Это, по сути, просто алюминиевый контейнер, где всё и происходит.

2. Ячейки. В них и размещается оборудование. Через них снизу подаётся холодная жидкость. Это что-то вроде рамы, куда крепятся серваки.

3. Насос. Он гоняет жидкость по замкнутому внутреннему контуру — снизу подаёт, сверху забирает тёплую. Просто на конвекции это не работает.

4. Теплообменник. Вот это, пожалуй, одна из самых дорогих частей всей установки. Через него тепло из иммерсионной жидкости передаётся во внешний контур.

5. Внешний контур с драйкулером. По этому контуру у нас гоняется уже обычная вода с небольшой примесью обычного глицерина. Эта вода идёт на драйкулер (это такая сухая градирня), где и охлаждается просто наружным воздухом.

Как готовить сервер в последний путь

Первая неочевидная особенность — высокая температура жидкости у скоплений проводов. Вот тут интересный момент. Если в ячейке на входе (внизу) жидкость подаётся с температурой порядка 25–30 градусов Цельсия, то на выходе (сверху) она уходит уже с температурой 45–50 градусов. А так как, пройдя через процессор, она как раз и достигает этих 45–50 градусов, то большая часть проводов внутри сервера постоянно находится при этой температуре. А для изоляции обычных проводов такая температура очень неприятная — они имеют свойство быстро разваливаться. Поэтому меняйте кабели блока питания и всё такое на силиконовые.

Дальше надо снять все кулеры и вообще всё движущееся. Движется среда, кулеры мешают и создают ненужные вибрации. С процессоров, с видеокарт, из блоков питания — всё снимаем. В иммерсионке они не нужны, там нет механического вращения, движение жидкости обеспечивается насосом и естественной конвекцией.

Некоторые железки слишком умные, и они управляют своими несуществующими кулерами. И когда кулеров нет, они начинают паниковать. Вот тут приходится использовать всякие программно-аппаратные хаки, чтобы они не парились о том, что у них чего-то не хватает на борту. Мы обычно просто замещаем сигнал и постоянно сигналим им, что кулер вращается на максимуме, всё в порядке.

Потом надо перебрать радиаторы. Не для всех материнских плат, не для всех устройств радиаторы вообще расположены так, как нужно для вертикального потока жидкости. Мы, например, искали платы, у которых процессор с оперативной памятью тоже ставится вертикально. У многих они ставятся горизонтально, что, соответственно, будет препятствовать нормальному охлаждению каждого второго, третьего и последующего модуля памяти в ряду. Жидкость должна проходить их насквозь, а не как пороги.

Нужна термопаста, устойчивая к вымыванию. Обычная термопаста со временем растворяется и вымывается из-под радиатора. Есть специальная, устойчивая к вымыванию. Нам её поставляет производитель иммерсионных установок. Новая намазывается навсегда. У нас рекорд 4 года, поэтому навсегда равняется именно этому сроку. Дольше сервак в ванне не жил.

Поток жидкости не такой сильный, чтобы смывать какие-то компоненты с платы. Никакие транзисторы или конденсаторы обмазывать ничем не надо.

Продумайте обслуживание жёстких дисков. С обычными rackmount-серверами есть нюансы. Их нужно класть зубами, то есть передней панелью вниз, чтобы поток жидкости шёл так же, как и воздушный поток, на который они рассчитаны (спереди назад). Это не всегда удобно. Например, с обслуживанием дисков, особенно если там система с горячей заменой. Рельсы-то рассчитаны на то, чтобы выдвигать сервер вперёд, а тут он лежит мордой вниз, и рельсы должны ходить вниз, что невозможно. Это решается кастомными средствами, как и любая инженерная задача. Вообще, от стандартных серверов, наверное, не самая высокая польза в иммерсионке, потому что их процессоры особо не разгонишь, а видеокарты в них обычно ставят энергоэффективные, не такие горячие, как десктопные.

Почему именно 40 градусов Цельсия?

Охлаждение сильно привязано к внешней температуре. Драйкулер рассчитывается на отвод определённого тепла, и есть температура окружающей среды. Сильно опустить температуру жидкости относительно неё проблематично и дорого — нужно будет накручивать драйкулер, делать его более ёмким. Держать температуру более высокой тоже не имеет смысла. Есть некий комфортный диапазон температур, который достигается без лишних усилий. Конечно, можно варьировать скорость насоса. Если гонять медленнее, то снизятся затраты на электричество для насоса, но тогда либо температура на выходе увеличится, либо придётся внешнему контуру с драйкулером работать интенсивнее. Там всё взаимосвязано: объём прогоняемой жидкости, её теплоёмкость, разница температур. Наша установка, например, прогоняет что-то порядка двух кубов воды в час по внешнему контуру.

Теплообменник тоже может стать узким местом при крайних нагрузках. А драйкулер у нас работает принудительно, в любую погоду. Мы смотрели на фрикулинг, но это более сложная история, особенно с нашими реалиями лета, зимы и тополиного пуха. И ещё зимой драйкулер нельзя останавливать ни в коем случае, иначе у него верхний слой просто замёрзнет, а потом полыхнут ванны, если не остановить железо.

Жидкость хорошо разбирает тепло, нет проблемы локальных перегревов. Наш производитель, кстати, каждую установку рассчитывает по термодинамике, по направлениям давлений — это тоже непростая история. А кроме процессора и видеокарты, сильно греется оперативная память. На некоторые модели для воздуха даже ставят специальные отдельные радиаторы. Сама материнская плата греется, оптические трансиверы, ну и блок питания, само собой.

RAID-контроллеры тоже могут быть очень горячими — у нас под датчиком на Hewlett-Packard в области RAID-контроллера температура за 60 градусов и выше. Но там совокупность компонентов. В самом начале обычно стоят диски (SSD не сильно греются, а вот SATA умеют), потом ряд вентиляторов, а дальше уже горячие компоненты.

Ещё бонусы

В ванне практически нет вибраций, потому что жидкость не кипит, не булькает и не идёт рывками. И шума от сотен воющих вентиляторов тоже нет. Максимум — тихое журчание от движения жидкости, но пузырьков там особо и нет, потому что она прокачивается. Так что в помещении с иммерсионкой можно спокойно разговаривать. Главное, чтобы ванны были накрыты крышками.

Насос, теплообменник — всё мониторится и контролируется. А мы от себя ещё добавили красивую RGB-подсветку. Просто голая серая ванна выглядит неказисто, а мы сделали прозрачную крышку, подсветку — и у нас ЦОД будущего. Гостям очень нравится. Админам ещё больше, но не потому, что светится, а потому, что световым индикатором можно выводить состояние. И вот цвет ячейки может показывать её статус в мониторинге.

Так вот, именно из таких ванн мы продаём инференс-вычисления и контейнерные вычисления, где нет требований к невероятным аптаймам. Если сервак утонет окончательно, он унесёт за собой в могилу несколько контейнеров, но контейнерная среда этого даже не заметит.

Так что если вы удивляетесь, почему у нас такая безумная экономика, — PUE 1,12 (сейчас, будет меньше) и возможность работать с железом 6 лет вместо 3–4. Так что приходите в гости, покажем, что там в ванной.

Почему туда не идут крупные игроки, раз всё так круто?

Постепенно идут. Вот отчёт McKinsey, там один из сценариев, что к 2030 году мировая мощность дата-центров почти утроится и ~70% этого роста придётся как раз на нужды инференса LLM. Это инвестиции в ~5,2 трлн долларов и потребность в 156 ГВт дополнительной мощности.

И главными узкими местами становятся электросети и охлаждение. Классический «воздух» просто не вывезет. Именно поэтому технологии вроде прямого жидкостного (direct-to-chip) и иммерсионного охлаждения (то, чем мы и занимаемся) перестают быть экзотикой.