Ложное срабатывание пожарной сигнализации едва не погубило нью‑йоркский дата‑центр Jane Street

Один из крупнейших маркетмейкеров на Уолл‑стрит Jane Street чуть не лишился единственного дата‑центра в Нью‑Йорке из‑за ложного срабатывания системы пожарной сигнализации. Об этом рассказал бывший участник команды системных администраторов.

По его словам, долгое время в Jane Street настаивали на том, чтобы серверная находилась в непосредственной близости от торгового зала. Отчасти это объяснялось опасениями за интеллектуальную собственность: руководство не хотело рисковать тем, что серверы могут украсть шпионы, чтобы выведать ценные торговые стратегии. Другая причина — технологические риски: в компании хотели быть уверенными, что если автоматизированные торговые системы выйдут из‑под контроля, их всегда можно будет остановить, просто перебежав через коридор и выдернув кабели питания.

Однако по мере роста компании скромное помещение с оборудованием превратилось в полноценный дата‑центр внушительных размеров. В нём появились источники бесперебойного питания, системы кондиционирования для серверных помещений (CRAC), сетевые коммутаторы размером с холодильник, подземный резервный дизель‑генератор и около десяти рядов серверных стоек — по десять шкафов в каждом ряду. Всё это размещалось в самом центре небоскрёба по адресу New York Plaza.

Однажды в дата‑центре сработала пожарная сигнализация. В тот момент в помещении рядом работали подрядчики. Выяснилось, что поднятая ими пыль спровоцировала срабатывание датчика дыма. При этом в офисных зданиях для тушения пожаров используются спринклерные системы, которые не оснащены датчиками дыма. Активирует подачу воды именно тепло: в каждой спринклерной головке есть термочувствительная заглушка, которая открывается, когда воздух вокруг неёдостаточно сильно нагревается. Логика такова: если сработала пожарная сигнализация, значит, возник реальный пожар; а если температура поднялась настолько, что открылись спринклеры — значит, справиться с огнём иными способами не удалось, и пора заливать его водой.

Однако система пожарной сигнализации была настроена на автоматическое отключение прецизионных кондиционеров.

Сотрудник отмечает, что другая команда в Гонконге обнаружила проблему лишь по чистой случайности: кто‑то заметил на мониторе, что температура на одном сервере за другим начинает расти. Однако сами по себе серверы не были настроены на отправку оповещений при небольшом повышении температуры.

Таким образом, работнику требовалось как можно быстрее добраться до офиса, попасть в серверный зал и выдернуть кабели питания из каждого устройства, прежде чем температура превысит 150 градусов по Фаренгейту (около 65°C) и сработают спринклеры.

Сотрудник поделился, что он успел отключить питание. Поскольку основные биржи Нью‑Йорка к тому времени уже закрылись, простой из‑за этого оказался минимальным, и уже на следующее утро серверы были в строю.

В итоге топ‑менеджмент решил оставить спринклерную систему пожаротушения, ужесточить регламенты и контроль, а также не убирать серверы из офиса.