データセンターがスプリンクラーの「誤作動」で水浸しになりかけた事例

マシンルームを社内に設けた理由のひとつは知的財産権が侵害されることへの懸念であり、もうひとつは「緊急事態にすべての電源コードを抜いて、取引システムを停止させられるようにする保険」でした。Jane Streetには原子力潜水艦で働いていたパートナーが存在し、その人物の提言によって自動化システムを手動でシャットダウン可能にしていたとのこと。

会社が成長するにつれて、マシンルームにはオンラインUPS(無停電電源装置)やコンピュータールーム用空調設備(CRAC)、冷蔵庫サイズのネットワークスイッチ、ディーゼル発電機、大規模なサーバーキャビネットなどが追加され、大規模なデータセンターへと拡張されていきました。これらがすべて、ニューヨークの超高層のワンフロアに詰め込まれていたというわけです。

バカレラ氏はJane Streetに勤務し始めてからしばらくたった頃、片道1時間以上かかる通勤生活にうんざりして、会社からほど近いアパートを借りました。アパートから取引フロアのデスクまではドアツードアで徒歩9分で、システムチームのメンバーにその便利さを自慢していたそうです。

ある日の夕方、仕事を終えてアパートのエレベーターに乗ろうとしたバカレラ氏に電話がかかってきました。電話はJane Streetの香港支社からのもので「ニューヨークのデータセンターで煙感知器が作動した」という内容でした。

煙感知器が作動した原因は、データセンターの隣の部屋で作業していた請負業者が何かを切断する際に発生した粉塵(ふんじん)でした。この粉塵を煙感知器が検知したわけですが、この時点ではデータセンターのスプリンクラーは作動していませんでした。

Jane Streetのデータセンターでは、通常時は配管に通水せず、スプリンクラーヘッドとは別に設置された煙感知器が煙を感知するとまず配管へ通水し、その後、スプリンクラーヘッドに内蔵された熱検知器が放水を必要とするだけの熱を検知すると放水を行うという方式のスプリンクラーが導入されていました。

スプリンクラーの方式のおかげでまだ放水は行われていない状態でしたが、システムには「火災発生中に室内の空気が循環していると延焼につながるので、煙が感知されたらCRACユニットを停止する」という動作が組み込まれていました。

CRACユニットが停止すると排熱と冷却が行われなくなり、多数のラックが並ぶデータセンターの室温は上昇。火災は発生していないにもかかわらず、熱検知器が動作する150℉(65.6℃)に到達する可能性がありました。

もしスプリンクラーが動作してしまうとデータセンターに放水が行われ、Jane Streetの事業継続に支障が出かねないため、バカレラ氏は急いでオフィスにUターンしました。

エレベーターで33階まで上りオフィスに飛び込んだバカレラ氏を待っていたのは、サウナと化したデータセンターでした。バカレラ氏は両手でラックごとに電源コードを引き抜いて機器を無理やり停止させていきました。その結果、室温の上昇は143.6℉(62℃)という熱検知器動作のギリギリのところで食い止められました。

また、問題が発生した時間帯にはニューヨークの主要市場はすでに閉まっていたため、データセンターを無理やりシャットダウンした影響も最小限に抑えることができたそうです。

その後、Jane Streetでは一連の事態に関する会議が開かれ、「スプリンクラーはそのまま残しつつ手順と監視体制を強化し、オフィスビルでのデータセンター運用も続ける」という決定が下されました。

バカレラ氏は対策として、「各Linuxサーバーのオンボードセンサーで温度を計測し、1分ごとに全体の平均値を計算して、多くのサーバーで一斉に温度が上昇しているかどうかを検出する」というシステムを構築。温度上昇が確認された際はシステムチーム全員にアラートを発信し、データセンターが過熱状態になっていないか確認する体制になったとのことです。