[ITmedia News] 「Microsoft 365」大規模障害、7月の修正で混入した不具合が原因 負荷増と容量減が重なり世界に波及
米Microsoftは11月15日(現地時間)、12日に発生したMicrosoft 365の大規模障害について、暫定的なインシデントレポートを公表した。7月に適用した修正に潜んでいた不具合が、サーバの負荷増加と処理能力の低下によって表面化し、障害が世界規模に連鎖したという。
Copilot、AIエージェント、プラットフォーム担当エグゼクティブバイスプレジデント(EVP)のチャールズ・ラマンナ氏が15日、Xに報告の要約を投稿した。詳細はMicrosoft 365管理センターで管理者向けに公開している。同氏は顧客への影響について謝罪した。
今回の障害は、Microsoft 365の各サービスへの通信を中継する「ネットワークゲートウェイ」で発生した。同社は原因として3つの要因を挙げている。
1つ目は、特定の負荷条件下でサーバが応答しなくなる潜在的な不具合だ。内部処理で複数の処理が同じ資源を取り合う「ロック競合」が原因で、7月に展開を始めたゲートウェイ専用の修正によって混入した。この更新プログラムは数週間かけて全世界に展開されたが、3カ月以上にわたって不具合は顕在化していなかった。
事前の負荷テストで不具合を検出できなかったのは、テスト環境と実際の運用環境で通信の特性やハードウェア構成が異なっていたためだ。不具合はCPUコア数の多い新しいサーバほど発生しやすかったが、負荷テストはコア数の少ない旧型のサーバを中心に実施していたという。なお、この不具合はMicrosoft 365のゲートウェイ固有のもので、Windows全般には影響しないとしている。
2つ目は負荷の増加だ。Microsoft 365は可用性を高めるため、独立した2つのネットワークゲートウェイシステムを運用している。障害発生の約15時間前、Teamsの通信が一方のゲートウェイから、Exchange Onlineも利用する主要ゲートウェイに切り替わった。これにより負荷が増え、通信のパターンも変化した。こうした切り替え自体は通常の運用の一部だという。
3つ目はサーバ容量の減少だ。前日に発生した別の問題によって、ゲートウェイのサーバ容量の約14%が利用できない状態だった。ただし、処理能力には余裕があり、この問題だけでは障害は発生していなかった。
これらの要因が重なり、米国の通信量がピークを迎える時間帯に7月から潜んでいた不具合が表面化した。リクエストが滞留してサーバが応答しなくなると、通常の自動復旧機能によって通信が他の正常なサーバに振り分けられた。しかし、振り分け先にも負荷が集中し、同じ不具合が発生。障害が連鎖的に拡大し、2時間足らずでサーバの80%以上が応答しなくなった。
本来、ゲートウェイには障害が他の区画や地域に広がるのを防ぐ仕組みがあるが、別の問題によって機能せず、影響が世界規模に及んだという。
Teams、OneDrive、SharePoint、Officeアプリなどは障害のあるゲートウェイを迂回できたため、比較的早く復旧した。Teamsのチャットや会議は障害期間の大半で正常に利用できたという。一方、Exchange Onlineなどは迂回できず、復旧に時間がかかった。
復旧作業が難航したのは、サーバを再稼働させても、滞留していた大量の通信が集中して再び応答しなくなったためだ。通常の自動復旧機能は、これほど大規模な障害を想定していなかった。また、不具合の原因となった修正が数カ月前に適用されたものだったため、通常のロールバック手順では即座に元の状態へ戻せなかった。
同社は問題のあるコードを以前の正常な状態に戻す更新を開発。サーバをグループ単位でいったん切り離し、更新と再起動を行ってから段階的にサービスに戻すことで復旧を進めた。
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.