RTFM-ошибка гиперскейл-уровня: инженер Google Cloud уронил часть облака, разом отключив все оптические кабели

Google Cloud раскрыла довольно курьёзную причину частичного сбоя в регионе us-central1-b, который произошёл 1 сентября с 07:41 до 11:52 по тихоокеанскому времени (PT). Часть облака физически отключил от Сети инженер, обслуживавший оборудование, сообщает The Register. Это привело к «серьёзному ухудшению работы сети и изоляции ресурсов».

По данным Google, в разгар инцидента объём проходящего трафика в пострадавшей области облака «сократился на 100 %», из-за чего ряд инстансов оказался попросту недоступен пользователям, а потери пакетов ожидаемо выросли. Компания пояснила, что при проектировании облачных ЦОД занимается резервированием маршрутизаторов, но против человеческой «смекалки» ей противопоставить нечего. Система рассчитана на двойные и даже тройные отказы использует раздельное питание оборудования и несколько ВОЛС. Тем не менее, как оказалось, все эти меры защиты можно обойти, просто выдернув кабели из гнёзд.

Сообщается, что непосредственной технической причиной сбоя стало отключение оптоволоконных кабелей в ходе стандартных работ по обслуживанию оборудования. Компания сообщила, что инженер последовательно отключил 100 % оптоволоконных соединений всего за 13 мин. Характер ошибки и высокая скорость работы «инициативного» сотрудника не позволили вовремя предупредить его о неправильных действиях до полного отключения.

Источник изображения: Jimmy Nilsson Masth/unsplash.com

После отключения маршрутизаторов ВМ в одной из зон доступности региона us-central1-b физически потеряли связь с внешним миром. Хотя их возможность обмена данными други с другом сохранилась, пользователи не могли получить к ним доступ хотя бы для того, чтобы понять, что происходит. После того, как в Google выявили проблему, трафик был перенаправлен с маршрутизаторов, отключенных инженером, на «работоспособные мощности в других частях региона». Затем инженеры вернули кабели назад и восстановили исходную конфигурацию сети. Предполагается, что виноватый в сбое инженер нарушил базовое требование, предполагающее чтение инструкций до того, как браться за работу.

Человеческий фактор неоднократно становился причиной сбоев в США и за их пределами. Так, летом 2025 года австралийские военные по ошибке «положили» Wi-Fi и радио на побережье Новой Зеландии. В декабре 2025 года появилась новость, что лень и безалаберность инженеров Nokia и Optus в Австралии привели к смерти людей, которые не смогли дозвониться до скорой. Как отмечает Uptime Institute, сбои в дата-центрах стали реже, но значительнее.

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER. | Можете написать лучше? Мы всегда рады новым авторам.