
Сбой Microsoft 365: ошибка в программе месяцами оставалась незамеченной
Сбой Microsoft 365 на прошлой неделе вызвала программная ошибка, которую никто не замечал несколько месяцев. Об этом сообщил Чарльз Ламанна, один из руководителей Microsoft. По его словам, менее чем за два часа более 80 процентов серверов компании стали недоступны. Он написал об этом в соцсети X.
Сбой начался в прошлый четверг, примерно в 18:40. Первые жалобы пользователей поступили на работу Teams, Copilot и SharePoint. Всего проблема длилась около 20 часов и создала трудности во многих странах.
Сначала Microsoft заявила, что хакерской атаки не было. Причиной назвали перегрузку серверов. Теперь Ламанна опубликовал предварительный отчёт с подробностями.
Как ошибка попала в систему
В июле Microsoft изменила программу на серверах, которые обрабатывают весь сетевой трафик Microsoft 365. По словам Ламанны, в это изменение попала скрытая ошибка. В некоторых условиях разные процессы на одном сервере начинали блокировать друг друга.
Такая ситуация называется lock contention. Несколько процессов пытаются получить доступ к одному ресурсу и вынуждены ждать друг друга. В итоге сервер зависает.
Microsoft раньше не замечала проблему. Изменение уже несколько месяцев работало во всём мире, а обычные проверки ошибку не показали. Она чаще проявлялась на мощных серверах. Программу же в основном тестировали на менее мощных.
Три фактора, которые усилили друг друга
Одной ошибки для масштабного сбоя было бы мало. Сыграло роль сочетание нескольких причин.
Первая причина связана с Teams. Примерно за 15 часов до сбоя Teams перешёл на другую сетевую платформу. Microsoft использует две отдельные сетевые системы, чтобы службы работали при неполадках. Затем Teams вернули на основную систему.
Эта основная платформа обрабатывает и трафик Exchange Online, почтовой службы Microsoft. В результате нагрузка выросла на серверах, которые уже были уязвимы для скрытой ошибки.
Вторая причина: накануне из-за отдельного инцидента почти 14 процентов мощности серверов временно не работали. В обычной ситуации это не стало бы проблемой. Вместе с перегрузкой и ошибкой в программе это оказалось серьёзно.
Цепная реакция на серверах
Из-за лишнего трафика и ошибки серверы начали зависать. Пользователей автоматически перенаправляли на работающие серверы. Но там трафик внезапно вырос, и они сталкивались с той же ошибкой.
«Так возникает цепная реакция. Всё больше серверов выходит из строя. Менее чем за два часа более 80 процентов серверов становятся недоступны», — пишет Ламанна.
Обычно разные части сети должны защищать друг друга при проблемах. На этот раз защитный механизм не сработал так, как задумано.
Почему сбой длился 20 часов
Возникает вопрос: почему такую большую проблему не удалось решить быстрее. По словам Ламанны, автоматические механизмы восстановления не сработали. Когда серверы снова включались, на них сразу обрушивался накопившийся трафик. Они опять отключались.
Откатить изменение тоже было трудно. Оно появилось ещё в июле. Обычные системы, которые возвращают прежнюю версию программы или временно отключают новую, не смогли быстро исправить ошибку.
В итоге Microsoft пришлось разработать новое обновление. Оно вернуло проблемный код в прежнее, стабильное состояние.
Что сбой означал для работы в Бельгии
Сбой затронул и бельгийские компании. Телерадиокомпания VRT NWS сообщала о проблемах в бельгийских фирмах и аптеках. Также были жалобы на здоровье посетителей парка развлечений Phantasialand.
Для тех, кто живёт в Бельгии, это значит следующее. Если вы работаете через Teams, Outlook или SharePoint, такой сбой может остановить рабочий день. Он нарушает связь с коллегами, клиентами и службами, которые используют эти сервисы.
Если от этих программ зависит ваша работа, имеет смысл заранее знать запасные каналы связи. Например, телефон или другой мессенджер. Тогда при следующем сбое вы сможете быстро связаться с нужными людьми.
