Microsoft представила предварительное объяснение массового сбоя Microsoft 365 12 ноября. По оценке компании, сочетание программной ошибки, изменения маршрута трафика и сокращения доступных мощностей менее чем за два часа вывело из строя до 80% серверов сетевых шлюзов. Сбой затронул в том числе Outlook, Exchange Online, Teams и SharePoint.
Как передаёт IT Home со ссылкой на пояснение руководителя Microsoft Чарльза Ламанны, программная ошибка появилась ещё в июле при исправлении шлюза Microsoft 365. Она вызывала конфликт между процессами, претендующими на один ресурс, из-за чего сервер переставал отвечать при определённой нагрузке. Обычные проверки не выявили проблему: в тестовой среде использовалось преимущественно более старое оборудование, тогда как на новых серверах с большим числом ядер ошибка проявлялась легче.
За несколько часов до сбоя Microsoft перевела трафик Teams с резервного шлюза на основной, который также обслуживал Exchange Online. Это изменило распределение нагрузки. При этом из-за отдельной проблемы, возникшей накануне, около 14% мощности шлюзов уже было недоступно — оставшихся ресурсов хватало для обычной нагрузки.
Когда серверы начали переставать отвечать, система автоматически направляла их трафик на работающие узлы. Дополнительная нагрузка запускала ту же программную ошибку уже на них, и отказ распространялся дальше. По объяснению Microsoft, ещё одна проблема помешала изолировать сбой между отдельными группами серверов и регионами. Компания планирует опубликовать более подробный технический отчёт позднее на этой неделе.