Массовый сбой Microsoft 365 был вызван изменением IP-адреса маршрутизатора WAN

Массовый сбой Microsoft 365 был вызван изменением IP-адреса маршрутизатора WAN. Фото: СС0

В компании заявили, что сбой произошел из-за проблем с конфигурацией сети DNS и WAN, вызванных обновлением WAN. У пользователей во всех регионах, обслуживаемых затронутой инфраструктурой, возникли проблемы с доступом к службам Microsoft 365.

Эта проблема привела к волнообразному влиянию на службу, достигавшему пика примерно каждые 30 минут. В список служб, затронутых сбоем, входили Microsoft Teams, Exchange Online, Outlook, SharePoint Online, OneDrive для бизнеса, PowerBi, центр администрирования Microsoft 365, Microsoft Graph, Microsoft Intune, Microsoft Defender для облачных приложений и Microsoft Defender для идентификации.

Команде инженеров потребовалось более пяти часов, чтобы решить проблему.

Из сообщения компании:

«Между 07:05 UTC и 12:43 UTC 25 января 2023 года у клиентов возникали проблемы с сетевым подключением, проявляющиеся в длительной сетевой задержке и/или тайм-аутах при попытке подключения к ресурсам, размещенным в регионах Azure, а также к другим службам Microsoft, включая Microsoft 365 и Power Platform. Хотя большинство регионов и служб были восстановлены к 09:00 UTC, периодические проблемы с потерей пакетов были полностью устранены к 12:43 UTC. Этот инцидент также затронул облачные службы для государственных организаций, которые зависели от общедоступного облака Azure».

Проблема была вызвана изменением IP-адреса маршрутизатора WAN с помощью команды, которая не была тщательно проверена.

Из сообщения компании

«В рамках запланированного изменения для обновления IP-адреса на маршрутизаторе WAN команда, данная маршрутизатору, заставляла его отправлять сообщения всем другим маршрутизаторам в глобальной сети, в результате чего все они пересчитывали свои таблицы смежности и переадресации. Во время этого процесса пересчета маршрутизаторы не могли правильно пересылать проходящие через них пакеты».

В то время как сеть начала восстанавливаться самостоятельно, начиная с 08:10 UTC, автоматизированные системы, отвечающие за поддержание работоспособности глобальной сети (WAN), были приостановлены из-за воздействия на сеть. 

Они включали в себя инструменты для выявления и устранения неработоспособных устройств, а также управления трафиком для оптимизации потока данных по сети. 

В результате паузы некоторые сетевые пути продолжали терять пакеты с 9:35 UTC до тех пор, пока системы не были перезапущены вручную, вернув WAN в оптимальные рабочие условия и завершив процесс восстановления в 12:43 UTC.

После этого инцидента в Microsoft заявили, что теперь компания блокирует выполнение высокоэффективных команд. Их выполнение будет соответствовать рекомендациям по безопасным изменениям конфигурации.

Startpack подготовил список сервисов для мониторинга IT-активов и управления ими. Позволяют оперативно вести учёт и проводить инвентаризацию оборудования, отслеживать перемещение техники и расходных материалов, получать оперативную информацию об актуальности лицензий программного обеспечения предприятия. Программные комплексы помогут оперативно развернуть IT-активы компании и наладить связку с подразделениями или удалёнными филиалами.

Статьи по теме

• Microsoft выпустила обновление для проверки устаревших установок Office. 
• Предварительная сборка Windows 11 упрощает изучение причин сбоя компьютера. 
• Удаленные дефектным правилом ASR Defender ярлыки воссоздает сценарий Microsoft.