Команда DigitalOcean за месяц отразила две критичные уязвимости гипервизора без последствий для клиентов

Команда DigitalOcean за месяц отразила две критичные уязвимости гипервизора без последствий для клиентов. Фото: из архива компании

Первая — уязвимость Januscape (CVE-2026-53359) в механизме вложенной виртуализации KVM — была раскрыта публично 6 июля, и в тот же вечер в интернете появился рабочий эксплойт. Команда ядра DigitalOcean отреагировала оперативно: уже через 75 минут после получения оповещения был собран и проверен первый livepatch, позволяющий исправить работающее ядро без перезагрузки и миграции виртуальных машин.

В течение 48 часов тысячи гипервизоров на ядрах версий 6.1 и 6.12 получили защиту. Однако около трехсот выделенных серверов работали на более старой ветке 5.10, для которой не существовало официального исправления.

Инженеры написали собственный livepatch с нуля, но посчитали его недостаточно проверенным для развертывания на клиентах с наивысшими требованиями к изоляции и доступности. Вместо этого команда приняла решение эвакуировать рабочие нагрузки с этих хостов, полностью переустановить операционную систему с новым ядром и вернуть машины в строй.

Эта операция — самая тяжелая из возможных для обслуживания инфраструктуры, и изначально на нее требовалось три с половиной недели, но за счет временного перераспределения серверов из соседних пулов, возврата в строй простаивающих машин и почти трехкратного увеличения параллелизма обслуживания срок удалось сократить до полутора недель.

Параллельно livepatch для 5.10 проходил дополнительное тестирование и к 13 июля получил необходимое подтверждение надежности, а на следующий день покрытие достигло ста процентов — ровно через восемь дней после раскрытия уязвимости.

Но еще до того, как история с Januscape была полностью завершена, в конце июля DigitalOcean получил частное уведомление в рамках программы скоординированного раскрытия уязвимостей о новой проблеме, затрагивающей все процессоры AMD архитектуры Zen.

Исследователи обнаружили, что точно выверенное прерывание может ослабить механизм Safe RET, который защищает от спекулятивных атак типа Return Stack Overflow, и этот метод, как позже выяснилось, работал и против процессоров Intel.

На этот раз livepatch был невозможен — компилятор встроил критический код напрямую, не оставив точки для замены, поэтому всем примерно 1600 гипервизорам в двенадцати регионах требовалась перезагрузка с новым ядром.

Однако команде не пришлось изобретать процессы заново: механизмы эвакуации, автоматизация, структура управления инцидентом и круглосуточный мониторинг — всё это уже было отлажено во время первой кампании.

Ядро с исправлением предварительно установили на каждый хост, что сократило время простоя отдельных машин с часов до минут.

Перезагрузка началась 31 июля, и уже к 5 августа весь парк AMD был обновлен — за день до того, как уязвимость стала публичной. Когда 6 августа вышло официальное бюллетень AMD и клиенты начали задавать вопросы, DigitalOcean уже мог ответить, что проблема устранена на всей инфраструктуре.

Главный урок этих двух событий — в повторяемости результата, утверждают в компании. Первая реакция на Januscape была в известной степени импровизацией: команды изобретали способы найти свободные мощности, взвешивали риски непроверенного патча против медленной переустановки и выбирали путь, который ставил безопасность клиентов во главу угла.

Вторая реакция, спустя три недели, стала работой уже отлаженной системы. Те же принципы распределения мощностей, та же автоматизация, та же приоритизация клиентов с самыми высокими требованиями к доступности — только на этот раз всё работало штатно.

В DigitalOcean устранили две критических уязвимости гипервизора за один месяц без единого подтвержденного инцидента, затронувшего клиентов, и компания намерена продолжать сокращать время реакции, потому что разрыв между раскрытием уязвимости и появлением эксплойта неуклонно сжимается, говорится в сообщении компании.