В DigitalOcean запустили серверный инференс DeepSeek V3.2, MiniMax-M2.5 и Qwen 3.5 397B с рекордной скоростью 230 токенов в секунду

В DigitalOcean запустили серверный инференс DeepSeek V3.2, MiniMax-M2.5 и Qwen 3.5 397B с рекордной скоростью 230 токенов в секунду. Фото: из архива компании

Согласно независимым тестам Artificial Analysis, для DeepSeek V3.2 и Qwen 3.5 397B компания обеспечивает лучшую скорость вывода среди всех провайдеров. Показатели DeepSeek V3.2 при 10 тысячах входных токенов впечатляют: 230 выходных токенов в секунду, что в 3,9 раза быстрее, чем у AWS Bedrock (59 токенов в секунду), а время до первого токена составляет 0,96 секунды — быстрее только у Google Vertex среди 12 протестированных провайдеров. DigitalOcean также вошла в число всего трёх провайдеров, попавших в наиболее благоприятный квадрант на графике «Задержка против скорости вывода».

Такой результат стал возможен благодаря глубокой оптимизации каждого уровня стека. Аппаратной основой стал графический процессор NVIDIA HGX B300 с архитектурой Blackwell Ultra, предлагающий 288 ГБ памяти HBM3e — на 50% больше, чем у B200 — и в 1,5 раза большую вычислительную мощность NVFP4.

Инженеры DigitalOcean использовали квантование моделей в формат NVFP4, который сокращает использование памяти примерно в 1,8 раза по сравнению с FP8, а также применили тензорный параллелизм (конфигурации TP4 или TP8), слияние ядер, спекулятивное декодирование и многотокенное предсказание. Для MiniMax-M2.5 была обучена черновая модель EAGLE3 с помощью TorchSpec, что улучшило время на выходной токен на 23%.

Компания не собирается останавливаться на достигнутом: в планах — развитие многоузлового обслуживания с дезагрегированными конфигурациями и возможностями широкого экспертного параллелизма для самых ресурсоёмких агентных задач.