Команда MiniMax обещает внедрить архитектуру разреженного внимания для модели M3 с ускорением обработки миллионов токенов в 15,6 раза

Команда MiniMax обещает внедрить архитектуру разреженного внимания для модели M3 с ускорением обработки миллионов токенов в 15,6 раза. Фото: СС0

Как сообщил ведущий инженер проекта Скайлер Мяо в социальных сетях, в сценарии со сверхдлинным контекстом в 1 млн токенов новая архитектура демонстрирует впечатляющие результаты по сравнению с предыдущей моделью M2, использовавшей полное внимание: скорость на этапе предварительного заполнения выросла в 9,7 раза, а на этапе декодирования — в 15,6 раза.

Механизм работы MSA сочетает быструю индексацию через отдельную индексную ветвь с точными вычислениями через ветвь разреженного внимания, что эффективно решает проблему квадратичного роста вычислительных затрат, характерную для традиционных трансформеров при обработке длинных контекстов.

Создатель Redis Сальваторе Санфилиппо уже назвал MSA «правильным путём», отметив, что затраты на полное внимание при локальном развёртывании становятся неустойчивыми.

Примечательно, что MiniMax ранее отказывалась от эффективных архитектур в M2, поскольку линейное и разреженное внимание демонстрировали проблемы с производительностью в сложных задачах, связанных с программированием, математикой и длинными цепочками рассуждений.

Официальный запуск M3 ожидается во второй половине 2026 года, и пока неясно, будет ли модель доступна в открытом виде, однако в компании уже заявили, что делают ставку на M3 как на флагманский продукт в своей стратегии перехода от разработки моделей к платформенной экосистеме искусственного интеллекта.