В Xiaomi раскрыли прогресс обучения MiMo-V2.6
В Xiaomi раскрыли прогресс обучения MiMo-V2.6. Фото: СС0
Этот шаг может означать начало нового прорывного периода в исследовании Xiaomi физического мира и общего интеллекта (AGI), а соответствующие технические подробности планируется постепенно публиковать в открытом доступе в ближайшие недели.
В плане технической архитектуры в MiMo-V2.6 сейчас проводятся масштабные эксперименты по многозадачному агентному обучению с подкреплением (Agent RL). Команда расширила деятельность в трёх направлениях: на уровне вычислительной мощности достигнута полностью асинхронная параллельность обработки около 2 млрд токенов на шаг (1568 подсказок × 16 запусков).
На уровне среды создана агентная система обучения с подкреплением, поддерживающая смешанные фреймворки в одном запуске.
На уровне оценки внедрён внутренний механизм распределения кредитов с тестовыми примерами и бенчмарк-вознаграждениями.
На странице прямой трансляции отображаются ход обучения, расход токенов и показатели стоимости в режиме реального времени. Обучение версии MiMo-V2.6-Pro заняло приблизительно 1 день и 19 часов и обошлось в 890 тыс. $, тогда как версии MiMo-V2.6-Flash потребовалось 1 день и 14 часов, что обошлось в 397 тыс. $, а общая стоимость обучения обеих версий превысила 1,28 млн $.
Ло Фули — специалист по искусственному интеллекту, работающая в компании с 1995 года и ранее приглашённая Лэй Цзюнем из DeepSeek, — руководила разработкой многоязычного предварительного обучения в Alibaba DAMO Academy и DeepSeek-V2.
Она официально присоединилась к Xiaomi в ноябре прошлого года и возглавила команду по разработке больших моделей MiMo. В марте этого года модель MiMo-V2-Pro предыдущего поколения с триллионом параметров заняла 8-е место в глобальном рейтинге комплексных интеллектуальных моделей для анализа искусственного интеллекта (5-е место в рейтинге брендов).
Благодаря прозрачной потоковой передаче в реальном времени и открытому исходному коду MiMo-V2.6 демонстрирует глубокие знания Xiaomi в области закона масштабирования обучения с подкреплением (RL Scaling Law) и будет способствовать развитию передовых методов обучения больших моделей, переходя от подхода «проб и ошибок в чёрном ящике» к парадигме «процесса открытого исходного кода на уровне гиков».
Упомянутый сервис
Комментариев пока не было