В Xiaomi раскрыли прогресс обучения MiMo-V2.6

Ло Фули, руководитель группы разработки большой модели Xiaomi MiMo и бывший исследователь DeepSeek, опубликовала на платформе X сообщение, впервые публично раскрыв прогресс обучения с подкреплением (RL) для новейшей большой модели компании MiMo-V2.6, а также запустила страницу с данными об обучении в реальном времени, открыв прямую трансляцию всего этапа RL.
В Xiaomi раскрыли прогресс обучения MiMo-V2.6

В Xiaomi раскрыли прогресс обучения MiMo-V2.6. Фото: СС0

Этот шаг может означать начало нового прорывного периода в исследовании Xiaomi физического мира и общего интеллекта (AGI), а соответствующие технические подробности планируется постепенно публиковать в открытом доступе в ближайшие недели.

В плане технической архитектуры в MiMo-V2.6 сейчас проводятся масштабные эксперименты по многозадачному агентному обучению с подкреплением (Agent RL). Команда расширила деятельность в трёх направлениях: на уровне вычислительной мощности достигнута полностью асинхронная параллельность обработки около 2 млрд токенов на шаг (1568 подсказок × 16 запусков).

На уровне среды создана агентная система обучения с подкреплением, поддерживающая смешанные фреймворки в одном запуске.

На уровне оценки внедрён внутренний механизм распределения кредитов с тестовыми примерами и бенчмарк-вознаграждениями.

На странице прямой трансляции отображаются ход обучения, расход токенов и показатели стоимости в режиме реального времени. Обучение версии MiMo-V2.6-Pro заняло приблизительно 1 день и 19 часов и обошлось в 890 тыс. $, тогда как версии MiMo-V2.6-Flash потребовалось 1 день и 14 часов, что обошлось в 397 тыс. $, а общая стоимость обучения обеих версий превысила 1,28 млн $.

Ло Фули — специалист по искусственному интеллекту, работающая в компании с 1995 года и ранее приглашённая Лэй Цзюнем из DeepSeek, — руководила разработкой многоязычного предварительного обучения в Alibaba DAMO Academy и DeepSeek-V2.

Она официально присоединилась к Xiaomi в ноябре прошлого года и возглавила команду по разработке больших моделей MiMo. В марте этого года модель MiMo-V2-Pro предыдущего поколения с триллионом параметров заняла 8-е место в глобальном рейтинге комплексных интеллектуальных моделей для анализа искусственного интеллекта (5-е место в рейтинге брендов).

Благодаря прозрачной потоковой передаче в реальном времени и открытому исходному коду MiMo-V2.6 демонстрирует глубокие знания Xiaomi в области закона масштабирования обучения с подкреплением (RL Scaling Law) и будет способствовать развитию передовых методов обучения больших моделей, переходя от подхода «проб и ошибок в чёрном ящике» к парадигме «процесса открытого исходного кода на уровне гиков».

Упомянутый сервис
DeepSeek Нейросеть для генерации текста, кода и работы с документами.
Нейросеть для генерации текста, кода и работы с документами.

Больше интересного

Актуальное

Завтраки в кафе: как проверить меню и экономику до запуска Яндекс восстановил более 99 % данных на Диске «Чёрная пятница» в сервисе финучёта Adesk — до 6 месяцев подписки в подарок
Ещё…

Популярные теги