Tencent Hunyuan 4 доказал, что в разработке больших моделей нет секретов, — только открытый код и лучшие кадры

Яо Шуньюй, перешедший из OpenAI в Tencent, недавно заявил, что в создании больших моделей не существует никаких скрытых технических барьеров, и результаты недавно выпущенной модели Hunyuan 4 с 770 млрд параметров и поддержкой контекста в миллион токенов наглядно подтвердили это утверждение.
Tencent Hunyuan 4 доказал, что в разработке больших моделей нет секретов, — только открытый код и лучшие кадры

Tencent Hunyuan 4 доказал, что в разработке больших моделей нет секретов, — только открытый код и лучшие кадры. Фото: СС0

По словам спикера, стремительный прогресс Tencent стал возможен благодаря опоре на экосистему открытого исходного кода и привлечению ведущих специалистов из конкурирующих компаний.

За четыре месяца Tencent провела полную реструктуризацию подразделения Hunyuan и выпустила конкурентоспособную модель, архитектура которой практически повторяет оптимальные инженерные решения, ранее подтверждённые предшественниками, включая скрытую размерность в 6144, 78 слоёв и 64 головки внимания, что позволило избежать дорогостоящих ошибок на ранних этапах проектирования.

В механизме внимания Hunyuan 4 объединила сразу несколько проверенных решений из открытого кода: разреженное внимание от DeepSeek, кэширование индексов от команды Zhipu GLM-5, а также схему идентификационных гиперсоединений, предложенную исследователем Microsoft в публичных обсуждениях, что позволило снизить вычислительные затраты индексатора на 75 процентов без потери качества генерации.

За этой технической эстафетой стоит живое движение талантов — Бай Юши, выпускник Университета Цинхуа и бывший ведущий архитектор Zhipu GLM-5, несколько месяцев назад присоединился к команде Tencent Hunyuan и уже фигурирует как соавтор в публикациях, посвящённых разреженному вниманию для сверхдлинных контекстов.

В отрасли складывается ситуация, когда любой значимый технический результат, опубликованный в виде статей, кода или экспериментальных данных, практически мгновенно становится общим достоянием, а разрыв между компаниями определяется не столько владением секретными методиками, сколько скоростью адаптации открытых решений и качеством команды, способной их интегрировать в рабочую систему.

Hunyuan 4 наглядно демонстрирует, что эпоха патентованных барьеров в архитектурах больших моделей подходит к концу, а конкуренция всё больше смещается в плоскость инженерной компетенции, вычислительных ресурсов и способности привлекать лучших исследователей, чьи знания и опыт физически переносятся из одной организации в другую.

В этом смысле Hunyuan 4 стала не просто техническим достижением, но и индикатором зрелости всей индустрии, где открытость и мобильность кадров постепенно нивелируют любые попытки построить «крепость» на исключительных знаниях.

Упомянутый сервис
DeepSeek Нейросеть для генерации текста, кода и работы с документами.
Нейросеть для генерации текста, кода и работы с документами.

Больше интересного

Актуальное

Завтраки в кафе: как проверить меню и экономику до запуска Яндекс восстановил более 99 % данных на Диске «Чёрная пятница» в сервисе финучёта Adesk — до 6 месяцев подписки в подарок
Ещё…

Популярные теги