Tencent Hunyuan 4 доказал, что в разработке больших моделей нет секретов, — только открытый код и лучшие кадры
Tencent Hunyuan 4 доказал, что в разработке больших моделей нет секретов, — только открытый код и лучшие кадры. Фото: СС0
По словам спикера, стремительный прогресс Tencent стал возможен благодаря опоре на экосистему открытого исходного кода и привлечению ведущих специалистов из конкурирующих компаний.
За четыре месяца Tencent провела полную реструктуризацию подразделения Hunyuan и выпустила конкурентоспособную модель, архитектура которой практически повторяет оптимальные инженерные решения, ранее подтверждённые предшественниками, включая скрытую размерность в 6144, 78 слоёв и 64 головки внимания, что позволило избежать дорогостоящих ошибок на ранних этапах проектирования.
В механизме внимания Hunyuan 4 объединила сразу несколько проверенных решений из открытого кода: разреженное внимание от DeepSeek, кэширование индексов от команды Zhipu GLM-5, а также схему идентификационных гиперсоединений, предложенную исследователем Microsoft в публичных обсуждениях, что позволило снизить вычислительные затраты индексатора на 75 процентов без потери качества генерации.
За этой технической эстафетой стоит живое движение талантов — Бай Юши, выпускник Университета Цинхуа и бывший ведущий архитектор Zhipu GLM-5, несколько месяцев назад присоединился к команде Tencent Hunyuan и уже фигурирует как соавтор в публикациях, посвящённых разреженному вниманию для сверхдлинных контекстов.
В отрасли складывается ситуация, когда любой значимый технический результат, опубликованный в виде статей, кода или экспериментальных данных, практически мгновенно становится общим достоянием, а разрыв между компаниями определяется не столько владением секретными методиками, сколько скоростью адаптации открытых решений и качеством команды, способной их интегрировать в рабочую систему.
Hunyuan 4 наглядно демонстрирует, что эпоха патентованных барьеров в архитектурах больших моделей подходит к концу, а конкуренция всё больше смещается в плоскость инженерной компетенции, вычислительных ресурсов и способности привлекать лучших исследователей, чьи знания и опыт физически переносятся из одной организации в другую.
В этом смысле Hunyuan 4 стала не просто техническим достижением, но и индикатором зрелости всей индустрии, где открытость и мобильность кадров постепенно нивелируют любые попытки построить «крепость» на исключительных знаниях.
Упомянутый сервис
Комментариев пока не было