Команда WeChat Vision открыла исходный код мультимодальной модели WeMM-Embedding

Команда WeChat Vision открыла исходный код мультимодальной модели WeMM-Embedding. Фото: из архива компании

Это решение поддерживает одновременную обработку текстовых, графических и видео данных, а также визуальных документов, предоставляя разработчикам единый инструмент для создания приложений искусственного интеллекта с широкими мультимодальными возможностями.

Модель выпущена в трёх конфигурациях — на 2, 4 и 9 млрд параметров, что позволяет выбирать оптимальный баланс между производительностью и вычислительными затратами в зависимости от задач развёртывания.

В основе архитектуры лежит единый подход, усиленный двухэтапным обучением и технологией дистилляции знаний, благодаря чему удалось значительно повысить качество понимания разнородных входных данных без потери эффективности в реальных сценариях использования.

WeMM-Embedding уже прошла полноценную боевую обкатку в экосистеме WeChat: модель интегрирована в системы рекомендаций и поиска этого суперприложения, а её суточный объём онлайн-запросов превышает десять миллиардов.

По итогам тестирования на авторитетном бенчмарке MMEB-v2 девятимиллиардная версия заняла первое место с результатом 80,6 балла, а младшая версия на 2 млрд параметров обошла предыдущего лидера среди открытых моделей с 8 млрд параметров.

Открытый исходный код и публикация технического доклада знаменуют собой важный шаг Tencent в направлении построения открытой мультимодальной экосистемы. Разработчики уже могут ознакомиться с репозиторием на GitHub, скачать веса моделей с Hugging Face и использовать их как с штатным трансформерным конвейером, так и через библиотеку SentenceTransformer, что существенно упрощает интеграцию в существующие проекты.