Способную уместиться на смартфоне большую языковую модель создали в Microsoft

Команда исследователей Microsoft анонсировала новую большую языковую модель (LLM) Phi-3, которая достаточно мала, чтобы ее можно было хранить локально на смартфоне.

Способную уместиться на смартфоне большую языковую модель создали в Microsoft. Фото: СС0

В исследовательской статье разработчики Phi-3 объясняют, что LLM обучался как на реальных, так и на «синтетических», или сгенерированных ИИ, данных.

Из сообщения компании:

«Сочетание фильтрации веб-данных на основе LLM и синтетических данных, созданных LLM, обеспечивает производительность в меньших языковых моделях, которые обычно наблюдались только в гораздо более крупных моделях.»

Три версии Phi-3 под названием Mini, Small и Medium были обучены на большем количестве данных, чем предшественница Phi-2. Создатели утверждают, что Phi-3 может работать на том же уровне, что и такие модели, как Mixtral 8x7B от Mistral или GPT-3.5 от OpenAI.

В ходе тестирования исследователи Microsoft смогли запустить Phi-3 Mini с iPhone с чипом Apple A16 Bionic и заставить его писать стихи, составлять список развлечений в Хьюстоне, штат Техас, а также придумывать название для научной статьи.

Однако во время обучения Phi-3 Medium исследователи заметили, что его возможности не растут пропорционально более крупной модели. В результате версии Medium и Small все еще находятся в разработке, но Mini выпускается на Hugging Face, Azure и Ollama.

Microsoft рассматривает Phi-3 как комбинацию своих предшественников Phi-1 и Phi-2. У нее не такая обширная база знаний, как у других моделей, таких как GPT-4, но она способна писать код, выполнять творческие задачи или отвечать на информационные вопросы.

Startpack подготовил список систем искусственного интеллекта. Искусственный интеллект (ИИ) широко используется в бизнесе — начиная от повышения качества обслуживания клиентов до автоматизации бизнес-процессов. Один из видов искусственного интеллекта — нейронные сети. Нейросети с помощью алгоритмов способны распознавать закономерности в данных и генерировать новые. Это лишь часть сфер, где может применяться искусственный интеллект. Внедрение искусственного интеллекта в работу компании сократит расходы и время.

Статьи по теме