Сбер анонсировал Molotilka — новый инструмент для непрерывного обучения фундаментальных нейросетевых моделей
Сбер анонсировал Molotilka — новый инструмент для непрерывного обучения фундаментальных нейросетевых моделей. Фото: СС0
В нем реализована автоматизация постоянного дообучения с минимальным забыванием старых знаний. Сервис для использования постоянно дообучаемых при помощи Molotilka больших нейросетевых моделей доступен в Cloud ML Space — платформе для ML-разработки полного цикла.
В современном мире поток знаний непрерывен, каждый день происходит множество событий. При обучении большой нейросетевой языковой модели обычно используется срез данных, доступных в интернете или других источниках на текущий момент. Таким образом, модель не будет обладать знаниями о том, что произошло в этом году, если обучили ее в прошлом. Для этого была создана Molotilka, которая обладает актуальными знаниями в каждый момент времени, и при этом помнит и старые знания.
В первой версии фреймворка была использована языковая модель ruGPT-3, которую команда SberDevices обучила ранее на большом корпусе текстов из различных источников: книги, интернет и т.д. На основе скачанных данных из нескольких новостных источников регулярно формировался небольшой датасет, в который добавлялось немного случайных данных из большого датасета так, чтобы соотношение старых и новых данных соответствовало заданной пропорции. После чего ruGPT-3 дообучалась на смешанном наборе данных с применением современных методов борьбы с катастрофическим забыванием. В ходе этого эксперимента применялись разные подходы, и в результате был выбран вариант на основе adapters — с добавлением специальных слоев и их последующим дообучением.
Так появился инструмент, названный Molotilka, который позволяет проводить непрерывное обучение языковых моделей с повторением некоторых заранее заданных действий. Например, таких как скачивание актуальных данных из новостных источников, их предобработка, создание датасета для дообучения языковой модели и ее оценка на разных задачах.
ML Toolkit for Continuous Learning может применяться в таких областях:
- стандартное применение ruGPT-3 как языковой модели, обладающей актуальными знаниями о мире;
- задание кастомизированных задач с постоянным дообучением модели на новых данных: классификация, извлечение информации, диалоговые системы и пр.
Теперь при помощи специального сервиса пользователи Cloud ML Space получили через API доступ к наиболее актуальной версии ruGPT-3, которая всегда в курсе свежих новостей, трендов и мемов, а также к предыдущим версиям модели. Пример использований API размещён в открытом доступе. В скором времени к числу постоянно дообучаемых моделей добавятся и другие нейросети Сбера.
Из сообщения руководителя управления экспериментальных систем машинного обучения, SberDevices Сергея Маркова:
«Molotilka — базовый инфраструктурный элемент «электронного мозга фирмы». Специализированные интернет-краулеры экосистем будущего будут днём и ночью сканировать бездонные просторы всемирной паутины, а мощные тензорные суперкомпьютеры будут постоянно дообучать фермы больших моделей машинного обучения, которые станут интеллектуальным ядром множества продуктов, инструментов и сервисов. При этом на продуктовом уровне возникнет не только возможность опираться на актуальную информацию и тренды, то также и изучать динамику информационного пространства для того, чтобы быстро и качественно принимать важные решения, влияющие на стратегию и тактику компаний на рынке».
Startpack подготовил список систем управления облачными сервисами для решения корпоративных и персональных задач. Готовые решения по переходу на облачные технологии без участия программистов или системных администраторов. Возможность интеграции нескольких сервисов в единую инфраструктуру — от офисных пакетов до CRM- и ERP-систем. Автоматизация подключения к облачным хранилищам, виртуальным АТС и серверам, мессенджерам. Защита данных при передаче из одного облачного сервиса в другой.
Статьи по теме
- Александр Ведяхин: «Искусственный интеллект — важная объединяющая международная повестка».
- Сбербанк с помощью ИИ вдвое повысил качество при обслуживании звонков B2B-клиентов в контактный центр.
- Владимир Путин пообещал льготы для бизнеса при внедрении отечественного ПО на базе искусственного интеллекта.
Комментариев пока не было