Сбер анонсировал Molotilka — новый инструмент для непрерывного обучения фундаментальных нейросетевых моделей

В рамках прошедшей 23–24 ноября конференции по искусственному интеллекту AI Journey команда SberDevices представила новый инструмент Molotilka (ML Toolkit for Continuous Learning) для работы с пайплайнами больших языковых моделей.
Сбер анонсировал Molotilka — новый инструмент для непрерывного обучения фундаментальных нейросетевых моделей

Сбер анонсировал Molotilka — новый инструмент для непрерывного обучения фундаментальных нейросетевых моделей. Фото: СС0

В нем реализована автоматизация постоянного дообучения с минимальным забыванием старых знаний. Сервис для использования постоянно дообучаемых при помощи Molotilka больших нейросетевых моделей доступен в Cloud ML Space — платформе для ML-разработки полного цикла. 

В современном мире поток знаний непрерывен, каждый день происходит множество событий. При обучении большой нейросетевой языковой модели обычно используется срез данных, доступных в интернете или других источниках на текущий момент. Таким образом, модель не будет обладать знаниями о том, что произошло в этом году, если обучили ее в прошлом. Для этого была создана Molotilka, которая обладает актуальными знаниями в каждый момент времени, и при этом помнит и старые знания.

В первой версии фреймворка была использована языковая модель ruGPT-3, которую команда SberDevices обучила ранее на большом корпусе текстов из различных источников: книги, интернет и т.д. На основе скачанных данных из нескольких новостных источников регулярно формировался небольшой датасет, в который добавлялось немного случайных данных из большого датасета так, чтобы соотношение старых и новых данных соответствовало заданной пропорции. После чего ruGPT-3 дообучалась на смешанном наборе данных с применением современных методов борьбы с катастрофическим забыванием. В ходе этого эксперимента применялись разные подходы, и в результате был выбран вариант на основе adapters — с добавлением специальных слоев и их последующим дообучением.

Так появился инструмент, названный Molotilka, который позволяет проводить непрерывное обучение языковых моделей с повторением некоторых заранее заданных действий. Например, таких как скачивание актуальных данных из новостных источников, их предобработка, создание датасета для дообучения языковой модели и ее оценка на разных задачах.

ML Toolkit for Continuous Learning может применяться в таких областях:

  • стандартное применение ruGPT-3 как языковой модели, обладающей актуальными знаниями о мире;
  • задание кастомизированных задач с постоянным дообучением модели на новых данных: классификация, извлечение информации, диалоговые системы и пр.

Теперь при помощи специального сервиса пользователи Cloud ML Space получили через API доступ к наиболее актуальной версии ruGPT-3, которая всегда в курсе свежих новостей, трендов и мемов, а также к предыдущим версиям модели. Пример использований API размещён в открытом доступе. В скором времени к числу постоянно дообучаемых моделей добавятся и другие нейросети Сбера.

Из сообщения руководителя управления экспериментальных систем машинного обучения, SberDevices Сергея Маркова:

«Molotilka — базовый инфраструктурный элемент «электронного мозга фирмы». Специализированные интернет-краулеры экосистем будущего будут днём и ночью сканировать бездонные просторы всемирной паутины, а мощные тензорные суперкомпьютеры будут постоянно дообучать фермы больших моделей машинного обучения, которые станут интеллектуальным ядром множества продуктов, инструментов и сервисов. При этом на продуктовом уровне возникнет не только возможность опираться на актуальную информацию и тренды, то также и изучать динамику информационного пространства для того, чтобы быстро и качественно принимать важные решения, влияющие на стратегию и тактику компаний на рынке».

Startpack подготовил список систем управления облачными сервисами для решения корпоративных и персональных задач. Готовые решения по переходу на облачные технологии без участия программистов или системных администраторов. Возможность интеграции нескольких сервисов в единую инфраструктуру — от офисных пакетов до CRM- и ERP-систем. Автоматизация подключения к облачным хранилищам, виртуальным АТС и серверам, мессенджерам. Защита данных при передаче из одного облачного сервиса в другой.

Статьи по теме

Больше интересного

Актуальное

Администрация Slack обвиняет Microsoft в нечестной игре
Утечка данных WhatsApp* привела к продаже почти 500 миллионов пользовательских записей
Социальные сети остаются «рассадником» мошенничества
Ещё…