Яндекс обновил поиск на базе модели CS YATI

Яндекс усовершенствовал поиск с помощью нейросети CS YATI — это новая модель, обученная на документах для IT-специалистов и оценках экспертов по программированию. Поисковая выдача для разработчиков и ML-специалистов стала более качественной, а навигация по запросам — удобной.

Яндекс обновил поиск на базе модели CS YATI. Фото: из архива компании

Новая модель учитывает в полтора раза больше информации со страницы, чем её предыдущая версия — YATI. Обновлённая нейросеть-трансформер проанализировала множество поисковых запросов и сайтов, которые показываются по запросам, связанным с программированием. Это помогает ей лучше оценивать качество и релевантность документа запросу. Пропустив через себя терабайты документов о программировании и историю поиска экспертов, CS YATI также научилась предсказывать клики квалифицированных программистов, чтобы выдать наиболее релевантный ответ.

Помимо этого, Яндекс существенно доработал обогащённый ответ Stack Overflow. Прямо в результатах поиска, без перехода на сайт, пользователь увидит дополнительную информацию: сам вопрос, лучший ответ на него и другие комментарии, которые могут пригодиться программистам. Яндекс также улучшил отображение сниппетов для GitHub и NPM, добавив туда полезную информацию.

Из сообщения руководителя управления машинного интеллекта и исследований

«Известно, что львиная доля программистских запросов – это запросы на английском языке. CS YATI обучалась в основном на англоязычных источниках. Мы не просто усовершенствовали поиск для программистов: в процессе мы еще и улучшили поиск по англоязычным источникам».

В 2020 году Яндекс запустил технологию анализа текста на основе нейросетей-трансформеров, которые прекрасно решают задачи в области обработки естественного языка, но требуют огромного количества вычислительных ресурсов. Благодаря этой технологии Яндекс стал гораздо лучше оценивать смысловую связь между запросами и содержанием документов в интернете — настолько, что этот запуск можно считать крупнейшим событием в поиске за последние десять лет. Эта технология получила название YATI.

Startpack подготовил список облачных сервисов для программистов и разработчиков для повышения эффективности труда, совместной разработке и аналитики качества кода. Системы для планирования спринтов и этапов разработки с распределением полномочий, назначением конкретных задач и сроков. Автоматические решения по тестированию написанного кода и снижения количества ошибок в создаваемое программном обеспечении. Системы контроля версий, а также масштабирования приложений на популярных сетевых платформах.

Статьи по теме