DigitalOcean внедрила встроенную систему оценки моделей и маршрутизаторов для производственного вывода

DigitalOcean внедрила встроенную систему оценки моделей и маршрутизаторов для производственного вывода. Фото: СС0

Теперь разработчики могут выполнять структурированную оценку LLM-as-a-Judge для каталоговых моделей, доработанных версий, импортированных BYOM-решений и настроек маршрутизаторов без необходимости создания отдельного стека для оценки.

Система возвращает баллы по каждому элементу с подробным обоснованием, отслеживает задержку, количество токенов и стоимость каждого запуска, а из коробки доступны шесть предварительно настроенных метрик, включая правильность, полноту, достоверность, персональные данные, токсичность и предвзятость, однако для специализированных областей команды могут создавать собственные рубрики с индивидуальными инструкциями и критериями оценки непосредственно в задании.

Предварительные настройки сохраняют полную конфигурацию запуска, включая модель судьи, метрики и системные подсказки, что позволяет повторно использовать их для разных версий моделей и напрямую сравнивать результаты между версиями v1, v2 и v3, а поддержка MCP, API и SDK даёт возможность программно запускать задания оценки на основе событий регистрации моделей, триггеров развертывания или расписаний в рамках CI-конвейеров и агентных рабочих процессов.

Управление наборами данных реализовано как полноценный ресурс с версионированием, отслеживаемостью и возможностью загрузки файлов в форматах CSV и JSONL объёмом до 1 ГБ или 1000 строк, причём все оценки проводятся на тех же производственных конечных точках, где работают пользователи, а плата взимается исключительно за токены вывода, потребляемые моделью-кандидатом и моделью-судьёй.

Хранение наборов данных и результатов остаётся бесплатным в течение первых двенадцати месяцев, а для доступа к премиальным коммерческим моделям от OpenAI и Anthropic требуется учётная запись второго уровня с предоплатой через консоль.