DigitalOcean представила Signals и Simulations для наблюдения за агентами и проверки исправлений до релиза

DigitalOcean представила Signals и Simulations для наблюдения за агентами и проверки исправлений до релиза. Фото: из архива компании

Simulations, новая функция Evaluations, позволяет тестировать изменения в реалистичных многоэтапных сценариях на той же инфраструктуре и с теми же инструментами, что и в продакшене, прежде чем они достигнут пользователя.

Обе функции работают на инфраструктуре, которую клиенты уже используют, и передают данные в тот же инструмент оценки: Signals показывает, что пошло не так, а Simulations позволяет протестировать исправление до выпуска.

Сбои агентов часто выглядят технически успешными: вызов инструмента вернул код 200, но с неправильным регионом; разговор завершился, но пользователь ушёл раздражённым. Signals отслеживает этот класс сбоев в масштабе, используя Inference Engine, Harness Runtime и Action Gateway.

Сервис объединяет диалоги в сессии и классифицирует их по трём параметрам: сигналы взаимодействия, отслеживающие настроение пользователя, включая исправления, эскалации и уход; сигналы выполнения, отслеживающие надёжность инструмента, включая недопустимые аргументы и циклы повторных попыток; и сигналы окружающей среды, отслеживающие инфраструктуру, включая тайм-ауты, ограничения скорости и переполнение контекста. Тренды отображаются в представлении Signals в Harness Runtime и Serverless Inference, и от любого тренда можно перейти к сессиям, стоящим за ним.

Поскольку объём трассировок может превышать 100 ГБ/с, Signals выполняет недорогую первичную сортировку, чтобы найти сессии, заслуживающие внимания. Метод, описанный в статье Signals: Trajectory Sampling and Triage for Agentic Interactions, на бенчмарке τ-bench достиг 82 процентов информативности и 1,52-кратного повышения эффективности по сравнению со случайной выборкой.

Отмеченные сессии становятся сценариями оценки одним щелчком мыши. Signals является добровольным, удаляет персональные данные перед обработкой и хранит трассировки в пределах команды; они никогда не используются для обучения моделей разных клиентов.

В симуляциях тестируется вся беседа, а не один ответ. Агенты дают сбои на разных этапах: корректировка исправляет один шаг и ломает следующий, а контрольная точка регрессирует по реальному поведению. Каждый сценарий начинается с конфигурации агента, поэтому проверяет только поддерживаемые цели и инструменты.

При включённых сигналах генерация сценариев ориентирована на проблемные области трафика; без данных управляемое уточнение создаёт базовый набор. Сценарий можно описать простым языком, например, «запрос на возврат средств от разгневанного клиента с отсутствующими данными заказа».

Симулятор пользователя пошагово воспроизводит действия против кандидата в изолированной песочнице на Harness Runtime с той же конфигурацией и инструментами Action Gateway. Инструменты, записывающие данные или требующие оплаты, могут запускаться как имитации, поэтому тесты не затрагивают рабочие системы. Каждый сценарий воспроизводится несколько раз, и каждое воспроизведение — эпизод, создающий одну траекторию. Судья LLM оценивает траектории по метрикам: достижение цели пользователя, сохранение знаний, точность использования инструментов, а также пользовательские метрики.

Симуляции отличают ошибку рассуждения от ошибки инструмента, а сравнение базового уровня с кандидатом показывает, что улучшилось, а что ухудшилось. Функция работает на любой платформе Harness Runtime, включая Claude Code, Codex и OpenCode; сторонние агенты вроде LangChain и CrewAI пока не поддерживаются.

Цикл работы выглядит так: агент запущен на управляемых агентах, а Harness Runtime и Action Gateway уже генерируют события, поэтому дополнительный мониторинг не нужен. Signals отслеживает события, объединяет ходы в сессии, сортирует их и аннотирует по трём категориям. Отмеченные сессии одним щелчком превращаются в сценарии оценки. В режиме моделирования эти сценарии прорабатываются в виде полноценных диалогов в изолированной среде, после чего каждый запуск оценивается. Затем пользователи внедряют подтверждённые изменения, а сохранённые сценарии становятся регрессионными тестами.

Функции доступны в режиме публичного предварительного просмотра. Signals включается в консоли DigitalOcean в разделе «Сигналы»; обработка данных может занять до часа. Симуляция запускается в разделе «Оценки»: выбирается сценарий, кандидат, модель симулятора и метрики, задаётся число эпизодов и лимит ходов. После использования набор сценариев блокируется, а для изменений его нужно скопировать.

Моделирование интегрировано с тарифами Agent Droplets, которые дают скидки 15 процентов для Pro и 20 процентов для Team на генерацию сценариев, моделирование поведения и оценку LLM.