DigitalOcean выпустила в публичное превью сервис Signals для наблюдения за работой AI-агентов

DigitalOcean выпустила в публичное превью сервис Signals для наблюдения за работой AI-агентов. Фото: из архива компании

Поводом для разработки стала проблема, знакомая многим командам: метрики показывают, что запуск агента завершился, и токены списаны, но ничего не говорят о том, был ли этот запуск удачным, а ручной разбор тысяч событий в разговоре не масштабируется, как и оценка каждого диалога другой моделью, стоимость которой может сравняться с затратами на самого агента.

Signals распознаёт 25 типов сигналов в трёх слоях. Интерактивные сигналы описывают реакцию пользователя — уточняющие вопросы, исправления, застой в разговоре, признаки разочарования и, наоборот, подтверждения и достижение цели.

Сигналы исполнения показывают, успешны ли вызовы инструментов, включая ошибки аргументов, повторы с изменёнными параметрами и осцилляцию между действиями.

Сигналы окружения фиксируют сбои инфраструктуры — ошибки внешних API, переполнение контекста, сетевые сбои, лимиты и таймауты. Обнаружение детерминированное и не требует вызова модели, поэтому стоимость наблюдения не растёт вместе с трафиком, а один и тот же разговор всегда даёт одинаковый набор сигналов. Каждый сигнал содержит запуск, индекс шага, оценку уверенности и фрагмент текста, что позволяет за несколько кликов перейти к проблемному месту.

В контролируемом исследовании на бенчмарке tau-bench аннотаторы признали информативными 82% сессий, отмеченных Signals, против 54% для случайно выбранных — иными словами, проверяющие находят примерно в полтора раза больше полезных случаев за то же время.

При этом сигналы не являются оценками: они лишь помечают сессию как заслуживающую внимания, будь то реальный сбой или удачный пример для обучения.

Сервис по умолчанию выключен и включается отдельно для каждого окружения, не требует инструментирования кода агента, а выгруженные датасеты с удалёнными персональными данными напрямую подаются в Evaluations и Simulations, превращая реальные производственные случаи в материал для проверки и улучшения агентов.

Для работы нужен doctl версии 1.181.0 или новее и токен с областями signals:query и signals:update; в превью аккаунты на бесплатном пробном периоде сервис недоступен. В дальнейшем DigitalOcean планирует подключить телеметрию вызовов инструментов через Action Gateway, добавить консольный интерфейс для сигналов Inference Engine и наладить автоматические выгрузки, а в перспективе — замкнуть цикл, чтобы находки Signals напрямую вели к изменениям агента, проверяемым на собственных оценках перед выпуском.