Исследователи представили Self-Harness — фреймворк, позволяющий ИИ-агентам переписывать собственные правила и повышать производительность до 60 процентов

Исследователи представили Self-Harness — фреймворк, позволяющий ИИ-агентам переписывать собственные правила и повышать производительность до 60 процентов. Фото: из архива Шанхайской лаборатории искусственного интеллекта

В отличие от традиционного подхода, где инженеры вручную настраивают системные промпты, инструменты, правила проверки и политики выполнения, что требует интуиции и ситуативной отладки, Self-Harness реализует трёхэтапный итеративный цикл: сначала агент выполняет набор задач и классифицирует неудачные трассировки для выявления специфических для модели паттернов сбоев, затем на основе этих паттернов генерирует разнообразные минимальные модификации системы, каждая из которых привязана к конкретному механизму отказа, и наконец, оценивает предложенные изменения с помощью регрессионных тестов, продвигая только те модификации, которые улучшают производительность без измеримого ухудшения в отложенных задачах.

В экспериментах на бенчмарке Terminal-Bench-2.0, тестирующем выполнение программ с использованием инструментов, исследователи применили Self-Harness с моделями MiniMax M2.5, Qwen3.5-35B-A3B и GLM-5, и результаты показали значительный рост производительности на отложенных задачах от 33 до 60 процентов в зависимости от модели, причём каждая модель получила целенаправленные исправления: для MiniMax, которая зависала в бесконечном исследовании конфигураций, система добавила прерыватель цикла после 50 вызовов инструмента; для Qwen-3.5, склонной к ошибкам перезаписи файлов, были введены строгие ограничения на повтор команд и механизм немедленного восстановления артефактов; для GLM-5, испытывавшей трудности с сохранением изменений среды, были добавлены правила сохранения переменных PATH и ограничения на внешние вычисления.

Основное преимущество Self-Harness заключается в том, что он не просто удлиняет промпты или добавляет общие инструкции, а вносит целенаправленные изменения, отражающие повторяющиеся проблемы, с которыми сталкивается каждая модель во время выполнения, что позволяет командам разработчиков развертывать надёжных пользовательских агентов, которые постоянно адаптируют свои протоколы выполнения для преодоления специфических для модели недостатков.

Впрочем, исследователи предупреждают, что автоматизация требует значительных вычислительных затрат, поскольку система заменяет часть работы инженеров на повторную генерацию предложений, параллельную оценку кандидатов и регрессионное тестирование, что означает больше токенов API, большую задержку и больше инфраструктуры.

Критическая зависимость Self-Harness от строгих, детерминированных верификаторов означает, что его следует развертывать в средах, где сбои можно измерить и где метод проб и ошибок относительно безопасен, например, в программировании, внутренней автоматизации рабочих процессов и DevOps-конвейерах, тогда как в областях с субъективной оценкой или высокими ставками, таких как медицина, критическая инфраструктура и юридические решения, полная автоматизация не рекомендуется.

По мнению ведущего автора исследования Ханьфана Чжана, роль инженеров в корпоративном секторе сместится от ручного исправления отдельных промптов и вызовов инструментов к проектированию систем обратной связи, которые позволят улучшать работу агентов, превращая специалиста из настройщика промптов в архитектора обратной связи.