DigitalOcean автоматизировала выбор моделей ИИ с помощью обновлённого Inference Router

DigitalOcean автоматизировала выбор моделей ИИ с помощью обновлённого Inference Router. Фото: из архива компании

Как отмечают в компании, новые модели появляются каждые несколько недель, и «ручная гонка» за выбором лучшей из них отнимает время, которого у команд и без того нет, а графики запуска показывают лишь сильные стороны модели, но не её слабые места.

Теперь достаточно отправить запрос, указав inference-router в качестве модели, а маршрутизатор сам направит его той модели, которая лучше всего подходит для конкретной задачи по результатам общедоступных тестов производительности.

Внутри используется весь каталог моделей DigitalOcean — передовые модели от Anthropic и OpenAI, а также открытые модели вроде Kimi, GLM и DeepSeek, доступные по одному запросу, причём каждая новая модель проходит одинаковую проверку и добавляется в маршрутизатор только при соответствии требованиям.

Поскольку каждый запрос уходит к подходящей модели, клиенты перестают платить за работу, с которой более эффективная модель справляется не хуже, и по внутренним тестам в области разработки программного обеспечения, логического мышления и работы с агентами Inference Router показал более высокую точность, чем Claude Opus 5.5 и GPT-6 Astra, при затратах примерно на 22% ниже.

Пользователям больше не нужно повторно проводить оценки при запуске модели, переписывать правила маршрутизации при изменении состава участников, повторно развёртывать систему для замены модели или проводить совещания о том, стоит ли переходить на другой вариант.

На странице «Начало работы с Inference Router» в облачной консоли DigitalOcean отображаются результаты тестов для каждого варианта использования, сравнение маршрутизатора с лучшей моделью и выбор моделей, причём информация обновляется при добавлении модели или повторном запуске оценки, хотя приведённые результаты основаны на внутренних оценках по состоянию на 12 октября 2026 года и могут различаться в зависимости от конфигурации.

Маршрутизатор оценивает модели в самых разных задачах, анализируя качество, стоимость и задержку, а при поступлении запроса считывает его, сопоставляет с нужной задачей и с учётом предпочтений выбирает наилучшую модель, по своей природе учитывая кэширование и сохраняя модель для повторного использования кэша, если только переключение не окупится.

Первоначально маршрутизатор обучается на категориях разработки программного обеспечения, рабочих процессов агентов, а также общего интеллекта и логического мышления, и, хотя он показывает хорошие результаты в публичных тестах и внутренних оценках, это не гарантирует столь же хороших результатов в тестах клиента, поэтому вскоре появится возможность использовать собственную систему критериев оценки и принести свой набор данных, чтобы определение успеха определяло победителя.

Маршрутизатор полностью управляется DigitalOcean, и для большинства запросов участие пользователя не требуется, однако при желании можно использовать функцию budget, подталкивающую маршрутизатор к более дешёвым моделям или моделям более высокого качества, когда успех критичен, хотя настройка routing_preference: balanced по умолчанию, как ожидается, подойдёт большинству клиентов.