Неконтролируемый ИИ-агент обошёлся Amazon в 1,8 миллиона долларов — перерасход составил 860%

Неконтролируемый ИИ-агент обошёлся Amazon в 1,8 миллиона долларов — перерасход составил 860%. Фото: СС0

Однако из-за отсутствия ограничения частоты вызовов модель непрерывно отправляла запросы в течение пяти месяцев, что привело к счету в 1,8 млн $, превысив бюджет на 860%, при этом проект так и не был успешно реализован.

Компания обнаружила аномалию только во время финансовой сверки, что вскрыло критическую проблему: в команде не было механизма оповещения о затратах в реальном времени, а мелкие дефекты кода оставались незамеченными, постоянно расходуя бюджет.

На внутреннем совещании руководители назвали этот случай «дорогостоящим примером» и сообщили о многочисленных аналогичных рисках, включая проекты с неожиданными дополнительными расходами в 540 тыс. $.

В ответ в Amazon начали срочно создавать систему контроля рисков с автоматизированным механизмом защиты, который будет ограничивать трафик и прерывать задачи при достижении определённого порога затрат, а также ужесточила правила, требуя полной проверки всего ИИ-сгенерированного кода людьми перед запуском.

Этот инцидент подчёркивает, что традиционные ошибки в коде отнимают время, тогда как неконтролируемые ИИ-программы постоянно генерируют денежные затраты, и переход ИИ от вспомогательного инструмента к автономному исполнителю требует смещения контроля затрат с уровня проекта на каждый отдельный вызов.

Урок Amazon служит тревожным сигналом для всей отрасли: прежде чем пользоваться преимуществами ИИ, предприятиям необходимо установить «аварийный тормоз» для автономных агентов, считают эксперты.