Gartner: 40 процентов ИИ-агентов обречены на понижение или вывод из эксплуатации из-за проблем с управлением
Gartner: 40 процентов ИИ-агентов обречены на понижение или вывод из эксплуатации из-за проблем с управлением. Фото: Freepik
Главная причина провалов — бинарный подход, при котором компании либо полностью доверяют агентам, либо пытаются тотально их ограничить, не учитывая уровень автономности и масштаб деятельности каждого конкретного агента.
Шива Варма, старший директор-аналитик Gartner, пояснил, что, когда одни и те же меры контроля применяются без разбора, организации сталкиваются с двумя типами сбоев: чрезмерное ограничение простых агентов замедляет разработку и провоцирует появление теневых версий, тогда как недостаточный контроль над более автономными агентами увеличивает операционные, безопасностные и комплаенс-риски.
Особую опасность представляют агенты, способные действовать в масштабе и со скоростью, недоступной человеческому контролю. Поскольку ответственность за их результаты остаётся за организацией, такие агенты требуют непрерывного мониторинга, соблюдения ограничений, механизмов быстрого отката и автоматических выключателей.
Ранее The Register уже указывал, что поставщики вроде SAP, Oracle и Salesforce активно продвигают агентов ИИ, но вряд ли возьмут на себя юридическую ответственность за их действия.
По словам Баладжи Аббабатуллы из Gartner, вендоры используют юридические формулировки, защищающие их в отношении технологий, и говорят не об ответственности, а о мониторинге, наблюдаемости и аудите.
Партнер Linklaters Джорджина Кон добавила, что действующие законы плохо применимы к ИИ-агентам, поскольку они всегда предполагают действие человека или компании, но при этом невозможно представить мир, где создатели агентов не несут за них ответственности. Gartner рекомендует компаниям классифицировать ИИ-агентов по уровням автономности, выстраивая для каждого уровня отдельную границу доверия и пропорциональные требования к управлению, иначе широко разрекламированная технология обернётся массовым разочарованием.
Упомянутые сервисы
Комментариев пока не было