Отсутствие контроля может привести к массовому отказу от автономных ИИ-агентов к 2027 году

Аналитическая компания Gartner предупреждает: к 2027 году около 40% крупных предприятий могут быть вынуждены свернуть использование автономных систем искусственного интеллекта. Основной причиной станет несовершенство механизмов управления, недостатки которых зачастую проявляются только после возникновения серьезных инцидентов.

Риски чрезмерного доверия и жестких ограничений

Исследователи отмечают, что текущий подход бизнеса к ИИ-агентам часто носит крайний характер: либо полное ограничение функционала, либо слепое доверие к системе. Подобная модель управления создает серьезные уязвимости для компаний в ближайшие годы.

• Необоснованное доверие предоставляет агентам доступ к критически важным системам, для которых у них нет соответствующих полномочий.
• Чрезмерно строгие внутренние политики вынуждают сотрудников использовать сторонние, не одобренные ИТ-отделом инструменты, что повышает риск утечки корпоративных данных.

Четырехуровневая система контроля ИИ

Для предотвращения критических сбоев эксперты рекомендуют внедрить гибкую систему управления доступом, состоящую из четырех этапов:

• Уровень 1: Наблюдение. Агенты получают доступ только для чтения к ограниченным источникам данных, а результаты их работы предоставляются исключительно запросившему пользователю.
• Уровень 2: Консультирование. Система формирует рекомендации, которые требуют обязательного ручного одобрения сотрудником. При этом возможность записи или изменения данных в системах по-прежнему отсутствует.
• Уровень 3: Действие с одобрения. ИИ-агенты могут выполнять операции, записывать данные и отправлять сообщения, но только после получения явного подтверждения от человека для каждого отдельного действия.
• Уровень 4: Автономное действие. Полная автоматизация процессов. Участие человека сохраняется на этапах аудита, рассмотрения исключительных ситуаций и анализа общих результатов работы системы.

Старший директор-аналитик Шива Варма подчеркивает, что ответственность за результаты работы алгоритмов по-прежнему несет организация. Максимальная автономность требует строгого надзора, включая непрерывный мониторинг, автоматические предохранители, механизмы мгновенного отката изменений и четкое распределение зон ответственности за поведение каждого агента.

Отчет Gartner служит напоминанием для бизнеса: поспешный переход к полной автономии без проработки прав доступа и систем защиты может нанести значительный ущерб безопасности предприятия. Взвешенный подход к управлению позволяет избежать экстренных отключений ИИ-решений в будущем.

Твитнуть