Проблема авторизации: почему конфиденциальность не гарантирует безопасность ИИ

В сфере корпоративной кибербезопасности распространено мнение, что уязвимость искусственного интеллекта (ИИ) на этапе выполнения связана исключительно с незащищенностью данных в процессе их обработки. В качестве решения часто предлагается использование шифрования памяти, аппаратных анклавов и криптографического подтверждения. Однако эксперты предупреждают: правильная модель конфиденциальности не обеспечивает автоматическую безопасность ИИ. Без решения вопроса авторизации риски для компаний в ближайшие полтора года будут только расти.

Ошибка в диагностике угроз

Традиционный подход к безопасности выделяет три состояния данных: при хранении, при передаче и в процессе использования. Считается, что первые два состояния уже защищены, и достаточно изолировать выполнение процессов, чтобы решить проблему. По словам обозревателей, это системная ошибка. Безопасность ИИ — это в первую очередь проблема управления идентификацией и действиями, а не просто защита данных.

Современные инциденты чаще всего связаны не с кражей параметров модели из оперативной памяти, а с избыточными привилегиями агентов. В обзоре отмечается, что угрозу представляют ситуации, когда модель выполняет опасную команду, потому что она была вежливо сформулирована, или когда автоматизированная учетная запись использует права доступа, которые никто не проверял. Эти проблемы невозможно решить простым шифрованием.

«Ловушка вежливости» и разница между этикой и защищенностью

Существует важное различие между этической безопасностью ИИ (alignment — соблюдение рамок и фильтрация контента) и технической защищенностью (security). Модели, обученные быть полезными и безобидными, парадоксальным образом становятся уязвимыми перед злоумышленниками.

Если атакующий маскирует вредоносный запрос под стандартную бизнес-задачу, именно стремление модели помочь заставляет ее содействовать взлому. Это явление называют «ловушкой вежливости». В то время как этические фильтры определяют, что модель готова сделать, техническая безопасность должна жестко ограничивать то, что ей разрешено делать. Конфиденциальные вычисления не решают ни одну из этих задач.

Как должен выглядеть контроль в реальном времени

Ключевой вопрос для любой работающей ИИ-системы заключается в том, кто именно проверяет политику доступа в момент, когда агент пытается совершить действие. В большинстве современных компаний логика авторизации разрознена: она скрыта в коде приложений, правилах облачного доступа или жестко прописанных условиях, за которые никто не отвечает.

По данным экспертов, в типичной корпоративной среде количество нечеловеческих учетных записей (сервисных аккаунтов, API-ключей, токенов) превышает число живых пользователей в соотношении 82 к одному. Настоящее обеспечение безопасности на этапе выполнения требует:

• Наличия точки принятия решения, которая стоит на пути каждого действия ИИ.
• Проверки каждого вызова инструмента или обращения к данным в течение считанных миллисекунд.
• Применения политик, оформленных в виде программного кода, которые можно проверять и тестировать.
• Ведения детального журнала, который позволяет понять, почему то или иное действие было разрешено или отклонено.

Почему аппаратная изоляция не закрывает бреши

Существует риск, что организации внедрят технологии конфиденциальных вычислений и ошибочно сочтут вопрос безопасности закрытым. Хотя аппаратные анклавы защищают от физического доступа к серверу или компрометации гипервизора, они не мешают ИИ-агенту с избыточными правами удалить базу данных или перевести средства на сторонний счет по указанию злоумышленника. В прогнозах на 2026 год отмечается, что компаниям следует направлять бюджеты на системы контроля исполнения, а не только на шифрование.

Вопросы для оценки защищенности инфраструктуры

Для проверки любого ИИ-агента, работающего в корпоративной среде, эксперты рекомендуют ответить на три вопроса:

• Какая конкретно система оценивает допустимость вызова инструмента и где происходит эта оценка?
• Сколько учетных записей использует агент для выполнения задачи и кто проверял разрешения для каждой из них?
• Каков будет масштаб ущерба, если агент будет скомпрометирован через подмену инструкций (инъекцию промпта) или отравление используемых им инструментов?

Шифрование памяти не дает ответов на эти вызовы. Безопасность обеспечивается только слоем авторизации, который работает непосредственно в момент принятия решения. Организации, которые осознают это, смогут безопасно масштабировать ИИ-системы, в то время как остальные будут лишь увеличивать свои риски.

Твитнуть