Anthropic представила ИИ-модель Fable с жесткими ограничениями для кибербезопасности

Компания Anthropic представила свою новую ИИ-модель Fable, позиционируя ее как публичную, но ограниченную версию своей мощной и широко обсуждаемой модели Mythos, предназначенной для кибербезопасности. Однако введенные ограничения вызвали недовольство среди ряда исследователей и специалистов по кибербезопасности, которые уже выразили свое разочарование в сети.

Ограничения модели Fable

По словам Валентины «Чомпи» Пальмиотти, известного исследователя безопасности из IBM X-Force, Fable отклоняет любые запросы, которые могут быть хоть как-то связаны с кибербезопасностью, включая даже такие безобидные задачи, как чтение записи в блоге. Когда запрос активирует встроенные меры безопасности, Fable приостанавливает диалог и сообщает, что «данное сообщение было отмечено нашими мерами безопасности как связанное с темами кибербезопасности или биологии».

Эти защитные механизмы были введены для снижения риска использования Fable для разработки вредоносного программного обеспечения или компрометации систем, что является давней проблемой для Anthropic. Ограничения, касающиеся биологии, вызваны аналогичными опасениями по поводу создания биологического оружия.

Расширение доступа к Mythos

Когда ИИ-гигант выпустил Mythos в апреле, он ограничил доступ к модели лишь небольшому числу компаний и организаций в рамках инициативы Project Glasswing. Целью проекта было внедрение модели для защиты критически важного программного обеспечения и инфраструктуры. На прошлой неделе Anthropic расширила доступ к Mythos для сотен организаций в 15 странах мира.

Мнение экспертов

Однако, несмотря на благие намерения, многие эксперты по кибербезопасности недовольны беспорядочным характером ограничений. Ветеран кибербезопасности Мэтт Суич сообщил изданию TechCrunch, что «если попросить модель написать безопасный код, она воспринимает это как работу, связанную с кибербезопасностью, а не как передовую практику разработки программного обеспечения, и в итоге функциональность снижается». Fable запрограммирована переключаться на модель Claude Opus 4.8, если сталкивается с такими ограничениями. «Похоже, это основано на ключевых словах, поэтому любое слово из лексического поля «кибербезопасность» активирует защитные механизмы».

«Тем не менее, это объяснимо, поскольку мы находимся на ранних этапах, и они все еще адаптируют свои защитные механизмы. Уверен, что со временем они будут развиваться, поскольку Anthropic и другие разработчики передовых моделей будут активнее сотрудничать с новым поколением компаний в сфере кибербезопасности», — отметил Суич, являющийся техническим специалистом в стартапе Tolmo, специализирующемся на кибербезопасности с использованием ИИ. Он добавил, что «лучше изначально охватить больше потенциальных проблем, чем недостаточно, при таком релизе, и затем постепенно смягчать ограничения».

Другой исследователь выразил недовольство в социальной сети X, заявив, что «даже запрос на проверку кода» активирует защитные механизмы Fable. Компания Anthropic не предоставила немедленных комментариев по запросу.

Помимо встроенных ограничений в моделях, Anthropic требует от специалистов по кибербезопасности подачи заявок на участие в Программе киберверификации (Cyber Verification Program). В случае одобрения участники получают меньше ограничений на использование модели Claude для работы, связанной с кибербезопасностью. Аналогичная программа, «Надежный доступ для кибербезопасности» (Trusted Access for Cyber), существует у OpenAI.

Твитнуть