来自Anthropic保障研究团队的研究御A越狱研究人员开发了一种新方法 ，用于保护人工智能模型免受通用越狱攻击。发现法防这种创新方法被称为“宪法分类器” ，新方型已在数千小时的通用人类红队测试和合成评估中表现出了显著的抗攻击能力。

通用越狱攻击是攻击指攻击者通过精心设计的输入
，绕过人工智能模型的研究御A越狱安全防护 ，迫使模型产生违反其安全准则的发现法防有害回应。云计算这些攻击可能涉及用长提示信息淹没模型 
，新方型或者使用不寻常的通用大写方式改变输入风格 ，尽管经过广泛的攻击安全训练
，大型语言模型仍然容易受到此类漏洞利用的研究御A越狱攻击
。

宪法分类器是基于合成数据训练的输入和输出分类器。它们能够过滤掉大多数越狱尝试，新方型同时将过度拒绝率降至最低，高防服务器通用并保持适度的攻击计算开销。该系统基于“宪法”——一份定义允许和禁止内容类别的原则清单 。

宪法分类器的训练和实施（来源：Anthropic）

以下是其工作原理：

在一个漏洞赏金计划中，183名活跃参与者花费超过3000小时，试图对保护Claude 3.5 Sonnet的原型系统进行越狱。尽管奖金丰厚
，但并未发现任何通用越狱漏洞
。不过，该原型系统的过度拒绝率和计算成本较高。源码库

自动化评估结果（来源：Anthropic）

宪法分类器的更新版本在Claude 3.5 Sonnet上进行了测试
，使用了1万个合成越狱提示。越狱成功率从86%降至4.4%
，拒绝率仅略有上升（0.38%） ，额外计算成本适度增加（23.7%） 。

虽然宪法分类器为AI模型提供了显著的保护，但要注意的是，它们并非万无一失
 。研究人员建议使用补充防御措施
，亿华云并根据新出现的越狱技术不断调整“宪法” 。

不过这一突破确实为未来安全部署更强大的 AI 模型带来了希望，减轻了越狱相关的风险，并确保AI系统符合安全原则
。

2025年2月3日至2月10日 ，宪法分类器系统的实时演示将开放供红队测试 。此次演示专注于与化学武器相关的查询 ，并邀请用户尝试越狱，建站模板以提供对系统改进的宝贵反馈。

参考来源 ：https://cybersecuritynews.com/researchers-uncovers-new-methods-to-defend-ai-models/#google_vignette