Claude Code砸的坑,蚂蚁安全在尝试填上

蚂蚁以经典的CIA三元组,也就是机密性、完整性、可用性为理论底座,再结合三份OWASP大模型与智能体安全指南的实践经验,把智能体可能出现的风险依次拆解排列。

这里还有个讨巧的设计,由于骨干网络是冻结的,真正下判断的是外挂在上面的轻量分类头,所以以后一旦冒出新风险,只需要补训一个小头就行,轻松实现原生可扩展。

示意图

所以答案很清晰了,单靠打补丁抑制风险是治标不治本,行业内缺的不是一个又一个补丁,归根结底是一套能定义安全边界、应对未知风险和规则变动的

换言之,这套架构还能当插件用,比如给Llama Guard 3额外增加一个分类头,用户请求安全基准的F1值直接提升17.6个百分点。

它的核心思想是把安全检查前置到智能体执行之前,然后在请求拦截和响应兜底两端同时设卡,共同发力把防线从文本合规推进到行为安全。

示意图

从整体效果来看,SingGuard-NSFA在3大评测基准(用户请求安全、算法模型响应安全、跨数据集泛化)上均取得

判别式模式:每次前向传播就直接给出各风险域的置信度,延迟可以压到45~57ms,可用于高吞吐的实时在线拦截。

在此基础之上,多模态也来横插一脚。现在风险不止于文本,还可能藏在图像细节、图文组合,甚至模型自己的响应中。

,最小的0.8B模型就能比肩8B竞品,9B大小更是在泛化上达到91.29% F1,精度与召回更加均衡。

已知风险平时靠打打补丁还能勉强应付,所谓兵来将挡水来土掩,那么未知风险和不断变化的规则又如何解决呢?

先是支付安全、风控体系,再到如今的AI安全,安全能力在这家公司内部本身就是一条持续演进的技术路径。

AIGC模式:逐条输出基于NSFA定义的链式推理分析,让每一步判断都有据可查,适用于离线合规审计;

面对新的风险形态,一个越来越明显的趋势是,行业开始把注意力从“漏洞修补”转向“安全框架”本身。

从横空出世到快速普及,再到漏洞频发、信任受损,这几乎是当前Agent产品共同的发展轨迹。

滥用工具、恶意代码生成、提示注入等诸如此类的行为风险,早已不是一两个补丁就能彻底解决的。

但大模型早就不满足于聊天了,调工具、跑代码,它的手越伸越长,能触及的风险自然也越来越多。

其实OpenClaw也好,Claude Code也罢,它们的背后都指向同一个事实:

过去做AI安全,本质还是互联网时代的那套打法,只需要紧盯模型输出完成内容审核即可。

更棘手的是,不同业务的安全红线也在持续动态变化,昨天合规,今天换个场景就可能踩线。

之所以聊到这个项目,也是因为它的背景比较有意思。做这个框架的团队来自

然后借助SFTAI生成推理与判别式分类头,两种模式同步进行风险拦截:

其目的也很明确,就是在AI动手之前,将安全风险扼杀在摇篮之中。

现在的AI技术能力是越来越大了,但闯出的祸也跟滚雪球似的。

蚂蚁安全最近开源的两大安全框架,就是冲着这个底层问题来的。

业界普遍认为,就在前两天,工信部NVDB平台发布风险预警,明确指出

安全后门隐患,可在用户不知情的情况下收集敏感信息。

前者看住智能体的行为,后者看住多模态大模型的感知。

光盯着模型说什么,显然不够,现在真正的问题是还要看

偏偏这一块,是传统内容安全分类体系无法企及的盲区。

Claude Code砸的坑,蚂蚁安全在尝试填上

业内人士普遍认为,这一进展将对行业产生深远影响。

,包括0.8B、2B、4B、9B四个尺寸。

2026年,AI安全终于被推到了台前。

风险的源头,早已从内容变成了行为本身。

,一家在安全领域拥有长期积累的公司。

先看面向智能体安全的双模推理护栏框架

量子位 | 公众号 QbitAI

支撑起这个判断的,是一套系统性的

整理编辑:硅基前哨

作者 AI采集