开源模型第一次在自主写漏洞利用上追到 Mythos 身后,而它的拒答机制几乎不设防
报告的核心数据来自 ExploitBench:给模型一个真实存在漏洞的目标,要求它从分析到写出可用利用代码全程自己完成。GLM-5.3 在 410 次尝试里成功 50 次,约 12%;Claude Mythos Preview 是 56 次,约 14%。作为对照,Claude Opus 4.6 和上一代 GLM-5.2 在同一测试里几乎是零。
另一项 Anthropic 内部的二进制利用评测(要求劫持程序控制流)里,GLM-5.3 为 4%,Mythos Preview 为 6%。数字绝对值都不高,但这类任务的门槛本来就在“能不能做到”而不是“做到几成”——从 0 到个位数,意味着能力已经跨过了那条线。
红队还在隔离沙箱里跑了两个接近实战的场景:让 GLM-5.3 在某浏览器的 JavaScript 引擎里找出多个此前未公开的漏洞,以及在 20 分钟内拼出一条 Chrome 利用链。报告没有披露具体漏洞细节,这也符合此类研究的惯例。
比能力更让 Anthropic 着重强调的,是这些能力“锁不住”。报告测了三种绕过方式,成功率逐级上升:
第三种最能说明问题。据报告,团队大约花了 2200 个 GPU 小时、折合约 4400 美元,就把 GLM-5.3 在多项有害请求基准上的拒答率从 95% 压到 3% 至 12%,而攻击能力基本没掉。对闭源 API 模型来说,这一步根本无从下手——权重不在用户手里,提示层面的绕过也还要过服务端的检测和封禁;开放权重模型则一旦发布,后续再怎么补也收不回来。
Anthropic 并不是唯一给出警示的一方。美国 NIST 下属的 AI 标准与创新中心(CAISI)在 9 月 17 日发布的评估里,称 GLM-5.3 是“迄今网络能力最强的开放权重模型”,但同时指出它在自家四项网络安全基准的综合表现上,落后美国前沿模型约四个月,ExploitGym、OSS-Fuzz 等项目差距仍然明显。两份报告用的测试集和统计口径不同,数字不能直接互比,但方向一致:能力是真的,领先也还在,只是窗口在收窄。
智谱方面,截至发稿未见针对这份报告的公开回应。不过据《南华早报》此前报道,智谱在发布 GLM-5.3 时曾自称其在 CyberGym 测试中取得 84.5% 的成功率,略高于 Anthropic 和 OpenAI 的同期模型——换句话说,这项能力原本就是它的卖点之一,只是双方对“卖点”和“风险”的叙述角度截然相反。
读这类报告需要留意立场。Anthropic 一直坚持 Mythos Preview 只向少数防御方有限开放,理由正是其攻击能力过强;如今一个几乎同档的模型以开放权重形式放出,等于从侧面印证了它此前的判断,也给其政策主张添了筹码——报告明确呼吁政府对足够强的模型做安全测试,并要求开放权重开发者“恰当地保护这些能力”,同时主张让防御方更快拿到同等水平的模型。
这些诉求有其道理,但也难免让人联想到中美 AI 竞争、出口管制这些更大的背景。报告里的实验数据可以复核,政策结论则各方会有各自的读法。真正悬而未决的问题是:当拆掉护栏只要几千美元时,“发布前测一测”还能挡住多少?答案大概不在模型层,而在漏洞修补速度能不能跟上找漏洞的速度。