入榜才几天，GPT-6.1 Sol 就比发布时强了 6.7%

这张榜比的不是谁更强

NerfBench 是开发者工具团队 BridgeMind 在自家评测平台 BridgeBench 上推出的复测工具，初衷是回应「模型发布几周后就变笨」的老抱怨。它的规则很简单：模型在发布当天跑一遍基准，成绩记为 100%；之后用同一套编程代理任务反复重测，同时记录得分、token 消耗和单任务成本。

所以 106.7% 的意思是「GPT-6.1 Sol 比它自己发布那天表现好了 6.7%」，而不是「它比 Opus 5.5 强 12 个百分点」。拿这些数字横向排座次是误读。真要比绝对能力，得看同一套题上的原始分：Artificial Analysis 本周的编程代理对比里，GPT-6.1 Sol 在 Codex 中得 63 分、单任务成本约 1.04 美元，Claude Sonnet 5.5 在 Claude Code 中得 68 分、成本约 14.19 美元——分数低一截，成本却只有十几分之一。

Astra 的曲线：102.8%、101.1%、98.0%

GPT 6 Astra 是和 Opus 5.5 一起被最早纳入 NerfBench 的模型。按 BridgeMind 公布的几轮结果，它首轮复测是 102.8%，之后一轮 101.1%，这次 98.0%，一路缓慢下行，累计少了将近 5 个百分点。

有意思的是，这条曲线几乎没人讨论。社区对「降智」的怀疑高度集中在 Claude 身上，原因之一是 Anthropic 在 2025 年曾因基础设施 bug 导致回答质量下降过一段时间。但如果把同一把尺子放平，Astra 这几轮的走势和 Opus 5.5 的单日下跌，在统计意义上并没有本质区别：都在区间里，都需要更多轮次才能说明问题。

106.7%，说明的其实是噪声有多宽

GPT-6.1 Sol 前几天才被加进来，基线刚刚锁定，OpenAI 也没有宣布过任何模型更新，它却在几天内就「变强」了 6.7%。最合理的解释是：编程代理任务要连续读代码、调工具、跑测试，模型输出又是采样出来的，前面一步走岔，整道题就可能从通过变成失败；题量有限时，几道题的翻转就足够把总分推上推下好几个百分点。

这恰恰是这一轮最有用的信息。同一套测量既能让 Sol 往上冲 6.7%，也就能让 Opus 往下掉 5.8%。BridgeMind 把 90%–110% 设为正常区间，看上去宽，其实很诚实——它承认了单轮读数的分辨率就在这个量级。

真正能「锁住」模型的，是版本快照

对通过 API 调用 OpenAI 模型的开发者，降智之争还有一层更实际的保险：OpenAI 长期提供带日期后缀的模型快照，固定调用某个快照，行为就不会随着别名指向的更新而变。ChatGPT 和 Codex 这类产品则不同，用户选的是一个名字，名字背后跑的是哪一版由厂商决定。OpenAI 自己也有过先例：2025 年 4 月一次 GPT-4o 更新让模型变得过分讨好用户，几天后被整体回滚。

NerfBench 这样的第三方曲线，补的正是产品端这块看不见的地方。不过就眼下这几轮数据而言，它记录下来的主要还是波动本身；哪家模型真的被动过手脚，至少要等某条曲线连续几轮贴着 90% 以下走，才轮得到下结论。