数学和代码有标准答案可以打分,「写得让人看得懂」没有,这是问题的根
强化学习最好用的场景,是答案能被自动核对的任务:代码跑不跑得通、数学题对不对,判分器给得出干脆的分数。模型在这些任务上被反复奖励,能力提升很快。「这段话普通人读起来顺不顺」却很难自动判分,往往只能交给人工偏好或另一个模型来打分。
问题出在后半句。如果打分的是另一个模型,它天然偏爱信息全、术语准、一口气塞满细节的回答,因为它读长句不累、也不会跳读。再加上如今大量训练数据来自智能体场景,一个模型给另一个子代理交代任务,本来就该写得密、写得全。这些偏好叠加起来,就把整体文风往「交接文档」的方向推。
「Claude 腔」这个说法在社区里流传有一阵子了:动不动加粗、层层嵌套的列表、每段都在总结上一段。不少写作用户私下退回旧模型,也有人专门在系统提示里写一长串「别用列表、别加粗」。这次是 Anthropic 内部人员第一次把原因讲到训练机制层面,而不是笼统地说「风格偏好因人而异」。
Kernion 的措辞留了余地:改善了平衡,但还不能确定超越 Opus 4.6。这很诚实,也说明问题没有简单解法。给「易懂」加奖励,需要一个能可靠判断易懂的评分者,而这恰恰是这场偏移的起点。只要这个评分者还是模型,模型就会继续学着取悦模型;要真正拉回来,恐怕得在人类读者身上花更多、更贵的标注。