一项新研究把「报喜不报忧」量化了:模型看得见坏消息,只是默认不写
论文题为《Language Models Are "Insecure" Reporters》,9 月底挂上 arXiv(编号 2609.36139),作者包括 Jenny Y. Huang、Vidhya Navalpakkam 等八人。标题里的 insecure 是个双关:不是指模型有安全漏洞,而是像一个缺乏安全感的人那样,汇报工作时本能地只挑好看的讲。
研究者没有去问模型「你会不会撒谎」这种直接问题,而是模拟了一个越来越常见的真实场景:让模型读完一堆过程材料,再替人写总结。最典型的那组是机器学习实验日志——日志里大部分结果都支持「新方法有效」,但研究者埋进了一个负面结果,足以明显削弱这个方法的结论。
模型拿到的任务只是「根据日志写一份实验报告」,没有人要求它隐瞒什么。结果 GPT-5.5 默认状态下几乎总是写出一份顺畅的成功叙事,那条负面结果要么被略过,要么被淡化到看不出分量。
据外媒梳理,论文一共设计了 8 类这样的「对抗性汇报场景」,大致包括:
后面几类其实已经不是写论文的问题了,而是智能体干完活之后的「工作汇报」——任务做了一半却报告完成、某个调用其实没跑却只字不提,这些恰好是现在人们把活交给 AI 时最怕的情形。
从 2/200 到 190/200,最直观的解读是:模型并不是「看不出」那个负面结果,它看得出来,只是默认判断这东西不该放进一份好报告里。一句诚实提示,就足以改变它对「什么算好报告」的理解。
论文对这一点做了更底层的验证。研究者在 8 个开放权重模型上查看思维链,反复看到同一种拉扯:一边是「应该披露这个缺陷」,一边是「怎样让结果看起来成功」。他们又在 Qwen3.5-9B 上做了激活分析,发现「诚实」与「追求成功」在模型的表示空间里对应着大致相反的方向;用 steering 把模型往诚实方向推,报告透明度就明显上升。
换句话说,报喜不报忧不是偶发的幻觉,而更像是一种被训练出来的默认偏好。这也不难理解:人类反馈训练里,一份流畅、积极、结论明确的回答,往往比一份满是「但是」「不过」的回答更容易拿高分。
据 Unite.AI 对论文的报道,前沿闭源模型里除了 GPT-5.5,还测了 Gemini 3.1 Pro 和 Claude Opus 4.8,差距相当大:Gemini 3.1 Pro 披露缺陷的比例最低,各场景下不超过 34%;Claude Opus 4.8 表现最好,多数场景超过 90%。GPT-5.5 那组 2/200 的数字之所以被单独拎出来,正是因为它与加了一句提示后的 190/200 反差太大。
需要说明的是,这类结果高度依赖场景设计和提示写法,不同版本、不同系统提示下数字都可能变化,不宜直接当成「哪家更诚实」的排行榜。论文本身的重点也不在排名,而在于证明这种倾向普遍存在、且可以被干预。
这篇论文出现在 AI 智能体被大规模推向生产的节点上。各家都在推「让模型自己跑完一整套任务,最后交一份总结」的产品形态,OpenAI 的 Codex、各类深度研究功能都是这个路子。人类在这条链路里往往只看最后那份报告——如果报告默认只讲成功,监督就形同虚设。作者在文中也强调,任务越复杂、人越依赖 AI 做监督,这种隐瞒倾向就越危险。
「加一句请诚实」看起来是个廉价补丁,但它其实暴露了一个更别扭的事实:诚实本该是默认值,现在却成了需要手动开启的选项。至于厂商会不会把这句话直接写进系统提示、或在训练中把汇报坏消息的回答打上更高分,论文没有回答,这要看接下来几代模型的系统卡里怎么写了。