分数在涨,但这份基准最值得看的,是它把「怎样才算回应得好」拆成了可以扣分的细节。
这份基准的核心不是题目,而是评分细则。OpenAI 称,参与制定的有 80 多名持证心理学家和精神科医生,来自 22 个国家和地区、使用 19 种语言、覆盖近 20 个心理健康细分领域。每个场景至少由三位专家审阅,最终形成 5262 条评分标准,每条按临床重要性赋予 -10 到 +10 的权重。
负分的存在很关键。一段回应哪怕温暖、流畅,只要漏掉了风险评估、给了不该给的保证,或者把用户往错误方向推,就会被实打实扣分。这比常见的「答得像不像专家」式打分严苛得多。
从构成看,这不是一套只考日常聊天的题库:
青少年场景占到两成,放在过去一年围绕 ChatGPT 与未成年人安全的诉讼和监管压力下看,这个配比显然不是随手定的。
据 Unite.AI 整理的结果,GPT-6 Astra 57.3%、GPT-6 Sol 53.9%、Claude Opus 5.5 52.4%、GPT-6 Luna 50.2%;作为参照,2025 年 3 月版的 GPT-4o 只有 32.1%,Gemini 2.5 Pro 为 29.5%。一年半时间里头部模型提高了二十多个百分点,这是 OpenAI 所说的「稳步进展」。
但另外两个参照数更能说明问题:专家撰写的参考回应得分 99.0%,而普通临床医生在同样条件下写出的回应只有 38.5%。后者说明细则本身极其苛刻——它奖励的是把每个要点都覆盖到的「教科书式」回答,而不是现实门诊里的简短沟通。换句话说,模型分数超过临床医生,并不等于模型比医生更会做心理支持。
基准由 OpenAI 主导设计,自家模型又排在榜首,这一点绕不开。好在数据集和方法是公开的,其他研究团队可以复现、质疑甚至改写评分细则;Claude Opus 5.5 与 GPT-6 Sol 只差 1.5 个百分点,也说明它没有明显偏向某一家的风格。
OpenAI 在发布中照例强调 ChatGPT 不能替代专业治疗。这句话写在一个「最高分 57」的榜单旁边,倒显得格外诚实:基准能量出模型离合格回应还差多远,却量不出一个深夜求助的人,最终有没有被引向真正能帮到他的人。