五分钟访谈只猜对六成偏好,Claude 代理在交易大厅里砍价尚可,差距出在出门前那段对话
这是 Anthropic 继 Project Deal 之后第二次拿自家员工做“代理替人做买卖”的实验。上一次是旧货集市,东西五花八门,很难说谁换得好不好;这一次刻意把商品收窄到书,原因很直接:每个人对一组书可以排出先后,排序就能拿来打分,市场效率才算得清楚。
按官方披露,参与者来自六个办公室:旧金山 115 人、纽约 57 人、伦敦 12 人、西雅图 8 人、华盛顿 6 人、都柏林 3 人。流程分三步:
TG 上流传最广的是“五分钟聊天,Claude 对书单的排序与本人 61% 一致”。这里的 61% 是两两比较的吻合率:任取两本书,代理判断主人更想要哪本,猜对的比例是 61%。随机瞎猜是 50%,按书的热门程度排是 53%,用协同过滤这类推荐算法是 55%。
所以它确实赢过了常规推荐手段,但离“懂你”还远。换个角度,每三次二选一里,代理大约猜错一次多。把这样的偏好交给一个很会谈判的代理,它会非常卖力地替你换回一本你未必最想要的书——这正是报告里效率账算出来的结果:参与者最终拿到的书,按本人真实排序只得 0.55 分,而理论最优是 0.89。
如果只看代理自己理解的偏好,它们在市场里的表现相当好。按官方数据,以代理掌握的排序计分,Haiku 平均 0.75、Sonnet 0.80、Opus 0.88、Fable 0.86;在不同模型混场交易时,Opus 代理比弱模型多拿 0.12 到 0.14 分。换句话说,同一个市场里,谁家的代理更强,谁就更容易换到好书——这对以后“人人带个代理去谈生意”的设想,是个不太舒服的信号:模型档位本身会变成议价能力的差距。
反倒是提示词的作用比预想小。“只顾自己”的代理只比“照顾对方”的高出约 0.02 分;两类代理大多会说出主人最想要的那本书(78% 到 96%),但很少把完整排序亮出来,明确撒谎的只有约 1%。强硬的指令没有把代理变成奸商,模型能力的差异却实实在在地体现在成交结果上。
主观评价比效率分数乐观:平均满意度 7.2 分(满分 10),约一半人觉得代理挑的书比自己挑的还好。报告还问了一个更实际的问题——愿意把每年多少购书预算交给代理打理,平均答案约三成;作为对照,交给信得过的朋友是四成左右。
Anthropic 自己也列了限制:样本全是本公司员工,天然更信任 Claude;参与者没有动力认真表达偏好;市场里没有恶意代理,规则也是固定的。真实世界里,对手的代理可能来自别家模型、带着别的目标,情况只会更复杂。
这份报告最有价值的地方,是把“代理经济”的难点从谈判桌挪回了访谈桌。大家习惯担心 AI 会不会被对手套话、会不会砍价太狠,但这次实验里,代理在桌上的表现已经过关,出问题的是它出门前那五分钟到底听懂了多少。下一轮值得看的,不是更聪明的讨价还价,而是更好的问法。