没有一个 Rust 工程师，Anthropic 让 Claude 把 Messages API 搬到了 Rust

一个跑在单一区域的 Python 单体

按 Angela Jiang 的说法，她大约一年前加入时，Messages API 还是一个 Python 单体应用，部署在单一 GCP 区域。此后请求量涨得很快，CPU 成了最先撞上的墙。团队先做了多区域部署，但这只是把同一份低效复制到更多机房——Python 处理高并发请求时，序列化、流式输出这些每个请求都要走一遍的环节，CPU 开销本来就偏高，量一大就变成真金白银的机器成本。

换语言是更根本的解法，也是更冒险的一步。访谈里有个细节：做决定时，团队里一个 Rust 开发者都没有，后来才陆续招了几位有 Rust 经验的人。

分工：架构归人，代码归 Claude

他们给出的分工很清楚：分布式系统怎么设计由工程师定，具体代码大部分由 Claude 写。为了让这件事可控，团队定了几条规矩：

• 这是一次「移植」而不是重写——移植期间刻意不加新功能、不改系统设计；
• 只抽一个小团队专做移植，其他团队照常开发功能，再用静态分析检查新功能有没有漏掉 Rust 端的对应实现；
• 在 Rust 里搭一套完整的 API 分支，把影子流量同时送进 Python 和 Rust 两套系统，逐条比对输出是否一致；
• 据嘉宾称，Rust 版在录制前约一周已全面切换。

这几条比「Claude 写了代码」本身更值得看。行为对齐交给影子流量，范围冻结交给「只移植不重写」，并行开发的漂移交给静态分析——验证体系是人搭的，模型只负责在这个笼子里产出代码。没有 Rust 背景的团队敢接这种活，靠的是能随时判断「新旧输出是否一致」，而不是能逐行读懂每一段 Rust。

四到五成 CPU，一到两成首 token

数字要分开看。CPU 节省约 40%–50% 主要见于节目摘要，访谈中主持人一度说成「数量级」，嘉宾随即纠正；首 token 延迟改善 10%–20% 在转录里有原话，嘉宾还补充长时运行的工作负载收益更大。另有一篇外媒综述称节目没有给出与这次迁移挂钩的性能数据，说明自动转录与二手摘要之间仍有出入，精确值以官方后续披露为准。

即便按保守口径，这也不是小数目。推理本身吃的是 GPU，但 API 网关这一层的 CPU 是跟着请求数线性涨的；访谈后半段嘉宾专门提到，沙箱、CI 和推理都在抢 CPU，公司需要提前做容量规划。省下的四五成 CPU，直接就是给 Managed Agents 沙箱这类新业务腾出的余量。

下一步才是真正的改架构

按嘉宾的说法，移植只是第一步，接下来打算重新设计架构，比如把对话状态存到服务端，免得每次请求都要把完整上下文回传一遍——这对长对话尤其有利，但目前还是计划，没有时间表。对每天用 Claude Code 跑长会话的人来说，这一条可能比 Rust 本身更值得盯：首 token 快一两成是锦上添花，上下文不必反复上传才是长任务真正的瓶颈所在。

还有一个没被回答的问题：这次移植里 Claude 写的代码，有多少是一次通过影子比对的，又有多少靠人返工？Anthropic 用自己的产品完成了一次教科书式的语言迁移，但它最有说服力的那部分数据，暂时还留在内部。