为什么你的 Agent 这么贵:Prompt Cache 命中率为 0 的排查记录
前段时间我把 DotCraft 接到工作流里跑任务,遇到了一个非常直观的问题:一个任务明明只跑了几分钟,账单却接近 50 美刀。
更离谱的是,我去后台看了一眼:cache hit rate = 0。
这意味着 Agent 每一轮工具调用,都在把同一份 System Prompt、工具 Schema、历史消息重新付费。对于普通 ChatBot 来说,这可能只是贵一点;但对于一个会连续调用几十次工具的 Agent 来说,这就是一台非常稳定的烧钱机器。
后来我在 DotCraft 里补了一套 Trace,把 System Prompt、Tools Schema、History Prefix 都打上 Hash,一轮一轮地查,才发现真正破坏 Prompt Cache 的往往不是模型,而是 Agent Harness 里几个很常见、也很容易被忽视的设计习惯。