跳转至

Game Dev Notes

Notes from my game dev journey, from Unity and rendering to AI agents.

为什么你的 Agent 这么贵:Prompt Cache 命中率为 0 的排查记录

前段时间我把 DotCraft 接到工作流里跑任务,遇到了一个非常直观的问题:一个任务明明只跑了几分钟,账单却接近 50 美刀。

更离谱的是,我去后台看了一眼:cache hit rate = 0。

这意味着 Agent 每一轮工具调用,都在把同一份 System Prompt、工具 Schema、历史消息重新付费。对于普通 ChatBot 来说,这可能只是贵一点;但对于一个会连续调用几十次工具的 Agent 来说,这就是一台非常稳定的烧钱机器。

后来我在 DotCraft 里补了一套 Trace,把 System Prompt、Tools Schema、History Prefix 都打上 Hash,一轮一轮地查,才发现真正破坏 Prompt Cache 的往往不是模型,而是 Agent Harness 里几个很常见、也很容易被忽视的设计习惯。