导读：本文通过Claude Code案例，解释了 AI agent 中的提示词缓存机制，实现 manus 教程 92% 缓存命中率，显著降低重复计算的“上下文税”，节省高达81%的成本。
核心原理在于Transformer的预填充阶段计算Key-Value向量，仅需一次性存储静态前缀（如系统指令和工具定义），后续动态尾部（如用户交互）可直接读取缓存，避免O(n²)复杂度。
实用规则包括保持提示顺序不变、预加载所有工具，并监控缓存读写指标，以确保高效运行长时会话。
作者：Akshay Pachaar 是 Daily Dose of Data Science 联合创始人，专注于简化LLM、AI Agent、RAG与机器学习知识。BITS Pilani校友，曾任Lightning AI高级AI工程师，拥有3项专利。GitHub上开源90+ AI工程项目，获30k+星标，是活跃的AI教育内容创作者。
每当 AI 智能体（AI Agent）执行一个步骤时，它都在交税。 它必须从头开始重新阅读所有内容：系统指令、工具定义，以及三轮对话前就已经加载过的项目上下文。每一轮对话，周而复始。
这就是上下文税（Context Tax）。对于长路径的智能体工作流来说，这通常是你整个 AI 基础设施中最昂贵的支出项。
算一笔账：一个包含 20,000 token 的系统提示词，如果运行 50 个回合，意味着有 100 万 token 的冗余计算在按全价计费，却不产生任何新价值。
解决方法是提示词缓存（Prompt Caching）。但要用好它，你必须理解其底层逻辑。
从“变”与“不变”开始
在进行任何优化之前，你需要清晰地思考智能体提示词（上下文）的结构。 智能体发送的每个请求都由两个根本不同的部分组成：
- 静态前缀（Static Prefix）： 包括系统指令、工具定义、项目上下文、行为准则。这些内容在整个会话的每一轮中都是完全相同的。
- 动态尾部（Dynamic Tail）： 用户消息、工具输出、终端观察结果。这部分内容随请求而异，并随着对话的进行而增长。
这种区分至关重要。静态前缀是你一直在无谓重复计算的昂贵部分；而动态尾部才是真正需要新鲜计算的部分。 提示词缓存的工作原理是存储静态前缀的数学状态，以便后续请求可以完全跳过重新计算的过程。你只需支付一次处理该前缀的费用，后续每一轮直接从内存中读取即可。
核心原理：Transformer 到底在做什么？
要真正理解缓存为何如此有效，你需要了解模型在阅读提示词时内部发生了什么。 每个 LLM 推理请求都有两个阶段：
阶段 1：预填充 (Prefill)
这是模型处理完整输入提示词的阶段。它是计算密集型（Compute-bound）的，意味着它在你的上下文中的每个 token 上运行稠密的矩阵乘法。模型阅读一切并构建其表示。这是缓慢且昂贵的阶段。
阶段 2：解码 (Decode)
这是模型逐个生成输出 token 的阶段。它是内存受限型（Memory-bound）的，因为模型大部分时间花在读取之前计算的状态，而不是进行沉重的计算。
在预填充阶段，Transformer 为每个 token 构建三个向量：查询（Query）、键（Key）和值（Value）。注意力机制利用这些向量来确定序列中每个 token 与其他 token 的关系。
关键洞察：键（Key）和值（Value）向量仅取决于其之前的 token。 一旦为给定前缀计算出它们，就永远不需要改变。
如果没有缓存，这些 KV 张量（KV Tensors） 在请求完成时就会被丢弃。下一个请求会从零开始，再次为所有 20,000 个 token 重新计算它们。KV 缓存通过存储这些张量解决了这个问题。基础设施将它们保留在推理服务器上，通过输入文本的加密哈希值进行索引。当带有相同前缀的新请求进入时，哈希匹配，张量立即被检索，模型跳过所有计算。
这将计算复杂度从每个生成 token 的 O(n²) 降到了 O(n)。对于重复 50 轮的 20,000 token 前缀，这是一次巨大的缩减。
经济账
理解定价结构是让这一架构决策发挥威力的关键。以下是 Anthropic 对其模型系列的缓存定价：
你需要内化三个数字：
- 缓存读取（Cache Reads）： 仅为基础输入价格的 10%（即每读取一个缓存 token 可享受 90% 的折扣）。
- 缓存写入（Cache Writes）： 比基础输入价格贵 25%（存储 KV 张量的一笔小额溢价）。
- 延长至 1 小时的缓存： 价格为基础价格的 2 倍。
只有当你的缓存命中率保持在高位时，这笔账才划算。这引出了现实世界中最能说明问题的例子。
Claude Code：30 分钟会话拆解
Claude Code 的构建完全围绕一个目标：保持缓存热度（Keep the cache hot）。 让我们看看一个典型的 30 分钟编程会话是如何运作的：
- 第 0 分钟：会话开始Claude Code 加载其系统提示词和工具定义。它还会读取项目根目录下的 文件（描述代码库规范）。这部分载荷通常超过 20,000 token。这是整个会话中最昂贵的时刻，每个 token 都是新的，但你只需支付一次。
- 第 1 到 5 分钟：首个指令 你输入“查看 auth 模块并提出改进建议”。Claude Code 派出一个 Explore（探索）子智能体。它遍历代码库、打开文件、运行 grep 命令。所有这些都会追加到“动态尾部”。而那 20,000 token 的静态基础？已在缓存中。读取费为 0.30/MTok，而非3/M Tok。你只需为新生成的工具输出和你的消息付费。
- 第 6 到 15 分钟：深入工作Plan（计划）子智能体 接收探索结果。为了避免动态尾部爆炸，Claude Code 会传递精简摘要。计划器生成实施方案，你审核并批准，接着 Claude Code 开始实施代码修改。这一循环中的每一轮都在从缓存读取那 20,000 token 的前缀。每次缓存命中都会重置 TTL（生存时间），保持缓存状态。
- 第 16 到 25 分钟：迭代 你要求进行调整。Claude Code 修改了它的方法。更多的工具调用，更多的终端输出。动态尾部正在增长，但它只代表本次会话中全新的、独特的内容。 此时，会话总共处理了数十万个 token。但那 20,000 token 的基础内容在每一轮中都是从缓存读取的。
- 第 28 分钟：运行
- 如果没有缓存，这样的会话轻松超过 200 万 token。按 Sonnet 4.5 的费率计算，大约需要 6.00 美元。
- 有了高效缓存：
- 绝大部分 token 以 $0.30/MTok 的价格从缓存读取。
- 只有新的动态尾部 token 需要新鲜计算。 在实践中，单次任务的成本预计会降低 80% 以上。
毁掉一切的规则
关于提示词缓存，最反直觉的一点是：1 + 2 = 3, 但是 2 + 1 会导致缓存失效（Cache Miss）。
基础设施对提示词进行哈希处理。如果顺序发生任何变化（即便元素相同），哈希值就会改变。缓存变为空，整个前缀将按全价重新计算。
由此衍生的三条准则：
- 不要在会话中途增删工具。 缓存的前缀包含工具定义。改变工具会让后续的所有缓存失效。
- 切勿在中途更换模型。 缓存是特定于模型的。
- 不要为了改变状态而修改前缀。 相反，Claude Code 会在下一条用户消息中添加标签来提醒系统，前缀永远保持不变。
对你的启示：如何构建提示词
上面的一切解释了 Claude Code 是如何处理缓存的。如果你在开发自己的智能体，同样的规则也适用。 请遵循以下结构来构建你的提示词：
- 顶部： 系统指令和规则（不要在中途改变）。
- 中间： 预先加载所有需要的工具（不增不减）。
- 随后： 检索到的上下文和文档（在会话期间保持静态）。
- 底部： 对话历史和工具输出（动态增长）。
随着自动缓存（Auto-caching）的开启，缓存断点会自动向前移动。
Claude Code 负责管理自己的缓存。Anthropic 刚刚在其 API 中加入了自动缓存功能，所以你现在也可以为自己的智能体实现同样的机制。
如果没有自动缓存，你需要记住 token 边界在哪里。边界划分错误就意味着无法命中缓存。
进阶技巧：使用“缓存安全分叉”进行上下文压缩。当达到上下文限制需要压缩历史时，保持相同的系统提示词、工具和对话，然后将压缩请求作为新消息添加。
这个压缩调用看起来几乎和上一个请求一模一样。缓存的前缀再次被使用。唯一按新 token 计费的是那条压缩指令本身。
要查看 API 是否按预期工作，请密切关注每个响应中的这三个字段：
- ：存入内存的 token 数
- ：从内存读取的 token 数
- ：像往常一样处理的 token 数
你的缓存效率得分是读取的 token 数与创建的 token 数之比。像监控系统正常运行时间（uptime）一样去监控它。
总结
提示词缓存不是一个可以随便开启的“功能”，而是一种需要围绕其建立的架构规范。 Claude Code 是大规模应用这一规范的最佳范例：
- 92% 的缓存命中率。
- 81% 的成本削减。
这是开发智能体的蓝图。你无法忽视“上下文税”，它客观存在。唯一重要的问题是：你是在默默交税，还是在设法免税？
原文：https://x.com/akshay_pachaar/status/
从0到1！大模型(LLM)最全学习路线图，建议收藏！
想入门大模型(LLM)却不知道从哪开始? 我根据最新的技术栈和我自己的经历&理解，帮大家整理了一份LLM学习路线图，涵盖从理论基础到落地应用的全流程!拒绝焦虑，按图索骥~~
因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取