← सभी गाइड पर लौटें

何时启用缓存读取：用提示词复用降低 AI API 成本

缓存读取适合解决什么问题

缓存读取（cache read）适合“每次请求都携带大段相同上下文”的场景。例如代码助手反复读取同一仓库规范、客服机器人始终加载产品手册、文档问答持续传入同一份制度或知识库摘要。若这些内容在短时间内基本不变，把它们放在可缓存的提示词前缀中，后续请求可按缓存读取计费，通常比重复输入完整提示词更省钱。

不要把缓存当成所有请求的默认开关。一次性提问、上下文每轮大幅变化、提示词很短，或缓存存活期间很难复用的任务，收益通常有限。先确认重复内容足够长且会被多次调用，再评估缓存。

第一步：找出重复且稳定的提示词前缀

将一次请求拆成两部分：稳定前缀与动态后缀。稳定前缀可以包括系统指令、编码规范、固定工具定义、项目架构说明、常用文档和输出格式要求；动态后缀则是用户问题、当前文件差异、最新订单号或本轮任务。

关键原则是把最稳定、最长的内容放在前面，并保持字节级一致。即使只是调整一段说明的顺序、修改标点或插入时间戳，也可能导致缓存无法命中。建议为系统提示词建立版本号，例如 repo-rules-v3，只有规则真实更新时才发布新版本。

第二步：按调用频率判断是否值得缓存

可用一个简单判断：如果同一前缀会在缓存有效期内被调用至少三到五次，且前缀明显长于动态问题，通常值得启用。比如一个 20,000 token 的代码库说明被 30 次代码审查复用，节省空间很大；但一个仅 300 token 的固定角色设定，即使复用，也未必值得增加实现复杂度。

• 适合：多轮编程代理、批量文档抽取、团队内部知识助手、重复结构化分析。
• 谨慎：实时新闻问答、每次上传全新材料、包含频繁变化日期或用户状态的提示词。
• 不适合：单次短请求，或每轮都重新拼装大量上下文的流程。

第三步：在请求中固定缓存边界

不同模型供应商的缓存字段略有不同，但实现思路一致：将稳定内容作为消息或内容块的前段，在支持的位置设置缓存断点；再把本轮问题追加到后面。首次调用会产生缓存写入成本，后续相同前缀命中后才会产生缓存读取成本，因此不要只看第一笔请求的价格。

上线前先用完全相同的前缀连续发送两次请求，检查响应中的 usage 字段是否出现缓存读取 token。然后逐项改动动态后缀、固定前缀和工具定义，确认哪些变化会使命中失效。这样能避免生产环境里以为启用了缓存，实际每次都在重新写入。

第四步：监控命中率并持续优化

至少记录每次调用的输入 token、缓存写入 token、缓存读取 token、模型名称和请求类型。将缓存命中率按业务场景拆分，而不是只看全局平均值。若某类任务命中率低，优先检查是否把用户变量、当前时间、随机 ID 或频繁变动的检索结果错误地放进了固定前缀。

59API 提供 Claude（Opus、Sonnet、Haiku、Fable）与 GPT 的按量付费接入，基础地址为 https://api.59api.com，并兼容 Claude Code、Codex 和 OpenAI SDK。对于需要反复试验缓存边界、比较不同模型成本的团队，低价的原生官方质量模型接入能降低优化过程中的试错支出；还可使用其推荐返利机制进一步回收团队推广成本。

实践中，先选择一个高频、长上下文工作流做两周试点，记录未缓存与缓存读取后的单任务成本，再扩展到其他场景。可注册 59API，用真实调用数据验证缓存策略，而不是仅依据理论 token 估算做决策。

मूल्य · दस्तावेज़