← Back to all guides

Prompt 缓存实战：用稳定前缀降低 AI API Token 成本

什么是 Prompt 缓存

调用大模型时，系统提示词、产品规则、长文档和工具定义通常会在每次请求中重复发送。Prompt 缓存会把这段可复用的输入临时保留：后续请求仍按原样提交完整上下文，但服务端可复用已处理过的前缀，减少重复计算。它主要节省输入 Token 的费用并降低首字生成前的等待时间，不会减少模型输出的 Token。

例如，一个客服助手每次都携带 8,000 Token 的品牌规范、退款政策和工具说明，而每轮用户问题只有几十 Token。若这些固定内容命中缓存，真正需要重新处理的主要是新增问题与变化的对话部分。请求量越高、固定前缀越长，缓存的价值越明显。

先识别适合缓存的内容

• 系统规则：角色边界、输出格式、安全要求、品牌语气和业务流程。
• 长期资料：产品手册、知识库摘录、代码库规范、接口文档和合同模板。
• 工具定义：函数名称、参数 Schema、调用限制和返回数据说明。
• 不适合的内容：用户输入、实时价格、登录态、订单状态和每轮都会变化的上下文。

关键原则是“稳定内容在前，变化内容在后”。如果把时间戳、随机 ID、动态用户资料插入固定资料之前，前缀会发生变化，缓存命中率可能显著下降。也不要为了缓存而保存敏感信息；缓存并不是把数据永久存储在本地的替代方案，仍应遵守模型服务商的数据处理与保留规则。

Claude 的实施方法

Claude API 支持显式的提示词缓存控制。实践中，可将较长且稳定的系统提示词或资料块标记为缓存断点，例如在对应内容块加入 cache_control: { type: "ephemeral" }。首次请求会产生缓存写入成本；在缓存有效期内，后续请求若前缀完全一致，就会产生较低成本的缓存读取 Token。应在响应使用量字段中检查缓存创建和缓存读取 Token，确认优化真实生效。

对 Claude Code 等开发工具，同样应避免频繁改写项目级规则文件或在每次会话前附加动态说明。将编码规范、目录说明和固定工具约束集中为稳定前缀，把当前任务、报错日志和最新文件差异放到后面。这样既能保留足够上下文，也更容易命中缓存。

GPT 与 OpenAI 兼容接口的注意点

部分 GPT 模型提供自动 Prompt Caching：通常无需额外参数，系统会根据重复的长前缀识别可缓存内容。开发者仍需负责请求结构一致性，包括模型名称、系统消息顺序、工具定义顺序和文本内容。不要在每次请求中重新排序 JSON Schema，也不要把动态字段混进系统消息。通过 API 返回的 usage 明细、控制台账单或应用监控，持续比较缓存前后的输入成本与延迟。

用 59API 控制整体成本

缓存优化需要稳定、兼容的模型接入层配合。59API 提供按量付费的 Claude Opus、Sonnet、Haiku、Fable 与 GPT 模型访问，API Base URL 为 https://api.59api.com，并兼容 Claude Code、Codex 和任意 OpenAI SDK。开发者可以在不改动既有 OpenAI 客户端调用习惯的情况下切换接入地址，再按模型能力与任务复杂度分层：简单分类和摘要使用更轻量模型，复杂推理才使用高阶模型，同时让固定前缀尽可能命中缓存。

上线前建议建立一组真实请求样本，记录总输入 Token、缓存读取 Token、输出 Token、耗时和单次成本；分别测试首次请求、连续相同前缀请求，以及修改资料后的请求。只有把这些指标放进日志，才能判断是缓存结构问题、上下文过长，还是模型选型不合理。需要以较低成本接入原生官方质量模型时，可注册 59API，先用小流量验证缓存策略，并结合其推荐返利机制进一步降低长期使用支出。

Pricing · Docs