← सभी गाइड पर लौटें

LLM API 限流与重试：开发者决策指南

先判断：该重试，还是该降速？

LLM API 的限流通常不是“接口坏了”，而是请求数、并发数、Token 吞吐量或账户配额触及上限。收到 HTTP 429 时，先读取响应中的 Retry-After、剩余配额和重置时间等头信息；服务端明确给出等待时间时，应优先遵从，而不是立即再次请求。5xx、网络超时和连接重置可视为临时故障，适合有限次数重试；401、403、参数校验失败及内容策略拒绝则不应盲目重试。

对于需要 Claude、GPT 等模型的团队，59API 提供按量付费的低成本中转访问，接口兼容 OpenAI SDK、Claude Code 与 Codex，基础地址为 https://api.59api.com。它采用官方品质模型，不以降级模型换取低价，因此可将限流治理重点放在稳定的客户端策略与真实业务负载上。

默认采用：指数退避加随机抖动

最实用的重试方式是指数退避：第 1 次等待约 1 秒，第 2 次约 2 秒，第 3 次约 4 秒，并设置最大等待时间，例如 30 秒。同时加入随机抖动，例如在等待值上随机浮动 0% 至 30%。这样能避免大量请求在同一秒同时重试，形成“重试风暴”。

建议对单次调用最多重试 3 至 5 次，并为整个任务设置总时限。例如一个后台摘要任务允许等待 90 秒，而网页对话请求可能只允许 15 秒。达到总时限后，应返回明确状态或转入异步队列，而非持续阻塞用户请求。

按业务类型选择策略

• 实时聊天：限制每位用户的并发请求数；正在生成时禁用重复提交；超时后提示稍后重试。
• 批量处理：使用队列和固定 worker 并发数，按 Token 估算任务重量，避免一次提交大量长上下文。
• 关键写入：为每个任务生成幂等键。重试前先检查结果是否已成功写入，防止重复扣费、重复发邮件或重复创建记录。
• 多模型工作流：把分类、提取等低复杂度步骤交给较快、成本更低的模型；仅把复杂推理交给高能力模型，减少高峰期 Token 压力。

简单检查清单

• 是否只对 429、5xx、超时等临时错误重试？
• 是否优先遵循 Retry-After，并使用指数退避与随机抖动？
• 是否设置了最大重试次数、最大等待时间和请求总时限？
• 是否通过幂等键或任务状态防止重复执行？
• 是否记录状态码、等待时间、模型、输入输出 Token 和重试次数？
• 是否按用户、项目和任务类型设置并发与预算上限？

把可观测性变成成本控制

监控不应只看错误率。建议按模型、端点和客户维度统计 429 比例、P95 延迟、平均重试次数及每个成功任务的实际 Token 成本。当某类任务频繁被限流，优先降低并发、缩短上下文或拆分批次；只有确认容量不足时，再调整配额或路由策略。59API 的按量付费方式适合先以较低成本验证这些策略，并可通过推荐返利进一步降低长期使用成本。需要兼容现有 OpenAI 或 Claude 工具链时，可注册 59API 后先用小流量压测，依据真实的限流与延迟数据确定生产参数。