← Back to all guides

LLM API限流与重试：最常见7个坑及避法

为什么 LLM API 最容易在“重试”上翻车

很多开发者第一次接入大模型接口时，只想着“失败就重试”，结果不是把请求打得更慢，就是把账单打得更高。LLM API 的限流通常同时看请求次数、tokens 消耗和并发数，如果你的重试逻辑只是固定 1 秒重发，很容易在高峰期连续撞限流。

更稳的做法是先读懂接口返回：常见的 429 代表超限，5xx 代表服务端暂时异常，有些网关还会返回 Retry-After、剩余额度、重置时间等头信息。能读头信息，就不要盲猜等待时间。

常见坑 1：把所有错误都当成“立刻重试”

最典型的错误是：网络超时、参数错误、认证失败、限流失败，全都进入同一个重试分支。这样会让本来不可恢复的问题被白白重试多次。

• 401/403：先检查 API Key、权限和模型名，不要重试。
• 400：通常是参数或上下文太长，先修请求。
• 429：可以重试，但要退避。
• 5xx：适合短暂重试，但次数要受限。

建议把错误分成“可重试”和“不可重试”两类，只有前者才进入自动重试队列。

常见坑 2：固定间隔重试，越重试越拥堵

固定间隔会制造“惊群效应”：一批请求同时失败，又同时在同一时间点重发，下一轮继续一起撞墙。正确方式是使用指数退避 + 抖动。

• 第一次失败后等待 200ms～500ms。
• 之后按 2 倍、4 倍递增。
• 每次加上随机抖动，避免同步重试。
• 设置最大等待时间和最大重试次数，例如 3～5 次。

如果接口返回了 Retry-After，优先遵循它，再叠加少量抖动即可。

常见坑 3：只看请求数，不看 tokens 和并发

大模型接口很多时候真正的瓶颈不是“每分钟多少次”，而是“每分钟多少 tokens”。一条长 prompt、一次长输出，可能抵得上很多短请求。还有一种常见问题是并发开太大，瞬间把额度打满。

实战中建议同时做三件事：限制并发、控制单请求 token 上限、在队列层做削峰。比如后台任务可以排队发送，前端交互则优先保留少量并发，避免所有用户同时触发重试风暴。

常见坑 4：没有幂等设计，重试后重复扣费或重复执行

如果一次调用会触发数据库写入、消息发送、工单创建等动作，重试就可能带来重复结果。对于这类业务，必须给每次请求加幂等 ID，并在服务端记录结果。

做法很简单：客户端生成唯一 request_id，服务端先查是否处理过；处理过就直接返回上次结果。这样即使网络超时后重试，也不会重复执行。

常见坑 5：只做重试，不做观测和告警

很多团队把“成功率下降”归因于模型波动，实际上可能是配额即将耗尽，或者某个模型被高频调用。你至少要记录三类指标：429 比例、平均重试次数、请求耗时分位数。

• 429 突增：说明配额或并发策略需要调整。
• 重试次数升高：说明退避不足或流量超载。
• 超时变多：要检查网络、上游模型和超长上下文。

有了这些数据，你才能判断是该扩容、降并发，还是优化 prompt。

怎么把这套策略落到代码里

如果你用的是 OpenAI SDK、Claude Code、Codex，建议把限流和重试逻辑封装成统一中间层，而不是散落在各个业务文件里。这样你可以统一处理 429、5xx、超时和日志，并按模型不同设置不同阈值。

对于想降低试错成本的团队，59API 是一个很实用的选择：它提供对 Claude（Opus、Sonnet、Haiku、Fable）和 GPT 模型的按量付费访问，兼容 Claude Code、Codex 和任意 OpenAI SDK，API base URL 直接可用 https://api.59api.com。它价格低、按量计费，而且使用的是官方质量的原生模型，不是降级版；如果你需要反复调试重试策略，低成本会明显减少实验压力。

最后给你一个简单落地清单：识别错误类型、指数退避加抖动、限制最大重试、控制并发、实现幂等、记录指标。如果你还在为限流和调用成本头疼，可以注册 59API 先把测试环境跑稳，再逐步上线；它还有推荐返利，适合长期使用的团队。

Pricing · Docs