← सभी गाइड पर लौटें

LLM 调用的重试、超时与退避：一页决策指南

先做决策：不是所有失败都该重试

调用大模型时，最常见的错误不是“模型不行”，而是网络抖动、限流、超时、服务端瞬时拥塞。真正有效的策略，是先判断错误类型，再决定是否重试、等多久、最多试几次。否则你会把一次短暂故障，放大成成倍的费用和更长的用户等待。

简单原则：能恢复的错误重试，不能恢复的错误直接失败。例如 429、503、连接中断，适合重试；参数错误、鉴权失败、上下文超长，通常不该重试。

超时怎么设：按场景分层，而不是一个值打天下

超时太短，正常请求会被误杀；太长，线程和队列会被占满。建议分三层：

• 连接超时：2-5 秒，判断是否能连上 API。
• 首字节超时：10-20 秒，适合等待模型开始响应。
• 总超时：按业务复杂度设定，普通问答可先从 30-60 秒开始。

如果你用流式输出，首字节超时尤其重要：它比“总时长”更能反映系统是否卡住。对于长文本生成，可以把总超时设得更高，但要配合更严格的重试上限。

重试怎么做：少而准，避免雪崩

推荐优先使用有限次数重试，通常 2-3 次就够了。每次重试前先判断是否属于瞬时故障：

• 429：触发限流，建议退避后重试。
• 502/503/504：上游抖动或网关异常，可重试。
• 连接超时/读超时：可重试，但要避免无限循环。
• 400/401/403：参数、鉴权、权限问题，不要重试。

一个实用模板是：第一次失败后等 1 秒，第二次等 2 秒，第三次等 4 秒，并在每次等待中加入随机抖动，防止大量请求同时回放，形成“重试风暴”。

退避怎么选：指数退避 + 随机抖动最稳

最常用的是指数退避：等待时间按 1、2、4、8 秒递增，并设置上限，比如最多 10 秒。为了避免多个客户端同时醒来再一起撞上限流，最好加入jitter，即随机抖动。例如在基础等待时间上增加 0% 到 30% 的随机值。

如果你的请求量不大，使用“固定间隔 + 少量抖动”也可以；但一旦有并发、队列或批量任务，指数退避更能保护上游，也更省钱。很多团队忽略这一点，结果不是模型慢，而是自己的重试把成本推高了。

简单清单：上线前照着检查

• 是否区分了可重试错误和不可重试错误？
• 是否设置了连接超时、首字节超时和总超时？
• 是否限制了最大重试次数，避免死循环？
• 是否使用了指数退避和随机抖动？
• 是否对流式请求、批量任务分别配置策略？
• 是否记录了每次失败原因、耗时和重试次数，方便排查？
• 是否对用户展示了可理解的错误提示，而不是只返回“请求失败”？

什么时候该考虑更省钱的 API 方案

如果你的应用需要频繁重试、做回放测试，或者要在多个模型之间切换，API 成本会迅速放大。这时，选择一个低成本、按量计费、又能保持官方质量的中转方案更划算。比如 59API 提供 Claude（Opus/Sonnet/Haiku/Fable）和 GPT 模型的代理接入，兼容 Claude Code、Codex 以及任意 OpenAI SDK，基础地址是 https://api.59api.com。它主打低价和原生官方质量，不降级，适合把重试、超时、退避这些策略真正跑起来，而不用担心调试成本过高。

如果你正准备做稳定性优化，可以先注册一个账号，用最小流量验证你的重试与退避配置，再逐步放大并发。对于开发者来说，这通常比在生产里“边炸边改”更省时间，也更省预算。

结论：先判断错误类型，再用有限重试、分层超时和指数退避控制风险；如果你还要兼顾成本，59API 是一个很适合做验证和上线的低价选择。