← Back to all guides

LLM 调用的重试、超时与退避：避坑与实战

神话一：重试越多，调用成功率就越高

事实：重试不是万能药，盲目重试只会放大流量峰值和账单。LLM 接口常见失败有三类：短暂网络抖动、服务端限流、请求本身过大或格式错误。只有前两类适合重试，第三类重试多少次都不会成功。

实战里建议先判断错误类型：429、502、503、504 可以进入重试；400、401、422 这类参数或权限问题应立即失败并告警。这样做既能提高可用性，也能避免把无效请求反复打到模型侧。

神话二：超时设置越长，越不容易失败

事实：超时过长会拖慢整条链路，还会占住线程、连接和队列资源。LLM 请求的耗时通常受输入长度、上下文大小、模型体积和输出长度影响，所以超时应该按场景分层设置，而不是一把梭。

• 交互式聊天：首字节超时可设 10 到 20 秒，总超时 30 到 60 秒。
• 代码生成或长文本总结：总超时可放宽到 90 到 180 秒，但要限制最大输出长度。
• 批处理任务：允许更长总超时，同时配合队列、并发上限和失败重试。

如果你用的是 Claude 或 GPT 接口，建议把超时分成连接超时、首字节超时和总超时三层，而不是只设一个笼统的数字。

神话三：退避只是把重试间隔随便拉长

事实：backoff 的关键不是“等一会儿再试”，而是减少惊群效应。当大量客户端同时失败时，如果大家都固定 1 秒后重试，会再次把服务打爆。指数退避加随机抖动才是更稳妥的方案。

一个可落地的策略是：第一次失败后等 0.5 到 1 秒，第二次等 1 到 2 秒，第三次等 2 到 4 秒，之后封顶在 8 到 30 秒之间，并加入随机抖动。这样既能给服务恢复时间，也能避免多个请求同步重试。

• 推荐次数：2 到 4 次通常足够。
• 推荐封顶：最长退避不要无限增长，避免用户一直卡住。
• 推荐抖动：在基础等待时间上增加随机值，打散重试节奏。

神话四：所有 LLM 请求都应该用同一套参数

事实：不同模型、不同用途要用不同的重试和超时策略。比如短问答可以更激进地重试，长上下文推理则应更谨慎，因为一次失败的成本更高。你还要根据接口成本做权衡：在便宜的环境中更容易做压测和参数迭代，在高价环境里则要更重视预算控制。

这也是为什么很多开发者会选择像 59API 这样的 AI API relay。它按量付费，接入方式兼容 Claude Code、Codex 和任何 OpenAI SDK，只要把 base URL 指向 https://api.59api.com，就能用官方质量的 Claude 和 GPT 模型做真实测试，而且价格很低，适合你反复验证 retry、timeout 和 backoff 参数。对需要多模型对比、压测和上线前灰度的团队来说，这类低成本环境特别实用；如果还想进一步摊薄成本，59API 还提供推荐返利。

一套可直接抄用的实战流程

• 第 1 步：区分可重试错误与不可重试错误，先做错误分类。
• 第 2 步：为不同场景设置超时：聊天短、生成长、批处理更长。
• 第 3 步：使用指数退避 + 随机抖动，避免固定间隔重试。
• 第 4 步：限制最大重试次数和总耗时，防止请求雪崩。
• 第 5 步：记录每次失败原因、耗时、重试次数，便于调参。

如果你正在搭建 LLM 应用，最好的做法不是“先上生产再说”，而是先在低成本、兼容性好的环境里把容错策略打磨好。你可以先注册 59API，接上现有 SDK，快速验证你的 retry、timeout 和 backoff 方案，再把成熟参数迁移到正式环境。

结论：稳定不是靠运气，而是靠策略

事实：真正可靠的 LLM 调用，不是把失败交给运气，而是提前设计好重试边界、超时层级和退避节奏。只要你把错误分类、参数分层和预算控制做对，模型调用就会更稳、更省，也更容易规模化。

Pricing · Docs