← Back to all guides

LLM 调用的重试、超时与退避实战

为什么 LLM 调用不能只靠一次请求

在实际生产里，LLM 请求失败并不罕见：网络抖动、上游限流、模型推理变慢、请求体过大，都会让一次调用失败或超时。对开发者来说，问题不是“要不要处理失败”，而是“怎么处理才不会把延迟、成本和稳定性一起搞坏”。

常见做法有三类：重试、超时和退避。它们经常一起出现，但职责不同。超时负责快速止损，重试负责弥补偶发故障，退避负责避免把瞬时故障放大成连锁拥塞。

三种模式分别解决什么问题

超时是上限控制。你给每个请求设定一个最大等待时间，超过就中止。它的价值在于防止线程、协程或连接池被长时间占住。对于 LLM 场景，超时不能太短，否则复杂推理、长上下文、流式输出都会被误杀；也不能太长，否则用户体验和资源占用会恶化。

重试是故障恢复。适合处理 429、502、503、连接中断这类短暂问题。但重试不是免费午餐：每一次重试都在增加延迟和 token 成本。对于已经返回了明确业务错误的请求，比如参数校验失败、上下文超长、鉴权失败，重试通常只会浪费时间。

退避是节流机制。最常用的是指数退避：第一次失败后等 200ms，再失败就等 400ms、800ms，逐步拉开请求间隔。更稳妥的版本会加上随机抖动，避免大量客户端在同一时刻再次打到上游，形成“同步重试风暴”。

怎么选参数才实用

一个可落地的组合通常是：单次请求超时 15 到 60 秒，依场景调整；只对可恢复错误重试 2 到 4 次；退避从 200ms 到 500ms 起步，上限设到 5 到 10 秒；每次退避加入随机抖动。对于流式响应，可以对首包设置较短超时，对整段输出设置更宽松的总超时。

• 交互式聊天：偏短超时，少量重试，优先响应速度。
• 批量生成：偏长超时，允许更多重试，优先成功率。
• 高并发任务：更依赖退避和限流，避免把失败扩散到整个系统。

还要区分请求阶段。DNS、连接建立、首字节和总响应时间都可能需要不同的控制。只设一个“总超时”很简单，但未必足够精细。

常见错误做法

很多团队会把“重试次数”当成万能开关，结果是每个失败请求都被重复打了三五次，延迟更高，账单更贵，服务也更挤。另一个错误是对所有错误都重试，包括认证失败和请求格式错误，这类问题只有修代码才有用。

还有一种问题更隐蔽：没有设置幂等保护。LLM 输出看似只是一段文本，但如果你在请求前后还做了记账、写库、触发工作流，重试可能让副作用重复发生。要么把副作用放到请求成功之后，要么用请求 ID、去重键或事务边界控制重复提交。

与 59API 结合时的实际收益

如果你使用 59API 这种 AI API relay，重试、超时和退避仍然重要，但成本压力会小一些。59API 提供按量付费、兼容 Claude Code、Codex 和任意 OpenAI SDK 的接入方式，底层使用官方质量模型，没有降级，这意味着你可以在不改动太多代码的前提下，直接把稳定性策略落到统一入口上。它的定价通常也更适合做多次小步重试，而不会让失败请求迅速放大成本。

API 基址是 https://api.59api.com。如果你已经在用 OpenAI SDK 或 Claude 工具链，把超时、重试和退避策略集中在客户端层，再接入这种低成本 relay，会比在每个业务服务里分别实现更可控。对于需要频繁调用模型、又想压低单次失败损耗的团队，这种组合很实用。你也可以顺手注册并利用它的推荐返利，把长期调用成本再往下压一点。

结论

真正稳定的 LLM 调用，不是“多试几次”这么简单，而是把三件事分开：超时负责边界，重试负责恢复，退避负责自我克制。只要你把可重试错误、重试次数、退避曲线和幂等性处理清楚，系统的成功率、延迟和成本都会更容易控制。

Pricing · Docs