← Voltar aos guias

LLM API 限流与重试实战：用 59API 构建稳定调用层

为什么 LLM API 需要专门处理限流

调用 Claude 或 GPT 时，最常见的瞬时故障并不是模型能力问题，而是 429 限流、网络超时和 5xx 服务端错误。若应用在收到错误后立即循环重试，会放大请求峰值，导致更多失败，甚至重复生成内容并增加账单。正确做法是把重试逻辑放在统一调用层：只重试短暂故障，使用指数退避加随机抖动，并为每次请求设置总时限。

59API 提供兼容 OpenAI SDK 的统一入口 https://api.59api.com，可按量付费调用 Claude Opus、Sonnet、Haiku、Fable 及 GPT 模型。对于需要控制预算的开发者，这种低成本、原生官方质量模型的接入方式，能让多模型容灾和日常调试更容易落地。

先区分可重试与不可重试错误

不要把所有异常都交给重试器。429、408、502、503、504 通常属于短暂问题，可以重试；401、403、404 和大多数 400 参数错误通常代表配置、权限或请求内容有问题，应立即失败并记录日志。对于 429，应优先读取响应中的 Retry-After；如果服务端没有提供该值，再采用本地退避策略。

• 可重试：429 限流、连接超时、读取超时、502/503/504。
• 谨慎重试：请求已发送但连接中断，可能已经生成结果，需要用请求 ID 或业务幂等键去重。
• 不应重试：密钥无效、模型名错误、上下文超长、输入格式不合法。

Python + OpenAI SDK 重试示例

安装依赖后，使用标准 OpenAI SDK，并将 base_url 指向 59API：pip install openai tenacity。

示例代码：from openai import OpenAI from tenacity import retry, stop_after_attempt, wait_random_exponential, retry_if_exception_type client = OpenAI(api_key="YOUR_59API_KEY", base_url="https://api.59api.com/v1") @retry( retry=retry_if_exception_type(Exception), wait=wait_random_exponential(multiplier=1, max=30), stop=stop_after_attempt(5), reraise=True ) def ask_llm(prompt): return client.chat.completions.create( model="gpt-4o-mini", messages=[{"role": "user", "content": prompt}], timeout=45 ) response = ask_llm("用三点总结这段文本") print(response.choices[0].message.content)

这个示例最多尝试 5 次，等待时间按 1、2、4、8 秒附近增长，并加入随机抖动。抖动很重要：多个 Web Worker 同时收到 429 时，固定间隔会让它们再次同时发起请求，形成持续碰撞。生产环境中，不建议直接捕获全部 Exception；应按 SDK 的限流、超时和 API 服务异常类型建立白名单。

加入并发控制，避免重试制造流量尖峰

重试只能缓解短时失败，不能替代请求调度。异步服务可用 Semaphore 限制同一模型的并发数，例如：semaphore = asyncio.Semaphore(8)。每次调用前使用 async with semaphore:，使高峰期请求在本地排队，而不是全部抵达上游。针对长文本、批量摘要和后台任务，还应设置队列优先级，把交互式请求排在离线任务之前。

建议为不同模型分别配置并发阈值和重试预算。低延迟场景可以优先使用较快模型，复杂推理再切换至更高能力模型；59API 同时提供多个 Claude 和 GPT 选择，便于按任务质量、速度与价格分层，而无需维护多套不兼容客户端。

记录四项指标并设置降级路径

至少记录请求模型、状态码、尝试次数、总耗时和输入输出 token。若某模型的 429 比例连续升高，应自动降低并发、延后队列任务，或切换到预先验证过的备用模型。不要在日志中保存完整用户提示词、密钥或敏感输出；仅保存截断后的摘要和关联请求 ID。

最后，将超时、最大重试次数和并发数设为环境变量，避免每次发布都修改代码。注册 59API 后即可用现有 OpenAI SDK 快速验证这套调用层；其按量计费和推荐返利机制，也适合团队在真实流量下持续优化模型成本。

Preços · Docs