← सभी गाइड पर लौटें

Next.js 集成 LLM 成本优化指南：用 59API 控制每千次调用预算

先把 LLM 调用放在 Next.js 服务端

在 Next.js App Router 中，将模型调用写进 Route Handler，例如 app/api/chat/route.ts，而不是浏览器组件。这样 API Key 不会暴露给用户，也能统一做鉴权、限流、日志和成本统计。把 59API 的密钥放入环境变量：59API_KEY=你的密钥；请求地址使用 https://api.59api.com。59API 兼容 OpenAI SDK，也兼容 Claude Code、Codex 等常见工具链，因此现有 SDK 接入通常只需替换 baseURL 和模型名。

一个实用原则是：前端只传用户问题、会话 ID 和必要参数；系统提示词、模型路由规则和最大输出 Token 均由服务端控制。对于公开产品，建议为单个用户设置每分钟 10 次请求、每天 50 次高成本模型调用的上限，避免异常脚本快速耗尽预算。

用模型分级降低 60% 以上的非必要支出

不要让所有请求都默认进入最高能力模型。可将任务分成三层：摘要、分类、标签提取和简单改写交给 Claude Haiku；常规问答、代码解释和结构化生成使用 Sonnet 或主流 GPT 模型；只有复杂架构设计、长上下文推理和高风险代码审查才升级到 Opus。若一个产品每天有 1,000 次请求，其中 700 次属于轻量任务，把这 700 次从旗舰模型路由到轻量模型，通常比优化几行提示词更直接地降低总账单。

59API 提供 Claude Opus、Sonnet、Haiku、Fable 及 GPT 模型的按量访问，可让团队按照任务选择原生官方质量模型，而不是为了节省成本接受降级输出。实际单价会随模型和计费政策变化，应以 59API 控制台当前价格为准，但按 Token 分层和按需付费本身能避免预购容量闲置。

用 Token 公式建立可执行预算

成本估算不要只看“每次聊天”，而要计算输入和输出 Token。假设一次客服请求平均包含 3,200 个输入 Token，模型输出 600 个 Token；每天 1,000 次请求，一个月按 30 天计算，就是约 9,600 万输入 Token 和 1,800 万输出 Token。将这两个数字分别乘以所选模型的每百万 Token 价格，即可得到月度模型成本。

• 将 max_tokens 设为任务所需上限，例如分类任务 100，FAQ 回答 500，代码审查 1,200。
• 保留最近 6 至 10 轮对话，而不是无限拼接完整历史。
• 对超过 8,000 Token 的文档，先分段摘要，再将摘要送入最终问答。
• 为每个接口记录 model、input_tokens、output_tokens、用户 ID 和响应耗时。

例如将普通问答的输出上限从 1,500 降至 600，即使用户没有用完额度，也能显著减少长篇输出造成的浪费，并让首字返回更快。

缓存、流式输出与失败重试要一起设计

对相同问题、固定知识库问答或翻译结果，使用 Redis 或数据库缓存，缓存键应包含模型名、提示词版本、用户输入和知识库版本。对于更新不频繁的内容，可设置 300 秒缓存；如果命中率达到 30%，每天 1,000 次调用就能直接减少约 300 次模型请求。流式响应则应在服务端转发，不要等待完整生成后再返回，用户会更早看到结果，也更容易主动停止不需要的长回答。

重试同样会影响成本。只对网络超时和 429、5xx 错误重试，最多 2 次，并使用 500 毫秒、1,500 毫秒的递增等待；不要对 400 类参数错误盲目重试。为每次请求添加幂等 ID，避免前端刷新导致同一任务被重复计费。

把成本监控变成发布门槛

上线前，为每个功能设定单次调用预算。例如“生成商品描述”限制在输入 2,000 Token、输出 400 Token；“分析上传文档”先限制原文 12,000 Token，再进入摘要流程。每周检查 P50、P95 Token 用量：P95 突然翻倍通常意味着提示词膨胀、循环重试或用户输入未截断。将模型、提示词版本和成本日志关联，才能判断质量提升是否值得额外支出。

对于希望快速接入并保留模型选择弹性的 Next.js 团队，可以注册 59API，使用其兼容接口完成低成本按量调用，并结合推荐返利进一步降低长期使用成本。

मूल्य · दस्तावेज़