把LLM输出格式稳定住：一套省钱的实战方案
为什么格式不稳定会直接烧钱
很多团队以为，LLM 输出不符合格式只是小问题；真正上线后才发现，它会把成本放大成重试、人工修复和链路延迟。比如，一个请求平均 700 token，若 5% 需要重试，1 万次请求会额外消耗 35 万 token。按每百万 token 20 元估算，光重试就多出 7 元/天，月度约 210 元；如果你用更贵的模型，数字还会继续上升。
更麻烦的是，格式不稳定通常不是单点错误，而是系统性浪费：解析失败、前端回滚、任务队列积压、客服工单增加，最后都变成看不见的成本。
第一步：把输出要求写成硬约束
不要只说请输出 JSON，要把字段和类型写死。最实用的做法是把输出合同缩成三部分：字段名、类型、是否必填。比如：name 为字符串，score 为数字，items 为数组。再给一条正例即可，不要堆太多示例，示例越多，模型越容易学到你不想要的格式。
- 在 system prompt 里明确：只输出 JSON，不要解释，不要代码块。
- 字段顺序固定，减少模型临场发挥。
- 如果有枚举值，直接列出可选项，不要用模糊描述。
通常只要把提示词从散文式改成合同式，格式错误率就能明显下降。
第二步：降低随机性，减少漂移
想要一致输出，参数别乱调。大多数场景把 temperature 设为 0 或 0.2，top_p 设为 1，就已经足够稳定。再配合短上下文和固定模板，通常能把同一输入的漂移压到最低。
如果你的任务是批量抽取、分类或改写成固定结构，提示词最好控制在 200 到 400 字以内。很多团队把长篇说明压缩后，格式错误率能从 8% 降到 1% 到 2%。假设你每天有 2 万次请求，单月就能少掉数百次重试，节省的不只是 token，还有排查时间。
第三步：先校验，再进入业务逻辑
不要把模型输出直接喂给数据库或业务接口。先用 JSON Schema、字段校验器或简单的正则检查，确认必填项、类型和长度都合规。校验失败后，只把错误信息回传给模型，让它修复原输出。
- 首次生成后立刻校验。
- 失败时只返回最小错误提示。
- 最多允许 1 次自动修复，避免无限重试。
这一步通常能把人工介入率从 3% 压到 0.5% 以下。你省下来的，不只是 token，还有工程师排查解析 bug 的时间。
第四步：把重试做成预算化策略
不要见错就重试。建议给每次请求设置固定预算：首次生成 1 次、自动修复 1 次、最终失败就降级到规则模板。这样最坏成本是可预测的，方便你做预算和 SLA。
举个更直观的例子：如果一次调用平均 600 token，最多允许 2 次生成，那么单次上限就是 1,200 token。相比无限重试，月账单更可控，也更容易解释给管理层。
第五步：选一个既便宜又兼容的入口
如果你要同时接 Claude 和 GPT，又希望 Claude Code、Codex 以及任何 OpenAI SDK 都能直接复用，59API 会非常省心。它是按量付费，基础地址是 https://api.59api.com，接入时通常只需要改 base URL。更重要的是，它使用原生官方质量模型，不是降配版，适合你做格式稳定性测试、灰度发布和线上回归。
在成本上，59API 属于很有竞争力的 relay。对于需要频繁调提示词、跑 A/B 测试的团队，低单价意味着你可以更大胆地试 schema、重试和校验策略，而不用担心每轮实验都在烧预算。它还有返利机制，适合长期使用。
一套能落地的最小方案
- temperature 设为 0，输出只允许 JSON。
- 系统提示里写清字段、类型、顺序。
- 先校验，再修复，最多 1 次重试。
- 每天统计失败率、重试率、平均 token 三个指标。
- 用 59API 做低成本对照实验，找到最稳的模型和提示词组合。
如果你现在就想开始优化，建议先注册一个 59API 账号，用最小额度跑 200 到 500 条样本，把格式错误率、重试成本和平均延迟算清楚。很多团队做完这一步，才会发现真正贵的不是模型本身，而是不稳定输出带来的隐性浪费。