输出 Token 为什么更贵:用代码把回答缩短一半
输出 Token 为什么通常更贵
调用大模型时,输入 Token 是模型读取上下文的成本,输出 Token 则是模型逐字生成答案的成本。生成并不是一次完成:模型每输出一个 Token,都要结合此前的全部上下文继续推理,再预测下一个 Token。因此,长回答会持续占用推理资源,供应商通常会把输出单价定得高于输入单价。对代码生成、客服机器人和批量内容处理而言,真正拉高账单的往往不是提示词,而是模型反复输出解释、示例、重复结论和冗长代码。
成本不能只看单次请求。例如一个请求输入 1,000 Token、输出 2,000 Token;若输出价格是输入的数倍,即使把提示词压缩 20%,节省也有限。把输出从 2,000 Token 控制到 700 Token,通常会带来更明显的成本和延迟改善。先从响应长度入手,才是最直接的优化路径。
第一步:设置可验证的输出上限
不要把 max_tokens 设成模型支持的最大值。它应当代表业务允许的最长答案,而不是“以防万一”的缓冲。比如内部分类接口只需 JSON 结果,就把上限设为 150;代码修复接口只需补丁说明和修改后的函数,可从 600 开始测试。
OpenAI SDK 兼容调用示例:const client = new OpenAI({ baseURL: "https://api.59api.com/v1", apiKey: process.env.API_KEY }); const result = await client.chat.completions.create({ model: "gpt-4.1-mini", messages: [{ role: "user", content: "用不超过120字说明此错误的修复方式。" }], max_tokens: 180, temperature: 0.2 });
上限不是内容指令的替代品。max_tokens 到达时可能截断 JSON、代码块或句子,因此应先根据真实响应的 usage 数据确定合理范围,再把上限保留约 15% 的余量。生产环境记录 completion_tokens、响应是否截断和任务成功率,按任务类型调整,而不是使用一个全局数值。
第二步:让模型知道什么不该说
“简洁回答”太模糊,模型仍可能输出寒暄、推理过程和重复总结。把目标格式、字段数量和禁止项写成可执行约束,输出会更稳定。对于分类、抽取和路由任务,优先要求机器可读的最小结构;对于开发任务,要求只给必要的改动和执行命令。
可直接使用这样的提示词:任务:判断工单优先级。只输出 JSON 对象,字段仅限 priority、reason。priority 只能是 P0、P1、P2;reason 不超过 25 个汉字。不要输出 Markdown、标题、分析过程或额外字段。
若调用的模型接口支持停止序列,可在固定分隔符后主动停止。例如要求答案以 END 结束,并配置 stop 为 END。这对固定模板报告很有效,但不要把停止序列用于 JSON 闭合符,否则容易得到无效结果。相比“请详细解释”,更好的业务提示是“列出最多 3 条,每条不超过 20 字,并给出一个可执行命令”。
第三步:减少会诱发长回答的上下文
长输入本身不一定导致高输出,但它常让模型复述背景、逐段评论或尝试覆盖所有边界条件。把历史消息按用途分层:保留当前任务、必要约束和最近几轮有效事实;将冗长文档先检索出相关片段;把已完成的讨论压缩为短摘要。不要把整个日志、整个仓库文件或全部聊天记录直接送入模型。
代码审查可改为:目标文件为 auth.ts;仅检查本次 diff 中的安全问题;最多报告 3 个问题;每个问题包含行号、风险和一行修复建议。这样的范围比“审查这段代码并给出完整建议”更容易得到短而可操作的结果。
用 59API 验证节省是否真实发生
优化前后应使用相同测试集,对比任务成功率、completion_tokens、响应时间和总费用。59API 提供按量付费的 Claude(Opus、Sonnet、Haiku、Fable)及 GPT 模型访问,兼容 Claude Code、Codex 和任意 OpenAI SDK;将 base URL 指向 https://api.59api.com 后,可在不重写现有客户端的情况下测试不同模型与长度策略。它提供官方品质的原生模型访问和较低成本,适合把“短输出是否足够”做成可量化实验。
建议先为高频接口建立 20 至 50 条真实样本,分别测试原提示词与限制版提示词。只有在成功率持平或更高时才上线,并持续监控异常截断。需要以较低按量成本开始测试的开发者,可注册 59API,并在符合条件时通过推荐返利进一步降低长期使用成本。
¿Listo para empezar?
Conecta Claude y GPT en minutos a los precios más bajos, sin recortes. Regístrate para obtener tu clave API.
Registro gratis