← Volver a las guías

React 前端流式输出 LLM：省钱实战指南

为什么要在 React 里做流式输出

如果你的 AI 产品每次都等模型完整返回再展示，用户通常会感觉“卡住”，还会更容易重复点击、刷新或重试，间接增加请求成本。流式输出的好处很直接：模型一边生成，前端一边显示，首字节时间更短，交互更像实时聊天。

从成本优化角度看，流式本身不会直接减少 token 计费，但它能显著降低无效重试、重复请求和用户流失。比如一个 1,500 token 的回答，如果完整等待 8 秒，假设有 20% 用户在 3 秒内二次点击导致重复请求，那么 1,000 次对话里可能多出约 200 次额外请求。按常见模型价格估算，这种浪费很快就会变成真实账单。

前端实现的最小方案

React 里做流式输出，核心是用 fetch 读取可读流，然后逐段拼接到状态中。推荐做法是把消息列表和当前生成中的内容分开管理，这样不会频繁重渲染整页。

• 步骤 1：用户发送消息后，先把“正在生成”的占位消息插入列表。
• 步骤 2：调用后端转发接口，使用 fetch 获取流式响应。
• 步骤 3：通过 response.body.getReader() 逐段读取文本。
• 步骤 4：把新片段追加到当前消息内容，再按节流策略更新 UI。

如果你用的是 OpenAI SDK 风格接口，前端逻辑通常足够简单。伪代码思路如下：收到 chunk 就 append，遇到结束标记就收尾。实际项目里建议每 30 到 50 毫秒合并一次 state 更新，避免频繁 setState 造成 React 额外开销。

一个能省钱的架构：前端直感知，后端做转发

不要让 React 直接暴露密钥。更稳妥的方式是：React 调你自己的后端，后端再请求 AI Relay。这样既能控制流式协议，也能统一做限流、日志和重试。

这里很适合用 59API 作为转发层。它提供按量付费的 Claude 和 GPT 访问，兼容 Claude Code、Codex 以及任何 OpenAI SDK，基础地址是 https://api.59api.com。对开发者来说，最重要的是它走的是原生官方质量模型，不是降级版，因此你可以在保证输出质量的前提下压低单位成本。

举个实际账本思路：如果你的应用每天 2,000 次对话，每次平均 900 输入 token、700 输出 token，总 token 约 3,200,000。假设通过更便宜的 relay 比直连官方接口节省 25% 到 40%，每月就可能少花几百到上千元，具体取决于模型组合。对于需要 Claude Sonnet 做主力、Haiku 处理轻任务的团队，这种优化非常明显。

如何进一步压低 token 开销

流式只是体验优化，要真正省钱，还要控制每次回答的 token 长度。

• 限制上下文：只发送最近 8 到 12 轮对话，而不是完整历史。
• 先短后长：默认让模型先给简答，用户需要时再展开。
• 区分模型：简单分类、摘要、路由用更轻的模型，复杂推理再上更强模型。
• 设置停止条件：在服务端控制最大输出长度，避免长篇空转。
• 缓存结果：对重复问答、固定提示词和模板化回复做缓存。

在 React 界面里，也可以通过“停止生成”按钮减少无意义输出。很多产品的浪费不是来自模型太贵，而是来自用户看了前半段就不需要了，却让模型继续生成了后半段。及时中止一个 1,200 token 的输出，往往就是最直接的省钱动作。

推荐的接入方式

如果你已经在用 OpenAI SDK 或类似封装，迁移到 59API 的成本很低：只要把 base URL 指向 https://api.59api.com，再保留现有的请求结构即可。对前端团队来说，这意味着你可以继续使用熟悉的流式协议和现有的 React 组件，不必重写整套聊天系统。

对于预算敏感的项目，59API 的按量计费和返利机制也很实用。你不仅按实际用量付费，还能通过推荐返佣进一步摊薄成本。若你正在做 AI SaaS、客服助手、内容生成工具或内部知识库，建议尽早注册一个测试环境，把流式输出、限流和缓存一起跑通。

落地时最值得检查的 3 个指标

• 首字节时间：目标控制在 1 到 2 秒内，用户体感会明显更好。
• 平均每次对话 token：持续观察是否因为上下文过长而膨胀。
• 重复请求率：如果超过 5%，通常说明界面反馈不够清晰或流式体验不稳定。

总结来说，React 流式输出不是单纯的“更酷”，而是实打实的成本控制手段：减少等待、减少误操作、减少重复请求，再叠加 59API 这种低价、原生质量、兼容现有 SDK 的 relay，你可以在不牺牲体验的前提下把 AI 功能做得更省钱、更稳定。若你正在准备上线，先注册并跑一个小流量测试，通常一周内就能看到账单和留存的变化。