计费与额度
按输入、输出、缓存读分项计价;预付费额度用尽即停,失败请求不计费。
怎么计价
按 token 分项计价,单位是美元 / 每百万 tokens:
- 输入:请求里的 prompt token
- 输出:模型生成的 token
- 缓存读:命中上游 prompt cache 的部分,单价通常显著低于输入价
- 按次:少数图像类模型按次计费,不走 token
embedding 与 rerank 模型没有输出 token,价目表里输出一列显示为 —,不是 0。
每个模型的当前单价见模型;完整价目与折扣以 www.tokrouter.dev/pricing 为准。
额度
- 账号额度以美元记账,预付费充值
- 每个令牌可以设
monthly_quota上限:这是软上限,达到后该令牌的请求会被拒绝,但不影响同账号其他令牌 - 账号余额归零即硬停:所有请求返回额度不足错误,充值后立即恢复
失败请求不计费
上游报错、超时、被网关拒绝的请求不扣费。只有真正返回了 token 的请求才计入用量。
速率限制
速率限制按账号分组配置,维度是 RPM(每分钟请求数) 与 TPM(每分钟 token 数)。
超限返回 429,响应头里带建议的重试等待时间。
429 的处理
不要立即重试 —— 按 Retry-After(或指数退避)等待。并发打满时的重试风暴会把限流持续得更久。
成本控制
- 按任务分层:规划用强模型,批量执行用快模型,能省下的往往是一个数量级
- 用缓存:重复的前缀(系统提示词、长文档)命中缓存读后单价低得多
- 限制输出长度:
max_tokens是唯一可靠的输出上限 - 按令牌设上限:给实验性项目单独建令牌并设
monthly_quota,避免一次跑飞吃光余额 - 看用量再调:控制台用量页按模型与令牌拆分,先看哪一类占大头