模型路由何时省钱:成本、质量与缓存的取舍

从 Google 11 月 3 日的模型路由实验出发,建立费用、成功率和缓存开销的可复算模型,分析预路由与级联的差异,以及灰度上线必须守住的质量门槛。

模型路由很容易做出一张漂亮的账单:把大部分请求送到便宜模型,平均调用费用立刻下降。困难在于,那些省下来的钱里,有多少来自真实的效率提升,有多少来自悄悄放弃了困难任务?如果用户还要重新提问、人工修正,甚至在几天后才发现错误,接口层的低成本可能只是把支出移到了别处。

2026 年 11 月 3 日,Google Developers 发布了一项小型实验:用轻量分类器选择 Gemini 模型及思考配置,在 50 道自动评分任务上比较成本。作者明确披露了单次运行、人工难度标签和简单评分器等限制;其中一个低思考配置已经答对全部题目,路由必须与这个基线比较,而不能只挑最贵配置当对手。原始实验说明

这项实验值得读,但不适合直接抄成生产架构。本文不复现其模型成绩,而是解决一个更基础的问题:当你已经有一个可用的模型配置,增加路由器究竟要跨过哪些经济与质量门槛?下面的数字均为明确设定的算例,不代表任何供应商价格或模型实测能力。

先决定什么叫完成,再计算每次完成的成本

一个客服分类接口返回了合法 JSON,不代表工单分对了。编码代理提交了补丁,不代表回归测试、权限检查和用户需求都满足。把 HTTP 成功数当作任务成功数,最容易奖励那些快速生成错误答案的配置。

应当在模型外定义验收条件。对字段抽取,可以检查必填字段、原文证据和取值约束;对代码修改,可以检查隐藏用例、原有测试和变更范围;对开放式分析,则需要抽样人工评审,并保留不同评审者的分歧。评分器也有误差,所以不要把它的分数称为绝对真值。关键在于,同一批输入必须使用同一套、事先冻结的验收标准比较方案。

本文把成本除以验收成功率,得到“每个验收成功任务的期望费用”。这个比值适合比较总体资源效率,但它不会替你决定错误是否可以接受。例如价格再低,一个会漏掉关键告警的方案也可能不合格。因此选择方案应分两步:先满足质量和时延的硬约束,再在合格方案之间比较费用。不要把质量损失隐藏进一个看起来更优的综合分数。

成本的分子还要包含分类调用、模型调用、验证、失败重试,以及可以归因到该链路的计算费用。人工复核很难精确估算时,至少单独报告复核率和处理时长,不应默认为零。为了让下面的推导清楚,先固定每条路径的平均调用费用,并暂不加入人工成本;这是一种建模简化,不是生产账单的完整定义。

路由器不是在猜难度,而是在预测两条路径的收益差

“这是简单任务吗”听起来容易标注,但这个问题没有脱离模型的固定答案。一个长篇日志中找明确的错误码可能只需要提取;一段很短的程序可能涉及共享状态、求值顺序和隐式类型转换。输入长度、关键词、题目类别可以作为特征,却不能替代两条候选路径的实际表现。

更合适的标签来自成对实验:把同一道题交给便宜配置和强配置,分别验证结果。两者都成功的输入,通常适合便宜路径;便宜配置失败而强配置成功的输入,才是升级最有价值的区域;两者都失败的输入,不应因为名字叫“复杂”就无限升级,可能需要补充上下文、换工具或转人工。

这会改变训练数据的收集方式。如果只记录已经被路由器升级的请求,就无法知道留在便宜路径上的困难题错了多少。需要保留一小部分随机抽样流量做影子比较,或者周期性离线重放。涉及真实写操作时,影子路径必须使用无副作用环境,不能为了测评重复发消息、创建订单或修改数据。

另外,模型自行报出的置信度没有天然的统计含义。一个输出为 0.9 的评分,只有在相似样本上经过校准,才可能与实际成功率建立关系。更换模型版本、提示词、工具权限或者数据来源之后,这种关系都可能变化。因此阈值属于某个具体系统版本,不能随模型名一起永久固定。

一个可以复算的成本门槛

设便宜模型每次调用费用为 0.2 个成本单位,强模型为 1,分类器为 0.02。这里的单位是相对数,不是美元或人民币。假设输入中八成是容易样本,两成是困难样本;便宜模型在两类上的成功率分别为 99% 和 60%,强模型分别为 99.5% 和 95%。这些概率仅用于解释方法。

再假设路由器把容易样本的 5% 升级,把困难样本的 90% 升级。总升级率就是 0.8 × 0.05 + 0.2 × 0.90,也就是 22%。采用“先分类,再只调用一个模型”的结构时,平均费用为 0.02 + 0.78 × 0.2 + 0.22 × 1 = 0.396。

成功率必须按同样的流量比例计算。容易样本一侧是 0.8 ×(0.95 × 0.99 + 0.05 × 0.995),困难样本一侧是 0.2 ×(0.10 × 0.60 + 0.90 × 0.95),相加得到 97.52%。全部调用强模型时则为 0.8 × 0.995 + 0.2 × 0.95 = 98.6%。

路由后的费用确实明显下降,但成功率也下降了 1.08 个百分点。如果产品最低要求是 98%,这个方案已经不合格,不能用省钱来宣称胜出;如果最低要求是 97%,它才有资格进入下一轮时延、长尾和成本评估。这里最值得保留的不是某个百分比,而是先检查约束再比较效率的顺序。

把缓存损失放回账单

常驻代理往往反复携带仓库说明、工具定义或对话前缀。路由改变模型和请求形态后,缓存收益也可能改变。当前 Gemini 文档区分了具体 API 和模型的缓存支持,提供缓存命中用量字段;不能拿一个统一折扣套所有请求,也不能把“默认启用”理解成“每次命中”。上下文缓存文档

在算例中,假如路由额外造成每任务 0.6 单位的缓存与上下文处理开销,平均费用就从 0.396 上升为 0.996。除以成功率后,路由方案约为 1.0213,而全部强模型约为 1.0142。原本很亮眼的节省消失了,质量还更低。这个 0.6 同样是假设值,真实值必须由账单和用量日志计算。

工程上可以先按会话而不是按每一次工具循环选择模型,减少频繁切换。对短小、独立、容易验收的子任务再单独分流。例如格式转换和文档中的字段抽取可以成为独立调用,而修改跨模块代码的长任务保留稳定上下文。这样牺牲了一部分精细调度自由,换来更简单的成本归因和更可预测的缓存行为。

用几十行代码检查假设,而不是制造一个新排行榜

下面是纯 Python 3.12 算例,没有第三方依赖,不访问模型 API,也不产生外部调用费用。将其保存为 route_cost.py 后运行 python route_cost.py。它验证的是算术与流量假设,不是任何模型的真实能力。

from dataclasses import dataclass

@dataclass(frozen=True)
class Case:
    share: float
    cheap_success: float
    strong_success: float
    escalate: float

def evaluate(cases, cheap, strong, router, cache_penalty=0.0):
    assert abs(sum(x.share for x in cases)-1) < 1e-9
    cost = router + cache_penalty
    success = 0.0
    baseline_success = 0.0
    for x in cases:
        # Pre-routing: only one model is called for each task.
        cost += x.share * ((1-x.escalate)*cheap + x.escalate*strong)
        success += x.share * ((1-x.escalate)*x.cheap_success + x.escalate*x.strong_success)
        baseline_success += x.share*x.strong_success
    return cost, success, cost/success, strong/baseline_success

base = [Case(.8,.99,.995,.05), Case(.2,.60,.95,.90)]
for label, cases, penalty in [
    ('base',base,0),
    ('cache_penalty',base,.6),
    ('drift',[Case(.8,.99,.995,.05),Case(.2,.60,.95,.50)],0),
]:
    cost, success, cps, bps = evaluate(cases,.2,1,.02,penalty)
    print(f'{label}: cost={cost:.6f}; success={success:.6f}; cost/success={cps:.6f}; baseline={bps:.6f}')
assert abs(evaluate(base,.2,1,.02)[0]-.396)<1e-9
assert abs(evaluate(base,.2,1,.02)[1]-.9752)<1e-9
assert evaluate(base,.2,1,.02,.6)[2]>evaluate(base,.2,1,.02,.6)[3]
assert evaluate([Case(.8,.99,.995,.05),Case(.2,.60,.95,.50)],.2,1,.02)[1]<.97
print('4 assertions passed')

本次在 Python 3.12.14 中执行后,三个场景依次输出:基准路由费用 0.396000、成功率 0.975200、每次成功费用 0.406071;增加缓存开销后费用 0.996000、每次成功费用 1.021329;困难样本识别率下降后费用 0.332000、成功率 0.947200。四个断言最终全部通过。这些是算例程序的实际执行结果,不是在线模型实验。

最后一个场景尤其容易在监控中被误读:困难样本升级率从 90% 降到 50%,费用进一步下降,成功率却跌到 94.72%。如果仪表盘只展示平均 token、平均调用价格和升级比例,团队可能把一次质量退化当作优化。因此费用曲线必须与分层成功率并排看,尤其要盯住那些低频但损失高的错误类型。

还要注意这段代码隐含的条件:同一难度组内,是否升级与模型成功率按固定均值组合。现实中的路由器可能恰好挑中最难或最容易的子集,所以生产分析应使用逐样本结果,不应把粗分组的平均成功率直接套进公式。这里保留分组只是为了让每一步可以手算,并暴露关键变量。

先分类与失败后升级,是两种不同的系统

上面的费用公式只适用于预路由:分类器先判断,随后只调用选中的模型。如果先让便宜模型回答,再根据验证器结果调用强模型,就变成了级联。级联路径每次都支付便宜模型费用,升级时再支付强模型费用;验证器自身也有成本,整体时延通常包含两次串行调用。

级联的优势是可以看到真实答案和验证结果,不必只根据输入猜测难度。但前提是验证器能识别失败。编译器、结构校验和确定性测试适合做部分验证;开放式建议和不完整需求则很难。一个通过格式校验的错误结论如果被放行,强模型根本没有机会补救。反过来,过度严格的验证器可能把正确结果全部升级,让系统既慢又贵。

对于会执行外部动作的代理,级联还涉及副作用管理。便宜路径不能先完成一次不可重复的写入,再因为验证不满意让强模型从头执行。可以把规划与执行分开,或者在沙箱中先验证计划;真正提交前使用幂等键、权限检查和明确的动作状态。模型路由是计算策略,不应顺带改变业务授权和提交语义。

思考配置、输出上限和超时必须分别管理

压低输出上限不等于让模型采用更轻的推理策略。当前 Gemini 的思考文档说明了思考级别与最大输出 token 的不同作用,并提醒达到上限可能导致不完整输出。参数名称与可用级别还取决于所用 API 和模型,迁移时应读取对应版本文档,而不是复制旧示例。思考配置文档

实际验收时应至少分开记录三种情况:模型按协议返回但内容错误、生成被截断、调用超时或系统失败。三者的补救路径不同。内容错误可能需要更好的上下文或更强模型;截断可能需要合理输出额度或缩小任务;系统失败则可能需要退避重试。把它们统称为“复杂任务”会让路由器学习错误的信号。

超时策略也要与用户等待预算一致。一个请求如果只剩两秒,就算更强模型成功率高,也未必有足够时间完成。可以返回可解释的处理中状态,或转为异步任务,但不能在后台无限重试却让前端显示完成。用户感知的是整条任务链的结果,单次模型调用的延迟只占其中一部分。

上线时先证明没有偷走质量

第一轮对照可以非常朴素:保留当前最好的单模型配置作为基线,选择一批覆盖正常输入、边界输入和已知故障的固定样本,分别执行基线与路由方案,记录每条样本的成功、费用、时延、截断和重试。开发集用于调整阈值,留出集只用于比较。测试数据要按实际业务来源分层,不能让几十条短题代替整套代理工作流。

小样本零失败只能说明在这些样本上没有观察到失败。即便把样本看作独立同分布,常用的“三除以样本数”粗略经验也提示:五十次零失败仍无法排除几个百分点量级的真实失败率。真实业务往往还有同源输入相关性,证据可能更弱。因此不要把一次满分推广成稳定百分之百,更不要据此删除回退路径。

第二轮用影子流量确认分布差异,第三轮才灰度放量。回退条件应提前写好,例如某一关键任务类型的验收率跌破门槛、升级比例突然变化、缓存命中下降或高分位时延超标。回退到已验证基线不需要等到总费用上涨;只要质量约束失守,低价本身就没有继续放量的理由。

我的判断是,轻量路由最先值得落在高频、短上下文、有清晰验收器的独立任务上。对长上下文协作、工具状态复杂或错误代价高的工作流,先优化单一路径的思考配置、上下文组织和失败恢复,通常更容易解释收益。路由的最终价值应体现在同样的质量约束下完成更多任务,而不是把困难任务留在账单之外。

相关文章

评论

登录后即可参与讨论

暂无评论。