2026 年 11 月 11 日,Google 发布 Gemini Decisions API,由 Gemini Decision 1 模型提供服务,通过 Google AI Studio 的 Gemini API 开放使用。它直接给候选答案评分,而不逐字生成回答;支持多模态输入,以及是非、选择和有序评分问题。官方强调低延迟、低输入价格与概率校准能力。对开发者而言,值得认真讨论的变化,是程序可以更便宜地获得大量带概率的判断。Google 官方发布说明
但概率进入程序以后,最危险的误解也随之出现:返回“百分之九十五有把握”,便被当成“可以放心自动处理”。本文的判断是,决策模型能否创造价值,主要取决于概率在本地数据上是否可信,以及错误能否被限制在可接受的范围内。更快的判断接口扩大了自动化的空间,也让原本藏在人工经验中的风险阈值变成必须明确写出来的规则。
本文基于截至 2026 年 11 月 12 日可核对的公开资料,不包含对 Gemini Decision 1 的调用实测。下文的算例、数据集划分和实验步骤都是分析与建议,不是模型的真实成绩。本文也不重复一般性的模型路由教程,重点讨论概率从接口返回值变成业务行动依据时,哪些统计关系容易被误读。
一、把生成改成评分,改变了什么
生成式模型回答分类问题时,通常需要输出一段文本,即便最后只有一个标签,也要经过生成过程,再由应用解析。直接评分接口则把候选集合提前交给系统,应用接收的是结构化判断。这样可以减少输出格式的不确定性,也减少为了得到一个选项而生成解释的开销。
不过,结构化输出解决的是结果如何交给程序的问题。系统仍然可能误读输入,可能分不清相邻类别,也可能在所有候选都不合适时挑出一个“相对最像”的答案。对开发者来说,新的工作重心是设计候选集合、验证概率含义,以及规定哪些判断可以进入下一步。
这里可以与传统分类器作比较。传统监督学习往往要求先积累特定任务的标注样本,再训练一个固定标签体系的模型。通用决策接口让团队可以先写标签描述、快速试验,尤其适合任务变化频繁、输入同时包含文字和图片的场景。代价是,模型行为对标签措辞、输入格式和任务背景的依赖,需要通过实验重新摸清。
再与通用生成模型比较。若工作需要提出未知方案、补充缺失条件、解释复杂冲突,固定选项可能过早压缩问题。一个投诉既涉及物流,又涉及产品损坏,还夹带发票诉求,强制选一个部门会掩盖多重需求。此时先做信息整理,再按独立问题评分,往往比直接塞进单选框更合理。
因此,决策接口比较适合定义明确、重复频繁、可以独立核验的局部判断。它不自动接管问题定义,更不会替业务负责人决定“这一次错误是否值得冒险”。
二、置信度、正确率和校准分别回答什么
假设某模型对一批问题都给出零点八的置信度。若其中约八成判断正确,我们可以说它在这批问题、这个置信度区间上较为校准。若只有六成正确,它就表现得过于自信;若实际九成五正确,则偏保守。校准讨论的是一组预测中的频率关系,不是对每一条预测的保证。
这一概念并非新出现。Guo 等人在 2017 年的论文《On Calibration of Modern Neural Networks》中研究了现代神经网络的概率校准,说明分类准确并不意味着输出概率已经可靠,并讨论了温度缩放等后处理方法。论文原文这篇研究提供的是理解校准的背景,不能据此推断今天某个闭源模型采用了什么训练或校准方法。
准确率关注选中的标签是否正确。校准关注说出的把握是否与实际频率相符。两者还要与区分能力分开:系统能否把容易正确的样本排在前面,把难题排在后面。一个总是预测基础发生率的系统,可能整体校准很好,却几乎不能帮助团队区分具体案例。
设想一百件材料中,有二十件缺少必填附件。一个系统对每件都给出百分之二十的缺件概率。在整体频率上,它没有夸大风险;但如果审核员只能优先处理十件材料,它提供不了有用的排序。另一个系统把大多数缺件样本排在前面,但概率普遍报得偏高,它可能有筛查价值,却需要重新设阈值。
这个反例说明,只看一个总体校准指标,会漏掉业务价值的另一半。产品团队至少需要同时看:分类是否准确、概率是否可信、排序是否有用。不同场景对三者的要求不同。若系统只负责把疑似缺件排到人工队列前面,排序能力很重要;若程序直接按照概率计算预期损失,校准就更加关键。
还要防止把总体校准误当成局部校准。中文扫描件和英文电子表单混在一起,平均数可能很好看,中文低清图片那一组却明显过度自信。真正用于决策的样本分组,应围绕可能改变错误后果的因素设计,例如语言、来源、图像清晰度与文件类型。
三、封闭选项里的高概率,可能只是没有正确选项
多项选择的概率通常是在给定候选集合内比较。假设应用只提供“发票问题”和“物流问题”,用户实际想询问账户被盗。模型即使给物流分配了很高概率,也没有证明物流就是正确业务类别。程序缺少了表达未知问题的出口。
增加“其他”可以缓解这个问题,但不能把它当成完整解决方案。“其他”本身需要清楚定义,是不属于任何已知类别,还是材料不足以分类?两者对应的后续处理不同。前者可能需要扩充服务范围,后者可能只需要补一张截图。如果都被压成同一个标签,人工接手时仍然要重新诊断。
标签之间也可能并不互斥。“需要补材料”与“需要财务审核”可以同时成立。把它们放在一个单选问题里,相当于要求模型替业务流程做一次没有明说的优先级决定。更合理的设计可能是两个独立判断,再由确定性规则合并结果。独立问题在接口结构上彼此分开,不代表它们在现实中统计独立。
这一点对批量检查尤其重要。同一张模糊图片触发的多个错误,可能来自同一个看错的位置。不能因为系统连续通过了十项检查,就按十个独立事件相乘,得出极小的失败概率。共用输入、共用模型和共用标签定义,都可能带来相关错误。
标签变化也会改变概率。把“物流”拆成“运输延迟”“签收争议”“地址错误”,不仅是后台管理上的重命名。候选之间的相似性和概率分配都会变化,旧阈值不应无条件沿用。对于经常调整业务分类的团队,标签说明应当与代码一样有版本,并保留对应的测试结果。
由此可以得到一个很实用的检查顺序:先检查问题能否被现有选项完整表达,再检查概率能否支持动作。否则,后续再精细的统计分析,也是在衡量一个没有正确出口的选择题。
四、百分之一的误报率,在稀有事件中可能很贵
下面用一组假设数字说明基础发生率的影响,不代表 Gemini 的性能。
有一万份表单,其中一百份确实存在某项问题。某筛查器能够识别其中九十份,同时把其余九千九百份正常表单中的百分之一误报为异常。最终人工队列中有九十份真异常和九十九份误报,真正有问题的比例不到一半。
从另一个角度看,这个筛查器已经把人工检查范围从一万份压缩到一百八十九份,很可能有价值。但如果产品宣传成“标红就基本确定有问题”,就会造成错误预期。相同结果对“帮助人工找线索”和“自动对用户作不利处理”,具有完全不同的含义。
更容易被忽略的是,事件发生率会变化。某个旺季出现更多异常,或者新渠道涌入大量正常样本,即使条件误报率与漏报率暂时不变,队列中的真异常占比也会改变。因此,试点阶段得到的“命中率”,不能永久贴在产品说明上。
实际评估应保留至少三种数量:一共发生多少目标事件,找出了多少,额外打扰了多少正常案例。只报告总体准确率,稀有事件很容易被大量正常样本淹没。只报告召回率,又可能隐藏人工队列被误报塞满的问题。
这也是为什么阈值不能由一个通用的零点九五决定。假设某种误处理平均造成一百元损失,人工复核每件两元,在极度简化、复核能完全避免错误的模型里,错误概率低于百分之二才可能使自动处理的直接预期成本更低。但现实还要考虑复核也会犯错、用户等待、声誉损失和不同案例的损失差异。这只是展示推理方式,不能作为实际业务阈值。
对损失难以量化或涉及人的重要权益的场景,概率应当支持有资格的人员判断,而非成为跳过责任审查的理由。高分改变的是证据强弱,不会自行创造处理权限。
五、拒绝处理多少,决定了可靠性的含金量
一个系统只自动处理最容易的一小部分任务,可能获得很高的正确率;另一个系统覆盖绝大多数任务,正确率略低。若只展示前者的成功率,会让读者误以为它全面更强。公平比较需要把自动处理覆盖率与错误率一起报告。
可以逐步提高置信度阈值,观察自动接受的样本比例如何下降,以及接受样本中的错误率如何变化。这条关系比单个阈值更有用:它告诉团队,为了少放过一个错误,需要把多少工作重新交还人工。若提高阈值几乎不能降低错误,说明错误可能集中在高置信度区域,继续调阈值帮助有限。
反过来,若某模型在较低覆盖率时非常可靠,作为辅助产品也可能值得部署。比如它能稳定识别一部分格式清楚的内部资料,剩余材料仍交人工。价值来自减少了确定可节省的劳动,不必为了宣称全自动而强行覆盖难例。
这里需要防止一种评估偏差:只检查被拒绝的案例,却不抽查高置信度放行项。人工会越来越了解模型“不确定”的地方,却不知道它“自信地出错”的地方。长期运行后,反馈数据反而可能给人一种错误印象,好像所有剩余错误都已经被拒答机制拦住。
合理的抽检应同时覆盖自动接受、自动拒绝和临界区间。高置信度样本也保留少量随机复核,尤其关注新来源、新模板与标签变更后的数据。若人工容量有限,应先写清抽样规则,再解释结果代表什么范围,而不是把便利抽样当成完整质量监控。
六、怎样做一次能推翻自己预期的实验
下面是一套可以复现的试验设计,不包含已经执行的结果。任务可以选“内部资料是否缺少必要附件”,使用经过授权、去除不必要个人信息的材料,避免直接从高后果的自动审批开始。
先制定标注说明,列清什么算缺件,哪些材料根本不适用,以及遇到模糊图片时允许怎样标注。由两名熟悉业务的人分别判断一部分样本,专门处理分歧。若人类标准没有稳定下来,模型的所谓错误可能只是规则尚未定义,盲目增加样本并不能修复这一点。
再按时间或来源划分开发集、校准集和最终测试集。开发集用于改标签和输入格式,校准集用于选择阈值或概率后处理,测试集只在方案确定后使用。相似文件、同一事件的多个版本应放在同一组,避免模型实际上见过几乎相同的材料,却被统计成独立泛化。
比较对象不必很多,但要覆盖现实替代方案:确定性规则、一个现有通用模型,以及新的决策模型。所有候选使用相同材料与标签含义。若某个系统需要额外文字识别,应记录它的时间与错误影响,而不是只比较最后一次模型调用。
结果中记录逐项真实标签、预测标签、概率、输入类型、延迟和费用。二元问题可以计算 Brier 分数,即概率与零或一真实标签之差的平方平均值;同时画置信度分组的实际发生率,并查看不同覆盖率下的错误比例。Brier 分数反映概率预测整体质量,不应被描述为只衡量校准的纯指标。
样本量也要与目标匹配。若只抽查一百条自动放行结果且没有发现错误,不能宣布错误率低于千分之一。按照独立抽样的粗略“零事件三除以样本量”规则,百分之九十五置信水平下的错误率上界仍约为百分之三;若样本相关、选择有偏或分布变化,这个估算还会失效。高可靠性主张需要更多证据,不能靠少量演示补足。
最后做有针对性的扰动:改变同义标签措辞,交换选项顺序,降低图片清晰度,加入不属于现有类别的材料,保留合理但冲突的附件。目的不是凑出一个更难的榜单,而是寻找概率失真的条件。如果标签轻微改写就使高置信度答案大幅翻转,优先修订问题定义,而不是立即调整一个看似更精确的阈值。
七、便宜的判断,应当带来更好的测量
Google 公告列出的价格是每百万输入 token 零点一美元,输出不计费。它报告的端到端延迟为一百五十至二百五十毫秒,但具体性能段落限定在一定输入长度和问题数量范围内,不能理解为任何长视频、任何批量大小都获得同样时延。以上属于厂商口径,本文没有独立验证。官方性能与价格说明
如果判断成本下降,最值得优先投入的事情之一,是扩大可解释的试验与抽检,而不只是增加自动执行的次数。团队可以更细地比较标签定义,保留更多边界样本,检查不同来源的概率是否失真。低调用成本只有转化成这些证据,才可能减少后续返工和错误处理成本。
但也不必把每个轻量功能都做成研究项目。个人资料整理、内部搜索排序与可撤回的辅助标记,可以采用较简单的抽检;会对外发送通知、改变客户状态或影响重要权益的流程,则需要更严格的证据和人工责任安排。验收投入应随错误后果变化,而非随模型名称变化。
Gemini Decisions API 的发布显示,带概率的结构化判断正变得更容易接入软件。下一步值得竞争的,不只是接口快多少,而是谁能说明:这些概率在哪些数据上可信,系统愿意放弃多少覆盖率来换取可靠性,以及标准变化后怎样重新验证。能回答这些问题,概率才真正成为工程工具;答不出来,再漂亮的小数也只是一个容易被误用的返回值。
评论
暂无评论。