MKA 基准发布:57%得分离完成工作有多远

MKA 开始评测复杂视觉文件与真实交付物。怎样区分加权得分、任务完成率与人工复核成本,并把榜单转化为可验证的企业试点?

2026 年 11 月 10 日,Google 与 Artificial Analysis 发布 Multimodal Knowledge Agent(MKA)基准,把评测对象指向一类很具体的工作:从复杂视觉文件中找证据,再交付可以打开、检查和使用的成果。官方介绍称,这套测试包含十个行业、八十三种职业的两百项任务。它值得关注的原因,不只是又出现了一张模型排行榜,而是它把一个经常被聊天演示遮住的问题摆到了桌上:模型说自己看懂了文件,最终交出去的工作究竟有多少可以被别人接着使用?Google 发布说明

我的判断是,MKA 对企业选型最有价值的启发,是把“答案质量”推进到“交付质量”。但要利用这种进步,必须先拆开三件事:模型拿到多少加权分,整项任务是否可交付,以及人类为了确认可交付还要投入多少劳动。这三者可以相关,却不能直接相互替代。把榜首约百分之五十七的得分理解为“已经自动完成一半以上的职业工作”,会比不看排行榜更容易做错决策。

本文依据截至 2026 年 11 月 11 日可核对的一手公开材料展开分析,未自行运行 MKA,也没有对下面提到的模型做实测。文中的采购审核情景与成本例子都是用于推理的假设案例,不是该基准的真实题目或测试记录。

一、先弄清楚排行榜的分母

Artificial Analysis 对 MKA 的说明区分了两类检查项:Regression 对应基础要求,Climb 对应更难、用于区分较强模型的要求。主榜的 Climb WSR,是这些较难检查项的加权满足比例。发布时的介绍列出 Claude Fable 5.2 约百分之五十七、Gemini 4 Carbon 约百分之五十四的主榜成绩。这里的百分比描述评分项,不是在两百份工作里有多少份完整通过。评测发布说明

可以用一个简单的假设来理解差别。甲系统在每份报告中都完成了大多数排版要求,也填齐了基本信息,却持续把一项关键金额读错;乙系统在较少的报告中完整做对,其余直接标注材料不足。这两个系统可能拿到相近的加权平均分,但业务价值可能相差很大。对需要直接交给客户的正式报告,甲系统的稳定小错可能使每一份都要重新核对;对供分析师继续研究的初稿,甲系统反而可能节约更多时间。

分数本身没有义务替公司决定哪一种错误更贵。问题出在读者把评测中的权重,当成了自己业务中的损失函数。某个检查项在基准中占比较小,在现实中却可能决定整份成果是否有效;相反,有些美观问题会扣分,但并不妨碍内部团队使用。这不是对基准的否定,而是在提醒我们,平均成绩适合筛选候选者,不适合直接签署验收单。

因此,企业把外部基准转化为内部实验时,至少应保留两张结果表。一张记录逐项得分,帮助定位能力短板;另一张只回答整份交付是否达到约定的使用条件。后一张不能只用一个任意的总分门槛生成,还应包括少数不可补偿的条件,例如关键数字与原件一致、结论没有遗漏明确反证、最终文件确实能够打开。高分项不能抵消这些条件的失败。

二、视觉能力为什么容易在工作流中被绕过去

MKA 技术报告提供了一个有解释力的对照:在作者的实验设置下,移除 Gemini 4 Carbon 的看图工具后,它在 MKA 上的 Climb WSR 下降约五点九个百分点,执行轮次和输出量还会上升。这支持一个有限结论:在这套任务与运行环境中,视觉工具确实参与了有效求解,文本和代码补救没有完全消除损失。它不能证明所有模型、所有办公任务都必须采用相同的看图频率。MKA 技术报告

这项观察的实践意义,在于它区分了“文件中有图片”和“正确完成任务需要视觉信息”。一个扫描版通知即便只有图片,文字识别可能就足以恢复全部任务信息;一张设备布局图即便附带可复制文字,设备之间的位置关系仍可能藏在线条、箭头和比例中。是否使用视觉,不该只根据扩展名判断,而应根据任务需要保留什么关系判断。

设想采购团队要把供应商的设备方案整理成比较表。输入包括报价单、布置图和变更说明。抽取文字后,设备名称、单价、数量都还在,模型很容易产出一张整齐的表格。然而,变更说明中的型号可能只适用于图上被圈出的区域,图例中的虚线也可能表示可选设备。文本列表看起来内容完整,约束之间的关系却已经断开。随后越流畅的推理,越可能把丢失的关系包装成确定答案。

这里的失误不一定来自“模型不会看图”。它可能压根没有打开关键页面,也可能看到了整页却没有放大局部,还可能在输出阶段把正确观察对应到了错误的行。换更强模型只能解决其中一部分。若系统没有记录证据来自哪个文件、哪一页、哪个区域,审核者最终还是只能重新读一遍材料。

我更倾向于把视觉工作设计成一条可回溯的证据链:先确定任务依赖哪些信息,再选择文字抽取或图像观察;对影响结论的空间关系保留原始定位;最后让输出中的关键结论能够回到对应证据。这里不必保存每一次内部思考,也不要求给每句常识都加脚注。真正需要留下的是会改变业务决定的观察,以及观察存在歧义时的处理方式。

三、交付物需要同时经过内容检查和使用检查

MKA 将文件成果纳入评分,也要求评审过程检查文件内部结构。Artificial Analysis 的方法说明列出,每个任务只运行一次,模型使用统一的 Stirrup 环境,预算上限为二百五十轮和八小时;评分由独立沙箱中的代理评审执行。统一环境有助于比较,但这种结果仍然是“模型加环境”的表现,而不是脱离工具的纯智力刻度。评测方法

企业试用时常见的捷径是,只看助手最后一段话。它说已完成工作簿,于是测试记录写“成功”;它附上一个文件名,于是被视为已交付。这个判定太早了。文件是否存在、能否打开、内容是否符合要求、能否支持下游操作,是四个不同的问题。只检查最后回复,会把最需要核验的部分交给被测系统自己证明。

仍以采购比较为例,工作簿里显示的合计金额正确,不代表工作簿适合继续使用。合计可能是写死的数值,新增一行后不会更新;单位可能混用了件和套;图表可能引用了旧范围。反过来,公式与数值都正确,也不代表交付合格。若打印时关键备注被截断,或者用于决策的警告被藏在看不见的工作表,接收者依然可能做出错误判断。

因此,验收应分成互不替代的两部分。内容检查核对事实、关系、公式和推导,使用检查核对展示、编辑、导出和接手路径。前者更适合结构化检查与领域复核,后者需要实际打开、渲染或操作交付物。模型能够生成文件,只能算进入了这条链,不能算走完了这条链。

需要避免的另一个极端,是为每个低风险草稿建立重型验收流程。临时头脑风暴材料、个人笔记和内部讨论图,通常不值得逐项复刻正式交付标准。验收强度应随用途调整:探索阶段优先保留思路和疑点,进入对外沟通或资源分配阶段后,再收紧数字、来源和版式要求。把所有产物都当正式报告,会吞掉自动化原本创造的收益。

四、自动评分的一致性不能代替错误分布

Google 的发布介绍称,在专家复核中,自动评审与领域专家的判断约有百分之九十六一致。这个数字说明自动评审具备可研究、可使用的基础,却不能直接推出它可以承担所有重要验收。Google 发布说明

原因在于,一致率回答“有多少判断相同”,业务方往往更关心“不同的那些判断错在哪里”。如果分歧集中在配色、标题位置和行距,人工复核的成本相对有限;如果集中在少见但关键的单位转换或例外条款上,即使总比例很小,也可能影响是否允许自动交付。仅凭总体一致率,我们无法知道这两种情形哪一种更接近自己的业务。

更好的引入方式是先做有针对性的双重评分。抽取包含易错单位、跨页引用、模糊扫描和相互冲突材料的内部样本,让自动评审与人类分别判断,再专门检查分歧。不要为了提高一致率,删掉难以达成共识的业务情形;那些情形可能恰好就是正式使用时最贵的部分。

还应区分错误放行与过度拒绝。前者让有问题的成果进入下游,后者让可用成果反复返工。两种错误的成本不对称,阈值也不应只为了获得好看的总体准确率。对于可撤回的内部初稿,可以容忍更多待复核内容;对于涉及专业责任的正式判断,关键项目应留给具备资格的人确认。这个决定属于组织的责任分配,外部排行榜不会替组织承担后果。

五、单次调用便宜,未必意味着整项工作便宜

MKA 的评测页面明确指出,成本统计包含被测模型调用,不包含评审模型调用。页面上的时间也是基于生成速度与工具执行时间估算的指标。采购方应把这些数字视为限定口径的比较,不能自动当成自己工作流的总账。MKA 结果与成本口径

假设一个代理每次生成的模型费用更低,却经常遗漏图上的变更标记。每次输出之后,审核者都需要额外核对整张图。另一个代理调用更贵,但能把关键结论对应到准确位置,审核者只需要检查少量标记。后者可能具有更低的交付成本。这里的“可能”很重要:只有把复核时间测出来,才有依据判断,不能仅靠模型更聪明的印象推断。

对预算更有用的记录单位,是达到同一验收条件的一份成果。一次尝试不合格,第二次重做,应计入同一份成果的成本;人工重写、等待补充材料和渲染检查也应留下记录。若最后仍未达到要求,这次尝试不能从统计中消失。否则团队会逐渐形成一种自我安慰的报表:成功案例不断累积,失败案例被重新命名为探索成本。

不过,总成本也不能被无限扩张。前期搭建评估环境的固定投入,与每份成果的日常处理成本应分开;原本人工流程就存在的审核,也不能全部归咎于代理。合理比较应使用同一批任务、同一交付标准和同一核算边界,先测人工基线,再观察代理到底减少了哪个环节的劳动,或者只是把劳动转移到了别处。

这也是为什么我不建议根据几美元的单次价差直接切换整个团队。真实收益更可能来自任务匹配:把结构清楚、来源明确、验收成本低的工作先交给代理;对于视觉歧义多、责任后果大、返工路径长的工作,先保持辅助角色。相同模型在不同流程中的经济性,可能比两种模型在同一榜单上的差距更大。

六、怎样把这次发布变成一个可证伪的试点

MKA 保留私有测试集,并提供单独的公开示例,这有助于在可检查性与减少题目泄漏之间取得平衡。但公开示例不能替代企业自己的材料分布,私有成绩也不能证明模型适应内部的中文缩写、旧版模板和历史扫描件。企业需要的不是复制整张榜单,而是建立一个规模可控、失败可以解释的小型试点。

可以先选一种明确交付,例如“从报价与布置图整理采购比较工作簿”,写清接收者会怎样使用它。随后选择包含正常件、模糊件、冲突件和缺失件的样本,事先列出必须满足的条件。尤其要规定材料不足时的正确行为:允许标注未知、提出补充请求,还是必须停止某个结论。若没有这条规则,团队就会奖励猜得像真的输出,而惩罚谨慎但有用的提示。

试点至少记录四类结果:关键证据是否找对、交付物是否可用、人工修正投入多少、遇到未知时是否诚实。先固定流程比较候选模型,再固定模型调整工具与提示,避免把所有变量同时更换。这样才能判断改进来自模型本身,还是来自更好的文件预处理或检查步骤。

最后给试点设一个可失败的标准。例如,若关键数字仍需要逐项重抄才能确认,便不把它升级为自动交付;若视觉定位减少了复核劳动,却没有显著改善整份成果通过率,则保留它作为审阅辅助。这种结论并不难看,它明确指出系统在哪一段有价值,也避免团队为了证明采购正确而继续放大使用范围。

MKA 的发布把职业工作评测向前推了一步:我们开始更认真地问,代理能不能读懂复杂文件,能不能交出可检查的结果。接下来真正重要的工作,是把外部分数翻译成本地可验证的承诺。只有当错误可以被定位、成果可以被接手、成本可以按相同口径核算时,“会完成任务”才不再只是演示中的一句话。

相关文章

评论

登录后即可参与讨论

暂无评论。