Claude 形式化验证研究:从生成代码到交付可检查证据

Claude 形式化验证研究仅覆盖明确条件下的性质。试点应先限定规格、独立检查证据,再测量复现成本与后续维护负担。

这项研究证明了什么

Anthropic 于 2026 年 10 月 22 日公布与 Theorem 合作的形式化验证研究:使用 Claude 为 123 个开源库中的 239 个入口构建证明,再由 Rocq 检查。研究关注特定条件下的无崩溃性质,运行假设包含 RISC-V、Linux、单线程静态二进制及固定内存预算,输入范围也有限制。它并不是宣布这些库在任何环境下都没有漏洞。研究原文

应当关注的是证据,而不只是模型

这条消息的工程价值,不宜只用“模型又能写更多代码”解释。更值得讨论的是,团队是否能把 AI 的交付物从一段实现,推进到实现、约束和可重复检查的证据。下面是面向软件团队的独立分析与试点建议,不是研究团队已经承诺提供的产品能力,也不是对所有项目适用性的保证。

先把验证目标缩小到能讨论的程度

不要从“证明整个系统安全”开始

一个上传服务同时涉及文件格式、访问控制、对象存储、网络失败和后台任务。要求 AI 一次证明整个服务安全,很容易得到过度宽泛的目标。更可操作的起点是一个有明确输入输出的组件,例如解析长度字段时不越界,或者同一幂等键重复提交不会生成两个业务结果。这里列的是可讨论的规格方向,并不表示本次研究已经覆盖这些场景。

团队应先写出一句不含营销词的目标:在什么输入集合内,哪种错误不允许发生。再列出不在范围内的事情。例如解析器的边界性质,不自动涵盖用户授权;业务幂等性,也不自动证明数据库故障后的恢复流程。把排除项明确写出,比使用一个笼统的“已验证”标签更有沟通价值。

由业务负责人解释规格的含义

数学表达精确,不代表业务需求一定正确。建议让熟悉业务的人给每条规格配一组正例、反例和边界例:什么应当被接受,什么必须被拒绝,以及两者交界处如何处理。研发人员再把这些例子映射到待验证对象,避免规格只描述了程序现有行为,却没有表达真正想要的行为。

把 AI 生成与独立验收分开

不让同一个结论替自己背书

建议把证明生成任务和验收任务拆成不同阶段。生成阶段可以让模型尝试构造证明、解释失败或提出补丁;验收阶段则固定输入版本、检查器版本和执行命令。模型写下“验证通过”的文字只能作为日志,不应成为发布条件。真正的通过记录应能由其他成员在干净环境中重跑。

如果生成过程中修改了实现,也要重新判断原规格是否仍然有效。尤其要防止为了让任务通过而放宽边界、删除断言或绕开困难路径。可以把规格文件和业务实现分开评审:前者解释要保证什么,后者解释怎样实现,证明材料说明为什么在已声明条件下成立。三者的变化都应在代码审查中看得见。

留下可以追踪的版本组合

一个试点可以保存源代码提交号、依赖锁定信息、构建参数、目标产物摘要、规格版本和检查日志。这样当未来修改编译选项、升级依赖或更换运行环境时,团队能识别哪些证据需要重建,而不是把曾经通过的结果永久贴在项目首页。

这也有助于处理失败:如果同一版本在另一个环境无法复现,先比较版本组合,再研究模型推理过程。把复现路径压缩成清晰的命令和文件清单,通常比保存大段对话更适合作为交付资料。

试点指标要同时记录收益与代价

先设预算,再讨论扩大范围

建议选一个维护活跃、构建可复现且有测试入口的小组件,用固定时间和计算预算试验。记录人工准备规格的时间、模型尝试次数、检查耗时、最终覆盖范围和新增维护工作。没有证据支持时,不要把某次研究的规模换算成自己项目的成本,也不要假设任务越多单位成本必然越低。

结果至少分为三类:已得到可检查的证明;发现值得修复的问题但尚未证明;预算耗尽或条件不足。第三类是未完成,不等于安全,也不一定意味着存在缺陷。把它从成功率分母里悄悄移除,会让团队误判方法在真实工作中的可用性。

用变更实验检验维护成本

第一次通过之后,可以有意做一次小版本升级,观察需要重做哪些步骤。若一个局部改动导致大量证据重建,就应评估其是否适合进入频繁发布的路径。反过来,若规格稳定而实现经常变化,持续维护这条验证链可能更有价值。具体取舍应由实际测量决定,不能只看证明产物的体量。

失败记录也应进入知识库

试点结束时,不只保留成功的样本,还应记录无法形式化的外部依赖、难以描述的状态转换和不稳定的构建步骤。它们可能暴露出组件边界本身不清楚,而不仅是模型能力不足。下一轮可以先整理接口、减少隐式状态或补充测试,再重新评估,不必立即购买更多计算资源。

项目负责人还应为这条验证链指定维护人。证明产物、检查器升级和规格修改如果无人接手,首次成功很难转化为持续收益。把维护责任放进正常版本流程,才能知道上线后发生变化时由谁决定证据是否过期、是否需要暂停相关发布。

发布门槛仍需要多层证据

不用新工具替代所有旧工具

即使某个组件获得了限定性质的证明,系统层面的权限、配置、并发交互和外部服务依然需要各自的检查。团队可以建立一张证据清单:哪些风险依靠形式化验证,哪些依靠测试,哪些需要运行监控,哪些仍由人工审查负责。不同方法应围绕风险互补,而不是在“测试过时了”与“证明没用”之间二选一。

对外说明保持范围一致

这项研究为 AI 辅助软件验证提供了值得跟进的案例,但企业的对外表述仍应落在具体对象和条件上。更准确的交付说明是某版本组件满足某条性质,并列明运行假设和复现方法,而不是“AI 已保证系统安全”。下一步最有价值的行动,是挑选一个边界清楚的模块完成小规模、可复查的试点,再用自己的数据决定是否扩展。

相关文章

评论

登录后即可参与讨论

暂无评论。