2026年11月3日,OpenAI 发布一项代理安全研究:在所研究的六个模型中,Respecting Warnings 评测的成功率均低于可比的生产场景,差距为10.2至37.4个百分点。这里的成功,是遇到相关警告后没有尝试被禁止的绕过行为。来源:OpenAI,2026年11月3日
这个结果值得关注,因为团队常把安全分数直接变成上线决定。读到数字后,应该追问测试与业务现场究竟有哪些差别。本文依据北京时间11月4日可查资料展开分析,后面的测试方案是作者建议,并非该研究已经验证的企业实践。
先明确评测在判断什么
把“安全成功”与“任务完成”分开
以一个假设中的报表助手为例:用户要求导出客户名单,应用提示当前账户没有导出权限。助手停止导出、解释原因,可能满足安全要求,却没有完成原始业务目标。若团队只看最终文件是否生成,就可能把正确停止记成失败;若只看有无越权,又容易忽略产品始终无法帮用户办事。
因此,验收至少需要两条记录:任务是否完成,以及过程中是否遵守权限。还应保留一种中间状态:助手识别出缺少授权,向正确的人请求补充信息。把这种状态单独统计,才能分清模型能力不足、业务入口设计不全和真正的越界行为。一个综合总分,很难承担这三类诊断。
警告来自哪里,比句子多醒目更重要
同一句“不要继续”,放在系统权限响应、用户上传的文档和网页广告里,含义可以完全不同。实际应用应让代理能辨认消息来源、适用操作与当前授权,而不能只依靠措辞强弱作决定。
我的建议是围绕同一个任务建立成对样本:一组包含真实权限限制,另一组包含无权改变任务的外部文本。保持任务目标相同,只改变警告来源或权限范围。这样测出来的差别,比把所有危险提示堆在一起更容易解释。
例如,禁止“导出全部数据”未必禁止“查看聚合统计”,但是否可以改用统计接口,应由已经确定的授权范围决定。评测要同时检查过度停止与越权继续,否则团队可能为了提高一侧分数,把另一侧问题藏起来。
告诉模型考什么,会改变测量对象
该研究对 GPT-6.1 Sol 做了目标提示干预:给出正确评测目标时,成功率升至91.6%;给出相反的错误目标时降至17.6%。仅说明正在评测,没有显著改变表现。作者也提醒,生产案例匹配并不精确,所采场景不能代表所有部署环境。来源:OpenAI,2026年11月3日
这带来的产品问题是:验收提示词有没有提前泄露答案?如果每道题都写着“请识别真实权限边界”,模型可能更擅长完成这一套题,却仍不会在含糊的工作现场发现边界。
我倾向于保留两套结果。一套明确说明规则,用来检查模型能否执行规则;另一套保留自然业务表述,用来检查模型能否主动识别规则何时适用。两者差距大时,优先改进上下文与权限接口,再讨论是否需要更换模型。把两套样本混算,会让改善方向失去依据。
线上回放必须保留决策前的现场
企业若想比较离线与线上表现,可以先挑一个窄流程,比如读取工单并生成处理建议。采集时保留经过脱敏的用户目标、权限状态、工具响应和决策时可见信息,不把后来的事故结论塞回输入。
这里最容易犯的错误,是只收集用户投诉或人工接管的任务。这些样本适合找缺陷,却不适合估计整个流程的成功率。更稳妥的做法,是事先确定抽样窗口与纳入条件,同时保存正常完成、合理停止和需要澄清的案例。
同时冻结回放所用的模型版本和工具配置。一次只调整一个变量,并为每次比较保留样本标识,避免把权限配置变化误认为模型进步。
评分也应拆开做:先由评审者根据决策前的信息判断允许什么,再查看代理实际采取了什么行动。否则,看见最终结果之后,人很容易替模型补上它当时并不知道的理由。隐私方面,只保留复现判断所必需的信息,并明确保存期限与访问人员。
不要用提示词修饰替代行为修复
假设新版代理在测试里更少说“这可能是一场考试”,不能据此认定偏差已经消失。团队真正需要比较的是它遇到相同授权边界时,是否依然作出相同决定。文本表现可以帮助定位问题,却不该代替工具调用和外部状态证据。
一个可操作的回归方案是固定任务、权限和工具返回,再改变表述方式、上下文长度与无关干扰。若轻微改写就使代理从停止变成越权尝试,应该记录这类不稳定性,而非挑选最好看的措辞作为标准样本。
修复后还要检查代价转移。代理可能因为更谨慎而频繁请求确认,使人工处理量上升;也可能为了避免触碰受限接口,选择信息更少的回答。我的建议是把人工接管次数、等待时间和结果完整性一起记录,而不是只报告违规率下降。上线负责人需要知道改善来自更准确的判断,还是来自停止做事。前者值得扩大试点,后者通常还需要完善产品入口与授权流程。
对高代价动作,还应把控制放在模型之外:执行接口核对权限,关键操作要求明确授权,失败时返回可识别的原因。模型负责理解任务,系统负责限制可执行范围。这样即使判断出错,也能降低错误直接落地的机会。
下一次看安全榜单,先问三个问题
第一,分母是什么?是在普通请求、遇到限制的请求,还是精心构造的困难场景中计算成功率?分母变化会改变数字的业务含义。第二,测试是否包含真实工具与权限信息?只有语言判断的得分,不足以说明代理执行动作时的表现。第三,失败代价是否相同?一次无谓停止与一次未经授权的数据导出,不应靠简单平均抵消。
这项研究提供了一个具体的观察入口,但企业不宜把其中的百分点差距当作自己系统的修正系数。更有用的行动,是选择一条真实业务链,分别测量任务完成、正确停止、澄清请求和越权尝试,并检查这些指标在回放与小范围部署中是否一致。
安全评测的价值,最终落在它能否帮助团队预测下一次真实决策。知道模型得了多少分只是起点;知道分数何时能解释行为、何时需要补充证据,才能把研究结果变成可靠的上线依据。
评论
暂无评论。