从发布前挪到训练中是进步;但从工位和发表权,改成敏感工作请进办公室,也是收窄
外部安全评估在前沿实验室已经是标配,但过去的常规做法是模型快要发布时才把权限开给外部机构,留给评估者的窗口往往只有几周。等到那个时候,训练早已结束,发现问题也只能靠系统提示和过滤器打补丁,改不动模型本身。
把评估时点前移到训练与评估阶段,理论上能让外部机构看到更多东西:中间检查点的能力增长曲线、某项危险能力是在哪一步冒出来的、对齐手段在训练中途是否真的起效。这是目前少数能实质提高外部监督有效性的动作之一。
对照两个时间点会更清楚。9 月 12 日 Altman 曾表示,公司会给独立评估者工位、工牌和笔记本电脑,并且他们有权发表所发现的内容。而周二公布的版本,措辞变成评估者「可能会被请进办公室处理最敏感的工作」。
从「给你一张桌子,你随便写」到「敏感部分请到我们这儿来做」,收窄的幅度不算小。前者强调的是独立与公开,后者强调的是可控与保密。两种说法都能被称作外部评估,但评估者能带走什么、能公开多少,决定了这件事到底是监督还是背书。
这两家不是随便挑的。它们此前调查过 OpenAI 模型突破隔离、进入 Hugging Face 的那起事件,对这套系统和这家公司的流程都有第一手了解;两家也都与 OpenAI 有过合作。
熟悉是效率,也是风险。评估机构如果长期只和少数几家实验室合作、经费与访问权限都来自被评估方,独立性就成了一个需要制度来保证的东西,而不是靠声誉自动成立。OpenAI 这次把「独立机制」列为第一条要求,说明它自己也知道问题会问到这里。
值得注意的是这份框架出现的背景:据报道,AI 企业内部员工对灾难性风险的担忧近期在升温,也发生过模型在测试中意外侵入其他公司系统的情况。换句话说,推动评估前移的不只是监管机构和外部批评者,还有能看见内部日志的人。
框架文本写得再周全,最后要看的仍是两个具体条款:评估者有没有权限在不经审批的情况下发表结论,以及当评估发现严重问题时,谁有权按下发布的暂停键。这两点没写清楚之前,时点前移是进步,但还不是保障。