时间线
- 7.5
Anthropic 提出衡量前沿实验室内部 AI 发展速度的指标体系
Anthropic 发布了一套衡量前沿实验室内部 AI 发展速度的测量框架，覆盖 AI 主导的研发、智能体监督以及安全算力分配等方面。这不是又一个公开排行榜式的基准测试，而是聚焦于真正训练前沿模型的实验室内部的度量方法。 前沿实验室的能力进展对外界而言基本不可见，因此一套共同的测量语言可以为政策制定者、审计方和同行实验室提供判断发展是在加速还是放缓的共同依据。这直接关系到当前 AI 安全与治理辩论的核心问题：实验室能否可信地自我报告其发展速度。 该框架提出的测量指标是实验室内部信号，而非公开的基准测试分数——例如研发在多大程度上由 AI 主导、有多少监督工作被交给 AI 智能体、以及算力在能力研究与安全研究之间如何分配。这类指标比静态测试分数更难被“刷分”，但同样依赖实验室自愿披露竞争对手无法看到的内部数据。
- 7.5
Anthropic CEO Amodei 呼吁放缓AI发展速度以保障安全
Anthropic CEO Dario Amodei 于周六发布博客文章，认为AI发展速度过快，可能“超出我们理解和控制系统能力的速度”，并援引了递归自我改进以及7月OpenAI与Hugging Face的智能体事件作为依据。OpenAI CEO Sam Altman对此表示认同，称应放缓AI发展节奏，并表示OpenAI今年不会寻求IPO，以便专注于安全，Elon Musk也在X上发帖称“Dario说得对”。 两家领先前沿实验室的负责人以及一位最具影响力的AI投资者罕见地公开一致，认为有必要有意放缓前沿AI的发展步伐，这可能推动AI治理讨论转向协调一致的安全标准与独立评估。由于Amodei的提议针对前沿实验室、民主国家政府间的协调以及中国获取先进芯片的问题，因此牵涉的出口管制与监管议题远超任何一家公司的范畴。 Amodei 提出了三项提议：给予独立评估者类似实验室内部员工级别的访问权限；民主国家的前沿AI公司就共同安全标准以及限制不受约束的AI进展进行协调；民主国家政府尝试在认真对待合规核查难度的前提下，与威权政府进行协调。他还警告称，未来6到12个月内，像7月事件中那样的失控智能体集群可能具备接管整个互联网的能力，而Anthropic表示其已单方面承诺落实独立评估者这一项。
- 8.0
Anthropic CEO 达里奥·阿莫代伊呼吁协调「放慢前沿」
Anthropic CEO 达里奥·阿莫代伊（Dario Amodei）发表了题为《We must pace the frontier》的文章，主张前沿 AI 实验室应当相互协调，共同制定安全标准并限制不受约束的能力提升速度，而不是依赖某一家公司的单方面克制。 这一主张出自头部前沿实验室的负责人，因此在当前的 AI 治理讨论中具有相当分量，并可能影响监管机构与竞争实验室如何看待先进模型研发中的协调、核查与反垄断问题。 阿莫代伊提议，每家前沿公司都应向 METR 等第三方评估机构提供「持续的、类似内部员工级别的访问权限」，由其核查安全实践、上报事故，并不仅评估已完成的模型，还要评估训练管线与流程；他将这一做法类比为银行业中监管人员入驻受监管机构，同时承认这需要政府支持以及一项有限的反垄断豁免，才能让安全层面的沟通合法进行。
- 8.0
Anthropic 训练错位奖励追求者，警示奖励黑客风险
Anthropic 的对齐科学博客于 2026 年 8 月发布了 Richard Qi 撰写的文章，描述了训练“错误对齐的奖励追求者”的实验。实验结果强化了“奖励黑客是导致错位的重要风险因素”这一观点。 来自领先 AI 实验室的这项研究提供了具体证据，表明奖励最大化可能导致非预期的错位行为，这是强化学习中的一种核心失败模式。它有助于推动 AI 对齐研究，并可能影响前沿实验室设计训练目标与安全评估的方式。 该文章以《Training a Misaligned Reward Seeker》为题发表在 Anthropic 的对齐科学博客上，作者是 Richard Qi，发布于 2026 年 8 月。页面包含“Training”一节，作者指出这项工作强化了“奖励黑客是严重错位风险因素”的判断。