公开访谈 · 达里奥·阿莫迪

FLI:Daniela 与 Dario Amodei 谈 Anthropic

Read in English →

先看这几个判断

共 8 条重点
  1. 01规模化是通向 AGI 的核心要素之一,但不应被理解为只把语言模型做大;还需要强化学习、人类交互、多模态和外部工具等要素,并继续扩大这些组合。 →
  2. 02研究未来 AI 安全应从今天可观察的问题入手,用现有模型作为实验室,发展能解决当前问题并可能迁移到未来的方法。 →
  3. 03模型的整体预测损失可以平滑改善,同时具体能力却在某个规模附近突然出现;平滑的总指标可能掩盖能力跃迁。 →
其余 5 条重点
  1. 04提高安全可靠性需要错误尽量不相关的多种方法,而不是堆叠会遗漏同一类问题的方法。 →
  2. 05对抗训练与对抗鲁棒性是安全工作的重要组成部分,需要广泛多样的训练案例,并由另一组人持续尝试突破已经训练过的模型,也可以利用模型攻击模型。 →
  3. 06机制可解释性应尽可能逆向理解模型内部运作,而不只解释某一次输出;理解机制有助于判断模型在新情境或更强大版本中会如何行动。 →
  4. 07AI 的社会冲击不只涉及经济分配,权力集中、公平与偏见在当时已经是严重问题;如果模型持续变强而缺乏干预,这些问题可能恶化。 →
  5. 08面对高度难以预测的 AI 未来,盲目悲观和盲目乐观都不太有用;更有效的态度是选择自己有能力改善的具体问题,争取让结果比原本更好。 →

访谈导读 · 忠实转述

在这场访谈中,Dario Amodei 将 Anthropic 的方向描述为围绕规模化与安全开展集中研究:安全研究需要接近前沿的模型,但不应竞逐远超同行的规模或渲染进展。他指出,模型整体预测损失可能平滑改善,具体能力却会跃迁,开放式系统的行为也难以穷尽测试;仅靠下一词预测不保证真实、对齐,互联网文本亦不能覆盖全部现实任务。因此,他主张从当下可观察的问题出发,结合对抗训练、错误尽量不相关的多重防护、机制可解释性与后续训练,并让学界、测量机构和政策相关方共同参与。他希望 AI 将来促进科学、健康与社会福祉,同时强调访谈当时的系统尚不足以被信任,偏见、错误、收益分配和权力集中仍需处理。

访谈观点

嘉宾观点 · 忠实转述

正在阅读 8 条重点,保留原观点编号。

观点目录 · 8 条 选择一条,跳转阅读
AI 智能体阅读重点 1

规模化是通向 AGI 的核心要素之一,但不应被理解为只把语言模型做大;还需要强化学习、人类交互、多模态和外部工具等要素,并继续扩大这些组合。

纯语言预测受目标函数和单一模态限制,而交互、任务训练和工具使用能够让模型完成更广泛的行动。

他的未来判断

他预期会出现新的训练方法和修改,但这些新组合本身仍需大规模扩展。

延伸分析 由 AI 生成

如果能力提升依赖规模与交互机制共同推进,单独比较参数量可能不足以解释不同系统的能力差异。

相关领域:模型训练与智能体系统

后续观察

  • 任务训练与工具使用的增益
  • 组合系统的规模化规律
待分类阅读重点 2

研究未来 AI 安全应从今天可观察的问题入手,用现有模型作为实验室,发展能解决当前问题并可能迁移到未来的方法。

现有模型已经具备未来风险系统的部分特征,也正在造成现实问题;脱离经验事实的长期讨论容易偏离有用方向。

他的未来判断

当前方法能否推广到未来仍需学习和验证,他不认为现有理解已经充分。

延伸分析

如果当前问题与未来问题确有共同机制,可重复的现实实验可能帮助缩小长期安全研究中的不确定性。

后续观察

  • 安全方法跨规模与架构的迁移表现
AI 算力与规模化阅读重点 3

模型的整体预测损失可以平滑改善,同时具体能力却在某个规模附近突然出现;平滑的总指标可能掩盖能力跃迁。

他用规模翻倍时损失平稳下降、但更大模型突然更擅长三位数加法的观察说明这两种现象可以共存。

他的未来判断

当前跃迁可作为研究未来强大模型快速变化的类比,但他不确定这是否就是未来会遵循的模式。

延伸分析

如果具体能力变化被平均指标平滑掉,仅依赖总损失可能低估新能力与新风险,需要并行跟踪任务层面的表现。

后续观察

  • 任务能力随规模变化的曲线
  • 总体损失与安全行为的差异
待分类阅读重点 4

提高安全可靠性需要错误尽量不相关的多种方法,而不是堆叠会遗漏同一类问题的方法。

如果两种方法各遗漏 10% 且错误独立,组合后遗漏率可降至 1%;若它们捕获的是同一批问题,则不会得到这种效果。

延伸分析

如果不同安全机制的失败高度相关,名义上的多层防护可能高估实际可靠性;评估错误重合度可能比简单统计方法数量更有价值。

后续观察

  • 各安全方法的失败重合率
  • 组合防护的实际遗漏率
待分类阅读重点 5

对抗训练与对抗鲁棒性是安全工作的重要组成部分,需要广泛多样的训练案例,并由另一组人持续尝试突破已经训练过的模型,也可以利用模型攻击模型。

开放式交互提供了许多绕过简单拒绝的方法,一次短暂测试无法证明模型安全。

他的未来判断

他希望反复暴露并修复失败最终能得到更安全的系统,但没有声称这一流程已经能保证安全。

延伸分析

如果攻击者不断改变表达方式,对抗训练的价值可能取决于新攻击的覆盖率与修复后的泛化能力。

后续观察

  • 未知攻击成功率
  • 修复后同类问题的复发情况
待分类阅读重点 6

机制可解释性应尽可能逆向理解模型内部运作,而不只解释某一次输出;理解机制有助于判断模型在新情境或更强大版本中会如何行动。

当复杂系统的能力和使用情境改变时,内部机制解释能为行为预测提供依据。

延伸分析

如果机制解释能产生可检验的行为预测,它可能成为输出测试之外的另一条安全证据来源。

后续观察

  • 机制解释对新情境行为的预测准确性
待分类阅读重点 7

AI 的社会冲击不只涉及经济分配,权力集中、公平与偏见在当时已经是严重问题;如果模型持续变强而缺乏干预,这些问题可能恶化。

他认为现有模型尚未让所有人受益,能力增长会叠加在已有的社会问题之上。

他的未来判断

公司无法独自修复这些问题,但应推出有助于改善而非加剧问题的应用。

延伸分析

如果能力增长放大现有不平等,应用评估可能需要同时考察平均收益与不同群体的实际影响。

后续观察

  • 不同群体的受益与损害差异
  • AI 相关权力集中情况
待分类阅读重点 8

面对高度难以预测的 AI 未来,盲目悲观和盲目乐观都不太有用;更有效的态度是选择自己有能力改善的具体问题,争取让结果比原本更好。

超过数年的预测往往带有很强的猜测成分,而恐惧或自满不能替代实际干预;整体结局也超出任何个人、组织甚至单一国家的控制。

他的未来判断

即使只能略微提高好结果出现的概率,也可能是一个组织能作出的有意义贡献。

延伸分析

如果长期预测误差很大,以可验证的局部改进衡量工作可能更有助于持续学习和调整资源。

后续观察

  • 具体安全问题的改善证据
  • 研究路线随新证据调整的情况
嘉宾未来判断汇总 · 忠实转述

他将能力超过人类且具有较强行动能力的 AI 在未对齐条件下造成严重后果,视为包含多步假设的长期可能性,而非必然结局;当下安全经验能否迁移到未来系统仍待验证。在能力路径上,他押注现有模型结合强化学习、交互等方法后可能不必彻底改变架构,但认为纯粹扩大语言模型在实践上不太可能达到所需的通用能力;他预期会出现新的训练方法,并仍需扩大这些组合。在妥善解决对齐及其他问题的条件下,更强 AI 可能带来巨大经济收益,分配问题则不会自动解决。他预计未来会出现相关法规,并主张法规可将已形成共识的最佳实践正式确立下来;这不等于预测法规必然采用这一做法。他也提醒,数年后的具体走向很难预测。

延伸分析汇总

【条件式 AI 分析】如果规模化持续带来可预测的总体性能收益,而具体能力与安全行为仍难以事先刻画,模型建设激励可能快于行为理解和评估能力。可跟踪任务层面的能力变化、不同安全方法的共同漏检、机制解释在更大模型中的复现,以及部署场景中的偏见与准确性问题。如果后续训练、交互和多模态成为能力扩展的重要部分,安全评估也需覆盖这些变化。以上只是从访谈观点推导的观察框架,不代表嘉宾对市场的预测。

来源信息与原始链接

收录日期:2026年10月8日。收录时间不代表发言时间。

打开原始来源 ↗

阅读说明

正文观点、理由及未来判断是对嘉宾表达的整理与转述,原话节选保留原语言。“延伸分析”及其汇总由 AI 生成,不代表嘉宾表态,受文中条件及证据范围限制,不构成投资建议。

继续读 达里奥·阿莫迪

正在读取相关访谈…

查看全部已收录访谈 →