达里奥·阿莫迪 · AI 算力与规模化
Amodei 仍坚持“大块算力假说”：可扩展训练的核心是算力、数据数量与分布、训练时长、目标函数和数值稳定性，巧妙的新技巧相对次要。
嘉宾观点 · 忠实转述
他认为预训练规模化规律符合这一框架，至今没有看到很多明显违背它的现象；预训练与强化学习都可以使用可持续扩展的目标函数。
延伸分析 由 AI 生成
如果这一判断成立，训练资源、数据覆盖和稳定工程仍可能是能力提升的主要投入方向。
相关领域：模型训练
后续观察
- 扩大训练规模后的能力增益
- 跨任务数据分布的变化
相关问题
同题历史与不同人物的表达
预训练与强化学习的规模化收益，是否仍可由共同的训练要素解释？ →
限于算力、数据数量与分布、训练时长、目标函数、数值稳定性以及预训练和多类强化学习任务中的观察；不推断能力上限。
当前观点关系：补充背景
达里奥·阿莫迪
Amodei 仍坚持“大块算力假说”：可扩展训练的核心是算力、数据数量与分布、训练时长、目标函数和数值稳定性，巧妙的新技巧相对次要。
查看这条观点 →达里奥·阿莫迪
Amodei 表示，预训练仍在带来收益，Anthropic 也在多种强化学习任务中观察到类似的规模化进展。
查看这条观点 →达里奥·阿莫迪
Amodei 认为，构建大量强化学习环境的目标是让模型泛化，并非穷举教授每一种技能；任务分布变广后，泛化能力有望增强。
查看这条观点 →黄仁勋
黄仁勋回忆，NVIDIA 很早就相信深度学习可以扩展：增大数据集和模型会继续改善效果，而研究者的互动与不断出现的论文强化了这一信念。
查看这条观点 →山姆·奥特曼
RLHF 能用相对很少的人类反馈数据，显著提高基础模型的实用性；但这部分科学仍比预训练更不成熟。
查看这条观点 →
讨论
还没有公开评论。
Web 当前为匿名只读，可在受邀小程序中参与讨论。