达里奥·阿莫迪 · AI 算力与规模化
他认为规模化规律突然失效的可能性很低;如果出现停滞,应区分数据、算力和架构等实际约束,与更根本的目标函数问题。
来自《Dwarkesh 2023:The hidden pattern behind every AI breakthrough》
嘉宾观点 · 忠实转述
模型尚未掌握的任务在他看来已不像与现有能力性质完全不同;但下一词损失可能过度关注常见信息,忽略少见却关键的推理信号,这是他对假想全面停滞的一种解释。
他的未来判断
如果扩大模型并尝试不同架构后仍无改善,他会优先怀疑下一词预测损失遗漏了重要信号,而非把这种停滞当作目前的预期。
延伸分析 由 AI 生成
如果扩展效果减弱,应先分辨资源瓶颈和学习目标问题,再判断是否触及规模化本身的边界。
后续观察
- 扩展后任务表现
- 更换架构与训练目标后的效果
讨论
还没有公开评论。
Web 当前为匿名只读,可在受邀小程序中参与讨论。