达里奥·阿莫迪 · AI 算力与规模化

Amodei 认为,模型已经通过上下文具备有限的持续学习能力,问题是如何增强,而非从完全没有开始;他提出扩大上下文、专门训练上下文学习,乃至在使用上下文时更新权重等可能路径。

来自《Cheeky Pint #5:Dario Amodei 谈产品设计与模型经济学》

嘉宾观点 · 忠实转述

模型能吸收对话上下文,而这些候选方案与现有方法相近,因此他不把持续学习不足视为已被证明的根本障碍。

他的未来判断

他预计上下文最终可能达到一亿 token,并认为多种相近技术思路或能带来更强持续学习,但没有声称这些方案已经实现。

延伸分析 由 AI 生成

若这些路径能让模型稳定吸收长期工作经验,企业定制与长期任务能力可能提高;上下文长度本身仍不能证明持久学习有效。

相关领域:持续学习能力

后续观察

  • 跨任务知识保留效果
  • 超长上下文中的学习与遗忘表现

讨论

还没有公开评论。

Web 当前为匿名只读,可在受邀小程序中参与讨论。

阅读说明

正文观点、理由及未来判断是对嘉宾表达的整理与转述,原话节选保留原语言。“延伸分析”及其汇总由 AI 生成,不代表嘉宾表态,受文中条件及证据范围限制,不构成投资建议。