奥特曼预计，模型将获得持续学习能力，改变当时 GPT 停留在训练时状态、不会因为用户使用增多而变好的局面。

Amodei 认为，构建大量强化学习环境的目标是让模型泛化，并非穷举教授每一种技能；任务分布变广后，泛化能力有望增强。

Amodei 承认模型与人类存在样本效率差距，但提出一种尚未完全确定的解释：预训练和强化学习处于人类进化与个体学习之间，而上下文学习处于长期与短期学习之间。

Amodei 表示，Anthropic 内部已有工程师不再亲自写代码，工具带来的生产率提升在他看来很明确；他不认为缺少长期在岗学习是当前编程智能体的主要投诉。

Amodei 认为，现有预训练、强化学习泛化与上下文学习的组合，可能已经足以实现大部分“天才之国”能力，并产生万亿美元级年收入及重大安全影响，即使尚未解决持续学习。

Amodei 表示 Anthropic 正在研究单个模型在岗持续学习，并认为未来一两年有较大机会解决；延长上下文是他提到的一条路径。

Amodei 将极长上下文的主要困难归为工程和推理问题，并指出在较短上下文训练、却按较长上下文提供服务，可能造成质量退化。

Amodei 预计一两年内模型可能端到端完成软件工程，并认为持续学习未必是不可绕过的障碍。

他称当时多数使用并不需要 128K 的长上下文，但展望遥远未来，希望系统能有效容纳数十亿规模的上下文和个人历史；它未必按字面实现，却可能给用户类似体验，并形成难以放弃的价值。

未来 AI 将持续学习，训练与推理逐步融为一个循环，同时结合真实世界互动和实时生成的合成数据。

奥特曼预计，模型将获得持续学习能力，改变当时 GPT 停留在训练时状态、不会因为用户使用增多而变好的局面。

他认为广义学习能力尤其令人兴奋，包括自主探索、跨任务迁移，以及利用预训练模型已有的世界知识解决新问题；智能与快速利用已有知识学习新概念密切相关。