模型能力与应用
持续学习若尚未解决，预训练、强化学习泛化与长上下文能在多大程度上支撑长期任务？
问题范围：限于样本效率、现有学习机制、在岗持续学习和极长上下文的训练及服务限制；不预设持续学习已解决。
收录范围不代表全部历史。“首次收录”不代表人物首次提出这一观点。
本篇目录
专题深度研究
正在读取研究…
公开材料 · 已收录表达
按访谈时间从新到旧排列；表达日期缺失时使用来源发布日期。仅知年月的材料保留原有精度，同场访谈的观点依原文顺序展示。
Amodei 认为，构建大量强化学习环境的目标是让模型泛化，并非穷举教授每一种技能；任务分布变广后，泛化能力有望增强。
嘉宾观点 · 忠实转述
他以早期语言模型从狭窄文本分布转向广泛互联网数据后才出现更强泛化为类比，认为强化学习正在经历从数学到代码再到更多任务的扩展。
适用条件：尚未单独核定，请结合来源上下文阅读。
Dwarkesh 2026：We are near the end of the exponential ↗，新页面打开Amodei 承认模型与人类存在样本效率差距，但提出一种尚未完全确定的解释：预训练和强化学习处于人类进化与个体学习之间，而上下文学习处于长期与短期学习之间。
嘉宾观点 · 忠实转述
模型从随机权重起步，人脑则带有进化形成的先验；完成训练的模型又能在长上下文中迅速适应，因此不能把不同学习阶段简单一一对应。
适用条件：尚未单独核定，请结合来源上下文阅读。
Dwarkesh 2026：We are near the end of the exponential ↗，新页面打开Amodei 表示，Anthropic 内部已有工程师不再亲自写代码，工具带来的生产率提升在他看来很明确；他不认为缺少长期在岗学习是当前编程智能体的主要投诉。
嘉宾观点 · 忠实转述
他举 GPU 内核由 Claude 编写的例子，并认为把代码库读入上下文即可获得很多原本需要数月熟悉的知识；他用实际模型发布产出支撑内部生产率判断。
适用条件：尚未单独核定，请结合来源上下文阅读。
Dwarkesh 2026：We are near the end of the exponential ↗，新页面打开Amodei 认为，现有预训练、强化学习泛化与上下文学习的组合，可能已经足以实现大部分“天才之国”能力，并产生万亿美元级年收入及重大安全影响，即使尚未解决持续学习。
嘉宾观点 · 忠实转述
模型在训练中获得广泛技能，又能在长上下文里进行真实但更短期的学习；他承认仍可能存在能力缺口。
适用条件：尚未单独核定，请结合来源上下文阅读。
Dwarkesh 2026：We are near the end of the exponential ↗，新页面打开Amodei 表示 Anthropic 正在研究单个模型在岗持续学习，并认为未来一两年有较大机会解决；延长上下文是他提到的一条路径。
嘉宾观点 · 忠实转述
他认为长上下文本身没有根本障碍，关键是以更长上下文训练并能在推理时提供服务，这些是团队正在处理的工程问题。
适用条件：尚未单独核定，请结合来源上下文阅读。
Dwarkesh 2026：We are near the end of the exponential ↗，新页面打开Amodei 将极长上下文的主要困难归为工程和推理问题，并指出在较短上下文训练、却按较长上下文提供服务，可能造成质量退化。
嘉宾观点 · 忠实转述
服务长上下文要存储和调度 KV 缓存等大量内存；训练长度与服务长度之间的差异，会影响模型实际利用上下文的能力。
适用条件：尚未单独核定，请结合来源上下文阅读。
Dwarkesh 2026：We are near the end of the exponential ↗，新页面打开Amodei 预计一两年内模型可能端到端完成软件工程，并认为持续学习未必是不可绕过的障碍。
嘉宾观点 · 忠实转述
他认为预训练和强化学习泛化可能直接覆盖这一整类任务；历史上不少被视作独立智能障碍的问题，也随规模化发展而弱化。他同时承认数据需求等障碍是真实的，持续学习也可能是一个真实问题。
适用条件：尚未单独核定，请结合来源上下文阅读。
Dwarkesh 2026：We are near the end of the exponential ↗，新页面打开他称当时多数使用并不需要 128K 的长上下文，但展望遥远未来，希望系统能有效容纳数十亿规模的上下文和个人历史；它未必按字面实现，却可能给用户类似体验，并形成难以放弃的价值。
嘉宾观点 · 忠实转述
当前工作流程尚未大量使用长上下文，而他相信人们会为不断改进的技术找到用途。
适用条件：尚未单独核定，请结合来源上下文阅读。
Lex Fridman #419：OpenAI、GPT-5、Sora 与组织治理 ↗，新页面打开未来 AI 将持续学习，训练与推理逐步融为一个循环，同时结合真实世界互动和实时生成的合成数据。
嘉宾观点 · 忠实转述
他认为更便宜的计算能够让系统持续观看视频、读取文本、吸收互动经验，再用真实经验检验生成的内容；是否把新学习结果部署到实际应用中仍可另行决定。
适用条件：尚未单独核定，请结合来源上下文阅读。
Stanford SIEPR：与 John Shoven 对谈 ↗，新页面打开奥特曼预计，模型将获得持续学习能力，改变当时 GPT 停留在训练时状态、不会因为用户使用增多而变好的局面。
嘉宾观点 · 忠实转述
他指出当时模型的知识和能力在训练后相对固定，并明确表示这一状态会改变。
适用条件：尚未单独核定，请结合来源上下文阅读。
Greylock：Sam Altman 谈下一个 AI 时代 ↗，新页面打开他认为广义学习能力尤其令人兴奋，包括自主探索、跨任务迁移，以及利用预训练模型已有的世界知识解决新问题；智能与快速利用已有知识学习新概念密切相关。
嘉宾观点 · 忠实转述
人类经过长期学习后，可以只接触一两次新知识就迅速用于新问题；他认为 AI 已开始显现类似能力。
适用条件：尚未单独核定，请结合来源上下文阅读。
Rescale Big Compute：与 Sam Altman 炉边对谈 ↗，新页面打开经审核的历史对照
当前没有已批准且仍有效的对照。以上表达可并列阅读，不代表已经确认变化或共识。