谷歌提出“嵌套学习”新范式，AI 记忆能力大幅提升

谷歌发布嵌套学习范式，AI 记忆能力大幅提升

谷歌研究院近日发布了一项名为“嵌套学习”的新机器学习范式，旨在解决 AI 模型在持续学习新知识时遇到的“灾难性遗忘”难题。

当前的大语言模型虽然强大，但其知识仍局限于预训练数据或有限的上下文窗口，无法像人脑一样通过“神经可塑性”持续学习新技能而不遗忘旧知识。

为解决这一问题，谷歌研究院的研究人员提出了全新的解决思路，并在 NeurIPS 2025 发表了相关论文。

嵌套学习范式认为，一个复杂的机器学习模型，其本质是一系列相互嵌套或并行的优化问题，每个问题都有自己独立的“上下文流”和更新速率。

基于嵌套学习范式，研究团队提出了两项具体的技术改进：深度优化器和连续体内存系统（CMS）。

深度优化器通过将优化器本身也视为一个学习模块，并改进其底层目标函数，使其对不完美的数据更具鲁棒性。

连续体内存系统将模型的内存视为一个由多个不同更新频率的模块组成的光谱，从短期记忆平滑过渡到长期记忆，创建了一个更丰富、更高效的持续学习内存体系。

为了验证上述理论，研究团队设计并实现了一款名为“Hope”的概念验证模型。

Hope 是一种基于 Titans 架构的自修改循环网络，它深度集成了连续体内存系统（CMS），能够通过自我参照的过程优化自身内存，从而实现近乎无限层级的上下文学习。

在一系列公开的语言建模和常识推理任务中，Hope 架构的困惑度更低，准确性显著高于现代循环模型和标准 Transformer。

尤其在考验模型长文本记忆能力的“大海捞针”测试中，Hope 展现出卓越的内存管理能力，证明连续体内存系统是处理超长信息序列的有效方案，为实现真正能“温故知新”的 AI 铺平了道路。

“大海捞针”是一种用于评测大型语言模型长文本理解和信息检索能力的基准测试，要求模型从非常长的文本中精准地找出并回答一个特定的信息点。