说实话，我认为记忆力是目前持续学习的最大障碍。让我夜不能寐的问题是：我们如何利用记忆避免重蹈覆辙？我们如何教会模型有选择地记忆和遗忘？何时呈现正确的背景信息？人类通过记忆巩固、干扰管理和情境绑定自然而然地做到这一点，然而，我们尚未找到复制这种机制的方法。人类海马系统与当前LLM记忆架构之间的差距揭示了一个根本性的挑战：我们基本上构建了两个极端：要么是将所有信息都硬编码到参数中的模型（刚性模型），要么是使用RAG（随机数生成器）机械地检索信息（模糊模型）。真正的持续学习要求我们破解智能检索的密码；不仅要知道存储什么，还要知道抑制什么、何时强化，以及如何让旧知识优雅地消退而不造成灾难性的干扰。非常喜欢这篇调查，因为它从宏观角度展现了 LLM 和多模态模型中的记忆架构（也很喜欢其中受大脑启发的分类法，很棒！）。我会尽我所能系统地绘制出它的图谱。三部分框架：他们围绕新皮层-海马体-前额叶皮层的类比来构建记忆：内隐记忆/新皮层涵盖了嵌入模型权重中的参数知识，包括记忆编辑技术（如 ROME 和 MEMIT，它们通过精确修改权重来更新事实）、通过 LoRA 等适配器注入知识，以及通过记忆遗忘来删除有害内容。显性记忆/海马体研究外部检索系统；RAG架构、向量数据库、知识图谱。它们详细阐述了如何在不同的粒度（文档、组块、句子、图结构）和优化时间（无训练、联合预训练、SFT等）下组织记忆。智能体记忆/前额皮层探索自主智能体如何维持短期记忆（CoT++）与长期记忆（外部事实数据库、历史轨迹、用户反馈等）。我非常喜欢这个关于记忆的思考框架，但我认为除了分类之外，这项调查最大的贡献在于指出了尚未解决的问题：记忆污染/幻觉、大规模检索的计算负担、何时应该检索信息而不是依赖参数化知识，以及长时间交互过程中记忆一致性的挑战科技先锋官ai生活指南ai创造营
