LSTM：Sepp Hochreiter 与消失的梯度

点单时说了少糖，等到最后加糖，机器怎样才能用上最早的要求？本期《原代码》从 Sepp Hochreiter 对训练困难的追查出发，沿着他与 Jürgen Schmidhuber 的 LSTM 设计，以及 Felix A. Gers 等人的遗忘门工作，走向长上下文、检索与今天的 agent 记忆。

从等着做的一杯茶，到后来改成七点的聚餐：留下一条信息，怎样才能让下一次行动做得更对？

你可在官方网站 https://yuandaima.xyz 中查看本期逐字稿、证据引用关系和证据快照。

时间轴

• 00:00 答案在最后

• 00:29 把困难追到回传路径

• 04:01 留下来，也要能使用

• 08:47 回到论文，怎样算记住

• 10:32 下一轮，谁让记忆重新开始

• 13:11 聚餐改到七点，日历填几点

• 21:34 那杯少糖的茶

本期资料

• Hochreiter：Untersuchungen zu dynamischen neuronalen Netzen（1991，学位论文）
• Yoshua Bengio、Patrice Simard、Paolo Frasconi：Learning Long-Term Dependencies with Gradient Descent is Difficult（1994，作者手稿）
• Sepp Hochreiter、Jürgen Schmidhuber：Long Short-Term Memory（1997）
• Felix A. Gers、Jürgen Schmidhuber、Fred Cummins：Learning to Forget: Continual Prediction with LSTM（2000，作者目录与全文入口）
• Alec Radford 等：Improving Language Understanding by Generative Pre-Training（2018，后来称为 GPT-1）
• Patrick Lewis 等：Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks（2020 工作，论文 v4）
• Nelson F. Liu 等：Lost in the Middle: How Language Models Use Long Contexts（2023，v1）
• Di Wu 等：LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory（2024，v1）
• Yiting Shen、Kun Li、Wei Zhou、Songlin Hu：Mem2ActBench: A Benchmark for Evaluating Long-Term Memory Utilization in Task-Oriented Autonomous Agents（ACL 2026）

源码与工程记录

• Google：Our next-generation model: Gemini 1.5（2024，长上下文与事实找回测试）
• OpenAI Cookbook：Building Reliable Agents with Memory and Compaction（2026，含可复查的 notebook 示例）
• Anthropic：Built-in memory for Claude Managed Agents（2026，文件式记忆说明）

访谈与历史原声来源

• Eye on AI #232：Sepp Hochreiter: How LSTMs Power Modern AI Systems（2025，Craig S. Smith 访谈）。本期两段原声均来自这场访谈，分别讲述他追查训练困难的回忆，以及记忆单元中按系数一回传的设计目标。

说明与延伸阅读

• 1991 年的训练困难分析、Hochreiter 与 Schmidhuber 的共同设计，以及 Gers、Schmidhuber、Cummins 的后续工作，是不同阶段的贡献。遗忘门已有 1999 年会议稿，2000 年发表长篇论文；不能把后来常用的全部结构都放回 1991 年，或归为一个人的一次发明。
• 少糖点单、点单卡和聚餐日历都是节目构造的解释情境。原论文检验的是有明确条件的人工时序任务，没有做买茶或日历实验；真正的 LSTM 单元保存数值，点单卡不是它实际存放的文本文件。
• 前向保留状态，与训练时把错误向早先步骤回算，是两个方向的问题。受保护的是单元内部的特定路径，不意味着全网络梯度恒定；遗忘门调节运行状态，也不等于删除训练学到的连接。
• 更长的上下文、外部检索与跨会话文件各自改变不同环节。把材料放得下、找到有关记录、识别后来修订，以及把七点填进日历，需要分别检查；它们不是同一种记忆机制。
• 当代部分依据本期截至 2026 年 10 月 20 日核对的公开材料，研究结果按各自模型、任务和实验条件理解。Gemini 的事实找回、RAG 的开放问答、LongMemEval 的互动测试与 Mem2ActBench 的工具参数指标，不能合成统一的记忆排行榜；参数 F1 也不是端到端任务成功率。
• 2025 年访谈是研究者事后的回忆。节目用它呈现追查困难与提出设计目标的声音，机制、日期和共同贡献则与原始论文交叉核对，不把口语概括当成所有循环网络都不能记忆的定律。