EP.017 / EVIDENCE

LSTM:Sepp Hochreiter 与消失的梯度证据关系

逐字稿主张、关系类型与来源之间的双向公开映射。

C-017-001

背景

少糖买茶、聊天和做甜后的练习均为节目构造的生活类比。来源仅支撑早先输入、干扰与末尾反馈的问题结构,不能证明论文做过点单实验或机器理解自然语言。真实 Task 6b 到第四章才介绍。

定位:§5.6, Task 6b, author-copy PDF 19-20; error signals only at sequence end

C-017-002

背景

人物、日期和监督角色按原件;训练练习为教学解释,不复原现场。题名页 Josef、目录 S. 与通行 Sepp 分层,Betreuer 不与 Brauer 的 Aufgabensteller 合并。1986 只作方法背景,无唯一发明主张。

定位:1991 PDF 1 title page, dated 15.6.1991, Betreuer J. Schmidhuber; 1986 PDF 1 / Nature p. 533, hidden representations and error back-propagation

C-017-003

背景

A/v2 已由用户确认短片试听通过并选入;日期为发布日而非已知录制日。只用本人研究回忆,不承担首创证明;自动逐字和译意未随试听批准转为核准引文。

定位:Eye on AI #232, released 2025-01-22; acquired MP3 00:02:26.680-00:02:42.800; context 00:01:44.000-00:03:21.300

C-017-004

背景

A 后明确限定长依赖训练困难,不把回忆口语概括解释成循环网络没有状态。点单类比只解释数值状态继续参与计算,不当真实订单实验或模型理解意图。

定位:§3.1 / author-copy PDF 3, recurrent network activation and notation; PDF 3-5, error flow across time

C-017-005

背景

做甜后的复盘只解释参数敏感性与后续更新,不宣称模型定位到某个真实店员行为;梯度用于改进后续样本,不让过去输入重新发生。

定位:1991 §§2.2-2.3, PDF 22-24 / printed pp. 19-21; 1997 §3.1, PDF 3-5

C-017-006

背景

每环一半为明确简化的反向调整力度类比,不是实测衰减比例或前向内容固定遗忘率;实际连乘包含局部变化率、连接及多路径,可衰减或放大。

定位:§§2.2-2.3, PDF 22-24 / printed pp. 19-21, products in backward error flow

C-017-007

背景

卡片存在而不易学会改进是区分前向保留和反向训练的有限类比,不把两种失败合并。1994 交叉支持分析,不作为 1991 人物已掌握的未来知识。

定位:1991 §§2.2-2.3; 1994 manuscript abstract / PDF 1 and introduction / PDF 2, long-term storage versus efficient gradient learning

C-017-008

支持

1991 仅归属已核的恒定回流研究,1994 三人分析为旁证;卡片防乱写是根据后续论文设计冲突的教学提问,不是历史动机引语或全部门控已在 1991 成型的证明。

定位:1991 chapter 4, PDF 51 / printed p. 48; 1994 abstract and §§3-4; 1997 §3.2 / PDF 5-6, input weight conflict

C-017-009

支持

共同署名支撑共同设计;1996 修订不冒充 1995 初稿。点单卡仅解释保留和访问分工,真实记忆单元存数值、由学得的控制运作,不按字面存储自然语言订单。

定位:1996 report PDF 1, v3.0 Revised December 1996; 1997 PDF 1 authors / title, §4 PDF 6-8 / Fig. 1

C-017-010

背景

采访者与发布年份已在 A 引入段建立,B 为同场后见解释;用户已确认 B/v1 当前短片试听通过。逐字、译文及用途权利不自动提升,恒定只限特殊内部路径。

定位:Eye on AI #232, release 2025-01-22; acquired MP3 source 00:04:54.000-00:05:27.820; context 00:04:27.000-00:05:44.150

C-017-011

背景

卡片不随等待自动变淡只说明受保护状态路径;新输入仍可能扰动。固定一保护特定内部误差路径,不代表全网络梯度恒定或所有内容能永久保存。

定位:§3.2 / PDF 5-6, identity activation and fixed w_jj=1; §4 / PDF 6-7, Fig. 1

C-017-012

背景

点单卡写入口只比喻新贡献的连续缩放后相加;输入门不直接抹旧状态。茶要求 / 聊天只是理想行为的构造示意,不是被观测到的单元策略。

定位:§4 / PDF 6-7, s_cj(t)=s_cj(t-1)+y_inj(t)g(net_cj(t)); gate logistic range in experimental conditions

C-017-013

背景

显式结束文字卡类比,回到数值状态及训练形成的连续门控;没有硬编码少糖开关、模型理解意图或人类记忆机制相同的主张。

定位:§4 / PDF 6-8, gate input sums, network topology and Learning; §5.6 / PDF 19, local input vectors

C-017-014

背景

拿卡参考比喻输出门调节状态对外作用;实际为 h(s) 乘门值,不指整个网络只在做茶时或序列末尾输出。顾客聊天为构造。

定位:§3.2 / PDF 6, output weight conflict; §4 / PDF 7, y_cj(t)=y_outj(t)h(s_cj(t))

C-017-015

背景

扣下卡片仍保留内容仅比喻对外输出与内部状态分开,不是隐藏文本文件。关输入仅减新贡献,旧状态沿路径保留,尚未引入后版遗忘门。

定位:§4 / PDF 6-8, input / output protection and internal-state / cell-output equations

C-017-016

背景

依原论文特定截断规则解释:入 / 出门及转换仍缩放,特殊内部路径不再步步衰减;非全历史完整 BPTT、全网络恒定梯度或过去动作被改写。

定位:§4 Learning / PDF 8, error scaled by output gate and h', constant internal flow, input gate and g', then truncation

C-017-017

背景

提供更有利训练条件而非任意任务保证;多样本和非理想单元用法依据论文。点单串联为教学回收,不当作者实际实验。

定位:§4 / PDF 8, Learning and Abuse problem and solutions; §5.6 / PDF 19-20, training / testing

C-017-018

支持

单卡说明一个单元的职责,不充当完整分类器。Task 6b 实为三块、每块两单元;没有硬配某个单元给少糖、某个给聊天的轨迹。

定位:§5.6 Architecture / PDF 19-20, Task 6b three cell blocks of size two, recurrent connectivity; Typical solutions / PDF 20 pertains to Task 6a

C-017-019

支持

实际 Task 6b 为 100–110 步、三个 X/Y 关键符号、八类时序分类,位置来自规定区间。正文不要求听众背符号组合,也不说任务是自然语言点单或序列生成。

定位:§5.6 Task 6b / PDF 19: length 100-110; t1 10-20, t2 33-43, t3 66-76; eight class mappings

C-017-020

支持

结果为作者报告,未独立复跑。Task 6b 表均值为 2 错 / 2560、十次试验;停止条件与误差标准依原文,不把结果扩展到买茶或所有任务。

定位:§5.6 Training/Testing and Results / PDF 20; Table 9, Task 6b: 308 weights, mean 2 wrong / 2560, mean stopping after 571100 sequences, ten trials

C-017-021

背景

生活类比与人工基准明确分层;任务简洁的价值为编辑分析。不移用其他实验超过 1000 步数据,不声称已证明点单理解、任意文章理解或普通交谈记忆。

定位:§5.6 / PDF 19-20, artificial task definition; §7 / PDF 23, real-world applications discussed as prospects

C-017-022

支持

别人收旧卡只是外部逐段清零状态的类比。清的是运行状态而非训练权重;2000 论文揭示旧条件,本段尚未叙述后续改动。

定位:§2.1 / PDF 5, standard LSTM requires external resets and state growth without resets; continual temporal order / PDF 16

C-017-023

支持

下一位顾客为构造的持续使用直觉,三人工作实际测连续人工序列。旧数值可能增长为条件性现象,不说所有运行必然发散,不将原版任务改写成订单数据。

定位:1999 PDF 2 title / abstract; 2000 §2.1 / PDF 5 and continual temporal order task / PDF 16

C-017-024

背景

音量接近上限仅比喻有界输出低敏感性,不模拟完整非线性曲线、物理内存耗尽或梯度消失。实际问题为状态增长后的输出饱和。

定位:§2.1 / PDF 5, growing cell states and squashing-function saturation

C-017-025

背景

本版以同期论文直接引入遗忘门,C 已转未选备选,没有待播放位置;保留旧 paragraph/citation 身份而不整体重编号。这里只区分新贡献与旧状态的控制,不宣称输入门在数学上无法影响未来状态。

定位:§2.1 / PDF 5, state growth without resets; §3.1 / PDF 6, equations 6-7, learned forget gate

C-017-026

背景

三人署名与 1999 会议 / 2000 长篇分别归原件。遗忘门先缩放旧状态,再加新贡献,可连续渐退;卡片退出只是关系类比,不是文本擦除算法。

定位:1999 PDF 2, title and three authors; 2000 §3.1 / PDF 6, equations 6-7, forget-gate activation and state update

C-017-027

背景

点单卡与练成的方法用于区分运行状态与训练权重;遗忘门不删训练知识。过早减弱重要信息会有害是条件性解释,不把越忘越好当研究结论。

定位:§3.1 / PDF 6, runtime state and learned gate equations; §3.2, learning rules for gate weights

C-017-028

支持

作者连续人工任务结果,未复跑或引用未逐项复核的成功率。顾客接续仅收束使用条件的类比,不证明模型真的处理连续自然语言订单。

定位:Continual temporal order / PDF 16, printed p. 15; conclusions immediately following

C-017-029

背景

2003 固定窗口前馈为平行路线,不是 LSTM 后代或全部词表示首创;随后明示 2018–2026 比较,聚餐情境是本期构造,截止 2026-10-20。

定位:2003 printed pp. 1138-1140, §§1-1.2 and §2 / Fig. 1; 2018 §3.1 / PDF 3

C-017-030

背景

六点改七点、朋友、日历字段及后续 agent 操作全部为构造说明,来源只支撑更新和记忆用于工具参数的任务能力,不证明任一产品已执行此例。本轮未实际操作日历。

定位:Managed Agents engineering article, session / harness / sandbox architecture; LongMemEval Table 1 / PDF 3, knowledge update; Mem2ActBench §3.5 / PDF 5, memory-supported tool arguments

C-017-031

背景

512 是 GPT-1 连续训练片段长度,非所有参数知识容量或聊天产品记忆上限;认识聚餐用语与得知这次最新时间是教学区分,不是假称该系统已部署日历代理。

定位:§3.1 / PDF 3, unsupervised pre-training objective; §4.1 Model specifications / PDF 5, contiguous training sequences of 512 tokens

C-017-032

支持

翻页线索仅解释前段表示可在后段参考,非实际生成文字摘要;缓存路径停止梯度,不重训全部历史。改进限定作者语言建模 / RECL 指标,不报通用记忆倍数。

定位:§3.2 / PDF 3, segment-level recurrence and stop-gradient cache; §4.3 / PDF 7-8, Tables 6-8

C-017-033

支持

只用 2024 发布方 1M NIAH 99% 口径,不与 v5 >99.7% 混用,不作 2026 最新规格或全部任务成功率。六点 / 七点是构造,检索不等于识别修订。

定位:2024-02-15 launch page, Long-context understanding / Needle In A Haystack paragraph: 99% recall at 1M tokens

C-017-034

背景

2023 被测模型的材料位置实验,不推断全部 2026 系统仍有同幅度失败。移动七点消息为本期构造的建议检查方法,非原基准题或已运行测试。

定位:2023-07-06 v1, PDF 1 Fig. 1; §§2-3, multi-document QA and key-value retrieval

C-017-035

背景

翻聊天只解释按需找外部资料;原 RAG 使用文档索引而非自动生活经历存储。NQ 44.5 EM 与 36.6 比较来自不同模型和训练,不当单一记忆开关增益。

定位:RAG fixed v4, abstract, §2 and §4.1 / Table 1; context engineering article, limited context budget and long-horizon task sections

C-017-036

背景

外部索引可更新并非自动采集新经历、识别修订或保证检索命中。只找到六点是构造的失败条件,不是具名产品实测故障。

定位:RAG §4.5, knowledge access / index update experiment; LongMemEval §3 and Table 1, knowledge-update ability

C-017-037

背景

Titans 测试时更新专门神经记忆模块,不是整底座每次聊天重训;Engram 为静态 N-gram 查找表。所报语言/推理或检索收益非个人事件记忆分;无普遍商业部署推断。

定位:Titans, submitted 2024-12-31, §§3-5; Engram, 2026-01-12 v1, §§2-3 and Tables 1-2

C-017-038

背景

七点 / 地点待定便条是构造的压缩示例,不是实际服务产物;来源支撑有损压缩、外部笔记和持久日志,不保证所有原始过程每次自动读回。

定位:Context engineering, Context engineering for long-horizon tasks / Compaction / Structured note-taking; Managed Agents, session event log, context management and harness separation

C-017-039

背景

官方合成证据审阅示例的运行压缩、未来流程经验、可核产物分工;聚餐应用是明确借用,不是原例或全部 SDK 规则。未执行 notebook,也未独立测性能。

定位:Official notebook markdown cells: Memory vs. Compaction, Using Agents SDK, Step 2 / Step 3; exact Git blob 0c2e00f660b21c4aa0ccac7c26832fee4f56b641

C-017-040

支持

所核 Managed Agents memory 页面为 public beta,文件/导出/版本能力为产品公开机制,不代表全部 Claude 产品默认实现。查六点七点为构造,不是实际服务操作。

定位:2026-04-23 memory product page, How memory works / Portable memories; Managed Agents session and memory-tool sections

C-017-041

背景

dreaming 所核为 research preview、任务间回看/模式提取/整理,可自动更新或审阅变更;不等同生物睡眠。六点七点便条仅解释整理应保留的适用关系,不是已验证整理结果,不报客户倍数。

定位:2026-05-19 product page, Build self-improving agents with dreaming and Getting started, between-session review of sessions / memories

C-017-042

背景

四步链与日历错填均为构造检验框架,来源分别提供压缩、更新、工具参数的依据,不指控具名产品故障,也不把错误一律归于梯度消失。

定位:Compaction / Structured note-taking; LongMemEval §3, knowledge updates; Mem2ActBench §3.5 and §5.5, tool-argument construction and failure analysis

C-017-043

背景

LongMemEval 500 题混合模拟/构造/人工编辑,测提取、多会话、时间、更新与拒答。六点七点两问为本期构造,不是原题,不外推 2024 分数至 2026 全产品。

定位:2024-10-14 v1, Table 1 / PDF 3, five abilities; §3 and Fig. 2 / PDF 5, 500-question construction

C-017-044

支持

400 合成工具任务、七框架、Qwen2.5 7B/32B/72B。Table 4 参数 F1 10.0/30.7/53.8 不是端到端成功率;未闭合 TA 和 12/13 轮次口径不使用。日历例未实测,不作为最新 OpenAI/Claude 横评。

定位:§3.5-4.1 / PDF 5; §5.1 / PDF 6; Tables 3-4 / PDF 7; §5.5 / PDF 8

C-017-045

背景

长输入检索、开放问答、持久文件能力与工具参数指标各按原设置解释,不合成统一排行榜。七点影响本次安排为本期评价问题,不是实验结论。

定位:Gemini launch NIAH paragraph; RAG Table 1; Managed memory How memory works; Mem2ActBench Table 4

C-017-046

背景

少糖情境回收与历史贡献分开;1991 诊断、1997 共同设计、三人后续状态控制均有原文前提。无真实订单实验、唯一发明或任意持续任务成功主张。

定位:1991 §§2.2-2.3 / chapter 4; 1997 §4 / Fig. 1 and §5.6; 2000 §3.1 equation 7 and continual task / PDF 16

C-017-047

背景

明确点单卡只是数值状态类比,文件式 agent 的外部记录是不同对象;问题可比较,不暗示文件操作是遗忘门、agent 回到 LSTM 或摘要/检索错就是梯度消失。

定位:1997 §4; 2000 §3.1; Managed Agents session / harness / memory-tool architecture; official notebook Memory vs. Compaction

C-017-048

背景

少糖和聚餐都是构造;两项具体行动回收原有主张,末句是编辑判断,不当人类记忆定义或已测产品效果。没有永不遗忘或产业胜利结论。

定位:1997 §5.6; 2000 continual temporal order / PDF 16; LongMemEval Table 1; Mem2ActBench §3.5 and Table 4

C-017-049

背景

Sepp Hochreiter 的后见回忆;原声用于呈现研究动作或设计目标,机制与贡献另以同期论文核对。

定位:节目 01:13.168–01:29.288;访谈源 02:26.680–02:42.800

C-017-050

背景

Sepp Hochreiter 的后见回忆;原声用于呈现研究动作或设计目标,机制与贡献另以同期论文核对。

定位:节目 04:43.535–05:17.355;访谈源 04:54.000–05:27.820

全部来源

24 SOURCES

1997 LSTM 作者排印副本:记忆单元、输入与输出门及有条件的人工时序实验。

Sepp Hochreiter / Jürgen Schmidhuber / 日期未知 / original-file

1991 年学位论文导师网站副本;误差回流分析与监督角色,PDF 页序与印刷页分别标注。

Sepp (Josef) Hochreiter / Technische Universität München / 日期未知 / original-file

固定神经概率语言模型怎样同时学习词向量与条件概率,用分布式表示跨相似词组合泛化,并以 perplexity 比较 n-gram;边界:论文没有直接引用 Shannon 1948 / 1951;只能说它接续统计语言模型问题、指标与 Jelinek / Brown 路线,不能写成 Shannon 直接影响作者

Yoshua Bengio / Réjean Ducharme / Pascal Vincent / Christian Jauvin / 日期未知 / original-file

固定后来被称为 GPT-1 的两阶段路线:先以条件语言模型目标和 Transformer decoder 在连续无标签文本上学习参数,再用有标签任务微调;BooksCorpus 与 long-range context 只按论文口径使用;边界:标题没有 GPT-1;论文没有直接引用 Shannon 或 Bengio 2003,不得写成单作者或单线继承,也不代表当前 LLM 的完整后训练

Alec Radford / Karthik Narasimhan / Tim Salimans / Ilya Sutskever / 日期未知 / original-file

2024-02-15 发布方说明;百万词元事实找回是单项测试,不是全部长期任务成功率。

Google / 日期未知 / sanitized-full

2024-12-31 提交的固定版本;专门神经记忆模块的测试时更新,不是整个基础模型随聊天重训。

Ali Behrouz、Peilin Zhong、Vahab Mirrokni / Google Research / 日期未知 / sanitized-full

2026-10-20 保存的官方 notebook,Git blob 0c2e00f660b21c4aa0ccac7c26832fee4f56b641;区分运行压缩、流程经验与可核产物,未执行示例。公开快照为官方 GitHub Contents API 原始 JSON,含 notebook 的 base64 原始字节与 Git blob SHA;解码后与归档 notebook 完全一致。

Wesley Pasfield、Emre Okcular / OpenAI Cookbook / 日期未知 / original-file

2026-04-23 产品说明中的文件式、可导出和版本化记忆;按保存页面的 public beta 范围理解。

Anthropic / Claude Platform / 日期未知 / sanitized-full

2026-05-19 页面中的任务间整理机制;research preview,不等同生物睡眠或默认全量开放。

Anthropic / Claude Platform / 日期未知 / sanitized-full