先念一封信
0:00如果一封信可以直接念给机器，你就少敲了一遍键盘。
把想说的话说出来，等着文字出现在眼前。IBM的一组研究者，想把这个愿望做成一项可以使用的技术。
按团队负责人后来的回忆，读信的人要先配合机器。词和词之间，停一下。麦克风，靠近嘴边。换一个读者，还得为他的声音单独训练。
手指省下的动作，变成了嘴巴和声音要作的配合。人已经把句子念出来，机器还要作出选择：刚才听到的，究竟是哪几个词。
[001]
引用 [001]
使用条件来自Jelinek后见回忆；开头念信是任务设想，省敲键盘与配合代价为节目解释，不是效率实测或一次历史现场。
§4 The Tangora, printed p. 488: correspondence corpus, discrete speech, close-talking microphones and speaker-sensitive training
这位负责人是 Frederick Jelinek。他在IBM带领语音识别研究，此前在Cornell研究信息论。一九七二年，他到IBM做了一份暑期工作，后来接下了研究组的领导岗位。
按他的回忆，大约一九七八年，团队开始从人工语法限定的实验，转向IBM内部通信中的文本。词表先定为五千个词。研究者要让机器识别的，是被读出来的实际通信。
任务也随之改变。过去，研究者可以限定句子范围；现在，一封信要写什么，更多由通信内容决定。机器得从已有记录里取得依据，面对这些新的表达。
[002]
引用 [002]
岗位与约1978转向均作本人回忆归属；不将记述年代2009写入早期动机，不补精确月份或IBM战略，不认为语法任务此前覆盖全部语言。
§1 printed p. 484, 1972 summer job and CSR leadership; §4 printed p. 488, In 1978 (or so), 5,000-word internal correspondence task
文本更接近实际通信，发声方式仍要按系统的要求安排。读者念的是自然的文字，词与词之间却要留出停顿。
团队把难题暂时拆开：一边处理更真实的词语搭配，一边通过近讲麦克风、读者训练和词间停顿，让声音处理与计算有机会跟上。
这些条件也留在了结果里。一份通信能被转成文字，需要连同它怎样被读入，一起理解。
[003]
引用 [003]
区分自然文本与受限发声；拆开难题为依据原文约束的工程解释，不说已核准团队唯一动机，也不把speaker-sensitive系统称为任意说话人识别。
§4 printed p. 488, limited recognizer to discrete speech, separately trained acoustic models and real-time ambition
团队希望，计算能大致跟上读者的口述。人念完一句，文字也能尽快跟上；如果处理拖得太久，接手打字的办法又会带来一段等待。
于是，文本、声音和设备要一起安排。读者的声音经过训练，词间留出停顿，设备承担每一步计算。
人负责把话交进来，机器负责把词选出来。先看其中最基本的一步：声音已经抵达设备，哪一串文字会被留下？
[004]
引用 [004]
计算跟上口述为原文目标的解释，等待后果为有条件分析，非同期用户研究；1984实现回忆移到第五章，避免第一章提前到达结果后回跳。
§4 printed p. 488, ambition of essentially real-time performance with IBM array processors, discrete speech and speaker-sensitive models
一段声音，两份依据
2:17识别程序收到声音，便要在许多词序列之间作比较。假如某一串词就是原话，它被说出来时，产生眼前这段声音的可能性有多大？
候选的发音越能解释收到的信号，就越值得继续考察。几个候选都能提供接近的解释时，判断还需要另一份依据。
这些词，在所处理的语言里，有多大可能按这样的顺序出现？
[005]
引用 [005]
解释P(A|W)与P(W)参与候选选择；没有伪造具体声音相似度或识别日志，不把接近候选描述为已核同音中文词。
Jelinek Fig. 2 and noisy-channel formula, printed p. 487; Brown §2 Language Models and Fig. 1, printed p. 468
给词序列提供这份概率的，就是语言模型。它的工作是，为几个可能的说法提供词语搭配方面的依据。
一个候选搭配常见，声音却偏向另一个候选；另一个候选搭配少见，发音却更接近输入。两份证据放在一起，才形成最后要比较的分数。
常见程度因此有了双重作用：它能帮助识别，也可能让少见而真实的表达，在比较中处于劣势。
[007]
引用 [007]
候选之间的对照为机制解释，非真实个案；常见可能压过真实表达是模型关系的有条件推论，不是实测频率或现代产品行为结论。
Brown §2 printed p. 468, language-model definition and product of source/channel probabilities; Jelinek printed p. 487
早期共同论文介绍的系统里，还有发音字典和描述说话者发音变化的统计规则。研究者先确定怎样表示发音与词序列，再从数据中估计有关数值。
表示方式决定了计数的对象。计数取得结果，又让这套表示接受检验。知识和数据，分别参与其中的工作。
语言模型交出来的，是一份统计依据。它要和声音、搜索以及最后的结果检验一起使用。
[008]
引用 [008]
保留知识与数据分工；只概述已取得官方摘要和1992原文，不把1975全文独有实现细节写入，也不裁决所有语言知识是否有效。
- Design of a Linguistic Statistical Decoder for the Recognition of Continuous Speech
- Class-Based n-gram Models of Natural Language
IBM 1975 Abstract, phonemic dictionary and statistical phonological rules; Brown §2 printed pp. 468-469, model definition and parameter estimation
候选来自人工限定的语法时，生成过程可以给出这些句子的概率。任务转向实际通信，研究者就得从文本中估计这份概率。
手里有一批记录：哪些词出现过，出现多少次，哪些词经常前后相接。把这些数出来，再用它们判断下一份通信。
旧记录面对新表达。有些搭配经常出现，有些搭配会在下一份文字里第一次进入系统。
[009]
引用 [009]
从受限任务到估计问题的连接；新组合可出现而非每份文本必然具有未见搭配，不扩大为全部语言概率已被经验频率完全刻画。
Jelinek printed p. 488, artificial grammar P(W) and natural-speech estimation problem; Brown §2 printed pp. 469-470, training text and sparse counts
每个词都见过，这句话却没有
4:37按Jelinek后来的回忆，John Cocke给出过一个建议：用三词模型来处理英语。预测下一个词时，先看它前面的两个词。
长长一段通信，被拆成了一连串局部判断。前面是这两个词，接下来通常是什么？窗口向前移动，再作一次估计。
这样，研究者可以用局部记录处理整封信。简化也划出了一条边界：当前判断的范围，落在眼前的两个词上。
[010]
引用 [010]
Cocke建议保持本人后见归属，不称n-gram发明权；窗口说明为概率近似，历史贡献与后来1992定义核对分开。
Jelinek printed p. 489, Cocke suggestion and trigram approximation; Brown §2 printed p. 469, histories equivalent when sharing final n-1 words
把连续几个词作为一组来统计，这类模型叫 n-gram 模型。字母n表示这一组有几个词。三词模型里，前两个词提供条件，第三个词是正在预测的对象。
它的动作很具体：找到过去文本中同样的前两个词，看看后面出现过什么。窗口移到下一处，同样的动作再来一遍。
频繁出现的搭配，记录里的支持也多。稀少的搭配，留给估计的依据就少。
[011]
引用 [011]
只解释n-gram与三词条件估计；不把n-gram等同所有语言模型，也不声称名字本身已完成模型机制解释。
Brown §2 printed p. 469, n-gram definition and count-based estimate Eq. 2; Jelinek printed p. 489
为了把这个动作看清，我们自己造四条中文记录。
两条记录相同：请把文件发给李工。
第三条是：请把报告发给王工。
第四条是：请把报告发给张工。
现在，要判断一句新的话：请把文件发给王工。
[012]
引用 [012]
四句记录为节目构造，原文只支撑计数 / 未见组合机制；人物与句子非史实，样本来源和固定分词见相邻example-note，不充当原论文引文。
§2 printed pp. 469-470, count estimation and unseen trigrams; constructed example ngram-explanation-example-v2.json trainingSentences and candidateSentence
先查词。文件，出现过。发给，出现过。王工，也出现过。每个词都能在样本里找到。
再查短搭配。“文件、发给”，出现在给李工的两条记录里。“发给、王工”，出现在那条关于报告的记录里。
最后，把三个词放在一起：“文件、发给、王工”。这一格，计数是零。旧记录把文件交给过李工，把报告交给过王工。这句新话，换了一种组合。
[013]
引用 [013]
事实为已核构造样本的计数，非IBM数据；相邻example-note绑定演示文件及哈希。各词出现不推出机器理解词义。
§2 printed pp. 469-470, count-based estimation and sparse combinations; constructed example targetHistory/targetWord and calculation
模型按记录直接计算。遇到“文件、发给”，就去数后面跟了几次王工。答案是零。
整句话的概率，要把各处预测的概率接起来相乘。前面几步都有分数，到这里乘上零，整条候选就被压成零。
这次淘汰，来自搭配的计数。“文件发给王工”，原本是一句可以成立的新表达。一个零，就把它挡在了候选之外。
[014]
引用 [014]
纯相对频率模型及人工样本的零乘积，不代表带平滑模型，也不把缺少记录解释为理解或实际收件关系。
Jelinek printed p. 489, relative frequency f and zero counts; Brown §2 printed pp. 468-470, sequence product Eq. 1 and count estimate Eq. 2
写程序的人很熟悉这段距离：系统积累过的输入，是已经发生的记录；下一次输入，还可以带来新的组合。
我们的例子里，新东西就出现在旧词之间。换一个搭配，熟悉的词便组成了一句新话。细一点的那格计数为零，旁边却还有能用的信息。
“发给王工”出现过，王工这个词也出现过。让这些较短的记录参加判断，候选会发生什么变化？
[015]
引用 [015]
程序输入为有边界类比；不推断数据库缺行与概率估计具有同一业务语义。结尾复用人工样本已有信息，不新增历史事件。
§2 printed p. 470, unseen rare combinations have substantial aggregate probability and interpolation motivation
给王工留一个位置
7:19Jelinek记下的办法，是把不同范围的统计组合起来。三词搭配给一份估计，前一个词给另一份估计，再加上目标词本身的统计。
回到王工。三词那格是零，较短的“发给王工”有记录，王工这个词也有记录。几份信息共同参与，就能给这个新组合提供支持。
这种组合估计的方法，叫插值。细记录负责搭配细节，覆盖更广的记录帮助处理样本稀少的地方。
[016]
引用 [016]
说明不同阶估计的混合，不等同顺序回退或唯一平滑算法；王工例子仍为构造。
Jelinek printed p. 489, linear interpolation formula; Brown §2 printed p. 470, Eq. 3 and interpolation explanation
借一次查统计的经验，就容易理解这项取舍。条件越具体，分到这一组的样本往往越少。固定前两个词，和固定前一个词，可用的记录数量会不同。
在模型里，几种记录各自给出一个概率，再按分量混合。它们同时参与这次判断，较粗的估计也就能为较细的估计提供支持。
混合办法要安排两种需要：保留具体搭配的信息，也利用更宽范围里积累的样本。
[017]
引用 [017]
分组类比返回上下文统计并明确混合；不声称每个更细条件的样本必然更少，也不将一个固定权重方案覆盖历史全部实现。
Brown printed pp. 469-470, reliability decreases with sparse higher-order counts and history-count-dependent interpolation; Jelinek printed p. 489
给四句例子选一组说明用的混合分量，王工便得到一个大于零的数。支持来自两处：“发给王工”的搭配，和王工这个词本身。
样本还是原来那四句。变的是估计办法。它开始利用较短的记录，为这条新的三词组合留下概率。
王工重新有了席位。下一步，要把这个分数和其他候选放在一起。
[018]
引用 [018]
演示指定权重1/2、3/10、1/5，目标概率17/200；非IBM权重、性能或从另留数据训练的参数，只计算下一词条件概率。
§2 printed p. 470, interpolation Eq. 3; constructed example weights and calculation.interpolatedProbability
李工的分数仍然更高。两条关于文件的记录，都把文件发给了李工。三词统计支持他，较短的统计也支持他。
王工从零分中回到了比较里。接下来，声音的依据还要加入，候选搜索还要继续。我们这个例子，先完成了语言分数这一步。
给一个答案机会，是后续判断的起点。哪一个答案更符合实际声音，还要继续检验。
[019]
引用 [019]
人工样本李工67/100高于王工17/200；比较仅为语言条件概率，无声学或完整搜索。非实际识别率，非真实人物收件关系。
§2 printed p. 468, joint source/channel selection; p. 470, interpolation; constructed example otherCandidateLiGongProbability
混合分量本身，也是一次选择。给具体搭配多少分量，给更宽的统计多少分量，都会改变候选的分数。
细记录积累充分时，研究者可以更多地依靠它。样本稀少时，就要考虑怎样利用更宽的统计，减少偶然搭配的影响。
有限经验怎样成为新文本上的依据，需要这些选择共同完成。
[020]
引用 [020]
原文支持按历史计数处理可靠性及估计权重；不以直觉为已核权重算法，也不将偶然现象量化为未经报告的错误率。
§2 printed p. 470, interpolation weights depend on bigram history counts, high-count and low-count reliability, held-out estimation
四句记录让我们看清了零分怎样被修补。到了实际通信，还要继续检查哪种混合办法更有用。
一项改动在手里的文本上有效，换一批新文字，会怎样？候选获得了新的机会，改动也要面对新的材料。
记录的用途，开始需要分工。
[021]
引用 [021]
转场由已核数据分离形成，四句样本不足以代表实际任务；不声称测试永远独立于全部实验决策或仅需一次测试即可证明泛化。
§2 printed p. 470, separate training, held-out and Brown corpus test samples
让新文字检验改动
9:57按Jelinek后来的回忆，到一九八四年，团队实现了向管理层承诺的近实时目标。它运行在前面那些输入条件之下。
一九八六年，关于Tangora的论文记录，IBM把词表从五千扩到了两万个词。系统用到个人电脑和信号处理器，又增加了支持语音创建文档的工作站，以及拼写和个性化词表功能。
声音处理、识别和工程实现，在团队的工作中汇合。词表扩大，使用功能增加，算法也要进入一套能被操作的系统。
更多词带来更多搭配。评价一项改动，就要从那个被救回的候选，扩展到整组文本和整套系统。
[022]
引用 [022]
1984近实时采用本人后见归属；1986功能来自官方摘要，不引用未取得全文的性能表，也不把所有版本称为自然连续语音。作者角色不逐人作未经证实分配。
Jelinek printed p. 488, essentially real-time promise by 1984; IBM 1986 catalog Abstract and Authors, PC AT/processors, vocabulary expansion, workstation, spelling/personalization
其他团队也开始比较识别系统。怎样评，成了研究工作的一部分。
一九九〇年，美国国家标准与技术研究院的一份报告，汇总了共享任务下的识别成绩。它使用标准评分程序，区分训练条件，并提醒读者注意反复使用测试集可能带来的影响。
这份报告评的是另一组任务。它为我们留下一个具体的检查办法：比较成绩时，同时看训练条件、评分方式和试题的使用经历。
[023]
引用 [023]
跨机构同期旁证，明确不是Tangora评测；对反复使用测试集只说可能影响，不自动判定所有重测无效或作弊，不将制度发明归给Jelinek。
printed pp. 298-299, Test Protocol, Tabulated Results, test-retest caveat and Significance Test Results
一九九二年，IBM的 Peter F. Brown 与合作者，把语言模型里的数据分工写得很具体。
第一批文本，用来取得计数。第二批，另留出来，用来估计几份统计该怎样混合。最后，再拿一批独立文本来测试。
这最后一批，是一份包含不同类型英语文本的已有语料。它独立于前面的计数和混合权重估计。
计数、调整、检验，三批文字，各做一项工作。
[024]
引用 [024]
数据分离来自该文，Jelinek不是作者；完整作者为Brown、Vincent J. Della Pietra、Peter V. deSouza、Jenifer C. Lai、Mercer。语料名称与作者不同，不能以同姓创造关系；不声称其构成来自当前网页。
§2 printed p. 470, training sample, held-out estimation and Brown corpus not included in training or held-out; article title page author list
这有点像准备测验。练习题帮助形成办法，另一批题帮助调整办法，最后再用一份新题，检验它是否适用。
模型从样本中取得规律，尝试把它们用到新的组合上。另留的文本，就是检验这种能力的材料。考试的比喻，在这里帮助我们分清数据的用途。
如果计数、调分量和验收都围着同一批材料转，材料也可能参与塑造最后报告的成绩。把用途分开，就更容易追查：哪些信息参与了改动，哪些文字负责检验。
[025]
引用 [025]
考试为有限类比，不把学习概括为背题；关于反复使用材料的风险为有条件分析，不能证明本期实际模型被污染或所有协议完全排除过拟合。
- Class-Based n-gram Models of Natural Language
- DARPA Resource Management Benchmark Test Results June 1990
Brown §2 printed p. 470, held-out/test split; NIST printed p. 299, repeated-test caveat
语言模型拿到新文本，可以逐处检查。轮到下一个词出现之前，它给实际出现的那个词，留了多大概率？
把整份文本的预测汇总起来，就得到一种比较指标，叫困惑度。同样的测试条件下，困惑度更低，表示模型整体上为这份文本的实际后续词，分配了更高的概率。
它度量的是整体预测。某一处留的概率低，会影响这个汇总结果；最终分数反映的是这些预测合在一起的表现。
[026]
引用 [026]
限定同一词表、分词、文本和未知词口径；整体汇总为几何平均意义，非每词概率均提高、心理状态、理解分数或词错误率。
§2 printed pp. 468-469, intrinsic model quality, perplexity reciprocal geometric mean and representative text/sample error caveats
前面有两份依据：声音，和词语搭配。困惑度检查的是词语搭配这一份。
整套识别能写对多少词，还取决于声音处理、候选搜索，以及各部分怎样配合。Brown与合作者也在论文中提醒，语言模型的系统表现，要放在这种相互作用里判断。
语言分数检查完，还得回到读信任务：机器写下的词，和实际读出的词，是否相符？
[027]
引用 [027]
区分内在预测指标与端到端识别；末句为检验需求，不声称本轮取得或完成某套实际识别系统测试。
Brown printed p. 468, delicate interplay and application-dependent performance; Jelinek printed pp. 487, 489, acoustic/language model and decoding
一九九二年这篇论文里，面对一批很大的文本，许多三词组合仍然只出现过一次。数据的规模大了，稀疏的格子也还在。
研究者继续改进估计，让这些搭配得到可用的概率。同时，前两个词的窗口又留下另一项要求：有用的线索可能在更远处。
一边是样本够不够，一边是信息能否进入判断。两个问题，需要各自的处理办法。
[028]
引用 [028]
不播报未经口径说明的大样本 / 参数数量；结尾是前两词模型的能力连接，1998提供远依赖论据，不推论所有n-gram永远只有两词窗口。
Brown Table 1 and §2 printed pp. 469-470; Chelba/Jelinek §1-2 printed p. 225, long-distance dependency motivation
近处之外，还有线索
13:47一九九八年，Ciprian Chelba 与Jelinek给出一个具体句子。论文里的合约句子，接下来要预测一个表示“在……之后”的词。紧挨着这个位置的两个词，讲的是“七美分”。
更早处，还有一个“结束”的动作。它能为这里提供另一条线索。中间的文字，把这个动作隔远了。
在前两词的窗口里，七美分就在眼前。要利用更早那个动作，模型得换一种保留信息的办法。
[030]
引用 [030]
中文释义仅帮助跟随英文原例的ended/after关系，不是中文模型测试，不作市场行情事实。保留原句及范围说明，未口播专业解析术语。
§2 printed p. 225 and Fig. 1, the contract ended with a loss of 7 cents after trading as low as 89 cents; trigram uses (7, cents), ended is beyond even 7-grams
两位作者让句法结构参与判断。程序从左向右处理句子，一边形成结构，一边留下对后续预测有用的线索。
过去的记录够不够，是一个问题。哪些已经经过的信息值得留下，是另一个问题。
结构把远处的相关对象带回当前判断。模型可用的依据，因此超出了眼前几个词。
[031]
引用 [031]
只概述保留远依赖的作用，不展开完整解析算法，不说注意力、循环记忆或Transformer已在此实现，也不证明结构总有优势。
§1-2 printed p. 225, incremental syntactic structure, exposed headword and left-to-right prediction
到了二〇〇三年，Yoshua Bengio 与合作者提出另一种语言模型。他们希望，词的表示和词序列的概率，能一起从训练中形成。
每个词得到一组可学习的数值表示。表示相近的词，可以更容易地分享某些训练经验。模型见过一种说法，就有机会借它处理由相似词组成的另一种说法。
还是那个问题：有限的样本，怎样给新组合提供依据。这一次，方法改变了词之间分享信息的方式。
[032]
引用 [032]
完整贡献保留Yoshua Bengio、Réjean Ducharme、Pascal Vincent、Christian Jauvin；正文合作者简写不并吞署名。连续表示不同于Brown离散词类，不保证相似词任意互换。
Abstract and §1-1.1 printed pp. 1137-1139, joint learning of distributed word representation and probability function, semantic-neighbor generalization
词类、句法结构、可学习的词表示，分别从不同方向处理这个问题。研究者尝试组织词的关系，也尝试保留远处的线索。
Bengio与合作者的论文，明确讨论三词模型和Jelinek、Mercer的插值。由此可以看清一条技术联系：后来的方法接住了什么问题，又准备怎样改变处理办法。
各条路线保留上下文的方式有差别。二〇〇三年这项工作，仍使用有限的词窗口。让信息越过更长的时间，继续影响后面的判断，还需要新的设计。
[033]
引用 [033]
方法关系为问题对照及原文明示引用，不声称个人师承、单线替代、LSTM或GPT结构等同。
- Yoshua Bengio / Réjean Ducharme / Pascal Vincent / Christian Jauvin, A Neural Probabilistic Language Model
- Class-Based n-gram Models of Natural Language
- Exploiting Syntactic Structure for Language Modeling
Bengio §1 printed pp. 1138-1139, explicit Jelinek/Mercer 1980 citation and finite-context discussion; Brown §3; Chelba/Jelinek p. 225
同一句话，换一套识别机器
16:11前面这些研究，已经把一个问题打开了：有限的记录，怎样支持新的组合。词的表示可以改变，能留下的上下文也可以改变。
把本期放回《大语言模型前史》，图灵机定义计算步骤，计算机架构安排这些步骤怎样运行。本期追问的，则是机器已经拿到输入之后，怎样给可能的文字提供判断依据。
[034]
引用 [034]
问题分工的编辑回顾；不称计算机架构与语言建模互相替代，不推定直接人物影响。
- A. M. Turing, On Computable Numbers, received 1936-05-28, read 1936-11-12, journal 1937
- First Draft of a Report on the EDVAC (Michael D. Godfrey corrected edition)
- Class-Based n-gram Models of Natural Language
Turing §§1-2 printed pp.231-233 and §6; First Draft §§2.3-2.5 and §14.1; Brown1992 §2 printed pp.468-470
Claude Shannon那一期，测量上下文能让下一个符号更容易预测多少。感知机那一期，观察训练怎样改变内部的连接。后来，预测任务与可训练的结构，在神经语言模型里接到了一起。
[035]
引用 [035]
压缩系列回顾；人类猜字是测量，感知机不是现代LLM，条件预测与可训练结构的比较不建立单线继承。
- C. E. Shannon，BSTJ 扫描 PDF
- The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain (1958)
- Yoshua Bengio / Réjean Ducharme / Pascal Vincent / Christian Jauvin, A Neural Probabilistic Language Model
Shannon1951 Abstract / §§1-2; Rosenblatt1958 pp.386-391; Bengio2003 Abstract / §1.1
上一期的化学程序，从领域知识取得筛选依据。本期的语言任务，更多从语料取得搭配概率。两种对象，各自要求机器把能用的经验，组织成可以检验的判断。
[036]
引用 [036]
比较具体任务的主要依据，不将知识与统计排成互斥阵营。
- B. Buchanan、Georgia Sutherland、E. A. Feigenbaum；Heuristic DENDRAL: a Program for Generating Explanatory Hypotheses in Organic Chemistry。
- The Dawn of Statistical ASR and MT
- Class-Based n-gram Models of Natural Language
Heuristic DENDRAL1969 pp.209-213; Jelinek2009 p.489; Brown1992 pp.468-470
二〇〇三年，Bengio与合作者明确讨论Jelinek、Mercer的插值，改用可学习的词表示和网络来计算概率。二〇一八年，后来被称为GPT-1的工作，也以给定前文、预测下一文字单元作为训练目标。
任务继续追问下一步。承担预测的函数，已经在变。把这种变化放回念信这件事，就能看得更具体。
[037]
引用 [037]
Bengio对Jelinek/Mercer为直接文献引用；GPT-1为目标与参数化的对照，不声称原文直接引用Bengio或n-gram为唯一祖先。
- Yoshua Bengio / Réjean Ducharme / Pascal Vincent / Christian Jauvin, A Neural Probabilistic Language Model
- Alec Radford / Karthik Narasimhan / Tim Salimans / Ilya Sutskever, Improving Language Understanding by Generative Pre-Training
Bengio2003 §1 pp.1138-1139; GPT-1 §3.1 Eq.1 / §3.2 pp.3-4
仍然是那句“请把文件发给王工”。在本期讲的Tangora阶段，声音先被表示成一串短时间片的符号。声音模型叫隐马尔可夫模型：它用一串状态描述发音怎样推进，估计每一步产生眼前声音符号的概率。各个发音模型按候选词串联起来，就能计算这条候选的声音依据。
另一边，三词语言模型从文本计数中，估计这串词的搭配概率。搜索程序把两份依据结合，选择候选。
词表扩大到两万，三个位置任意组合，就有约八万亿种搭配。这个数说的是需要面对的组合空间。实际文字只出现其中一部分，研究者还要靠较短记录和插值处理稀疏。
词表扩大了，每一格怎样取得可靠概率，仍要继续解决。
[038]
引用 [038]
历史阶段限定为此处离散声学 / HMM / trigram；王工为构造回用，不作真实Tangora中文识别。20,000^3=8,000,000,000,000是组合空间，完整条件概率独立参数略有归一化差异，不证明实际保存八万亿条；不得与4.4B神经权重作倍率比较。
Jelinek2009 printed p.489 / PDF p.7, centisecond quantized symbols, HMM, trigram and argmax P(A|W)P(W); Brown1992 printed pp.469-470 / PDF pp.3-4, V^n-1, Tangora vocabulary and sparse counts
二〇二六年九月的 Qwen-Audio-3.0-ASR 报告，给出另一条处理路径。先看声音怎样进入机器。
声音编码器用多层Transformer，把输入变成一串可供后续计算的数值表示。中间再经过一个两层的连接网络，把声音表示接到文字模型能使用的空间。Transformer让这些表示通过注意力机制，结合可见输入中的相关线索。
编码器旁边，还接着一个叫CTC的初步识别分支。它给出一份粗转录，帮助挑选热词，也帮助长音频中的上下文找到位置。最后的文字，由大型语言模型逐步生成：每一步结合声音表示、初步识别与可用的文字条件，预测下一个文字单元。
当年的两份概率，在搜索阶段合分。这里，声音和上下文先作为条件，进入文字预测函数，再逐步构成转录。声音以学到的表示参与下一步预测，已有转录和提示也能进入同一个解码过程。
[039]
引用 [039]
保留四模块和辅助CTC，不把它说成声学模型完全消失、后处理文字模型单独改写或一次直接波形转字。注意力说明是机制释义，不推定无限可见信息；CTC作用须以§2正文及§5.4-5.5核对，不能仅由Fig.2推断。
Qwen v2 §2 / pp.3-4, Fig.2, four-component topology / two-layer Transformer adapter / CTC hypothesis and final LLM; §3.1 p.4 bidirectional attention; §3.4 p.6 conditions; Jelinek p.489
这一代主要改动了哪一部分？报告把它同上一代Fun-ASR作比较。声音编码器、连接网络和初步识别分支沿用下来；文字端则从七十亿参数的稠密解码器，换成Qwen的混合专家结构，也就是MoE。
这里的“专家”，是一组神经网络参数。模型把一部分计算分成多组专家网络，由路由机制为当前文字单元选用其中一部分，共享的模块照常运行。这样，总共能保存多少能力，与每一步要调动多少计算，可以分开安排。
七十亿，指的是前一代的文字解码器。这份报告没有公布新模型精确的总参数和激活参数量。它明确交代的变化，是容量怎样组织、每一步怎样使用。
[040]
引用 [040]
7B只指Fun-ASR前身解码器，非本代或全系统参数。MoE释义限于部分计算的专家路由，未说每步整个系统都稀疏或专家是人工规则；未猜测本代骨干具体型号、专家数量、总 / 激活参数或保证更快。
Qwen v2 p.2 Introduction, previous 7B dense language-model decoder; p.4 §2 retained encoder / adapter / CTC, sparse expert routing; p.5 §3.2 total capacity and partial per-token activation
这些网络里的数值，怎样取得依据？报告记载，声音与语言对齐的预训练阶段，用到约两千万小时的多语言材料，主要包括语音识别数据，以及文字和声音交错的材料。
这一阶段先固定已经训练过的声音编码器，调整连接网络和文字解码器，让声音表示能支持目标文字。后面的监督微调，再更新声音端和连接网络，并用新增的适配参数调整文字端。不同阶段，各有要动的部分。
过去，文本提供哪些搭配出现过的计数。现在，大量材料还用来调整一套共享的表示和预测函数，让声音与文字的关系进入网络参数。两千万小时说的是训练材料规模，和两万词的词表，是两种量。
[041]
引用 [041]
20M为作者披露的Audio LLM预训练阶段数据量，未独立核验、不当实际独立人工录音量、全生命周期总量或单一独立样本；不同阶段数据不相加。共享函数与计数的比较为机制解释，不声称全部旧模型没有共享参数。
Qwen v2 §3.2 p.5, approximately20M hours / frozen encoder / jointly optimized adapter and LLM; §3.4 pp.5-6 SFT encoder+adapter / frozen base LLM / LoRA; Brown1992 pp.469-470 counting / held-out interpolation
继续用我们的构造例子。假如前一轮已经提到，王工是这份文件的收件人，这段文字就可以作为历史上下文。王工的名字，也可以放进重点词提示。
于是，当前判断能用的材料变了：有这次的声音，有前面说过的话，还有这次特别需要辨认的名字。文字解码器在这些条件下继续预测，声音仍是这次选择的主要依据。
三词窗口里，预测王工时只直接看“文件、发给”。现在，前一轮的相关信息有了进入判断的通道。它怎样被放进来、怎样避免照抄错误提示，也成了训练要处理的工作。
[042]
引用 [042]
王工与前轮收件人信息均为节目构造情境，未调用模型实测。报告混入正确 / 冲突 / 噪声上下文，并要求当前音频为主；不保证提示强制命中。8192训练packing不在正文说成通用线上上限。
Qwen v2 §3.4 p.6 Historical-context conditioning / Hierarchical hotword conditioning, §§5.4-5.5 pp.13-16; Brown1992 p.469 trigram history
如果信是一边说、一边转成文字，机器又要安排：声音还在抵达，什么时候可以出字？Voxtral Realtime，专门为这种持续输入训练了一套模型。
它的报告把规模拆开列了出来：声音编码器三十二层，约九亿七千万个参数；文字解码器二十六层，约三十四亿个参数；中间的连接器另有两千五百万个参数。全模型合计，约四十四亿。
这些参数分别承担声音表示、音文连接和文字预测。声音端从头训练，文字端从预训练语言模型初始化；先让声音端和连接器学会配合，再进入全模型联合训练。
四十四亿，数的是这套网络实际组织起来的权重。前面八万亿，数的是两万词能形成的三词组合空间。两种数字，回答各自的规模问题。
[043]
引用 [043]
4.4B为报告表中四舍五入总量，产品名4B不替代此表；本段不计算同构倍数或现代模型优于Tangora的错误率。32层 / 26层为相应模块，warm-up前5%、后95%联合训练的细节留研究稿。
Voxtral v3 p.3 Table1, encoder32layers/970M, adapter25M, decoder26layers/3.4B, total4.4B; §2.1 p.3 from scratch; §3.3 p.5 Ministral3B initialization and warm-up/full training; Brown1992 p.469
再看它怎样走过一句话。声音先变成按时间排列的频率特征。因果编码器只使用已经抵达的声音，生成数值表示；连接器把这些表示压到较低的时间频率，供文字端使用。
文字解码器每八十毫秒作一次预测。这一步的输入，把当前声音表示与上一步输出的表示相加。证据还需要积累，就产生一个不显示成文字的等待标记；一个词的声音已经完整、目标等待时间也到了，就开始输出这个词的文字单元。
模型在训练中学习的，包含“什么时候出字”。当年的读者主动在词间停一下；这里，连续声音里的发字节奏，也交给了模型安排。
[044]
引用 [044]
等待符号为内部[P]，词界[W]后跟subword，不能把每80ms当实时必出一个汉字或准确端到端延迟。上一步输出包含内部等待符号，不一律称上一文字。历史词间停顿与现代发字时机为有边界比较。
Voxtral v3 §2 p.2, Fig.2 p.3, §§2.1-2.3 pp.3-4, §3.1 pp.4-5 audio/text embedding summation, 12.5Hz / 80ms, [P] and [W]; Jelinek2009 p.488 discrete reader pauses
连续运行，还需要控制保留的信息。Voxtral声音编码器每层注意力，直接可看的窗口约十五秒。文字端保留八千一百九十二个解码位置，里面既有文字，也有等待等内部标记。窗口向前移动，旧位置逐步退出。
它可以持续处理很长的声音流，同时控制占用。与三词模型相比，可用的上下文和保留方式都变了；这份更长的历史，也有它自己的范围。
[045]
引用 [045]
15s为单层注意力直接窗口，不断言全网络有效历史恰为15s；8192是含内部符号的解码token位置，不当8192词或字符。持续长流与无限记忆分开，未计算未经部署核验的最长可追溯秒数。
Voxtral v3 Table1 p.3 / §2.1 pp.3-4 encoder750frames at50Hz=15s and §2.3 p.4 decoder8192token left-context; §3.1 includes[P]/[W]; Brown1992 p.469 two-word history
文字能力更强，还会带来新的调整问题。Voxtral的作者记录过一次训练偏移：文字表示的幅度不断增大，声音表示的幅度却逐渐缩小。模型开始更多地依赖文字流，忽略声音。
他们在训练目标里加入约束，把这种数值失衡压下来，让两边的表示重新稳定配合。一个会接着写下文的网络，要用来转录，就必须让它持续听取声音的依据。
王工还是李工，最后要落在这次说话上。更大的文字模型，增加了能用的经验，也增加了怎样约束这些经验的工作。
[046]
引用 [046]
具体失衡来自作者训练记录，修正为logit norm z-loss、表示norm稳定；不把它偷换成测得普遍幻觉率、证明完全忠实或已验证王工例子。末两段为节目从任务与训练现象引出的判断。
Voxtral v3 §3.3 p.5, growing logit / text embedding norms, diminishing audio embedding norms, increasing text reliance and z-loss correction
输出目标也能参加训练。Qwen这份报告把逐字保留与润色后的文字，做成可选择的目标。同一次文字生成，可以按指令去掉填充语、减少重复，处理说话者明确的自我更正。
如果刚才说的是“发给李工，改一下，发给王工”，整理信件可以保留更正后的意思；核对一段引语，就需要保留当时怎样改口。给模型的目标不同，合格输出也随之改变。
同一句话，从局部计数到大型网络，变化落在声音怎样表示、经验怎样共享、上下文怎样进入，以及何时把文字写出来。最后，还是回到这封信：写下的内容，能不能交还给这次实际说话来检验？
[047]
引用 [047]
改口句为新增构造说明，非真实录音或模型实测。润色目标不一律等于逐字转录；引用核对仍须原声。本章比较机制 / 规模，不宣告新旧任务同条件准确率胜负，不把任何发布者能力报告当独立复跑。
Qwen v2 Fig.2 p.3 and §3.4 p.6 Native transcription polishing / same autoregressive decoding targets; Brown1992 p.468 system-dependent performance
回到这封信
25:15回到我们造的那句通信：请把文件发给王工。
王工这个词出现过，完整三词搭配那格却是零。混合估计把较短搭配和词本身的统计带进来，让他重新取得了概率。
随后还有比较：声音怎样支持候选，其他名字拿到多少分，搜索怎样进行。这四句记录，帮助我们跟到了语言分数这一步。
[048]
引用 [048]
回收构造候选及此前建立的机制，不宣称真实中文系统输出或个人收件事实；完整识别条件未在演示中实现。
Jelinek printed pp. 487, 489; Brown §2 printed pp. 468-470; constructed example input and calculation
旧词可以组成新话。机器也可以借助已有的局部经验，为这些新组合取得一些依据。合适的估计办法，让有限的记录继续发挥作用。
留多少概率，怎样留，要交给另留数据检验。完整系统还要面对它自己的任务：把这次读出的内容，写成文字。
“机器会猜”，由此成了一项可以持续改进的工程工作。每次修改，都要说清使用的依据和检验的材料。
[049]
引用 [049]
基于既有机制的节目收束，非作者原话；局部统计泛化不保证所有新句可处理，不自动建立理解或开放任务可靠性。
§2 printed pp. 468-470, prediction, sparse-count interpolation, held-out and independent corpus test
常见搭配可以帮助选词，也可能让少见而真实的表达处于劣势。
从“更像常见说法”，到“写出这次说出的内容”，还要经过声音、上下文和任务检验。模型能使用多少经验，能保留哪些信息，都影响这次判断。
于是，开头那封想交给机器的信，留下三个具体问题：候选凭什么被保留？为什么会被丢掉？改动以后，在哪些新材料上更有用？
[050]
引用 [050]
节目判断由前文支撑，少见表达劣势为有条件机制推论；不称所有常见候选均错误或语音系统只依赖语言概率。
Brown printed p. 468, candidate selection and system interplay; p. 470, estimation/test; Chelba/Jelinek p. 225, context limitation
还有一项工作，落在更远的信息上。程序怎样把它留下，再接回当前的判断？
词语之间的联系，可以从数据中估计。联系要跨过更长的距离，系统还得为它安排新的组织方式。
对着机器说一句新话，也就在检验几件事：它怎样利用旧记录，怎样保留有用线索，以及我们给它安排了怎样的测试。
[051]
引用 [051]
回收表示 / 上下文问题，为系列编排留下问题，非直接LSTM影响史，也不在结尾补充未核现代模型能力。
- Exploiting Syntactic Structure for Language Modeling
- Yoshua Bengio / Réjean Ducharme / Pascal Vincent / Christian Jauvin, A Neural Probabilistic Language Model
Chelba/Jelinek §1-2 p. 225; Bengio §1 pp. 1138-1139, contextual and word-similarity limitations
单集识别与系列位置
27:02你刚刚收听的是《原代码》第十六期，《n-gram：Frederick Jelinek 与 IBM 的语言概率》。这是《大语言模型前史》系列的第六期，副标题是“从 Alan Turing、John von Neumann 到 GPT-1”。
下一期，我们会转向 Sepp Hochreiter 与长短期记忆网络，继续追问，过去的信息怎样越过更长的时间，影响后面的判断。