n-gram：Frederick Jelinek 与 IBM 的语言概率证据关系

把连续几个词作为一组来统计，这类模型叫 n-gram 模型。字母n表示这一组有几个词。三词模型里，前两个词提供条件，第三个词是正在预测的对象。它的动作很具体：找到过去文本中同样的前两个词，看看后面出现过什么。窗口移到下一处，同样的动作再来一遍。频繁出现的搭配，记录里的支持也多。稀少的搭配，留给估计的依据就少。

Cocke建议保持本人后见归属，不称n-gram发明权；窗口说明为概率近似，历史贡献与后来1992定义核对分开。

定位：Jelinek printed p. 489, Cocke suggestion and trigram approximation; Brown §2 printed p. 469, histories equivalent when sharing final n-1 words

C-016-011

支持

TRANSCRIPT CLAIM

supports

PUBLIC SOURCES

为了把这个动作看清，我们自己造四条中文记录。两条记录相同：请把文件发给李工。第三条是：请把报告发给王工。第四条是：请把报告发给张工。现在，要判断一句新的话：请把文件发给王工。

只解释n-gram与三词条件估计；不把n-gram等同所有语言模型，也不声称名字本身已完成模型机制解释。

定位：Brown §2 printed p. 469, n-gram definition and count-based estimate Eq. 2; Jelinek printed p. 489

C-016-012

背景

TRANSCRIPT CLAIM

context

PUBLIC SOURCES

先查词。文件，出现过。发给，出现过。王工，也出现过。每个词都能在样本里找到。再查短搭配。“文件、发给”，出现在给李工的两条记录里。“发给、王工”，出现在那条关于报告的记录里。最后，把三个词放在一起：“文件、发给、王工”。这一格，计数是零。旧记录把文件交给过李工，把报告交给过王工。这句新话，换了一种组合。

四句记录为节目构造，原文只支撑计数 / 未见组合机制；人物与句子非史实，样本来源和固定分词见相邻example-note，不充当原论文引文。

定位：§2 printed pp. 469-470, count estimation and unseen trigrams; constructed example ngram-explanation-example-v2.json trainingSentences and candidateSentence

C-016-013

背景

TRANSCRIPT CLAIM

context

PUBLIC SOURCES

模型按记录直接计算。遇到“文件、发给”，就去数后面跟了几次王工。答案是零。整句话的概率，要把各处预测的概率接起来相乘。前面几步都有分数，到这里乘上零，整条候选就被压成零。这次淘汰，来自搭配的计数。“文件发给王工”，原本是一句可以成立的新表达。一个零，就把它挡在了候选之外。

事实为已核构造样本的计数，非IBM数据；相邻example-note绑定演示文件及哈希。各词出现不推出机器理解词义。

定位：§2 printed pp. 469-470, count-based estimation and sparse combinations; constructed example targetHistory/targetWord and calculation

C-016-014

支持

TRANSCRIPT CLAIM

supports

PUBLIC SOURCES

写程序的人很熟悉这段距离：系统积累过的输入，是已经发生的记录；下一次输入，还可以带来新的组合。我们的例子里，新东西就出现在旧词之间。换一个搭配，熟悉的词便组成了一句新话。细一点的那格计数为零，旁边却还有能用的信息。 “发给王工”出现过，王工这个词也出现过。让这些较短的记录参加判断，候选会发生什么变化？

纯相对频率模型及人工样本的零乘积，不代表带平滑模型，也不把缺少记录解释为理解或实际收件关系。

定位：Jelinek printed p. 489, relative frequency f and zero counts; Brown §2 printed pp. 468-470, sequence product Eq. 1 and count estimate Eq. 2

C-016-015

背景

TRANSCRIPT CLAIM

context

PUBLIC SOURCES

Jelinek记下的办法，是把不同范围的统计组合起来。三词搭配给一份估计，前一个词给另一份估计，再加上目标词本身的统计。回到王工。三词那格是零，较短的“发给王工”有记录，王工这个词也有记录。几份信息共同参与，就能给这个新组合提供支持。这种组合估计的方法，叫插值。细记录负责搭配细节，覆盖更广的记录帮助处理样本稀少的地方。

程序输入为有边界类比；不推断数据库缺行与概率估计具有同一业务语义。结尾复用人工样本已有信息，不新增历史事件。

定位：§2 printed p. 470, unseen rare combinations have substantial aggregate probability and interpolation motivation

C-016-016

背景

TRANSCRIPT CLAIM

context

PUBLIC SOURCES

借一次查统计的经验，就容易理解这项取舍。条件越具体，分到这一组的样本往往越少。固定前两个词，和固定前一个词，可用的记录数量会不同。在模型里，几种记录各自给出一个概率，再按分量混合。它们同时参与这次判断，较粗的估计也就能为较细的估计提供支持。混合办法要安排两种需要：保留具体搭配的信息，也利用更宽范围里积累的样本。

说明不同阶估计的混合，不等同顺序回退或唯一平滑算法；王工例子仍为构造。

定位：Jelinek printed p. 489, linear interpolation formula; Brown §2 printed p. 470, Eq. 3 and interpolation explanation

C-016-017

背景

TRANSCRIPT CLAIM

context

PUBLIC SOURCES

给四句例子选一组说明用的混合分量，王工便得到一个大于零的数。支持来自两处：“发给王工”的搭配，和王工这个词本身。样本还是原来那四句。变的是估计办法。它开始利用较短的记录，为这条新的三词组合留下概率。王工重新有了席位。下一步，要把这个分数和其他候选放在一起。

分组类比返回上下文统计并明确混合；不声称每个更细条件的样本必然更少，也不将一个固定权重方案覆盖历史全部实现。

定位：Brown printed pp. 469-470, reliability decreases with sparse higher-order counts and history-count-dependent interpolation; Jelinek printed p. 489

C-016-018

支持

TRANSCRIPT CLAIM

supports

PUBLIC SOURCES

李工的分数仍然更高。两条关于文件的记录，都把文件发给了李工。三词统计支持他，较短的统计也支持他。王工从零分中回到了比较里。接下来，声音的依据还要加入，候选搜索还要继续。我们这个例子，先完成了语言分数这一步。给一个答案机会，是后续判断的起点。哪一个答案更符合实际声音，还要继续检验。

演示指定权重1/2、3/10、1/5，目标概率17/200；非IBM权重、性能或从另留数据训练的参数，只计算下一词条件概率。

定位：§2 printed p. 470, interpolation Eq. 3; constructed example weights and calculation.interpolatedProbability

C-016-019

支持

TRANSCRIPT CLAIM

supports

PUBLIC SOURCES

混合分量本身，也是一次选择。给具体搭配多少分量，给更宽的统计多少分量，都会改变候选的分数。细记录积累充分时，研究者可以更多地依靠它。样本稀少时，就要考虑怎样利用更宽的统计，减少偶然搭配的影响。有限经验怎样成为新文本上的依据，需要这些选择共同完成。

人工样本李工67/100高于王工17/200；比较仅为语言条件概率，无声学或完整搜索。非实际识别率，非真实人物收件关系。

定位：§2 printed p. 468, joint source/channel selection; p. 470, interpolation; constructed example otherCandidateLiGongProbability

C-016-020

支持

TRANSCRIPT CLAIM

supports

PUBLIC SOURCES

四句记录让我们看清了零分怎样被修补。到了实际通信，还要继续检查哪种混合办法更有用。一项改动在手里的文本上有效，换一批新文字，会怎样？候选获得了新的机会，改动也要面对新的材料。记录的用途，开始需要分工。

原文支持按历史计数处理可靠性及估计权重；不以直觉为已核权重算法，也不将偶然现象量化为未经报告的错误率。

定位：§2 printed p. 470, interpolation weights depend on bigram history counts, high-count and low-count reliability, held-out estimation

C-016-021

支持

TRANSCRIPT CLAIM

supports

PUBLIC SOURCES

按Jelinek后来的回忆，到一九八四年，团队实现了向管理层承诺的近实时目标。它运行在前面那些输入条件之下。一九八六年，关于Tangora的论文记录，IBM把词表从五千扩到了两万个词。系统用到个人电脑和信号处理器，又增加了支持语音创建文档的工作站，以及拼写和个性化词表功能。声音处理、识别和工程实现，在团队的工作中汇合。词表扩大，使用功能增加，算法也要进入一套能被操作的系统。更多词带来更多搭配。评价一项改动，就要从那个被救回的候选，扩展到整组文本和整套系统。

转场由已核数据分离形成，四句样本不足以代表实际任务；不声称测试永远独立于全部实验决策或仅需一次测试即可证明泛化。

定位：§2 printed p. 470, separate training, held-out and Brown corpus test samples

C-016-022

支持

TRANSCRIPT CLAIM

supports

PUBLIC SOURCES

Experiments with the Tangora 20,000 Word Speech Recognizer

1984近实时采用本人后见归属；1986功能来自官方摘要，不引用未取得全文的性能表，也不把所有版本称为自然连续语音。作者角色不逐人作未经证实分配。

定位：Jelinek printed p. 488, essentially real-time promise by 1984; IBM 1986 catalog Abstract and Authors, PC AT/processors, vocabulary expansion, workstation, spelling/personalization

C-016-023

支持

TRANSCRIPT CLAIM

其他团队也开始比较识别系统。怎样评，成了研究工作的一部分。一九九〇年，美国国家标准与技术研究院的一份报告，汇总了共享任务下的识别成绩。它使用标准评分程序，区分训练条件，并提醒读者注意反复使用测试集可能带来的影响。这份报告评的是另一组任务。它为我们留下一个具体的检查办法：比较成绩时，同时看训练条件、评分方式和试题的使用经历。

supports

PUBLIC SOURCES

DARPA Resource Management Benchmark Test Results June 1990

跨机构同期旁证，明确不是Tangora评测；对反复使用测试集只说可能影响，不自动判定所有重测无效或作弊，不将制度发明归给Jelinek。

定位：printed pp. 298-299, Test Protocol, Tabulated Results, test-retest caveat and Significance Test Results

C-016-024

支持

TRANSCRIPT CLAIM

一九九二年，IBM的 Peter F. Brown 与合作者，把语言模型里的数据分工写得很具体。第一批文本，用来取得计数。第二批，另留出来，用来估计几份统计该怎样混合。最后，再拿一批独立文本来测试。这最后一批，是一份包含不同类型英语文本的已有语料。它独立于前面的计数和混合权重估计。计数、调整、检验，三批文字，各做一项工作。

supports

PUBLIC SOURCES

这有点像准备测验。练习题帮助形成办法，另一批题帮助调整办法，最后再用一份新题，检验它是否适用。模型从样本中取得规律，尝试把它们用到新的组合上。另留的文本，就是检验这种能力的材料。考试的比喻，在这里帮助我们分清数据的用途。如果计数、调分量和验收都围着同一批材料转，材料也可能参与塑造最后报告的成绩。把用途分开，就更容易追查：哪些信息参与了改动，哪些文字负责检验。

数据分离来自该文，Jelinek不是作者；完整作者为Brown、Vincent J. Della Pietra、Peter V. deSouza、Jenifer C. Lai、Mercer。语料名称与作者不同，不能以同姓创造关系；不声称其构成来自当前网页。

定位：§2 printed p. 470, training sample, held-out estimation and Brown corpus not included in training or held-out; article title page author list

C-016-025

背景

TRANSCRIPT CLAIM

context

PUBLIC SOURCES

DARPA Resource Management Benchmark Test Results June 1990

考试为有限类比，不把学习概括为背题；关于反复使用材料的风险为有条件分析，不能证明本期实际模型被污染或所有协议完全排除过拟合。

定位：Brown §2 printed p. 470, held-out/test split; NIST printed p. 299, repeated-test caveat

C-016-026

支持

TRANSCRIPT CLAIM

语言模型拿到新文本，可以逐处检查。轮到下一个词出现之前，它给实际出现的那个词，留了多大概率？把整份文本的预测汇总起来，就得到一种比较指标，叫困惑度。同样的测试条件下，困惑度更低，表示模型整体上为这份文本的实际后续词，分配了更高的概率。它度量的是整体预测。某一处留的概率低，会影响这个汇总结果；最终分数反映的是这些预测合在一起的表现。

supports

PUBLIC SOURCES

前面有两份依据：声音，和词语搭配。困惑度检查的是词语搭配这一份。整套识别能写对多少词，还取决于声音处理、候选搜索，以及各部分怎样配合。Brown与合作者也在论文中提醒，语言模型的系统表现，要放在这种相互作用里判断。语言分数检查完，还得回到读信任务：机器写下的词，和实际读出的词，是否相符？

限定同一词表、分词、文本和未知词口径；整体汇总为几何平均意义，非每词概率均提高、心理状态、理解分数或词错误率。

定位：§2 printed pp. 468-469, intrinsic model quality, perplexity reciprocal geometric mean and representative text/sample error caveats

C-016-027

支持

TRANSCRIPT CLAIM

supports

PUBLIC SOURCES

一九九二年这篇论文里，面对一批很大的文本，许多三词组合仍然只出现过一次。数据的规模大了，稀疏的格子也还在。研究者继续改进估计，让这些搭配得到可用的概率。同时，前两个词的窗口又留下另一项要求：有用的线索可能在更远处。一边是样本够不够，一边是信息能否进入判断。两个问题，需要各自的处理办法。

区分内在预测指标与端到端识别；末句为检验需求，不声称本轮取得或完成某套实际识别系统测试。

定位：Brown printed p. 468, delicate interplay and application-dependent performance; Jelinek printed pp. 487, 489, acoustic/language model and decoding

C-016-028

背景

TRANSCRIPT CLAIM

context

PUBLIC SOURCES

Exploiting Syntactic Structure for Language Modeling

不播报未经口径说明的大样本 / 参数数量；结尾是前两词模型的能力连接，1998提供远依赖论据，不推论所有n-gram永远只有两词窗口。

定位：Brown Table 1 and §2 printed pp. 469-470; Chelba/Jelinek §1-2 printed p. 225, long-distance dependency motivation

C-016-029

支持

TRANSCRIPT CLAIM

Brown与合作者还在尝试，把统计行为相近的词组织成类别。类别让有关的词有机会分享搭配信息。某个词只积累了少量记录，也可能借助这一类词的统计，取得更宽的一份依据。词怎样被表示，哪些记录能放在一起，也就成了模型设计的一部分。计数之前，先要决定哪些东西算同一类。

supports

PUBLIC SOURCES

一九九八年，Ciprian Chelba 与Jelinek给出一个具体句子。论文里的合约句子，接下来要预测一个表示“在……之后”的词。紧挨着这个位置的两个词，讲的是“七美分”。更早处，还有一个“结束”的动作。它能为这里提供另一条线索。中间的文字，把这个动作隔远了。在前两词的窗口里，七美分就在眼前。要利用更早那个动作，模型得换一种保留信息的办法。

概述离散词类的统计作用，非连续词向量或自动理解语义；不将所有词类模型概括为同一结构。

定位：Abstract, §3 Word Classes printed pp. 470 onward, class-based probability and statistical clustering

C-016-030

支持

TRANSCRIPT CLAIM

supports

PUBLIC SOURCES

Exploiting Syntactic Structure for Language Modeling

中文释义仅帮助跟随英文原例的ended/after关系，不是中文模型测试，不作市场行情事实。保留原句及范围说明，未口播专业解析术语。

定位：§2 printed p. 225 and Fig. 1, the contract ended with a loss of 7 cents after trading as low as 89 cents; trigram uses (7, cents), ended is beyond even 7-grams

C-016-031

支持

TRANSCRIPT CLAIM

两位作者让句法结构参与判断。程序从左向右处理句子，一边形成结构，一边留下对后续预测有用的线索。过去的记录够不够，是一个问题。哪些已经经过的信息值得留下，是另一个问题。结构把远处的相关对象带回当前判断。模型可用的依据，因此超出了眼前几个词。

supports

PUBLIC SOURCES

Exploiting Syntactic Structure for Language Modeling

只概述保留远依赖的作用，不展开完整解析算法，不说注意力、循环记忆或Transformer已在此实现，也不证明结构总有优势。

定位：§1-2 printed p. 225, incremental syntactic structure, exposed headword and left-to-right prediction

C-016-032

支持

TRANSCRIPT CLAIM

到了二〇〇三年，Yoshua Bengio 与合作者提出另一种语言模型。他们希望，词的表示和词序列的概率，能一起从训练中形成。每个词得到一组可学习的数值表示。表示相近的词，可以更容易地分享某些训练经验。模型见过一种说法，就有机会借它处理由相似词组成的另一种说法。还是那个问题：有限的样本，怎样给新组合提供依据。这一次，方法改变了词之间分享信息的方式。

supports

PUBLIC SOURCES

Yoshua Bengio / Réjean Ducharme / Pascal Vincent / Christian Jauvin, A Neural Probabilistic Language Model

完整贡献保留Yoshua Bengio、Réjean Ducharme、Pascal Vincent、Christian Jauvin；正文合作者简写不并吞署名。连续表示不同于Brown离散词类，不保证相似词任意互换。

定位：Abstract and §1-1.1 printed pp. 1137-1139, joint learning of distributed word representation and probability function, semantic-neighbor generalization

C-016-033

支持

TRANSCRIPT CLAIM

词类、句法结构、可学习的词表示，分别从不同方向处理这个问题。研究者尝试组织词的关系，也尝试保留远处的线索。 Bengio与合作者的论文，明确讨论三词模型和Jelinek、Mercer的插值。由此可以看清一条技术联系：后来的方法接住了什么问题，又准备怎样改变处理办法。各条路线保留上下文的方式有差别。二〇〇三年这项工作，仍使用有限的词窗口。让信息越过更长的时间，继续影响后面的判断，还需要新的设计。

supports

PUBLIC SOURCES

Yoshua Bengio / Réjean Ducharme / Pascal Vincent / Christian Jauvin, A Neural Probabilistic Language Model

Exploiting Syntactic Structure for Language Modeling

方法关系为问题对照及原文明示引用，不声称个人师承、单线替代、LSTM或GPT结构等同。

定位：Bengio §1 printed pp. 1138-1139, explicit Jelinek/Mercer 1980 citation and finite-context discussion; Brown §3; Chelba/Jelinek p. 225

C-016-034

背景

TRANSCRIPT CLAIM

前面这些研究，已经把一个问题打开了：有限的记录，怎样支持新的组合。词的表示可以改变，能留下的上下文也可以改变。把本期放回《大语言模型前史》，图灵机定义计算步骤，计算机架构安排这些步骤怎样运行。本期追问的，则是机器已经拿到输入之后，怎样给可能的文字提供判断依据。

context

PUBLIC SOURCES

A. M. Turing, On Computable Numbers, received 1936-05-28, read 1936-11-12, journal 1937

First Draft of a Report on the EDVAC (Michael D. Godfrey corrected edition)

Claude Shannon那一期，测量上下文能让下一个符号更容易预测多少。感知机那一期，观察训练怎样改变内部的连接。后来，预测任务与可训练的结构，在神经语言模型里接到了一起。

问题分工的编辑回顾；不称计算机架构与语言建模互相替代，不推定直接人物影响。

定位：Turing §§1-2 printed pp.231-233 and §6; First Draft §§2.3-2.5 and §14.1; Brown1992 §2 printed pp.468-470

C-016-035

背景

TRANSCRIPT CLAIM

context

PUBLIC SOURCES

C. E. Shannon，BSTJ 扫描 PDF

The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain (1958)

Yoshua Bengio / Réjean Ducharme / Pascal Vincent / Christian Jauvin, A Neural Probabilistic Language Model

压缩系列回顾；人类猜字是测量，感知机不是现代LLM，条件预测与可训练结构的比较不建立单线继承。

定位：Shannon1951 Abstract / §§1-2; Rosenblatt1958 pp.386-391; Bengio2003 Abstract / §1.1

C-016-036

背景

TRANSCRIPT CLAIM

上一期的化学程序，从领域知识取得筛选依据。本期的语言任务，更多从语料取得搭配概率。两种对象，各自要求机器把能用的经验，组织成可以检验的判断。

context

PUBLIC SOURCES

B. Buchanan、Georgia Sutherland、E. A. Feigenbaum；Heuristic DENDRAL: a Program for Generating Explanatory Hypotheses in Organic Chemistry。

二〇〇三年，Bengio与合作者明确讨论Jelinek、Mercer的插值，改用可学习的词表示和网络来计算概率。二〇一八年，后来被称为GPT-1的工作，也以给定前文、预测下一文字单元作为训练目标。任务继续追问下一步。承担预测的函数，已经在变。把这种变化放回念信这件事，就能看得更具体。

比较具体任务的主要依据，不将知识与统计排成互斥阵营。

定位：Heuristic DENDRAL1969 pp.209-213; Jelinek2009 p.489; Brown1992 pp.468-470

C-016-037

背景

TRANSCRIPT CLAIM

context

PUBLIC SOURCES

Yoshua Bengio / Réjean Ducharme / Pascal Vincent / Christian Jauvin, A Neural Probabilistic Language Model

Alec Radford / Karthik Narasimhan / Tim Salimans / Ilya Sutskever, Improving Language Understanding by Generative Pre-Training

Bengio对Jelinek/Mercer为直接文献引用；GPT-1为目标与参数化的对照，不声称原文直接引用Bengio或n-gram为唯一祖先。

定位：Bengio2003 §1 pp.1138-1139; GPT-1 §3.1 Eq.1 / §3.2 pp.3-4

C-016-038

背景

TRANSCRIPT CLAIM

仍然是那句“请把文件发给王工”。在本期讲的Tangora阶段，声音先被表示成一串短时间片的符号。声音模型叫隐马尔可夫模型：它用一串状态描述发音怎样推进，估计每一步产生眼前声音符号的概率。各个发音模型按候选词串联起来，就能计算这条候选的声音依据。另一边，三词语言模型从文本计数中，估计这串词的搭配概率。搜索程序把两份依据结合，选择候选。词表扩大到两万，三个位置任意组合，就有约八万亿种搭配。这个数说的是需要面对的组合空间。实际文字只出现其中一部分，研究者还要靠较短记录和插值处理稀疏。词表扩大了，每一格怎样取得可靠概率，仍要继续解决。

context

PUBLIC SOURCES

二〇二六年九月的 Qwen-Audio-3.0-ASR 报告，给出另一条处理路径。先看声音怎样进入机器。声音编码器用多层Transformer，把输入变成一串可供后续计算的数值表示。中间再经过一个两层的连接网络，把声音表示接到文字模型能使用的空间。Transformer让这些表示通过注意力机制，结合可见输入中的相关线索。编码器旁边，还接着一个叫CTC的初步识别分支。它给出一份粗转录，帮助挑选热词，也帮助长音频中的上下文找到位置。最后的文字，由大型语言模型逐步生成：每一步结合声音表示、初步识别与可用的文字条件，预测下一个文字单元。当年的两份概率，在搜索阶段合分。这里，声音和上下文先作为条件，进入文字预测函数，再逐步构成转录。声音以学到的表示参与下一步预测，已有转录和提示也能进入同一个解码过程。

历史阶段限定为此处离散声学 / HMM / trigram；王工为构造回用，不作真实Tangora中文识别。20,000^3=8,000,000,000,000是组合空间，完整条件概率独立参数略有归一化差异，不证明实际保存八万亿条；不得与4.4B神经权重作倍率比较。

定位：Jelinek2009 printed p.489 / PDF p.7, centisecond quantized symbols, HMM, trigram and argmax P(A|W)P(W); Brown1992 printed pp.469-470 / PDF pp.3-4, V^n-1, Tangora vocabulary and sparse counts

C-016-039

背景

TRANSCRIPT CLAIM

context

PUBLIC SOURCES

这一代主要改动了哪一部分？报告把它同上一代Fun-ASR作比较。声音编码器、连接网络和初步识别分支沿用下来；文字端则从七十亿参数的稠密解码器，换成Qwen的混合专家结构，也就是MoE。这里的“专家”，是一组神经网络参数。模型把一部分计算分成多组专家网络，由路由机制为当前文字单元选用其中一部分，共享的模块照常运行。这样，总共能保存多少能力，与每一步要调动多少计算，可以分开安排。七十亿，指的是前一代的文字解码器。这份报告没有公布新模型精确的总参数和激活参数量。它明确交代的变化，是容量怎样组织、每一步怎样使用。

保留四模块和辅助CTC，不把它说成声学模型完全消失、后处理文字模型单独改写或一次直接波形转字。注意力说明是机制释义，不推定无限可见信息；CTC作用须以§2正文及§5.4-5.5核对，不能仅由Fig.2推断。

定位：Qwen v2 §2 / pp.3-4, Fig.2, four-component topology / two-layer Transformer adapter / CTC hypothesis and final LLM; §3.1 p.4 bidirectional attention; §3.4 p.6 conditions; Jelinek p.489

C-016-040

支持

TRANSCRIPT CLAIM

supports

PUBLIC SOURCES

这些网络里的数值，怎样取得依据？报告记载，声音与语言对齐的预训练阶段，用到约两千万小时的多语言材料，主要包括语音识别数据，以及文字和声音交错的材料。这一阶段先固定已经训练过的声音编码器，调整连接网络和文字解码器，让声音表示能支持目标文字。后面的监督微调，再更新声音端和连接网络，并用新增的适配参数调整文字端。不同阶段，各有要动的部分。过去，文本提供哪些搭配出现过的计数。现在，大量材料还用来调整一套共享的表示和预测函数，让声音与文字的关系进入网络参数。两千万小时说的是训练材料规模，和两万词的词表，是两种量。

7B只指Fun-ASR前身解码器，非本代或全系统参数。MoE释义限于部分计算的专家路由，未说每步整个系统都稀疏或专家是人工规则；未猜测本代骨干具体型号、专家数量、总 / 激活参数或保证更快。

定位：Qwen v2 p.2 Introduction, previous 7B dense language-model decoder; p.4 §2 retained encoder / adapter / CTC, sparse expert routing; p.5 §3.2 total capacity and partial per-token activation

C-016-041

背景

TRANSCRIPT CLAIM

context

PUBLIC SOURCES

继续用我们的构造例子。假如前一轮已经提到，王工是这份文件的收件人，这段文字就可以作为历史上下文。王工的名字，也可以放进重点词提示。于是，当前判断能用的材料变了：有这次的声音，有前面说过的话，还有这次特别需要辨认的名字。文字解码器在这些条件下继续预测，声音仍是这次选择的主要依据。三词窗口里，预测王工时只直接看“文件、发给”。现在，前一轮的相关信息有了进入判断的通道。它怎样被放进来、怎样避免照抄错误提示，也成了训练要处理的工作。

20M为作者披露的Audio LLM预训练阶段数据量，未独立核验、不当实际独立人工录音量、全生命周期总量或单一独立样本；不同阶段数据不相加。共享函数与计数的比较为机制解释，不声称全部旧模型没有共享参数。

定位：Qwen v2 §3.2 p.5, approximately20M hours / frozen encoder / jointly optimized adapter and LLM; §3.4 pp.5-6 SFT encoder+adapter / frozen base LLM / LoRA; Brown1992 pp.469-470 counting / held-out interpolation

C-016-042

背景

TRANSCRIPT CLAIM

context

PUBLIC SOURCES

如果信是一边说、一边转成文字，机器又要安排：声音还在抵达，什么时候可以出字？Voxtral Realtime，专门为这种持续输入训练了一套模型。它的报告把规模拆开列了出来：声音编码器三十二层，约九亿七千万个参数；文字解码器二十六层，约三十四亿个参数；中间的连接器另有两千五百万个参数。全模型合计，约四十四亿。这些参数分别承担声音表示、音文连接和文字预测。声音端从头训练，文字端从预训练语言模型初始化；先让声音端和连接器学会配合，再进入全模型联合训练。四十四亿，数的是这套网络实际组织起来的权重。前面八万亿，数的是两万词能形成的三词组合空间。两种数字，回答各自的规模问题。

王工与前轮收件人信息均为节目构造情境，未调用模型实测。报告混入正确 / 冲突 / 噪声上下文，并要求当前音频为主；不保证提示强制命中。8192训练packing不在正文说成通用线上上限。

定位：Qwen v2 §3.4 p.6 Historical-context conditioning / Hierarchical hotword conditioning, §§5.4-5.5 pp.13-16; Brown1992 p.469 trigram history

C-016-043

背景

TRANSCRIPT CLAIM

context

PUBLIC SOURCES

再看它怎样走过一句话。声音先变成按时间排列的频率特征。因果编码器只使用已经抵达的声音，生成数值表示；连接器把这些表示压到较低的时间频率，供文字端使用。文字解码器每八十毫秒作一次预测。这一步的输入，把当前声音表示与上一步输出的表示相加。证据还需要积累，就产生一个不显示成文字的等待标记；一个词的声音已经完整、目标等待时间也到了，就开始输出这个词的文字单元。模型在训练中学习的，包含“什么时候出字”。当年的读者主动在词间停一下；这里，连续声音里的发字节奏，也交给了模型安排。

4.4B为报告表中四舍五入总量，产品名4B不替代此表；本段不计算同构倍数或现代模型优于Tangora的错误率。32层 / 26层为相应模块，warm-up前5%、后95%联合训练的细节留研究稿。

定位：Voxtral v3 p.3 Table1, encoder32layers/970M, adapter25M, decoder26layers/3.4B, total4.4B; §2.1 p.3 from scratch; §3.3 p.5 Ministral3B initialization and warm-up/full training; Brown1992 p.469

C-016-044

背景

TRANSCRIPT CLAIM

context

PUBLIC SOURCES

连续运行，还需要控制保留的信息。Voxtral声音编码器每层注意力，直接可看的窗口约十五秒。文字端保留八千一百九十二个解码位置，里面既有文字，也有等待等内部标记。窗口向前移动，旧位置逐步退出。它可以持续处理很长的声音流，同时控制占用。与三词模型相比，可用的上下文和保留方式都变了；这份更长的历史，也有它自己的范围。

等待符号为内部[P]，词界[W]后跟subword，不能把每80ms当实时必出一个汉字或准确端到端延迟。上一步输出包含内部等待符号，不一律称上一文字。历史词间停顿与现代发字时机为有边界比较。

定位：Voxtral v3 §2 p.2, Fig.2 p.3, §§2.1-2.3 pp.3-4, §3.1 pp.4-5 audio/text embedding summation, 12.5Hz / 80ms, [P] and [W]; Jelinek2009 p.488 discrete reader pauses

C-016-045

背景

TRANSCRIPT CLAIM

context

PUBLIC SOURCES

文字能力更强，还会带来新的调整问题。Voxtral的作者记录过一次训练偏移：文字表示的幅度不断增大，声音表示的幅度却逐渐缩小。模型开始更多地依赖文字流，忽略声音。他们在训练目标里加入约束，把这种数值失衡压下来，让两边的表示重新稳定配合。一个会接着写下文的网络，要用来转录，就必须让它持续听取声音的依据。王工还是李工，最后要落在这次说话上。更大的文字模型，增加了能用的经验，也增加了怎样约束这些经验的工作。

15s为单层注意力直接窗口，不断言全网络有效历史恰为15s；8192是含内部符号的解码token位置，不当8192词或字符。持续长流与无限记忆分开，未计算未经部署核验的最长可追溯秒数。

定位：Voxtral v3 Table1 p.3 / §2.1 pp.3-4 encoder750frames at50Hz=15s and §2.3 p.4 decoder8192token left-context; §3.1 includes[P]/[W]; Brown1992 p.469 two-word history

C-016-046

背景

TRANSCRIPT CLAIM

context

PUBLIC SOURCES

输出目标也能参加训练。Qwen这份报告把逐字保留与润色后的文字，做成可选择的目标。同一次文字生成，可以按指令去掉填充语、减少重复，处理说话者明确的自我更正。如果刚才说的是“发给李工，改一下，发给王工”，整理信件可以保留更正后的意思；核对一段引语，就需要保留当时怎样改口。给模型的目标不同，合格输出也随之改变。同一句话，从局部计数到大型网络，变化落在声音怎样表示、经验怎样共享、上下文怎样进入，以及何时把文字写出来。最后，还是回到这封信：写下的内容，能不能交还给这次实际说话来检验？

具体失衡来自作者训练记录，修正为logit norm z-loss、表示norm稳定；不把它偷换成测得普遍幻觉率、证明完全忠实或已验证王工例子。末两段为节目从任务与训练现象引出的判断。

定位：Voxtral v3 §3.3 p.5, growing logit / text embedding norms, diminishing audio embedding norms, increasing text reliance and z-loss correction

C-016-047

背景

TRANSCRIPT CLAIM

context

PUBLIC SOURCES

回到我们造的那句通信：请把文件发给王工。王工这个词出现过，完整三词搭配那格却是零。混合估计把较短搭配和词本身的统计带进来，让他重新取得了概率。随后还有比较：声音怎样支持候选，其他名字拿到多少分，搜索怎样进行。这四句记录，帮助我们跟到了语言分数这一步。

改口句为新增构造说明，非真实录音或模型实测。润色目标不一律等于逐字转录；引用核对仍须原声。本章比较机制 / 规模，不宣告新旧任务同条件准确率胜负，不把任何发布者能力报告当独立复跑。

定位：Qwen v2 Fig.2 p.3 and §3.4 p.6 Native transcription polishing / same autoregressive decoding targets; Brown1992 p.468 system-dependent performance

C-016-048

背景

TRANSCRIPT CLAIM

context

PUBLIC SOURCES

旧词可以组成新话。机器也可以借助已有的局部经验，为这些新组合取得一些依据。合适的估计办法，让有限的记录继续发挥作用。留多少概率，怎样留，要交给另留数据检验。完整系统还要面对它自己的任务：把这次读出的内容，写成文字。 “机器会猜”，由此成了一项可以持续改进的工程工作。每次修改，都要说清使用的依据和检验的材料。

回收构造候选及此前建立的机制，不宣称真实中文系统输出或个人收件事实；完整识别条件未在演示中实现。

定位：Jelinek printed pp. 487, 489; Brown §2 printed pp. 468-470; constructed example input and calculation

C-016-049

背景

TRANSCRIPT CLAIM

context

PUBLIC SOURCES

常见搭配可以帮助选词，也可能让少见而真实的表达处于劣势。从“更像常见说法”，到“写出这次说出的内容”，还要经过声音、上下文和任务检验。模型能使用多少经验，能保留哪些信息，都影响这次判断。于是，开头那封想交给机器的信，留下三个具体问题：候选凭什么被保留？为什么会被丢掉？改动以后，在哪些新材料上更有用？

基于既有机制的节目收束，非作者原话；局部统计泛化不保证所有新句可处理，不自动建立理解或开放任务可靠性。

定位：§2 printed pp. 468-470, prediction, sparse-count interpolation, held-out and independent corpus test

C-016-050

背景

TRANSCRIPT CLAIM

context

PUBLIC SOURCES