C-018-001
支持原句把这条算式的展示记为引用 [20],即更早的文献;本文的贡献是设计新架构以提高这类运算的准确性。因此口播不说'他们发现词向量能做算术',只说'这条算式成立'。三百维的说法来自 §4 的实验配置(300 维),也来自 05 段那个预训练包,不是唯一可能取值。
原句把这条算式的展示记为引用 [20],即更早的文献;本文的贡献是设计新架构以提高这类运算的准确性。因此口播不说'他们发现词向量能做算术',只说'这条算式成立'。三百维的说法来自 §4 的实验配置(300 维),也来自 05 段那个预训练包,不是唯一可能取值。
窗口是五个词,就猜左右各两个。反过来也行:给一圈邻居,猜中间那个。第一种叫 Skip gram,第二种叫 C B O W——名字不用记,记住方向就行:一个从词猜邻居,一个从邻居猜词。
支撑的是两种架构的方向、'输出层在词表上归一化很贵'、以及层次 softmax 沿树路径选择这一机制;原文给的是复杂度表达式,不承诺任意词表规模都可行。口播里的'二十层上下'是按 692K 词表取 log2 的量级推算(≈19.4),Huffman 树对高频词更浅、罕见词更深,故只说'上下',不当作论文数值。
负采样是对层次 softmax 的简化替代,只对噪声分布采几个负例,不是'排除错误答案以求真';短语是按分数合并的高频组合,不是语法短语分析。
默认值不等于论文实验配置;论文里跑出表格数字用的是 300–600 维、783M–1.6B 词等另一套设置。项目页清单是经验陈述,不是最优配置的保证。
结果是分岔的。句法题上两边几乎打平:五十五点九对五十三点一。语义题上差得很远:五十对十五点五。
代价也一起涨。C B O W 跑三轮约一天,Skip gram 约三天。摘要里那句"不到一天",说的是 C B O W 在十六亿词上跑一轮的配置,零点六天;同一个条件换成 Skip gram 要两天。
更有意思的是同一张表里另外两行——作者自己更早的模型:N N L M 用一百维、六十亿词,做到五十点八;R N N L M 用六百四十维、三亿多词,只有二十四点六。
最后一个边界:那套考卷有八千八百六十九道语义题、一万零六百七十五道句法题,题目形式是"两个词之差,加到第三个词上,看落在谁附近"。它考的是这种检索,不是理解。
所有数字只在同表、同语料、同维度内比较;`-30 / -50` 是训练样本最大长度,不是隐藏层维度;不使用集成或重排类数字;摘要的'不到一天'只对应特定配置。
两处口径一致:论文自注引用 [20],项目页把更早那篇 NAACL 论文排在前面。因此不能说 2013 年首次发现词向量可做算术。
第二层更麻烦:偏见一起进来。二零一六年七月,一篇论文的标题本身是一道类比题——Man is to Computer Programmer as Woman is to Homemaker?
摘要第一句给的不是数字,是一句判断:即使是在 Google News 上训出来的向量,也把男女刻板印象编码到了"令人不安的程度"——原文用的是 to a disturbing extent。
第二句才是关键:这种偏见在几何上,是空间里的一个方向。也就是说,它和开头那条 king 减 man 的差,是同一种东西——可以相减,可以相加,也可以被找出来。
第三句:中性的词与定义性别的词,在这个空间里可以线性分开。换句话说,这个空间不只是"有偏见",它还有结构,而结构可以被定位。
只到摘要与 §1 的主张层:不引任何实验数字、不引 Table 数值、不评价去偏效果。口播中的'2016 年 7 月'取自 arXiv v1 版本戳(21 Jul 2016),不是会议发表时间。
所有比较限定为:Skip-gram、300 维、1B 词、类比题任务。原文未声称下采样普遍提升精度,只报告这一组结果;口播已按此设边界(pred-12)。短语层面的数字来自 Table 3,同一语料与维度,不外推到句法任务。
回到那个问题:为什么是三百维,不是三十,也不是三千。论文给了一张很朴素的表——同一个 C B O W,词表只取最高频的三万个词,横着是语料从两千四百万词加到七亿八千三百万词,竖着是维度:
五十维:十三点四一路涨到二十三点二。一百维:十九点四到三十二点二。三百维:二十三点二到四十五点九。六百维:二十四到五十点四。每一行都在涨,但每一行都涨得越来越慢。
作者的结论很直白:到某个点之后,加维度或者加数据,收益都在递减,所以必须一起加。他们还顺手批评了当时的习惯——语料堆得很大,维度却只有五十到一百。
更有意思的是账。他们说,数据翻一倍,和维度翻一倍,计算开销的增加差不多一样。所以"要不要更大的向量"从来不是技术问题,是预算问题:同样的钱,花在更多数据上,还是更大维度上。
Table 3 与 Table 4 的语料不同(LDC 320M vs Google News 783M),口播在 table-7 / table-8 已明确禁止相减;八周指那台 RNNLM 在 LDC 数据上的训练时长,不与 Table 5 的'一天 / 三天'构成同一实验。Table 2 为 CBOW、30k 词表限定,不外推为通用定律。
这列数字就是"相似"。它不解释为什么西班牙比比利时更近,只给一个可以排序的分数。很多人的"词义",第一次就是这样一个数。
那个三百值得停一下。后来所有人嘴里的"三百维",很多时候不是自己选的,是因为下载下来的包就是三百。它不是被证明的最优值——项目页自己在别处写着,维度通常越多越好,但不总是。
这两个类放在一起看,一件事就清楚了:被归成一类,不等于意思是同一个。"论证"和"相信""挑战""声称"待在一起,是因为它们出现在相似的上下文里,不是因为它们同义。这句话先放在这儿,下一段要接着用。
还有一件事现在可以合上了:这条算式成立的条件,和第三段那几个数字是同一套条件——语料要够大,维度要够,高频词要丢掉。项目页自己写过一句更省事的版本:要看到强规律,得在很大的数据集上、用足够的维度来训。
该页为 2016-01-08 归档快照,页面不标发布日期与版本,故口播不给发布日期、不给下载量或用户数;`distance` 输出配置未知,只作界面事实描述;聚类示例只用于'同类 ≠ 同义',不作语义判断。
同一个页面上还有一个数字,值得和论文里的数字并排放。页面说:两套测试集的"最好结果"都在百分之七十以上,覆盖率接近百分之一百。而论文里,同一个架构、同样三百维、七亿八千三百万词,总分是五十三点三。
差在哪?差在语料。一个是约一千亿词,一个是七亿八千三百万词,两个数量级。所以那百分之七十不是论文表格里的分,也不是模型的上限,是"数据管够"时的分。两个数字都对,只是回答的不是同一个问题。
两个数字口径不同:前者是项目方对'最好结果'的自述(配置未给),后者是论文同表内的实测。差异的解释(语料 100B vs 783M)依据项目页 Pre-trained vectors 的语料规模说明,属编辑解释,不是论文结论。
表 6 的训练词量为 6B(Google News 6B 数据集),不是 1.6B;口播在 table-17 已说明它与摘要'不到一天'不是同一实验。表 7 说明 Skip-gram 单独在此任务上不如 LSA / log-bilinear / RNNLM,口播按此如实交代,不用它做胜利叙事。
该表本身包含错误示例(Japan − sushi → France 给出 tapas,实为西班牙小吃),论文照列,口播已如实指出;'约六成'是论文按精确匹配自评的口径,不是排行榜数字,不外推。
讲者身份依讲座页面描述(Tomáš Mikolov,CIIRC ČVUT)。本段只交代位置与叙事作用:该片段的逐字、译义与用途权利尚未核定,公开逐字稿不转录原话。
同一场讲座的第二个窗口,与 W1 同源,不构成两条独立证词。逐字与译义同样未核定,逐字稿只标位置与作用。
没有符合条件的证据关系。
CBOW 与 Skip-gram 两种架构、向量算术示例、维度与语料量对照表(Table 2 / 4 / 5 / 7)、大规模并行训练与类比题口径;公开件为 2013-09-07 的 v3,不是首版字节。
负采样作为层次 softmax 的替代、高频词下采样、短语发现与短语向量,以及四种架构在同一份十亿词语料上的对照表。
第 40–49 行默认参数(cbow=1、window=5、min_count=5、layer1_size=100、iter=5、alpha=0.025、sample=1e-3、negative=5);master 分支未固定提交号,默认值不等于论文实验配置。
页面自身不标发布日期,2016-01-08 是归档抓取日。可确认 Apache License 2.0、svn 检出与 demo 脚本、distance / demo-analogy 输出、GoogleNews-vectors-negative300 预训练包(约 1000 亿词、300 维、300 万词与短语)、聚类输出、Other useful links 清单与「非 Google 产品」声明。
词向量里的性别刻板类比:摘要主张偏见在几何上是一个方向、中性词与定义性别的词可以线性分开;实验数据、去偏方法与效果评估未进入本期判断。
本期两段原声出自同一场讲座的 00:03:55–00:04:40 与 00:19:30–00:20:15,在成片中位于 02:39.435 与 08:40.462。讲者身份依页面描述;两段同源,不构成两条独立证词;逐字、译义与用途权利尚未核定,公开逐字稿不转录原话。