EP.018 / PUBLISHED

Word2Vec:一个词变成一个坐标

从猜邻居里长出来的一条方向

没有人告诉模型"国王与男人的差别是王权",可这条算式偏偏落在 Queen 附近——它凭什么成立?本期《原代码》从 2013 年 Google 那篇论文出发,沿着 CBOW 与 Skip-gram 两种架构、两张不能相减的对照表、一段可以直接下载的 C 实现,走到三年后那篇讨论词向量偏见的论文。

2026年11月10日 28:52已发布
FINAL MASTER / release-approved
《Word2Vec:一个词变成一个坐标》单集封面

单集简介

SHOW NOTES

没有人告诉模型"国王与男人的差别是王权",可这条算式偏偏落在 Queen 附近——它凭什么成立?本期《原代码》从 2013 年 Google 那篇论文出发,沿着 CBOW 与 Skip-gram 两种架构、两张不能相减的对照表、一段可以直接下载的 C 实现,走到三年后那篇讨论词向量偏见的论文。

从一个被猜中的邻居,到一条可以被算出来的方向:同一个机制,既留下了语言里的秩序,也留下了语言里的偏见。

你可在官方网站 https://yuandaima.xyz 中查看本期逐字稿、证据引用关系和证据快照。

时间轴

  • 00:00 先算一遍,再问是谁教的

  • 00:54 2013 年,四个人的任务小得离谱

  • 02:39 原声:讲者回顾这一步

  • 03:34 猜邻居,怎么就留下坐标了

  • 08:40 原声:从一个类到一串数

  • 10:23 同一份数据,两种架构,两个世界

  • 16:03 它先是一个工具,然后才是一篇论文

  • 21:22 一个词,被压成了一个点

  • 24:23 再算一次那条算式

  • 26:35 启下:一个点不够用

本期资料

源码与工程记录

访谈与历史原声来源

说明与延伸阅读

  • 那条 King − Man + Woman ≈ Queen 的算式不是这篇论文首次展示的:论文 §1 把它标成一个引用,项目页也把更早的 NAACL 论文排在前面。这篇论文的贡献是把这类运算的准确率抬上去,并给出别人能复现的规模。
  • 论文里的两张表不能相减:一张是七亿八千三百万词、300 维,另一张是三亿两千万词、640 维。同一个模型在两处分数不同,是条件换了,不是谁算错。数字只在同一张表内比较。
  • 项目页说两套测试集"最好结果"都在 70% 以上,与论文同一架构的 53.3 并不矛盾:前者用的是约一千亿词的预训练包,后者是七亿八千三百万词的实验配置,差两个数量级。两个数字回答的不是同一个问题。
  • 类比题只认完全相同的答案,同义词算错;作者自己写,达到 100% 几乎不可能,因为模型没有词形信息,不知道 run 与 running 是同一个动词的两种形态。它测的是检索命中,不是语言能力。
  • 在微软句子补全挑战上,Skip-gram 单独做是 48.0,低于 LSA 的 49、log-bilinear 的 54.8 和循环网络的 55.4;把它和循环网络叠起来才到 58.9。"一个词一个坐标"有用,但不是万能件。
  • 2016 年那篇偏见研究,本期只讲到摘要与第一节的主张:偏见在几何上是空间里的一个方向,中性的词与定义性别的词可以线性分开。它的实验数据、去偏方法与效果评估没有进入本期判断。
  • 源码里的默认值(窗口 5、100 维、5 轮、负采样 5 个)与论文表格的配置(300 维、3 个 epoch、学习率 0.025 线性衰减)是两套东西:"能跑"和"刷到表里的分"不是一回事。