一、在 Word2Vec 之前，我们怎么处理语言？

在 Word2Vec 出现之前，自然语言处理更多是“工程方法”，例如字符串匹配、关键词提取、正则规则...。但这些表示通常缺乏语义，词与词之间看不出任何联系以及非常浅显。当然，技术没有好坏，只有适合的场景。例如：

关键词匹配非常快速和结果可控，算法层面例如AC自动机、Trie等。但同时也取决于用的人，例如早前“在港台电影中，刘德华为什么很少演反派？”会出现“华为”相关内容，有网友指出是因为触发了关键词“华为”。

TF-IDF的升级版BM25，广泛应用于搜索引擎，例如ElasticSearch。

这些技术的共同点是依赖字面匹配、同义词库，出现频率等，但很难捕捉“词与词之间的联系”，例如：

• “登录”和“登陆”是否同义？

• “香蕉”和“苹果”是否都是水果，计算机怎么看得出来，巨大的词库？

• “你好吗” 和 “最近怎么样” 听起来很像，但关键词