https://gregorygundersen.com/blog/2025/10/01/large-language-models/
为什么要word embedding?
如果不对词汇进行embedding，而是直接基于词语去统计自然语言数据的话，会出现数据稀疏的问题（data sparsity)。因为用one-hot或者什么方式标记得到的自然语言数据，会有大量的空白。导致无法很好地观测到自然语言词汇之间的联系。
使用embedding则可以把一个词汇以一个向量表示，词汇直接的关系不直接基于原始自然语言数据观测，而是基于向量空间中的表示进行。有效减轻数据稀疏的问题，不同词语之间的联系得以更好体现出来。
