1. AutoEncoder介绍
2. Applications of AutoEncoder in NLP
3. Recursive Autoencoder（递归自动编码器）
4. Stacked AutoEncoder（堆栈自动编码器）
1. 前言
今天主要介绍用在NLP中比较常见的AutoEncoder的模型，Recursive Autoencoders（递归自动编码模型）。这篇文章主要讨论RAE在序列化的数据中，如何把数据降维并且用向量表示。
2. 矩阵表示
假设我们有一个矩阵\(L\)的表示向量，一个有序的有\(m\)个元素的序列，每个元素有\(k\)维的向量表示，我们用\(b_k\)代表我们需要找的那个向量，公式如下：
\[ x_i=Lb_k \]
现在我们能用矩阵表示这个\(m\)个元素的序列了,\((x_1,x_2,x_3...,x_m)\)。
3. 非监督递归自动编码器
上图是RAE的二叉树递归结构，最底层的节点\(x_1,x_2...,x_m\)都是序列的内容。第一个RAE从在最底层最右边的两个孩子节点序列的元素\(x_1\)，\(x_2\)开始，对它们进行重构，会产生一个隐藏层\(y_1\)。再上层一点，一个节点是序列中的元\(x_i\)素，另一个节点是下一程节点通过AE的过程算出来的隐藏层向量\(y_i\)，经过RAE后，会产生隐藏节点\(y_{i+1}\)，如此循环直到序列中所有元素都进行了AE的过程。
- 编码过程：父节点是\(y_1\)，两个孩子节点是\(x_1\)和\(x_2\):
\[ \mathbf{y_1}=f(\mathbf{W}[\mathbf{x}_{1},\mathbf{x}_{2}]+\mathbf{b}) \]
- 解码过程：通过父节\(y_1\)点再重构\(x_1\)和\(x_2\)
\[ [\mathbf{x}_{1}';\mathbf{x}_{2}']=\mathbf{W}'\mathbf{y_1}+\mathbf{b}' \]
- 损失函数
\[ E=\frac{1}{2}\Vert [\mathbf{x}_{1},\mathbf{x}_{2}]-[\mathbf{x}_{1}',\mathbf{x}_{2}']\Vert ^{2} \]
这个过程在每一个AE过程中重复，直到构造出整棵树。
4. 优化
我们可以从几个方面去优化RAE。
- 选择一个好的方式去构造树：我们构造二叉树的方法很多。例如一个比较好的构造二叉树的方式是用贪婪算法在每一步去尝试每个可能选择孩子节点，最后选择这一步重构损失最低的方式建树。
- 选择一个好的重构损失函数：前面我们的重构损失是平均的惩罚所有序列的损失值。假设我们可以包含孩子节点多的RAE过程的损失的权重比包含孩子节点少的RAE过程的损失函数的权重大。
- 归一化：RAE计算的隐藏节点，它们后面会被下一个RAE重建。为了最小化重构的损失，RAE计算隐藏节点的时候可以对它进行归一化。
5. 总结
本文主要介绍了RAE的构造和优化方向，RAE适合用来处理序列问题。
