torch.unsqueeze()将一维数据变为二维数据，torch只能处理二维数据

tensor不能反向，variable可以反向。variable.data.numpy()转换为numpy

第3章 神经网络

• 实现softmax函数时的注意事项：为防止e的指数运算造成溢出

 

矩阵的第 0 维是列方向,第 1 维是行方向

第4章 神经网络的学习

损失函数：

均方误差

交叉熵误差

求所有训练数据的损失函数的总和,以交叉熵误差为例,可以写成

数值微分：利用微小的差分求导数的过程称为数值微分。所谓数值微分就是用数值方法近似求解函数的导数的过程。

梯度法：在梯度法中，函数的取值从当前位置沿着梯度方向前进一定距离，然后在新的地方重新求梯度，再沿着新梯度方向前进,  如此反复，不断地沿梯度方向前进。像这样，通过不断地沿梯度方向前进,  逐渐减小函数值的过程就是梯度法。

学习率决定在一次学习中,应该学习多少,以及在多大程度上更新参数

第5章 误差反向传播法

5.1 计算图

用图形表示计算过程，从左向右计算

实际上,使用计算图最大的原因是,可以通过反向传播高效计算导数。即计算输入变量对最终输出的影响。

5.2 链式法则