note

• 这里记录个人博客中常用的数学符号数学格式和对应含义

数与数组

$$\begin{array}{ll}\mathbf{\alpha }& \text{ 标量 }\\ \mathbf{\alpha }& \text{ 向量 }\\ \mathbf{A}& \text{ 矩阵 }\\ \mathbf{A}& \text{ 张量 }\\ {\mathbf{I}}_n& n\text{ 行 }n\text{ 列单位矩阵 }\\ {\mathbf{v}}_w& \text{ 单词 }w\text{ 的分布式向量表示 }\\ {\mathbf{e}}_w& \text{ 单词 }w\text{ 的独热向量表示: }[0,0,\dots ,1,0,\dots 0],w\text{ 下标处元素为 }1\end{array}$$

索引

$$\begin{array}{ll}{\alpha }_i& \text{ 向量 }\mathbf{\alpha }\text{ 中索引 }i\text{ 处的元素 }\\ {\alpha }_{-i}& \text{ 向量 }\mathbf{\alpha }\text{ 中除索引 }i\text{ 之外的元素 }\\ w_{i:j}& \text{ 序列 }w\text{ 中从第 }i\text{ 个元素到第 }j\text{ 个元素组成的片段或子序列 }\\ A_{ij}& \text{ 矩阵 }\mathbf{A}\text{ 中第 }i\text{ 行、第 }j\text{ 列处的元素 }\\ {\mathbf{A}}_{i:}& \text{ 矩阵 }\mathbf{A}\text{ 中第 }i\text{ 行 }\\ {\mathbf{A}}_{:j}& \text{ 矩阵 }\mathbf{A}\text{ 中第 }j\text{ 列 }\\ A_{ijk}& \text{ 三维张量 }\mathbf{A}\text{ 中索引为 }(i,j,k)\text{ 处元素 }\\ {\mathbf{A}}_{::i}& \text{ 三维张量 }\mathbf{A}\text{ 中的一个二维切片 }\end{array}$$

集合

A 集合  R 实数集  C 复数集  { 0 , 1 , … , n } 含  0 和  n 的正整数的集合  [ a , b ] a 到  b 的实数闭区间  ( a , b ] a 到  b 的实数左开右闭区间  \begin{array}{ll} \mathbb{A} & \text { 集合 } \\ \mathbb{R} & \text { 实数集 } \\ \mathbb{C} & \text { 复数集 } \\ \{0,1, \ldots, n\} & \text { 含 } 0 \text { 和 } n \text { 的正整数的集合 } \\ {[a, b]} & a \text { 到 } b \text { 的实数闭区间 } \\ (a, b] & a \text { 到 } b \text { 的实数左开右闭区间 } \end{array} ARC{0,1,…,n}[a,b](a,b]​ 集合  实数集  复数集  含 0 和 n 的正整数的集合 a 到 b 的实数闭区间 a 到 b 的实数左开右闭区间 ​

线性代数

$$\begin{array}{ll}{\mathbf{A}}^{\top }& \text{ 矩阵 }\mathbf{A}\text{ 的转置 }\\ \mathbf{A}\odot \mathbf{B}& \text{ 矩阵 }\mathbf{A}\text{ 与矩阵 }\mathbf{B}\text{ 的 Hadamard 乘积 }\\ \det (\mathbf{A})& \text{ 矩阵 }\mathbf{A}\text{ 的行列式 }\\ [\mathbf{x};\mathbf{y}]& \text{ 向量 }\mathbf{x}\text{ 与 }\mathbf{y}\text{ 的拼接 }\\ [\mathbf{U};\mathbf{V}]& \text{ 矩阵 }\mathbf{A}\text{ 与 }\mathbf{V}\text{ 沿行向量拼接 }\\ \mathbf{x}\cdot \mathbf{y}\text{ 或 }{\mathbf{x}}^{\top }\mathbf{y}& \text{ 向量 }\mathbf{x}\text{ 与 }\mathbf{y}\text{ 的点积 }\end{array}$$

微积分

$$\begin{array}{ll}\frac{\mathrm{d}y}{\mathrm{d}x}& y\text{ 对 }x\text{ 的导数 }\\ \frac{\partial y}{\partial x}& y\text{ 对 }x\text{ 的偏导数 }\\ \nabla \mathbf{x}y& y\text{ 对向量 }\mathbf{x}\text{ 的梯度 }\\ \nabla \mathbf{x}y& y\text{ 对矩阵 }\mathbf{X}\text{ 的梯度 }\\ \nabla \mathbf{x}y& y\text{ 对张量 }\mathbf{X}\text{ 的梯度 }\end{array}$$

概率和信息论

$$\begin{array}{ll}a\perp b& \text{ 随机变量 }a\text{ 与 }b\text{ 独立 }\\ a\perp b\mid c& \text{ 随机变量 }a\text{ 与 }b\text{ 关于 }c\text{ 条件独立 }\\ P(a)& \text{ 离散变量概率分布 }\\ p(a)& \text{ 连续变量概率分布 }\\ a\sim P& \text{ 随机变量 }a\text{ 服从分布 }P\\ {\mathbb{E}}_{x\sim P}(f(x))\text{ 或 }& f(x)\text{ 在分布 }P(x)\text{ 下的期望 }\\ \mathbb{E}(f(x))& \\ \mathrm{Var}(f(x))& f(x)\text{ 在分布 }P(x)\text{ 下的方差 }\\ \mathrm{Cov}(f(x),g(x))& f(x)\text{ 与 }g(x)\text{ 在分布 }P(x)\text{ 下的协方差 }\\ H(f(x))& \text{ 随机变量 }x\text{ 的信息熵 }\\ D_{KL}(P\Vert Q)& \text{ 概率分布 }P\text{ 与 }Q\text{ 的 }\mathrm{KL}\text{ 散度 }\\ \mathcal{N}(\mathbf{\mu },\mathbf{\Sigma })& \text{ 均值为 }\mathbf{\mu }\text{ 、协方差为 }\mathbf{\Sigma }\text{ 的高斯分布 }\end{array}$$

数据与概率分布

$$\begin{array}{ll}\mathbb{X}\text{ 或 }\mathbb{D}& \text{ 数据集 }\\ {\mathbf{x}}^{(i)}& \text{ 数据集中第 }i\text{ 个样本（输入） }\\ {\mathbf{y}}^{(i)}\text{ 或 }{y}^{(i)}& \text{ 第 }i\text{ 个样本 }{\mathbf{x}}^{(i)}\text{ 的标签（输出） }\end{array}$$

函数

$$\begin{array}{ll}f:\mathcal{A}⟶\mathcal{B}& \text{ 由定义域 }\mathcal{A}\text{ 到值域 }\mathcal{B}\text{ 的函数（映射） }f\\ f\circ g& f\text{ 与 }g\text{ 的复合函数 }\\ f(\mathbf{x};\mathbf{\theta })& \text{ 由参数 }\mathbf{\theta }\text{ 定义的关于 }\mathbf{x}\text{ 的函数（也可以直接写作 }f(\mathbf{x}),\text{ 省略 }\mathbf{\theta })\\ \log x& x\text{ 的自然对数函数 }\\ \sigma (x)& \text{ Sigmoid 函数 }\frac{1}{1+\exp (-x)}\\ \Vert \mathbf{x}{\Vert }_p& \mathbf{x}\text{ 的 }{L}^p\text{ 范数 }\\ \Vert \mathbf{x}\Vert & \mathbf{x}\text{ 的 }{L}^2\text{ 范数 }\\ 1^{\text{condition }}& \text{ 条件指示函数：如果 condition 为真, 则值为 }1\text{; 否则值为 }0\end{array}$$

深度学习中的常用数学表达方式

• 给定词表 $\mathbb{V}$, 其大小为 $|\mathbb{V}|$
• 序列 $x=x_1,x_2,\dots ,x_n$ 中第 $i$ 个单词 $x_i$ 的词向量 ${\mathbf{v}}_{x_i}$
• 损失函数 $\mathcal{L}$ 为负对数似然函数： $\mathcal{L}(\mathbf{\theta })=-{\sum }_{(x,y)}\log P\left(y\mid x_1\dots x_n\right)$
• 算法的空间复杂度为 $\mathcal{O}(mn)$