松弛变量（slack variable）与拉格朗日对偶

松弛变量（slack variables）和拉格朗日对偶（Lagrangian duality）是优化理论中的两个重要概念，它们之间有着密切的关系，特别是在线性规划和凸优化中。

松弛变量

松弛变量用于将不等式约束转化为等式约束。在标准的线性规划问题中：

$\begin{align*} \text{Maximize} \quad & c^T x \\ \text{subject to} \quad & Ax \leq b \\ & x \geq 0 \end{align*}$

可以通过引入松弛变量 $\geq 0$ ，将不等式 $\leq b$ 转换为等式：

$A x + s = b$

这样，问题就变成了：

$\begin{align*} \text{Maximize} \quad & c^T x \\ \text{subject to} \quad & Ax + s = b \\ & x \geq 0, \, s \geq 0 \end{align*}$

拉格朗日对偶

拉格朗日对偶是通过引入对偶变量（Lagrange multipliers），将约束优化问题转化为一个对偶问题。对于原始问题（Primal problem）：

$\begin{align*} \text{Minimize} \quad & f(x) \\ \text{subject to} \quad & g_i(x) \leq 0, \quad i = 1, \ldots, m \\ & h_j(x) = 0, \quad j = 1, \ldots, p \end{align*}$

拉格朗日函数定义为：

$\mathcal{L}(x, \lambda, \nu) = f(x) + \sum_{i=1}^m \lambda_i g_i(x) + \sum_{j=1}^p \nu_j h_j(x)$

其中， $\lambda_i \geq 0$ 是不等式约束的拉格朗日乘子，对应于松弛变量的作用。

对偶问题（Dual problem）通过最大化拉格朗日函数的拉格朗日乘子（对偶变量）得到：

$\begin{align*} \text{Maximize} \quad & \inf_x \mathcal{L}(x, \lambda, \nu) \\ \text{subject to} \quad & \lambda \geq 0 \end{align*}$

关系

等效性：松弛变量和拉格朗日乘子在某种意义上是等价的。松弛变量将不等式约束转化为等式约束，而拉格朗日乘子通过对偶问题引入，解决这些约束的影响。
互补性松弛条件：在对偶问题中，拉格朗日乘子与松弛变量一起满足互补性松弛条件（complementary slackness）。例如，如果某个不等式约束 $g_i(x) \leq 0$ 是紧的（即 $g_i(x) = 0$ ），那么对应的拉格朗日乘子 $\lambda_i$ 可能不为零。反之，如果 $g_i(x) < 0$ ，则 $\lambda_i$ 必须为零。
对偶问题的解释：松弛变量可以看作是原始问题的额外变量，而拉格朗日乘子则是对这些变量的影射。在对偶问题中，我们通过优化这些乘子的值来间接优化原始问题。