逻辑回归：原理、训练与场景
- 逻辑回归（Logistic Regression）全解析
- 一、从生活场景理解核心思想：为什么需要逻辑回归？
- 1. 线性回归的“硬伤”
- 2. 逻辑回归的“关键妙招”：Sigmoid函数（概率压缩器）
- 二、核心概念：决策边界（“及格线”在哪？）
- 三、模型训练：如何找到最优的w和b？
- 1. 损失函数：衡量“预测有多不准”
- 2. 优化算法：梯度下降（“一步步下山找最优解”）
- 四、逻辑回归的特点与适用场景
- 优点
- 缺点
- 适用场景
- 五、逻辑回归 vs 线性回归（核心区别）
- 总结
逻辑回归（Logistic Regression）全解析
逻辑回归是机器学习中经典的二分类算法（名字带“回归”却做“分类”），核心是把线性回归的输出映射到0~1区间，用“概率”判断样本所属类别，比如判断邮件是否为垃圾、用户是否会下单、病人是否患病。
一、从生活场景理解核心思想：为什么需要逻辑回归？
我们以“预测学生是否及格”为例（特征：学习时长x，标签：及格=1/不及格=0），先看线性回归的问题，再理解逻辑回归的解决思路：
1. 线性回归的“硬伤”
线性回归公式：y ^ = w ⋅ x + b \hat{y} = w \cdot x + by^=w⋅x+b，输出是任意实数（比如1.2、-0.3）。但我们需要的是“及格概率”（0~1），总不能说“及格概率1.2”，这显然不合理；且线性回归对异常值敏感（比如1小时学习却及格的极端样本，会拽歪预测直线）。
2. 逻辑回归的“关键妙招”：Sigmoid函数（概率压缩器）
为了把线性回归的输出（记为z = w ⋅ x + b z=w\cdot x + bz=w⋅x+b）变成0~1的概率，逻辑回归引入Sigmoid函数（也叫Logistic函数）：
σ ( z ) = 1 1 + e − z \sigma(z) = \frac{1}{1+e^{-z}}σ(z)=1+e−z1
这个函数的特点像“概率调节阀”：
- z zz很大（如z = 10 z=10z=10）→σ ( z ) ≈ 1 \sigma(z)≈1σ(z)≈1（及格概率接近100%）；
- z zz很小（如z = − 10 z=-10z=−10）→σ ( z ) ≈ 0 \sigma(z)≈0σ(z)≈0（及格概率接近0%）；
- z = 0 z=0z=0→σ ( z ) = 0.5 \sigma(z)=0.5
)
