[深度学习网络从入门到入土] 感知机Perceptron

个人导航

知乎：https://www.zhihu.com/people/byzh_rc

CSDN：https://blog.csdn.net/qq_54636039

注：本文仅对所述内容做了框架性引导，具体细节可查询其余相关资料or源码

参考文章：各方资料

文章目录

[深度学习网络从入门到入土] 感知机Perceptron
个人导航
参考资料
背景
架构
创新点
代码实现

参考资料

The perceptron: A probabilistic model for information storage and organization in the brain.

背景

希望构建一种能“像大脑一样学习”的计算模型，用于模式识别与分类

把输入特征做线性加权求和，并通过阈值（threshold）输出类别
提出了一个基于分类错误的在线学习规则：模型每遇到一个分错样本，就调整权重，使下次更可能分对

架构

感知机是一个单层线性阈值单元（Linear Threshold Unit），用于二分类

输入：特征向量x ∈ R d x \in \mathbb{R}^dx∈Rd
参数：权重w ∈ R d w \in \mathbb{R}^dw∈Rd、阈值/偏置b bb
输出：y ^ = sign ( w ⊤ x + b ) ( y ^ ∈ { − 1 , + 1 } ) \hat{y}=\text{sign}(w^\top x + b)\quad (\hat{y}\in\{-1,+1\})y^=sign(w⊤x+b)(y^∈{−1,+1})

sign ⁡ ( z ) = { + 1 , z > 0 0 , z = 0 − 1 , z < 0 \operatorname{sign}(z)= \begin{cases} +1, & z>0 \\ 0, & z=0 \\ -1, & z<0 \end{cases}sign(z)=⎩⎨⎧+1,0,−1,z>0z=0z<0

实现里通常会约定一种处理方式，例如：
z >= 0归为 +1（很多代码这样做）
或者把 0 当成“在边界上”，也算错并触发更新（训练时常用）

若使用-1, 1标签, 则用sign函数
若使用0, 1标签, 则用阶跃函数

学习规则（在线、犯错才更新）：
对标签t ∈ { − 1 , + 1 } t\in\{-1,+1\}t∈{−1,+1}，当样本被分错或落在边界上t ( w ⊤ x + b ) ≤ 0 t(w^\top x+b)\le 0t(w⊤x+b)≤0时：
w ← w + η t x , b ← b + η t w \leftarrow w + \eta\, t\, x,\qquad b \leftarrow b + \eta\, tw←w+ηtx,b←b+ηt

若真实标签为 +1 但被判成 -1，就把w ww往x xx的方向推
若真实标签为 -1 但被判成 +1，就把w ww往反方向推

η \etaη是学习率

创新点

提出“可学习的线性阈值分类器”框架
把模式识别问题形式化为：线性加权 + 阈值决策，这是后续大量分类模型的共同母体
**“犯错驱动（mistake-driven）”**的在线学习规则
与后来常见的“批量损失最优化”不同，感知机强调逐样本、遇错即改，简单且符合早期生物启发/硬件实现思路。
收敛性的重要结论（线性可分时可收敛）
如果训练数据线性可分，感知机在有限次更新后能找到一个把训练集分开的超平面
明确了单层模型的能力边界，推动多层网络发展
感知机无法表示 XOR 等非线性可分问题，这一局限后来促使研究者发展多层网络与非线性表示（最终走向 MLP 与深度学习）

代码实现

importosimportnumpyasnpimportmatplotlib matplotlib.use("Agg")importmatplotlib.pyplotaspltclassPerceptron:""" 用于二元分类的经典（Rosenblatt风格）感知器 - Labels: {-1, +1} - updates: 仅在错误（或边界）时更新权重 - Decision: sign(w·x + b) """def__init__(self,lr:float=1.0,max_epochs:int=1000,shuffle:bool=True,random_state:int|None=0):self.lr=float(lr)self.max_epochs=int(max_epochs)self.shuffle=bool(shuffle)self.random_state=random_state self.w=Noneself.b=0.0defdecision_function(self,X:np.ndarray)->np.ndarray:X=np.asarray(X,dtype=float)ifself.wisNone:raiseRuntimeError("模型还没训练, 请先fit()")returnX @ self.w+self.bdefpredict(self,X:np.ndarray)->np.ndarray:scores=self.decision_function(X)returnnp.where(scores>=0,1,-1).astype(int)deffit(self,X:np.ndarray,y:np.ndarray,save_dir:str|None=None,plot_every:int=1,dpi:int=150):""" save_dir: 若不为None，则每个epoch保存一张图片到该目录 plot_every: 每隔多少个epoch保存一次（默认每次都保存） """X,y=self._check_xy(X,y)n_samples,n_features=X.shapeifsave_dirisnotNone:os.makedirs(save_dir,exist_ok=True)ifn_features!=2:raiseValueError("可视化每轮决策边界目前仅支持2D特征 (n_features==2)。")# 初始化权重self.w=np.zeros(n_features,dtype=float)self.b=0.0# 创建随机数生成器rng=np.random.default_rng(self.random_state)forepochinrange(1,self.max_epochs+1):# 随机打乱样本顺序idx=np.arange(n_samples)ifself.shuffle:rng.shuffle(idx)errors=0foriinidx:x_i=X[i]t_i=y[i]# 错误（或边界）时: t_i * (w·x + b) <= 0ift_i*(np.dot(self.w,x_i)+self.b)<=0.0:self.w+=self.lr*t_i*x_i self.b+=self.lr*t_i errors+=1# 保存可视化（每 plot_every 次保存一次）ifsave_dirisnotNoneand(epoch%plot_every==0):self._save_epoch_plot(X,y,epoch,errors,save_dir,dpi=dpi)# 已收敛 -> 结束循环iferrors==0:# 最后一张也可以再保存一次（确保有收敛结果图）ifsave_dirisnotNone:self._save_epoch_plot(X,y,epoch,errors,save_dir,dpi=dpi)breakreturnself@staticmethoddef_check_xy(X:np.ndarray,y:np.ndarray):X=np.asarray(X,dtype=float)y=np.asarray(y)ifX.ndim!=2:raiseValueError(f"X必须是形状为[n_samples, n_features]的2D数组，当前得到的是{X.shape}")ify.ndim!=1:raiseValueError(f"y必须是形状为[n_samples]的1D数组，当前得到的是{y.shape}")ifX.shape[0]!=y.shape[0]:raiseValueError(f"X和y的样本数必须相同，当前X有{X.shape[0]}个样本，y有{y.shape[0]}个样本")unique=np.unique(y)ifset(unique.tolist())<={0,1}:y=np.where(y==1,1,-1).astype(int)else:ifnotset(unique.tolist())<={-1,1}:raiseValueError(f"y标签必须是{{-1, +1}}（或{{0,1}}），当前得到的唯一标签是{unique}")y=y.astype(int)returnX,ydef_save_epoch_plot(self,X,y,epoch,errors,save_dir,dpi=150):""" 保存当前epoch的散点 + 决策边界（仅2D） 不显示，只保存png并close。 """X=np.asarray(X,float)y=np.asarray(y,int)fig=plt.figure()ax=plt.gca()# 两类点：不指定颜色，用不同 marker 区分pos=(y==1)neg=(y==-1)ax.scatter(X[pos,0],X[pos,1],marker="o",label="+1")ax.scatter(X[neg,0],X[neg,1],marker="x",label="-1")# 画决策边界 w1*x1 + w2*x2 + b = 0w1,w2=float(self.w[0]),float(self.w[1])b=float(self.b)# 设定画布范围（基于数据自动留白）x_min,x_max=-4,4y_min,y_max=-4,4# x_min, x_max = X[:, 0].min(), X[:, 0].max()# y_min, y_max = X[:, 1].min(), X[:, 1].max()# pad_x = 0.25 * (x_max - x_min + 1e-9)# pad_y = 0.25 * (y_max - y_min + 1e-9)# x_min, x_max = x_min - pad_x, x_max + pad_x# y_min, y_max = y_min - pad_y, y_max + pad_yax.set_xlim(x_min,x_max)ax.set_ylim(y_min,y_max)# 决策边界ifabs(w2)>1e-12:xs=np.array([x_min,x_max],dtype=float)ys=-(w1*xs+b)/w2 ax.plot(xs,ys)# 不指定颜色elifabs(w1)>1e-12:# 垂直线：w1*x + b = 0 => x = -b/w1x0=-b/w1 ax.plot([x0,x0],[y_min,y_max])else:# w全0，边界无意义（通常只会出现在训练最开始）passax.set_title(f"epoch={epoch}errors={errors}w={self.w}b={self.b}")ax.legend()filename=os.path.join(save_dir,f"epoch_{epoch:04d}.png")plt.savefig(filename,dpi=dpi,bbox_inches="tight")plt.close(fig)defdemo():X=np.array([[0,0],[0,1],[1,0],[1,1],],dtype=float)y=np.array([-1,-1,-1,+1],dtype=int)clf=Perceptron(lr=1.0,max_epochs=50,shuffle=True,random_state=42)clf.fit(X,y,save_dir="vis_demo",plot_every=1)print("Learned w:",clf.w)print("Learned b:",clf.b)print("Predictions:",clf.predict(X))print("True labels:",y)defXOR():X=np.array([[0,0],[0,1],[1,0],[1,1],],dtype=float)# 真·XOR（异或）常用写法：[-1, +1, +1, -1]y=np.array([-1,+1,+1,-1],dtype=int)clf=Perceptron(lr=1.0,max_epochs=50,shuffle=True,random_state=42)clf.fit(X,y,save_dir="vis_xor",plot_every=1)print("Learned w:",clf.w)print("Learned b:",clf.b)print("Predictions:",clf.predict(X))print("True labels:",y)if__name__=="__main__":demo()print("=================================")XOR()