机器学习-期末复习

本文的内容按照作者的课程考试要求书写，仅供复习参考。🌷🌷🌷

机器学习是一种人工智能（AI）的分支领域，它致力于开发能够通过数据学习和改进的算法和模型。简而言之，机器学习系统利用数据来识别模式、进行预测或者做出决策，而无需明确地编程规则。这些系统通过从数据中学习并自动调整其行为来提高性能，从而实现了自我改进和适应。

考点

二分类线性模型的决策边界
交叉熵损失
感知器
序列建模
注意力机制
模型的优化和正则化

二分类线性模型的决策边界

在这里插入图片描述

交叉熵损失

感知器

感知器学习算法也是一个经典的线性分类器的参数学习算法．感知器是一种二元分类器，它试图通过调整权重和阈值来根据给定的输入数据做出正确的分类决策。当感知器接收到一个错误样本，即其分类结果与预期不符时，它就知道当前的权重和阈值配置并不理想，因此需要进行调整。
这种调整的过程实际上是一种优化过程，感知器试图通过最小化分类错误来找到最佳的权重和阈值。具体来说，当感知器对某个样本的分类结果错误时，它会计算这个错误导致的损失（即交叉熵损失或其他类似的损失函数），然后根据这个损失来调整权重。这种调整通常是基于梯度下降或其变种算法进行的，目的是使损失函数最小化。

在这里插入图片描述 # 卷积神经网络
首先明确一个概念，卷积核就是滤波器。
卷积核（或滤波器）是一个小的矩阵，通常具有较小的维度（如3x3或5x5），它会在输入数据（如图像）上滑动，执行卷积操作以提取特征。每个卷积核都会学习捕捉输入数据中的某种特定模式或特征。
在这里插入图片描述
滑动步长和零填充
步长(Stride)是指卷积核在滑动时的时间间隔
零填充(Zero Padding)是在输入向量两端进行补零

零填充的目的：
保持空间尺寸：当卷积核的大小大于输入图像的大小时，通过零填充可以避免卷积操作后图像尺寸的减小。这有助于确保卷积后的图像大小不变，方便后续的操作。
调整输出大小：零填充还可以用于调整输出的空间大小。通过补零，可以在保持输出空间大小不变的情况下将输出传入下一层。如果不进行零填充，每次卷积操作后输出的空间都可能缩小，当输出的大小变得过小（如大小为1）时，就无法再进行卷积操作了。
解决边界效应：在处理离散量时，卷积操作可能会产生边界效应，即相邻周期之间的干扰。这种干扰可以通过补零的方法来避免，确保空间和循环卷积给出相同的结果。

卷积运算的参数量
输出尺寸 = (输入尺寸 - 卷积核尺寸 + 2 * 零填充) / 步长 + 1
在这里插入图片描述

序列建模

从机器学习的角度来看：语言模型是对语句的概率分布的建模。

N-gram模型：减少历史基元的个数
当 n=1 时，即出现在第 i 位上的基元 wi 独立于历史。一元文法也被写为 uni-gram 或 monogram;
当 n=2 时，即出现在第 i 位上的基元 wi 仅依赖于wi -1，2-gram (bi-gram) 被称为1阶马尔可夫链;
当 n=3 时,即出现在第 i 位上的基元 wi 依赖于{wi -1、 wi -2}，3-gram(tri-gram)被称为2阶马尔可夫链，依次类推。
例如，给定训练预料：
“John read Moby Dick”
“Mary read a different book”
“She read a book by Cher”
根据 2-gram文法求句子的概率?
句子：John read a book
计算的概率类似于条件概率，要注意所求句子和预料里面的单词的前后关系
注意： < BOS >是第一个单词前面的位置 < EOS >是最后一个单词后面的位置
计算过程为：
在这里插入图片描述