柳编网站建设意义,和wordpress差不多呢,苏州关键词排名提升,重庆做网站letide从头开始机器学习#xff1a;线性回归 跟随 16 分钟阅读 28月 1 一、说明 本篇实现线性回归的先决知识是#xff1a;基本线性代数#xff0c;微积分#xff08;偏导数#xff09;、梯度和、Python #xff08;NumPy#xff09;#xff1b;从线性方程入手。 代… 从头开始机器学习线性回归 跟随 16 分钟阅读 · 28月 1 一、说明 本篇实现线性回归的先决知识是基本线性代数微积分偏导数、梯度和、Python NumPy从线性方程入手。 代码/注释存储库链接 拉曼欣德 GitHub - ramanthind02/Machine_learning_from_scratch_Linear_Regression 二、线性回归简介 二维线性回归只是在数据图上绘制一条最佳拟合线你可能已经在高中数学和物理中做过了。我想非常清楚地说明机器学习只是一个几何问题你已经熟悉了。当您在较低维度上工作并且实际绘制数据时这个想法变得很明显。对于不知情的人来说这似乎是魔术但实际上它只是“美化的曲线”。 线性回归中的术语“回归”是指预测实数或向量。上面是线性回归的简单示例模型只是一条线的函数。我们的数据以以下形式出现 其中 N  样本数。如果你计算上面的点你会发现 N20。在这里我们的输入 X 学习所花费的小时数→ Y 百分比分数。实际上这两个变量可能是任何东西我们测量什么并不重要。X 可以是身高Y 可以是体重。X可能是温度Y可能是冰淇淋销售。无论情况如何该方法都保持不变将线性回归用于解剖学与将其用于业务之间没有区别。“所有数据都是一样的”是机器学习中经常使用的一句话。 三、一维线性回归 您可能想知道为什么这个标题是“一维线性回归”即使我们处于二维空间中。在机器学习中“维度”一词通常是指输入的数量或更常见的特征在这种情况下我们有 1 个特征 x.认为解决方案在 2D 线性回归情况下非常明显有人可以说我可以画一条最适合自己的线为什么要费心使用机器学习。好吧我们想要一种更系统的方法来绘制这条线并测量它的“拟合数据”程度而不仅仅是任意地这样做。此外当我们转向更高的维度时这将不再可能。我们的最佳拟合线的公式定义为 ​​​​​​​         这是我们的模型。从技术上讲我们可以为 a 和 b 输入任何值并拥有一个有效的线性回归模型但它不会有任何好处因为它根本没有学习数据。变量 a 和 b 是我们模型的参数因为这些是我们可以转动的旋钮和刻度盘以使我们的模型表现更好。在机器学习中a通常被称为权重项b是偏差项。我们希望我们的最佳拟合线尽可能接近 y 在所有 i 上的实际值。我们想定义另一个称为误差函数的函数这个函数将我们的模型和训练数据作为输入并输出一个错误我们的模型表现得多么糟糕。一个明显的想法是只取我们的预测和 y 的实际值之间的差异。 假设我们有一个误差为 3 的项另一个项的误差为 -3即使模型表现不佳我们的总误差为零。我们可以取绝对值但我们将取差值的平方这在数学上更容易使用并且它具有更大的误差更大的成本的额外好处。通过取 y 的所有值的误差之和我们得到误差函数。 用我们的表达式代替我们得到的一条线 现在我们有一个函数来表示模型的误差。我们希望最小化模型参数 a 和 b 的成本 E。请注意我们已经有了 x 和 y因为它是我们的训练数据。直觉上您可能已经知道我们将如何使用我们的好朋友微积分来做到这一点。我们的误差函数是一个单调递增的二次函数这很方便如果我们取导数并将导数设置为 0我们可以找到全局最小值。 四、练习推导解决方案 现在您应该对如何找到正确的参数a和b有一个一般的直觉以最小化此成本函数。把我们带到第一个练习。取 a 和 b 的偏导数并找到它们的全局最小值的公式使用生成的 2 个方程求解 2 个未知数 a 和 b。这将是很多代数所以要做好准备...... 一些提示... 请记住有限求和的导数只是其求和项的导数之和。回想一下样本均值的定义 这些将派上用场使您的最终答案干净简洁 如果您遇到困难请查看解决方案这可能有助于您弄清楚该怎么做如果这不起作用则可以在名为“1D_Linear_Regression_derivation”的存储库中以“”命名进行完整的分步推导如果您不能立即自己解决请不要担心只要继续练习直到可以 五、解决 在取 E 关于 a 和 b 的导数并将它们设置为 0 之后我们得到这两个方程 我们有 2 个方程和 2 个未知数a 和 b。我们可以使用消除来求解 a 和 b。我们可以用字母代替第一个和第二个表达式项以使代数更容易。 使用消除求解这些方程后我们得到 代入我们原来的求和项并使用上面的示例均值公式进行简化我们得到 如果你自己走到了这一步恭喜你大部分工作已经完成我们实际上可以使用 NumPy 在几行代码中编写此解决方案。在此之前让我们找到一种方法来评估我们的模型表现如何。 六、确定模型的性能 有多种不同的方法来判断我们的模型我们将使用 r-sqaured 公式来做到这一点。我们不会从头开始推导出这个公式但我会解释使用它背后的直觉。 公式如下 请注意分子只是我们的误差公式。分母是所有 y 的总和减去 y 的平均值.SS 只是表示“平方和”。分母可以被认为是基线模型即每次都只预测 y 平均值的模型。我们可以将模型的误差与每次都猜测 y 均值的模型的误差进行比较。我们来看看几个案例 ss 残差ss 总数 在这种情况下如果我们的残差非常小接近 0则残差和总计之间的除法结果也将接近于零。导致 r 平方接近 1。这意味着我们的模型表现非常好因为我们的误差总和非常小。 SS 残差 SS 总计 在这种情况下如果我们的残差等于总数这意味着我们的模型几乎只是预测每个值的y平均值。除法的结果是 1这导致 r 平方接近 0不好...... SS残差SS总数 在这种情况下我们的模型实际上预测比猜测平均值更糟糕。除法得到一个数 1这导致 r 平方为负数。 七、练习编码一维线性回归 正如您很快就会看到的那样从头开始编写线性回归模型比推导解决方案要容易得多。回想一下NumPy 有一个用于点积的特殊函数并且函数可以在不使用 for 循环的情况下非常快速地获取数组的平均值和和。我们想改变前面的 a 和 b 方程以利用这 3 个函数即点积、总和和平均值。可以在不重新排列方程式的情况下编写解决方案只是需要做更多的工作。在这里使用您自己的直觉。 如果要查看简化公式的分步工作请参阅存储库中名为“1D_Linear_Regression_numpy_derivation”的文件 遵循 NumPy 中的语法 重新排列 a 和 b 以便于编码后转到并在Linear_regression文件夹中下载         1D_Linear_regression_practice.ipynb 以及 salary.csv。如果您想自己尝试此操作只需下载数据集即可。练习文件已经有一些为可视化编写的代码。在您喜欢的编辑器中打开它。如果遇到困难解决方案也在同一文件夹中提供。 八、多元线性回归 现在我们进入线性回归但有多个输入变量。仅仅“手工绘制最合适的线”的琐碎解决方案在这里不再适用。在现实世界中我们可能有多个变量会影响我们的结果。例如房价可能受到位置、房屋大小、建造年份等的影响...... 回想一下我们之前的数据在多项式回归中没有任何变化只是 x 现在与标量相比是一个向量。我们可以将所有输入放入此向量中。这个向量的大小是x的大小它被称为由字母D表示的维度。我们还需要所有这些输入的所有权重。我们可以将它们存储在大小为 D 的名为 w 的向量中。我们的新模型定义为 i 范围从 1-N T 用于转置而不是用于电源 额外的偏置项b很烦人让我们通过将其吸收到第一个项中来摆脱它。这将在将来推导解决方案时对我们有所帮助。我们可以将模型重写为 上面的模型用于 1 样本预测。我们实际上可以利用矩阵乘法的力量来一次生成所有预测的输出。我们可以在名为 X 的大小为 NxD 的矩阵中表示所有样本。 如果我们取 1 行 X则表示 1 个形状为 1xD特征向量的样本。然而在线性代数中惯例是将向量视为列向量。因此对于 1 个样本预测我们有 尺寸1x1 1xD * Dx1 如果我们想得到所有 N 个样本的预测我们将 X 乘以 w。我将标注矩阵和向量的大小因此不会混淆维度。 在这里y 是一个向量包含所有样本 N 的所有预测值。我们可以将一列 1 附加到 X 并在 w 中添加一个 w0 项以解释偏差项。当我们推导出解决方案时您会意识到这样做是为了减少计算的乏味。 让我们做一个快速的具体例子将所有这些理论思想固化为石头。假设我们有 3 个特征输入所以 D3我们有 5 个样本所以 N5。如果您到目前为止感到困惑请尝试在纸上进行此计算。 假设我们想对第三个样本进行 1 个样本预测。 请注意 X 的第 3 行如何在此处表示为列向量 九、求解多元线性回归 我们的误差方程不会改变因此我们可以简单地遵循用于求解一维线性回归的相同方法。现在唯一的问题是它会更抽象一点。该解决方案包含一些矩阵微积分我们可以一次获取整个矩阵的导数而不是取单个样本的导数。为了使扩展不那么混乱我们可以将 y 重命名为一个名为 t 的变量作为目标并将 y-hat 重命名为 y。这可能会令人困惑如果您看到 t目标则假设 y 是预测反之亦然如果您看到 y-hat。为了进行推导您将扩展我在下面已经为您开始的成本函数并将带有 reepect 的导数取为 w 而不是上面所说的 wj。您可以使用一些矩阵导数公式。 矩阵导数公式来自这本方便的书其中包含一堆公式您可以在此处找到 https://www.math.uwaterloo.ca/~hwolkowi/matrixcookbook.pdf 提示。。。 请记住矩阵乘法不是可交换的而是结合的对已转置的矩阵进行转置结果为原始矩阵两个矩阵 AB 的乘积的转置等于 B 转置时间 A 转置请记住在取导数时任何不包含我们采用导数 wrt 的变量的变量。被视为常量如果您自己无法弄清楚请看一下解决方案和您坚持的部分。包含所有步骤的完整派生可以在文件“Mult_Linear_Regression_derivation”的存储库中找到 十、溶液 在扩展这两个术语并替换为 X 和 w 之后。我们得到 现在让我们重新排列一些矩阵以便我们可以使用矩阵导数公式 现在我们可以使用我们的矩阵导数公式来取导数 通过一些轻微的重新排列我们可以隔离w 十一、练习编码多元线性回归 现在我们可以从头开始编码多项式回归模型它与一维线性回归模型没有什么不同。幸运的是NumPy对我们刚刚求解的公式有一个函数因为像这样求解方程很常见。 您可以在存储库中找到名为“mult_linear_regression_data”的数据集 在求解 w 之前不要忘记将 1 的列附加到 X 以确保存在偏差项。顺序并不重要但将其作为第一列是惯例。如果您自己编码时遇到困难可以在存储库中找到名为“Mult_Linear_regression_solution”的解决方案 十二、机器学习实践 现在我们已经了解了模型的工作原理以及如何从头开始构建它们我们可以继续讨论您在实际进行机器学习时会遇到的更多实际问题。我们已经学会了如何“构建”模型但现在我们必须测试它们的性能调整和优化它们的性能修改它们以在不同情况下工作并处理意外问题。如果我们没有首先从头开始构建模型所有这些都是不可能的现在我们知道模型是如何从内到外工作的实际问题更容易处理。 十三、训练、测试和过拟合 很容易被引诱到最大化准确性是我们的目标的想法如果我们能在训练期间让我们的模型达到 99.99% 的准确率这意味着我们有一个好的模型但请记住我们最初设定的目标。我们希望能够预测未来而不仅仅是完美地预测我们目前拥有的数据。我们希望我们的模型能够准确地预测以前从未见过的数据。随着我们的模型在训练数据方面变得越来越好在某一时刻它会“记住”它如果我们给模型任何新数据它会挣扎因为它会不断预测它最初训练的数据。 下面是近似曲线时过度拟合的几何示例。 拟合不足是模型尚未学习数据 为了防止这种情况发生我们可以拆分数据其中大部分用于训练并保留一小部分在完成训练后测试我们的模型。我们希望尽量减少训练数据和测试数据的误差。总有一天进一步的训练将导致过度拟合和测试数据误差增加。一般其常规是将80%的数据拆分用于训练目的并使用20%的数据进行测试。除了像我上面提到的拆分数据之外还有许多技术和方法但这超出了本博客的范围。 现在过度拟合并不总是模型的错误如果你没有足够的数据就没有足够的数据供模型学习它会开始过度拟合你给它的少量数据。 绿线是数据的真实分布 十四、特征工程 让我们学习一些特征工程。我们一直对模型一心一意但我认为是时候让数据有时间发光了。特征工程是将原始数据转换为特征的过程这些特征可以更好地表示预测模型的基础模式。特征工程可以使平庸的模型从性能不佳转变为具有令人难以置信的性能。“垃圾进垃圾出”是数据科学中的一句俗语。我们不能指望我们的模型在没有提供正确数据的情况下表现良好。我们将探索特征工程的一些应用这些应用使我们能够扩展简单线性回归模型的功能。 十五、多项式回归 是否可以使用线性回归对曲线进行建模。如果我们只能对线性关系进行建模那将是相当令人失望的。有时输入可能与输出具有非线性相关性。请记住我们的模型基本上只是一维场景中一条线的方程。考虑输入“在健身房花费的时间”和输出“获得的肌肉。在绘制数据图表后我们意识到这种关系可能是对数的即在健身房多花几个小时增加更多的肌肉。我们可以使用二次函数更好地近似这种关系。因此我们可以向模型添加一个二次项。现在我们的模型是 我们可以添加任意数量的多项式项以更好地拟合数据我们可以添加一个 x 立方项等等但是要小心因为这会导致过度拟合想想无限泰勒级数如何近似任何函数。您可能想知道“我如何知道何时在多元线性回归中执行此操作绘制每个要素与输出之间的关系并分析关系并选择适当的多项式项。 您可能需要查看这些函数的外观 如果关系很复杂这可能需要一些实验您希望在不过度拟合的情况下捕获输入和输出之间的关系。多项式回归本质上是在数据中添加一个额外的特征列。这不会改变我们之前派生的模型解决方案。它只是以多项式项的形式增加了一个额外的输入因此我们称之为特征工程。有一个数据集血压数据集你可以在下面找到这个想法。 Data for multiple linear regression 我不会为此共享代码因为它与我们之前所做的没有太大区别。只需根据输出绘制每个要素观察关系然后将适当的多项式项追加到数据中即可。 十六、处理分类变量 现在如果我们有不能表示为数字的变量怎么办。一个例子是预测汽车价格制造汽车的公司可能是宝马、丰田、福特等......模型无法输入单词。为了解决这个问题我们将使用独热编码。我们可以将所有类别编码为二进制字符串其中每个二进制值表示 True 或 False。对于 3 个可能的类别您的二进制字符串长度为 3。 上面完成的标签编码其中为每个类别分配一个唯一编号在线性回归中不是一个好主意因为模型使用输入的大小来确定其输出。实际上SkLearn中有一个类可以为您完成所有这些工作。 import numpy as np from sklearn.preprocessing import OneHotEncoder# Sample data data [[cat], [dog], [bird], [fish], [cat]]# Initialize OneHotEncoder encoder OneHotEncoder(sparse_outputFalse)# Fit and transform data onehot_encoded encoder.fit_transform(data)print(onehot_encoded) 十七、后续步骤 我在这个博客中没有介绍很多内容比如正则化、梯度下降、交叉验证和标准化。也许我将来会更新这个博客添加一些新的东西。从这里开始的下一个合乎逻辑的步骤是学习更多的监督机器学习模型如果你想尽快进入Nueral网络和深度学习最好是逻辑回归。希望我没有犯任何错误如果您发现任何错误请告诉我。