如何在网站页面添加代码,wordpress使用步骤,免备案免费虚拟主机,北京个人制作网站有哪些内容转载请注明出处#xff1a;http://www.cnblogs.com/Peyton-Li/ 朴素贝叶斯法是机器学习模型中一个比较简单的模型#xff0c;实现简单#xff0c;比较常用。 是定义在输入空间上的随机向量#xff0c;是定义在输出空间上的随机变量。是和的联合概率分布。训练数据集由独立同…　　转载请注明出处http://www.cnblogs.com/Peyton-Li/ 　　朴素贝叶斯法是机器学习模型中一个比较简单的模型实现简单比较常用。 　　是定义在输入空间上的随机向量是定义在输出空间上的随机变量。是和的联合概率分布。训练数据集由独立同分布产生。 　　朴素贝叶斯法通过训练数据集学习联合概率分布。具体地学习一下先验概率分布及条件概率分布。 　　先验概率分布条件概率分布于是学习到联合概率分布。 　　条件概率分布有指数级数量的参数其估计实际是不可行的。事实上假设可取值有个可取值有个那么参数个数为。 　　朴素贝叶斯法对条件概率分布作了条件独立性的假设。由于这是一个较强的假设朴素贝叶斯法也由此得名。具体的条件独立性假设是 　　　　 　　　　　　　　　　　　　　　　　　　　(4.3) 　　朴素贝叶斯法实际上学习到生成数据的机制所以属于生成模型。条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的。这一假设使朴素贝叶斯法变得简单但有时会牺牲一定的分类准确率。 　　朴素贝叶斯法分类时对给定的输入通过学习得到的模型计算后验概率分布将后验概率最大的类作为的类输出。后验概率计算根据贝叶斯定理进行 　　　　　　　　(4.4) 将式(4.3)带入(4.4)有 　　　　　　　　(4.5) 这是朴素贝叶斯法分类的基本公式。于是朴素贝叶斯分类器可表示为 　　　　　　　　(4.6) 注意到在式(4.6)中分母对所有都是相同的所以 　　　　　　　　(4.7) 　　朴素贝叶斯法将实例分到后验概率最大的类中。这等价于期望风险最小化。假设选择0-1损失函数 　　　　 式中是分类决策函数。这时期望风险函数为 　　　　 期望是对联合分布取的。由此取条件期望 　　　　 为了使期望风险最小化只需对逐个极小化由此得到 　　　　 　　　　　　 　　　　　　 　　　　　　 这样一来根据期望风险最小化准则就得到了后验概率最大化准则 　　　　　　　　　　(4.8) 即朴素贝叶斯法所采用的原理。注意将4.7式和4.8式对比   　　在朴素贝叶斯法中学习意味着估计和。可以应用极大似然估计法估计相应的概率。先验概率的极大似然估计是 　　　　　　   设第个特征可能取值的集合为条件概率的极大似然估计是 　　　　　　 　　　　　　 式中是第个样本的第个特征是第个特征可能取的第个值为指示函数。 对于给定的实例计算 　　　　 确定实例的类 　　　　   用极大似然估计可能会出现所要估计的概率值为0的情况。这是会影响到后验概率的计算结果使分类产生偏差。解决这一问题的方法是采用贝叶斯估计。具体地条件概率的贝叶斯估计是 　　　　　　　　　　(4.10) 式中。等价于在随机变量各个取值的频数上赋予一个正数。当时就是极大似然估计。常取这是称为拉普拉斯平滑(Laplace smoothing)。显然对任何有 　　　　 　　　　 表明式(4.10)确为一种概率分布。同样先验概率的贝叶斯估计是 　　　　 　　朴素贝叶斯分类有一个限制条件就是特征属性必须有条件独立或基本独立实际上在现实应用中几乎不可能做到完全独立。 　　优点 　　　　1、朴素贝叶斯模型发源于古典数学理论有稳定的分类效率。 　　　　2、对小规模的数据表现很好能个处理多分类任务适合增量式训练尤其是数据量超出内存时我们可以一批批的去增量训练。 　　　　3、对缺失数据不太敏感算法也比较简单常用于文本分类。 　　缺点 　　　　1、理论上朴素贝叶斯模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此这是因为朴素贝叶斯模型假设属性之间相互独立这个假设在实际应用中往往是不成立的在属性个数比较多或者属性之间相关性较大时分类效果不好。而在属性相关性较小时朴素贝叶斯性能最为良好。对于这一点有半朴素贝叶斯之类的算法通过考虑部分关联性适度改进。 　　　　2、需要知道先验概率且先验概率很多时候取决于假设假设的模型可以有很多种因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。 　　　　3、由于我们是通过先验和数据来决定后验的概率从而决定分类所以分类决策存在一定的错误率。对输入数据的表达形式很敏感。  转载于:https://www.cnblogs.com/Peyton-Li/p/7538221.html