【EM算法】算法及注解

EM算法又称期望极大算法，是一种迭代算法，每次迭代由两步组成：E步，求期望（expectation）；M步，求极大（maximization）。

算法背景

如果概率模型的变量都是观测变量，那么可以直接用极大似然估计法，或贝叶斯估计法估计模型参数。但是，当模型含有隐变量时，就需要考虑EM算法，EM算法是含有隐变量的概率模型参数的极大似然估计法。

EM算法

输入:观测变量数据Y，隐变量数据Z，联合分布P(Y,Z | \theta )，条件分布P( Z| Y,\theta )

输出：模型参数\theta

1.选择参数的初值$\theta^{(0)}$,开始迭代；

EM算法对初值敏感

2.E步：记$\theta^{(i)}$为第$i$ 次迭代参数$\theta$的估计值，在第$i+1$次迭代的E步，计算

Q(\theta,\theta^{(i)})=E_Z[\log P(Y,Z|\theta)|Y,\theta^{(i)}]
=\sum_{Z}\log P(Y,Z|\theta)P(Z|Y,\theta^{(i)})

$P(Z|Y,\theta^{(i)})$ 是在给定观测数据$Y$和当前的参数估计$\theta^{(i)}$下隐变量数据$Z$的条件概率分布

$Q(\theta,\theta^{(i)})$是完全数据的对数似然函数P(Y,Z | \theta )关于在给定观测数据$Y$和当前的参数估计$\theta^{(i)}$下隐变量数据$Z$的条件概率分布$P(Z|Y,\theta^{(i)})$的期望。

其中，$Q(\theta,\theta^{(i)})$第一个变元\theta是要极大化的参数，第二个变元$\theta^{(i)}$是参数的当前估计。

3.M步：求使$Q(\theta,\theta^{(i)})$极大化的$\theta$,确定第$i+1$ 次迭代的参数的估计值 $\theta^{(i+1)}$


\theta^{(i+1)}=\arg\max_\theta Q(\theta,\theta^{(i)})

每次迭代$\theta^{(i)}\to\theta^{(i+1)}$使似然函数增大或达到局部极值

4.重复第2步和第3步，直到收敛。

收敛条件通常为：\|\theta^{(i+1)}-\theta^{(i)}\|<\varepsilon_1\quad或\quad\|Q(\theta^{(i+1)},\theta^{(i)})-Q(\theta^{(i)},\theta^{(i)})\|<\varepsilon_2

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/817626.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Mybatis中@SelectKey注解

Mybatis中@SelectKey注解

注解简介 SelectKey 注解主要用于在插入数据后获取数据库生成的主键。这在很多数据库中是常见的做法&#xff0c;比如使用自增字段或序列生成主键。 SelectKey 注解通常与插入数据的 SQL 语句一起使用&#xff0c;它告诉 MyBatis 在执行插入操作后执行另一个 SQL 语句来获取主…
阅读更多...
打造大型ERP系统：Spring Cloud的优雅实践

打造大型ERP系统：Spring Cloud的优雅实践

在当今的信息化时代&#xff0c;企业资源规划&#xff08;ERP&#xff09;系统已经成为企业信息化管理的核心。随着企业规模的不断扩大&#xff0c;对ERP系统的可扩展性和可维护性要求也越来越高。近年来&#xff0c;微服务架构逐渐兴起&#xff0c;它以其高内聚、低耦合的特性…
阅读更多...
利用计算机视觉算法提取裂纹相关特征参数信息

利用计算机视觉算法提取裂纹相关特征参数信息

ABCnutter/CrackFeature: &#x1f680;使用计算机视觉相关算法提取裂缝的骨架&#xff08;矢量化&#xff09;、轮廓【支持提前修复断裂裂缝】&#xff0c;以及几何特征参数&#xff08;长度、宽度、面积和主要方向&#xff09;【欢迎Star】。主要流程以及相关算法如下&#x…
阅读更多...
zato，一个神奇的 Python 库！

zato，一个神奇的 Python 库！

大家好&#xff0c;今天为大家分享一个神奇的 Python 库 - zato。 Zato是一个高性能的Python企业服务总线(ESB)和应用集成框架&#xff0c;专为简化复杂系统间的通信和数据交换而设计。它提供了一个灵活、可扩展的平台&#xff0c;以支持各种集成需求&#xff0c;从简单的数据传…
阅读更多...
Android Studio 之 Intent及其参数传递

Android Studio 之 Intent及其参数传递

一、Intent 显式Intent&#xff1a;通过组件名指定启动的目标组件,比如startActivity(new Intent(A.this,B.class)); 每次启动的组件只有一个~隐式Intent:不指定组件名,而指定Intent的Action,Data,或Category,当我们启动组件时, 会去匹配AndroidManifest.xml相关组件的Intent-…
阅读更多...
autoware.universe perception中ground_segmetation的基础知识学习笔记

autoware.universe perception中ground_segmetation的基础知识学习笔记

[[maybe_unused]] 是 C11 及之后版本中的一个属性&#xff0c;用于抑制编译器关于未使用实体&#xff08;变量、函数等&#xff09;的警告。它告诉编译器&#xff0c;如果实体未被使用&#xff0c;那也是可以接受的&#xff0c;因此不会为此生成警告。[[maybe_unused]] 只能用于…
阅读更多...
代码随想录——动态规划

代码随想录——动态规划

系列文章目录 代码随想录——回溯 代码随想录——贪心算法 代码随想录——动态规划 文章目录 系列文章目录概述简单斐波那契数***爬楼梯***使用最小花费爬楼梯不同路径不同路径 II***整数拆分***不同的二叉搜索树***普通0-1背包***分割等和子集***最后一块石头的重量 II***目标…
阅读更多...
内网渗透-内网环境下的横向移动总结

内网渗透-内网环境下的横向移动总结

内网环境下的横向移动总结 文章目录 内网环境下的横向移动总结前言横向移动威胁 威胁密码安全 威胁主机安全 威胁信息安全横向移动威胁的特点 利用psexec 利用psexec.exe工具msf中的psexec 利用windows服务 sc命令 1.与靶机建立ipc连接2.拷贝exe到主机系统上3.在靶机上创建一个…
阅读更多...
ros-param添加参数控制rviz显示掉帧问题

ros-param添加参数控制rviz显示掉帧问题

在ros中有一套参数系统可以直接写到launch文件中&#xff0c;这样非常方便&#xff0c;不需要编译就能直接用&#xff0c;这对于c来说非常的有好&#xff0c;这里记录一下如何使用。 主要步骤如下&#xff1a; 首先初始化节点 使用nodehandle进行管理&#xff0c;然后通过param…
阅读更多...
企业常用Linux文件命令相关知识+小案例

企业常用Linux文件命令相关知识+小案例

远程连接工具无法连接VMWARE&#xff1a; 如果发现连接工具有时连不上&#xff0c;ip存在&#xff0c;这时候我们查看网络编辑器&#xff0c;更多配置&#xff0c;看vnet8是不是10段&#xff0c;nat设置是否是正确的&#xff1f; 软件重启一下虚机还原一下网络编辑器 查看文件…
阅读更多...
Windows版PHP7.4.9解压直用（免安装-绿色-项目打包直接使用）

Windows版PHP7.4.9解压直用（免安装-绿色-项目打包直接使用）

安装版和解压版 区别 安装版: 安装方便&#xff0c;下一步------下一步就OK了&#xff0c;但重装系统更换环境又要重新来一遍&#xff0c;会特别麻烦解压版&#xff08;推荐&#xff09;&#xff1a; 这种方式&#xff08;项目打包特别方便&#xff09;能更深了解mysql的配置&…
阅读更多...
PCA 主成分分析

PCA 主成分分析

PCA(Principal Component Analysis)&#xff0c;即主成分分析方法&#xff0c;是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上&#xff0c;这k维是全新的正交特征也被称为主成分&#xff0c;是在原有n维特征的基础上重新构造出来的k维特征。PCA的工作就…
阅读更多...
LOF 简介

LOF 简介

1. 背景 在LOF之前的异常检测算法大多是基于统计方法的&#xff0c;或是借用了一些聚类算法用于异常点的识别(如DBSCAN, OPTICS)。但这些方法都有一些不完美的地方&#xff1a; 1. 基于统计的方法&#xff1a;通常需要假设数据服从特定的概率分布&#xff0c;这个假设往往是不成…
阅读更多...
electron项目打包慢、打包报错

electron项目打包慢、打包报错

项目使用了electron框架&#xff0c;在第一次打包或者网络条件不好的环境下进行打包时熟速度慢的出奇&#xff0c;甚至经常出现打包失败的情况&#xff08;如上面图片的报错&#xff09;。 这是因为&#xff0c;在electron打包的过程中&#xff0c;需要去官方源https://github.…
阅读更多...
第十五届蓝桥杯c++b组赛后复盘和真题展示

第十五届蓝桥杯c++b组赛后复盘和真题展示

题目变成八道了&#xff0c;分数一百分可能&#xff0c;感觉拿奖难度还是很高 第一题是一个简单的握手问题 答案算出来1204&#xff0c;纯手写 第二题是 物理题 纯蒙&#xff0c;随便猜了个轨迹&#xff0c;答案具体忘了&#xff0c;最后是 .45 第三题暴力 第四题 我是傻逼…
阅读更多...
指针的深入理解（七）

指针的深入理解（七）

指针的深入理解&#xff08;七&#xff09; 个人主页&#xff1a;大白的编程日记 个人专栏&#xff1a;C语言学习之路 感谢遇见&#xff0c;我们一起学习进步&#xff01; 文章目录 指针的深入理解&#xff08;七&#xff09;前言一.常量字符串指针1.1常量字符串的理解1.2常量…
阅读更多...
DSBridge---跨端的原生与H5的通信框架

DSBridge---跨端的原生与H5的通信框架

dsBridge介绍 dsBridge是一个三端易用的现代跨平台 Javascript bridge&#xff0c; 通过它&#xff0c;你可以在Javascript和原生之间同步或异步的调用彼此的函数。 最近在开发h5相关的需求&#xff0c;而且相关的h5页面会嵌入到app&#xff0c;h5页面有拍照、上传照片、上传…
阅读更多...
OneFlow深度学习简介

OneFlow深度学习简介

介绍 OneFlow是一个基于深度学习的开源框架，主要面向机器学习工程师和研究人员。它提供了类似于其他深度学习框架（如TensorFlow和PyTorch）的API，同时具有高性能和高效的特点。OneFlow专注于在大规模数据集和分布式环境下的训练和推理，以及在生产环境中的部署和优化。其设计…
阅读更多...
HBuilderX 中开发vue，引入百度地图获取当前ip地址定位

HBuilderX 中开发vue，引入百度地图获取当前ip地址定位

实现功能&#xff1a;使用百度地图获取IP地址&#xff0c;定位到当前位置 参考文档地址&#xff1a;MapVGL | 快速入门 一、在有外网的情况下&#xff0c;常规引入百度地图的方法如下&#xff1a; 1、在index.html中引入 <script src"//api.map.baidu.com/api?v1.…
阅读更多...
Python100个库分享第14个—plyfile（将ply文件展示3d模型）

Python100个库分享第14个—plyfile（将ply文件展示3d模型）

目录 专栏导读库的介绍库的安装ply文件格式介绍ply下载网址&#xff08;是斯坦福大学的3d模型下载网址&#xff09;报错解决完整代码参考&#xff1a;总结 专栏导读 &#x1f338; 欢迎来到Python办公自动化专栏—Python处理办公问题&#xff0c;解放您的双手 &#x1f3f3;️…
阅读更多...
最新文章

Copyright @ 2022~2023