天津 网站备案,无锡网站建设服务公司,标书制作文员主要干什么,东莞新闻营销1. 隐马尔可夫模型 机器学习最重要的任务是根据已观察到的证据#xff08;例如训练样本#xff09;对感兴趣的未知变量#xff08;例如类别标 记#xff09;进行估计和推测。概率模型#xff08;probabilistic model#xff09;提供了一种描述框架#xff0c;将描述任…1. 隐马尔可夫模型 机器学习最重要的任务是根据已观察到的证据例如训练样本对感兴趣的未知变量例如类别标 记进行估计和推测。概率模型probabilistic model提供了一种描述框架将描述任务归结为 计算变量的概率分布在概率模型中利用已知的变量推测未知变量的分布称为“推断 inference”其核心在于基于可观测的变量推测出未知变量的条件分布。 生成式计算联合分布(, , )判别式计算条件分布(, |) 符号约定为关心的变量的集合O为可观测变量集合R为其他变量集合 概率模型直接利用概率求和规则消去变量R的时间和空间复杂度为指数级别(2^( ||))需要一 种能够简洁紧凑表达变量间关系的工具。  概率图模型(probabilistic graphical model)是一类用图来表达变量相关关系的概率模型。 图模型提供了一种描述框架结点随机变量集合边变量之间的依赖关系 分类有向图贝叶斯网使用有向无环图表示变量之间的依赖关系 无向图马尔可夫网使用无向图表示变量间的相关关系 概率图模型分类有向图贝叶斯网无向图马尔可夫网 隐马尔可夫模型Hidden Markov ModelHMM组成状态变量通常假定是 隐藏的不可被观测的。取值范围为通常有个可能取值的离散空间 观测变量表示第 时刻的观测值集合观测变量可以为离散或连续型本章中只 讨论离散型观测变量取值范围X为 隐马尔可夫模型Hidden Markov ModelHMM时刻的状态  仅依赖于( − 1)与其余 − 2个状态无关。马尔可夫链系统下一时刻状态仅由当前状态决定不依赖于以往的任何状态 HMM 的生成过程 确定一个HMM需要三组参数 [, , ] 。状态转移概率模型在各个状态间转换的概率表示在任 意时刻t若状态为si下一状态为sj的概率 输出观测概率模型根据当前状态获得各个观测值的概率。在任意时刻t若状态为Si则在下一 时刻状态为Sj的概率 初始状态慨率模型在初始时刻各个状态出现的慨率 通过指定状态空间观测空间和上述三组参数就能确定一个隐马尔可夫模型。给定 [, , ] 它按如下过程生成观察序列 ①设置 1, 并根据初始状态选择初始状态1 ②根据 和输出观测概率 选择观测变量取值 ③根据状态 和状态转移矩阵 转移模型状态即确定1 ④若 , 设置 1并转到②步否则停止 HMM的基本问题对于模型 [, , ] 给出具体应用定观测序列评估模型 和观测序列之间的匹配程度有效计算观测序列其产生的概率 根据观测序列“推测”隐藏的模型状态y 参数学习如何调整模型参数 [, , ] 以使得该序列出现的概率最大 具体应用根据以往的观测序列x预测当前时刻最有可能的观测值语音识别根据观测的语音信 号推测最有可能的状态序列即对应的文字通过数据学习参数模型训练) 隐马尔可夫模型是关于时序的概率模型描述由一个隐藏的马尔可夫链随机生成不可观测的状态随 机序列再由各个状态生成一个观测而产生观测随机序列的过程。隐藏的马尔可夫链随机生成的状 态的序列称为状态序列(state sequence)每个状态生成一个观测而由此产生的观测的随机序 列称为观测序列(observation sequence)。序列的每一个位置又可以看作是一个时刻。 隐马尔可夫模型由初始概率分布、状态转移概率分布以及观测概率分布确定。隐马尔可夫模型的形 式定义如下设Q是所有可能的状态的集合V是所有可能的观测的集合 其中N是可能的状态数M是可能的观测数I是长度为T的状态序列O是对应的观测序列。 A是状态转移概率矩阵 其中是在时刻t处于状态qi的条件下在时刻t1 转移到状态qj的概率。 B是观测概率矩阵 其中是在时刻t处于状态qj的条件下生成 观测vk的概率。π是初始状态概率向量ππi其中是时刻t1 处于状态qi的概率。 隐马尔可夫模型由初始状态概率向量π、状态转移概率矩阵A和观测概率矩阵B决定。π和A决定状 态序列B决定观测序列。因此隐马尔可夫模型入可以用三元符号表示即 [, , ] , , 称为隐马尔可夫模型的三要素。 齐次马尔可夫性假设即假设隐藏的马尔可夫链在任意时刻t的状态只依赖于其前一时刻的状态 与其他时刻的状态及观测无关也与时刻t无关。 观测独立性假设即假设任意时刻的观测只依赖于该时刻的马尔可夫链的状态与其他观测及状态 无关。 例如一段文字中名词、动词、形容词三类词出现的情况可由三个状态的马尔可夫模型描述 状态S1名词S2动词S3形容词 假设状态转移矩阵 如果其中某一句话第一个词为名词那么该句子中这三类词出现的顺序为0“名动形名”的概率为 系统初始化时可以定义一个初始状态的概率向量 隐马尔可夫链示意图 2. 马尔可夫随机场  马尔可夫随机场Markov Random FieldMRF是典型的马尔可夫网著名的无向图模型 图模型表示结点表示变量集边表示依赖关系。有一组势函数Potential Functions)亦称 “因子”(factor)这是定义在变量子集上的非负实函数主要用于定义概率分布函数 马尔可夫随机场Markov Random FieldMRF分布形式化使用基于极大团的势函数因子 对于图中结点的一个子集若其中任意两结点间都有边连接则称该结点子集为一个“团” clique。若一个团中加入另外任何一个结点都不再形成团则称该团为“极大团”maximal clique)图中 1, 2 , {2, 6} , {2, 5, 6}等为团图中{2, 6}不是极大团每个结点至少出现 在一个极大团中多个变量之间的连续分布可基于团分解为多个因子的乘积。 基于极大团的势函数因子多个变量之间的连续分布可基于团分解为多个因子的乘积每个因子 只与一个团相关。对于n个变量x{x1,x2,...xn}所有团构成的集合为C与团Q∈C对应的变量集合 记为XQ则联合概率定义为。 其中是基于团Q对应的势函数Z为概率的规范化因子在实际应用中Z往往很难精确计 算但很多任务中不需要对Z进行精确计算若变量问题较多则团的数目过多上式的乘积项过 多会给计算带来负担所以需要考虑极大团。 基于极大团的势函数通过极大团构造势函数。若团Q不是一个极大团则必然被一个极大团Q*包 含这意味着变量的关系不仅体现在势函数中还体现在*中联合概率分布可以使用极大 团定义假设所有极大团构成的集合为其中Z*是规范化因子 。 基于极大团的势函数联合概率分布可以使用极大团定义假设所有极大团构成的集合为∗。 联合概率分布 马尔可夫随机场中的分离集马尔可夫随机场中得到“ 条件独立性”。借助“分离”的概念若从结点 集 中的结点到 中的结点都必须经过结点集 中的结点则称结点集 被结点集 分离 称 为分离集separating set。 全局马尔可夫性马尔可夫随机场中得到“条件独立性”借助“分离”的概念可以得到全局马尔 可夫性global Markov property在给定分离集的条件下 两个变量子集条件独立。 图模型简化 得到图模型的联合概率为 全局马尔可夫性的验证 条件概率 验证 马尔可夫随机场中的条件独立性 由全局马尔可夫性可以导出局部马尔可夫性(local Markov property):在给定邻接变量的情况下 一个变量条件独立于其它所有变量令V为图的结点集n(v)为结点v在图上的邻接节点 成对马尔可夫性(pairwise Markov property)在给定所有其它变量的情况下两个非邻接变量条件 独立令V为图的结点集边集为E对图中的两个结点u,v,若u,v不属于E有 势函数的作用是定量刻画变量集XQ中变量的相关关系应为非负函数且在所偏好的变 量取值上有较大的函数值 上图中假定变量均为二值变量定义势函数 说明模型偏好xA与xc有相同的取值xB与xc有不同的取值换言xA与xc正相关xB与xc负相关。 所以令xA与xc相同且xB与xc不同的变量值指派將有较高的联合慨率。 势函数的作用是定量刻画变量集xQ中变量的相关关系应为非负函数且在所偏好的变 量取值上有较大的函数值口为了满足非负性指数函数常被用于定义势函数即 其中是一个定义在变量xQ上的实值函数常见形式为 其中是参数上式第一项考虑每一对 结点的关系第二项考虑单结点。 3. 条件随机场 条件随机场(Conditional Random Field(CRF)是一种判别式无向图模型可看作给定观测值的 MRF)条件随机场对多个变量给定相应观测值后的条件概率进行建模若令x{x1,X2,…,X}为观测 序列y{y1,y2,,y}为对应的标记序列CRF的目标是构建条件概率模型P(y|x) 标记变量y可以是结构型变量它各个分量之间具有某种相关性。 自然语言处理的词性标注任务中观测数据为语句单词序列标记为相应的词性序列具有线 性序列结构在语法分析任务中输出标记是语法树具有树形结构 令G(V,E)表示结点与标记变量y中元素一一对应的无向图。无向图中yv表示与节点v对应的标记 变量n(v)表示结点v的邻接结点若图中的每个结点都满足马尔可夫性 则(y,x)构成条件随机场。 CRF使用势函数和图结构上的团来定义P(y|x)。本章仅考虑链式条件随机场(chain-structured CRF)如下所亦 链式条件随机场(chain-structured CRF)包含两种关于标记变量的团相邻的标记变量 单个标记变量条件概率可被定义为 是定义在观测序列的两个 相邻标记位置上的转移特征函数(transition feature function)用于刻画相令邻标记变量之间的相关 关系以及观测序列对它们的影响是定义在观测序列的标记位置i上的状态特征函数 (statusfeature function)用于刻画观测序列对标记变量的影响为参数Z为规范化因子 特征函数通常是实值函数以刻画数据的一些很可能成立或者期望成立的经验特性以词性标注任 务为例 采用特征函数 表示第个观测值xi为单词knock时相应的标记yiyi1很可能分别为[V][P]。 MRF 与CRF的对比 MRF使用团上的势函数定义概率对联合概率建模 CRF使用团上的势函数定义概率有观测变量对条件概率建模