电视盒子做网站服务器,深圳社保网上服务平台,wordpress自定义结构404,网络推广公司怎么找客户一、HMM中的第三个基本问题 参数估计问题#xff1a;给定一个观察序列OO1O2…OT#xff0c;如何调节模型μ(A,B,π)的参数#xff0c;使得P(O|μ)最大化#xff1a; argmaxμP(Otraining|μ)arg \max_{\mu} P(O_{training}|\mu)模型的参数是指构成μ的πi,aij,bj(k)。本文…一、HMM中的第三个基本问题 参数估计问题给定一个观察序列OO1O2…OTO=O_1O_2\dots O_T如何调节模型μ(A,B,π)\mu = (A, B, \pi)的参数使得P(O|μ)P(O|\mu)最大化 argmaxμP(Otraining|μ)arg \max_{\mu} P(O_{training}|\mu)模型的参数是指构成μ\mu的πi,aij,bj(k)\pi_i,a_{ij}, b_j(k)。本文的前序两节讲的EM算法就是为了解决模型参数的最大化问题。其基本思想是初始时随机地给模型参数赋值该赋值遵循模型对参数的限制例如从某一状态出发的所有转移概率之和为1.给模型参数赋初值后得到模型μ0\mu_0, 然后根据μ0\mu_0可以得到模型中隐变量的期望值。例如从μ0\mu_0得到某一状态到另一状态的期望次数用期望次数来替代实际次数这样可以得到模型参数的重新估计值由此得到新的模型μ1\mu_1。然后重复上述过程直到参数收敛于最大似然估计值。二、算法介绍 给定HMM的参数μ\mu和观察序列OO1O2…OTO=O_1O_2\dots O_T在时间tt位于状态sis_i时间t1t+1位于状态sjs_j的概率 ξt(i,j)P(qtsi,qt1sj|O;μ)(1≤t≤T,1≤i,j≤N) \xi_t(i,j) = P(q_t=s_i, q_{t+1} = s_j | O; \mu)(1 \le t \le T, 1 \le i,j \le N) 可由下面的公式计算获得 ξt(i,j)P(qtsi,qt1sj,O;μ)P(O;μ)at(i)aijbj(Ot1)βt1(j)P(O;μ)at(i)aijbj(Ot1)βt1(j)∑Ni1∑Nj1at(i)aijbj(Ot1)βt1(j)(18−1)\xi_t(i,j) = \frac{P(q_t=s_i, q_{t+1} = s_j , O; \mu)}{P(O;\mu)} \\ =\frac{a_t(i)a_{ij}b_j(O_{t+1})\beta_{t+1}(j)}{P(O;\mu)}\\ =\frac{a_t(i)a_{ij}b_j(O_{t+1})\beta_{t+1}(j)}{\sum_{i=1}^N\sum_{j=1}^Na_t(i)a_{ij}b_j(O_{t+1})\beta_{t+1}(j)}(18-1)给定HMM的参数μ\mu和观察序列OO1O2…OTO=O_1O_2\dots O_T在时间tt位于状态sis_i的概率γt(i)\gamma_t(i)为 γt(i)∑j1Nξt(i,j)18−2\gamma_t(i) = \sum_{j=1}^N \xi_t(i,j) （18-2）由此μ\mu的参数可由下式估计 πi¯P(q1si|O;μ)γ1(i)a¯ijQ中从状态qi转移到qj的期望次数Q中所有从状态qi转移到另一状态包含qj的期望次数∑T−1t1ξt(i,j)∑T−1t1γt(i)b¯j(k)Q中从状态qj输出符号vk的期望次数Q到达qj的期望次数∑Tt1γt(j)δ(Ot,vk)∑Tt1γt(j)\bar{\pi_i} = P(q_1=s_i |O; \mu) = \gamma_1(i)\\ \bar{a}_{ij}= \frac{Q中从状态q_i转移到q_j的期望次数}{Q中所有从状态q_i转移到另一状态（包含q_j）的期望次数}\\ =\frac{\sum_{t=1}^{T-1}\xi_t(i,j) }{\sum_{t=1}^{T-1}\gamma_t(i)}\\ \bar{b}_j(k) = \frac{Q中从状态q_j输出符号v_k的期望次数}{Q到达q_j的期望次数}\\ =\frac{\sum_{t=1}^{T}\gamma_t(j)\delta(O_t, v_k)}{\sum_{t=1}^{T}\gamma_t(j)}三、前向后向算法 根据上述思路给出前向后向算法 1. 初始化随机地给参数πi,aij,bj(k)\pi_i,a_{ij}, b_j(k)赋值使得满足如下约束 ∑i1Nπi1∑j1Naij1,1≤i≤N∑k1Mbj(k)1,1≤j≤N \sum_{i=1}^N \pi_i=1\\\sum_{j=1}^N a_{ij} =1, 1 \le i \le N\\\sum_{k=1}^M b_j(k) =1, 1 \le j \le N由此得到模型μ0\mu_0.令i0i=0执行下面的EM估计。 2. EM计算 E步由模型μi\mu_i根据公式18-1和18-2计算ξt(i,j)\xi_t(i,j)和γt(i)\gamma_t(i) M步用E步得到的期望值重新估计模型参数πi,aij,bj(k)\pi_i,a_{ij}, b_j(k)得到模型μi1\mu_{i+1} 3. 循环计算 令 ii1i = i+1 重复EM计算直到πi,aij,bj(k)\pi_i,a_{ij}, b_j(k)收敛。