EM算法（二）

EM算法计算的$q$

上篇推导得到的E步要计算的，

$q(\theta,\theta_k)=\sum\limits_{i=1}^N\sum\limits_zP(z|y_i,\theta_k)\log\frac{P(y_i,z|\theta)}{P(z|y_i,\theta_k)}$

注意到$\theta_k$被固定，且

$q(\theta,\theta_k)=\sum\limits_{i=1}^N\sum\limits_zP(z|y_i,\theta_k)\log P(y_i,z|\theta)-\sum\limits_{i=1}^N\sum\limits_zP(z|y_i,\theta_k)\log P(z|y_i,\theta_k)$

注意到后面一部分是个常数，所以只需要计算前面一部分。记

$q(\theta,\theta_k)=\sum\limits_{i=1}^N\sum\limits_zP(z|y_i,\theta_k)\log P(y_i,z|\theta)\tag{1}$

三硬币模型问题描述

有$3$个硬币$A,B,C$,抛硬币正面的概率分别是$\pi,p,q$。现在先抛硬币$A$,如果是正面则抛硬币$B$,否则抛硬币$C$,已知观测到的值是第二次抛硬币的结果$Y$,估计$\pi,p,q$的值。

nothing

EM算法的应用

确定隐变量

这个问题首先是要确定第二次掷哪枚硬币，这个选择就是隐变量，确定这个变量之后便能确定观测值。记该隐变量$z$,且

$z=\begin{cases} 1，A是正面\\ 0，A是反面\end{cases}$

E：计算$q$

$P(y_i,z|\theta)=[\pi(p^{y_i}(1-p)^{1-y_i})]^z[(1-\pi)(q^{y_i}(1-q)^{1-y_i})]^{1-z}\tag{2}$ $P(z|y_i,\theta_k)=\frac{P(y_i,z|\theta_k)}{P(y_i|\theta_k)}\tag{3}$ $P(y_i|\theta_k)=\sum\limits_{z=0}^1P(y_i,z|\theta_k)\tag{4}$

记$u_i^k$表示对于第$i$个样本第$k$轮迭代第二次是掷的硬币$B$,结合$(2)(3)(4)$，

$u_i^k=P(z=1|y_i,\theta_k)=\frac{\pi_k(p_k^{y_i}(1-p_k)^{1-y_i})}{\pi_k(p_k^{y_i}(1-p_k)^{1-y_i})+(1-\pi_k)(q_k^{y_i}(1-q_k)^{1-y_i})} \tag{5}$

结合$(1)(2)(5)$,有

$q(\theta,\theta_k)=\sum\limits_{i=1}^N[u_i^k\log(\pi(p^{y_i}(1-p)^{1-y_i}))+(1-u_i^k)\log((1-\pi)(q^{y_i}(1-q)^{1-y_i}))]$

M：求导

M步就是根据E步计算的$q$更新$\theta$,求导有

$\frac{\partial q(\theta,\theta_k)}{\partial\pi}=\sum\limits_{i=1}^N\frac{u_i^k}{\pi}-\frac{1-u_i^k}{1-\pi}=\sum\limits_{i=1}^N\frac{u_i^k-\pi}{\pi(1-\pi)}$ $\frac{\partial q(\theta,\theta_k)}{\partial p}=\sum\limits_{i=1}^Nu_i^k(\frac{y_i}{p}-\frac{1-y_i}{1-p})=\sum\limits_{i=1}^N\frac{u_i^k(y_i-p)}{p(1-p)}$ $\frac{\partial q(\theta,\theta_k)}{\partial q}=\sum\limits_{i=1}^N(1-u_i^k)(\frac{y_i}{q}-\frac{1-y_i}{1-q})=\sum\limits_{i=1}^N\frac{(1-u_i^k)(y_i-q)}{q(1-q)}$

令导数为$0$，有

$\pi_{k+1}=\frac{\sum\limits_{i=1}^Nu_i^k}{N}$ $p_{k+1}=\frac{\sum\limits_{i=1}^Nu_i^ky_i}{\sum\limits_{i=1}^Nu_i^k}$ $q_{k+1}=\frac{\sum\limits_{i=1}^N(1-u_i^k)y_i}{\sum\limits_{i=1}^N(1-u_i^k)}$

总结

EM算法应用首先就是确定隐变量，然后进行EM迭代。

三硬币模型应用