题目
通过令
![]()
并进行计算来重新推导MMSE估计量。提示:利用结果![]()
解答
首先需要明确的是:
![]()
上式是关于观测值x 的函数
其次需要说明一下这个结果![]()
和教材一样,我们用
求期望,需要注意的是,在贝叶斯情况下,
是个随机变量,而不是一个确定的值:
![]()
![]()
![]()
![]()
其中:
![]()
上式是X=x条件下的函数,因此
是x的函数,于
无关
而
![]()
因此,也就是得到了
![]()
或者更加通俗一点:
![]()
下面开始证明:




其中:

上式中
是x等参数的函数,但已经对θ完成了一次积分,所以肯定不是θ的函数。另外
是个估计量,在观察数据x等参数等参数明确情况下具有确定值,也不是θ的函数,因此:

![]()
而



上面又用到了
中不包含θ,且![]()
而对比
,又得到:

因此:
![]()
把上面结果带入到
中,得到:

上式中,
和
都是大于等于0的项,因此,如果要使得
最小,那么用户可以选择估计量
,使得:
![]()
在这个情况下:

此时,
达到最小值,即:



![]()