题目

一个随机变量具有PDF 。希望在没有任何可用数据的情况下估计的一个现实。为此提出了使最小的MMSE估计量，其中期望仅是对求的。证明MMSE估计量为。将你的结果应用到例10.1，当把数据考虑进去时，证明最小贝叶斯MSE是减少的。

---

解答

在贝叶斯估计情况下，我们是提前知道待估计量的先验分布，即。一旦知道就能获得相应的和。

所以，这个题目的物理意义，就是在没有任何额外数据情况下，根据先验分布，那可以获得的MMSE估计量，就是，此时对应的最小方差即：

而后续只要能获得可用数据，获得的方差都比要小，而且随着数据的增多会越来越小。

下面开始证明：为了求得题目条件中的MMSE估计量，在方差中加入该估计量。令：

其中，是对的某一种估计，尽管暂时不知道，但里面肯定不包含，而

通过积分后，也不包含，因此:

所以：

为了使得上式最小，那么显然需要：

这样，第二项非负值为0，此时，MMSE最小值为：

 对于例10.1来说，由10.12给出：

其中，估计量先验方差，也就是：

也就是没有任何可用数据下，即，此时：

与上述证明结论一致。后续只要获得数据，即，那么都有：

也就是贝叶斯估计情况下，只要考虑数据，那么最小贝叶斯MSE是减小的。