贝叶斯统计——入门级笔记

绪论

1.1 引言

全概率公式

贝叶斯公式

三种信息

总体信息

当把样本视为随机变量时，它有概率分布，称为总体分布．如果我们已经知道总体的分布形式这就给了我们一种信息，称为总体信息

样本信息

从总体中抽取的样本所提供的信息

先验信息

在抽样之前，有关统计推断问题中未知参数的一些信息一股先验信息来自经验和历史资料。先验信息是存在的且可被人们利用

经典（古典）统计学 v.s. 贝叶斯统计学

样本信息+总体信息=抽样信息

基千总体信息和样本信息进行统计推断的理论和方法称为经典（古典）统计学(classical statistics)

基千上述3种信息进行统计推断的方法和理论称为贝叶斯统计学它与经典统计学的主要区别在于是否利用先验信息．在使用样本上也是存在差别的贝叶斯方法重视巳出现的样本，对尚未发生的样本值不予考虑．

1.2 贝叶斯统计推断的若干基本概念

1.2.1 先验分布与后验分布

1.2.2 点估计问题
1.2.3 假设检验问题

1.2.4 区间估计问题

1.3 贝叶斯统计决策的若干基本概念

1.3.1 统计判决三要素

样本空间和样本分布族
- 样本分布族指的是用来描述观测数据的可能分布形式的一组概率分布。样本分布族可能包括多种常见的概率分布，比如正态分布、泊松分布、指数分布等，也可以是更为复杂的分布形式。在贝叶斯统计中，我们使用样本分布族来表示参数的不确定性，并通过先验概率分布来表达这种不确定性。在观测到数据后，我们通过贝叶斯更新的过程得到后验分布，从而更新了对参数的认知。
行动空间

决策者对某个统计决策问题可能采取的行动所构成的非空集合，被称为行动空间(action space)或决策空间(decision space)，记为D,常取D= $\Theta$

损失函数

损失越小，决策函数越好损失。函数的类型很多，常用的有 “平方损失”“绝对值损失” 和＂线性损失” 等

1.3.2 风险函数和一致最优决策函数

风险函数是用来衡量决策的好坏程度的函数。在统计决策理论中，我们通常根据决策的结果和真实情况之间的差异来定义风险函数。常见的风险函数有均方误差、绝对误差等。它们可以帮助我们评估决策的风险和效果。

一致最优决策函数：一致最优决策函数是指在给定的风险函数下，能够最小化平均风险的决策函数。换句话说，一致最优决策函数是能够使整体风险最小化的决策规则。

1.3.3 贝叶斯期望损失和贝叶斯风险

贝叶斯期望损失是一种用于衡量决策的风险或损失程度的概念。贝叶斯期望损失通过考虑这些不确定性和损失，帮助我们评估不同决策的好坏。具体而言，贝叶斯期望损失是通过将损失函数与后验概率分布进行组合，计算出在给定的决策下，所期望的平均损失。贝叶斯期望损失的计算需要考虑到先验概率和损失函数。先验概率是我们对不同结果发生概率的主观或客观估计。损失函数定义了对不同结果的损失或代价。通过结合先验概率和损失函数，我们可以计算出在每种决策下的期望损失，然后我们可以根据这些期望损失进行决策选择。贝叶斯期望损失的目标是选择能够使期望损失最小化的决策，即选择具有最小风险或损失的决策。

贝叶斯风险是用于评估决策的整体风险。贝叶斯风险通过将不同决策的损失函数与先验概率加权结合起来，用来量化每个决策的期望风险。具体而言，贝叶斯风险可以通过对所有可能的决策下的期望损失进行求和或积分得到。这里的期望损失是通过将损失函数与后验概率分布进行组合，计算出在给定决策下的平均损失。贝叶斯风险是所有决策下的期望损失的加权平均，其中权重是根据先验概率分布计算的。通过比较不同决策的贝叶斯风险，我们可以确定风险最小的最优决策。通过考虑先验信息、不确定性和损失函数，贝叶斯风险能够提供一个综合的决策评估，帮助我们选择在整体风险最小的情况下做出的最佳决策。

风险函数的确与损失函数类似，但它们并不完全相同。

一个简单的例子来说明：

假设你是一个农场主，你需要决定在明天种植作物的数量。你可以选择种植的面积，这个面积将决定你的产量和收益。然而，天气是不确定的，可能会对作物产量产生影响。你想通过建立风险函数来评估不同种植面积的风险和预期收益。

在我们的例子中：

风险函数描述了在不同种植面积下预期收益与实际收益之间的差异的风险；

损失函数是用来衡量预期产量与实际产量之间的差异。

1.3.4 贝叶斯解

贝叶斯解（Bayes solution）指的是在统计决策理论中使用贝叶斯方法来解决判决问题的方法。贝叶斯解决方案通过考虑先验概率、似然函数和损失函数，利用贝叶斯定理来计算后验概率，从而为判定问题提供一个统计学上的最佳解决方案。具体来说，贝叶斯解决方案涉及以下几个步骤：

确定概率模型：首先需要建立一个包括先验概率和似然函数的概率模型，先验概率描述我们在观测到数据之前的主观信念，而似然函数则描述了观测到数据的发生概率。

观测数据：观测到实际数据后，我们需要使用贝叶斯定理来更新我们的先验信念，计算出后验概率，即在考虑到观测到的数据后对各种决策的可能性进行估计。

判决准则：基于后验概率以及所设定的损失函数，选择一个最优的判决准则，以最小化整体的期望损失。

1.4 一些基本统计方法及理论的简单回顾

1.4.1 充分统计量及因子分解定理

充分统计量：对于一个统计模型中的参数，如果样本的条件分布在已知充分统计量的情况下不依赖于参数，则称该统计量是充分统计量。充分统计量包含了样本中关于参数的所有信息，使得我们可以只用充分统计量来做出关于参数的推断。
因子分解定理：因子分解定理指出，对于一个充分统计量，似然函数可以被分解成两个函数的乘积：一个仅包含参数相关信息，另一个仅包含充分统计量相关信息。这个定理提供了一种简化推断的方法，将参数的估计与充分统计量联系起来。

1.4.2 一致最小方差无偏估计与C-R不等式

一致最小方差无偏估计：指在估计某个参数时，既要估计准确（无偏），又要保证估计的方差尽可能小（最小方差）。如果一个估计量在样本量逐渐增加的情况下，趋向于估计准确的参数值且其方差趋近于零，那么这个估计被称为一致最小方差无偏估计。
C-R不等式：Cramér-Rao不等式是一个标准的统计理论结论，它指出对于任何无偏估计，估计量的方差下界由信息矩阵的逆矩阵和费舍尔信息不等式给出。这个不等式告诉我们，即使估计量是无偏的，其方差也受到一定的下界限制，我们不能通过简单的方法无限制地减小方差。

1.4.3 似然比检验方法