概率和似然

news2024/9/28 15:22:44

在日常生活中，我们经常使用这些术语。但是在统计学和机器学习上下文中使用时，有一个本质的区别。本文将用理论和例子来解释概率和似然之间的关键区别。

概率与似然

假设在一场棒球比赛中，两队的队长都被召集到场上掷硬币。获胜的队长将根据掷硬币的结果选择先击球还是先投球。

现在，获胜的队长选择先击球的概率是多少？我们现在知道只有两种可能的结果：获胜的队长决定先投球或开始击球。获胜的队有50%的几率会选择先击球。

评论员现在正在讨论获胜队长选择首先在击球的可能性。在实际中这个数字可能不到 50%，因为选择先击球会受球场类型、天气、对方球队等因素的影响。比如说如果比赛前下了大雨，决定先击球的可能性会低至 1%。如果天气条件恰到好处，那么获胜的队选择先击球的可能性可能高达 95%。

所以在计算概率值时，我们相信参数值θ=0.5是正确的。在考虑了所有参数之后，我们假设我们确定参数值 θ=0.5。但是在计算似然时，我们的目标是确定我们是否可以信任该参数。

所以我们可以说概率是基于纯数学的；然而似然是一个有许多参数和条件的函数。

为什么似然不是概率分布？

在抛硬币的情况下，我们可以阐述以下关于潜在结果 x 的情况。

硬币正面朝上的概率是，

在此基础上，我们可以提出以下关于求硬币正面朝上和反面朝上的概率的问题。

下面的方程可以推广前一组方程。

现在，我们可以看到上面的公式适用于k=1和k=0的值。

有了以上的基础，现在要考虑两种不同的情况。

1、概率

假设在抛硬币之前，我们知道参数θ=3/4的值。在此基础上可以说得到正面的概率是P(正面)= θ = 3/4, P(反面)= 1-θ = 1/4。让我们把这些数据画在一个简单的图表上。我们保持参数(θ)不变，并改变数据(x=1或x=0)。

2、似然

现在，假设我们在抛硬币之前不知道正面或反面的概率，而我们有数据的结果，也就是说我们已经掷过硬币。现在，给定 x=1，找到 θ 的概率是多少。在这种情况下，我们保持数据 (x=1) 不变并更改参数 (θ)。

我们目标是想找到定义这种结果的分布。简而言之，我们想要找到给定 x 的 θ 值。可以将其写成如下的数学格式。

P(x=1 | θ) = L(θ | x=1)

这里需要注意的关键是曲线下的面积是1/2。所以，我们可以说它不是一个有效的概率分布。它被称为似然分布。似然函数不服从概率定律。因此似然函数在[0,1]区间内是无界的。

概率和似然之间的关键区别

假设我们从参数化分布 F(X;θ) 中得到一个随机变量 X。在此参数化分布中，θ 是定义分布 F(X;θ) 的参数。随机变量 X=x 的概率为 P(X=x) = F(x;θ)，这里的参数 θ 是已知的。

而我们一般情况下会拥有现实世界中的数据 (x)，而定义分布 (θ) 的参数是未知的。给定模型 F(X;θ)，似然度定义为观测数据 X 随 θ 变化的概率。我们可以将其写为 L(θ) = P(θ; X=x)。这里X 已知，但定义分布 (θ) 的参数未知。定义似然的动机是为了确定分布的参数。

在我们的日常生活中，经常将概率和似然称为同一事物。例如：明天下雨的概率是多少？或者明天下雨的可能性（似然）有多大？但是这些术语在机器学习和统计学中有很大不同。下面的一个例子可以解释概率和似然之间的关键区别。

当我们计算概率结果时，我们假设模型的参数是值得信赖的。但是当我们计算似然时，我们会根据我们观察到的样本数据来确定我们是否可以信任模型中的参数。

抛硬币

如果一枚硬币正面朝上和背面朝上的概率相等，就称其为均匀硬币。换句话说，P(正面)= P(反面)= 1/2。

假设有一枚均匀硬币。我们假设硬币参数值(θ = 0.5)。在寻找概率时，我们假设参数是可信的。也就是说如果我们抛这枚硬币一次，它正面朝上的概率是1/2。现在我们抛硬币100次，发现只有12次是正面朝上的。基于这些证据，我们会说硬币是均匀的可能性非常低。因为如果硬币是均匀的，我们预计它正面朝上的概率是一半，也就是50次。

在上面的例子中，我们可以说，100次硬币正面朝上的概率只有12次，这让我们高度怀疑，因为在给定的条件中，硬币正面朝下的实际概率实际上是p = 0.5。但如果这枚硬币55次正面，我们就可以说这枚硬币很可能是均匀的。