（八）目标跟踪中参数估计（似然、贝叶斯估计）理论知识

news2024/11/24 12:35:10

前言

一、统计学基础知识

（一）随机变量

（二）全概率公式

（三）高斯分布及其性质

二、似然是什么？

（一）概率和似然

（二）极大似然估计

三、贝叶斯估计

（一）古典统计学与贝叶斯统计学的区别

（二）贝叶斯公式

总结

前言

目标跟踪过程可以看做参数估计的过程，即利用测量信息实时对目标状态进行估计，需要用到很多概率统计的基础知识。在此针对参数估计中常用的基础知识和概念进行总结和讲解，根据自己的经验对似然函数和贝叶斯估计进行了详细的讲解，希望能为大家深入理解目标跟踪过程提供帮助。

一、统计学基础知识

（一）随机变量

随机变量的值可以理解为“随机事件中的变量”，是某随机试验（常见例子：抛硬币）的结果。在目标跟踪过程中，随机变量可以是跟踪目标的位置或者速度。根据随机变量是否连续可以将其分为离散随机变量和连续随机变量。

连续随机变量x用概率密度函数（pdf）来表示，变量取值在一段区域内的概率为pdf在该段的积分，并且积分总和为1。公式为： $P\left ( x \right )\geq 0,\int P\left ( x \right )dx = 1$

离散随机变量x的取值为离散数值，不同取值的概率构成概率质量函数（pmf），所有取值的概率和为一。公式为： $P\left ( x =i\right )\geq 0,\int P\left ( x \right )dx = 1$

（二）全概率公式

假设已知变量x和变量z的联合分布 $P\left ( x,z \right )$ ，其中变量z的分布 $P\left ( z \right )$ 称之为边缘分布。边缘分布可以通过联合概率积分或者累加的方式消除其中一个变量的影响从而获得边缘分布。

离散变量： $P\left ( z \right )=\sum _{x\in S\left ( x \right )}P\left ( x,z \right )=\sum _{x\in S\left ( x \right )}P\left ( x \right )P\left ( z\mid x \right )$

连续变量： $P\left ( z \right )=\int _{x\in S\left ( x \right )}P\left ( x,z \right ) dx=\int _{x\in S\left ( x \right )}P\left ( x \right )P\left ( z\mid x \right )dx$

（三）高斯分布及其性质

对于随机变量，具有两个非常重要的特性，即均值（期望）和（协）方差。均值体现了随机变量的平均值，协方差体现了随机变量的分散程度。当随机变量为多维时，方差变为协方差。

假设Y为多维变量，均值和协方差的定义如下：

$E\left \{ Y\right \}=\int Yp\left ( Y \right )dY$

$Cov\left \{ Y \right \}=E\left \{ \left [ Y-E\left \{ Y \right \}\right ] \left [ Y-E\left \{ Y \right \} \right ]^{\top }\right \}$

目标跟踪过程中常用到的分布形式为高斯分布，也称为正态分布。正态分布可以表示为 $x\sim N\left ( \mu ,Q \right )$ ， $\mu$ 和 $Q$ 为高斯分布的两个参数，分布的pdf表示为：

$P\left ( x \right ) = N\left ( x\mid \mu , Q\right ) = \frac{1}{\sqrt{2\pi Q}}exp\left ( \frac{1}{2} \left ( x-\mu \right )^{\top }Q^{-1}\left ( x-\mu \right )\right )$

二、似然是什么？

（一）概率和似然

概率的概念是已知分布形式和参数，度量某个样本的可能性（已知因，度量果）；似然是已知分布形式和对应生成的样本，度量某个未知分布参数的可能性（已知果，度量因）。概率和似然正好是分布的两个方面，样本是分布表现的现象（果），分布参数是分布的本质（因）。

似然（likehood）必须满足以下两个条件：

1.对于某个参数的分布形式必须是事先假设已知（先验），而分布参数未知，比如假设分布形式为正态分布，伯努利分布等。

2.必须有来自这个分布的独立采样的样本（也就是必须要有数据）。

（二）极大似然估计

基于上述似然的条件，针对待估计的参数，使用一堆已知的样本去反推某个参数估计值，作为这个分布参数的可能性（似然）。通俗来讲，就是根据已知生成的样本，希望找到能最大概率生成观测数据的分布参数 $\theta ^{\ast }$ 。

若观测值为Z，被估计参数为 $\theta$ ，则对应的方法可以描述为：

$\theta ^{\ast } = arg \, \, max_{\theta } \, \, p\left ( Z\mid \theta\right )$

公式通过导数为0来进行求解。

想进一步了解的同学可以观看下面的链接：
参数估计(二).最大似然估计https://zhuanlan.zhihu.com/p/55791843

三、贝叶斯估计

（一）古典统计学与贝叶斯统计学的区别

1.概念不同：古典统计学派又叫做频率学派，所研究的对象是能大量重复的随机现象。例如例如掷硬币试验就是可以大量重复的随机现象，结果包括正面和反面。通过进行大量的掷硬币试验，发现正、反面朝上的概率分别稳定在0.5左右。但是某些时间例如明天车子抛锚的概率是60%，这里的概率就不能用频率来理解，因为车子不可能一直坏。贝叶斯学派认为：一个事件的概率是人们根据经验对该事件发生可能性所给出的个人信念，这种概率称为主观概率。贝叶斯学派允许利用经验获得的先验信息，以提升统计推断的质量。

2.对参数的理解不同：古典统计把θ看成一个常数，对于某种现象进行统计推断。贝叶斯统计把参数θ看成一个随机变量来进行统计推断，用概率分布来描述θ的未知状况，θ不是固定的常值。

3.侧重点不同：古典统计学研究重心为总体，不是样本。贝叶斯统计学是通过将样本观测值与先验相结合，共同得到后验值，侧重的重心为样本。

（二）贝叶斯公式

贝叶斯公式的核心就是后验概率正比于先验概率乘以似然。如下图所示：

先验分布：指某件事发生的概率。

后验分布：指某一件事在其他事件发生的前提下发生的概率。

先验分布是指通过主观判断或者依据过去经验，对概率进行预测，之后通过越来越多的观测值来修正预测，得到最后的后验分布。需要注意的是贝叶斯公式的核心在于不消除未知变量的不确定性，而是通过越来越多的新的观测点来持续更新我们对于未知变量不确定性的认识，提升我们对于不确定性的信心。

针对连续变量，贝叶斯公式可以写为：

$\pi \left ( \theta _{i}\mid x \right )=\frac{\pi \left ( \theta _{i}\right )f(x\mid \theta _{i})}{\int _{\theta }f(x\mid \theta )\pi \left ( \theta \right )d\theta }$