文章目录
- 1.随机变量(Random Variable)
- 2.概率密度函数(Probability Density Function, PDF)
- 3.期望(Expectation)
- 4.随机抽样(Random Sampling)
1.随机变量(Random Variable)
随机变量(Random Variable) 是一个未知的量,它的值取决于一个 随机事件(Random events) 。以抛硬币为例,抛硬币就是一个 随机事件 。正面朝上记为0,反面朝上记为1,因此抛硬币的结果就是一个 随机变量
X
X
X 。
注意: 通常用大写字母 X X X表示随机变量;用小写字母 x x x表示随机变量的观测值。例如抛硬币:
- 第1次是正面,则 x 1 = 0 x_{1}=0 x1=0;
- 第2次是反面,则 x 2 = 1 x_{2}=1 x2=1;
- 第3次是正面,则 x 3 = 0 x_{3}=0 x3=0;
- 第4次是正面,则 x 4 = 0 x_{4}=0 x4=0;
2.概率密度函数(Probability Density Function, PDF)
概率密度函数(PDF)表示了:随机变量
X
X
X 在某个确定的点
x
=
x
0
x=x_0
x=x0 附近取值的可能性。
理解1: 以高斯分布/正态分布(Gaussian distribution)为例。高斯分布是个连续的概率分布,它的概率密度函数PDF公式为:
p
(
x
)
=
1
2
π
σ
2
exp
(
−
(
x
−
μ
)
2
2
σ
2
)
p(x)=\frac{1}{\sqrt{2 \pi \sigma^{2}}} \exp \left(-\frac{(x-\mu)^{2}}{2 \sigma^{2}}\right)
p(x)=2πσ21exp(−2σ2(x−μ)2)
其中,随机变量 X X X 的取值可以是任意实数 x ∈ R x\in \mathcal{R} x∈R, μ \mu μ是均值, σ \sigma σ是标准差 。
高斯分布的图像如下图所示。在高斯分布的概率密度函数PDF图像中,横轴 x x x 是随机变量 X X X 的取值,纵轴 p ( x ) p(x) p(x) 是随机变量的概率密度,曲线 p ( x ) p(x) p(x) 是高斯分布的概率密度函数 p ( x ) p(x) p(x)。图像说明了: x x x 在原点( x = 0 x=0 x=0 )附近取值的概率比较大;在远离原点的地方( x = ∞ x=\infty x=∞ )取值的概率比较小。
理解2: 以离散的概率分布为例,如下图所示。 随机变量 X X X 的取值只能是离散的值 X ∈ { 1 , 3 , 7 } X \in \{1, 3, 7\} X∈{1,3,7}。
离散的概率分布的概率密度函数PDF表示了随机变量 X X X 在 1、3、7 这三个点取值的可能性(概率):
- p ( 1 ) = 0.2 p(1) = 0.2 p(1)=0.2 说明:随机变量 X X X 在 x = 1 x=1 x=1 时取值的概率概率为0.2 (x=1的概率为0.2);
- p ( 3 ) = 0.5 p(3) = 0.5 p(3)=0.5 说明:随机变量 X X X 在 x = 3 x=3 x=3 时取值的概率概率为0.5 (x=3的概率为0.2);
- p ( 7 ) = 0.3 p(7) = 0.3 p(7)=0.3 说明:随机变量 X X X 在 x = 7 x=7 x=7 时取值的概率概率为0.3 (x=7的概率为0.3);
- 同时还说明在其他地方的取值为0。
概率密度函数PDF的性质(令随机变量 X X X 的定义域为 X \mathcal{X} X ):
- 对于连续型随机变量
X
X
X 的概率密度函数PDF,随机变量
X
X
X 积分的值等于1,即:
∫ x ∈ X p ( x ) d x = 1 \int_{x\in\mathcal{X}}^{} p(x) dx = 1 ∫x∈Xp(x)dx=1 - 对于离散型随机变量
X
X
X的概率密度函数PDF,随机变量的和的值等于1,即:
∑ x ∈ X p ( x ) = 1 {\textstyle \sum_{x\in\mathcal{X}}^{} p(x)=1} ∑x∈Xp(x)=1
3.期望(Expectation)
期望的定义(令随机变量
X
X
X 的定义域为
X
\mathcal{X}
X ):
-
连续型随机变量 X X X 的期望:
E [ f ( x ) ] = ∫ x ∈ X p ( x ) ⋅ f ( x ) d x \mathbb{E}[f(x)]=\int_{x\in\mathcal{X}}^{} p(x)\cdot f(x)dx E[f(x)]=∫x∈Xp(x)⋅f(x)dx -
离散型随机变量 X X X 的期望:
E [ f ( x ) ] = ∑ x ∈ X p ( x ) ⋅ f ( x ) \mathbb{E}[f(x)]=\textstyle \sum_{x\in\mathcal{X}}^{} p(x)\cdot f(x) E[f(x)]=∑x∈Xp(x)⋅f(x)
理解:
p ( x ) p(x) p(x) 是随机变量 X X X 观测值 x x x 的概率, f ( x ) f(x) f(x) 是随机变量 X X X 观测值 x x x 出现的次数。以掷色子为例:
p ( x = 1 ) = 1 6 p(x=1)=\frac 1 6 p(x=1)=61, f ( x ) = 10 f(x)=10 f(x)=10 的含义:其中 p ( x = 1 ) p(x=1) p(x=1) 表示色子点数为1出现的概率为 1 6 \frac 1 6 61, f ( x ) = 10 f(x)=10 f(x)=10 表示色子点数为1出现的次数为10次。
4.随机抽样(Random Sampling)
随机抽样: 按照随机原则,利用随机数,从总体中抽取样本的方法。