概率论基础知识
- 样本概率：P(x)表示样本x出现的概率，也就是在全体样本中出现的概率
- 先验概率：对于多类问题，类别状态 ω i \omega_i ωi出现的概率, P ( ω i ) P{\left(\omega_i\right)} P(ωi)
- 条件概率：在类别 ω l \omega_l ωl中，样本 x x x出现的概率，称为条件概率 P ( x ∣ ω i ) P(\mathbf{x}|\omega_i) P(x∣ωi)
- 后验概率：对于样本 x x x,其来自于类别 ω l \omega_l ωl的概率， 称为后验概率 P ( ω i ∣ x ) P(\omega_i|\mathbf{x}) P(ωi∣x)
- 全概率： P ( A ) = ∑ i = 1 n P ( A , B i ) P(A)=\sum_{i=1}^nP(A,B_i) P(A)=∑i=1nP(A,Bi)又因为条件概率公式，可进一步 P ( A ) = ∑ i = 1 n P ( A ∣ B i ) P ( B i ) P(A)=\sum_{i=1}^nP(A|B_i)P(B_i) P(A)=∑i=1nP(A∣Bi)P(Bi)
全概率公式的意义在于，当某一事件的概率难以求得时，可转化为在一系列条件下发生概率的和
条件概率
P(A|B)=P(AB)/P(B) =
P
(
B
∣
A
)
⋅
P
(
A
)
P
(
B
)
\frac{ P(B|A)\cdot P(A) }{ P(B)}
P(B)P(B∣A)⋅P(A)
乘法公式
- 若P(B)>0,则P(AB) = P(B)P(A|B)
- 若P(A)>0,则P(AB) = P(A)P(B|A)
全概率公式
P
(
A
)
=
∑
i
=
1
n
P
(
A
∣
B
i
)
P
(
B
i
)
P(A)=\sum_{i=1}^nP(A|B_i)P(B_i)
P(A)=i=1∑nP(A∣Bi)P(Bi)
直接计算P(A)比较困难，则根据B样本空间对事件A进行分割求解
贝叶斯公式
定义：若事件
B
1
,
B
2
.
.
.
.
.
.
B
n
B_1,B_2......B_n
B1,B2......Bn是样本空间
α
\alpha
α的一组分割，且P(A)>0,P(
B
i
B_i
Bi)>0,则
P
(
B
i
∣
A
)
=
P
(
A
B
i
)
P
(
A
)
=
P
(
B
i
)
P
(
A
∣
B
i
)
P
(
A
)
=
P
(
B
i
)
P
(
A
∣
B
i
)
)
∑
j
=
1
n
P
(
B
j
)
P
(
A
∣
B
j
)
P(B_i|A)=\frac{P(AB_i)}{P(A)}=\frac{P(B_i)P(A|B_i)}{P(A)}=\frac{P(B_i)P(A|B_i))}{\sum_{j=1}^{n}P(B_j)P(A|B_j)}
P(Bi∣A)=P(A)P(ABi)=P(A)P(Bi)P(A∣Bi)=∑j=1nP(Bj)P(A∣Bj)P(Bi)P(A∣Bi))
P
(
B
i
)
P(B_i)
P(Bi)是先验概率
P
(
B
i
∣
A
)
P(B_i|A)
P(Bi∣A)是后验概率
