文章目录
- 一、信息论（熵、联合熵、条件熵）
- 二、Bernoulli熵
- 三、联合熵和条件熵
- 四、互信息
- 五、相对熵(KL距离)
- 常需要的不等式公式
一、信息论（熵、联合熵、条件熵）
熵定义：
H
(
X
)
=
E
[
−
l
o
g
2
p
(
x
)
]
=
−
∑
x
∈
X
p
(
x
)
l
o
g
2
p
(
x
)
H(X)=E[-log_2p(x)]=-\sum_{x\in X}p(x)log_2p(x)
H(X)=E[−log2p(x)]=−x∈X∑p(x)log2p(x)
note
- H(X)是X的平均香农信息内容
- H(X)是每个符号的平均信息量
- 二元问题(抛硬币)，H(X)取值为[H(X),H(X)+1]
为什么用 l o g 2 ( . ) log_2(.) log2(.)衡量信息
非负性： f ( p ) ≥ 0 f(p)\ge0 f(p)≥0, 0 ≤ p ≤ 1 0\le p\le1 0≤p≤1
特殊点：当p=0, f ( p ) = ∞ f(p)=\infty f(p)=∞
可加性
单调递增连续性 ？？
二、Bernoulli熵
符号集
χ
=
[
0
,
1
]
\chi=[0,1]
χ=[0,1]，对应的概率
p
⃗
=
[
p
,
1
−
p
]
\vec{p}=[p,1-p]
p=[p,1−p]
Bernoulli熵：
H
(
X
)
=
H
(
p
)
=
−
p
l
o
g
2
p
−
(
1
−
p
)
l
o
g
2
(
1
−
p
)
H(X)=H(p)=-plog_2p-(1-p)log_2(1-p)
H(X)=H(p)=−plog2p−(1−p)log2(1−p)
note：
- 通常用 H ( p ) H(p) H(p)表示 H ( X ) H(X) H(X)
- p=0 or 1时， H ( p ) = 0 H(p)=0 H(p)=0
- H ( p ) H(p) H(p)是p的凸函数
- p=0.5， H ( p ) H(p) H(p)最大
- H ( p ) H(p) H(p)的取值范围 0 ≤ H ( p ) ≤ l o g 2 ∣ χ ∣ 0\le H(p)\le log_2|\chi| 0≤H(p)≤log2∣χ∣
三、联合熵和条件熵
联合熵：
H
(
X
,
Y
)
=
−
E
l
o
g
p
(
x
,
y
)
=
−
∑
x
∈
X
∑
y
∈
Y
p
(
x
,
y
)
l
o
g
p
(
x
,
y
)
H(X,Y)=-Elogp(x,y)=-\sum_{x\in X} \sum_{y\in Y} p(x,y)logp(x,y)
H(X,Y)=−Elogp(x,y)=−x∈X∑y∈Y∑p(x,y)logp(x,y)
条件熵
H
(
Y
∣
X
)
=
−
E
l
o
g
(
y
∣
x
)
=
−
∑
x
∈
X
∑
y
∈
Y
p
(
x
,
y
)
l
o
g
p
(
y
∣
x
)
H(Y|X)=-Elog(y|x)=-\sum_{x\in X} \sum_{y\in Y}p(x,y)logp(y|x)
H(Y∣X)=−Elog(y∣x)=−x∈X∑y∈Y∑p(x,y)logp(y∣x)
H
(
Y
∣
X
)
=
∑
x
∈
X
p
(
x
)
H
(
Y
∣
X
=
x
)
H(Y|X)=\sum_{x\in X}p(x)H(Y|X=x)
H(Y∣X)=x∈X∑p(x)H(Y∣X=x)
熵的链式法则
- H ( X , Y ) = H ( X ) + H ( Y ∣ X ) H(X,Y)=H(X)+H(Y|X) H(X,Y)=H(X)+H(Y∣X)
- H ( X , Y ∣ Z ) = H ( X ∣ Z ) + H ( Y ∣ X , Z ) H(X,Y|Z)=H(X|Z)+H(Y|X,Z) H(X,Y∣Z)=H(X∣Z)+H(Y∣X,Z)
- H ( X 1 , X 2 , . . . . X n ) = ∑ i = 1 n H ( X i ∣ X i − 1 , . . . . X 1 ) H(X_1,X_2,....X_n)=\sum_{i=1}^{n}H(X_i|X_{i-1},....X_1) H(X1,X2,....Xn)=∑i=1nH(Xi∣Xi−1,....X1)
四、互信息
定义：
I
(
X
;
Y
)
=
H
(
X
)
−
H
(
X
∣
Y
)
=
H
(
X
)
+
H
(
Y
)
−
H
(
X
,
Y
)
I(X;Y)=H(X)-H(X|Y)=H(X)+H(Y)-H(X,Y)
I(X;Y)=H(X)−H(X∣Y)=H(X)+H(Y)−H(X,Y)
互信息具有对称性
I ( X ; Y ) = H ( X ) − H ( X ∣ Y ) = H ( Y ) − H ( Y ∣ X ) I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X) I(X;Y)=H(X)−H(X∣Y)=H(Y)−H(Y∣X)
I ( X ; Y ) = H ( X ) + H ( Y ) − H ( X , Y ) I(X;Y)=H(X)+H(Y)-H(X,Y) I(X;Y)=H(X)+H(Y)−H(X,Y)
I ( X ; Y ) = I ( Y , X ) I(X;Y)=I(Y,X) I(X;Y)=I(Y,X)
I ( X ; X ) = H ( X ) I(X;X)=H(X) I(X;X)=H(X)
I ( X ; Y ) ≥ 0 I(X;Y)\ge0 I(X;Y)≥0，当且仅当X Y互相独立时，等号成立
互信息的链式法则
I
(
X
1
,
X
2
,
.
.
.
.
X
n
;
Y
)
=
∑
i
=
1
n
I
(
X
i
;
Y
∣
X
i
−
1
,
.
.
.
.
,
X
1
)
I(X_1,X_2,....X_n;Y)=\sum_{i=1}^nI(X_i;Y|X_{i-1},....,X_1)
I(X1,X2,....Xn;Y)=i=1∑nI(Xi;Y∣Xi−1,....,X1)
五、相对熵(KL距离)
D
(
p
⃗
∣
∣
q
⃗
)
=
∑
x
∈
X
p
(
x
)
l
o
g
q
(
x
)
p
(
x
)
=
E
p
⃗
[
−
l
o
g
q
(
x
)
]
−
H
(
p
⃗
)
D(\vec{p}||\vec{q})=\sum_{x\in X}p(x)log\frac{q(x)}{p(x)}=E_{\vec{p}}[-logq(x)]-H(\vec{p})
D(p∣∣q)=x∈X∑p(x)logp(x)q(x)=Ep[−logq(x)]−H(p)
D
(
p
⃗
∣
∣
q
⃗
)
D(\vec{p}||\vec{q})
D(p∣∣q)测量的是两个概率分布
p
⃗
\vec{p}
p和
q
⃗
\vec{q}
q间的距离，并非真实距离
D
(
p
⃗
∣
∣
q
⃗
)
≥
0
D(\vec{p}||\vec{q})\ge 0
D(p∣∣q)≥0，当且仅当
p
⃗
\vec{p}
p=
q
⃗
\vec{q}
q，等号成立
常需要的不等式公式
H
(
Y
∣
X
)
≤
H
(
X
)
H(Y|X)\le H(X)
H(Y∣X)≤H(X),X和Y互相独立时，等号成立
H
(
X
1
,
X
2
,
.
.
.
.
X
n
)
≤
∑
i
=
1
n
H
(
X
i
)
H(X_1,X_2,....X_n)\le \sum_{i=1}^nH(X_i)
H(X1,X2,....Xn)≤∑i=1nH(Xi)，当且仅当
X
i
X_i
Xi互相独立时等号成立
参考文章：通信算法基础知识汇总（5）
