生成模型和判别模型是机器学习中两种不同的建模方式。生成模型关注的是联合概率分布 P ( X , Y ) P(X, Y) P(X,Y),即同时考虑数据 X X X和标签 Y Y Y的关系;判别模型则直接学习条件概率 P ( Y ∣ X ) P(Y|X) P(Y∣X)或决策边界。
生成模型
生成模型的目标是学习联合概率分布
P
(
X
,
Y
)
P(X,Y)
P(X,Y),即同时建模输入数据
X
X
X和标签
Y
Y
Y的联合分布。
核心公式:
P
(
X
,
Y
)
=
P
(
Y
)
⋅
P
(
X
∣
Y
)
P(X, Y) = P(Y) \cdot P(X|Y)
P(X,Y)=P(Y)⋅P(X∣Y)
通过这个分布,模型可以:
- 推断标签的后验概率 P ( Y ∣ X ) P(Y|X) P(Y∣X)(通过贝叶斯定理)。
- 生成新的数据样本(如生成图像、文本等)。
在垃圾邮件分类中,朴素贝叶斯会分别学习正常邮件和垃圾邮件的词频分布(即 P ( 词语 ∣ 正常 ) P(词语|正常) P(词语∣正常)和 P ( 词语 ∣ 垃圾 ) P(词语|垃圾) P(词语∣垃圾)),在结合后验概率 P ( 正常 ) P(正常) P(正常)和 P ( 垃圾 ) P(垃圾) P(垃圾),通过贝叶斯定理计算后验概率 P ( 类别 ∣ 邮件内容 ) P(类别|邮件内容) P(类别∣邮件内容)。
判别模型
判别模型直接学习条件概率
P
(
Y
∣
X
)
P(Y∣X)
P(Y∣X) 或决策边界,即仅关注输入
X
X
X 和标签
Y
Y
Y 之间的映射关系。它的目标是最大化分类准确率,而非建模数据生成过程。
核心公式:
P
(
Y
∣
X
)
或直接学习映射
f
:
X
→
Y
P(Y|X) 或直接学习映射 f:X \rightarrow Y
P(Y∣X)或直接学习映射f:X→Y
例如:对于一个二分类问题,逻辑回归直接建模 P ( Y = 1 ∣ X ) = σ ( w T X + b ) P(Y=1|X)= \sigma (w^{T}X +b) P(Y=1∣X)=σ(wTX+b),(其中 σ \sigma σ是sigmoid函数, X X X是特征向量),找到最佳参数 w w w和 b b b,以最大化训练数据的似然函数,从而直接区分两类数据。