知识树
Knowledge tree
P(y|x),P给定x的条件下,y的概率。如:P(y=我招女孩子喜欢的概率|我是学生)
一个小故事
A story
-
女朋友和妈妈掉河里,路人拿出3颗豆,两颗红豆1颗绿豆。如果我抽中红豆救女朋友,抽中绿豆救妈妈。
-
我和路人各种抽一颗,路人发现自己抽中的是绿豆,他想用剩下的那颗跟我换,我换不换?换豆和女朋友活下去的概率一样吗?
直觉来讲:
换不换豆我抽中红豆的概率应该都是1/3。这时路人跟我说他的是绿豆,排除一颗,我抽中红豆的概率是1/2。换不换概率都是1/2
条件概率:
P(A|B)表示在B发生的条件下,发生A的概率。
计算:设A表示我抽中的是红豆,B表示路人抽中的是绿豆
结论:如果要救女朋友,最好和路人交换(2/3)。如果要救妈,最好不要换。
直观理解
Intuitive understanding
假设有一个手写数据集,里面有100条记录,分别是0-10。
此时小红写了个数字X,怎么判断是数字几?
朴素贝叶斯工作原理:
P(Y = 0|X) = ?, P(Y = 1|X)=? ......, P(Y = 10|X) = ?
找到概率最高的,就是对应的数字。
数学理解
Mathmetical
上面的数字判别公式修改为P(Y=Ck|X=x)。
朴素贝叶斯的“朴素”原因是因为这里假设它们都是相互独立的。
参数估计
Mathematical understanding
其中I(yi = Ck) 这里的是指示函数,如果yi属于当前类别,则计1,否则0
举个例子
Example
试由下表的训练数据学习一个朴素贝叶斯分类器,并确定x=(2,S)T的类标签记y。表中X(1),X(2)为特征,取值的集合分别为A1={1,2,3},A2={S,M,L},Y为类标记,Y∈C = {1,-1}。
对于给定的
计算:
总结
Summarization
-
条件概率公式:
,表示在已发生事件B的情况下,事件A发生的概率。
-
使用条件概率公式逐步导出最后参数估计的步骤需牢记。
-
后续会遇到很多类似的推导过程,一般都是先各种替换变复杂最后简化。
另,公式存在一点点问题,如公式的分母可能为0。