1,数学定义:
Note:<>在数学中通常指求期望的意思。
假设我们用感知机区分cat和dog,使用下面三个特征:x1: color of hair;x2:length of leg;x3:volume of head。cat 用+1表示,dog用-1表示(对应到 σ ( x ) \sigma(x) σ(x)函数的话,当函数结果为1时,判定为cat,为0时,判定为dog)。
三个特征对应有三个权重w1, w2, w3。
2,训练感知机
假如有三只cat和三只dog参与训练,编号分别为1,2,3,4,5,6。六只动物的统计信息如下(对于x1变量,假设0表示red,1表示yellow,2表示white):
1),初始化数据,w1到w3都设置为0;
2),样本1输入,y1[<w,x> +b]等于0,则需要对w1,w2,w3,b进行更新,w1 = x1y1+0 =0, w2 = x2y1+0 = 18, w3 = x3y1+0=37, b= 0+1=1;
3),样本2输入,容易计算得到y2[<w,x> +b]等于510.6667,结果大于0,模型不用更新;
4),样本3输入,容易判断模型仍不用更新;
5),样本4输入,y4为-1,模型需要更新;
6),。。。把所有的样本都训练完。
3,收敛定理
上述训练过程很粗糙,可能把所有样本都训练完了,模型效果也不好。可以用如上定理判断是否收敛。
4,感知机不能解决XOR问题