感知机( perceptron )是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1 和-1二值。感知机对应输入空间(特征空间)中将实例划分为正负两类的分离超平面，是一种判别模型。感知机是神经网络与支持向量机的基础

感知机学习旨在求出将训练数据进行线性划分的分离超平面。

感知机学习策略

假设训练数据集线性可分

学习目标：求得正确划分训练集中所有正负实例点的分离超平面

学习策略：1、确定一个损失函数。2、选取使损失函数最小的参数。

---

损失函数的选择：误分类点到分离超平面的距离

任一点到超平面的距离公式：，其中是的范数，

向量的范数：向量各元素平方和的平方根

定理:对于误分类数据,有

从而由距离公式和上述定理，得

误分类点到超平面的距离公式： 

实现了去掉绝对值的工作

所有误分类点到超平面的总距离： ，为误分类点集合

不必考虑,最终得到损失函数

---

损失函数： 

一 个特定的样本点的损失函数：在误分类时是参数的线性函数；在正确分类时是0。

因此，

注： 给定训练数据集时，损失函数是的连续可导函数