文章目录
- 1. 感知机模型是什么?有什么作用?
- 2. 三要素
- 2.1 模型
- 2.2 策略
- 2.3 算法
1. 感知机模型是什么?有什么作用?
-
定义:感知机模型是建立将训练数据完全划分为2类的超平面。
注意:
- 由于感知机只关心将样本分开,并不关心样本x与标签y的关系,所以属于生成模型与判别模型中的判别模型。
- 如果训练数据集是线性可分的,那么感知机一定能找到那个平面。如果不是,则最后无法获得超平面,这是感知机的局限性。
-
作用:感知机模型是解决分类问题的线性模型或确定模型或参数模型。输入是实例的特征向量,输出的是实例的类别,分别是 +1 和 -1 。
2. 三要素
2.1 模型
感知机模型为:线性函数 套上一个 符号函数。
- 对于式子中符号的解释:
其中,超平面已经能将样本分开了,而将划分再进行符号化处理,是为输出分类结果服务的。- 证明为什么w是直线(高维空间下为超平面)的法向量
2.2 策略
- 损失函数:采用自定义损失函数:误分类点到超平面的总距离。
- 经验风险:
- 函数距离 与 几何距离 公式:
2.3 算法
-
目标函数是什么?答:经验风险最小化
-
怎么对目标函数求最优参数?答:采用随机梯度下降。随机梯度下降有两种形式:
- 原始形式
关于 w,b 的更新公式,是如何根据经验风险求梯度得到?点击此处
- 对偶形式
- 原始形式