问:Softmax回归模型是一种典型处理多分类任务的非线性分类模型
答:错误。Softmax回归是线性分类模型。实际上是逻辑回归的拓展,它将逻辑回归的二分类推广到了多分类,用逻辑回归的方法解决多分类问题。
线性模型——Softmax回归
Softmax回归模型是一种用于分类问题的模型。它的主要思想是将每个类别的得分(或者说是概率)通过一个函数进行归一化,使得所有类别的概率之和等于1。这个函数就是Softmax函数,从而进行分类决策。在训练模型时,我们会通过最小化损失函数来调整模型参数,使得模型的预测结果与真实结果尽可能地接近。在实际应用中,Softmax回归模型经常被用来处理多分类问题,比如图像分类、自然语言处理等。
在学习softmax回归之前,需要先了解两个知识点,一个是softmax函数,另一个是One-Hat编码。softmax函数和逻辑回归中的sigmoid函数的作用一样,都是为了将线性回归的连续值转换为离散值,从而完成分类任务,不同之处在于,sigmoid将连续值转换为0和1,而对于一个C CC分类问题来说,softmax函数则是转换为{ 1 , 2 , 3... , C } \{1,2,3...,C\}{1,2,3...,C}。softmax函数表达式为:
Softmax 回归模型有以下几个特点:
- 对于每个类别,都存在一个独立的、实值加权向量
- 这个权重向量通常作为权重矩阵中的行。
- 对于每个类别,都存在一个独立的、实值偏置量b
- 它使用 softmax 函数作为其激活函数
- 它使用交叉熵( cross-entropy )作为损失函数