1、背景描述

逻辑回归本身只能用于二分类问题，如果实际情况是多分类的，那么就需要对模型进行一些改动。下面介绍三种常用的将逻辑回归用于多分类的方法

2、One vs One

OvO（One vs One）方法是指从多个类别中任意抽取出两个类别，然后将对应的样本输入到一个逻辑回归的模型中，学习到一个对这两个类别的分类器，然后重复以上的步骤，直到所有类别两两之间都学习到一个分类器

简单来说，就是让不同类别的数据两两组合训练分类器

例如，对于3分类问题，分类器的数量为$C_3^2$=3个，即可以得到3个二元分类器

分类器的数量可以使用$C_k^2$计算，其中$k$代表类别的数量

在预测阶段，只需要将测试样本分别输入训练阶段训练好的3个分类器进行预测，最后将3个分类器预测出的结果进行投票统计，票数最高的结果为预测结果

例如，下面的3分类问题：

上图（从左到右）分别为三角形与十字星训练出的分类器、三角形与正方形训练出的分类器和正方形与十字星训练出的分类器

现在，我们有一个在红色圆圈位置的数据，如下图，通过上述方法，我们如何预测的这个数据是哪一类？

将新样本分别输入训练好的3个分类器：第一个分类器会认为它是一个十字星，第二个分类器会认为它偏向三角形，第三个分类器会认为它是十字星，经过3个分类器的投票之后，可以预测红色圆圈位置所代表的数据的类别为十字星

任何一个测试样本都可以通过分类器的投票选举出预测结果，这就是OvO（One vs One）的运行方式

在OvO的方法中，当需要预测的类别变得很多的时候，那么我们需要进行训练的分类器也变得很多了，这将大大提高训练开销。但是，每一个训练器中，我们只需要输入两个类别对应的训练样本