什么是回归

        回归树，随机森林的回归，无一例外他们都是区别于分类算法们，用来处理和预测连续型标签的算法。然而逻辑回归，是一种名为“回归”的线性分类器，其本质是由线性回归变化而来的，一种广泛使用于分类问题中的广义回归算法。要理解逻辑回归从何而来，得要先理解线性回归。线 性回归是机器学习中最简单的的回归算法，它写作一个几乎人人熟悉的方程：

        ⊖0为截距，⊖1~⊖n为系数；

如上方程，构建成矩阵如下，现在的目标就是构建⊖T的值。

        于是，我们就可以得到一个观点，即：线性回归的任务，就是构造一个预测函数来映射输入的特征矩阵x和标签值y的线性关系，而构造预测函数的核心就是找出模型的参数：⊖T和⊖0；

        通过函数Z ，线性回归使用输入的特征矩阵X来输出一组连续型的标签值y_pred，以完成各种预测连续型变量的任务,那如果我们的标签是离散型变量。

        这是引申了一个概念，连续型变量和离散型变量： 连续性变量是指可以取任何数值的变量，通常以测量或计量方式获得，例如身高、体重、温度等。离散型变量是指只能取有限个数值或整数的变量，通常以计数方式获得，例如家庭成员人数、投掷骰子点数等。

        这时就会产生一个问题，如果是满足0-1分布的离散型变量，我们要怎么办呢？我们可以通过引入联系函数(link function)。联系函数即一种将线性预测器转换为概率的函数。就是将线性回归方程z变换为g(z)，并且令g(z)的值分布在(0,1)之间，且当g(z)接近0时样本的标签为类别0，当g(z)接近1时样本的标签为类别1，这样就得到了一个分类模型。而这个联系函数对于逻辑回归来说，就是Sigmoid函数：

        这时又引申了一个概念，即归一化，归一化是一种数据预处理技术，用于将不同规模的数据转换为相同的比例。它通常是将数据缩放到特定的范围，例如0到1或-1到1之间。归一化可以消除不同变量之间的量纲影响，使得它们可以在相同的尺度下进行比较和分析。常用的归一化方法包括MinMaxScaler,而MinMaxScaler是可以取到0和1的（最大值归一化后就是1，最小值归一化后就是0），但Sigmoid函数只是无限趋近于0和1。