多项式拟合和正规方程

特征点的创建和合并

对于一个特定的问题，可以产生不同的特征点，通过对问题参数的重新定义和对原有特征点的数学处理合并拆分，能够得到更加优秀的特征点。

多项式回归

对于更多更加常见的数学模型，其拟合往往是非线性关系的，这时候就需要考虑引用多项式来进行拟合，如：$h(x)={\theta }_0+{\theta }_{1}x+{\theta }_2{x}^2+{\theta }_3{x}^3$

正规方程算法

（最小二乘法）

在微积分中，对于函数$f(x,y)$，其局部最值往往是在$f_x=0$ 且$f_y=0$处取得。
因此，对于代价函数$J(\theta )$，求$J(\theta )$对每一个${\theta }_i$的偏导数，令它们都为0，即：
$$\frac{\partial J(\theta )}{\partial {\theta }_i}=0fori=0,1,2,\dots ,n$$
称为正规方程(Regular expression)。正规方程提供了一种直接求出最小值的方法，而不需要依赖迭代进行一步一步地运算。

正规方程的矩阵形式

对于数据集$\{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...,(x^{(m)},y^{(m)})\}$, 其中每一个$x^{(i)}$都是一个向量：$x^{(i)}=\left[\begin{array}{c}{x}_0^{(i)}\\ x_1^{(i)}\\ ...\\ x_n^{(i)}\end{array}\right]$
构建设计矩阵（Design matrix）$X=\left[\begin{array}{c}(x^{(1)}{)}^T\\ (x^{(2}{)}^T\\ ...\\ (x^{(m)}{)}^T\end{array}\right]$和值向量$y=\left[\begin{array}{c}{y}^{(1)}\\ y^{(2)}\\ ...\\ y^{(m)}\end{array}\right]$
将代价函数转化为矩阵方程的形式，再对其求导，令其等于0，得到代价函数取得最小值时的$\theta$：
$$\theta =(X^{T}X{)}^{-1}{X}^{T}y$$
对比梯度下降算法：
正规方程算法不需要学习率和迭代，但对大规模数量（万数量级以上）的特征点（n），工作效率十分低下。对于一些如分类算法等等更加复杂的算法，正规方程法并不适用于求它们在极值处的θ值。

正规方程的不可逆性

在使用正规方程时，要注意的问题是，如果设计矩阵X不可逆（为奇异矩阵），正规方程会无法使用。

设计矩阵为奇异矩阵的常见情况：

1. x-I 不满足线性关系
2. 正在运行的学习算法中，特征点的数量大于样本点的数量（使得$m\le n$）

当设计矩阵X不可逆时，应当尝试删除一些特征点，或者考虑正规化（Regularation）。
但是总体而言，矩阵X不可逆的情况是极少数的。