机器人中的数值优化|【六】线性共轭梯度法，牛顿共轭梯度法
往期回顾
机器人中的数值优化|【一】数值优化基础
机器人中的数值优化|【二】最速下降法，可行牛顿法的python实现，以Rosenbrock function为例
机器人中的数值优化|【三】无约束优化，拟牛顿法理论与推导
机器人中的数值优化|【四】L-BFGS理论推导与延伸
机器人中的数值优化|【五】BFGS算法非凸/非光滑处理
关于牛顿-共轭梯度法，笔者认为对其最直接和最根本的认识，这篇帖子写得特别好，可以参考東雲正樹的 如何理解共轭梯度法 一文。
为什么要用Conjugate Gradient method？
从前面的系列我们知道，对于一个凸的无约束优化，我们总是希望通过梯度，基于这样那样的方法来到达最优点。在前面基本的梯度下降方法中，我们每次计算一个梯度，并根据线性搜索得到的一个较为不错的步长，向前优化一步。在Newton-CG method中我们不禁要提问了：有没有一种可以有确定的搜索次数，而且次数还比较少的方法呢？这个方法就是Newton-CG method。我们知道在向量中存在标准正交集的概念，在优化问题中，我们也存在共轭梯度的概念，关于共轭梯度的具体定义和推导可以进一步查阅相关的资料。本质上，就是把原来随机走梯度的过程，变为在凸问题空间中“正交”的梯度向量上，每个向量只走一步，且是最优的一步的过程。
从上面的例子我们可以看到，绿色为共轭梯度法，红色为梯度下降法，我们其实要做的工作就是在椭圆的切向和法向各走“最优”的一步，一步到位即可。
Gram-Schmitd正交化/施密特正交化
理解共轭梯度法，首先我们要回顾一个东西，那就是施密特正交化。利用施密特正交化，我们可以从空间中的一组向量得到互相正交的一组向量集。如果我们有一组互不平行的向量
[
α
1
,
α
2
,
α
3
,
α
4
,
α
5
,
.
.
.
]
{[\alpha_1, \alpha_2, \alpha_3, \alpha_4, \alpha_5,...]}
[α1,α2,α3,α4,α5,...],利用一下公式可以得到正交基：
β
1
=
α
1
\beta_1 = \alpha_1
β1=α1
β
2
=
α
2
−
(
β
1
,
α
2
)
(
β
1
,
β
1
)
β
1
\beta_2 = \alpha_2 - \frac{(\beta_1, \alpha_2)}{(\beta_1, \beta_1)} \beta_1
β2=α2−(β1,β1)(β1,α2)β1
β
3
=
α
3
−
(
β
1
,
α
3
)
(
β
1
,
β
1
)
β
1
−
(
β
2
,
α
3
)
(
β
2
,
β
2
)
β
2
\beta_3 = \alpha_3 - \frac{(\beta_1, \alpha_3)}{(\beta_1, \beta_1)} \beta_1 - \frac{(\beta_2, \alpha_3)}{(\beta_2, \beta_2)} \beta_2
β3=α3−(β1,β1)(β1,α3)β1−(β2,β2)(β2,α3)β2
β
4
=
α
4
−
(
β
1
,
α
4
)
(
β
1
,
β
1
)
β
1
−
(
β
2
,
α
4
)
(
β
2
,
β
2
)
β
2
−
(
β
3
,
α
4
)
(
β
3
,
β
3
)
β
3
\beta_4 = \alpha_4 - \frac{(\beta_1, \alpha_4)}{(\beta_1, \beta_1)} \beta_1 - \frac{(\beta_2, \alpha_4)}{(\beta_2, \beta_2)} \beta_2 - \frac{(\beta_3, \alpha_4)}{(\beta_3, \beta_3)} \beta_3
β4=α4−(β1,β1)(β1,α4)β1−(β2,β2)(β2,α4)β2−(β3,β3)(β3,α4)β3
.
.
.
...
...
线性共轭梯度法
对于如下的一个问题
a
r
g
m
i
n
x
f
(
x
)
=
1
2
x
T
A
x
−
b
T
x
argmin_x f(x) = \frac{1}{2}x^TAx - b^Tx
argminxf(x)=21xTAx−bTx
我们要求其无约束优化。这里我们可以引入共轭梯度的概念，其概念类似于正交向量，对于一个正交向量
u
,
v
u,v
u,v，有
u
T
v
=
0
u^Tv =0
uTv=0。一个矩阵
A
A
A,如果存在向量
u
,
v
u,v
u,v，有
u
T
A
v
=
0
u^TAv=0
uTAv=0，则我们认为
u
,
v
u,v
u,v关于
A
A
A共轭。在下降过程中，如果我们每一步选择的下降方向都是一个独立的共轭向量，且一共有
n
n
n个共轭向量，则最多需要
n
n
n步即可下降到最优点。
回顾优化过程，最核心的公式为
x
k
+
1
=
x
k
+
α
u
k
x_{k+1} = x_k + \alpha u_k
xk+1=xk+αuk
其中
u
k
u_k
uk为下降方向，
α
\alpha
α为步长。将
x
k
+
1
x_{k+1}
xk+1代入最优化目标公式，我们有
a
r
g
m
i
n
x
f
(
x
k
+
1
)
=
a
r
g
m
i
n
x
f
(
x
k
+
α
u
k
)
argmin_x f(x_{k+1}) = argmin_x f(x_k + \alpha u_k)
argminxf(xk+1)=argminxf(xk+αuk)
假设下降方向已经确定了，我们要确定最优步长
a
r
g
m
i
n
x
f
(
x
k
+
α
u
k
)
=
a
r
g
m
i
n
x
1
2
(
x
k
+
α
u
k
)
T
A
(
x
k
+
α
u
k
)
−
b
T
(
x
k
+
α
u
k
)
argmin_x f(x_k + \alpha u_k) = argmin_x \frac{1}{2}(x_k + \alpha u_k)^TA(x_k + \alpha u_k) - b^T(x_k + \alpha u_k)
argminxf(xk+αuk)=argminx21(xk+αuk)TA(xk+αuk)−bT(xk+αuk)
对
α
\alpha
α求导，有
a
r
g
m
i
n
x
f
′
(
x
k
+
α
u
k
)
=
0
argmin_x f'(x_k + \alpha u_k) = 0
argminxf′(xk+αuk)=0
解得
α
=
b
T
u
k
−
x
k
T
A
u
k
u
k
T
A
u
k
\alpha = \frac{b^Tu_k - x_k^TAu_k}{u_k^TAu_k}
α=ukTAukbTuk−xkTAuk
这里的
α
\alpha
α是最优步长的一个“尺度”，也就是scalar。那么问题来了，我们想要每次下降都能够是共轭方向的，怎么办呢？
设每次迭代之后的误差量为
r
k
=
A
x
k
−
b
r_k = Ax_k - b
rk=Axk−b
令
u
k
=
−
r
k
+
β
k
u
k
−
1
u_k = -r_k + \beta_k u_{k-1}
uk=−rk+βkuk−1
两边乘以
u
k
−
1
T
A
u_{k-1}^TA
uk−1TA有
u
k
−
1
T
A
u
k
=
−
u
k
−
1
T
A
r
k
+
u
k
−
1
T
A
β
k
u
k
−
1
u_{k-1}^TAu_{k} = -u_{k-1}^TAr_k + u_{k-1}^TA\beta_ku_{k-1}
uk−1TAuk=−uk−1TArk+uk−1TAβkuk−1
因为我们想要得到的是共轭方向，所以认为
u
k
−
1
T
A
u
k
=
0
u_{k-1}^TAu_{k} =0
uk−1TAuk=0
−
u
k
−
1
T
A
r
k
+
u
k
−
1
T
A
β
k
u
k
−
1
=
0
-u_{k-1}^TAr_k + u_{k-1}^TA\beta_ku_{k-1} = 0
−uk−1TArk+uk−1TAβkuk−1=0
β
k
=
r
k
T
A
u
k
−
1
u
k
−
1
T
A
u
k
−
1
\beta_k= \frac{r_k^T A u_{k-1}}{u_{k-1}^TAu_{k-1}}
βk=uk−1TAuk−1rkTAuk−1
在这里我们就可以得到一个缩放标量
β
k
\beta_k
βk可以迭代计算共轭向量，最后得到的算法如下所示
优化线性共轭梯度法
进一步的，我们可以提出更高效的线性共轭梯度法。首先引入一些定理（这里的
p
p
p就是
u
u
u）
根据前面的公式，有
α
=
b
T
u
k
−
x
k
T
A
u
k
u
k
T
A
u
k
=
−
r
k
T
u
k
u
k
T
A
u
k
\alpha = \frac{b^Tu_k - x_k^TAu_k}{u_k^TAu_k} = \frac{-r_k^Tu_k}{u_k^TAu_k}
α=ukTAukbTuk−xkTAuk=ukTAuk−rkTuk
由于
u
k
=
−
r
k
+
β
k
u
k
−
1
u_k = -r_{k} + \beta_k u_{k-1}
uk=−rk+βkuk−1
α
=
−
r
k
T
(
−
r
k
+
β
u
k
−
1
)
u
k
T
A
u
k
\alpha = \frac{-r_k^T(-r_k+\beta u_{k-1})}{u_k^TA u_k}
α=ukTAuk−rkT(−rk+βuk−1)
由于
r
k
T
u
k
−
1
=
0
r_k^Tu_{k-1}=0
rkTuk−1=0
有
α
k
=
r
k
T
r
k
u
k
T
A
u
k
\alpha_k = \frac{r_k^Tr_k}{u_k^TA u_k}
αk=ukTAukrkTrk
由于
α
k
A
p
k
=
r
k
+
1
−
r
k
\alpha_kAp_k = r_{k+1}-r_k
αkApk=rk+1−rk
继续代入有
β
k
+
1
=
r
k
+
1
T
r
k
+
1
r
k
T
r
k
\beta_{k+1} = \frac{r_{k+1}^Tr_{k+1}}{r_{k}^Tr_{k}}
βk+1=rkTrkrk+1Trk+1
下一节中，将介绍牛顿共轭梯度法
