对于高斯过程,高斯指的是多元高斯分布,过程指的是随机过程。
我们都知道随机过程就是指函数的分布,那么多元高斯分布实际上应该是指无限元的高斯分布。
协方差函数也称为核函数,是高斯过程回归的重点。核函数的选取方式有很多,包括径向基函数(高斯核函数)、线性核函数、周期核函数等等。此处为不影响推导的连续性,各种核函数的具体讲解将在本文后续呈现。
”
注意,输出之间的协方差是输入的函数表示。对于这个特定的协方差函数,我们可以看到,在输入空间中,对应输入非常接近的变量之间的协方差几乎为单位,而随着它们在输入空间中的距离增加,协方差逐渐减小。
指定协方差函数意味着指定了函数的分布。为了理解这一点,我们可以从函数的分布中抽取样本,这些样本在任意数量的点上进行评估;具体而言,我们选择一些输入点
,然后使用式(12)逐个元素地计算对应的协方差矩阵。然后,我们使用该协方差矩阵生成一个随机的高斯向量并将生成的值绘制为输入的函数:
图(a)从GP先验中随机绘制的三个函数;图(b)显示了从后验中随机绘制的三个函数,即先验在已给出的五个无噪声观测上的条件概率分布。在两