GAME101-Lecture06学习

前言

上节课主要讲的是三角形的光栅化。重要的思想是要利用像素的中心对三角形可见性的函数进行采样。

这节课主要就是反走样。

课程链接：Lecture 06 Rasterization 2 (Antialiasing and Z-Buffering)_哔哩哔哩_bilibili

反走样引入

通过采样，得到的这个三角形和实际的三角形有很大的区别。这种效果叫做锯齿，学名叫走样（aliasing）

采样产生的问题

artifacts:表示图形学中一切看上去不太对的东西。

采样会产生一系列问题，其本质都是信号（或者说采样的函数）变得太快了，以至于采样的速度跟不上它变化的速度。

锯齿（aliasing）
摩尔纹：将图像的奇数行和奇数列就可以产生
车轮效应：生活中高速行驶的汽车，在视频中看上去的效果可能是倒着转的。人眼在时间中的采样出了问题。

防走样的做法

在采样之前做一个模糊（滤波），可以进行反走样。（而先走样在模糊的话，无法达到效果。）

如图在三角形采样前，做一遍模糊，然后再对这些像素点进行采样。

傅里叶

傅里叶级数展开

任何一个周期函数都可以写成一系列正弦和余弦函数他们的线性组合以及他们的常数项，这就叫做傅里叶级数展开。

傅里叶变换

傅里叶变换和傅里叶级数展开并不是一个东西。

给定任意一个函数f(x)，经过一系列操作变成另外一个函数F(x)，这个变换过程叫做傅里叶变换。

F(x)通过逆变换也可以变回f(x)，叫做逆傅里叶变换。

走样探究

频率

定义f为频率。

用f即可定义波变化有多快，从而也能定义周期T。

傅里叶变换的应用

傅里叶变换可以把一个函数（图形学中将一幅图像看作一个二维函数），从时域（空间和时间都称为时域）变为频域。

我们对左边的图进行一次傅里叶变换，从时域变为频域，就会得到右边的图。

将右边图的中心定义为低频的区域，那么从中心到四周频率会越来越高。不同频率表示的信息多少，我们通过亮度来表示。

右图中，图像的中心是最亮的，而前面我们定义了中心是低频，这就意味着左边的图像中，信息都集中在低频区域。

右图中有一个十字的线。这是做傅里叶变换时会出现的现象。因为在分析一个信号时，会认为它是周期性重复的信号，但是大多数图都是不周期性重复的信号。

可以将左图当作是一个周期，那么这个图的周期性重复就是类似桌面平铺的样子。左图在左右上下边界后就没有画像了，分析的时候看作将这张图左右上下叠了无数个，这就是无数个周期。
此时有了一个问题，大多数图的左右边界是不一样的（即图左右的边缘不一样）。当我们让这幅图和左边重复的图衔接时，衔接处的像素会产生一个剧烈的变化（可以想象成右边界是黑的，但是用来衔接的旁边的左边界是白的，黑到白直接是一个突变），就会产生一个极高的高频。

傅里叶变换能够让我们看到，左边的图像在不同频率长什么样子（即信号在不同频率长什么样，叫做频谱）。

频率中的采样

傅里叶变换就是把函数变成不同的频率的段，然后把不同频率的段显示出来。

更高的频率需要更快的采样
低频信号:充分采样以进行合理的重构
高频信号采样不足:重建错误地似乎是从一个低频信号

如图，绿色曲线表示频率，黑色点表示采样点，蓝色虚线是通过采样点还原的频率。

，如果我们用同样的采样方法来对不同的波进行采样，采样的效果是不一样的。因此，我们需要让函数变化的频率和采样的频率匹配，才能让所有的采样都达到一个想要的效果。

频率中的走样

高频信号采样不足：采样错误地表现为来自低频信号
在给定的采样率下难以区分的两个频率称为“aliases”（走样）

如图，首先让蓝色的函数根据图中白色点的方式进行采样。根据采样的点还原，可以得到黑色的这个函数。

接着假设黑色线是待采样的函数，如果也用白色点的方式进行采样。还原后得到的依旧是这个黑色的这个函数。

同样的一个采样方法，采用两种不同的频率的函数得到的结果，我们无法区分它们，这就叫做走样

滤波

滤波（filtering）：把某个特定频段（就是一个规定的范围内的频率）给删除，这个对应的信号是如何变化的，叫做滤波（即去掉一系列频率）

高通滤波

将低频信号全部抹去，只剩下高频的信号的滤波叫高通滤波。

在傅里叶变换的基础上，将低频信号全部抹去，只剩下高频的信号，就是右图。将剩余的高频信号逆处理回去，就是左图。

可以发现，高频的东西其实就是表示图像内容的边界（比如图中的袖口等）。

边界可以理解成是突变比较大的“分水岭”，这个边界左右（或上下）发生了非常剧烈的变化，而图像信息变化快的地方频率就高。

进一步可以认为，高频的地方图片信息变化非常大。

低通滤波

将所有高频信息抹掉，只剩下低频信息的滤波叫低通滤波。

在傅里叶变换的基础上，将所有高频信息抹掉，只剩下低频信息，可以发现所有的“边界”都去掉了，整个图像是一个模糊的样子。

特定频段滤波

将高频和低频的信息都去掉，留下某一段特定频率的信息，此时提取到的是一些不那么明显的“边界”特征。

同样，如果左侧留下的光圈更加外边（更接近高频），那么这个“边界”特征会越明显。

卷积、平均

平均（averag）操作：可以想象成低通滤波，造成模糊的效果。

卷积操作

假设滤波器（filter）是一个窗口，窗口中有若干个各自。将信号与滤波窗口进行点乘操作（第三行的式子），点乘的结果写回窗口的中心值。

其实就是将某个原始的信号取其周围的信号进行加权求和，得到一个新的信号。任意一个数都是周围若干数的平均。

将某一种滤波作用在一个信号上，进行卷积操作（点乘加权平均），得到一个新的信号。（这是图形学简化后的定义，不是数学上的定义）

（这就是卷积能够提取特征的原因）

卷积定理

对一个图像进行卷积操作，得到新的图像。对应的就是将原本图像对应的信号，乘以一个信号，就会得到一个新的信号，被乘数的那个信号就是卷积，新的信号就是新的图像。

时域的卷积 = 频域的乘积，反之亦然

卷积盒

卷积盒可以看作是一个滤波器，卷积操作就是一个低通滤波器，让图像更加模糊。

写成图中数字加盒子的形式，相当于是一个归一化的操作。

卷积盒的范围变大，对应的频率是变小的，结果更加模糊。

原因个人是这么理解的：

假设在这个box变得超级大，大到以任意一个像素为中心，都能覆盖得了所有得像素。
看前面的卷积操作的计算方式，其实就是以每一个像素为中心，box覆盖到的像素一起取平均。每个像素取平均的值，在box超级大时，就可以认为是同一批数据。
那么卷积操作后，无限大的box导致每个像素长得一摸一样。这就是模糊到了一个程度，整张图看不出任何信息。相当于边界全部没有了。卷积盒box越大，边界越少，图像信息越来越少，图像越来越模糊。
在频域中，如上图box变大后，频域图中间的亮点们变小变淡了。前面我们将亮度高的当作高频，这里就相当于高频越来越少。卷积盒box越大，高频信息越来越少。