概要

OpenCV中，可以使用各种函数实现图像梯度和Canny边缘检测，这些操作对于图像处理和分析非常重要。

图像梯度通常用于寻找图像中的边缘和轮廓。在OpenCV中，可以使用cv2.Sobel()函数计算图像的梯度，该函数可以计算图像在水平和垂直方向上的梯度。梯度的方向和大小可以帮助理解图像中的边缘信息。

Canny边缘检测是一种经典的边缘检测算法，它通过多个步骤来检测图像中的边缘。首先，Canny算法使用Sobel算子计算图像的梯度。然后，它通过非极大值抑制（Non-Maximum Suppression）来细化边缘。接着，Canny算法使用双阈值（Double Thresholding）来检测强边缘和弱边缘，并通过连接强边缘来得到最终的边缘图像。Canny边缘检测在图像处理中被广泛应用，因为它能够准确地检测出图像中的边缘。

在OpenCV中，可以使用cv2.Sobel()函数计算图像的梯度，而Canny边缘检测则可以通过cv2.Canny()函数实现。通过这些函数，可以方便地在OpenCV中实现图像梯度和Canny边缘检测，进而进行各种图像分析和处理任务。

图像梯度

寻找图像梯度，边缘等等。
函数：cv.Sobel(), cv.Scharr(), cvLaplacian() 等等。

Sobel和Scharr导数：
Sobel算子是一种结合了高斯平滑和微分操作的滤波器，因此它对图像中的噪声具有较好的抵抗能力。使用Sobel算子时，可以指定所需导数的方向，通过参数yorder和xorder来确定是垂直方向还是水平方向的导数。此外，还可以通过参数ksize指定核（kernel）的大小。当ksize设为-1时，OpenCV会使用3×3的Scharr滤波器，其结果通常比3×3的Sobel滤波器更为精确。

拉普拉斯导数
它计算了由关系式给出的图像的拉普拉斯算子，其中关系式为

其中每一个导数都是用 Sobel 导数找到的。如果 ksize = -1，滤波器会使用下面这个内核。

import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt

# 读取图像
img = cv.imread('dave.jpg', 0)

# 计算拉普拉斯边缘
laplacian = cv.Laplacian(img, cv.CV_64F)

# 计算Sobel边缘（x和y方向）
sobelx = cv.Sobel(img, cv.CV_64F, 1, 0, ksize=5)
sobely = cv.Sobel(img, cv.CV_64F, 0, 1, ksize=5)

# 绘制原始图像
plt.subplot(2, 2, 1), plt.imshow(img, cmap='gray')
plt.title('Original'), plt.xticks([]), plt.yticks([])

# 绘制拉普拉斯边缘图像
plt.subplot(2, 2, 2), plt.imshow(laplacian, cmap='gray')
plt.title('Laplacian'), plt.xticks([]), plt.yticks([])

# 绘制Sobel X边缘图像
plt.subplot(2, 2, 3), plt.imshow(sobelx, cmap='gray')
plt.title('Sobel X'), plt.xticks([]), plt.yticks([])

# 绘制Sobel Y边缘图像
plt.subplot(2, 2, 4), plt.imshow(sobely, cmap='gray')
plt.title('Sobel Y'), plt.xticks([]), plt.yticks([])

# 显示图像
plt.show()

在我们的最后一个例子中，我们使用了Sobel滤波器来检测图像中的边缘。然而，当我们将输出数据类型转换为cv.CV_8U或者np.uint8时，存在一个小问题。在图像中，从黑色到白色的过渡被视为正斜率（它具有正值），而从白色到黑色的过渡被视为负斜率（它具有负值）。因此，当我们将数据类型转换为np.uint8时，所有负斜率都被截断为0，也就是说，我们会错过所有负斜率对应的边缘。

如果我们希望找到所有的边缘，更好的方法是将输出的数据类型保持在一个更高的精度范围内，例如cv.CV_16S、cv.CV_64F等，然后取其绝对值，最后再转换回cv.CV_8U类型。下面的代码演示了这个过程，特别是在处理水平Sobel滤波器时，以及结果的差异。

import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt

# 读取灰度图像
img = cv.imread('img.png', 0)

# 使用Sobel滤波器，输出数据类型为cv.CV_8U
sobelx8u = cv.Sobel(img, cv.CV_8U, 1, 0, ksize=5)

# 使用Sobel滤波器，输出数据类型为cv.CV_64F，然后取绝对值并转换为cv.CV_8U
sobelx64f = cv.Sobel(img, cv.CV_64F, 1, 0, ksize=5)
abs_sobel64f = np.absolute(sobelx64f)
sobel_8u = np.uint8(abs_sobel64f)

# 显示原始图像、Sobel输出（cv.CV_8U）和Sobel绝对值（cv.CV_64F）
plt.subplot(1, 3, 1), plt.imshow(img, cmap='gray')
plt.title('Original'), plt.xticks([]), plt.yticks([])
plt.subplot(1, 3, 2), plt.imshow(sobelx8u, cmap='gray')
plt.title('Sobel CV_8U'), plt.xticks([]), plt.yticks([])
plt.subplot(1, 3, 3), plt.imshow(sobel_8u, cmap='gray')
plt.title('Sobel abs(CV_64F)'), plt.xticks([]), plt.yticks([])

# 显示图像
plt.show()

Canny边缘检测

Canny边缘检测的概念
OpenCV函数：cv.Canny(）

Canny边缘检测是一种广泛应用的边缘检测算法，由John F. Canny开发而成。该算法包含多个阶段，下面我们将详细介绍每个阶段的过程：

噪声减少：
由于边缘检测对图像中的噪声非常敏感，第一步是通过一个5X5的高斯滤波器对图像进行平滑处理，以去除噪声。

寻找图像中的变化（梯度）强度：
接下来，使用Sobel核在水平和垂直方向上对平滑后的图像进行滤波，得到水平方向（$G_x$）和垂直方向（$G_y$）的一阶导数。通过这两个导数，我们可以计算每个像素点的边缘梯度幅值和方向。梯度方向始终与边缘垂直，通常近似为水平、垂直和两个对角线方向中的一个。

非极大值抑制：
在得到梯度大小和方向之后，在每个像素点上进行全图扫描。对于每个像素，检查其梯度值是否在相邻像素中是最大的。如果是，保留该值，否则将其置为0。这一步骤产生了一个"薄边"的二值图像。

滞后阈值：
在此阶段，我们需要确定哪些边缘是真实的，哪些是噪声或者假的。为此，我们使用两个阈值，minVal（最小值）和maxVal（最大值）。所有强度大于maxVal的边缘被视为真正的边缘，低于minVal的被丢弃。介于两者之间的边缘会基于连通性来判断是否为边缘。如果它们与确定的边缘相连，则保留，否则被抛弃。这一步骤也基于边缘是长线的假设来去除小的像素噪声。

边缘 A 因为在 maxVal 上面，所以是肯定的边缘。尽管边缘 C 的位置在 maxVal 下面，但是因为它和边缘 A 相连接，所以我们认为它也是个有效边缘，如此得到了一条完整的曲线。但是对于边缘 B 来说，哪怕它在 minVal 上面，和边缘 C 处在同一个区域上，可是它并不和任何一条有效边缘连接，所以会被丢弃。所以，为了得到正确的结果，我们需要确定好 minVal 和 maxVal 的值。

最终，经过这些步骤，我们就能得到一条完整的边缘在图像中。

OpenCV中的Canny边缘检测

import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt

# 读取灰度图像
img = cv.imread('img.png', 0)

# 使用Canny边缘检测算法，阈值设置为100和200
edges = cv.Canny(img, 100, 200)

# 显示原始图像和Canny边缘检测结果
plt.subplot(121), plt.imshow(img, cmap='gray')
plt.title('Original Image'), plt.xticks([]), plt.yticks([])

plt.subplot(122), plt.imshow(edges, cmap='gray')
plt.title('Edge Image'), plt.xticks([]), plt.yticks([])

plt.show()

小结

图像梯度：

OpenCV提供了多种方法来计算图像的梯度，包括Sobel、Scharr和拉普拉斯滤波器。
Sobel算子是一种联合高斯平滑和微分操作的滤波器，可以计算图像在水平和垂直方向上的梯度。
使用Sobel算子时，你可以指定所需导数的方向（水平或垂直）以及核的大小。
拉普拉斯滤波器用于计算图像的拉普拉斯算子，通过将图像的二阶导数与Sobel导数相关联来实现。

Canny边缘检测：

Canny边缘检测是一种多阶段算法，用于检测图像中的边缘。
第一阶段是噪声减少，通常通过应用高斯滤波器来实现，以平滑图像并减少噪声。
第二阶段是计算图像的梯度，通常使用Sobel滤波器，以获得图像的水平和垂直梯度。
接下来进行非极大值抑制，以去除可能不构成边缘的像素，仅保留边缘像素。
最后一个阶段是滞后阈值，需要设置两个阈值（minVal和maxVal），以确定哪些边缘是真实的。根据这些阈值，边缘可能被分类为强边缘、弱边缘或非边缘，并进行相应的处理。