理论
可以将直方图视为图形或曲线图,从而使您对图像的强度分布有一个整体的了解。它是在X轴上具有像素值(不总是从0到255的范围),在Y轴上具有图像中相应像素数的图。
这只是理解图像的另一种方式。通过查看图像的直方图,您可以直观地了解该图像的对比度,亮度,强度分布等。当今几乎所有图像处理工具都提供直方图功能。
可以看到图像及其直方图。(请记住,此直方图是针对灰度图像而非彩色图像绘制的)。直方图的左侧区域显示图像中较暗像素的数量,而右侧区域则显示较亮像素的数量。从直方图中,您可以看到暗区域多于亮区域,中间值的数量(中间值的像素值,例如127附近)非常少。
查找直方图
现在我们有了一个关于直方图的想法,我们可以研究如何找到它。OpenCV和Numpy都为此内置了功能。在使用这些功能之前,我们需要了解一些与直方图有关的术语。
BINS :上面的直方图显示每个像素值的像素数,即从0到255。即,您需要256个值来显示上面的直方图。但是考虑一下,如果您不需要分别找到所有像素值的像素数,而是找到像素值间隔中的像素数怎么办?例如,您需要找到介于0到15之间,然后16到31之间,...,240到255之间的像素数。您只需要16个值即可表示直方图。这就是在 OpenCV直方图教程 中给出的示例中所显示的内容。
因此,您要做的就是将整个直方图分成16个子部分,每个子部分的值就是其中所有像素数的总和。每个子部分都称为“BIN”。在第一种情况下,bin的数量为256个(每个像素一个),而在第二种情况下,bin的数量仅为16个。BINS由OpenCV文档中的 histSize 术语表示。
DIMS :这是我们为其收集数据的参数的数量。在这种情况下,我们仅收集关于强度值的一件事的数据。所以这里是1。
范围 :这是您要测量的强度值的范围。通常,它是[0,256],即所有强度值。
1. OpenCV中的直方图计算
因此,现在我们使用 cv.calcHist() 函数查找直方图。让我们熟悉一下函数及其参数: $$ cv.calcHist(images, channels, mask, histSize, ranges[, hist[, accumulate]]) $$
- images:它是uint8或float32类型的源图像。它应该放在方括号中,即“ [img]”。
- channels:也以方括号给出。它是我们计算直方图的通道的索引。例如,如果输入为灰度图像,则其值为[0]。对于彩色图像,您可以传递[0],[1]或[2]分别计算蓝色,绿色或红色通道的直方图。
- mask:遮罩图像。为了找到完整图像的直方图,将其指定为“无”。但是,如果要查找图像特定区域的直方图,则必须为此创建一个遮罩图像并将其作为遮罩。(我将在后面显示一个示例。)
- histSize:这表示我们的BIN计数。需要放在方括号中。对于全尺寸,我们通过[256]。
- ranges:这是我们的RANGE。通常为[0,256]。 因此,让我们从示例图像开始。只需在灰度模式下加载图像并找到其完整的直方图即可。
img = cv.imread('home.jpg',0)
hist = cv.calcHist([img],[0],None,[256],[0,256])
hist是256x1的数组,每个值对应于该图像中具有相应像素值的像素数。
2. Numpy中的直方图计算
Numpy还为您提供了一个函数 np.histogram() 。因此,您可以在下面的行尝试代替 calcHist() 函数:
hist,bins = np.histogram(img.ravel(),256,[0,256])
hist与我们之前计算的相同。但是bin将具有257个元素,因为Numpy计算出bin的范围为0-0.99、1-1.99、2-2.99等。因此最终范围为255-255.99。为了表示这一点,他们还在料箱末端添加了256。但是我们不需要256。最多255就足够了。
也可以看看 Numpy还有另一个函数 np.bincount() ,它比np.histogram()快10倍左右。因此,对于一维直方图,您可以更好地尝试一下。不要忘记在np.bincount中设置minlength = 256。例如,hist = np.bincount(img.ravel(),minlength = 256)
注意 OpenCV函数比 np.histogram() 快(大约40倍)。因此,请坚持使用OpenCV功能。
绘制直方图
有两种方法,
- 简短方法:使用Matplotlib绘图功能
- 很长的路要走:使用OpenCV绘图功能
1.使用Matplotlib
Matplotlib带有直方图绘图功能:matplotlib.pyplot.hist()
它直接找到直方图并将其绘制。您无需使用 calcHist() 或 np.histogram() 函数来查找直方图。请参见下面的代码:
import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt
img = cv.imread('home.jpg',0)
plt.hist(img.ravel(),256,[0,256]); plt.show()
如下图:
或者,可以使用matplotlib的法线图,这对于BGR图是很好的。为此,您需要首先找到直方图数据。试试下面的代码:
import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt
img = cv.imread('home.jpg')
color = ('b','g','r')
for i,col in enumerate(color):
histr = cv.calcHist([img],[i],None,[256],[0,256])
plt.plot(histr,color = col)
plt.xlim([0,256])
plt.show()
结果:
蓝色在图像中具有一些高值区域(显然这应该是由于天空)
2.使用OpenCV
好吧,在这里您可以调整直方图的值及其bin值,使其看起来像x,y坐标,以便可以使用 cv.line() 或 cv.polyline() 函数绘制它以生成与上述相同的图像。OpenCV-Python2官方示例已经提供了此功能。检查 samples/python/hist.py 代码
遮罩的应用
我们使用 cv.calcHist() 查找完整图像的直方图。如果要查找图像某些区域的直方图怎么办?只需在要查找直方图的区域上创建白色的蒙版图像,否则创建黑色。然后通过这个作为面具。
img = cv.imread('home.jpg',0)
# create a mask
mask = np.zeros(img.shape[:2], np.uint8)
mask[100:300, 100:400] = 255
masked_img = cv.bitwise_and(img,img,mask = mask)
# Calculate histogram with mask and without mask
# Check third argument for mask
hist_full = cv.calcHist([img],[0],None,[256],[0,256])
hist_mask = cv.calcHist([img],[0],mask,[256],[0,256])
plt.subplot(221), plt.imshow(img, 'gray')
plt.subplot(222), plt.imshow(mask,'gray')
plt.subplot(223), plt.imshow(masked_img, 'gray')
plt.subplot(224), plt.plot(hist_full), plt.plot(hist_mask)
plt.xlim([0,256])
plt.show()
查看结果。在直方图中,蓝线表示完整图像的直方图,绿线表示遮蔽区域的直方图。
直方图均衡
我们将学习直方图均衡化的概念,并将其用于改善图像的对比度。 理论 考虑一个图像,其像素值仅限于特定的值范围。例如,较亮的图像会将所有像素限制在较高的值。但是,好的图像将具有来自图像所有区域的像素。因此,您需要将此直方图拉伸到两端(如下图所示,来自维基百科),这就是直方图均衡化的作用(简单来说)。通常,这可以提高图像的对比度。
import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt
img = cv.imread('wiki.jpg',0)
hist,bins = np.histogram(img.flatten(),256,[0,256])
cdf = hist.cumsum()
cdf_normalized = cdf * float(hist.max()) / cdf.max()
plt.plot(cdf_normalized, color = 'b')
plt.hist(img.flatten(),256,[0,256], color = 'r')
plt.xlim([0,256])
plt.legend(('cdf','histogram'), loc = 'upper left')
plt.show()
您可以看到直方图位于较亮的区域。我们需要全方位的服务。为此,我们需要一个转换函数,该函数将较亮区域中的输入像素映射到整个区域中的输出像素。这就是直方图均衡化的作用。
现在,我们找到最小的直方图值(不包括0)并应用Wiki页面中给出的直方图均衡方程。但是我在这里使用了Numpy的masked array概念数组。对于掩码数组,所有操作都在非掩码元素上执行。您可以从有关屏蔽数组的Numpy文档中了解有关此内容的更多信息。
cdf_m = np.ma.masked_equal(cdf,0)
cdf_m = (cdf_m - cdf_m.min())*255/(cdf_m.max()-cdf_m.min())
cdf = np.ma.filled(cdf_m,0).astype('uint8')
现在我们有了查找表,该表为我们提供了有关每个输入像素值的输出像素值是什么的信息。因此,我们仅应用变换。
img2 = cdf[img]
现在我们像以前一样计算它的直方图和cdf(您这样做),结果如下所示:
另一个重要特征是,即使图像是较暗的图像(而不是我们使用的较亮的图像),在均衡后,我们将获得与获得的图像几乎相同的图像。结果,它被用作“参考工具”,以使所有图像具有相同的照明条件。在许多情况下这很有用。例如,在人脸识别中,在训练人脸数据之前,将人脸图像进行直方图均衡,以使它们全部具有相同的光照条件。
OpenCV中的直方图均衡
OpenCV具有执行此操作的功能 cv.equalizeHist() 。它的输入只是灰度图像,输出是我们的直方图均衡图像。
下面是一个简单的代码片段,显示了它与我们使用的同一图像的用法:
img = cv.imread('wiki.jpg',0)
equ = cv.equalizeHist(img)
res = np.hstack((img,equ)) #stacking images side-by-side
cv.imwrite('res.png',res)
因此,现在您可以在不同的光照条件下拍摄不同的图像,对其进行均衡并检查结果。
当图像的直方图限制在特定区域时,直方图均衡化效果很好。在直方图覆盖较大区域(即同时存在亮像素和暗像素)的强度变化较大的地方,效果不好。
CLAHE(对比度受限的自适应直方图均衡)
我们刚刚看到的第一个直方图均衡化考虑了图像的整体对比度。在许多情况下,这不是一个好主意。例如,下图显示了输入图像及其在全局直方图均衡后的结果。
直方图均衡后,背景对比度确实得到了改善。但是在两个图像中比较雕像的脸。由于亮度过高,我们在那里丢失了大多数信息。这是因为它的直方图不像我们在前面的案例中所看到的那样局限于特定区域(尝试绘制输入图像的直方图,您将获得更多的直觉)。
因此,为了解决这个问题,使用了 自适应直方图均衡 。在这种情况下,图像被分成称为“ tiles”的小块(在OpenCV中,tileSize默认为8x8)。然后,像往常一样对这些块中的每一个进行直方图均衡。因此,在较小的区域中,直方图将局限于一个较小的区域(除非有噪声)。如果有噪音,它将被放大。为了避免这种情况,应用了 对比度限制 。如果任何直方图bin超过指定的对比度限制(在OpenCV中默认为40),则在应用直方图均衡之前,将这些像素裁剪并均匀地分布到其他bin。均衡后,要消除图块边界中的伪影,请应用双线性插值。
下面的代码片段显示了如何在OpenCV中应用CLAHE:
import numpy as np
import cv2 as cv
img = cv.imread('tsukuba_l.png',0)
# create a CLAHE object (Arguments are optional).
clahe = cv.createCLAHE(clipLimit=2.0, tileGridSize=(8,8))
cl1 = clahe.apply(img)
cv.imwrite('clahe_2.jpg',cl1)
查看下面的结果,并将其与上面的结果进行比较,尤其是雕像区域:
apachecn.github.io/opencv-doc-zh/#/