什么是Hu 矩?
Hu 矩(Hu Moments)是由计算机视觉领域的科学家Ming-Kuei Hu于1962年提出的一种图像特征描述方法。这些矩是用于描述图像形状和几何特征的不变特征,具有平移、旋转和尺度不变性,适用于图像识别、匹配和形状分析等任务。
Ming-Kuei Hu在其论文中提出了七个用于形状描述的独特特征,称之为Hu矩。这些特征通过一系列组合和归一化操作,能够捕获图像的不同几何属性,如大小、形状、旋转等,同时保持了对这些变换的不变性。这使得Hu矩在图像处理领域中成为了一种重要的特征表示方法。
以下是七个Hu矩的表示:
-
第一不变矩(Invariant Moment 1):描述图像的大小。
-
第二不变矩(Invariant Moment 2):描述图像的形状,与图像的缩放无关。
-
第三不变矩(Invariant Moment 3):描述图像的形状,与图像的缩放无关。
-
第四不变矩(Invariant Moment 4):描述图像的形状和旋转,与图像的缩放无关。
-
第五不变矩(Invariant Moment 5):描述图像的形状和旋转,与图像的缩放无关。
-
第六不变矩(Invariant Moment 6):描述图像的形状,与图像的缩放和旋转无关。
-
第七不变矩(Invariant Moment 7):描述图像的形状,与图像的缩放和旋转无关。
Hu 矩 应用场景?
Hu 矩(Hu Moments)由于其对图像形状的不变性,适用于多种图像处理和模式识别应用场景。以下是一些常见的Hu矩应用场景:
-
形状识别:Hu矩可以用于描述图像中的形状,从而实现形状识别。它们对图像的尺度、旋转和平移变换具有不变性,因此可以在不同的姿态和尺寸下进行形状匹配。
-
模式识别:Hu矩可以用于模式识别任务,如字符识别、手写字体识别等。它们可以捕获图像的局部和全局特征,从而实现对不同模式的识别。
-
目标检测:Hu矩可以用于图像中目标的检测和定位。通过比较目标和待检测区域的Hu矩特征,可以判断目标是否存在并确定其位置。
-
图像匹配:Hu矩可以用于图像的匹配和对准。通过计算图像的Hu矩特征,可以找到相似的图像或对象。
-
图像检索:在图像检索任务中,Hu矩可以用作图像的特征表示,从而实现对相似图像的检索。
-
物体排序:Hu矩可以用于对物体进行排序,根据其形状特征的相似性进行排列。
-
医学图像分析:在医学图像领域,Hu矩可以用于描述器官和病变的形状特征,实现图像分析和诊断。
-
遥感图像分析:在遥感图像分析中,Hu矩可以用于分析地物的形状和分布,如土地利用分类等
Hu矩函数介绍
函数 cv2.HuMoments()的语法格式为:
hu = cv2.HuMoments( m )
式中返回值 hu,表示返回的 Hu 矩值;参数 m,是由函数 cv2.moments()计算得到矩特征值。
Hu 矩是归一化中心矩的线性组合,每一个矩都是通过归一化中心矩的组合运算得到的。
函数 cv2.moments()返回的归一化中心矩中包含:
- 二阶 Hu 矩:nu20, nu11, nu02
- 三阶 Hu 矩:nu30, nu21, nu12, nu03
为了表述上的方便,将上述字母“nu”表示为字母“v”,则归一化中心矩为: - 二阶 Hu 矩:v20, v11, v02
- 三阶 Hu 矩:v30, v21, v12, v03
上述 7 个 Hu 矩的计算公式为:
代码示例:
本例对 Hu 矩中的第 0 个矩ℎ0 = 𝑣20 + 𝑣02的关系进行验证,即 Hu 矩中第 0 个矩对应的函数 cv2.moments()的返回值为:
ℎ0 = 𝑛𝑢20 + 𝑛𝑢02
代码如下:
import cv2
o1 = cv2.imread('cs1.bmp')
gray = cv2.cvtColor(o1,cv2.COLOR_BGR2GRAY)
#获取图像的Hu矩
HuM1=cv2.HuMoments(cv2.moments(gray)).flatten()
print("cv2.moments(gray)=\n",cv2.moments(gray))
print("\nHuM1=\n",HuM1)
print("\ncv2.moments(gray)['nu20']+cv2.moments(gray)['nu02']=%f+%f=%f\n"
%(cv2.moments(gray)['nu20'],cv2.moments(gray)['nu02'],
cv2.moments(gray)['nu20']+cv2.moments(gray)['nu02']))
print("HuM1[0]=",HuM1[0])
print("\nHu[0]-(nu02+nu20)=",
HuM1[0]-(cv2.moments(gray)['nu20']+cv2.moments(gray)['nu02']))
运行结果:
cv2.moments(gray)=
{'m00': 2729265.0, 'm10': 823361085.0, 'm01': 353802555.0, 'm20': 256058984145.0, 'm11': 104985534390.0, 'm02': 47279854725.0, 'm30': 81917664997185.0, 'm21': 32126275537320.0, 'm12': 13822864338150.0, 'm03': 6484319942535.0, 'mu20': 7668492092.239544, 'mu11': -1749156290.6675763, 'mu02': 1415401136.0198045, 'mu30': 43285283824.24758, 'mu21': -12028503719.706358, 'mu12': 13036213891.873255, 'mu03': -11670178717.880629, 'nu20': 0.0010294815371794516, 'nu11': -0.0002348211467422498, 'nu02': 0.00019001510593064498, 'nu30': 3.517434386213551e-06, 'nu21': -9.77456282143905e-07, 'nu12': 1.0593444921255944e-06, 'nu03': -9.48338194620685e-07}
HuM1=
[ 1.21949664e-03 9.25267773e-07 4.05157060e-12 2.46555893e-11
2.41189094e-22 2.27497012e-14 -5.05282814e-23]
cv2.moments(gray)['nu20']+cv2.moments(gray)['nu02']=0.001029+0.000190=0.001219
HuM1[0]= 0.0012194966431100965
Hu[0]-(nu02+nu20)= 0.0
程序运行结果显示“Hu[0]-(nu02+nu20)= 0.0”。从该结果可知,关系ℎ0 = 𝑛𝑛20 + 𝑛𝑢02成立。
示例2: 计算三幅不同图像的 Hu 矩,并进行比较。
代码如下:
import cv2
o1 = cv2.imread('cs1.bmp')
gray1 = cv2.cvtColor(o1,cv2.COLOR_BGR2GRAY)
HuM1=cv2.HuMoments(cv2.moments(gray1)).flatten()
#----------------计算图像 o2 的 Hu 矩-------------------
o2 = cv2.imread('cs3.bmp')
gray2 = cv2.cvtColor(o2,cv2.COLOR_BGR2GRAY)
HuM2=cv2.HuMoments(cv2.moments(gray2)).flatten()
#----------------计算图像 o3 的 Hu 矩-------------------
o3 = cv2.imread('lena.bmp')
gray3 = cv2.cvtColor(o3,cv2.COLOR_BGR2GRAY)
HuM3=cv2.HuMoments(cv2.moments(gray3)).flatten()
#---------打印图像 o1、图像 o2、图像 o3 的特征值------------
print("o1.shape=",o1.shape)
print("o2.shape=",o2.shape)
print("o3.shape=",o3.shape)
print("cv2.moments(gray1)=\n",cv2.moments(gray1))
print("cv2.moments(gray2)=\n",cv2.moments(gray2))
print("cv2.moments(gray3)=\n",cv2.moments(gray3))
print("\nHuM1=\n",HuM1)
print("\nHuM2=\n",HuM2)
print("\nHuM3=\n",HuM3)
#---------计算图像 o1 与图像 o2、图像 o3 的 Hu 矩之差----------------
print("\nHuM1-HuM2=",HuM1-HuM2)
print("\nHuM1-HuM3=",HuM1-HuM3)
#---------显示图像----------------
cv2.imshow("original1",o1)
cv2.imshow("original2",o2)
cv2.imshow("original3",o3)
cv2.waitKey()
cv2.destroyAllWindows()
运行结果:
显示各个图像的 shape 属性、moments 属性、HuMoments 属性,以及不同图像的 Hu 矩之差
o1.shape= (425, 514, 3)
o2.shape= (425, 514, 3)
o3.shape= (512, 512, 3)
cv2.moments(gray1)=
{'m00': 2729265.0, 'm10': 823361085.0, 'm01': 353802555.0, 'm20': 256058984145.0, 'm11': 104985534390.0, 'm02': 47279854725.0, 'm30': 81917664997185.0, 'm21': 32126275537320.0, 'm12': 13822864338150.0, 'm03': 6484319942535.0, 'mu20': 7668492092.239544, 'mu11': -1749156290.6675763, 'mu02': 1415401136.0198045, 'mu30': 43285283824.24758, 'mu21': -12028503719.706358, 'mu12': 13036213891.873255, 'mu03': -11670178717.880629, 'nu20': 0.0010294815371794516, 'nu11': -0.0002348211467422498, 'nu02': 0.00019001510593064498, 'nu30': 3.517434386213551e-06, 'nu21': -9.77456282143905e-07, 'nu12': 1.0593444921255944e-06, 'nu03': -9.48338194620685e-07}
cv2.moments(gray2)=
{'m00': 1755675.0, 'm10': 518360685.0, 'm01': 190849140.0, 'm20': 156229722135.0, 'm11': 55624504050.0, 'm02': 21328437150.0, 'm30': 47992502493915.0, 'm21': 16559578863270.0, 'm12': 6135747671370.0, 'm03': 2448843661890.0, 'mu20': 3184426306.5185323, 'mu11': -723448129.1111062, 'mu02': 582345624.666668, 'mu30': -14508249198.719406, 'mu21': 3955540976.461006, 'mu12': -4161129804.772763, 'mu03': 3747496072.0989423, 'nu20': 0.0010331014067430548, 'nu11': -0.00023470327398074627, 'nu02': 0.00018892636416872804, 'nu30': -3.552259578607564e-06, 'nu21': 9.684909688102524e-07, 'nu12': -1.018828185563436e-06, 'nu03': 9.175523962658914e-07}
cv2.moments(gray3)=
{'m00': 32524520.0, 'm10': 8668693016.0, 'm01': 8048246168.0, 'm20': 3012074835288.0, 'm11': 2188197716912.0, 'm02': 2697437187672.0, 'm30': 1162360702630328.0, 'm21': 771188127583648.0, 'm12': 737629807045152.0, 'm03': 1024874860779368.0, 'mu20': 701626022956.6517, 'mu11': 43115319152.08315, 'mu02': 705885386731.4578, 'mu30': -14447234840441.977, 'mu21': 2862363425762.6274, 'mu12': -2650458863973.0146, 'mu03': 8044566997348.251, 'nu20': 0.0006632601374460898, 'nu11': 4.0757713612639876e-05, 'nu02': 0.0006672865932933315, 'nu30': -2.3947351703101653e-06, 'nu21': 4.7445773821681405e-07, 'nu12': -4.393330024129607e-07, 'nu03': 1.3334460006519109e-06}
HuM1=
[ 1.21949664e-03 9.25267773e-07 4.05157060e-12 2.46555893e-11
2.41189094e-22 2.27497012e-14 -5.05282814e-23]
HuM2=
[ 1.22202777e-03 9.32974010e-07 4.19762083e-12 2.44520029e-11
2.44855011e-22 2.27298009e-14 -3.76120600e-23]
HuM3=
[ 1.33054673e-03 6.66097722e-09 1.16744767e-12 1.13004583e-11
-2.02613532e-24 -8.54504575e-16 4.09952009e-23]
HuM1-HuM2= [-2.53112780e-06 -7.70623675e-09 -1.46050222e-13 2.03586345e-13
-3.66591675e-24 1.99003443e-17 -1.29162214e-23]
HuM1-HuM3= [-1.11050088e-04 9.18606796e-07 2.88412294e-12 1.33551309e-11
2.43215229e-22 2.36042058e-14 -9.15234823e-23]
从上述输出结果可以看到,由于 Hu 矩的值本身就非常小,因此在这里并没有发现两个对象的 Hu 矩差值的特殊意义。那怎么样才行让这三个图进行更明显的匹配呢? opencv 提供了函数 cv2.matchShapes()
允许我们提供两个对象,对二者的 Hu 矩进行比较。
形状匹配函数 cv2.matchShapes()
函数 cv2.matchShapes()的语法格式为:
retval = cv2.matchShapes( contour1, contour2, method, parameter )
式中 retval 是返回值。
该函数有如下 4 个参数:
- contour1:第 1 个轮廓或者灰度图像。
- contour2:第 2 个轮廓或者灰度图像。
- method:比较两个对象的 Hu 矩的方法,具体如表 12-1 所示
在表 12-1 中,A 表示对象 1,B 表示对象 2:
式中,ℎ𝑖𝐴和ℎ𝑖𝐵分别是对象 A 和对象 B 的 Hu 矩。
- parameter:应用于 method 的特定参数,该参数为扩展参数,目前(新版本)不支持该参数,因此将该值设置为 0。
示例:使用函数 cv2.matchShapes()计算三幅不同图像的匹配度。
代码如下:
import cv2
o1 = cv2.imread('cs1.bmp')
o2 = cv2.imread('cs2.bmp')
o3 = cv2.imread('cc.bmp')
gray1 = cv2.cvtColor(o1,cv2.COLOR_BGR2GRAY)
gray2 = cv2.cvtColor(o2,cv2.COLOR_BGR2GRAY)
gray3 = cv2.cvtColor(o3,cv2.COLOR_BGR2GRAY)
ret, binary1 = cv2.threshold(gray1,127,255,cv2.THRESH_BINARY)
ret, binary2 = cv2.threshold(gray2,127,255,cv2.THRESH_BINARY)
ret, binary3 = cv2.threshold(gray3,127,255,cv2.THRESH_BINARY)
contours1, hierarchy = cv2.findContours(binary1,cv2.RETR_LIST,cv2.CHAIN_APPROX_SIMPLE)
contours2, hierarchy = cv2.findContours(binary2,cv2.RETR_LIST,cv2.CHAIN_APPROX_SIMPLE)
contours3, hierarchy = cv2.findContours(binary3,cv2.RETR_LIST,cv2.CHAIN_APPROX_SIMPLE)
cnt1 = contours1[0]
cnt2 = contours2[0]
cnt3 = contours3[0]
ret0 = cv2.matchShapes(cnt1,cnt1,1,0.0)
ret1 = cv2.matchShapes(cnt1,cnt2,1,0.0)
ret2 = cv2.matchShapes(cnt1,cnt3,1,0.0)
print("相同图像的 matchShape=",ret0)
print("相似图像的 matchShape=",ret1)
print("不相似图像的 matchShape=",ret2)
cv2.imshow("o1",o1)
cv2.imshow("o2",o2)
cv2.imshow("o3",o3)
cv2.waitKey()
cv2.destroyAllWindows()
运行结果:
相同图像的 matchShape= 0.0
相似图像的 matchShape= 0.10720296440067095
不相似图像的 matchShape= 0.5338506830800509
从以上结果可以看出:
- 同一幅图像的 Hu 矩是不变的,二者差值为 0。
- 相似的图像即使发生了平移、旋转和缩放后,函数 cv2.matchShapes()的返回值仍然比较
接近。例如,图像 o1 和图像 o2,o2 是对 o1 经过缩放、旋转和平移后得到的,但是对
二者应用 cv2.matchShapes()函数后,返回值的差较小。 - 不相似图像 cv2.matchShapes()函数返回值的差较大。例如,图像 o1 和图像 o3 的差别较大,因此对二者应用 cv2.matchShapes()函数后,返回值的差也较大
所以当两图片的Hu 矩 二者的差值为0或者接近0 ,说明两个图片的轮廓基本上是一致的。
实验原图: