基于局部坐标系特征描述的图像匹配方法
【专利摘要】本发明公开了一种基于局部坐标系特征描述的图像匹配方法，主要解决了现有方法存在主方向估计误差，图像匹配的正确率低的问题。其实现步骤是：1.对两幅输入图像进行灰度化处理；2.提取每幅图像的特征点，建立每个特征点的N个支撑区域；3.将每个支撑区域划分为k个子区域；4.构造每个支撑区域的特征描述向量集；5.利用支撑区域的特征描述向量构建每个特征点的特征描述向量集，并对其归一化得到每个特征点的特征描述符；6.利用两幅图像中特征点的特征描述符进行图像匹配，输出匹配的特征点对。本发明相比传统的局部特征描述方法，在进行图像匹配时不仅避免了主方向估计误差，而且提高了匹配正确率，可用于目标跟踪、物体识别和图像检索。
【专利说明】基于局部坐标系特征描述的图像匹配方法
【技术领域】
[0001]本发明涉及图像处理【技术领域】，特别是涉及图像匹配方法，可用于目标跟踪、物体识别和图像检索。
【背景技术】
[0002]图像匹配是计算机视觉和数字图像处理领域的重要组成部分，但由于不同的成像时间、距离、角度等因素导致了图像的平移、旋转、缩放等问题，这都给图像匹配带来了很大难度。近几年，基于图像特征描述符的图像匹配技术在目标跟踪、物体识别等领域得到了显著发展。
[0003]局部特征描述方法因其能够重点描述图像的特征区域，与全局特征描述相比，节约了计算量，成为近几年研究的热点。局部特征描述大致分为两步:提取兴趣点和计算特征描述符。提取兴趣点用来确定提取特征的位置或局部区域；计算特征描述符用来描述该局部区域，一个描述符的好坏直接影响特征点或特征区域的区分性能。
[0004]传统的局部特征描述方法，如尺度不变特征变换匹配算法(SIFT)采用高斯差分函数(DOG)检测子，将特征区域确定为各向同尺度变化的圆形区域，这种方法虽然具有良好的尺度不变性，但其并不具备仿射不变性，对有仿射变化的图像其生成的描述符的可区分性差。此外，由于SIFT采用直方图统计主方向，再进行主方向旋转以达到旋转不变性，会对主方向估计带来较大误差，严重影响图像匹配的正确率。
【发明内容】
[0005]本发明的目的在于针对上述已有技术的不足，提出一种基于局部坐标系特征描述的图像匹配方法，以避免主方向估计带来的误差，提高图像匹配的正确率。
[0006]实现本发明目的关键是对每个特征区域做仿射归一化处理，对每个特征点的样本点建立它的局部坐标系进行梯度描述，利用每个特征点生成的特征描述符进行基于欧氏距离的图像匹配。其技术方案包括如下步骤:
[0007](I)输入两幅待匹配的图像，分别对这每幅图像进行灰度化处理，得到两幅灰度图像 I1、I2 ;
[0008](2)提取每幅灰度图像的特征点及特征区域，建立每个特征点的N个圆形支撑区域；
[0009]2a)用Hessian仿射检测器提取每幅灰度图像的特征点及特征区域，其中特征区域是以特征点为圆心的椭圆，其长轴为a，短轴为b ；
[0010]2b)对每个特征点建立以特征区域为起始位置均匀增大的N个嵌套椭圆，作为支撑区域，每个支撑区域的长轴Si = a+2 (1-1),短轴h = b+2 (1-1), i = I, 2,..., N, N个嵌套椭圆的圆心是其对应的特征点；
[0011]2c)将每个特征点的每个支撑区域由椭圆形状规范为大小相同的圆形形状；
[0012](3)将一个特征点的一个支撑区域中的所有像素点作为该区域的样本点，根据灰度值对这些样本点进行升序排序，得到支撑区域样本点的有序集合，再按照样本点个数把支撑区域等分为k个子区域；
[0013](4)构造一个特征点的一个支撑区域中的k个子区域的特征描述向量集；
[0014]4a)建立一个子区域中每个样本点的局部坐标系，该坐标系的Y轴正向是特征点与该样本点的向量方向，X轴正向是按顺时针与Y轴正向正交的方向；
[0015]4b)在每个局部坐标系下采样8个像素点，依次记为X1，X2, , X8,计算这些像素点之间的灰度梯度，并求出每个局部坐标系中每个两两正交的灰度梯度的幅值m(x)和方
向 Θ (X);
[0016]4c)用梯度直方图统计方法将每个灰度梯度的幅值和方向(m(x)，θ (χ))映射至一个 d 维的向量 P1 = (fi, f2,..., fv,..., fd), V = I, 2,..., d, I = I, 2,..., k ；
[0017]4d)重复执行步骤4a) _4c)共k次，得到一个支撑区域中k个子区域的特征描述向量集 Mh = (P1, P2,...，Pn,...，Pk)，η = 1，2，...，k，h = I, 2,..., N ；
[0018](5)重复执行步骤(3)和(4)共N次，得到一个特征点的特征描述向量集F =(M1, M2,..., Mh,..., Mn) = (f1； f2,..., fz,..., fNXkxd), z = I, 2,..., NXkXd ；
[0019](6)对一个特征点的特征描述向量集F进行归一化，得到一个特征点的特征描述付记为:Q — (Qi, Q2)....，Qz,...，QNXkXd);`[0020](7)重复执行步骤(5)和(6)，得到灰度图像I1U2中每个特征点的特征描述符，其中:
[0021]灰度图像I1中一个特征点的特征描述符记为:01.U，Z1 =1，2，...，4X6X8 ；
[0022]灰度图像I2中一个特征点的特征描述符记为:0 =(#，#，...#Z2 =I, 2,, 4X6X8 ；
[0023](8)将灰度图像I1中的每个特征点的特征描述符与灰度图像灰度I2中的每个特征点的特征描述符进行基于欧氏距离的图像匹配，得到灰度图像I1与灰度图像I2匹配的特征点对，完成图像匹配。
[0024]本发明与现有技术相比具有以下优点:
[0025]第一，本发明通过将每个特征点的支撑区域规范为大小相同的标准圆形支撑区域，使得每个特征点的特征描述符具有仿射不变性，能够有效匹配具有仿射形变的图像。
[0026]第二，本发明通过建立图像旋转不变的局部坐标系，克服了使用主方向估计带来的估计误差，使得图像匹配的正确率得到有效提高。
【专利附图】
【附图说明】
[0027]图1是本发明的实现流程图；
[0028]图2为基于一个样本点的局部坐标系；
[0029]图3为本发明使用的两幅待匹配图像；
[0030]图4是分别采用本发明方法和传统的SIFT方法对图3进行匹配得到的性能比较图。【具体实施方式】
[0031]以下参照附图对本发明的具体实现及效果做进一步的详细说明。
[0032]参照图1，本发明的实施步骤如下:
[0033]步骤1，输入两幅待匹配的图像，并分别对每幅图像进行灰度化处理，得到两幅灰度图像I1和12。
[0034]步骤2，提取每幅灰度图像的特征点及特征区域，建立每个特征点的4个圆形支撑区域。
[0035](2.1)用Hessian仿射检测器提取每幅灰度图像的特征点及特征区域，其中特征区域是以特征点为圆心的椭圆，其长轴为a，短轴为b ；
[0036](2.2)对每个特征点建立以特征区域为起始位置均匀增大的4个嵌套椭圆，作为支撑区域，每个支撑区域的长轴Si = a+2 (1-1),短轴h = b+2 (1-1), i = 1，2，...，4,4个嵌套椭圆的圆心是其对应的特征点；
[0037](2.3)按如下公式将每个特征点的每个支撑区域由椭圆形状规范为大小相同的圆形形状:
I 1.[0038].V=-/i 2A-,
V
[0039]其中，χ’为椭圆形状区域中的坐标，r为圆形形状的半径，r = 20个像素点，A为椭圆形状的形状矩阵，X为圆形形状区域中对应的坐标，X点的灰度值等于X’点的灰度值。
[0040]步骤3，将一个支撑区域中的所有像素点作为该区域的样本点，根据灰度值对这些样本点进行升序排序，得到支撑`区域样本点的有序集合，再按照样本点个数把支撑区域等分为6个子区域。
[0041]步骤4，构造一个支撑区域每个子区域的特征描述向量集。
[0042](4.1)建立一个子区域中每个样本点的局部坐标系，如图2所示，其中P为子区域所在支撑区域的特征点，χ为样本点，坐标系的Y轴正向是样本点χ与该特征点P的向量方向，X轴正向是按顺时针与Y轴正向正交的方向；
[0043](4.2)在每个局部坐标系下采样8个像素点，如图2所示，这些像素点从局部坐标系下的X正半轴、X负半轴、Y正半轴、Y负半轴及坐标轴夹角45°方向上各采一个像素点得到，每个像素点与这个局部坐标系所在的样本点相距4个像素点，得到的8个像素点记为:
I 28X , X ,..., X ；
[0044](4.3)计算每个局部坐标系下每个像素点与其最大像素间隔的像素点的灰度梯度，即:
[0045]Dx (χ) = I (χ1) -1 (χ5)，
[0046]Dy (χ) = I (χ3) -1 (χ7),
[0047]Dx' (χ) = I (χ2) -1 (χ6),
[0048]D； (χ) = Ι(χ4)-Ι(χ8),
[0049]其中，I (Xi)是像素点Xi的灰度值，i = 1,2,...,8,
[0050]Dx(X)是像素点X1与像素点X5的灰度梯度，X5是X1的最大像素间隔像素点，
[0051]Dy(X)是像素点X3与像素点X7的灰度梯度，X7是X3的最大像素间隔像素点，
[0052]D’ X(x)是像素点X2与像素点X6的灰度梯度，X6是X2的最大像素间隔像素点，[0053]D\(x)是像素点X4与像素点X8的灰度梯度，X8是X4的最大像素间隔像素点；
[0054](4.4)计算每个局部坐标系下每个两两正交梯度之间的幅值m(x)和方向θ (χ):
[0055]
【权利要求】
1.一种基于局部坐标系特征描述的图像匹配方法，包括如下步骤: (1)输入两幅待匹配的图像，分别对这每幅图像进行灰度化处理，得到两幅灰度图像T T.丄1、丄2 , (2)提取每幅灰度图像的特征点及特征区域，建立每个特征点的N个圆形支撑区域； 2a)用Hessian仿射检测器提取每幅灰度图像的特征点及特征区域，其中特征区域是以特征点为圆心的椭圆，其长轴为a，短轴为b ； 2b)对每个特征点建立以特征区域为起始位置均匀增大的N个嵌套椭圆，作为支撑区域，每个支撑区域的长轴Si = a+2 (1-1),短轴h = b+2 (i_l), i = I, 2,..., N, N个嵌套椭圆的圆心是其对应的特征点； 2c)将每个特征点的每个支撑区域由椭圆形状规范为大小相同的圆形形状； (3)将一个特征点的一个支撑区域中的所有像素点作为该区域的样本点，根据灰度值对这些样本点进行升序排序，得到支撑区域样本点的有序集合，再按照样本点个数把支撑区域等分为k个子区域； (4)构造一个特征点的一个支撑区域中的k个子区域的特征描述向量集； 4a)建立一个子区域中每个样本点的局部坐标系，该坐标系的Y轴正向是特征点与该样本点的向量方向，X轴正向是按顺时针与Y轴正向正交的方向； 4b)在每个局部坐标系下采样8个像素点，依次记为X1，X2,, X8,计算这些像素点之间的灰度梯度，并求出每个局部坐标系中每个两两正交的灰度梯度的幅值m(x)和方向Θ (X)； 4c)用梯度直方图统计方法将一个子区域中每个灰度梯度的幅值和方向(m(x)，θ (X))映射至一个 d 维的向量 P1 = (fi, f2,..., fv,..., fd), V = I, 2,..., d, I = I, 2,..., k ； 4d)重复执行步骤4a) -4c)共k次，得到一个支撑区域中k个子区域的特征描述向量集 Mh = (P1, P2,..., Pn,..., Pk), η = I, 2,..., k, h = I, 2,..., N ； (5)重复执行步骤(3)和(4)共N次，得到一个特征点的特征描述向量集F=(M1, M2,...,Mh,...，Mn) = (fi, fNXkxd)，z = 1，2，...，NXkXd ; (6)对一个特征点的特征描述向量集F进行归一化，得到一个特征点的特征描述符记为(QlJ Q2j....，Qzj...，QNXkXd); (7)重复执行步骤(5)和(6)，得到灰度图像IpI2中每个特征点的特征描述符，其中: 灰度图像I1中一个特征点的特征描述符记为:0 =吣泌,…為…?) , Z1 =1，2，...，NXkXd ； 灰度图像I2中一个特征点的特征描述符记为:G4 =WiW2，Z2 =1，2，...，NXkXd ； (8)将灰度图像I1中的每个特征点的特征描述符与灰度图像灰度I2中的每个特征点的特征描述符进行基于欧氏距离的图像匹配，得到灰度图像I1与灰度图像I2匹配的特征点对，完成图像匹配。
2.根据权利要求1所述的一种基于局部坐标系特征描述的图像匹配方法，其中步骤2c)所述的将每个特征点的每个支撑区域由椭圆形状规范为大小相同的圆形形状，按如下公式进行:
3.根据权利要求1所述的一种基于局部坐标系特征描述的图像匹配方法，其中步骤4b)所述的在每个局部坐标系下采样8个像素点，是从局部坐标系下的X正半轴、X负半轴、Y正半轴、Y负半轴及坐标轴夹角45°方向上各采一个像素点得到，每个像素点与这个局部坐标系所在的样本点相距4个像素点。
4.根据权利要求1所述的一种基于局部坐标系特征描述的图像匹配方法，其中步骤4b)所述的计算这些像素点之间的灰度梯度，是计算每个像素点与其最大像素间隔的像素点的灰度梯度，计算公式如下:
Dx (X) = I (X1) -1 (X5),
Dy (X) = I (X3) -1 (X7),
Dx' (X) = I (X2) -1 (X6),
Dy，(X) = I (X4) -1 (X8), 其中，I(Xi)是像素点Xi的灰度值，i = 1,2,...,8, Dx(X)是像素点X1与像素点X5的灰度梯度，X5是X1的最大像素间隔像素点， Dy(X)是像素点X3与像素点X7的灰度梯度，X7是X3的最大像素间隔像素点， D'x(x)是像素点X2与像素点X6的灰度梯度，X6是X2的最大像素间隔像素点， D\(x)是像素点X4与像素点X8的灰度梯度，X8是X4的最大像素间隔像素点。
5.根据权利要求1或4所述的一种基于局部坐标系特征描述的图像匹配方法，其中步骤4b)所述的求出每一个局部坐标系中每个两两正交梯度之间的幅值Hl(X)和方向Θ (X)，按如下公式进行:
6.根据权利要求1所述的一种基于局部坐标系特征描述的图像匹配方法，其中所述步骤4c)中用梯度直方图统计方法将每个灰度梯度的幅值和方向(m(x)，θ (χ))映射至一个d维的向量P1 = (fi, f2,...，fv,...，fd)，按如下步骤进行: 4cl)将O~2JI的梯度直方图分成d等分，得到d个方向块，每个方向块的大小为=Clirj=(2 π /d) * (j-1), j = I, 2,..., d ； 4c2)将每个灰度梯度的方向θ (χ)线性分配到与它相邻方向块上，计算向量P1中每一维fv的值:
7.根据权利要求1所述的一种基于局部坐标系的特征描述方法，其中步骤(8)所述的将灰度图像I1中的每个特征点的特征描述符与灰度图像灰度I2中的每个特征点的特征描述符进行基于欧氏距离的图像匹配，按如下步骤进行: 7a)计算灰度图像I1中一个特征点的特征描述AC)和灰度图像I2中每个特征点的特征描述符β/2之间的欧式距离D，找出它们中的最小欧氏距离，并记录得到这个最小欧式距离的两个特征点； 7b)对最小欧式距离进行判断:若最小欧式距离小于阈值th = 0.8，则这两个特征点匹配，反之图像I1中的这个特征点在图像I2中没有匹配的特征点； 7c)重复步骤7a)和7b)，遍历图像I1中的每个特征点的特征描述符，得到图像I1中的每个特征点与图像I2中的特征点的匹配情况，输出灰度图像I1与灰度图像I2匹配的特征点对。
【文档编号】G06K9/64GK103632142SQ201310637523
【公开日】2014年3月12日 申请日期:2013年11月29日 优先权日:2013年11月29日
【发明者】于昕, 焦李成, 侯晓丽, 马文萍, 马晶晶, 侯彪, 刘坤 申请人:西安电子科技大学