专利名称：基于特征组对的特征点匹配方法
技术领域：
本发明涉及计算机视觉中的图像特征自动匹配领域，特别是数字图像中特征点的自动匹配方法。
背景技术：
特征匹配技术在图像检索、物体识别、视频跟踪以及增强现实等领域有重要应用。目前已有图像特征点匹配方法主要有以下两类第一类是基于局部纹理信息构造匹配描述子的方法，主要代表有SIFT、SURF、GL0H等匹配描述子(详见文献 K. Mikolajczyk and C. Schmid, A performance evaluationof local descriptors.IEEE Transaction on Pattern Analysis and MacnineIntelligence，2005，27 (10) 1615-1630.)，该类方法主要利用特征局部纹理信息进行特征匹配，首先为特征确定支撑区域，然后将支撑区域划分为一系列固定形状的子区域，最后将每个子区域内包含的图像纹理信息表示为向量并组成匹配描述子。在图像形变存在吋，该类方法构造的匹配描述子分辨カ下降较大，获得的匹配数量较少。第二类是基于几何一致性优化的匹配方法(如文献J.H.Lee and C. H. Won.Topology Preserving Relaxation Label mg ior Non—rigid Point Matching.IEEE Transactions on Pattern Analysis and Machine Intelligence. 2011，33(2)427-432.)，这类方法利用特征点之间的几何约束整体构造匹配目标优化函数，从而将匹配问题转化为ー个目标函数优化问题。该类方法利用的特征之间的几何约束信息相对于第一类方法种使用的特征局部纹理信息在图像形变下更为稳定，图像形变下该类方法也能获得较好匹配结果。但是，该类方法需要解决的几何优化问题运算十分复杂，且运算量随着特征点数量的增加呈几何级数增长，导致该类方法运算效率很低。第一类方法由于简单且易于实现，在实际应用中使用较多。但是，该类法均存在共性的误差问题为实现尺度不变性而进行尺度选择产生尺度误差；为实现旋转不变性而估计主方向产生主方向误差；固定位置的子区域划分产生边界误差。三种误差的存在影响了描述子的分辨能力，特别是在图像中存在形变的情况下匹配效果不好。
发明内容
本发明针对第一类特征点匹配方法存在的共性误差问题，提供一种能够克服三种误差的基于特征描述子的特征点匹配方法。为了实现本目的，本发明提供的基于特征组对的特征点匹配方法，包括以下步骤步骤SI :从不同角度拍摄同一场景两幅不同图像并输入计算机；步骤S2 :利用已有特征点检测算子提取图像中特征点，如使用Harris算子；步骤S3 :对图像中的特征点进行组对处理；步骤S4 :确定每个特征对的主方向、尺度及支撑区域；步骤S5 :基于灰度序对特征对的支撑区域进行子区域划分；
步骤S6 :计算特征对支撑区域内各点的旋转不变特征向量；步骤S7 :计算特征对支撑区域的匹配描述子；步骤S8 :利用匹配描述子进行特征对匹配；步骤S9 由每组匹配特征对获得两组匹配特征点；本发明提出的基于特征组对的特征点匹配方法的主要特点是将单个特征点与其邻域内的其它特征点组合为特征对代替单个特征点作为基本匹配単位，相比于基于单个特征点构造匹配描述子，基于特征对构造匹配描述子具有如下优势(I)特征对之间的距离可以直接用于确定尺度信息，避免了尺度选择环节；(2)特征对包含的两个特征点之间的连线可用于确定主方向信息，避免了主方向估计环节。此外，由于区域形状在图像形变下将会变形，而区域内像素灰度大小的排序几乎不变，本发明提供的方法通过采用基于灰度序 进行子区域划分而不是采用传统基于固定位置的子区域划分，消除了边界误差。相比于已有基于单个特征点构造匹配描述子的方法，本发明提供的方法能够克服尺度、主方向与边界误差，具有更优的匹配性能。
图I所示为本发明基于特征组对的特征点匹配方法的流程图。图2所示为本发明进行特征组对示意图。
具体实施例方式如图I所示为本发明基于特征组对的特征点匹配方法流程图，包括采集图像并输入计算机，利用已有特征点检测算子提取图像特征点，对图像特征点进行特征组对处理，确定特征对的主方向、尺度及支撑区域，对支撑区域进行子区域划分，计算支撑区域内各点的特征向量，计算特征对支撑区域的匹配描述子，利用匹配描述子进行特征对匹配，由匹配特征对获得匹配特征点。各步骤的具体实施细节如下步骤SI :从不同角度拍摄同一场景两幅不同图像并输入计算机；步骤S2 :利用已有技术进行特征点检测，如使用Harris算子；步骤S3:对图像中的特征点进行特征组对处理，具体方式为，对于图像中任一特征点Xi，将它与区域SubR(Xi)内的特征点分别组成特征对，其中SubR(Xi) = {Y:
IIY-XiI I彡σ2}是以Xi为中心。いO2为半径的一个环形区域，给定一幅图像中的特征点集合{Xi，i = 1，2，···，m}，可以得到ー个特征点对集合{Mk(Xkl，Xk2)，k = 1，2，···η}，其中m表示特征点个数，η表示特征对个数；步骤S4 :确定每个特征对的主方向、尺度及支撑区域，具体方式为，对于步骤S3获得的任一特征对Mk(Xkl，Xk2)，在直线XklXk2的两个垂直方向中将与线段XklXk2上各点平均梯度指向接近的方向确定为特征对Mk(Xkl，Xk2)的主方向；将线段XklXk2长度d= I Xkl-Xk2的一半确定为特征对Mk (Xkl，Xk2)的尺度，记为σ (Mk);记X1, I = 1,2, ... Num为线段XklXk2上的任意点，其中Num表示线段上点数，G。(X1)表示以X1为圆心σ (Mk)为半径的圆形区域，将线段上各点对应的圆形区域覆盖的区域确定为特征对Mk(Xkl，Xk2)的支撑区域G(Mk)=G0 (X1) U G0 (X2) U ... U G0 (Xnudi)；步骤S5 :基于灰度序对特征对的支撑区域进行子区域划分，具体划分方式为首先将特征支撑区域G(Mk)内包含像素的灰度值升序排列，然后根据像素灰度大小选取一系列阈值Mf区域G(Mk)划分为K个子区域Gi = {Xj :tH彡I (Xj) < tj,l ^ i彡K，其中划分阈值h的确定原则是使每个子区域中包含相等的像素数；步骤S6 :计算特征对支撑区域内各点的旋转不变特征向量，具体方式为，对于特征对Mk(Xkl，Xk2)，记其主方向及主方向顺时针旋转90度方向对应的单位向量分别为dmain = [dml, dm2]与d' main = [(T ml, (Γ m2],计算特征对的支撑区域内任一点X的高斯梯度列び)=[/；(^0，·/；び)]，将Vfび)分别投影到dmain、d' main方向上获得点X的旋转不变特征向量 V(X) = [V1 (X)，V2 (X)]，其中 V1 (X) = fx(x) * dml+fy(x) · dm2, V2(X)=
fx⑴.d' Jfy⑴.d' m2 ；
步骤S7 :计算特征对支撑区域的匹配描述子，具体步骤为，步骤S5将支撑区域G(Mk)按所述方式划分为K个子区域后，记每个子区域包含的像素个数为S，对于其中任一子区域Gi，计算Gi内各像素X1, X2，. . .，Xs对应特征向量的均值与标准差，获得子区域Gi的两个描述向量=Mi = Mean {V (X1), V (X2),. . · ,V(Xs)I7Si = Std {V (X1)，V (X2)，· · · ,V(Xs)I ;将K个子区域的均值描述向量与标准差描述向量分别组成ー个向量，可获得区域G(Mk)的均值描述向量与标准差描述向量:M= [M1, M2,... MJ，S = [S17S2,... SJ，分别对均值描述向量与标准差描述向量进行归一化，获得区域G(Mk)的均值标准差描述向量MS = [M/| |M| I，S/ I I S I I ]，最后再次进行归一化处理获得特征对Mk的匹配描述子Des = MS/ | | MS | | e R16k ；步骤S8 :利用匹配描述子进行特征对匹配，具体方式为，记第I幅图像中待匹配特征对M1, M2, , Mnl的匹配描述子分别为D1, D2, , Dnl，第2幅图像中的待匹配特征对M1 ,,M1 2、...，M'也的匹配描述子分别为 D' 1;D' 2，...，D' n2，对于 D1;D2，...，Dnl 中的任一描述子Di，找到D' 1;D' 2，...，D' n2中与Di欧氏距离最小的匹配描述子D' j，如果01同时也是D1;D2，...，Dnl中与D' j欧氏距离最小的匹配描述子，则MiM' j为ー组特征对匹配；步骤S9 :由特征对匹配建立特征点匹配，具体方式为，对于步骤S8获得的分别位于两幅图像中的两个相互匹配的特征对，指定每个特征对主方向顺时针旋转90度指向的特征点为其第一个特征点，由两个特征对的第一个特征点获得第一组特征点匹配，由另外两个特征点获得第二组特征点匹配。本发明提出的基于特征组对的特征点匹配方法的主要特点是将单个特征点与其邻域内的其它特征点组合为特征对代替单个特征点作为基本匹配単位，相比于基于单个特征点构造匹配描述子，基于特征对构造匹配描述子具有如下优势(I)特征对之间的距离可以直接用于确定尺度信息，避免了尺度选择环节；(2)特征对包含的两个特征点之间的连线可用于确定主方向信息，避免了主方向估计环节。此外，由于区域形状在图像形变下将会变形，而区域内像素灰度大小的排序几乎不变，本发明提供的方法通过采用基于灰度序进行子区域划分而不是采用传统基于固定位置的子区域划分，消除了边界误差。相比于已有基于单个特征点构造匹配描述子的方法，本发明提供的方法能够克服尺度、主方向与边界误差，具有更优的匹配性能。
权利要求
1.ー种数字图像中基于特征组对的特征点匹配方法，其特征在于，包括步骤 步骤Si:从不同角度拍摄同一场景两幅不同图像并输入计算机； 步骤S2 :利用已有技术进行特征点检测，如使用Harris算子；步骤S3:对图像中的特征点进行特征组对处理，具体方式为，对于图像中任一特征点Xi，将它与区域SubR (Xi)内的特征点分别组成特征对，其中SubR (Xi) = {Y I IY-XiI I≤σ2}是以Xi为中心。いO2为半径的一个环形区域，给定一幅图像中的特征点集合{Xi，i = 1，2，···，m}，可以得到ー个特征点对集合{Mk(Xkl，Xk2)，k = 1，2，···η}，其中m表示特征点个数，η表示特征对个数； 步骤S4 :确定每个特征对的主方向、尺度及支撑区域，具体方式为，对于步骤S3获得的任一特征对Mk(Xkl，Xk2)，在直线XklXk2的两个垂直方向中将与线段XklXk2上各点平均梯度指向接近的方向确定为特征对Mk(Xkl，Xk2)的主方向；将线段XklXk2长度d = I Xkl-Xk2 I的一半确定为特征对Mk(Xkl，Xk2)的尺度，记为σ (Mk) ；iaX1； I = 1,2,…Num为线段XklXk2上的任意点，其中Num表示线段上点数，G0 (X1)表示以X1为圆心σ (Mk)为半径的圆形区域，将线段上各点对应的圆形区域覆盖的区域确定为特征对Mk(Xkl，Xk2)的支撑区域G(Mk)=G0 (X1) U G0 (X2) U ... U G0 (Xnudi)； 步骤S5 :基于灰度序对特征对的支撑区域进行子区域划分，具体划分方式为首先将特征支撑区域G(Mk)内包含像素的灰度值升序排列，然后根据像素灰度大小选取一系列阈值、将区域G (Mk)划分为K个子区域Gi = {Xj :tH ^ I (Xj) < tj,l ^ i彡K，其中划分阈值h的确定原则是使每个子区域中包含相等的像素数； 步骤S6 :计算特征对支撑区域内各点的旋转不变特征向量，具体方式为，对于特征对Mk (Xkl，Xk2)，记其主方向及主方向顺时针旋转90度方向对应的単位向量分别为dmain=[dml, dm2]与(Γ main = [(T ml, (Γ m2],计算特征对的支撑区域内任一点X的高斯梯度Vf(Z) = [Λ(χ)，//ζ)]，将Vf(X)分别投影到dmain、d丨main方向上获得点X的旋转不变特征向量V (X) = [V1⑴，V2 (X)]，其中V1⑴=fx⑴· dml+fy⑴· dm2、V2⑴=fx⑴·(!'w+fy⑴·(!'m2 ； 步骤S7 :计算特征对支撑区域的匹配描述子，具体步骤为，步骤S5将支撑区域G(Mk)按所述方式划分为K个子区域后，记每个子区域包含的像素个数为S，对于其中任一子区域Gi,计算Gi内各像素X1,X2，. . .，XS对应特征向量的均值与标准差，获得子区域Gi的两个描述向量=Mi = Mean {V (X1), V (X2),. . · ,V(Xs)I7Si = Std {V (X1)，V (X2)，· · · ,V(Xs)I ;将1(个子区域的均值描述向量与标准差描述向量分别组成ー个向量，可获得区域G(Mk)的均值描述向量与标准差描述向量:M = [M1, M2,... MK], S = [S1, S2,. . . Sj ,分别对均值描述向量与标准差描述向量进行归一化，获得区域G (Mk)的均值标准差描述向量MS= [M/| M I，S/I |S| I]，最后再次进行归一化处理获得特征对Mk的匹配描述子Des = MS/I MS | e R16k ； 步骤S8 :利用匹配描述子进行特征对匹配，具体方式为，记第I幅图像中待匹配特征对M1, M2, , Mnl的匹配描述子分别为D1, D2, , Dnl，第2幅图像中的待匹配特征对1； Μ, 2、...，M' n2的匹配描述子分别为D' 1;D' 2，...，D'也，对于D1;D2，...，Dnl中的任一描述子Di，找到D' 1;D' 2，...，D' n2中与Di欧氏距离最小的匹配描述子D' j，如果01同时也是D1, D2,...，Dnl中与D' j欧氏距离最小的匹配描述子，则MiM' j为ー组特征对匹配；步骤S9 :由特征对匹配建立特征点匹配，具体方式为，对于步骤S8获得的分别位于两幅图像中的两个相互匹配的特征对，指定每个特征对主方向顺时针旋转90度指向的特征点为其第一个特征点，由两个 特征对的第一个特征点获得第一组特征点匹配，由另外两个特征点获得第二组特征点匹配。
全文摘要
本发明涉及一种基于特征组对的特征点匹配方法，包括步骤采集图像并输入计算机，利用已有技术进行图像特征点检测，对图像特征点进行特征组对处理，确定特征对的主方向、尺度及支撑区域，对支撑区域进行子区域划分，计算支撑区域内各点的特征向量，计算特征对支撑区域的匹配描述子，利用匹配描述子进行特征对匹配，由特征对匹配建立特征点匹配。相比于已有基于单个特征点构造匹配描述子的方法，本发明提供的方法构造的匹配描述子能够克服尺度、主方向与边界误差，具有更优的匹配性能。
文档编号G06T7/00GK102663733SQ20121006700
公开日2012年9月12日 申请日期2012年3月5日 优先权日2012年3月5日
发明者刘红敏, 王志衡, 贾宗璞 申请人:河南理工大学