消除边缘锯齿化影响的图像匹配方法

消除边缘锯齿化影响的图像匹配方法
【专利摘要】本发明提供了一种消除边缘锯齿化影响的图像匹配方法，采用建立角点集凸包和计算轮廓曲率相结合的方法，利用图像轮廓凸包，消除了内陷锯齿边缘对于图像匹配的影响，利于图像轮廓点的曲率值比较排除了凸包顶点中由于外凸锯齿边缘带来的干扰凸包顶点。从而实现了图像的精确匹配定位。
【专利说明】
消除边缘锯齿化影响的图像匹配方法
技术领域
[0001]本发明涉及计算机视觉领域，具体地，涉及一种消除图像匹配中边缘锯齿化影响的视觉处理方法；
【背景技术】
[0002]目前图像匹配算法中解决边缘锯齿化现象的方法主要分为两个大类；
[0003]—是直接对锯齿化边缘采取平滑处理，采用中值滤波、高斯滤波、双线性差值等算法直接平滑锯齿化边缘，这样的处理方法会改变图像像素值，会导致图像整体变模糊，干扰最终匹配定位结果；
[0004]二是改进当前常用的Harris’Susan角点检测算法，将常规角点检测方法误检到的锯齿边缘角点剔除掉，保留剩余角点用于图像匹配与定位;这样的方法往往需要设定人工阈值，将人主观的经验带入图像匹配算法中，会导致锯齿状边缘角点剔除不完全或真正角点被错误地剔除。

【发明内容】

[0005]针对现有技术中的缺陷，本发明的目的是提供一种消除边缘锯齿化影响的图像匹配方法；
[0006]根据本发明提供的一种消除边缘锯齿化影响的图像匹配方法，包括:
[0007]步骤1、分别建立模板轮廓的曲率数组、待匹配轮廓的曲率数组；
[0008]步骤2、获取模板轮廓的凸包、待匹配轮廓的凸包；
[0009]步骤3、通过比较模板轮廓的凸包顶点与待匹配轮廓的凸包顶点之间的曲率值，排除干扰凸包顶点，获取模板轮廓和待匹配轮廓一一对应的凸包顶点作为有效凸包顶点；
[0010]步骤4、提取模板轮廓上有效凸包顶点附近若干轮廓点并计算这些轮廓点的曲率值，在待匹配轮廓上有效凸包顶点附近寻找与所述这些轮廓点的曲率值相同或基本相同的轮廓点作为匹配点，得到若干匹配点对；
[0011]步骤5、利用获得的匹配点对完成模板图像和待匹配图像的匹配。
[0012]优选地，所述步骤I包括:
[0013]步骤1.1、从模板图像中提取出模板轮廓作为模板图像的轮廓特征，从待匹配图像中提取出待匹配轮廓作为待匹配图像的轮廓特征；
[0014]步骤1.2、分别计算模板轮廓、待匹配轮廓这两种待计算轮廓的曲率数组，其中，曲率数组的计算步骤包括:
[0015]步骤1.2.1、从待计算轮廓上某一点开始逆时针遍历待计算轮廓，通过多次进行取相互间隔的3个轮廓点求取曲率值，得到由多个曲率值构成的曲率数组；
[0016]步骤1.2.2、以纵坐标为曲率值，横坐标为轮廓点序号，画出曲率数组曲线;设定阈值Fl，以阈值Fl为纵坐标值做水平线与画出的曲率数组曲线中的多个凸曲线段相交，提取每个凸曲线段与水平线的两交点对横坐标范围内的所有轮廓点中对应曲率值最大的轮廓点，保存为特征点集Tl。
[0017]优选地，所述步骤2包括:
[0018]步骤2.1:求解模板轮廓的凸包、待匹配轮廓的凸包，得到模板轮廓的凸包顶点集Cl，待匹配轮廓的凸包顶点集C2。
[0019]优选地，所述步骤3包括:
[0020]步骤3.1、求取特征点集TI和凸包顶点集CI中相同的点，记录为点集SI;提取凸包顶点集C2中所有点的曲率值，将凸包顶点集C2中曲率值小于设定阈值F2的点去除，得到的新的凸包顶点集记录为点集S2;
[0021 ]步骤3.2、比较点集S2中点的曲率值与点集SI中点的曲率值，提取出曲率值相同或基本相同，并且相对位置匹配的凸包顶点，记录为点集S22，则SI和S22为一一对应的凸包顶点。
[0022]优选地，所述步骤4包括:
[0023]步骤4.1、遍历选取点集SI中的每一个凸包顶点，对于每一个凸包顶点进行如下步骤:
[0024]步骤4.1.1、将从点集SI中选取的当前凸包顶点记为DI，DI的局部区域点集记为Ml;将点集S22中对应Dl的凸包顶点记为D2，D2的局部区域点集记为M2;其中，局部区域点集由凸包顶点的局部区域内所有的轮廓点构成；
[0025]步骤4.1.2、分别计算Ml中所有点到Dl的距离作为Ml中的点的距离特征，并提取Ml中的点的曲率特征;分别计算M2中所有点到D2的距离作为M2中的点的距离特征，并提取M2中的点的曲率特征；
[0026]步骤4.2、将距离特征和曲率特征相同或者基本相同的Ml中的点、M2中的点作为匹配点对，并分别保存到点集Mil、M22中。
[0027]优选地，所述步骤5包括:
[0028]步骤5.1、计算点集MlI中所有点的几何中心Cl，计算点集M22中所有点的几何中心C2，比较Cl与C2获得待匹配图像相对于模板图像的平移量；
[0029]步骤5.2、令Cl分别连接Mll中所有点，得到线段集LI，令C2分别连接M22中所有点，得到线段集L2;计算线段集L1、L2中各对匹配点对之间对应线段的夹角的平均值，将夹角的平均值作为待匹配图像相对于模板图像的旋转角度。
[0030]与现有技术相比，本发明具有如下的有益效果:
[0031 ] 1、本发明能够应对噪声，局部形变，光照变化等鲁邦性问题；
[0032]2、本发明利用建立图像轮廓凸包的方法，消除了内陷锯齿边缘对于图像匹配的影响；
[0033]3、本发明利于图像轮廓点的曲率值比较排除了凸包顶点中由于外凸锯齿边缘带来的干扰凸包顶点，从而实现了图像的精确匹配定位。
【附图说明】
[0034]通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显:
[0035]图1为模板图像。
[0036]图2为待匹配图像(带锯齿状边缘)。
[0037]图3为模板轮廓凸包。
[0038]图4为待匹配轮廓凸包。
[0039]图5为本发明提供的消除边缘锯齿化影响的图像匹配方法的步骤流程图。
【具体实施方式】
[0040]下面结合具体实施例对本发明进行详细说明；以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明；应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进;这些都属于本发明的保护范围；
[0041]因为拍摄图像过程中现场环境存在油渍，水污等干扰，或者在传输过程中图像数据发生缺损，导致拍摄到的图像中图形边缘存在锯齿化现象;本发明采用建立角点集凸包和计算轮廓曲率相结合的方法，利用图像轮廓凸包，消除了内陷锯齿边缘对于图像匹配的影响，利于图像轮廓点的曲率值比较排除了凸包顶点中由于外凸锯齿边缘带来的干扰凸包顶点，从而实现了图像的精确匹配定位；
[0042]根据本发明提供的消除边缘锯齿化影响的图像匹配方法，包括步骤:
[0043]步骤1、分别建立模板轮廓的曲率数组、待匹配轮廓的曲率数组；
[0044]步骤2、获取模板轮廓的凸包、待匹配轮廓的凸包；
[0045]步骤3、通过比较模板轮廓的凸包顶点与待匹配轮廓的凸包顶点之间的曲率值，排除干扰凸包顶点，获取模板轮廓和待匹配轮廓一一对应的凸包顶点作为有效凸包顶点；
[0046]步骤4、提取模板轮廓上有效凸包顶点附近若干轮廓点并计算这些轮廓点的曲率值，在待匹配轮廓上有效凸包顶点附近寻找与所述这些轮廓点的曲率值相同或基本相同的轮廓点作为匹配点，得到若干匹配点对；
[0047]步骤5、利用获得的匹配点对完成模板图像和待匹配图像的匹配。
[0048]所述步骤I包括:
[0049]步骤1.1、从模板图像中提取出模板轮廓作为模板图像的轮廓特征，从待匹配图像中提取出待匹配轮廓作为待匹配图像的轮廓特征；
[0050]步骤1.2、分别计算模板轮廓、待匹配轮廓这两种待计算轮廓的曲率数组，其中，曲率数组的计算步骤包括:
[0051 ]步骤1.2.1、从待计算轮廓上某一点开始逆时针遍历待计算轮廓，通过多次进行取相互间隔的3个轮廓点求取曲率值，得到由多个曲率值构成的曲率数组；
[0052]步骤1.2.2、以纵坐标为曲率值，横坐标为轮廓点序号，画出曲率数组曲线;设定阈值Fl，以阈值Fl为纵坐标值做水平线与画出的曲率数组曲线中的多个凸曲线段相交，提取每个凸曲线段与水平线的两交点对横坐标范围内的所有轮廓点中对应曲率值最大的轮廓点，保存为特征点集Tl。
[0053]对所述两交点对进行进一步的说明:曲率数组曲线与水平线有很多交点，水平线将曲率数组曲线分割为很多凸曲线段，在每一凸曲线段上，将凸曲线段的上升沿与水平线的交点作为两交点对的起始点，将凸曲线段的下降沿与水平线的交点作为两交点对的结束点;例如，如果图形为简单的三角形，选取某阈值的情况下，将会有3个交点对，对应着3个顶点。所述两交点对横坐标范围，可以包括端值或者不包括端值。
[0054]某一两交点对横坐标范围内的所有轮廓点中对应曲率值最大，是相对于每个凸曲线段的局部最大值。
[0055]所述步骤2包括:
[0056]步骤2.1:求解模板轮廓的凸包、待匹配轮廓的凸包，得到模板轮廓的凸包顶点集Cl，待匹配轮廓的凸包顶点集C2。
[0057]所述步骤3包括:
[0058]步骤3.1、求取特征点集TI和凸包顶点集CI中相同的点，记录为点集SI;提取凸包顶点集C2中所有点的曲率值，将凸包顶点集C2中曲率值小于设定阈值F2的点去除，得到的新的凸包顶点集记录为点集S2;阈值F2的取值比FI稍大即可，实际程序中可以将F2取值为
0.09，将Fl取值为0.08。
[0059]步骤3.2、比较点集S2中点的曲率值与点集SI中点的曲率值，提取出曲率值相同或基本相同，并且相对位置匹配的凸包顶点，记录为点集S22，则SI和S22为一一对应的凸包顶点。
[0060]其中，曲率值基本相同是指:假设点A、点B，若点A和点B曲率值差值的绝对值比上点A或点B的曲率值的比值小于0.02，则认为点A与点B的曲率值基本相同。
[0061]对所述相对位置匹配进一步说明:以任意三角形举例，模板三角形的三个顶点分别为Al，B1，Cl。这三个顶点之间有一个的组成结构，比如距离、连线的夹角。Al相对于BI，Cl有一个相对位置，这是由于三角形本身的结构决定的。对于待匹配三角形的三个顶点A2，B2，C2来说，也存在一点的结构关系。也就是说，三个顶点在三角形这个结构中有自己的相对位置。因为待匹配三角形与模板是相似的，这样的结构关系也是相似的。比如模板中Al与BI的距离为5，A1与Cl的距离为10，线段AlBl与线段AlCl的夹角为50度;若待匹配三角形中存在A2与B2的距离为5，A1与Cl的距离为10，线段AlBl与线段AlCl的夹角为50度，则认为Al与A2在各自的三角形中相对位置匹配;若待匹配三角形中存在A2与B2的距离为5.1，A1与Cl的距离为9.9，线段AlBl与线段AlCl的夹角为50.1度，则可以认为Al与A2在各自的三角形中相对位置匹配。
[0062]所述步骤4包括:
[0063]步骤4.1、遍历选取点集SI中的每一个凸包顶点，对于每一个凸包顶点进行如下步骤:
[0064]步骤4.1.1、将从点集SI中选取的当前凸包顶点记为DI，DI的局部区域点集记为Ml;将点集S22中对应Dl的凸包顶点记为D2，D2的局部区域点集记为M2;其中，局部区域点集由凸包顶点的局部区域内所有的轮廓点构成；
[0065]步骤4.1.2、分别计算Ml中所有点到Dl的距离作为Ml中的点的距离特征，并提取Ml中的点的曲率特征;分别计算M2中所有点到D2的距离作为M2中的点的距离特征，并提取M2中的点的曲率特征；
[0066]步骤4.2、将距离特征和曲率特征相同或者基本相同的Ml中的点、M2中的点作为匹配点对，并分别保存到点集Mil、M22中。
[0067]所述步骤5包括:
[0068]步骤5.1、计算点集MlI中所有点的几何中心Cl，计算点集M22中所有点的几何中心C2，比较Cl与C2获得待匹配图像相对于模板图像的平移量；
[0069]步骤5.2、令Cl分别连接Mll中所有点，得到线段集LI，令C2分别连接M22中所有点，得到线段集L2;计算线段集L1、L2中各对匹配点对之间对应线段的夹角的平均值，将夹角的平均值作为待匹配图像相对于模板图像的旋转角度。
[0070]在本发明的一个优选的实施例中，原始图像分辨率为400*400，如图1所示；
[0071]首先通过canny算子提取模板图像和待匹配图像的轮廓特征，其中，待匹配图像带锯齿状边缘；
[0072]然后建立模板轮廓和待匹配轮廓的曲率数组，模板轮廓的曲率数组长度为3897，待匹配轮廓的曲率数组长度为5063;
[0073]对于模板轮廓、待匹配轮廓，从轮廓上某一点开始逆时针遍历轮廓，以30个轮廓点的间隔取3个点，通过这3个离散的点近似求取曲率数值；
[0074]以纵坐标为曲率值，横坐标为轮廓点数目，画出曲率数组的曲线；设定阈值Fl=
0.05，以阈值Fl做水平线与画出的曲率数组的曲线相交，提取两两交点对横坐标范围内的所有轮廓点中曲率值最大的点，保存为特征点集Tl，特征点集Tl的长度为8;
[0075]获取模板轮廓的凸包和待匹配轮廓的凸包，如图3、图4所示，模板轮廓的凸包和待匹配轮廓的凸包采用Graham’s Scan法求解，得到模板轮廓的凸包顶点集Cl，凸包顶点集Cl的长度为5，得到待匹配轮廓的凸包顶点集C2，凸包顶点集C2的长度为8，由于待匹配轮廓存在很多锯齿状边缘，所以凸包顶点集C2中有很多干扰顶点；
[0076]通过比较凸包顶点集CI中的凸包顶点和凸包顶点集C2中的凸包顶点的曲率值，排除干扰凸包顶点，最终获取模板轮廓和待匹配轮廓一一对应的凸包顶点；
[0077]求取特征点集TI和凸包顶点集CI中相同的点，记录为点集SI，提取凸包顶点集C2中所有点的曲率值，其中由于轮廓边缘锯齿状引入的凸包顶点的曲率值很小，基本趋近于O，可先一步去除，得到新的点集S2，点集S2的长度为5;
[0078]比较S2中点的曲率值与点集SI中点的曲率值，提取出曲率值相近，相对位置匹配的凸包顶点，记为点集S22，则点集SI和点集S22为一一对应的凸包顶点；
[0079]如果只利用少量的模板轮廓和待匹配轮廓一一对应凸包顶点来定位待匹配轮廓与模板轮廓的相对位置精度较低，因此遍历选取点集SI中的每一个点，在每一个点的以此点为中心，几何距离为80的局部区域内提取所有的轮廓点构成当前凸包顶点局部区域点集;假设当前选取某个点Dl，其局部区域点集Ml;选取点集S22中对应点Dl的点D2，其局部区域点集M2，分别计算局部区域点集Ml中所有点到Dl的距离并提取其曲率值作为局部区域点集Ml中点的距离和曲率特征，再计算局部区域点集M2中所有点到D2的距离并提取其曲率值作为局部区域点集M2中点的距离和曲率特征；
[0080]局部区域点集Ml中点的距离、曲率特征分别与局部区域点集M2中点的距离、曲率特征相等或者近似相等时，将MI中某个点和M2中某个点组成点对定义为一对对应轮廓点对，并分别保存到点集Mil，M22中，即点对中原属于Ml的点保存到Mll中，点对中原属于M2的点保存到M22中；
[0081 ]计算点集Ml I中所有像素点的几何中心ZOl为(204，190)，再计算点集M22中所有像素点的几何中心Z02(197，226)，加入相机位姿平移量后，可比较两个几何中心获得待匹配图像相对于模板图像的平移量；
[0082]连接点集MlI中所有像素点和几何中心ZOI，得到线段集LI，再连接点集M22中所有对应像素点和几何中心Z02，得到对应线段集L2，计算两个线集L1、L2中所有对应线段的夹角之和，相机相对于世界坐标系绕Z轴旋转角度时，即可将夹角平均值作为待匹配图像相对于模板图像的旋转角度，该角度为4.72度；
[0083]以上对本发明的具体实施例进行了描述；需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容;在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
【主权项】
1.一种消除边缘锯齿化影响的图像匹配方法，其特征在于，包括: 步骤1、分别建立模板轮廓的曲率数组、待匹配轮廓的曲率数组； 步骤2、获取模板轮廓的凸包、待匹配轮廓的凸包； 步骤3、通过比较模板轮廓的凸包顶点与待匹配轮廓的凸包顶点之间的曲率值，排除干扰凸包顶点，获取模板轮廓和待匹配轮廓一一对应的凸包顶点作为有效凸包顶点； 步骤4、提取模板轮廓上有效凸包顶点附近若干轮廓点并计算这些轮廓点的曲率值，在待匹配轮廓上有效凸包顶点附近寻找与所述这些轮廓点的曲率值相同或基本相同的轮廓点作为匹配点，得到若干匹配点对； 步骤5、利用获得的匹配点对完成模板图像和待匹配图像的匹配。2.根据权利要求1所述的消除边缘锯齿化影响的图像匹配方法，其特征在于，所述步骤I包括: 步骤1.1、从模板图像中提取出模板轮廓作为模板图像的轮廓特征，从待匹配图像中提取出待匹配轮廓作为待匹配图像的轮廓特征； 步骤1.2、分别计算模板轮廓、待匹配轮廓这两种待计算轮廓的曲率数组，其中，曲率数组的计算步骤包括: 步骤1.2.1、从待计算轮廓上某一点开始逆时针遍历待计算轮廓，通过多次进行取相互间隔的3个轮廓点求取曲率值，得到由多个曲率值构成的曲率数组； 步骤1.2.2、以纵坐标为曲率值，横坐标为轮廓点序号，画出曲率数组曲线；设定阈值Fl，以阈值Fl为纵坐标值做水平线与画出的曲率数组曲线中的多个凸曲线段相交，提取每个凸曲线段与水平线的两交点对横坐标范围内的所有轮廓点中对应曲率值最大的轮廓点，保存为特征点集Tl。3.根据权利要求1或2所述的消除边缘锯齿化影响的图像匹配方法，其特征在于，所述步骤2包括: 步骤2.1:求解模板轮廓的凸包、待匹配轮廓的凸包，得到模板轮廓的凸包顶点集Cl，待匹配轮廓的凸包顶点集C2。4.根据权利要求3所述的消除边缘锯齿化影响的图像匹配方法，其特征在于，所述步骤3包括: 步骤3.1、求取特征点集Tl和凸包顶点集Cl中相同的点，记录为点集SI;提取凸包顶点集C2中所有点的曲率值，将凸包顶点集C2中曲率值小于设定阈值F2的点去除，得到的新的凸包顶点集记录为点集S2; 步骤3.2、比较点集S2中点的曲率值与点集SI中点的曲率值，提取出曲率值相同或基本相同，并且相对位置匹配的凸包顶点，记录为点集S22，则SI和S22为一一对应的凸包顶点。5.根据权利要求4所述的消除边缘锯齿化影响的图像匹配方法，其特征在于，所述步骤4包括: 步骤4.1、遍历选取点集SI中的每一个凸包顶点，对于每一个凸包顶点进行如下步骤:步骤4.1.1、将从点集SI中选取的当前凸包顶点记为Dl，D1的局部区域点集记为Ml;将点集S22中对应Dl的凸包顶点记为D2，D2的局部区域点集记为M2;其中，局部区域点集由凸包顶点的局部区域内所有的轮廓点构成； 步骤4.1.2、分别计算Ml中所有点到Dl的距离作为Ml中的点的距离特征，并提取Ml中的点的曲率特征；分别计算M2中所有点到D2的距离作为M2中的点的距离特征，并提取M2中的点的曲率特征； 步骤4.2、将距离特征和曲率特征相同或者基本相同的Ml中的点、M2中的点作为匹配点对，并分别保存到点集Mil、M22中。6.根据权利要求5所述的消除边缘锯齿化影响的图像匹配方法，其特征在于，所述步骤5包括: 步骤5.1、计算点集M11中所有点的几何中心CI，计算点集M 2 2中所有点的几何中心C 2，比较Cl与C2获得待匹配图像相对于模板图像的平移量； 步骤5.2、令Cl分别连接MlI中所有点，得到线段集LI，令C2分别连接M22中所有点，得到线段集L2;计算线段集L1、L2中各对匹配点对之间对应线段的夹角的平均值，将夹角的平均值作为待匹配图像相对于模板图像的旋转角度。
【文档编号】G06T5/00GK106023096SQ201610307267
【公开日】2016年10月12日
【申请日】2016年5月10日
【发明人】王贺升, 陈卫东, 朱航炜, 曹瑾
【申请人】上海交通大学