基于轮廓多边形拟合的可见光与红外图像的自动配准方法
【专利摘要】本发明涉及一种基于轮廓多边形拟合的可见光与红外图像的自动配准方法，属于多源图像配准领域。该方法主要分五步：第一，运用边缘检测算子和轮廓跟踪算法提取图像主轮廓。第二，对提取的轮廓进行多边形拟合。第三，匹配拟合后的轮廓并选择控制点。第四，选择图像变换模型并估算变换参数。第五，根据变换参数，对输入图像进行相应的变换和插值运算。本发明方法配准精度高、速度快，可有效解决刚体变换下可见光图像与红外图像的自动配准问题。
【专利说明】基于轮廓多边形拟合的可见光与红外图像的自动配准方法
【技术领域】
[0001]本发明涉及基于轮廓多边形拟合的可见光与红外图像的自动配准方法，属于多源图像配准领域。
【背景技术】
[0002]区别于单传感器图像，来自不同传感器的可见光与红外图像在灰度值、图像对比度、敏感目标等方面存在较大差异，这增加了图像配准的难度和复杂度。常见的图像配准方法分为两类:基于图像灰度的方法和基于图像特征的方法。由于不同传感器获取的图像灰度特征不一致，因此很难运用基于图像灰度的配准方法对这类图像进行配准。而基于特征的配准方法能够提取图像的显著特征，如轮廓、角点等，压缩了图像信息量，配准速度快，且对图像灰度变换具有鲁棒性。随着多源图像融合技术的发展，基于图像特征的配准方法在图像配准领域有着广泛的应用。这类方法主要包括特征提取、特征匹配、选取变换模型及求取参数、坐标变换及插值等四个方面。
[0003]应用较多的线特征是轮廓特征。论文:Dai X L, Khorram S.A Feature-basedImage Registration Algorithm Using Improved Chain—code RepresentationCombined with Invariant Moments[J].1EEE Transactions on Geoscience and RemoteSensing, 1999, 37(5):2351-2362.提出一种多源图像基于轮廓的图像配准方法，只匹配输入图像的闭轮廓，根据匹配后的闭轮廓的质心来估计配准参数。该方法图像配准精度较高，但要求能够从输入图像中检测出较好的闭轮廓。当不能从输入图像中检测出匹配闭轮廓时，这种配准方法不适用。论文:Li H, Manjunath B S，Mitra S K.A Contour-basedApproach to Multisensor Image Registration[J].1EEE Transactions on ImagingProcessing, 1995,4(3):320-334.提出了一种基于轮廓的多传感器图像配准方法,通过对开轮廓和闭轮廓分别匹配的方式，选取匹配开轮廓的角点和匹配闭轮廓的质心作为控制点。该方法充分利用了图像的开轮廓和闭轮廓信息，配准精度相对较高。但该方法算法复杂度较高，角点检测对配准精度影响较大。
【发明内容】
[0004]本发明的目的是针对现有多源图像配准方法的不足，提出一种基于轮廓多边形拟合的可见光与红外图像的自动配准方法。
[0005]为实现上述目的，本发明采用下述技术方案:
[0006]一种基于轮廓多边形拟合的可见光与红外图像的自动配准方法，包括以下步骤:
[0007]I).分别提取参考图像和待配准图像的主轮廓；
[0008]2).经轮廓提取后的轮廓冗余点和噪声比较多，这不仅会增加匹配难度，而且对于复杂的轮廓，在配准的过程中更容易产生误差；需对提取的轮廓进行多边形拟合，将复杂的轮廓简化，剔除轮廓中的冗余点和噪声；
[0009]3).进行轮廓匹配及控制点选择；[0010]4).选取图像变换模型，根据控制点估算图像变换参数；
[0011]5).根据估算的变换参数，对待配准图像进行重采样和插值运算。对配准结果图像中的每个像素坐标，根据变换参数逐一计算其在待配准图像中的坐标，这很容易造成计算得到的像素点的坐标不全是整数，可采用插值运算来解决这个问题。
[0012]所述步骤I)中的提取轮廓主要分为两部分:边缘检测和轮廓跟踪。以红外图像作为参考图像，可见光图像作为待配准图像。红外和可见光图像的灰度相似性虽然很低，但是它们有共同的目标信息，共同目标信息的轮廓相关性较大。利用Canny算子可检测出相关性较大的参考图像轮廓和待配准图像轮廓。采用Freeman链码来描述轮廓，通过轮廓跟踪将每个边界点的坐标和链码存储下来。链码方式描述轮廓需要记录轮廓的起点和轮廓上每一点相对于前一点的链码值列表。以8-领域链码为例，首先按照从左至右，从上至下的顺序查找轮廓起点；再按照逆时针方向左下、 下、右下、右的顺序查找第二个轮廓点，然后按照左下、下、右下、右、右上、上、左上、左的顺序查找其它轮廓点，直到找到下一轮廓起点为止。跟踪出的轮廓长短不一，包含了很多杂乱的纹理边缘。为提高运行效率和获取最有利于匹配的有用轮廓，在轮廓跟踪过程中，结合轮廓的提取效果，可设置一个轮廓长度阈值T。，只保留超过该阈值的轮廓。
[0013]所述步骤2)中的对轮廓进行多边形拟合采用的是一种迭代端点的拟合方法:详见论文:张帆，翟志华，张新红.图像处理中多边形拟合的快速算法[J].电脑开发与应用，2001，4(10):474-478.曲线拟合示意图如图1所示。在该拟合算法中，迭代次数越多，对轮廓的拟合精度就越高，拟合后的轮廓线就越接近原始轮廓线。该拟合算法拟合一条轮廓的主要步骤如下:
[0014](I)设置一个距离阈值T ；
[0015](2)选取轮廓线的起始点A和终止点B为拟合多边形的两个端点；
[0016](3)计算在轮廓线AB上A、B两点间所有点到A、B连线的距离，选出这其中距离最大点C，并设此最大距离值为H ；
[0017](4)比较H和T，如果H >T，说明C是拟合多边形的一个端点，继续步骤(5);如果H < Τ，则跳出算法，说明该段轮廓线上不存在端点；
[0018](5)端点C将轮廓线AB分为AC和BC两部分，按照(2)、(3)、(4)、(5)步骤，分别找出这两部分轮廓线上的端点；依此找出曲线AB上所有端点(A、B、C、D……)，将它们按照顺序连接起来，即获得最后拟合的多边形，端点A、B、C、D……即为多边形顶点。
[0019]所述步骤3)中的轮廓匹配采用的是链码匹配方式。一条数字化的轮廓曲线可以用八方向Freeman链码表示出来。如图2所示，Pi表示当前像素，i为像素索引值，Ci表示Pi的链码值，CiE {0，1，…，7}。如果Pi下一个像素在b6位置上，则(^为6。设定参考图像和待配准图像分别为第一图像和第二图像，按照Freeman链码的编码方式，便能得到第一图像和第二图像中每条轮廓的链码，可将两图像多边形拟合后的轮廓用链码表示出来。
[0020]假设链码{aj代表第一图像中一条长Na的轮廓A，链码{bj代表第二图像中一条长乂的轮廓B ;以A上第(k+Ι)个像素为起点、B上第(1+1)个像素为起点,分别截取长为η的轮廓段；其中，A上第(k+Ι)个像素对应的链码值为ak，B上第(1+1)个像素对应的链码值为K ;则两轮廓段的匹配度定义为:
【权利要求】
1.一种基于轮廓多边形拟合的可见光与红外图像的自动配准方法，其特征在于，包括以下步骤: 1).分别提取参考图像和待配准图像的主轮廓； 提取主轮廓分为边缘检测和轮廓跟踪两部分，采用抑制噪声和边缘定位折中最佳的Canny算子进行边缘检测,按逆时针方向跟踪出所有轮廓； 2).采用迭代端点拟合算法对步骤I)提取的主轮廓进行多边形拟合，在保留轮廓特征的前提下，将复杂轮廓简化，剔除轮廓中的冗余点和噪声； 3).匹配拟合后的轮廓并选择控制点； 4).选择图像变换模型，根据控制点估算图像变换参数； 5).重采样待配准图像及插值运算； 对配准结果图像中的每个像素坐标，根据步骤4)中得到的变换参数逐一计算其在待配准图像中的坐标，运用插值算法获得配准结果图中每个像素的灰度值。
2.根据权利要求1所述的基于轮廓多边形拟合的可见光与红外图像的自动配准方法，其特征在于:所述步骤I)中对输入图像闭轮廓的提取数量没有要求，在获得图像清晰主轮廓的情况下，可实现刚体变换下可见光图像与红外图像的自动配准。
3.根据权利要求1所述的基于轮廓多边形拟合的可见光与红外图像的自动配准方法，其特征在于:步骤2 )中采用迭代端点拟合算法对提取的主轮廓进行多边形拟合，该算法拟合一条轮廓的主要步骤如下: (1)设置一个距离阈值T; (2)选取轮廓线的起始点A和终止点B为拟合多边形的两个端点； (3)计算在轮廓线AB上A、B两点间所有点到A、B连线的距离，选出这其中距离最大点C，并设此最大距离值为H; (4)比较H和T，如果H>T，说明C是拟合多边形的一个端点，继续步骤(5);如果H< Τ，则跳出算法，说明该段轮廓线上不存在端点； (5)端点C将轮廓线AB分为AC和BC两部分，按照⑵、⑶、(4)、(5)步骤，分别找出这两部分轮廓线上的端点；依此找出曲线AB上所有端点(A、B、C、D……)，将它们按照顺序连接起来，即获得最后拟合的多边形，端点A、B、C、D……即为多边形顶点。
4.根据权利要求1所述的基于轮廓多边形拟合的可见光与红外图像的自动配准方法，其特征在于:所述步骤3)中的轮廓匹配采用的是链码匹配方式； 首先根据Freeman链码的编码方式,将拟合后的每条轮廓用Freeman链码表示出来；设定参考图像和待配准图像分别为第一图像和第二图像，假设链码{aj代表第一图像中一条长Na的轮廓A，链码IbJ代表第二图像中一条长Nb的轮廓B;以A上第(k+Ι)个像素为起点、B上第(1+1)个像素为起点，分别截取长为η的轮廓段；其中，A上第(k+Ι)个像素对应的链码值为ak，B上第(1+1)个像素对应的链码值为Id1 ;则两轮廓段的匹配度定义为:
5.根据权利要求1所述的基于轮廓多边形拟合的可见光与红外图像的自动配准方法，其特征在于:所述步骤4)中从待配准图像像素点变换到配准结果图像像素点的正向变换，不能保证每个待匹配图像像素点在配准结果图像中都有与之对应的像素点，即在配准结果图像中可能出现没有被赋值的像素点；为避免这种情况，采用反向变换，即对参考图像中的每个像素点，反向求解待配准图像中与之对应的像素点； 刚体变换模型为:1l cos 0 Sinff X (Am
【文档编号】G06T7/00GK104021568SQ201410294262
【公开日】2014年9月3日 申请日期:2014年6月25日 优先权日:2014年6月25日
【发明者】李振华, 徐胜男, 江耿红 申请人:山东大学