基于DCE和LSS的红外图像和可见光图像配准方法与流程

本发明涉及数字图像处理技术领域，尤其涉及一种基于dce(discretecurveevolution，离散曲线演化)和lss(localself-similarity，局部自相似)的红外图像和可见光图像配准方法。

背景技术：

图像配准是依据一些相似性度量决定图像间的变换参数，使从不同传感器、不同视角、不同时间获取的同一场景的两幅或多幅图像，变换到同一坐标系下，在像素层上得到最佳匹配的过程。对于单模态(同一设备成像)的图像配准目前已经得到了很好的解决，多模态图像能提供比单模态图像更加丰富和全面的信息，但是由于多模态的图像源自不同的成像设备，有不同的成像原理，多模态的图像配准仍未得到很好的解决。

红外与可见光图像就是常见的多模态图像，由于红外反映景物的辐射信息而可见光反映景物的反射信息，二者输出的图像具有不同的灰度特征，红外图像可在场景内定位具有较高温度的物体，而可见光图像可提供背景信息，二者信息互为补充，二者的融合可用于目标识别、目标检测等领域。红外图像和可见光图像的配准是图像预处理中极为关键的步骤，也是计算机视觉中最困难、最重要的任务之一。

配准方法实现流程如图1所示，将待配准图像进行变换、插值处理后与参考图像计算相似度，根据相似度执行最优变换，变换过程中由变换参数优化器优化变换参数，直至得到最终最优变换参数。目前的配准方法主要分为两类：

一种是基于区域的配准方法，通常是用图像的某一区域或者整幅图像去估计图像之间在空间几何上的变换参数。常见的基于区域的配准方法有相关类方法、相位相关法、概率型测度法等，其中概率型测度有图像联合直方图、图像联合熵、互信息法、归一化互信息法等；该种方法能在特定情况下获得较好的效果，但对于红外图像和可见光图像配准时，所需计算时间长、对噪声的鲁棒性不强；

另一种是基于图像特征的方法，包括有基于结构性特征的方法、基于不变量图像描述符的方法、基于局部不变特征的方法等，其中局部不变特征在解决宽基线匹配、特殊目标识别、机器人定位等问题中得到了广泛的应用，局部不变特征能对旋转、尺度缩放、仿射变换、视角变化、光照变化等图像变化因素保持一定的不变性，而对物体运动、遮挡等因素保持较好的可匹配性，从而可以实现差异较大的两幅图像之间特征的匹配。

基于特征的方法实现包括两个部分内容：一是特征检测，二是特征描述。针对于特征描述方式中，基于形状上下文(shapecontexts,sc)描述算法对目标轮廓的描述能力强，且具有一定抑制噪声的能力，但是算法复杂度较高，且无法获得轮廓点序信息；利用角点典型形状上下文特征(cornerrepresentativeshapecontext,crsc)是在sc的基础上提出的一种快速识别的算法，该算法能够降低特征点的匹配时间，有利于解决大规模形状样本的匹配问题，但其检索精度不高；仿射不变性曲线描述算法(affine-invariantcurvedescriptor，aicd)是针对形状轮廓有遮挡的现象提出的，该算法能够有效地解决形状仿射畸变和部分遮挡的匹配问题，但该描述子仅能获得轮廓的局部特征，造成算法匹配精度不高，且该算法计算复杂度较高；基于变换域的傅里叶形状描述子具有简单、高效的特点，但是局部特征捕捉能力不强，且对噪声干扰较为敏感；根据角点特征的描述方式具有旋转不变性和光照不变性，利用角点能够减少参与计算的数据量，同时又不损失图像的重要灰度信息，有从业者提出基于harris因子分别在红外图像和可见光图像上进行角点检测，利用角点邻域在边缘图像上的相关性，计算出角点的细匹配，但由于harris检测的复杂度高，因而计算量巨大，难以达到实时性要求。

中国专利申请cn105631872a公开一种特征点检测方法，通过在输入图像的各向异性尺度空间中分别使用harris和hessian算子进行特征点检测，离散曲线演化dce基于视觉部件，能够对图像中的形状轮廓进行特征提取，获得具有重要视觉部件的轮廓，并且对目标变形、边界噪声具有一定的鲁棒性。但是由于角点检测的复杂度较高，因而计算量巨大，配准的精度低，不能达到很好配置效果，当用于红外图像和可见光图像配准时，计算时间长、对噪声的鲁棒性不强。

对红外图像和可见光图像进行配准时，若单基于轮廓进行配准，存在红外图像中目标的边界模糊，不易于准确分割等问题；若单基于特征点进行配准，由于红外图像和可见光的成像原理不同，会导致特征点的分布不均，且在不同图像中相同目标也可能存在不同的特征点，使得配准误差较高。

技术实现要素：

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种配准的实现复杂度低且配准精度及效率高的基于dce和lss的红外图像和可见光图像配准方法。

为解决上述技术问题，本发明提出的技术方案为：

基于dce和lss的红外图像和可见光图像配准方法，步骤包括：

s1.dce特征点提取：采用dce分别检测待配准的红外图像、可见光图像的目标轮廓，并提取对应所述目标轮廓中顶点的各dce特征点，得到分别对应待配准的红外图像、可见光图像的dce特征点集合；

s2.lss特征描述：采用lss方法分别描述各所述dce特征点集合中各个dce特征点；

s3.相似度测量：根据所述步骤s2的描述结果，计算待配准的红外图像、可见光图像之间各个dce特征点之间的匹配度，得到各个dce特征点之间的对应关系；

s4.配准输出：根据所述步骤s3得到的所述对应关系，经过图像变换后得到配准后图像输出。

作为本发明的进一步改进：所述步骤s1中采用dce描述目标轮廓时，在演化过程中根据简化得到的多边形与原物体之间的相似程度，以及dce特征点集之间的顺序关系来控制形状匹配以及演化过程的终止。

作为本发明的进一步改进：所述简化得到的多边形与原物体之间的相似程度采用p上远边界点演化得到的多边形p^n-k的线段的平均距离dav(p^n-k)来表示，其中p^n-k为演化删除k个顶点后得到的多边形轮廓，当所述平均距离dav(p^n-k)大于预设阈值t时终止dce的演化过程。

作为本发明的进一步改进：所述dce特征点具体由构成的向量进行描述，其中为归一化的位置向量，k为同一顶点两条边的相关性，是轮廓的角度。

作为本发明的进一步改进：所述步骤s1中得到dce特征点集合后，还包括根据各个dce特征点之间的关联度，对所述dce特征点集合中各dce特征点进行粗匹配步骤。

作为本发明的进一步改进，所述进行粗匹配的具体步骤为：

s11.设定第一衡量度、第二衡量度以及第三衡量度，其中所述第一衡量度为：

其中，k^l和k^r分别为一个dce特征点与左、右两侧的dce特征点之间的关联度；

第二衡量度为：

其中，d为两个dce特征点之间的欧氏距离；

第三衡量度为：

其中pe为所述dce特征点集合；

s12.分别计算所述dce特征点集合中各dce特征点的所述第一衡量度、第二衡量度以及第三衡量度，综合所述第一衡量度、第二衡量度以及第三衡量度，确定需要保留的dce特征点，得到粗匹配后的最终dce特征点集合。

作为本发明的进一步改进，所述步骤s12的具体步骤为：将各dce特征点的所述第一衡量度、第二衡量度以及第三衡量度按照下式计算综合衡量度，若所述综合衡量度大于预设阈值，则保留对应的dce特征点；

sdce＝sk+seucl+sangle

其中，sdce为综合衡量度，sk为第一衡量度，seucl为第二衡量度，sangle为第三衡量度。

作为本发明的进一步改进，所述步骤s2中采用lss描述一个dce特征点的具体步骤为：

s21.以目标dce特征点为中心在图像上取指定大小的局部区域，并以目标dce特征点为中心取指定大小的邻域，得到中心子窗口；

s22.在所述局部区域中，以每个像素为中心取相同大小的邻域作为子窗口，计算所有的子窗口与所述中心子窗口之间的灰度差方和ssd；

s23.对所述灰度差方和ssd进行归一化处理转化为相关曲面sq(x,y)；

s23.把所述相关曲面sq(x,y)转换至对数极坐标下，并在角度和径向方向上分别划分为n份和m份，并在每个子区域中选择一个特征值形成n*m维的lss描述子，得到描述目标dce特征点的结果。

作为本发明的进一步改进，所述步骤s3中计算匹配度时具体采用lss描述子间的ncc作为匹配的相似性测度，当两个目标dce特征点之间的lscc>t时，其中t为预设匹配阈值，lssc为lss描述子间的ncc，判定两个目标dce特征点为相匹配的对应点。

与现有技术相比，本发明的优点在于：

1)本发明基于dce和lss的红外图像和可见光图像配准方法，利用红外图像和可见光图像之间的特性，针对同一场景下包含多种人像的红外图像和可见光图像，结合dce特征点和空间信息的lss描述对红外图像和可见光进行匹配，通过采用dce来描述待配准的红外图像、可见光图像的目标轮廓，并提取对应目标轮廓中顶点的各dce特征点，再采用lss方法描述dce特征点，由dce特征点之间的匹配度将红外图像和可见光图像中各个dce特征点进行对应，能够实现精准的配准，且实现复杂度低、配准效率高；

2)本发明基于dce和lss的红外图像和可见光图像配准方法，采用dce描述目标轮廓时，在演化过程中根据简化得到的多边形与原物体之间的相似程度，通过改变dce的终止条件来控制演化过程的终止，使得能够实现动态控制演化程度，能够适用于具有大量图像的数据库的形状匹配，同时能够降低迭代次数，从而降低算法的复杂程度；

3)本发明基于dce和lss的红外图像和可见光图像配准方法，采用dce描述目标轮廓时，在演化过程中根据简化得到的多边形与原物体之间的相似程度，以及dce特征点集之间的顺序关系来控制形状匹配以及演化过程的终止，能够利用轮廓点集顺序关系信息执行形状匹配，执行精准的形状匹配，同时能够实现动态控制演化程度，使得降低迭代次数而执行合适的演化，降低算法的复杂程度，从而能够适用于具有大量图像的数据库；

4)本发明基于dce和lss的红外图像和可见光图像配准方法，综合像素灰度与相邻像素运用lss自相似的目标描述方法对dce特征点进行描述，充分结合了图像的空间信息，能够防止相邻像素虚警的产生，具有更好的描述性能，且对于旋转和形变具有一定容忍性；进一步通过将相关曲面变换到对数极坐标下，以及通过多维的lss描述子进行特征点的描述，能够使得描述子对于局部仿射形变具有一定的容忍性。

附图说明

图1是图像配准的实现流程示意图。

图2是本实施例基于dce和lss的红外图像和可见光图像配准方法的实现流程示意图。

图3是本实施例采用的dce进行离散曲线演化的实现原理示意图。

图4是对图像采用常用的去除边界噪声方法与采用dce方法的对比结果图。

图5是本发明具体实施例中dce演化得到的人像dce轮廓及dce特征点结果示意图。

图6是本发明具体实施例中从可见光和红外图像中检测到的dce关键点结果示意图。

图7是本实施例采用lss描述dce特征点的形成流程示意图。

具体实施方式

以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。

如图2所示，本实施例基于dce和lss的红外图像和可见光图像配准方法，步骤包括：

s1.dce特征点提取：采用dce分别检测待配准的红外图像、可见光图像的目标轮廓，并提取对应目标轮廓中顶点的各dce特征点，得到分别对应待配准的红外图像、可见光图像的dce特征点集合；

s2.lss特征描述：采用lss方法分别描述各dce特征点集合中各个dce特征点；

s3.相似度测量：根据步骤s2的描述结果，计算待配准的红外图像、可见光图像的dce特征点集合中各个dce特征点之间的匹配度，得到各个dce特征点之间的对应关系；

s4.配准输出：根据步骤s3得到的所述对应关系，经过图像变换后得到配准后图像输出。

dce基于视觉部件能够对图像中的形状轮廓进行特征提取，获得具有重要视觉部件的轮廓，并且对目标变形、边界噪声具有一定的鲁棒性，本实施例通过dce能够有效检测出红外图像和可见光图像中的同一目标；lss能够反映图像内在的几何布局和形状属性的特征，对没有相同的底层结构、但具有相似的几何布局的目标，具有良好的检测性能，本实施例通过lss对dce特征点进行描述，能够有效描述红外图像和可见光目标中具有相似的描述子向量。

红外图像和可见光图像之间的成像原理不同、具有不同底层结构，且对于同一目标具有相同轮廓和相同的相对空间信息，本实施例基于该特性，针对同一场景下包含多种人像的红外图像和可见光图像，结合dce特征点和空间信息的lss描述对红外图像和可见光进行匹配，通过采用dce来描述待配准的红外图像、可见光图像的目标轮廓，并提取对应目标轮廓中顶点的各dce特征点，再采用lss方法描述dce特征点，由dce特征点之间的匹配度将红外图像和可见光图像中各个dce特征点进行对应，与传统的红外图像与可见光图像配准方法相比，能够利用目标人像周围的空间信息实现精准的配准，且实现复杂度低、配准效率高。

dce是一个简化目标轮廓多边形的过程，dce能检测图像目标轮廓上一些明显的凸点，dce通过不断删除轮廓上的凹点完成演化过程。本实施例步骤s1中采用dce从不同图像中刻画出人像目标的轮廓，在轮廓的顶点处得到特征点，描述目标轮廓时，具体在每一次演化过程中删除对目标识别贡献最小的轮廓点,同时保留物体的基本信息，在这个过程中删除的顶点一般是物体形状边界上的突起或者噪音，从而避免了突起或者噪音对于凸点选取的影响。具体的，如图3所示，假设有2条线段s1＝{v1,v2}、s2＝{v2,v3}其中，v1,v2,v3表示曲线轮廓点，若这3个点中，v2对形状的识别贡献最小，则删除v2，接下来连接v1和v3形成一条新的线段，即s3＝{v1,v3}。

本实施例具体采用如式(1)所示的计算目标识别贡献的函数：

其中，β(s1,s2)为线段s1,s2的转角，该转角β(s1,s2)计算时，通过在标准二维平面坐标系下,指定x轴为参考线,定义线段s的角方向函数fa(s)为线段的起点到终点方向与x轴方向的带符号夹角,则线段s1,s2的转角β(s1,s2)＝fa(s2)-fa(s1)；l(s1),l(s2)分别表示线段s1,s2相对轮廓周长归一化后的长度。

如上式(1)计算目标识别贡献，k(s1,s2)的值越小,则线段s1,s2对整个轮廓的贡献越小，即对应在形状识别中越不重要，每次演化过程中删除k(s1,s2)值最小的轮廓点。

dce能够消除轮廓曲线上的突起或者图像中的噪音，但是若dce无休止的演化下去，无法控制演化程度，且算法复杂程度高，不适用于具有大量图像的数据库的形状匹配，且传统的dce通常在形状匹配时没有利用轮廓点集顺序关系信息，导致形状匹配精度降低。本实施例中，步骤s1中采用dce描述目标轮廓时，在演化过程中根据简化得到的多边形与原物体之间的相似程度，以及dce特征点集之间的顺序关系来控制形状匹配以及演化过程的终止，能够利用轮廓点集顺序关系信息执行形状匹配，执行精准的形状匹配，同时能够实现动态控制演化程度，使得降低迭代次数而执行合适的演化，降低算法的复杂程度，从而能够适用于具有大量图像的数据库。

本实施例中，简化得到的多边形与原物体之间的相似程度采用p上远边界点演化得到的多边形p^n-k的线段的平均距离dav(p^n-k)来表示，其中p^n-k为演化删除k个顶点后得到的多边形轮廓，当平均距离dav(p^n-k)大于预设阈值t时终止dce的演化过程。预设阈值t取值不同时可以演化得到不同层次的简化多边形，预设阈值t取值具体可根据红外图像和可见光图像目标人像的特点确定。如图4所示，对比各种常用的去除边界噪声方法，其中图a为原图，图b为含噪图像，图c为采用canny算子得到的结果，图d为采用高斯平滑得到的结果，以及图e为采用dce得到的结果，从图中可知，本实施例dce离散曲线演化的结果与原目标具有更较高的近似度。

如图5所示为对红外图像和可见光图像的人像目标进行dce时，采用32点演化得到的人像dce外形轮廓及dce特征点(dcekeypoints)，如图6所示为分别针对可见光和红外图像进行dce特征点(dcekeypoints)检测的结果，其中图(a)对应可见光图像，图(b)对应红外图像。从图中可以看出，采用dce能够在红外图像和可见光图像中有效获取人像的主要轮廓。

由于特征点的方向将被用于跨模态的目标配准，本实施例中通过包含有方向参数的三个参数来描述dce特征点，dce特征点具体由构成的向量进行描述，其中为归一化的位置向量，k为同一顶点两条边的相关性，是轮廓的角度。k的定义具体如式(2)所示；

其中β是两边的外角，l1,l2分别表示同一顶点两条边相对于轮廓周长的归一化长度。

dce的初始目的是用简洁的边勾勒出目标的轮廓，但是步骤s2中基于lss自相似的特征描述时需要用到尽可能多的特征点，且dce演化能够得到与目标相近的轮廓。本实施例基于dce上述特性，对dce离散曲线演化的迭代过程进行优化，通过改进迭代条件，使得能够得到尽可能多的有意义的轮廓边，从而尽可能用更多更准确的曲线描述目标的轮廓，进而得到较多的特征点。

为了减少后续lss的计算量，本实施例中，步骤s1中得到dce特征点集合后，还包括根据各个dce特征点之间的关联度，将对应红外图像、可见光图像的dce特征点集合中各dce特征点进行粗匹配步骤。

本实施例中，进行粗匹配的具体步骤为：

s11.按式(3)、(4)、(5)分别设定第一衡量度、第二衡量度以及第三衡量度，其中第一衡量度sk为：

其中，k^l和k^r分别为一个dce特征点与左、右两侧的dce特征点之间的关联度；

第二衡量度seucl为：

其中，d为两个dce特征点之间的欧氏距离；

第三衡量度sangle为：

其中pe为dce特征点集合；

s12.分别计算dce特征点集合中各dce特征点的第一衡量度、第二衡量度以及第三衡量度，综合第一衡量度、第二衡量度以及第三衡量度，确定需要保留的dce特征点，得到粗匹配后的最终dce特征点集合。

本实施例中，步骤s12的具体步骤为：将各dce特征点的第一衡量度sk、第二衡量度seucl以及第三衡量度sangle按照式(6)计算综合衡量度，若综合衡量度大于预设阈值，则保留对应的dce特征点；

sdce＝sk+seucl+sangle(6)

其中，sdce为综合衡量度。

如图7所示，本实施例中步骤s2中采用lss描述一个dce特征点的具体步骤为：

s21.以目标dce特征点p为中心在图像上取指定大小的局部区域，并以目标dce特征点p为中心取指定大小的邻域，如3*3像素，得到中心子窗口；

s22.在局部区域中，以每个像素为中心取相同大小的邻域作为子窗口，计算所有的子窗口与中心子窗口之间的灰度差方和ssd；

s23.对灰度差方和ssd进行归一化处理转化为相关曲面sq(x,y)，相关曲面sq(x,y)具体按式(7)计算；

式中varpatch是中心子窗口与其邻域内子窗口间的ssd最大值。varnoise是一个常量，表示由光照和噪声等引起的灰度变化。

s23.把相关曲面sq(x,y)转换至对数极坐标下，并在角度和径向方向上分别划分为n份和m份，并在每个子区域中选择一个特征值形成n*m维的lss描述子，得到描述目标dce特征点的结果。

本实施例采用上述步骤，综合像素灰度与相邻像素运用lss自相似的目标描述方法对dce特征点进行描述，充分结合了图像的空间信息，能够防止相邻像素虚警的产生，相比于传统的基于特征边界、基于无规则轨迹等描述方法，能够具有更好的描述性能，且对于旋转和形变具有一定容忍性。

本实施例步骤s23中将相关曲面sq(x,y)转化到对数极坐标下，相关曲面sq(x,y)在对数极坐标下具体在角度和径向方向上分别划分为n＝20份和m＝4份，形成80个bin，在每个子区域里，具体选择最大的相关值作为特征值，形成80维的lss描述子。通过将相关曲面变换到对数极坐标下，以及通过多维的lss描述子进行特征点的描述，能够使得描述子对于局部仿射形变具有一定的容忍性；通过选择在每个bin中的最大相关值，还能够使描述子对最佳匹配子区域在该bin内的确切位置不敏感，由于bin的半径的大小增加，允许增加径向，因而可以增加非刚性变形；同时，lss使用patch(子区域)作为测量内部自相似性的基本单位比单个像素捕获更多有意义的图像模式。

相比于传统的互信息mi方法完全依赖于图像灰度信息，本实施例采用lss先分别计算每一副图像的描述算子，然后在匹配过程进行比较，能增强在目标人像区域上匹配的正确率，且lss是基于子区域patch对整幅图像的相关描述，因而对小区域内的测量单元拥有更多有意义的描述；同时lss中只要目标人像具有类似的空间布局，利用lss都能达到适合的匹配，即本实施例基于lss能够对着装不同或者形态不同的目标人像实现可靠的描述。

ncc是一种基于统计学计算两组样本数据相关性的算法，其取值范围为[-1,1]之间，对图像来说，每个像素点都可以看成是rgb数值，这样整幅图像就可以看成是一个样本数据的集合，如果它有一个子集与另外一个样本数据相互匹配则它的ncc值为1，表示相关性很高，如果是-1则表示完全不相关，基于上述原理即可实现基于模板匹配的识别算法。

数据归一化公式如(8)式：

其中，表示像素点p的灰度值，μ表示窗口所有像素的平均值，σ表示标准方差。

假设t表示模版的像素值，图像的ncc定义如(9)式：

其中n是模版像素的总数。

多光谱图像间的局部形状具有较高的相似性，本实施例采用lss描述子间的ncc(表示为lscc)作为匹配的相似性测度，当两个目标dce特征点之间的lscc>t时，其中t为预设匹配阈值，lscc为采用lss描述子间的ncc，判定两个目标dce特征点为相匹配的对应点。

本实施例中，lscc具体按照下式计算得到；

其中，和分别为图像a和b的lss描述子，和分别为图像a和b的lss描述子的平均值；n为lss描述子的维数。

本实施例在确定特征点描述子后，利用lscc进行相似度测量，再利用ransac算法，剔除一些错误匹配的特征点，利用lscc相似度测量得到的特征点之间的对应关系，即可计算单应性矩阵。

如图2所示，本实施例上述配准方法对红外图像和可见光图像进行配准时，具体首先利用dce分别提取红外图像和可见光图像中的目标轮廓，轮廓顶点的集合作为dce特征点集合，其中演化过程中由于dce能够得到与目标相近的轮廓，对dce离散曲线演化的迭代过程进行优化，设定终止演化条件，使得尽可能用更多更准确的曲线描述目标的轮廓，进而得到较多的特征点；再依次以特征点集合中的每个特征点作为中心点，利用lss描述每一个特征点的特征向量，使得对于旋转和形变具有一定容忍性；然后利用多光谱图像间的局部形状具有较高的相似性的特性，运用lscc(lss的ncc)计算匹配度，设定一个匹配阈值，当超过匹配阈值的特征点对判定为对应特征点，建立得到各特征点之间的对应关系；最后基于建立的对应关系进行图像变换，对于变换后的图像，非整数的坐标中的图像值可以使用适当的插值计算技术进行插值，得到配准后图像输出。

上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。