一种结合点特征和线特征的图像匹配算法
【技术领域】
[0001] 本发明属于图像匹配、计算机视觉及数字图像处理技术领域，具体涉及一种结合 点特征和线特征的图像匹配算法。
【背景技术】
[0002] 随着科学技术尤其是计算机技术的迅速发展，景象匹配识别技术已经成为信息处 理领域极其重要和基本的技术，特别是在航空航天、无人机导航以及导弹末制导等领域具 有广泛的应用价值。
[0003] 景象匹配识别是将飞行器现场拍摄的实时图与事先制备好的模板图进行匹配识 别的过程。通过图像识别以确定飞行器所处位置，从而能修正航向偏差。目前采用的模板 图主要来源于卫片或航片，实时图为机载相机（或弹载相机）拍摄的下方图像。
[0004] 实时图一般为红外图像，而模板图可能为可见光或红外图像。模板图与实时图因 为拍摄时间、成像器不同，其灰度纹理与实时图通常会有较大差异。在现实场景中，实时图 内的物体还会受光照，阴影，云雾遮挡等影响，其灰度纹理特性会发生较大变化。特别是在 红外图像中，即使相同的物体其灰度特征在一天中的不同时段也会发生变化。
[0005] 景象匹配识别中通常会根据模板图和部分关于材质的先验知识，通过聚类的方法 生成反映模板图中较为显著稳定的结构特征的二值（多值）模板。二值（多值）模板应用 到复杂场景的匹配中，能在统计意义上部分消除适应灰度变化带来的影响，但是会出现重 复模式较多，描述能力不够的问题。
[0006] 根据参与运算的数据结构的不同，图像的匹配识别算法有两个研宄方向：基于 特征的匹配识别方法和基于区域的匹配识别方法。其中，著名的基于点特征的匹配识别方 法包括尺度不变特征转换（Scale-invariant feature transform，SIFT)，快速鲁棒特征 (Speed-Up Robust Features，SURF)，标定方向的 BRIEF 算法（ORiented Brief^C(RB)tjSIFT 类算法适用于描述纹理丰富的图像，在简单二值模板中，纹理信息较少，线条简单，可提取 的角点数量较少，而且SIFT类算法寻找主方向时依赖局部梯度，主方向定位不准确会影响 描述子的描述能力。
[0007] 常用的边缘特征提取方法包括：Robert边缘检测算子、高斯一拉普拉斯算子（LOG 算子）、Canny算子、Hough变换等。边缘匹配算法相对角点匹配发展较慢，当前边缘匹配算 法易受噪声影响，匹配精度和抑制噪声能力通常不能兼顾，复杂场景下边缘提取可能不稳 定，影响匹配结果。
[0008] 基于区域的匹配识别方法又称为模板匹配法，是一种常见的图像匹配算法，最常 用的基于区域的匹配方法包括：灰度互相关算法和互信息匹配算法等，主要利用区域的灰 度信息或者灰度信息的某种变换进行匹配识别。它的发展比较成熟，稳定性好、可靠性高， 被广泛应用于模式识别、飞行器导航等领域。基于区域的匹配识别在区域的选择方面带有 较强的先验，在模板较大时运算耗时较大。
【发明内容】
[0009] 本发明提出一种结合点特征和线特征描述子的图像匹配算法，目的在于通过使用 角点邻域的线特征对点特征的多个候选匹配点进行筛选，获得更好的在复杂场景中的匹配 定位能力。
[0010] 为实现本发明的目的，本发明提供了一种结合点特征和线特征描述子的图像匹配 算法，所采取的方法如下步骤：
[0011] (1)分别对模板图和实时图在多尺度下提取角点
[0012] 分别对模板图和实时图构建尺度金字塔图像。构建尺度金字塔图像时，保持图像 大小不变，通过改变高斯模糊尺寸和用于计算haar响应窗口的大小以获得每一层不同尺 度的金字塔图像。在每层金字塔图像中，使用hessian矩阵计算每个像素的局部曲率P，将 每个像素点与其尺度邻域上的α个点的局部曲率p (通常取3个尺度邻域上的26个点， 即α通常取为26)进行比较，如果该像素点的局部曲率P是这α个点中的最大值或者最 小值，则保留下来，作为初步选择的角点。
[0013] 对初步选择的角点，根据其局部曲率P使用双阈值（tl，t2,且tl〈t2)进行筛选， 获得最终选定的角点。筛选过程中，局部曲率P小于阈值tl的角点则直接舍去，局部曲率 P大于阈值t2的角点则直接保留，局部曲率P大于阈值tl但小于t2的角点，如果在其邻 域能提取出较多的长边缘（说明该角点邻域能描述足够的结构特征），则保留该角点，否则 将其舍去。
[0014] (2)获得实时图和模板图角点周围的边缘集合
[0015] 遍历步骤⑴获得的最终选定的角点，分别从实时图和模板图角点的β邻域（β 邻域通常取为IOs半径邻域，s为该角点所在尺度的像素单位）开始提取边缘并进行生 长，获得角点周围的边缘集合。获得边缘集合过程中，将属于某边缘的像素点标记为η(η 表示该像素属于被找到的第η条边缘曲线），将处理过但被认为不属于边缘的像素标记为 NotEdge。如果某角点邻域包含已被标记为η的像素点，则直接将第η条边缘曲线并入该角 点的边缘集合，不再从该像素开始生长。处理过的像素点不再被处理。
[0016] 将提取出来的边缘点坐标以曲线为单位，存储到链表中，使用数组M(索引即为上 述的η)对链表进行索引。角点周围的边缘集合使用链表表示。链表内的值为其包含的边 缘曲线在数组M中的索引。
[0017] (3)计算角点的点特征描述子
[0018] 利用公式（1)或（2)描述步骤（1)获得的最终选定的实时图与模板图角点的类 ORB点特征描述子。计算类ORB点特征描述子过程中，首先在角点邻域选择一定数量的图块 对（即两个图块组成的集合），计算每个图块内像素的灰度值之和，比较每个图块对的灰度 值之和，根据比较的结果进行编码，所有图块对比较结果的编码组成了该角点的类ORB点 特征描述子（可以根据标准ORB算法建议的方式选择512个图块对，所有图块都在该角点 所在尺度上获取）。每个图块对的编码方式如下公式所示：
[0020] 其中t为根据对实时图对比度要求选择的阈值，P(X)和P (y)表示选择的图块内 像素的灰度值之和。如果只考虑材质反差（例如红外图像），可将编码Ol和10合并为1， 即公式为：
[0022] 每个图块对i计算出一个τ i，K个图块对比较结果的编码组成了该角点的点特征 描述子[τ 0，τ !，…，τ κ-J °
[0023] (4)边缘集合匹配相似度计算
[0024] 利用最小截平方 Hausdorff 距离（Least Trimmed Square-Hausdorff Distance, LTS-HD)描述步骤（2)获得的实时图和模板图的边缘集合的匹配相似度。LTS-HD将点到 点集按最小坐标距离（使用欧式距离描述）从小到大排序，取前h个的平均值作为单向 Hausdorff 距离。
[0025] 设点集A为实时图某角点周围边缘集合内像素点组成的集合，点集B为模板图某 角点周围边缘集合内像素点组成的集合，其像素点数量分别为NjPN b。计算点集A中所有 点与点集B内的点的最小坐标距离，并从小到大进行排序，得到有序集合X。其中，dB( ai) (1)表示点集A中的点a jlj点集B内的点的最小距离在所有点集A中其他点的最小距离中 排序为第i位。
[0027]同理计算点集B中所有点与点集A内的点的最小坐标距离，并从小到大进行排 序，得到有序集合Y。其中，(1Α〇^)ω表示点集B中的点bjlj点集A内的点的最小距离在所 有点集A中其他点的最小距离中排序为第i位。
[0029] 设K = f\XNA，L = f2XNB，fJP f 2分别为点集像素数量N，Nb对应的比例系数， 且满足〇〈4〈1，〇〈以1。定义六和8之间的单向距离1^^，8)和1^?，）为：
[0032] LTS-HD距离定义为：
[0033] H (A, B) = max [hLTS (A, B), hLTS (B, A) ] (5)
[0034