。其中：
[0104] 图3(a)为输入的参考图像；
[0105] 图3(b)为输入的待匹配图像；
[0106] 图3(c)为用现有基于尺度不变特征SIFT的图像匹配方法对两幅输入图像进行匹 配的结果；
[0107] 图3(d)为用现有基于最大稳定极值区域MSER的图像匹配方法对两幅输入图像进 行匹配的结果；
[0108] 图3(e)为用现有基于完全仿射不变特征变换ASIFT的图像匹配方法对两幅输入图 像进行匹配的结果；
[0109] 图3(f)为用本发明对两幅输入图像进行匹配的结果。
[0110] 从图3可以看出，采用现有基于尺度不变特征SIFT，基于最大稳定极值区域MSER 的图像匹配方法得到的匹配结果较差，采用现有基于完全仿射不变特征ASIFT的图像匹配 方法得到的匹配结果以及采用本发明方法得到的匹配结果均具有较好效果。
[0111] 为了进一步比较上述四种方法的性能，给出了对上述四种方法的四种统计客观评 价指标:特征点总匹配点数、正确匹配点数、正确匹配率及特征点重复率，如表2所示。
[0112] 表2基于SIFT、MSER、ASIFT方法及本发明对四种客观评价指标的结果对比 Γηι1
LmM」从表2中数据η」以宥出，与现有基亍尺度小变特祉SIFT、-t最大极值凶i^MSER的 方法以及基于完全仿射不变特征ASIFT的方法相比，本发明不仅具有更高的正确匹配率而 且具有更高的特征点重复率。
【主权项】
1. 一种基于变换不变低秩纹理的投影变换图像匹配方法，包括： (1) 分别输入存在投影变换的两幅图像A和B，其中A为参考图像，B为待匹配图像； (2) 分别对输入的两幅图像进行低秩纹理区域检测，得到参考图像A中的低秩纹理区域 Ua和待匹配图像B中的低秩纹理区域化； (3) 分别对上述低秩纹理区域Ua和化进行变换不变低秩纹理TILT变换，得到各参考图像 A的局部变换矩阵Ha和待匹配图像B的局部变换矩阵化； (4) 分别使用局部变换矩阵Ha和化对上述两幅输入图像A和B进行投影变换，得到校正后 的参考图像和校正后的待匹配图像: A' =HaA =HbB; (5) 分别对上述两个校正后图像y和图像进行高斯差分DoG极值点检测，得到校正后 参考图像的特征点集Q y W及校正后待匹配图像的特征点集Q ; (6) 分别对上述两个特征点集Q 及Q 中的每一个特征点进行基于尺度不变特征变换 描述，得到128维的局部特征描述符La' W及Lb';分别对Q A' W及Qb'中的每一个特征点建立 20维的几何形状描述符Ga' W及姑'； (7) 利用步骤(6)中建立的128维局部特征描述符La'、Lb'W及20维的几何形状描述符 Ga'、Gb'，建立校正后参考图像的特征点集Q A'中每一个特征点的特征描述符Da'，建立校正后 待匹配图像的特征点集Q 中每一个特征点的特征描述符Db^ :其中0含W含1是局部特征与几何形状特征之间的权重因子。 (8) 对上述得到的新型特征描述符Da'和Db'进行欧式距离度量，W最近邻比次近邻小于 指定阔值的准则来建立参考图像与待匹配图像的匹配点对，完成存在投影变换的图像之间 的匹配。2. 根据权利要求1所述的基于变换不变低秩纹理的投影变换图像匹配方法，其中步骤 (2)中分别对参考图像A和待匹配图像B进行低秩纹理区域自动检测，按如下步骤进行： 2a)分别对参考图像A和待匹配图像B旋转送=个不同的角度，得到=组不同旋 转角度下的图像4?、2b)对旋转后的参考图像為%进行化nny边缘检测和化U曲变换线检测，得到不同旋转角 度下图像中的直线检测结果：，nk表示图像4?中检测到的 直线的数目；对旋转后的待匹配图像马^进行化nny边缘检测和化U曲变换线检测，得到不同 旋转角度下图像中的直线检测结果：，11/1^表示图像&,中 检测到的直线的数目； 2c)将上述在旋转后的参考图像或t中检测得到的直线旋转0/k角度，，并将 旋转得到的直线在参考图像A中进行显示，得到参考图像A中的直线群rS将上述在旋转后 的待匹配图像馬。中检测得到的直线旋转0/k角度，，并将旋转得到的直线在待 匹配图像B中进行显示，得到待匹配图像B中的直线群lB; 2d)对上述步骤得到的参考图像A中的直线群的端点进行坐标表示，得到不同直线的 端点坐标值化1=把1，711八？12=佔2,712仍，其中？11=把1，711)嗦示直线的起点坐标，口12 =(Xi2，yi2)T表示直线的终点坐标； 2e)获得所有坐标值中横坐标的最小值Xi W及纵坐标的最小值yi: Xj - min (min (a; ,,.V -, 巧=曲卢(曲化。，也)) 其中，（扣,1，71,1)^及(化2,71,2)分别是图像中直线的两个端点坐标； 2f)获得所有坐标值中横坐标的最大值X2W及纵坐标的最大值y2: 尤2 二 ITiax (max (jc'. i，尤! 2)) .V] = max (max i 2g)将步骤2e)中得到的(xi，yi似及步骤2f)中得到的(X2，y2)分别作为矩形的左上角顶 点ViW及右下角顶点V2,利用矩形的两个顶点（Vl、V2)确立拟合矩形区域，此矩形区域即为 参考图像A中的低秩纹理区域Ua; 2h)对步骤2c)得到的待匹配图像B中的直线群IB按照与对参考图像A中的直线群相同 的步骤(2d-2g)，得到待匹配图像B中的低秩纹理区域化。3.根据权利要求1所述的基于变换不变低秩纹理的投影变换图像匹配方法，其中步骤 (6)中对检测得到的高斯差分DoG空间极值点进行几何形状描述，得到20维的几何形状描述 符，按如下步骤进行； 3a) W检测得到的高斯差分DoG极值点为中屯、，在输入图像中构建5个不同尺寸的同屯、 正方形区域{&|^' = 1，2...5}，每个正方形区域的边长大小分别为：其中V是图像尺寸中长和宽的最大值，iij是对应的不同大小的正方形边长； 3b)将上述得到的每个正方形区域等分为四个子块区域{Q^l j = l，2，...，5;i = l，2， 3,4}，分割后的四个子块区域仍为正方形，且边长均为3c)计算每一个子块区域Qw内所有像素点的最大曲率C(P): C(P)=Hiax(入I(P)，入2(p))， 其中P表示像素点的位置，M(P) W及A2(p)是化SSian矩阵He(P)的两个特征值，出(P)计 算如下： H (口）= 其中Ixx(P)表示图像I中的像素点P在X方向的二阶偏导，Iyy(P)表示图像I中的像素点P 在y方向的二阶偏导，Ixy (P)表示相应的二阶混合偏导； 3d)计算每一个子块区域Qw内所有像素点的最大曲率之和： 化/ = Z成叫; P鸿" 3e)对检测得到的高斯差分DoG极值点建立20维的几何形状描述符G20: Gzo = {货马,,I / 二 ….,知二 1',.2，.3'，'缉。4.根据权利要求1所述的基于变换不变低秩纹理的投影变换图像匹配方法，其中步骤 (8)中W最近邻比次近邻小于指定阔值的准则来建立参考图像与待匹配图像的匹配点对， 按如下步骤进行： 4a)按照下式计算校正后参考图像的特征点集Q A'和校正后待匹配图像的特征点集Q B' 中特征点描述符之间的欧式距离：其中m表示描述符的维度，本发明中m=158;Ri=(rii,ri2...rim)表示校正后参考图像 中特征点的描述符，Ti=(til，ti2. . .tim)表示校正后待匹配图像中特征点的描述符;d(Ri， Ti)表不描述符Ri与描述符Ti之间的欧式距离； 4b)假设特征点Tm是校正后待匹配图像中，距离校正后参考图像y中特征点Ri最近的 特征点;假设特征点化是校正后待匹配图像中，距离校正后参考图像y中的特征点Ri次近 的特征点，如果满足下式，则认为Ri和Tm是一对正确的匹配点对： d(Ri,Tm)/d(Ri,TkXth, 反之，Ri和Tm不是一对正确的匹配点对，其中th是判决阔值，th的取值范围在0.7~0.8 之间。
【专利摘要】本发明公开了一种基于变换不变低秩纹理的投影变换图像匹配方法，主要解决现有技术无法完成投影变换图像匹配的缺陷。其方案为：1、输入含投影变换的两幅图像并分别进行低秩纹理区域的自动检测和提取；2、对检测得到的低秩纹理区域进行TILT变换得到各自的局部变换矩阵，并利用局部变换矩阵校正输入的两幅图像；3、对两幅校正得到的图像进行特征点检测，对特征点建立尺度不变特征描述符以及几何形状描述符；4、联合尺度不变特征描述符和几何形状描述符建立新的特征描述符，对新的描述符采用欧式距离进行相似性度量，完成图像匹配。本发明能提取出具有较高重复率和正确匹配率的特征点，提高了计算效率，可用于图像融合，图像拼接与三维重建。
【IPC分类】G06T3/00
【公开号】CN105654421
【申请号】
【发明人】张强, 李亚军, 朱韵茹, 相朋, 王龙
【申请人】西安电子科技大学
【公开日】2016年6月8日
【申请日】2015年12月21日