一种基于sift特征和角度相对距离的图像配准方法
【专利摘要】本发明涉及一种基于SIFT(scale invariant feature transform)特征和角度相对距离的图像配准算法。技术特征在于：首先使用SIFT特征点提取算法提取参考图像和待配准图像中的特征点和特征点描述子。然后通过特征点之间的欧式距离得到图像特征点之间的粗匹配结果，并以上述粗匹配结果为输入，通过计算特征点的角度关系，通过相减得到角度差异筛选出正确匹配的特征点对。本发明能够充分利用粗匹配的特征点对集合自身存在的对应角度不变特性进行正确匹配特征点的筛选，极大提高了筛选正确匹配特征点对的能力，提高了图像配准的准确性。
【专利说明】
-种基于SI FT特征和角度相对距离的图像配准方法
技术领域
[0001 ] 本发明属于计算机图像配准方法，设及一种基于SIFT(scale invariant fea化re transform)特征和角度相对距离的图像配准方法，广泛应用于图像配准、图像拼接领域。
【背景技术】
[0002] 图像配准是对有共同场景而在不同时刻或不同角度拍摄的两幅或多幅图像的处 理，通常只针对两幅图像。图像配准是一个非常有意义和挑战的工作，是许多应用如图像拼 接至关重要的前期处理，而其中异源图像配准更是在军事和医疗方面有着广泛的应用场 景，其融合结果可W用于自动目标伪装识别和病变部位的诊断。
[0003] 目前图像配准方法研究主要分为两个部分:基于区域的图像配准算法和基于特征 的图像配准算法。基于区域的配准算法虽然精度和鲁棒性很高，但对图像的灰度、旋转和缩 放变化等敏感，且算法复杂度很高。基于特征的配准方法主要利用参考图像和待配准图像 中存在的角点、直线、边缘等特征求解彼此间的图像变换模型，对图像平移、旋转、缩放W及 灰度变化都具有更强的鲁棒性，且算法计算量小，在近年的研究中得到了快速发展。W往对 于图像配准中特征点的筛选已有不少研究，如RANSAC(Random Samp 1 e Consensus)算法，利 用最大似然估计的贝叶斯模型等，但都存在不能完全筛选出正确匹配点的情况。
【发明内容】
[0004] 要解决的技术问题
[0005] 为了避免现有技术的不足之处，本发明提出一种基于SIFT(scale invariant fea化re transform)特征和角度相对距离的图像配准方法，使用图像粗匹配特征点集自身 存在的相关角度不变的特性进行正确匹配特征点筛选，并最终得到图像仿射变换参数并进 行图像变换和重采样。实验证明，该算法能在存在仿射变换的参考图像和待配准图像中有 效的筛选出正确匹配的特征点对，有效提高图像配准的准确性。
[0006] 技术方案
[0007] -种基于SIFT特征和角度相对距离的图像配准方法，其特征在于步骤如下：
[000引步骤1:提取参考图像imgref和待配准图像imgsrc中的尺度不变特征SIFT特征点，得 至Ij参考图像imgref的特征向量P和待配准图像imgsrc的特征向量Q，其中特征向量P有M个特征 点，特征向量Q有N个特征点；
[0009] 步骤2:利用欧式距离对参考图像imgref和待配准图像imgsrc进行图像特征点粗匹 配，得到特征向量P和Q之间粗匹配的特征点对集合PQ，集合中有L个匹配的特征点对，且Pi 与qi为对应的特征点；
[0010] 步骤3、采用角度相对距离进行特征点精匹配：
[00川步骤 3.1 从 PQ 中取出 pi、qi，i = l，2，...，L [001^ 步骤 3.2从P帅取出pj，qj，j = l，2，...，L且j声i;
[0013]步骤3.3从口9中取出化,91<，4 = ^'+1，若1^ = 1+1,4=1，若1^=;[,4=1+1;
[0014]步骤3.4计算ZpiPjPk，ZqiQjQk,保存在矩阵13邮_。和13。如_冲，运样每个矩阵均为 LX^-IHIh
[001引步骤3.5计算矩阵13吨心和13吨16_9对应角度值的差，得到矩阵Mangle_cmt，且Mangle_out = Mangle P-Mangle Q ；
[0016]步骤3.6统计Mangle_DUt每一行中角度误差小于参数Cangle的个数(角度相对距离），即 统计每行中Mangle_DUti. <Cangle的个数，存入矩阵Nnum中；
[001 7] 步骤3.7取出Nnum中的最大值Nmax，然后找出Nnum_冲大于Nmax*Tangle，对应特征点对 集合PQ中的特征点Pi，Qi，放入矩阵PQout中；
[0018] 步骤4:随机从PQnut中选出S个正确的匹配点对，采用仿射变换模型计算参考图像 imgref和待配准图像imgsrc之间的仿射矩阵A和平移矩阵[tx，ty]T，重复本步骤的计算多次， 得到其中最优的一组参数4。,化;
[0019] 步骤5:对待配准图像imgsrc用步骤4得到的最优的一组参数為，/;. .f进行仿 射变换，与参考图像imgref进行加权融合，得到配准结果图像imgdes。
[0020] 所述步骤4的计算次数为2000次。
[0021] 有益效果
[0022] 本发明提出的一种基于SIFT特征和角度相对距离的图像配准方法，基本思想是： 首先利用SIFT特征点检测算法提取参考图像和待配准图像中的特征点，并使用欧式距离对 提取的SIFT特征进行粗匹配。然后利用粗匹配后的特征点自身存在的相关角度不变的特性 进行正确匹配特征点的筛选，并最终得到图像仿射变换参数并进行图像变换和重采样。实 现了准确筛选正确匹配的特征点的功能，提高了图像配准的准确性。
[0023] 优点在于:首先使用SIFT特征作为特征点，对图像平移、旋转、缩放、光照等具有鲁 棒性，且独特性好，信息量丰富;然后使用欧式距离对特征点进行粗匹配，可W减少原始特 征点中的无效特征点;再使用图像粗匹配特征点集合自身存在的对应角度不变的特性进行 正确匹配特征点筛选，基本可W完全剔除其中的误匹配点对，极大提高了筛选正确匹配特 征点对的能力，有效增强了图像配准精度。
【附图说明】
[0024] 图1:本发明方法的流程图
[0025] 图2:D0G空间建立及极值点检测示意图
[0026] (a)DOG空间建立示意图；（b)极值点检测示意图
[0027] 图3:实验所选取的参考图像与待配准图像及精匹配结果图
[002引（a)SIFT特征点欧式距离粗匹配结果图；（b)RANSAC精匹配结果图（C)角度相对距 离精匹配结果图；
[0029] 图4:部分图像变换和重采样结果图
[0030] (a)参考图像;（b)待配准图像;（C)图像变换和重采样结果图像。
【具体实施方式】
[0031] 现结合实施例、附图对本发明作进一步描述：
[0032]本发明方法的特征在于步骤如下：
[00削步骤1提取参考图像imgref和待配准图像imgsrc中的尺度不变特征（SIFT)特征点： 对参考图像imgref和待配准图像imgsrc使用不同尺度(O)的高斯核函数G(x，y，0)连续滤波和 下采样，形成高斯金字塔图像，然后再对相邻尺度的高斯图像相减得到高斯差分化OG)多尺 度空间表示。将样本点和它相邻的26个像素点进行比较，得到DOG (Difference of Gaussian)图像中的极值点（即关键点）的位置和对应的尺度;关键点所在16X16邻域像素 内梯度方向直方图最大值所对应的方向作为关键点的方向；在此基础上，将邻域的16X16 像素划为4X4共16个子区域，分别统计各个区域的8个梯度方向就可W得到SIFT的128维特 征描述子，得到参考图像imgref和待配准图像imgsrc中的特征点集合P和Q(分别有M和N个特 征点）。
[0034] 具体流程如下：
[0035] a)高斯查分图像DOG生成
[0036] 将输入图像imgref和imgsrc通过不同尺度(O)的高斯核函数试1)连续滤波和下采 样，形成高斯金字塔图像，然后再对相邻尺度的两个高斯图像相减得到高斯差分化OG)多尺 度空间表示。
[0037]
(1)
[0038] O代表了高斯正态分布的方差，（x，y)是图像像素空间坐标。
[0039] b)极值点检测
[0040] 为了得到高斯差分图像中的极值点，样本像素点需要和它相邻的8个像素点进行 比较，同时还要分别和金字塔分层图像中上下相邻图像层中的9个像素点进行比较，共需要 与26个像素进行比较。如果样本点是运些点中的灰度极值点（极大值或极小值），则把运个 点当作特征点，即关键点。
[0041] C)指定关键点方向
[0042] 关键点(x，y)邻域的梯度的模值和方向计算公式如式(2):
[0043]
口）
[0044] m(x，y)为模值，0(x，y)为方向。其中L所用的尺度为每个关键点各自所在的尺度。
[0045] 在W关键点为中屯、的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。梯 度直方图的范围是0~360度，其中每10度一个柱，总共36个柱。直方图的峰值则代表了关键 点处邻域梯度的主方向。
[0046] d)构造 SIFT特征描述子
[0047] 首先将坐标轴旋转为关键点的方向，W确保旋转不变性。接下来W关键点为中屯、 取16 X 16的邻域，再将此邻域均匀地分为4X4个子区域(每个子区域大小为4像素 X 4像 素），对4X4每个子区域按高斯加权的方式进行梯度方向直方图的统计(直方图均匀分为8 个方向）。对4X4个子区域的8方向梯度直方图根据位置依次排序，绘制每个梯度方向的累 加值，运样就构成了一个4X4X8 = 128维的SIFT特征向量，将获得的特征向量分别存入P和 Q。
[0048] 步骤2利用欧式距离进行图像特征点粗匹配:在步骤I中得到了参考图像imgref和 待配准图像imgsrc中的SIFT特征点集P和Q，对于P中的任何一个特征Pi，在Q中与Pi特征向量 的欧式距离最小的两个特征点为Qj和qk，对应的距离为(1。和(111<，且du<dik，如果du<dik*T， 则认为91与^为对应的匹配点对(T是一个预定阔值），通常T = O.8。通过计算P和Q中SIFT特 征点之间的欧式距离，满足du<dik*T的特征点Pi与q柳为正确匹配的特征点对，得到P和Q 之间粗匹配特征点对集合PQ(其中有着L个匹配的特征点对，且Pi与qi为对应的特征点）。
[0049] 步骤3使用角度相对距离进行特征点精匹配:假设步骤2得到的特征点对集合PQ中 有着S个正确匹配的特征点。(.V.V&)和(.V义;,)为对应特征点对的坐标。那么，图像特征点坐 标之间存在的仿射变换关系为：
[(K)加] 0)
[0051 ]其中0为旋转角度，[tx，tyf为平移量，S为缩放尺度，A为仿射矩阵。
[005^ 平面空间中任意；点91、扣、91<之间的夹角为：
[0053] ZpjPipk = a:rccos((pjpk)2+(pipj)2-(pipk)2)/(巧（pipj)*(pjfik))
[0054] 式中PiPj代表点Pi、P么间的距离。
[0055] 运里采用如下的几步完成自相关角度的计算：
[0化6] a)从 PQ 中取出 pi、qi，i = l，2，...，L
[0化7] b)从 PQ 中取出 pj，qj，j = l，2，...，L且j声i;
[0化引 C)从PQ中取出pik,qk，k = j+1，若k = L+l ,k=l，若k=i ,k=i+l;
[0059] d)计算Zpipjpk, ZqiQjQk,保存在矩阵13叩16_。和13叩16_9中，运样每个矩阵均为LX a-1)维。
[0060] e)计算矩阵13叩1日_。和13叩1日_9对应角度值的差，得到矩阵Mangle_DUt，且Ma叫le_DUt = Mangle_P~Mangle_Q ；
[0061] f)统计Mangle_out每一行中角度误差小于参数Cangle的个数（角度相对距离），即统计 每行中Mangle_outi. <Cangle的个数，存入矩阵Nnum中；
[00创 g )取出Nnum中的最大值Nmax，然后找出Nnum_冲大于Nmax*Tangle，对应特征点对集合PQ 中的特征点Pi，Qi，放入矩阵PQout中。
[0063] 步骤4使用仿射变换模型计算参考图像imgref和待配准图像imgsrc之间的仿射矩阵 A和平移矩阵[tx，ty]T:随机从PQdu冲选出立个正确的匹配点对，计算矩阵A和[tx，ty]T，重复
上述操作2000次，得到其中最优的一组参鑽 。
[0064] 步骤5对待配准图像imgsrc用参数 i行仿射变换，与参考图imgref像 进行最简单的加权融合，得到配准结果图像imgdes。
[00化]具体实施例：
[0066] 用于实施的硬件环境是：Intel(R)Core(TM)2Duo CPU,E7500,4GB RAM,2.94GHz， 运行的软件环境是:Matlab2014a和Win7。我们用Matlab语言与C++语言混合编程实现了本 发明提出的新算法。采用包括可见光图像、近红外与可见光图像、遥感图像进行实验，图像 尺寸从384 X 288到3086 X 2865大小不等。
[0067] 步骤1、提取参考图像imgref和待配准图像imgsrc中的尺度不变特征(SIFT)特征点： 对参考图像imgref和待配准图像imgsrc使用不同尺度(O)的高斯核函数G(x，y，〇)连续滤波和 下采样，形成高斯金字塔图像，然后再对相邻尺度的高斯图像相减得到高斯差分化OG)尺度 空间表示。将样本点和它相邻的26个像素点进行比较，得至化OG图像中的极值点（即关键点） 的位置和对应的尺度;关键点所在16X16邻域像素内梯度方向直方图最大值所对应的方向 作为关键点的方向；在此基础上，将邻域的16X16像素划为4X4共16个子区域，分别统计各 个区域的8个梯度方向就可W得到SIFT的128维特征描述子，得到参考图像imgref和待配准 图像imgsr。中的特征向量P和Q(分别有M和N个特征点）。
[0068] 步骤2、利用欧式距离进行图像特征点粗匹配:在步骤1中得到了参考图像imgref和 待配准图像imgsrc中的SIFT特征向量P和Q，对于P中的任何一个特征Pi,在Q中与Pi特征向量 的欧式距离最小的两个特征点为Qj和qk，对应的距离为(1。和(111<，且du<dik，如果du<dik*T， 则认为91与^为对应的匹配点对(T是一个预定阔值），通常T = O.8。通过计算特征向量P和Q 中SIFT特征点之间的欧式距离，满足du<dik*T的特征点Pi与q柳为正确匹配的特征点对， 得到特征向量P和Q之间粗匹配的特征点对集合PQ(其中有着L个匹配的特征点对，且Pi与qi 为对应的特征点）。
[0069] 步骤3、使用角度相对距离进行特征点精匹配:假设步骤2得到的特征点对集合PQ 中有着S个正确匹配的特征点。）和Cv义/,巧对应特征点对的坐标。那么，图像特征点 坐标之间存在的仿射变换关系为：
[0070]
[0071 ]其中0为旋转角度，[tx，tyf为平移量，S为缩放尺度，A为仿射矩阵。
[00巧平面空间中任意；点91、扣、91^之间的夹角为：
[0073] ZpjPipk = a;rccos((pjpik)2+(pipj)2-(pipik)2)/(2*(pipj)*(pjpk))
[0074] 式中PiPj代表点Pi、P么间的距离。
[0075] 采用如下的几步完成自相关角度的计算：
[0076] 步骤 3.1 从 PQ 中取出 pi、qi，i = l，2r-，M
[0077] 步骤3.2从PQ中取出Pj，Qj，j = 1，2，...，L且护 i ;
[007引步骤3.3从口9中取出化,91<，4 =占 '+1，若1^ = ]>1,1^=1，若1^=;[,4=1+1;
[0079]步骤3.4计算Zpipjpk，ZqiQjQk,保存在矩阵13邮_。和13。如_冲，运样每个矩阵均为 LX化-1)维。
[0080] 步骤3 ? 5计算矩阵啦如6_。和13。如_日对应角度值的差，得到矩阵Mangle_cmt，且Mangle_out = Mangle_P~Mangle_Q ；
[0081] 步骤3.6统计Mangle_DUt每一行中角度误差小于参数Cangle的个数(角度相对距离），存 入矩阵Nnum中，即统计每行中Mangle_DUti . <Cangle的个数；
[00剧步骤3.7取出Nnum中的最大值Nmax,然后找出Nnum_冲大于Nmax*Tangle，对应特征点对 集合PQ中的特征点Pi，Qi，放入矩阵PQout中。
[0083] 步骤4使用仿射变换模型计算参考图像和待配准图像之间的仿射矩阵A和平移矩 阵[tx，ty]T:随机从PQdu冲选出S个正确的匹配点对，计算矩阵A和[tx，ty]T，重复上述操作 2000次，得到其中最优的一组参数屯、f,6。/。
[0084] 步骤5对待配准图像imgsrc用参数也进行仿射变换，与参考图imgref像 进行最简单的加权融合，得到配准结果图像imgdes。
[0085] 为进一步说明本发明在图像配准应用中的有效性，本发明与基于RANSAC方法的精 匹配结果进行对比分析。其对比结果如下表1所示。可W看出，本方法虽然方法简单，但是显 著提高了筛选正确匹配点对的数目。
[0086] 表1特征点精匹配过程中本方法与RANSAC算法对比
[0087]
【主权项】
1. 一种基于SIFT特征和角度相对距离的图像配准方法，其特征在于步骤如下： 步骤1:提取参考图像imgref和待配准图像imgsr冲的尺度不变特征SIFT特征点，得到参 考图像imgrrf的特征向量P和待配准图像imgsr。的特征向量Q，其中特征向量P有M个特征点， 特征向量Q有N个特征点； 步骤2:利用欧式距离对参考图像imgref和待配准图像imgsrc进行图像特征点粗匹配，得 到特征向量P和Q之间粗匹配的特征点对集合PQ，集合中有L个匹配的特征点对，且 对应的特征点； 步骤3、采用角度相对距离进行特征点精匹配： 步骤3.1 从PQ 中取出 Pi、qi，i = l，2r"，L; 步骤3.2从?〇中取出？」池，]_ = 1，2，'"丄且」乒1; 步骤3.3从?9中取出卩1<，91<，1^=]_+1，若1^=]>1，1^=1，若1^=;[，1^=1+1; 步骤3 · 4计算ZpiPjPk，Zqiqjqk，保存在矩阵Mangie_p和Mangie+Q 1=!11，这样每个矩阵均为L X (L-1)维； 步骤3.5计算矩阵1_1(^和]\1_1(^对应角度值的差，得到矩阵1_1__,*且]\^ 81(3_。1^ = Mangle P-Mangle Q ； 步骤3.6统计Mangle_QUt每一行中角度误差小于参数Cangle的个数(角度相对距离），即统计 母4丁中Mangle_outi . <Cangle的个数，存入矩阵Nnum中； 步骤3.7取出化?中的最大值Nmax，然后找出N__i中大于Nmax*Tangi e，对应特征点对集合PQ 中的特征点Pi，qi，放入矩阵PQcmt中； 步骤4:随机从PQciut中选出三个正确的匹配点对，采用仿射变换模型计算参考图像 imgref和待配准图像imgsrc之间的仿射矩阵A和平移矩阵[tx，ty]T，重复本步骤的计算多次， 得到其中最优的一组参数步骤5:对待配准图像imgsr。用步骤4得到的最优的一组参1进行仿射变 换，与参考图像imgref进行加权融合，得到配准结果图像imgdes。2. 根据权利要求1所述基于SIFT特征和角度相对距离的图像配准方法，其特征在于:所 述步骤4的计算次数为2000次。
【文档编号】G06T7/00GK106023187SQ201610325590
【公开日】2016年10月12日
【申请日】2016年5月17日
【发明人】李晖晖, 郑平, 王帅, 郭雷, 胡秀华
【申请人】西北工业大学