基于彩色尺度不变的街景影像特征检测与匹配方法
【专利摘要】本发明提供了一种基于彩色尺度不变的街景影像自动检测与匹配方法，本发明直接以彩色不变量作为输入影像，依托于尺度空间理论，采用改进的Harris检测算子，对输入影像的彩色各通道进行综合处理，提取特征点；并加入特征点的彩色特征进行构建描述向量，获得稳定的特征描述子；采用相关系数作为相似度测量函数，进行特征向量计算，并在搜索策略中加入主方向约束，完成影像匹配。本发明具有特征定位准确、精度高、时效性强、数据处理速度快等优点，适用于街景影像的实时检测与匹配。
【专利说明】基于彩色尺度不变的街景影像特征检测与匹配方法
【技术领域】
[0001]本发明属于遥感与摄影测量影像处理应用领域，特别涉及一种基于彩色尺度不变的街景影像特征检测与匹配方法。
【背景技术】
[0002]随着计算机技术与立体视觉技术的迅速发展，数字图像处理技术也在不断完善，特别是近年来数字城市与智慧城市概念的提出，使得基础信息资源与对应的影像处理技术广泛应用于社会各个领域。数字城市建设是当前GIS技木、遥感图像处理与摄影测量技术的重要应用领域，尤其城市主要物体的各类三维模型的建立，更是依托于图像处理与摄影測量技木。而构建3D城市模型的首要任务便是实现具有一定重叠度的影像匹配，如何快速、高效地实现街景影像匹配，一直是困扰人们的ー个问题，也是国内外研究的重点与热点之一。
[0003]目前，最具代表性的影像尺度不变特征提取与匹配方法有Harris-Laplacian算法和SIFT算法(尺度不变特征转换方法)。这些方法大多将彩色图像转化为灰度图像后进行特征提取和匹配，丢失色彩信息，从而容易产生错误匹配。近年来，已有ー些学者尝试加入色彩信息来实现彩色图像间的配准，主要方法有基于颜色不变矩的特征匹配算法、赋色尺度不变特征变换(Color Scale Invariant Feature Transform, color SIFT)法、基于彩色的SIFT特征点提取与匹配算法、基于Hue彩色空间的SIFT等。街景影像由于光照变化的复杂性，使得现有的彩色模型以及特征检测方法难以完全适用于彩色街景影像的处理。
[0004]街景影像的特征检测主要分为两大类[卜12]:第一类为基于灰度信息的特征检測，第二类为基于彩色信息的特征检測。目前，多数特征检测都是将彩色影像转化为灰度影像后进行特征检測，即，利用影像像素灰度值、像素梯度与梯度方向进行影像特征判断，例如:Moravec算子、Forstner算子、Harris算子以及SIFT算子。第二类为基于彩色信息的特征检测，关键是综合利用三通道(R、G、B)信息，通过彩色空间变换，并结合灰度检测算子，提取具有尺度不变性的特征点。近年来，已有很多学者尝试加入色彩信息来实现彩色图像特征提取，并产生了许多具有应用价值的特征检测算法[12?16]。
[0005]特征检测后，需对提取的特征点进行向量描述，特征点的向量描述也分为两类:基于灰度信息影像的特征向量描述与基于彩色信息的特征向量描述。其中，基于灰度信息提取的特征点所含信息较少，不利于表达特征点的独特性，也不利于从影像中辨识特征点。
[0006]影响图像匹配结果的两个最主要因素为相似性度量函数与捜索策略[4’17?24]。相似性度量函数主要决定匹配点对的正确性，一般包含自相关函数、相关系数、欧式距离、Hausdorff距离等。搜索策略主要是选择适当的方法寻找立体像对中的特征点，最简单的方法是针对基准影像上的各特征点遍历參考影像中的所有特征点，利用相似性度量函数得到最佳匹配点对，为了节约搜索时间，最常用的策略便是加入约束条件，减少搜索时间。
[0007]目前，现有的街景影像匹配技术大多针对建筑物、道路中的単一对象进行，并且通常将彩色影像转换成灰度影像后进行特征提取和匹配，丢失了色彩信息，匹配精度不高。根据街景影像数据处理实时、快速的特点，街景影像特征检测与特征匹配方法需满足实时性高、密集度强以及匹配速度快等条件，现有的街景影像匹配技术均难以满足街景影像实时处理要求。
[0008]相关文献:
[0009][I」H.P.Moravec.Towards Automatic Visual Obstacle Avoidance.Proc.5thInternational Joint Conference on Artificial Intelligence,PP.584,1977.[0010][2]Harris C and Stephens M.J.A combined corner and edge detector[A].1nProceedings of the 4th Alvey Vision Conference[C]，Manchester， 1988:147-152.[0011][3]M.Trajkovic and M.Hedley.Fast Comer Detection.1mage and Vision Computing，VOl.16 (2)，PP.75-87.1998.[0012][4] Xue WAN, Zuxun ZHANG，Youchuan WAN.An improved algorithm used inautomatic matching for low-altitute aerial image[C]//XXII ISPRS Congress.Melbourne,2012:183-188.[0013][5]Van de Sande K E A，Snoek C G M.Evaluation of color descriptorsfor object and scene recognition[C]//Proceedings of the Computer Vision andPattern Recognition Conference.New York:1nstitute of 乜lectrica丄 and ElectronicsEngineers Computer Society,2008:542-560.[0014][6]Mikolajczyk K，Schmid C.1ndexing based on scale invariant interestpoints [C]//Proceedings of the 8th International Conference on ComputerVision, Vancouver, 2001:525-531.[0015][7] Lowe D G.Distinctive image features from scale invariantkeypoints[J].1nternational Journal ofComputer Vision, 2004, 60(2):91-110.[0016][8]李磊.基于特征点的图像匹配关键技术研究[D].山东:山东科技大学信号与信号处理，2009.[0017][9]罗菁，林树忠，倪建云，詹湘琳.基于Hessian矩阵的指纹细节点提取方法[J].光电工程，2008，35 (11):134-138.[0018][10]李芳芳，贾永红，肖本林，等.利用线特征和SIFT点特征进行多源遥感影像配准[J].武汉大学学报:信息`科学版，2010，35(2):233-236.[0019][11]唐永鹤，陶华敏，卢焕章，等.一种基于Hairis算子的快速图像匹配算法[J].武汉大学学报:信息科学版，2012，37(4):406-409.[0020][12]熊琰，龚华军，沈晔青.ー种快速有效的彩色图像边缘检测方法[J].计算机技术与发展，2007，17 (4): 128-130.[0021][13]Gao J, Huang X H，Peng G，etal.Coior-basea scale invariant featuredetection applied in robot vision [C]//Proceedings of the 5th InternationalSymposium on Multispectral Image Processing and Pattern Recognition, Wuhan:[s.n],2007:67904E.[0022][14]Finlayson G D, Hordley S D，Xu R.Convex programming colour constancywith a diagonal-offset model[C]//Proc.0f IEEE international Conference on ImageProcessing,2005:948-951.[0023][15] Gonzalez C R，Woods E R.Digital image processing [M].Beijing:Publishing House of Electronics Industry, 2008:237-238.[0024][16]高健，黄心汉，彭刚，等.一种简化的SIFT图像特征点提取算法[J].计算机应用研究，2008，25 (7): 2113-2217.[0025][17」David G.Lowe.Distinctive Image Features from Scale-1nvariantKeypoints [J].1nternatioanl Journal of Computer Vision,60 (2):91-110,2004.[0026][18]Belongie S，Malik J，and Puzicha J.Shape matching and objectrecognition using shape contexts.1EEE Transactions on Pattern Analysis andMachine Intelligence, 24(4):509-522，2002.[0027][19]Baumberg A.Reliable feature matching across widely separatedviews.1n Proceedings of the Confenrence on Computer Vision and PatternRecognition, pages 774-781，Hilton Head Island, South Carolina,USA,2000.[0028][20]柯涛，张永军.SIFT特征算子在低空遥感影像全自动匹配中的应用[J].测绘科学，2009，34 (4): 23-26.[0029][21]王军，张明柱.图像匹配算法的研究进展[J].大气与环境光学学报，2007，2 (I):11-15.[0030][22]高富強，张帆.ー种快速彩色图像匹配算法[J].计算机用，2005，25(11):2604 ~2611.[0031][23]赵垒，侯振杰.一种改进的SIFT图像配准方法[J].计算机エ程，2010，36(12):226-228.[0032][24]李玲玲，李翠华，曾晓明，等.基于Harris-Affine和SIFT特征匹配的图像自动配准[J].华中科技大学学报:自然科学版，2008，36 (8):13-16.
【发明内容】
[0033]针对现有技术存在的问题，本发明提出了能够适应街景影像快速处理与匹配要求的、基于彩色尺度不变的街景影像特征检测与匹配方法。
[0034]本发明的技术方案如下:
[0035]一、基于彩色尺度不变的街景影像特征检测方法，包括以下步骤:
[0036]步骤1，预处理待匹配街景影像；
[0037]步骤2，对预处理后的待匹配街景影像进行彩色空间转换，以获得各彩色通道的彩色不变量；
[0038]步骤3，构建待匹配街景影像的尺度空间；
[0039]步骤4，基于待匹配街景影像灰度信息构建彩色信息的自相关矩阵M，基于自相关矩阵M提取待匹配街景影像的特征点并对特征点进行分类；
[0040]步骤5，基于特征点主方向对特征点进行向量描述获得各特征点的特征向量。
[0041]步骤2中，采用对角-偏移模型对预处理后的待匹配街景影像进行彩色空间转换，且在彩色空间转换中仅计算各彩色通道内的彩色不变量的分布均值及标准差。
[0042]步骤3所述的尺度空间基于局部金字塔结构构建。
[0043]步骤4所述的彩色信息的自相关矩阵
【权利要求】
1.基于彩色尺度不变的街景影像特征检测方法，其特征在于，包括步骤: 步骤1，预处理待匹配街景影像； 步骤2，对预处理后的待匹配街景影像进行彩色空间转换，以获得各彩色通道的彩色不变量； 步骤3，构建待匹配街景影像的尺度空间； 步骤4，基于待匹配街景影像灰度信息构建彩色信息的自相关矩阵M，基于自相关矩阵M提取待匹配街景影像的特征点并对特征点进行分类； 步骤5，基于特征点主方向对特征点进行向量描述获得各特征点的特征向量。
2.如权利要求1所述的基于彩色尺度不变的街景影像特征检测方法，其特征在于: 步骤2中，采用对角-偏移模型对预处理后的待匹配街景影像进行彩色空间转换，且在彩色空间转换中仅计算各彩色通道内的彩色不变量的分布均值及标准差。
3.如权利要求1所述的基于彩色尺度不变的街景影像特征检测方法，其特征在于: 步骤3所述的尺度空间基于局部金字塔结构构建。
4.如权利要求1所述的基于彩色尺度不变的街景影像特征检测方法，其特征在于: 步骤4所述的彩色信息的自相关矩阵
5.如权利要求1所述的基于彩色尺度不变的街景影像特征检测方法，其特征在于: 步骤5所述的基于特征点主方向对特征点进行向量描述，具体为: 5.1将待匹配街1景影像所在坐标轴旋转到特征点主方向； 5.2将特征点的邻域按照a*a结构划分子区域，并计算各子区域内各像素点的彩色不变量三通道分量的均值，彩色不变量三通道分量的平均值构成ー组3维特征向量，即形成一个种子点； 5.3通过计算各种子点所在子区域与特征点的距离并乘以高斯函数值，便可获得特征点的3a2维特征向量。
6.基于彩色尺度不变的街景影像匹配方法，其特征在于，包括步骤: 基于权利要求1获得的特征点的特征向量对待匹配街景影像进行匹配。
7.如权利要求6所述的基于彩色尺度不变的街景影像匹配方法，其特征在于: 所述的基于特征点的特征向量对待匹配街景影像进行匹配，以待匹配特征点特征向量的相关系数为相似性度量函数进行匹配。
8.如权利要求6所述的基于彩色尺度不变的街景影像匹配方法，其特征在于: 所述的基于特征点的特征向量对待匹配街景影像进行匹配，在捜索策略中加入特征点主方向约束条件。
9.如权利要求6所述的基于彩色尺度不变的街景影像匹配方法，其特征在于: 所述的基于特征点的特征向量对待匹配街景影像进行匹配具体为: 捜索特征点，判断待匹配街景影像中两特征点的主方向绝对差值T(fabs(01-0r))是否小于预设的第一阈值T0，若小于第一阈值T0，则判断特征点特征向量的相关系数P与预设的第二阈值Tl的大小，若相关系数P大于第二阈值Tl，则两特征点匹配。
10.基于彩色尺度不变的街景影像特征检测及匹配系统，其特征在于，包括: 预处理模块，用来预处理待匹配街景影像； 彩色空间转换模块，用来对预处理后的待匹配街景影像进行彩色空间转换，以获得各彩色通道的彩色不变量； 尺度空间构建模块，用来构建待匹配街景影像的尺度空间； 特征点提取模块，用来基于待匹配街景影像灰度信息构建彩色信息的自相关矩阵M，基于自相关矩阵M提取待匹配街景影像的特征点并对特征点进行分类； 特征描述模块，用来基于特征点主方向对特征点进行向量描述获得各特征点的特征向量; 匹配模块，用来基于 特征点的特征向量对待匹配街景影像进行匹配。
【文档编号】G06T7/00GK103606170SQ201310651936
【公开日】2014年2月26日 申请日期:2013年12月5日 优先权日:2013年12月5日
【发明者】万幼川, 何培培, 汤瑞华, 高贤君 申请人:武汉大学