一种基于各向异性特征描述符的图像拼接方法

文档序号:8283067阅读:213来源:国知局
一种基于各向异性特征描述符的图像拼接方法
【技术领域】
[0001] 本发明属于图像信息处理的技术领域,本发明是一种基于各向异性特征描述符的 图像拼接方法,适用于拼接在不同视角或视点拍摄的多幅具有一定重叠关系的图像。
【背景技术】
[0002] 图像拼接已经成为一个日益流行的研宄领域,在户外监控系统、医学图像分析、遥 感图像处理等领域得到了广泛的应用。当使用普通相机来获取宽视野的场景图像时,必须 通过调节焦距才可以获得完整的场景,但这样会以损失场景图像的分辨率为代价。而利用 价钱昂贵、操作复杂的广角镜头和扫描式相机可以解决视角不足这一问题,但是广角镜头 的边缘很容易产生扭曲变形。图像拼接技术是将几路普通图像或视频图像进行无缝拼接, 得到更宽视角的场景图像,从而可把普通相机拍摄的多幅不同视角的图片拼接为全景图。 图像拼接的目的就是提供一种自动匹配的方法,将具有一定重叠区域的多幅图片合成一副 广视角图片,来扩大视区的范围,具有重要的现实意义。
[0003] 图像获取、图像预处理、图像配准和图像融合这四步是图像拼接的整体流程。其中 图像配准是图像拼接的核心部分,其目标是找出几幅重叠图像之间的相对变换关系,直接 影响整个系统的成功率和运行速度。
[0004] 基于特征点匹配的图像拼接算法是目前图像拼接算法的研宄热门。Harris算法是 最早提出的特征点检测模型,该特征具有旋转不变性,对光照和噪声也具有很好的鲁棒性。 David G low于2004年提出的尺度不变变换特征的算法对平移、旋转和缩放等操作均有较 好的鲁棒性,同时对光照和噪声具有很高的抗干扰性能。
[0005] 论文名:Automatic Panoramic Image Stitching using Invariant Features,期 干丨J : International Journal of Computer Vision(IJCV),年份:2〇〇7 年。Brown 等人提 出了一种基于SIFT特征点匹配的全景图拼接方法,该算法利用Low等人提出的尺度不变特 征,通过检测、描述和匹配SIFT特征点进行图像配准,然后利用增益误差函数估算出图像 块的光照增益,对光圈或光线影响造成的亮度差问题进行补偿,最后利用多频段融合方法 来消除拼接形成的缝合线,达到了较好的拼接效果。但由于SIFT算法运算量庞大,耗时长, 导致该算法很难应用到实际的场合。
[0006] 论文名:0RB:An Efficient Alternative To SIFT or SURF,会议〖International Conference on Computer Vision(ICCV),年份:2011 年。Ethan 等人米用了 FAST 作为特征 点检测算子,提出了一种具有旋转不变性的二值特征描述符。特征点的主方向通过计算矩 得到,在特征点附近随机选取若干点对,将点对点灰度值比较的二值测试组合成一个二进 制串特征描述子。二值描述符之间的距离利用汉明距离计算。该特征点方法具有较快的速 度。但是由于FAST特征点鲁棒性较差,当应用到图像拼接中时,受非重叠区域特征点以及 其他外点的影响,匹配正确率急剧下降。而且当图像有变形扭曲时,各向同性的二值描述符 匹配性能也受到很大的影响。
[0007] 针对上述背景内容,研宄一种快且有效的特征点配准方法,从而应用到全景图拼 接中,具有重要的意义。

【发明内容】

[0008] 本发明的目的是为了克服现有图像拼接算法的不足,提供一种基于各向异性特征 描述符的图像拼接方法,既能够准确的提取和匹配特征,精确的实现图像配准,从而清晰自 然地合并多幅具有一定重叠区域的图像,扩大图像视区的范围,又具有简单的复杂度与较 快的运行速度,从而为监控系统或遥感系统提供很好的应用价值。
[0009] 本发明提供的技术方案包括如下步骤:
[0010] A、检测图像中的特征点,求取特征点的主方向和Hessian阵;
[0011] B、采用各向异性的点对点抽样模型,抽取点对构成多组二值测试,最终组成特征 描述符;
[0012] C、采用最近邻方法对特征描述符进行匹配,利用PROSAC方法去除错误匹配对,求 得图像之间单应性变换矩阵;
[0013] D、利用重叠区域光照强度误差函数获得光照补偿增益矩阵;消除图片融合的缝合 线,利用多波段融合获得过渡自然的全景图;
[0014] 所述步骤A为:
[0015] A1、采用Hessian矩阵行列式近似值图像,构造高斯金字塔尺度空间。图像中某个 像素点i = (x,J)的Hessian矩阵定义为
[0016]
【主权项】
1. 一种基于各向异性特征描述符的图像拼接方法,其特征在于w下步骤: A、 检测参考图像和待配准图像的特征点,计算特征点的主方向和化ssian阵; (1) 对图像进行下采样初始化处理,将图像下采样到总像素面积0.6X106的尺度上; 然后对图像做灰度化处理,采用Hessian矩阵行列式的近似值图像构造高斯金字塔空间, 表达式为;A做二DJ)"-化9Dq)2;用积分图像来加速卷积计算; (2) 在同一组内各相邻层3X3X3的立体领域内捜索候选特征点;并在尺度空间上进 行亚像素插值得到精确的位置坐标; (3) W特征点为中心计算半径6s邻域内的点的化ar小波响应;W 60度范围作为一 个区域,遍历一周得到6个扇形区域,每个区域的响应相加得到新的矢量,把具有最大模值 的矢量方向作为该特征点的主方向; B、 采用各向异性的点对点抽样模型构造二值测试对,组成多维特征描述符;具体步骤 如下: (1) 采用FREAK的7层Retina抽样模型,计算每个特征点i的化ssian矩阵和主方向, 修正FREAK抽样模型,其表达式为;A/二护/ 2 .Re .〇i,式中Re为特征点的主方向,H-1/2 为任一特征点的化ssian阵的平方根矩阵的逆;通过上述公式,将FREAK模型A 1= R e -修正为各向异性的抽样模型Ai',在图像出现扭曲变形的恶劣情况下,该描述符依然具备 很好的描述性能; (2) 在抽样模型A/上随机抽样一组点对,比较两点像素的强度值形成一位二值测 试,其表达式为
式中I(A ',Pi)和I(A ' A)为 抽样模型A '上的随机取样点对Pi和P j.的强度;最终由512个二值测试组成二值描述符 5 12 F;f=2:2''-1t(a';a,p,); ,'=1 C、 采用最近邻方法对特征描述符进行匹配,采用PROSAC去除误匹配对,求取单应性矩 阵; (1) 比较图像Ii中任一特征描述符与图像I 2中汉明距离最小和次最小的描述符,按照 公式a >中/,实验中取a>= 0. 7,满足则认为是匹配的点对; (2) 采用PROSAC去除误匹配对,首先按照最小与次最小汉明距离比将匹配数据排 序,设置最大迭代次数和内外点的误差口限,在前n-1个数据中抽取m-1个数据和第n个数 据组成样本计算单应性矩阵,内点个数大于设定的阔值则迭代结束,否则继续迭代,在前n 个数据中抽取m-1个数据和第n+1个数据组成样本计算单应性矩阵和内点个数,直至满足 内点个数大于设定阔值或者迭代次数超过阔值为止; D、 采用光照增益补偿和多波段融合获得清晰而且过渡自然的全景图;具体步骤如下: (1)将图像下采样到总像素面积为0,1X 106的尺度上,将图像分成32X32的 图像块,计算平均强度,其表达式为:
式中N(i,_]') 为图像块i与图像块j相交区域的像素总数目;建立误差函数表达式为:

式中gi为图像块i的光照增益系数;S w 和S s分别为亮度和增益系数的标准差分别取10和0. 1 ; (2)求取的增益矩阵对参考图像和待配准图像进行增益补偿,然后进行多波段融合,具 体流程如下,建立拉普拉斯金子塔,设定层数为5 ;首先调整图像的宽和高,使其可被32整 除,向下采样5次,然后由最底部的图像向上采样5次,将对应层上下采样的差放入金字塔 中;最后将5层金字塔叠加,得到最终的全景图。
【专利摘要】本发明公开了一种基于各向异性特征描述符的图像拼接方法,适用于拼接多幅具有一定重叠关系的图像。本发明的方法包括如下步骤:A、检测参考图像和待配准图像的特征点,求取特征点的主方向;B、采用各向异性的点对点抽样模型,构成多组二值测试,得到特征描述符;C、采用最近邻方法对特征描述符进行匹配,利用PROSAC方法求取单应性矩阵;D、通过求解误差函数获得光照增益补偿矩阵,利用多波段融合获得过渡自然的全景图。本发明既能够准确地配准不同视角、视点拍摄的图像,获得清晰自然的宽视角的场景图像,又具有简单的复杂度与较快的运行速度,从而为监控系统或遥感系统提供很好的应用价值。
【IPC分类】G06T5-50, G06T3-40
【公开号】CN104599258
【申请号】CN201410808344
【发明人】王洪玉, 刘宝, 王杰
【申请人】大连理工大学
【公开日】2015年5月6日
【申请日】2014年12月23日
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1