一种基于orb特征的实时全景视频拼接方法和装置制造方法
【专利摘要】本发明公开了一种基于ORB特征的实时全景视频拼接方法。包括以下步骤：开启采集多路同步视频数据；对同一时刻的各路图像进行预处理即把彩色图像变成256级的灰度图像，并对图像采用高斯滤波器进行去噪处理；采用ORB特征提取算法对同一时刻的各路图像进行特征点提取并计算各特征点的ORB特征向量；采用最邻近匹配法和RANSAC(随机抽样一致性)匹配算法求出同步视频对应帧间的单应性矩阵；根据单应性矩阵进行视频帧场景的拼接；最后输出拼接后的视频。本发明的优点在于使得图像拼接过程中的特征提取速度和匹配效果得到很大的提高。
【专利说明】一种基于ORB特征的实时全景视频拼接方法和装置
所属【技术领域】
[0001]本发明属于计算机视觉图像处理【技术领域】，特别是涉及一种基于ORB特征的实时全景视频拼接方法和装置。
【背景技术】
[0002]图像拼接技术就是将数张有部分重叠的图像拼成一幅大型的无缝高分辨率图像的技术。使用普通相机获取宽视野的场景图像，因为相机的分辨率一定，拍摄的场景越大，得到的图像分辨率越低；而全景相机、广角镜头等不仅非常昂贵，且失真严重。为了在不降低图像分辨率的条件下获取超宽视野，甚至360°的全景图，出现了利用计算机进行图像拼接方法，该方法在近两年发展速度较快。现在图像拼接技术已经成为计算机图形学的研究焦点，被广泛应用于空间探测、遥感图像处理、医学图像分析、视频压缩和传输、虚拟现实技术、超分辨率重构等领域。
[0003]图像配准和图像融合是图像拼接的两个关键技术。图像配准是图像融合的基础，而且图像配准算法的计算量一般非常大，因此图像拼接技术的发展很大程度上取决于图像配准技术的创新。专利申请号200810237427.8采用SIFT特征点进行图片配准，虽然可以保证匹配的精度，但是运算量比较大。专利申请号201010587394.7采用SURF特征进行图像配准，算法的复杂度得到了降低，但是它只对视频的前几帧图像进行了配准，不能保证在摄像头抖动等情况下的图像拼接效果。专利申请号200910153173.6采用DSP和广角镜头来做前景视觉泊车辅助装置，但是广角镜头的内部参数K和失真系数是事先通过固定位置获取的，对于不同的车型和摄像头震动适应性不强。因此迫切需要一种考虑能处理摄像头旋转和抖动、被拍摄物体尺寸和光照变化的实时全景视频拼接方法和装置。
【发明内容】
[0004]本发明的目的是提供一种基于ORB特征的全景视频实时拼接方法及装置，以解决视频中单帧图像拼接计算量大以及视频拼接速度慢等技术难题。
[0005]为达到上述目的，本发明一方面提出了一种基于ORB特征的全景视频实时拼接方法，包括以下步骤:
[0006]步骤I开始操作，采集多路同步视频数据；
[0007]步骤2对同一时刻的各路图像进行预处理即把彩色图像变成256级的灰度图像，并对图像采用高斯滤波器进行去噪处理；
[0008]步骤3采用ORB特征提取算法对同一时刻的各路图像进行特征点提取并计算各特征点的ORB特征向量；
[0009]步骤4采用最邻近匹配法和RANSAC (随机抽样一致性)匹配算法求出同步视频对应帧间的单应性矩阵；
[0010]步骤5根据单应性矩阵进行视频帧场景的拼接；
[0011]步骤6输出拼接后的视频。[0012]如上所述步骤3中，采用ORB特征提取算法对同一时刻的多路图像进行特征点提取并计算各特征点的特征向量，其步骤包括:
[0013]步骤3-1:检测以候选特征点为圆心、r为半径的圆周上点的像素值，如果圆周上有足够多的连续点与该候选点的灰度值差值大于阈值d，则认为该候选点为一个特征点。
[0014]
【权利要求】
1.一种基于ORB特征的全景视频实时拼接方法，其特征在于，包括以下步骤: 步骤I开始操作，采集多路同步视频数据； 步骤2对同一时刻的各路图像进行预处理即把彩色图像变成256级的灰度图像，并对图像采用高斯滤波器进行去噪处理； 步骤3采用ORB特征提取算法对同一时刻的各路图像进行特征点提取并计算各特征点的ORB特征向量； 步骤4采用最邻近匹配法和RANSAC (随机抽样一致性)匹配算法求出同步视频对应帧间的单应性矩阵； 步骤5根据单应性矩阵进行视频帧场景的拼接； 步骤6输出拼接后的视频。
2.根据权利要求1所述的步骤2中对同一时刻的各路图像进行预处理即把彩色图像变成256级的灰度图像，并对图像采用高斯滤波器进行去噪处理。具体包括以下步骤: 步骤 2-1:彩色图像变成灰度图像:Gray(x, y) = 0.3R(x, y) +0.59G(x, y) +0.11Β(χ,y); 步骤2-2:高斯滤波去噪处理，高斯滤波模板为:
3.根据权利要求1所述的步骤3中，采用ORB特征提取算法对同一时刻的多路图像进行特征点提取并计算各特征点的特征向量，其特征在于，其步骤包括: 步骤3-1:检测以候选特征点为圆心、r为半径的圆周上点的像素值，如果圆周上有足够多的连续点与该候选点的灰度值差值大于阈值d，则认为该候选点为一个特征点。
4.根据权利要求1所述的步骤4中，采用最邻近匹配法、RANSAC(随机抽样一致性)匹配算法求出视频初始对应帧间的单应性矩阵，其特征在于，包括: 步骤4-1:对图像中每一个特征点，计算与其对应相邻摄像头图像匹配特征点的汉明距离，汉明距离是描述两个η长的比特序列X = (X1, χ2,, χη)和Y = (Y1, J2,, yn)之间的距离计算公式为:
5.根据权利要求1所述的步骤5中根据单应性矩阵进行视频帧场景的拼接，其特征在于，具体包括以下步骤: 步骤5-1:根据单应性矩阵H对图像做透视变换，使相邻摄像机上的同步图像透视到同一平面
6.一种基于ORB特征的全景视频实时拼接装置，其特征在于，包括视频采集模块，用于采集多路同步视频；图像拼接模块，用于采用所述的图像拼接方法在透视平面上将所有同步图像拼接为一整幅全景图；电源模块，用于给整个系统供电；存储模块用于对系统程序及拼接好的视频进行存储；和显示模块，用于显示拼接好的全景视频。
7.如权利要求6所述的一种基于ORB特征的全景视频实时拼接装置，其特征在于，以TI (德州仪器)公司的高性能TMS320DM8168数字媒体处理器为核心，在其上编写代码完成如上所述的基于ORB特征的实时全景视频拼接功能。
8.如权利要求6所述的一种基于ORB特征的全景视频实时拼接装置，其特征在于，所述多个摄像机拍摄的图像之间有较大重叠区域，且在采集过程中所述多个摄像设备的视角方向基本平行。
9.如权利要求6所述的一种基于ORB特征的全景视频实时拼接装置，其特征在于，由TMS320DM8168数字媒体处理`器产生同步信号，控制多路摄像机对视频进行同步采集。
【文档编号】H04N5/262GK103516995SQ201210201690
【公开日】2014年1月15日 申请日期:2012年6月19日 优先权日:2012年6月19日
【发明者】许雪梅, 黄征宇, 张键洋, 杜捷, 李丽娴, 李岸, 周立超, 陶少华, 尹林子 申请人:中南大学