专利名称：一种基于多摄像机的视频实时拼接方法
技术领域：
本发明属于智能交通的视频监控领域，是基于计算机视觉的监控范围扩展技术。
背景技术：
目前的拼接技术主要应用在交通行业的视频实时监控领域，研究也主要集中在对 摄像机位置相对固定的交通监控视频的拼接上。算法相对比较成熟的是对静态图像的拼 接，视频拼接技术主要利用视频图像帧间的相关性，拼接过程中涉及到大量的计算，这就需 要在保证画面质量的前提下，选取一种快速的匹配算法，以减少整个视频拼接的计算量，提 高视频拼接速度。关于视频拼接原理和方法国内外已有不少的论文发表，但是现在还没有 通用的能够达到实时处理速度的视频拼接软件以及产品出现。
发明内容
本发明的目的是提供一种基于多摄像机的视频实时拼接方法，以解决视频单帧图 像拼接计算量大以及视频拼接速度慢等技术问题。本发明所述的一种基于多摄像机的视频实时拼接方法，硬件是基于多摄像机的交 通监控视频拼接装置，主要包括处理器、视频采集模块、电源模块、显示模块和存储模块，其 步骤如下步骤1、启动操作，获取同步多路视频数据；步骤2、对同一时刻的帧图像进行预处理把彩色图像变成256灰度的灰度图像， 并对图像采用直方图均衡的方法进行图像增强处理；步骤3、采用SURF算法进行对应帧图像特征点的提取；步骤4、采用最近邻匹配法、随机抽样一致性匹配算法求出视频初始对应帧间的单 应性矩阵；步骤5、求解视频初始k帧的最优单应性矩阵步骤5-1、确定拼接图像的重叠区域按照图像的透视映射关系，根据单应性矩阵得到保留特征点在另一对应帧图像的 匹配点；如果计算出的匹配点没有落在图像内，说明这一点并不在两幅图像的重叠区内，反 之，如果特征点映射前后都落在图像内，说明它处在重叠区内；用这种方法遍历一遍，即对 一幅图像中所有保留特征点进行透视映射变换，得到映射对应特征点确定的区域。取以另 一幅图像的边缘为边界，取重叠区的最小内接多边形作为重叠区域；步骤5-2、求取前k帧对应帧拼接图像重叠区域的相似度相似度测度由归一化协方差相关函数来定义，如下公式1所述
w h
C(A，I2) =
ZZ[J1 (h Ji)~h(h，7i)JX Vi(h Ji)~h(h，h)
1
w h r_-I" I \ w n _
ZZ[A(A，义)-A(hJi)\ x ZZ[J2(hJ2)-h(h，h)
w h
)n=0
I w=0w=0
式中，w，k为重叠区的宽高。显然，相似度C取值范围是(_1，1)，取值越大说明重 叠区相关程度越高；步骤5-3、确定前k帧的最优单应性矩阵对连续前k帧重叠区域相似度值求极大值，把相关性最高的图像帧的单应性矩阵 作为最优的单应性矩阵，并将其作为后继帧的单应性矩阵；步骤6、根据最优的单应性矩阵进行后继视频帧场景的拼接；步骤7、输出拼接后的视频。如上步骤2所述的图像灰度化是利用下式加权平均法的公式进行变换，把彩色图 像变成256灰度级别的灰度图像 f (i, j) = 0. 3*R(i，j) +0. 59*G(i，j) +0. 11*B(i，j)。如上步骤2所述对图像进行非线性拉伸来增加图像灰度值的动态范围，增加对比 度是采用直方图均衡化，其步骤步骤2-1、统计图像中灰度级为k的像素个数为nk ；步骤2-2、计算直方图中应变量的值pk = nk/(MXN)；步骤2-3、计算累计直方图中应变量的值sk =E pk ；步骤2-4、确定映射对应关系寻找i (i = 0，1，~，L)使其满足i/L((按四舍五入 取正整数)与sk最为接近；步骤2-5、将原图像中灰度级为k的象素的值改为i ；其中L是灰度层次数，MXN是图像尺寸。上述步骤3所述采用SURF算法进行对应帧特征点的提取包括步骤3-1、尺度空间极值检测，以初步确定特征点位置和所在尺度；在原始图像 上，通过扩大方框的大小形成不同尺度的图像金字塔，构造方框滤波模板；构建尺度空间的 图像金字塔，形成金字塔形的三 维像素空间；计算每一点的delta值；所述的计算每一点的delta值方法如下Hessian 矩阵为
权利要求
1. 一种基于多摄像机的视频实时拼接方法，硬件是基于多摄像机的交通监控视频拼接 装置，主要包括处理器、视频采集模块、电源模块、显示模块和存储模块；其步骤如下 步骤1、启动操作，获取同步多路视频数据；步骤2、对同一时刻的帧图像进行预处理把彩色图像变成256灰度的灰度图像，并采 用直方图均衡方法对图像进行增强处理；步骤3、采用SURF算法进行对应帧特征点的提取；步骤4、采用最近邻匹配法、随机抽样一致性匹配算法对视频图像对应帧的特征点对进 行匹配；步骤5、求解视频初始k帧的最优单应性矩阵 步骤5-1、确定拼接图像的重叠区域按照图像的透视映射关系，根据单应性矩阵得到保留特征点在另一对应帧图像的匹配 点；如果计算出的匹配点没有落在图像内，说明这一点并不在两幅图像的重叠区内，反之， 如果特征点映射前后都落在图像内，说明它处在重叠区内；用这种方法遍历一遍，即对一幅 图像中所有保留特征点进行透视映射变换，得到映射对应特征点确定的区域；取以另一幅 图像的边缘为边界，取重叠区的最小内接多边形作为重叠区域； 步骤5-2、求取前k帧对应图像拼接重叠区域的相似度 相似度测度由归一化协方差相关函数来定义，如下公式1所述
2.根据权利要求1所述的一种基于多摄像机的视频实时拼接方法，所述的图像灰度化 是利用下式加权平均法的公式进行变换，把彩色图像变成256灰度级别的灰度图像f (i, j) = 0. 3*R(i，j)+0. 59*G(i，j)+0. ll*B(i，j)。
3.根据权利要求1所述的一种基于多摄像机的视频实时拼接方法，对图像进行增强处 理，采用直方图均衡方法来扩大图像灰度的动态范围，其步骤步骤2-1统计图像中灰度级为k的像素个数为nk ； 步骤2-2计算直方图中应变量的值pk = nk/(MXN)； 步骤2-3计算累计直方图中应变量的值sk =E pk ；步骤2-4确定映射对应关系寻找i (i = 0，1，~，L)使其满足i/L，与sk最为接近； 步骤2-5将原图像中灰度级为k的象素的值改为i ；其中L是灰度层次数，MXN是图像尺寸。
4.根据权利要求1所述的一种基于多摄像机的视频实时拼接方法，所述采用SURF算法 进行对应帧特征点的提取包括步骤3-1、尺度空间极值检测，以初步确定特征点位置和所在尺度；在原始图像上，通 过扩大方框的大小形成不同尺度的图像金字塔，构造方框滤波模板；构建尺度空间的图像 金字塔，形成金字塔形的三维像素空间；计算每一点的delta值；所述的计算每一点的delta值方法如下Hessian矩阵为 (D ,D )
5.根据权利要求1所述的一种基于多摄像机的视频实时拼接方法，采用最近邻匹配 法、随机抽样一致性匹配算法对视频图像对应帧的特征点对进行匹配，包括步骤4-1、最近邻匹配法，对源图像每一个特征点，计算其与对应帧图像匹配特征点的 距离；采用优先k-d树进行优先搜索，查找每个特征点的2个近似最近邻特征点；把特征点 的最近邻距离与次近邻距离的比值作为特征点间是否匹配的依据；如果比值小于某个比例 阈值，则接受这一对匹配点；步骤4-2、随机抽样一致性匹配算法，重复采样n次，随机取出4组对应点对组成一个样 本，并计算单应性矩阵H;步骤4-3、单应性矩阵的计算公式令I是空间中一个平面，它在两个视点下的成像分别记为II、12，[x y 1]T G Ip [X Y 1]T G I2是任意一对对应点，则图像L和图像12变换关系可用公式L = kHX 12表示，具体为
全文摘要
本发明公开了一种基于多摄像机的视频实时拼接方法，其步骤如下获取同步多路视频数据；对同一时刻的帧图像进行预处理把彩色图像变成灰度图像；进行图像增强处理，采用直方图均衡方法扩大图像灰度的动态范围；采用SURF算法进行对应帧特征点的提取；采用最近邻匹配法、随机抽样一致性匹配算法求出视频对应帧图像间匹配特征点对；求解视频初始k帧的最优单应性矩阵根据匹配后的特征点对确定拼接重叠区域；把重叠区域相似度最大的帧对应的单应性矩阵作为最优的单应性矩阵，据此进行后继视频帧场景的拼接；输出拼接后的视频。本发明可以减少视频帧单帧图像拼接的计算量并提高交通监控视频拼接速度，达到实时处理效果。
文档编号H04N7/18GK102006425SQ20101058739
公开日2011年4月6日 申请日期2010年12月13日 优先权日2010年12月13日
发明者孔涛, 张春雨, 李斌, 汪林, 蔡胜昔, 蔡蕾, 齐彤岩 申请人:交通运输部公路科学研究所