基于多深度图像变换矩阵的全景视频拼接方法
【专利摘要】本发明公开了一种基于多深度图像变换矩阵的全景视频拼接方法，它将多个摄像头排水的含有相互重叠区域的多个视频合成为全景视频，该方法包括后台校准过程和实时拼接过程。在后台校准过程中，获得深度为无穷远处的参考平面图像变换矩阵；同时，将其它深度信息分成不同深度等级，获得每个深度等级所对应的深度平面图像变换矩阵。在实时拼接过程中，利用参考平面图像变换矩阵，获得参考全景图像；同时，计算重叠区域当前的深度信息，并根据该深度信息所对应的图像变换矩阵，获得重叠区域全景图像；最后将重叠区域全景图像和参考全景图像进行混合成全景视频图像。本发明的方法可以获得稳定连贯的高质量全景视频，同时具有计算量小、运行速度快的特点。
【专利说明】基于多深度图像变换矩阵的全景视频拼接方法
【技术领域】
[0001] 本发明涉及一种视频拼接方法，尤其是一种基于多深度图像变换矩阵的全景视频 拼接方法。
【背景技术】
[0002] 视频拼接是计算机视觉中一项重要的技术。给定含有重叠区域的多个视频，视频 拼接的过程是将这些视频合成到同一视平面上，形成一个分辨率更高、视角更大的全景视 频。在实际生活中，这项技术运用到了视频监控、展示展览、远程视频会议、视觉娱乐等各个 领域。
[0003] 很多应用场景都对全景视频提出了合成图像质量高，并且实时运行速度快的要 求。已有的视频拼接方法针对于此，提出了多种解决方案。在实际场景中，前景物体经常在 拼接线附近产生伪影现象，为了解决这个问题，【文献1，2,3】中，提出了采用前景信息来优 化全景图像或视频的方法，并且在动态环境中根据前景信息调整拼接线，获得了优良的质 量效果。但是，当前景物体数量比较多的时候，处理时间将加长，同时多个前景物体之间也 互相干扰拼接线的调整。【文献4】利用深度信息自适应修正图像拼接矩阵，可以消除伪影 现象；但是当场景中出现多个深度变换较大的情况时，自适应修正过程将变得复杂。【文献 5】和【文献6】采用多个图像变换矩阵，去求解真实场景中的投影矩阵，并且针对每个像素 都获取不同的变换矩阵；这种方法可以获得高质量的拼接结果，但是计算量大，不适合视频 拼接的实时性要求。【文献7】提出了一种投影矩阵更新的自适应方法，应用于实时拼接算 法中；但是在运动物体距离摄像头比较近的情况下，拼接过程产生伪影，效果不理想。
[0004] 以上所涉及的文献分别为：
[0005] 【文献 1】HongmingZhang,XinChen,WeiZeng.ForegroundbasedBorderline AdjustingforRealTimeMulti-CameraVideoStitching. 5thInternational ConferenceonImageandGraphics(ICIG2009), 2009:355-360〇
[0006] 【文献2】中国专利：CN101593353B，图像处理方法和设备以及视频系统。
[0007] 【文献3】中国专利：CN101859433B，图像拼接设备和方法。
[0008] 【文献4]WeiZeng，HongmingZhang.DepthAdaptiveVideoStitching. 8thIEEE/ ACISInternationalConferenceonComputerandInformationScience，2009:1100 ? 1105〇
[0009] 【文献 5】GaoJ.H.，KimS.J.，BrownM.S. (2011)"ConstructingImage PanoramasusingDua1-HomographyWarping"，IEEEComputerVisionandPattern Recognition(CVPR' 11)，Jun2011.
[0010] 【文献 6】ZaragozaJ.，ChinT. -J.，TranQ. _H.，BrownM.S.，Suter D. (2014) "As-Projective-As-PossibleImageStitchingwithMovingDLT"，IEEE TransactionsonPatternAnalysisandMachineIntelligence(TPAMI)，36 (7)，Ju ly2014〇
[0011] 【文献7】刘明杰，任帅，金城.基于自适应投影矩阵的实时视频拼接算法.计算机 应用与软件，81-85,vol. 29,No. 5, 2012 年 5 月。
【发明内容】
[0012] 有鉴于此，本发明的目的是提供一种计算量小、运行速度更快且能够获得稳定连 贯的高质量视频的全景视频拼接方法。
[0013] 为了达到上述目的，本发明采用以下技术方案：
[0014] -种基于多深度图像变换矩阵的全景视频拼接方法，用于将由多个摄像头分别拍 摄的含有相互重叠区域的多个视频，合成为全景视频，包括以下步骤：
[0015] 后台校准过程：通过多个视频在深度为无穷远处的多个图像，计算图像变换矩阵， 获得深度为无穷远处的参考平面图像变换矩阵；同时，将其它深度信息值标定多个不同的 深度等级，获得每个深度等级所对应的深度信息值处的平面图像变换矩阵；其中，深度信息 值是指物体到成像平面的距离；
[0016] 实时拼接过程：利用所述的参考平面图像变换矩阵，将多个视频在深度为无穷远 处的多个图像进行几何变换，获得合成图像，作为参考全景图像；同时，计算多个视频的重 叠区域的当前深度信息值，根据所述的当前深度信息值对应所述的深度等级以及对应的平 面图像变换矩阵，获得合成图像，作为重叠区域全景图像；最后，将所述重叠区域全景图像 和所述参考全景图像进行混合渲染，形成当前的全景视频图像。
[0017] 校准过程的目标是计算图像变换矩阵，来描述多个摄像头或者视频图像平面之间 的几何关系。给定图像1和图像2,它们之间的几何关系由公式（1)定义：
【权利要求】
1. 一种基于多深度图像变换矩阵的全景视频拼接方法，用于将由多个摄像头分别拍摄 的含有相互重叠区域的多个视频，合成为全景视频，包括以下步骤： 后台校准过程：通过多个视频在深度为无穷远处的多个图像，计算图像变换矩阵，获得 深度为无穷远处的参考平面图像变换矩阵；同时，将其它深度信息值标定多个不同的深度 等级，获得每个深度等级所对应的深度信息值处的平面图像变换矩阵；其中，深度信息值是 指物体到成像平面的距离； 实时拼接过程：利用所述的参考平面图像变换矩阵，将多个视频在深度为无穷远处的 多个图像进行几何变换，获得合成图像，作为参考全景图像；同时，计算多个视频的重叠区 域的当前深度信息值，根据所述的当前深度信息值对应所述的深度等级以及对应的平面图 像变换矩阵，获得合成图像，作为重叠区域全景图像；最后，将所述重叠区域全景图像和所 述参考全景图像进行混合渲染，形成当前的全景视频图像。
2. 根据权利要求1所述的一种基于多深度图像变换矩阵的全景视频拼接方法，其特征 在于： 所述的后台校准过程具体为： 将深度为无穷远处的深度等级标定为Z (O)，从一个视频获得深度在无穷远处的图像I1 和从另一个视频获得深度在无穷远处的图像I2，依据以下公式（1)计算图像变换矩阵H，作 为参考图像变换矩阵H(Ref);
其中：
分别是两个图像的齐次坐标，H是一个3x3的矩阵，称之为图像变换矩 阵； 然后按照不同的深度信息值Z标定多个不同的深度等级Z(I)，Z (2)，……，Z(n)，并依 据公式（1)计算获得分别与各深度等级一一对应的图像变换矩阵H(I)，H(2)，……，H(n)， η为正整数；其中，深度信息值Z是物体到成像的距离，通过公式（2)计算得到 Zoci (2) d为视差； 最后生成深度等级-图像变换矩阵的对应表，所述对应表包括--对应的 Z (0) -H(Ref)，Z (I) -H(I)，Z (2) -H(2)，……，Z (η) -H(η); 所述的实时拼接过程具体为： 生成参考全景图像：以参考图像变换矩阵H(Ref)为基础，将两个视频的图像Ilt和图像 I2t进行几何变换，映射到成像平面上；同时通过图像混合技术，对变换后的图像I lt和图像 4进行像素值混合，获得参考全景图像，表示为I Htof); 计算深度信息：依据当前的视差，由上述公式（2)计算得到两个视频的图像Ilt和图像 4在重叠区域的当前深度信息值Z(t); 获取图像变换矩阵：根据当前深度信息值Z(t)所对应的深度等级，通过在所述对应表 中执行查表操作，得到图像变换矩阵，表示为H(t); 生成重叠区域全景图像：以图像变换矩阵H(t)为基础，将两个视频的图像Ilt和图像 I2t进行几何变换，映射到成像平面上；同时通过图像混合技术，对变换后的图像I lt和图像 4进行像素值混合，获得重叠区域全景图像，表示为I H(t); 基于深度信息的图像混合：结合参考图像变换矩阵H (Ref)和图像变换矩阵H (t)，将重 叠区域全景图像IH(t)和参考全景图像I H(Itef)进行混合渲染，形成当前的全景视频图像IF
3. 根据权利要求2所述的一种基于多深度图像变换矩阵的全景视频拼接方法，其特征 在于：标定不同的深度等级Z(I)，Z(2)，……，Z(η)的具体步骤为：首先设定标定物体的拍 摄位置，然后依据所述公式（2)计算标定的深度信息值Ζ，然后从两个视频中获取标定的深 度信息值处的两个图像，再依据公式（1)计算得到对应的图像变换矩阵Η。
4. 根据权利要求2所述的一种基于多深度图像变换矩阵的全景视频拼接方法，其特征 在于：将重叠区域全景图像IH(t)和参考全景图像I H(Itef)混合成全景视频图像I 3勺方法为： 对于全景图像上的任意像素点（i，j)，按照以下公式（3)进行赋值，
其中，是预先设定的阈值，其大于等于〇. 1，且小于等于〇. 5。
【文档编号】G06T5/50GK104519340SQ201410842239
【公开日】2015年4月15日 申请日期:2014年12月30日 优先权日:2014年12月30日
【发明者】余俊池, 陆骏, 张凤清, 高建峰 申请人:余俊池, 陆骏, 张凤清, 高建峰