利用旋转拍摄的视频序列影像构建场景立体全景图的方法
【技术领域】
[0001] 本发明涉及视频影像的拼接技术、计算机视觉、数字图像处理、地理信息三维可视 化等领域，尤其涉及利用视频序列影像的全景立体图生成方法。
【背景技术】
[0002] 视频序列作为一种常见的大众媒体，本身含有非常丰富的信息，不仅获取方便且 能更加形象、客观的表达地理空间，形成从"侧面看世界"的真实场景。以视频序列影像为 数据基础，研究利用视频序列影像生成全景3D立体影像的方法，将大大地丰富GIS在数据 获取和视频浏览及建模方面的能力，而全景3D立体影像本身即是一种建模表达方式，不仅 直观、简单、方便，且能够为3DGIS提供一种极好的景观表达方法。
[0003] -些学者针对普通视频序列拼接生成全景立体图像进行了相关方面的研究， Ishiguro等人采用等角度旋转拍摄方式将连续拍摄的图像序列拼接生成全景立体图像 (IshiguroH,YamamotoM,TsujiS.Omni-directionalstereo[J].IEEETransactionon PatternAnalysisandMachineIntelligence, 1992, 14(2):257-262)〇Peleg和Ben-Ezra 在Ishiguro方法的基础上利用圆投影方法，对全景立体的成像条件进行了简化，不需要 严格进行等角度拍摄，初步实现了利用普通摄像机进行全景立体成像（PelegS，Ben-Ezra M.Stereopanoramawithasinglecamera[C]?IEEEConferenceofComputerVision andPatternRecognition, 1999:395-401)。JungukCho等人使用单一相机旋转拍摄 图像，计算重叠图像间的条带，将图像拼接形成全景立体图像（JungukC,Joon-Hyuk C,YongminT,etal.StereoPanoramicImageStitchingwithaSingleCamera[C]. IEEEInternationalConferenceonConsumerElectronics, 2013:256-257) 〇Kang等 人采用图像分层方法对全景图像计算深度信息，并在此基础上生成全景立体图像（KangS B.LayeredDepthPanoramas[C].IEEEConferenceonComputerVisionandPattern Recognition, 2007:1-8)〇
[0004]当前基于图像拼接式的全景立体生成方法对拍摄条件要求严格或对拍摄方式的 限制较多，并不适用于使用普通数码摄像机对场景随意拍摄视频序列构建真三维立体全景 图。
【发明内容】
[0005] 本发明以视频序列影像为基础，利用中心圆投影模型，采用自适应条带大小和位 置计算方法将视频序列影像拼接生成立体全景图像。该方法充分利用视频序列图像间的冗 余信息来生成真三维立体全景图像，可以有效避免使用多个摄像机拍摄而带来的不便，为 普通大众提供一种便捷的生成立体全景图像的方法。
[0006] 为了实现上述目的，本发明采用如下技术方案：
[0007] 利用旋转拍摄的视频序列影像构建场景立体全景图的方法，包括如下步骤：
[0008] 1)对视频帧图像进行逐一读取，提取连续图像间特征匹配对，并估计摄像机的内 外参数；
[0009] 2)利用图像间的特征匹配点计算摄像机旋转的虚拟速度，并根据摄像机的旋转速 度来确定条带的大小；
[0010] 3)根据中心圆投影原理对视频图像进行圆柱投影，利用视差估计值，计算图像条 带的位置；
[0011] 4)根据条带的大小与位置对视频帧图像进行提取，分别提取左条带图像与右条带 图像，并将提取的所有左条带图像与右条带图像分别进行全景拼接生成具有视差的左全景 图像和右全景图像。
[0012] 所述步骤1)的具体过程为：
[0013] (1-1)逐一读取视频序列中连续帧图像；
[0014] (1-2)采用 ORB (oriented FAST and Rotated BRIEF)算法对视频帧图像进行特征 匹配；
[0015] (1-3)由于噪声和移动目标存在，匹配集合中会存在误匹配点，根据极线原理，采 用RANSAC(RandomSampleConsensus，随机抽样一致性）方法剔除误匹配点；
[0016] (1-4)根据正确的匹配点集，计算图像间的单应矩阵变换，根据单应变换矩阵计算 摄像机的内外参数矩阵，并利用光束平差原理对摄像机内外参数矩阵进行修正。
[0017] 所述步骤2)的具体过程为：
[0018] (2-1)根据步骤1)中提取的图像帧的匹配特征点，计算每对特征点的水平偏移量 与垂直偏移量；
[0019] (2-2)对所有特征点对的水平偏移量求和取平均，计算摄像机水平旋转速度；
[0020] (2-3)对所有特征点对的垂直偏移量求和取平均，计算摄像机垂直旋转速度；
[0021] (2-4)在前三步的基础上，计算条带的大小。
[0022] 所述步骤3)具体过程为：
[0023] (3-1)将视频序列图像投影到圆柱内表面；
[0024] (3-2)在圆柱内部设置直径与人眼基距相近的视点圆，在视点圆上构建左、右两个 虚拟摄像机，对投影到圆柱面的视频图像进行虚拟成像；
[0025] (3-3)依据虚拟成像按步骤2)确定的条带大小以及虚拟摄像机的旋转方位和视 差估计值，按中心圆投影模型分别计算左、右虚拟相机拍摄条带对应的位置。
[0026] 所述步骤4)具体过程为：
[0027] (4-1)依据计算的条带大小和位置，从圆柱投影视频图像上分别提取左、右虚拟摄 影机条带图像；
[0028] (4-2)对提取的左、右虚拟摄像机图像条带进行全景拼接，获得具有视差的左、右 全景图像，构成立体全景图像对。
[0029] 相比于现有技术，本发明所述方法具有如下特点：
[0030] 1、本发明方法采用一个摄像机，在中心圆投影的基础上对视频序列图像进行自适 应条带提取生成具有视差的左、右两幅全景图像，可以有效避免使用多个摄像机拍摄而带 来的不便；
[0031] 2、本发明的立体全景图的生成过程无需人工干预，自动化程度高，能为普通大众 提供一种便捷的生成全景立体图像的方法。
[0032]因此，本发明的立体全景图像生成方法简单，仅需一个摄像机对场景进行旋转拍 摄即可，适用于普通用户使用一般视频设备沿近似固定的视点环绕拍摄的视频序列生成立 体全景图，在各种真三维显示设备（如红绿眼镜）上都可进行真三维立体观察。
【附图说明】
[0033]图1是本发明实施例的流程图；
[0034] 图2本发明实施例的视频图像圆柱投影；
[0035] 图3本发明实施例的中心圆投影原理；
[0036]图4本发明实施例的中心圆投影简化计算模型；
[0037] 图5是本发明视频序列的柱面投影与左、右条带图像提取。
【具体实施方式】
[0038] 下面结合附图和实施例作进一步详细说明。
[0039] 如图1所示，利用旋转拍摄的视频序列影像构建场景立体全景图方法，该方法包 括以下四个部分：
[0040] 步骤1对视频帧图像进行逐一读取，提取连续图像间特征匹配对，并估计摄像机 的内外参数；
[0041] 步骤2利用图像间的特征匹配点计算摄像机旋转的虚拟速度，并根据摄像机的旋 转速度计算条带大小；
[0042] 步骤3根据中心圆投影原理对视频图像进行圆柱投影，利用视差估计值，计算图 像条带的位置；
[0043] 步骤4根据条带的大小与位置对视频帧图像进行条带提取，分别提取左条带图像 与右条带图像，并将提取的所有左条带图像与右条带图像分别进行拼接生成具有视差的左 全景图像和右全景图像，并使用与显示方式相对应的观察设备（以红绿眼镜为例进行说 明）进行具有沉浸感的立体观察与体验；
[0044] 本实施例的具体实施步骤如下：
[0045]步骤1对视频帧图像进行逐一读取，提取连续图像间特征匹配对，并估计摄像机 的内外参数：
[0046] (1-1)逐一读取视频序列中连续帧图像，采用ORB算法对视频帧图像进行特征匹 配，为进一步提炼图像间匹配点对的正确性，采用对称匹配原则进行匹配；
[0047] (1-2)由于噪声和移动目标存在，匹配集合中会存在误匹配点，根据极线原理，两 个对应的关键点分布在各自的极线上，表达式如下：
[0048] IllYnUl =0
[0049] 其中，UjPu2为两图像对应匹配点坐标；F12为基础矩阵；根据式（1)，采用RANSAC 方法剔除误匹配点。
[0050] (1-3)根据正确的匹配点集，计算图像间的单应变换矩阵，根据单应变换矩阵计算 摄像机的内外参数矩阵，根据光束平差原理修正摄像机的内外参数矩阵。
[0051] (1)图像单应性矩阵变换
[0052] 两图像的n(M)对匹配点0 可在相差一个常数因子的意义下计算单应矩