阵，其算法如下：
[0057] 这样选取4对以上的匹配点即可求解出单应性矩阵H。
[0058] (2)摄像机焦距估计
[0059] 首先计算视频序列中连续图像对之间的单应性矩阵Hu，根据平面单应矩阵定义，H =K(R+tnT)K\ 有：
[0070] 同样采用类似的方式求出，由于本文假定摄像机在拍摄过程中焦距保持不变， 则摄像机焦距f的最终估计可以通过fc和f:的几何平均来计算，、/=#。在全景图像序列 中，从不同的单应矩阵中得到各自的焦距估计，最终的f?应取所有焦距的几何平均。最后根 据求出的内参矩阵K求取两图像之间的旋转变换矩阵R。
[0071] 步骤2根据图像间的特征匹配点计算摄像机旋转的虚拟速度，并根据摄像机的旋 转速度计算条带大小：
[0072] (2-1)根据连续两帧图像检测的匹配点对个数计算摄像机旋转的虚拟速度：
[0075] 其中，Vh是水平方向的虚拟速度，Vp是垂直方向的虚拟速度，p H(x)表示帧1图像 中第i个匹配点的横坐标x，P21(X)表示帧2图像中第i个匹配点的横坐标x，P11 (y)表示 帧1图像中第i个匹配点的纵坐标y，P21 (y)表示帧2图像中第i个匹配点的纵坐标y。
[0076] (2-2)根据摄像机的旋转速度计算条带大小A D :
[0077] AD =Vh(12)
[0078] 步骤3根据中心圆投影原理对视频图像进行圆柱投影，利用视差估计值，计算图 像条带的位置：
[0079] (3-1)对视频图像进行圆柱投影，将其投影到圆柱内表面：
[0080] 柱面上的点是由角度0和高度h参数化决定，如图2所示，对应关系如下：
[0081] (sin 9 , h, cos 9 ) 00 (x, y, f) (13)
[0082] 根据（13)式对应关系，可以计算出从图像平面映射为圆柱面的坐标形式：
[0085]其中，（x，y)是平面图像坐标，（X'，y')是柱面坐标，s是圆柱的半径，一般s=f以最小化图像中心的变形程度。
[0086] 由于柱面是可展曲面，图像在柱面坐标下平移和旋转可保持形状不变。逆映射公 式表达如下：
[0088] (3-2)为了实现立体视觉，根据中心圆投影原理，如图3所示，在圆柱内设立直径 为人眼基距2倍的中心圆，在中心圆的左、右两侧各摆设一个虚拟摄像机\，Vr，距离记为 2d。真实摄像机摆放于光心0处，旋转轴半径为r，摄像机绕旋转轴进行旋转360度连续视 频拍摄，拍摄的各帧图像投影至圆柱投影表面，虚拟相机的光线沿光心〇处投影至圆柱投 影面。
[0089] (3-3)为便于计算条带位置，将中心圆投影模型进行简化，如图4中所示，左、右虚 拟摄像机VR，\之间相差2d，旋转半径记为r，摄像机焦距由步骤1估计得到，记为f，左右 条带位置之差记为2v。根据相似三角形原理，可计算条带与视差之间的关系（见图4):
[0091] 式中，d是设定的人眼基距，r是摄像机旋转拍摄时的旋转半径平均值，f是步骤1 计算出来摄像机内参。根据比例式求出V之后，就可以计算出条带对应的位置。
[0092] 步骤4根据计算得到的条带大小与位置对视频帧图像进行条带提取，分别提取左 条带图像与右条带图像，并将提取的所有左条带图像与右条带图像分别进行拼接生成具有 视差的左全景图像和右全景图像，并使用与显示方式相对应的观察设备（以红绿眼镜为 例）就可观察具有沉浸感的全景立体图，其具体的步骤如下：
[0093] (4-1)对于视频序列，产生的图像较多，需要对各帧图像全部按中心圆法进行圆柱 投影，得到如图5所示的投影视频序列。
[0094] (4-2)按计算得到的条带大小与位置对视频帧图像进行条带提取，分别提取左条 带图像与右条带图像（见图5);
[0095] (4-3)对提取出的所有左、右条带图像分别进行全景拼接，生成具有视差的左全景 图与右全景图；
[0096] (4-4)对左、右全景图像分别采用红绿合成方法对全景图像进行红绿合成生成红 绿立体全景图像，合成方法如下：
[0097] 对左全景图像处理过程如下：
[0098] (1)选择一张与左全景图像同样大小的品色掩码图像，掩码图像的每个像素的 RGB值为（255, 0, 0)。
[0099] (2)将左全景图像的每个像素分别与掩码图像的每个像素进行"或"运算，得到一 张新的左全景图像。
[0100] 计算方法如下：
[0101] 设左全景图像中的某像素（i，j)的彩色RGB为（r，g，b)，红色掩码图像的同一 位置（i，j)的彩色RGB为（255, 0, 0)，则进行"或"运算，则得到新的像素的彩色RGB为 (255,g，b)。
[0102] 类似地，对右全景图像也可以采用同样的方法与绿色掩码图像（RGB(0, 255, 0)) 进行"或"运算，得到一张新的右全景图像。
[0103] 新的左全景图像A与新的右全景图像B生成之后，需要将A、B两张全景图像进行 合成出一张红绿全景图像才能显示出立体效果，因此，需要对左、右两张全景图像进行"与" 运算。
[0104] 设A全景图像中某像素（i，j)的RGB值（255,g，b)，B全景图像中对应像素的RGB 值（r，255,b)，进行"与"运算，得到一个新的RGB值为（r'，g'，b'）。对A、B图像中的所有 的像素进行"与"运算，可以得到一张新的合成后的红绿全景图像。
【主权项】
1. 利用旋转拍摄的视频序列影像构建场景立体全景图的方法，其特征在于，该方法包 括如下步骤： 1) 对视频帧图像进行逐一读取，提取连续图像间特征匹配对，并估计摄像机的内外参 数； 2) 利用图像间的特征匹配点计算摄像机旋转的虚拟速度，并根据摄像机的旋转速度来 确定条带的大小； 3) 根据中心圆投影原理对视频图像进行圆柱投影，利用视差估计值，计算图像条带的 位置； 4) 根据条带的大小与位置对视频帧图像进行提取，分别提取左条带图像与右条带图 像，并将提取的所有左条带图像与右条带图像分别进行全景拼接生成具有视差的左全景图 像和右全景图像。2. 根据权利要求1所述的利用旋转拍摄的视频序列影像构建场景立体全景图的方法， 其特征在于，所述步骤1)的具体过程为： (1-1)逐一读取视频序列中连续帧图像； (1-2)采用ORB算法对视频帧图像进行特征匹配； (1-3)由于噪声和移动目标存在，匹配集合中会存在误匹配点，根据极线原理，采用 RANSAC方法剔除误匹配点； (1-4)根据正确的匹配点集，计算图像间的单应矩阵变换，根据单应变换矩阵计算摄像 机的内外参数矩阵，并利用光束平差原理对摄像机内外参数矩阵进行修正。3. 根据权利要求1所述的利用旋转拍摄的视频序列影像构建场景立体全景图的方法， 其特征在于，所述步骤2)的具体过程为： (2-1)根据步骤1)中提取的图像帧的匹配特征点，计算每对特征点的水平偏移量与垂 直偏移量； (2-2)对所有特征点对的水平偏移量求和取平均，计算摄像机水平旋转速度； (2-3)对所有特征点对的垂直偏移量求和取平均，计算摄像机垂直旋转速度； (2-4)在前三步的基础上，计算条带的大小。4. 根据权利要求1所述的利用旋转拍摄的视频序列影像构建场景立体全景图的方法， 其特征在于，所述步骤3)具体过程为： (3-1)将视频序列图像投影到圆柱内表面； (3-2)在圆柱内部设置直径与人眼基距相近的视点圆，在视点圆上构建左、右两个虚拟 摄像机，对投影到圆柱面的视频图像进行虚拟成像； (3-3)依据虚拟成像按步骤2)确定的条带大小以及虚拟摄像机的旋转方位和视差估 计值，按中心圆投影模型分别计算左、右虚拟相机拍摄条带对应的位置。5. 根据权利要求4述的利用旋转拍摄的视频序列影像构建场景立体全景图的方法，其 特征在于，所述步骤4)具体过程为： (4-1)依据计算的条带大小和位置，从圆柱投影视频图像上分别提取左、右虚拟摄影机 条带图像； (4-2)对提取的左、右虚拟摄像机图像条带进行全景拼接，获得具有视差的左、右全景 图像，构成立体全景图像对。
【专利摘要】本发明公开了一种利用对地理场景旋转拍摄的视频序列影像，自动生成具有沉浸感立体全景图的方法。主要步骤：1)对视频序列逐一提取连续帧图像间的特征匹配对，并估计摄像机的内外参数；2)计算摄像机旋转的虚拟速度和条带大小；3)按中心圆投影原理和视差估计值计算条带的位置；4)按条带大小和位置对视频帧图像进行提取，分别提取左、右条带图像，将提取的全部左、右条带图像进行全景拼接，生成具有视差的左、右全景图。本发明的有益效果是：立体全景图生成过程简捷，仅使用单个数码摄像机在近似固定的视点对场景进行旋转拍摄获得视频序列，就能自动拼接成具有视差的左、右全景图，在不同三维显示设备(如红绿眼镜)上都可进行真三维立体观察。
【IPC分类】H04N13/00, G03B37/04, G06T3/40, G02B27/22
【公开号】CN105025287
【申请号】CN201510373958
【发明人】盛业华, 李佳, 张卡, 段平
【申请人】南京师范大学
【公开日】2015年11月4日
【申请日】2015年6月30日