专利名称：生成互动的动态全景影像的方法
生成互动的动态全景影像的方法
所属技术领域本发明涉及一种全景视频的生成方法，尤其涉及一种互动的动态全景影像的方 法，方便从不同角度观看动态的全景影像。
背景技术：
全景视频作为新兴的视频技术，提供朝视觉角度的视频，便于人们通过观看不同 方位的图像信息，例如，可以同时观看到水平方位360度的图像信息，扩大了人眼的视角范 围。中国公开专利申请200710069772. 0公开了根据多视角视频流生成全景视频的方法，该 方法采用多个摄像头对不同视角方向进行全方位覆盖的视频采集，然后通过视频进行全景 拼接，对视频流中的每一帧进行拼接，将其生成全景视频。然而，上述现有技术生成的柱面视频受到垂直方向的视域限制，导致仰视角度的 盲区，影响观看的效果，全景视频播放时，受制于视频的二维平面角度的角度限制，只能观 看到以固定的角度所播放的视频，而不能按照使用者的观看角度的需求进行选择观看角 度，因此不便于使用者选择观看的角度进行观看，影响了人们观看全景影像的互动性和灵 活性。
发明内容本发明提供一种生成互动的动态全景影像的方法，方便选择不同的视角观看不同 方位的动态全景影像，增加观看的灵活性。为解决上述的技术问题，本发明提供一种生成互动的动态全景影像的方法，包括 如下步骤(1)用鱼眼摄像机摄取获得视频；(2)将视频的每一帧的图像变换生成经纬坐标的经纬图像；(3)将经纬图像光学裁减合成全景图像；(4)将全景图像进行边缘光滑处理；(5)将全景图像合成全景视频；(6)将全景视频的每一帧的图像转换为球面坐标的球面图像；(7)将球面图像的每一坐标点转换为世界坐标系的图像坐标点；(8)将世界坐标系的每一帧图像进行视图变换和投影变换以输出。如上所述，本发明通过将鱼眼摄像头摄取的视频转换合成的全景视频的图像，再 通过三维球面坐标转换合成互动的动态全景影像，方便人们选择不同的角度观看视频，增 加操作性和观看的视角，避免影像的失真，符合人眼的观看习惯。
图1是本发明生成动态全景影像的方法的流程图。图2是本发明的图像生成经纬图像的方法的流程图。
图3是本发明的鱼眼摄像机摄取的视频的每一桢图像的原理图。图4是本发明的球面坐标的原理图。图5是本发明的经纬映射图。图6是本发明的全景视频的一帧全景图像。图7是本发明的球面坐标的原理图。
具体实施方式为进一步阐述本发明达成预定目的所采取的技术手段及功效，以下结合附图及实 施例，对本发明生成互动的动态全景影像的方法的具体实施方式
、结构特征及其功效，详细 说明如下。本发明互动的动态全景影像合成的方法的视频影像拍摄装置通过安装在固定台 上的鱼眼摄像头所拍摄的视频进而合成为动态全景影像。安装在固定台上的视频影像拍摄 装置包括安装在固定台的顶端面的顶部鱼眼摄像机和安装在水平方位上的水平鱼眼摄像 机。顶部鱼眼摄像机用以拍摄仰视角度的视频影像。顶部鱼眼摄像机至少设置一个顶部鱼 眼摄像机。水平鱼眼摄像机用以摄取水平周围的视频，均勻地分布并安装在固定台的周边， 水平鱼眼摄像机包括至少三个均勻分布的水平鱼眼摄像机，顶部鱼眼摄像机与水平的鱼眼 摄像机均固定于同一平台。在本具体实施例中，顶部的鱼眼摄像机设置一台，水平的鱼眼摄 像机设置五台，每一台水平鱼眼摄像头摄取水平视角的至少72度视角范围的视频，进而五 台鱼眼摄像机可拍摄水平四周360度的水平环视视角的视频。本发明的视频影像拍摄装置可以安装在固定的安装台，如安装在拍摄架上，拍摄 架可安装在汽车上，开车带动安装台上的鱼眼视频影像拍摄装置运动，进而可以拍摄运动 的视频影像。如图1及图2，具体实施例中，本发明是将一台顶部鱼眼视频摄像机和五台水平鱼 眼视频摄像机所拍摄的视频，按照如下的方法合成动态全景影像，进而进行播放输出，以下 对每个步骤进行详细的描述(1)用鱼眼摄像机采集视频首先对本发明的视频拍摄装置的一个顶部鱼眼摄像机和五个水平鱼眼摄像机一 共六个摄像机进行编号，对每个鱼眼摄像机所采集获取的视频的每一帧的图像进行分类， 然后确定每一帧的图像的光学中心位置。(2)将视频的每一帧的图像变换生成经纬映射坐标的经纬图像图像的呈现原理一般鱼眼摄像机的鱼眼镜头可近似为半球面，假定鱼眼摄像机的拍摄方向沿OZ 轴，则成像平面为OXY平面，如图3所示，设半球面S的方程为(1)x2+y2+z2 = r2 (ζ ^ 0)(1)如图3所示，对空间中任意一点P1，连接P1交S与Ρ2，过Ρ2做OZ轴的平行线，交 OXY平面与Ρ3点，则Ρ3点就是Pl所成的像。因此对于鱼眼摄像机摄取的视频的每一帧图 像而言，所拍摄的景物的图像点布满一个圆。图像展开本发明采用经纬映射法对鱼眼摄像机所摄取的视频的每一帧的图像进行展开。如图4，假设单位球面上任意一点P，点P按照经纬映射法，则P点的经度坐标映射为经纬坐标 上的矩形的水平坐标，将P点的纬度坐标映射为经纬坐标上的矩形的垂直坐标，因此，整个 单位球面S映射得到的经纬坐标的平面图是一张2 1的矩形图，半球面就是一张方形图， 如图5所示，本发明的视频的每一帧图像按照经纬映射法映射为经纬图像的步骤如下
(2. 1)首先根据鱼眼摄像机摄取的视频的每一帧图像的等距成像模型计算图像上 任意一点(X，y)在单位球面上的坐标，换算的计算公式如式(2)所示，其中f为焦距，在实 际应用中取单位球半径作为f值，为球面坐标(θ，Φ)；
^ =/6 COS^ isin^ = (sina χ sin A)/V(sina)2 χ (sin β)2 + (cos α)2 cos φ - cos a / \](sin α)2 χ (sin β)2 + (cos a)2
Xl/
4
/V(2. 2)建立经纬映射坐标上的坐标点P(x'，y')在单位球面上所对应的球面坐 标，利用换算的公式(3)来计算，其中f与公式(2)相同，(α，β)为对应的球面坐标；(2. 3)以单位球面的球面坐标为中介建立鱼眼摄像机摄取的视频的每一帧图像和 经纬映射坐标的经纬图像之间的关系，采用换算的公式⑷将(Θ，φ)和(α，β)进行换
笪弁。(3)将经过经纬映射法变换后的经纬图像进行光学裁剪，生成全景图像对鱼眼摄像机摄取的视频的每一帧的图像按照经纬映射变换生成经纬图像后，根 据对每一帧图像的编号找到每一帧图像中心在全景图像中的中心位置，并按照时间顺序对 相邻的每帧图像进行光学裁剪，进而缝合生成全景图像，采用基于光学角度的方法对图像 进行裁剪，可以以达到实时的效果，同时提高效率。(4)将缝合生成的全景图像进行边缘平滑化处理每一帧图像由于在拍摄时光线存在差异，会出现图像的明暗不同，在光学裁剪时， 裁减的图像之间也会存在细微的错位，所以需要对缝合的图像之间的接缝处进行平滑化处 理，以符合视觉效果，对图像的平滑化处理的步骤包括(4. 1)消除图像之间的明暗差异，由于经纬映射发法展开的每两帧图像之间的 重叠范围确定，可采用灰度渐变的方法。首先计算两帧图像接缝处两侧的灰度差值Im = Ie-Il,然后从接缝处开始分别向左向右均分灰度差值ΙΜ。若Im > 0表示左侧图像比右侧图像的亮度高，则左侧图像从接缝处开始向左每一 列灰度值按照公式込=Il-ImX i进行计算渐变，其中，i从1到0渐变，同时右侧图像从接 缝处向每一列灰度值Ik = IE+I Xi,i从0到1渐变。若Im < 0，依据上述的公式依理推算。(4. 2)采用邻域平均法对微小错位的图像进行平滑化处理。使用3X3邻域对相邻
图像之间的错位区域进行平滑化处理，则处理后图像容&，力二^；/化，只)。
O 1=1至此，按照上述的方法将顶部鱼眼摄像机和水平鱼眼摄像机共六台鱼眼摄像机所
6摄取的视频的每一帧的图像按照编号和时间顺序标记缝合生成全景图像。(5)将生成的全景图像依据时间轴对每一帧全景图像进行视频编码，进而生成全 景视频，以播放输出。依据本发明实时生成全景视频播放输出时的一帧视频图像，可参阅图 6。将全景图像转换生成视频的技术是现有技术的视频生成技术，在此不再赘述。(6)将全景视频的每一帧的图像转换为球面坐标的球面图像，在具体实施例中，包 括如下步骤(6. 1)对三维坐标系下的球体进行纹理映射，如图7，首先要知道三维的球体上每 一个坐标点P(x，y，z)所对应的纹理坐标u，v。由公式(5)所示，根据P点的坐标(x，y，z)， 可以求得该点对应的纹理坐标(u，ν)；(6. 2)将全景视频的每一帧的图像的纹理坐标(u，v)按照公式(5)映射为三维球 坐标上的P(x，y，ζ)，其中，r为球的半径，在具体实施例中，若单位球面的球的半径为1，则 公式(5)中的球的半径r = 200，当图像转换成球面上的坐标的情况下，以使用者的视角观 察，使得图像的失真度减小，使用者无视觉上的差异和图像视觉上的变形，以符合人眼的视 觉习惯；合成的全景球面的图像的中心点为六部鱼眼摄像机的中心点。(7)将球面图像与时间轴同步播放，合成互动的动态全景影像，将上述的合成的三 维坐标系下的球面上的全景图像与时间轴同步合成可播放的动态全景影像，并通过播放器 进行播放输出；将上述的球面图像的播放输出为动态全景影像，采用坐标变换的方式，一个3D场 景中，我们看到的任何物体，都是由一个一个的面片组成，装载面片位置信息就是其各个顶 点的三维坐标。这是在模型中存储的，而要把物体在屏幕上显示，还需将它转换成显示器 上可显示输出的二维坐标。运用三维到二维的转换公式，进行Direct 3D叫“几何流水线 (Geometry Pipeline) ” 的过程。对于每个对立被引进Direct 3D几何流水线的显示程序的物体(mesh)，图像的坐 标系的坐标原点是不同，其顶点也都用局部坐标表示的，因此通过世界坐标系的变换成为 统一坐标系下的图象，首先将上述的变换后的球坐标的每一帧图像变换成为世界坐标系下 的图像，也就是将上述的球坐标的图像的坐标进行世界变换(worldtransform)。将球坐标的每一帧图像进行世界变换为世界坐标系的图像后，每个顶点在整个场 景中的位置也就确定下来了。再确定观察者的位置和视角将其映射到屏幕上。将所有点变 换到新建立的以观察者为基准的坐标系下，这样才能被观察者所观察到，这个步骤叫做视 图变换(viewtransform)。经过上述的世界变换和试图变换的转换后，则可使得屏幕平行于其中一个坐标轴 平面了，也就是说，经过一系列的比例范围调整，可以看到图像上的点，但是此时绘出的物 体是没有立体视觉效果的，所以对每一图像上的每个点根据其远近程度进行放缩。最后Direct 3D对图像进行适当的剪切。使用者操作用于播放本发明的互动的全景动态影像的播放器，可以按照所需观察 的角度进行旋转而观看不同角度的与时间同步的动态影像。综上所述，本发明生成互动的动态全景影像的方法通过将顶部鱼眼摄像机和水平
ν = ar cos(^ Ir) I π u = (ar cos(x /(r * sin(v * pi)))) 12* π鱼眼摄像机的鱼眼摄像机所摄取的视频进行全景影像合成，将视频的每一帧图像变换成为 三维的球体的球面图像，转换为世界坐标系下的全景图像，并与时间同步播放即为时间同 步播放的动态全景影像。 使用者在使用本发明的互动的动态全景影像进行播放输出时，可以操作全景影像 的播放输出的视角角度，进而调整成为观察者所需要的角度，方便使用者观看所选择的角 度的视频，大大增加了使用者观看全景动态影像的便捷性和实用性。本发明采用将图像变 换为球面的图像，符合人眼的球面视角的结构特征，观看影像输出时视角不产生变形，符合 人的观看习惯，增加观看的舒适度，可以变换的不同的视角角度增加人眼的视觉范围，可以 看到仰视和360度水平环视角度的影像，进而解决现有技术采用柱面全景视频合成后视觉 角度窄的缺陷，方便全景视频的多角度观看，更符合人眼视觉效果。
权利要求
一种生成互动的动态全景影像的方法，包括(1)用鱼眼摄像机摄取获得视频；(2)将视频的每一帧的图像变换生成经纬坐标的经纬图像；(3)将经纬图像光学裁减合成全景图像；(4)将全景图像进行边缘光滑处理；(5)将全景图像合成全景视频；(6)将全景视频的每一帧的图像转换为球面坐标的球面图像；(7)将球面图像的每一坐标点转换为世界坐标系的图像坐标点；(8)将世界坐标系的每一帧图像进行视图变换和投影变换后以输出。
2.根据权利要求1所述的生成互动的动态全景影像的方法，其中，所述的步骤(6)包括(6. 1)将全景视频的每一帧的图像的纹理坐标(u，ν)按照公式
3.根据权利要求1所述的生成互动的动态全景影像的方法，其中，所述的鱼眼摄像机 包括顶部鱼眼摄像机和水平设置的水平鱼眼摄像机，所述的顶部鱼眼摄像机摄取仰视方位 的视频，所述的水平鱼眼摄像机摄取360度环视的水平方位的视频。
4.根据权利要求3所述的生成互动的动态全景影像的方法，其中，所述的顶部鱼眼摄 像机为一个顶部鱼眼摄像机，所述的水平鱼眼摄像机包括至少三个均勻分布的水平鱼眼摄 像机，所述的顶部鱼眼摄像机与水平的鱼眼摄像机均固定于同一平台。
5.根据权利要求1所述的生成互动的动全景态影像的方法，其中，所述的步骤(2)包括(2. 1)将视频的每一帧的图像的点坐标转换为单位球面上的球面坐标；(2. 2)将每一帧的图像的单位球面上的球面坐标转换为经纬映射坐标的经纬映射坐标；(2. 3)将视频的每一帧的图像转换为经纬映射坐标的经纬图像。
6.根据权利要求5所述的生成互动的动态全景影像的方法，其中，所述的步骤(2.1)根 据鱼眼摄像机的等距成像模型计算视频的每一帧的图像上的任一点(χ，y)在单位球面上 的坐标(Θ，Φ)，所述的每一帧的图像的任一点(X，y)转换为单位球面的坐标的转换公式
7.根据权利要求5所述的生成互动的动态全景影像的方法，其中，所述的步骤(2.2) 的单位球面上的坐标点(θ，φ)与经纬映射坐标的坐标点P(x’，y’)的转换公式为
8.根据权利要求1所述的生成互动的动态全景影像的方法，其中，所述的步骤(2.3)的视频的每一帧的图像的坐标与经纬映射坐标的经纬图像的坐标之间的转换公式为 sin 汐=sin α χ sin β< sin卢=(sin α χ sin β) / V(sin α)2 χ (sin ^)2 + (cos )2，其中，f为鱼眼摄像机的焦距，单位球 cos φ - cos a/\l(sin α)2 χ (sin β)2 + (cos a)2面半径为f，(α，β)为单位球面的球面坐标。
9.根据权利要求1所述的生成互动的动态全景影像的方法，其中，所述的步骤(3)还包括(3. 1)依据全景视频的每一帧的图像的时间标记找到每一帧的图像的中心位置对应于 经纬图像的中心位置；(3. 2)对应裁减依据时间标记相邻的两帧图像。
10.根据权利要求1所述的生成互动的动态全景影像的方法，其中，所述的步骤(4)包括(4. 1)消除依据时间标记紧邻的每两帧图像的明暗差异； (4. 2)用邻域平均法对紧邻的每两帧图像进行边缘平滑处理。
11.根据权利要求10所述的生成互动的动态全景影像的方法，其中，所述的步骤(4.1) 是采用图像的灰度渐变的方法，所述的灰度渐变的方法包括(4. 1. 1)计算每两帧图像缝合两侧边沿的灰度差值Im = Ie-Il ； (4. 1. 2)从两帧图像缝合的接缝处相两侧边沿均分所述的差值。
12.根据权利要求11所述的生成互动的动态全景影像的方法，其中，若若Im> 0表示 左侧比右侧图像亮，则左侧图像从接缝开始向左每一列灰度值込=Il-ImX i,i从1到0渐 变，右侧图像从接缝处向每一列灰度值Ik = IE+I Xi, i从0到1渐变。
13.根据权利要求12所述的生成互动的动态全景影像的方法，其中，所述的步骤(4.2)的邻域平均法是使用3X3邻域进行平滑，则处理后图像射X，力=兄)。O /=1
14.根据权利要求1所述的生成互动的动态全景影像的方法，其中，所述的步骤(8)还 包括对每一帧图像进行视频变换和投影变换后的图像剪切的步骤。
全文摘要
本发明公开一种生成互动的动态全景影像的方法，将摄取的视频的每一帧图像通过经纬映射坐标转换为经纬图像，再通过光学裁减缝合为全景图像，之后进行视频编码按照时间生成全景视频，将全景视频的每一帧图像转换为世界坐标系的球面的图像，并进行视图转换和投影变换后与时间同步播放，生成互动的动态全景影像。本发明的互动的动态全景影像，使用者可以操作从不同视角观看动态全景影像，采用球面坐标转换的图像使得图像失真小，符合人眼的观看效果，增加动态全景影像的视觉范围。
文档编号H04N5/225GK101938599SQ200910086800
公开日2011年1月5日 申请日期2009年6月30日 优先权日2009年6月30日
发明者宋汉营, 王西杰 申请人:爱国者全景(北京)网络科技发展有限公司