混合图像的全景视频制作技术的制作方法

本发明涉及全景视频技术领域，具体涉及混合图像的全景视频制作技术。

背景技术：

全景视频是一种通过两个以上的摄像头同时连续拍摄360度全视角图像，并经过编码产生的的视频内容。多个摄像头拍摄的图像通过算法拼接在一起以后成为一路包含所有视角信息的视频流，全景视频可以记录完整的现场图像信息，在虚拟现实头盔等新型显示设备上可以很好地再现完整现场场景，给用户身临其境的感觉，具有非常广泛的实用价值。

由于全景视频同时记录了多个视角的信息，在同等清晰度条件下，全景视频的画面尺寸就要比普通相机产生的视频大很多倍，这将给视频的存储和传输带来很大压力。

为了解决全景相机的带宽需求，部分现有产品采用了广角的相机拍摄部分画面，通过鱼眼镜头获得较大的视场角(Field of View)，来获得近似于全景相机的效果。鱼眼镜头可以提供一个很大的视场角，但不能覆盖全部视野范围，对用户拍摄的图像来说仍然存在较大的视觉盲区，用户无法看到相机背面的场景。

用鱼眼镜头产生的视频在播放时由于场景不完整，现有方案通常将没有拍摄到的区域用固定的黑色填充，在虚拟现实等新型显示设备中，这种处理方式会显著降低用户的临场感，当用户转动观看视角时会看到不连贯的黑色区域，对临场感和视觉体验带来明显影响。

技术实现要素：

本发明的目的在于针对现有技术的缺陷和不足，提供一种混合图像的全景视频制作技术，该技术为:在一个360度全景拍摄的场景中，将需要拍摄区域规划为静止区域和动态区域，动态区域采用视频拍摄和编码的方式表示，静态区域用拍摄静止图片的方式记录，将拍摄的静态图像和视频混合编码到同一路码流中，就可以完整记录一个场景。

采用上述技术后，本发明有益效果为：本发明所述的混合图像的全景视频制作技术，它可以在保持高视觉体验的前提下大幅降低全景视频的数据量，降低内容存储和传输的成本。

附图说明

此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：

图1是具体实施方式中混合拍摄系统说明图；

图2是具体实施方式中视频图像混合渲染说明图。

具体实施方式

本具体实施方式所述的混合图像的全景视频制作技术，该技术为:在一个360度全景拍摄的场景中，拍摄系统采用多镜头成像系统，通过多个镜头模组覆盖360度的全景视角，部分镜头模组拍摄镜头图像，部分镜头模组拍摄视频。拍摄时将需要拍摄区域规划为静止区域和动态区域，动态区域采用视频拍摄和编码的方式表示，静态区域用拍摄静止图片的方式记录，将拍摄的静态图像和视频混合编码到同一路码流中，就可以完整记录一个场景。

在全景视频拍摄的许多实际应用场景中，不同视角的内容对于节目的重要性往往非常不同，例如在直播节目中，节目制作者需要用户关注的是节目现场的信息，而背面的信息往往只是作为背景，这些背景在很多场景下是可以设计成静止不动的；静止的场景可以用静态图片表示，而具有活动目标的区域可以采用视频拍摄来表示。

具体实现中，本发明的拍摄系统由多个独立的成像系统组成，如图1所示的实例中，拍摄系统包含一个视频摄像头和三个静态图片摄像头，所有摄像头的输出信息都同时输入到一个用于拼接多路输入的计算机系统中。负责处理图像的计算机系统以固定频率从视频摄像机采集图像，并将视频摄像机采集的连续图像通过视频编码算法，如MPEG或H.264，编码成视频码流，在由软件指定的特定时刻，视频摄像机可以从一个或多个静态图像摄像头获取一幅静态图像，并将与视频流关联的时间戳附加到该静态图像中，静态图像可采用常规的图像压缩算法，如JPEG算法，进行编码。

在混合静态图片和视频的码流(以下称为混合视频流)中，静态图片数据包可以与音频、视频等标准视频流数据交织保存，并可以利用PTS(Presentation Time Stamp)等标准时间戳来表示图片和视频在渲染时的时间同步关系。除压缩图像数据外，静态图片数据包还需要包含用于渲染时与视频流叠加的几何信息。

如图2所示：混合视频流在播放时在空间中渲染的位置可以用等效的立方体表示；实际渲染不局限于立方体，也可用球体等任意几何形状，但立方体渲染时的数学处理较简单，是最常用的表达方法之一。如以立方体描述渲染过程，在多视角的视频渲染时，其在空间中的位置相当于一个立方体面上某一个或多个几何区域，技术实现上较常采用矩形区域描述，图2中立方体表面白色区域用静态图片表示，而其中若干区域可以指向视频流，通过分割不同渲染区域对应的视频或图片纹理，静态图片和视频内容就可在立方体表面无缝拼接起来，当静态图片所描述区域场景没有发生变化时，其视觉效果等效于用仅用全景视频记录的方法。

通过制作节目时仔细规划静态和动态区域，视频制作者可以采用本技术用静态图片代替一定比例的视频流，从而大幅降低视频的码率，达到节省带宽的目的，或者在相同带宽条件下提供更好质量的视觉效果。

本发明所述的混合图像的全景视频制作技术，它可以在保持高视觉体验的前提下大幅降低全景视频的数据量，降低内容存储和传输的成本。

以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。