多角度环绕音视频制作及其播放方法及系统与流程

本发明涉及多媒体技术领域，尤其涉及多角度环绕音视频制作及其播放方法及系统。

背景技术：

随着多媒体技术的发展，人们对音视频播放多样性的需求也在不断提高，单一视角欣赏音视频已无法满足人们的需求。而传统的音视频，虽然着力于提升画面分辨率，立体视觉效果，甚至于全景环绕效果，但是本质上还是单一观赏角度，观众只能被动地观看指定角度指定镜头的画面，无交互性。

申请号为201010241977.4的专利文献《多角度视频播放方法和系统》公开了一种多角度视频播放方法和系统，通过获取多个不同角度的视频文件；对所述多个不同角度的视频文件进行处理，以使该多个视频文件具有相同的视频起始点，并使该多个视频文件符合预定的视频播放器的视频格式；根据用户选择的播放角度，切换到对应的视频文件进行播放。实现了提高用户的观感体验，使用户可以获得其所希望看到的角度的视频。

上述多角度视频播放方法和系统，一次只能选择一个角度的视频文件进行播放，用户观感体验差，交互性差。

技术实现要素：

本发明所要解决的技术问题是：提供一种多角度环绕音视频制作及其播放方法及系统，实现可制作多角度环绕音视频文件，且用户在观看多角度环绕音视频文件时可任意切换画面角度。

为了解决上述技术问题，本发明采用的技术方案为：

本发明提供一种多角度环绕音视频制作方法，包括步骤：

摄像录音单元组成拍摄阵列，获取各个角度的影像数据和各个角度的音频数据；

将所述各个角度的影像数据按帧数大小排序，获取最小帧数值；

压缩所述各个角度的影像数据，使所述各个角度的影像数据的帧数大小与所述最小帧数值相同，得到影像对齐数据；

匹配所述各个角度的音频数据的波峰值，得到音频对齐数据；

将所述影像对齐数据与所述音频对齐数据一一对应，得到对齐文件；

根据所述拍摄阵列，为所述对齐文件建立索引，得到索引文件；

封装所述索引文件为环绕物体音视频文件。

本发明提供一种多角度环绕音视频制作系统，包括：

第一获取模块，用于将摄像录音单元组成拍摄阵列，获取各个角度的影像数据和各个角度的音频数据；

第二获取模块，用于将所述各个角度的影像数据按帧数大小排序，获取最小帧数值；

压缩模块，用于压缩所述各个角度的影像数据，使所述各个角度的影像数据的帧数大小与所述最小帧数值相同，得到影像对齐数据；

匹配模块，用于匹配所述各个角度的音频数据的波峰值，得到音频对齐数据；

对齐模块，用于将所述影像对齐数据与所述音频对齐数据一一对应，得到对齐文件；

建立模块，用于根据所述拍摄阵列，为所述对齐文件建立索引，得到索引文件；

封装模块，用于封装所述索引文件为环绕物体音视频文件。

上述多角度环绕音视频制作方法及系统的有益效果在于：通过使用拍摄阵列获取各个角度的影像数据和音频数据，可一次性记录多角度的细节；通过压缩影像数据，匹配音频数据及对应影像数据和音频数据，使同一时刻各个角度的影像数据和音频数据能够一一对应；通过为影像数据和音频数据建立索引，能够准确地找到任一时刻任一角度的影像数据和音频数据；实现了将各个角度的影像数据和音频数据封装为环绕物体音视频文件。

本发明还提供一种多角度环绕音视频播放方法，包括步骤：

读取环绕物体音视频的头文件；

预设默认索引标号，其中所述默认索引标号包括影像数据的索引标号和与所述影像数据的索引标号对应的音频数据的索引标号；

根据所述头文件中的索引表，获取与默认索引标号及默认索引标号相邻的索引标号对应的影像数据和音频数据；

播放所述影像数据和音频数据。

本发明还提供一种多角度环绕音视频播放系统，包括：

读取模块，用于读取环绕物体音视频的头文件；

预设模块，用于预设默认索引标号，其中所述默认索引标号包括影像数据的索引标号和与所述影像数据的索引标号对应的音频数据的索引标号；

第三获取模块，用于根据所述头文件中的索引表，获取与默认索引标号及默认索引标号相邻的索引标号对应的影像数据和音频数据；

第一播放模块，播放所述影像数据和音频数据。

上述一种多角度环绕音视频播放方法及系统的有益效果在于：通过索引标号获取与某一角度对应的影像数据和音频数据，从而可播放该角度的影像数据和音频数据；实现了可播放任一角度的影像数据和音频数据。

附图说明

图1为本发明提供一种多角度环绕音视频制作方法的流程框图；

图2为全包覆拍摄阵列图；

图3为半包覆拍摄阵列图；

图4为本发明提供一种多角度环绕音视频制作系统的结构框图；

图5为本发明提供一种多角度环绕音视频播放方法的流程框图；

图6为本发明提供一种多角度环绕音视频播放系统的结构框图。

图7为本发明提供的多角度环绕音视频制作方法的具体实施例的流程框图；

图8为本发明提供的多角度环绕音视频制作方法的另一具体实施例的流程框图；

图9为本发明提供的多角度环绕音视频播放方法的具体实施例的流程框图；

图10为本发明提供的多角度环绕音视频播放方法的另一具体实施例的流程框图；

标号说明：

11、第一获取模块；12、第二获取模块；13、压缩模块；14、匹配模块；15、对齐模块；16、建立模块；17封装模块；

21、读取模块；22、预设模块；23、第三获取模块；24、第一播放模块。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于：通过拍摄阵列获取多角度的影像数据和音频数据，并为影像数据和音频数据建立索引，可实现制作多角度环绕音视频文件；通过索引标号获取对应的影像数据和音频数据，可实现播放任一角度的影像文件和音频文件。

请参照图1至图10，

如图1所示，本发明提供一种多角度环绕音视频制作方法，包括步骤：

摄像录音单元组成拍摄阵列，获取各个角度的影像数据和各个角度的音频数据；

将所述各个角度的影像数据按帧数大小排序，获取最小帧数值；

压缩所述各个角度的影像数据，使所述各个角度的影像数据的帧数大小与所述最小帧数值相同，得到影像对齐数据；

匹配所述各个角度的音频数据的波峰值，得到音频对齐数据；

将所述影像对齐数据与所述音频对齐数据一一对应，得到对齐文件；

根据所述拍摄阵列，为所述对齐文件建立索引，得到索引文件；

封装所述索引文件为环绕物体音视频文件。

进一步地，所述拍摄阵列包括：全包覆拍摄阵列和半包覆拍摄阵列。

其中，全包覆拍摄阵列如图2所示，半包覆拍摄阵列如图3所示。

由上述描述可知，全包覆拍摄阵列可记录360度的影像数据和音频数据，半包覆拍摄阵列可记录180度的影像数据和音频数据。

进一步地，所述获取各个角度的影像数据和各个角度的音频数据之后，进一步包括：

为所述各个角度的影像数据和各个角度的音频数据标号。

由上述描述可知，通过为各个角度的影像数据和各个角度的音频数据标号，实现了为各个角度的影像数据和各个角度的音频数据赋予唯一标识，可通过标号快速定位任一角度的影像数据和音频数据。

进一步地，所述环绕物体音视频文件包括：

文件头和文件内容块；

所述文件头包括，文件版本、文件形式、媒体文件索引和版权信息等；

所述文件内容块包括，内容轨索引、内容块和标记等。

其中，文件版本用于记录当前媒体文件使用的版本号、辨识性信息、文件长度等信息；

文件形式描述当前媒体文件包含的内容块形式，包括视频、音频、文本、图片、三维模型、超链接、可执行代码等内容信息；

媒体文件索引为内容索引表，索引表可表述为矩阵形式或顺序形式，记录了索引内容块对应的索引标号、索引标号在索引矩阵中的坐标位置，该索引标号对应文件内容块在整个媒体文件中的索引位置(偏移量)；

版权信息记录于信息表中，用于进行版权查询与备案。包括表头、版权ID、版权信息，表头以文本形式记录当前媒体文件版权标题信息，版权ID使用大小写英文字符与数字字符记录备案序列号，版权信息以文本形式记录其它版权相关内容；

文件内容块中包含内容轨索引、内容块、标记簇；

内容轨索引包括块信息、帧索引两部分：块信息用于记录索引ID、内容名、块格式信息，帧索引记录内容时长、帧数信息；

内容块主要由各种媒体内容组成，以内容簇的形式保存；

标记簇用于保存内容簇内容的相关信息，如标题、文本、字幕、超链接、章节、语言等。

由上述描述可知，通过文件头可读取媒体文件的辨识性信息及内容索引信息，并引导读取文件内容块内容进行播放。另文件内容块为各类媒体内容的存储容器，播放器可根据文件头记录的引导信息读取媒体内容进行播放。

如图4所示，本发明提供一种多角度环绕音视频制作系统，包括：

第一获取模块11，用于将摄像录音单元组成拍摄阵列，获取各个角度的影像数据和各个角度的音频数据；

第二获取模块12，用于将所述各个角度的影像数据按帧数大小排序，获取最小帧数值；

压缩模块13，用于压缩所述各个角度的影像数据，使所述各个角度的影像数据的帧数大小与所述最小帧数值相同，得到影像对齐数据；

匹配模块14，用于匹配所述各个角度的音频数据的波峰值，得到音频对齐数据；

对齐模块15，用于将所述影像对齐数据与所述音频对齐数据一一对应，得到对齐文件；

建立模块16，用于根据所述拍摄阵列，为所述对齐文件建立索引，得到索引文件；

封装模块17，用于封装所述索引文件为环绕物体音视频文件。

如图5所示，本发明还提供一种多角度环绕音视频播放方法，包括步骤：

读取环绕物体音视频的头文件；

预设默认索引标号，其中所述默认索引标号包括影像数据的索引标号和与所述影像数据的索引标号对应的音频数据的索引标号；

根据所述头文件中的索引表，获取与默认索引标号及默认索引标号相邻的索引标号对应的影像数据和音频数据；

播放所述影像数据和音频数据。

进一步地，播放所述影像数据和音频数据之后，进一步包括：

记录当前播放的所述影像数据和音频数据的帧数。

由上述描述可知，通过记录当前播放的帧数，可在转换角度时，从当前播放的帧数开始播放，提高用户体验。

进一步地，还包括：

获取当前播放的所述影像数据和音频数据的帧数，得到当前帧数；

获取与当前观看角度对应的影像数据和音频数据的索引标号；

获取与所述索引标号和所述当前帧数对应的影像数据和音频数据，得到当前影像数据和音频数据；

播放所述当前影像数据和音频数据。

由上述描述可知，在观看过程中，可随时切换当前画面的角度，切换角度的方法可以为通过键盘的上下左右键旋转当前画面，也可通过鼠标拖动当前画面到所想要观看的角度；可通过索引标号快速反求当前播放内容在索引矩阵中的坐标，以获取相邻坐标的索引标号，并对相邻内容进行预读取以提高播放性能。

如图6所示，本发明还提供一种多角度环绕音视频播放系统，包括：

读取模块21，用于读取环绕物体音视频的头文件；

预设模块22，用于预设默认索引标号，其中所述默认索引标号包括影像数据的索引标号和与所述影像数据的索引标号对应的音频数据的索引标号；

第三获取模块23，用于根据所述头文件中的索引表，获取与默认索引标号及默认索引标号相邻的索引标号对应的影像数据和音频数据；

第一播放模块24，播放所述影像数据和音频数据。

如图7所示，本发明的实施例一为：

摄像录音单元组成全包覆拍摄阵列，获取各个角度的影像数据和各个角度的音频数据；

为所述各个角度的影像数据和各个角度的音频数据标号；

将所述各个角度的影像数据按帧数大小排序，获取最小帧数值；

压缩所述各个角度的影像数据，使所述各个角度的影像数据的帧数大小与所述最小帧数值相同，得到影像对齐数据；

匹配所述各个角度的音频数据的波峰值，得到音频对齐数据；

将所述影像对齐数据与所述音频对齐数据一一对应，得到对齐文件；

根据所述拍摄阵列，为所述对齐文件建立索引，得到索引文件；

封装所述索引文件为环绕物体音视频文件。

上述实施例制作的环绕物体音视频文件记录了360度的影像数据和音频数据。

如图8所示，本发明的实施例二为：

摄像录音单元组成半包覆拍摄阵列，获取各个角度的影像数据和各个角度的音频数据；

为所述各个角度的影像数据和各个角度的音频数据标号；

将所述各个角度的影像数据按帧数大小排序，获取最小帧数值；

压缩所述各个角度的影像数据，使所述各个角度的影像数据的帧数大小与所述最小帧数值相同，得到影像对齐数据；

匹配所述各个角度的音频数据的波峰值，得到音频对齐数据；

将所述影像对齐数据与所述音频对齐数据一一对应，得到对齐文件；

根据所述拍摄阵列，为所述对齐文件建立索引，得到索引文件；

封装所述索引文件为环绕物体音视频文件。

上述实施例制作的环绕物体音视频文件记录了180度的影像数据和音频数据。

本发明的实施例三为：

构建环绕物体音视频拍摄物理环境；

将拍摄设备编号，设置索引标号，案例中使用16台摄影机，间隔10°呈扇形排布，顺序编号为A01–A16；

根据编号排布制作索引表；

提取A01-A16摄像机拍摄的视音频文件，并逐一根据摄像机标号存储；

对视音频文件进行对齐，并写入内容块信息；

写入文件头信息，导入索引表并记录相应文件内容块索引位置；

将文件头与文件内容块封装为环绕物体音视频文件。

如图9所示，本发明的实施例四为：

读取环绕物体音视频的头文件；

预设默认索引标号，其中所述默认索引标号包括影像数据的索引标号和与所述影像数据的索引标号对应的音频数据的索引标号；

根据所述头文件中的索引表，获取与默认索引标号及默认索引标号相邻的索引标号对应的影像数据和音频数据；

播放所述影像数据和音频数据；

记录当前播放的所述影像数据和音频数据的帧数。

本发明的实施例五为：

读取环绕物体音视频的头文件，获取当前播放文件索引信息；

读取预设默认索引标号指向的文件内容块，本例预设默认索引标号为A08；

计时器(计数器)开始计时；

播放标号为A08的媒体内容；

根据索引标号A08反求在索引表中的坐标；

预读取A08相邻坐标的文件内容块A07与A09。

如图10所示，本发明的实施例六为：

获取当前播放的所述影像数据和音频数据的帧数，得到当前帧数；

获取与当前观看角度对应的影像数据和音频数据的索引标号；

获取与所述索引标号和所述当前帧数对应的影像数据和音频数据，得到当前影像数据和音频数据；

播放所述当前影像数据和音频数据。

本发明的实施例七为：

读取当前用户操作指令；

读取计时器(计数器)当前参数；

根据计时器(计数器)参数播放用户指令指向索引标号的文件内容块。

例如：当前播放索引标号为A08的文件内容块，计时器数值为0：30.00(或计数器帧数值为900)，用户拖动鼠标指向A09，则播放器自A09文件内容块的0：30.00(或第900帧)开始播放。相应的，播放器播放A09文件内容块时，同时预读取相邻的A08和A10文件内容块内容。

综上所述，本发明提供的多角度环绕音视频制作方法及系统，通过使用拍摄阵列获取各个角度的影像数据和音频数据，可一次性记录多角度的细节；通过压缩影像数据，匹配音频数据及对应影像数据和音频数据，使同一时刻各个角度的影像数据和音频数据能够一一对应；通过为影像数据和音频数据建立索引，能够准确地找到任一时刻任一角度的影像数据和音频数据；实现了将各个角度的影像数据和音频数据封装为环绕物体音视频文件；进一步地，拍摄阵列可为全包覆拍摄阵列和半包覆拍摄阵列，其中全包覆拍摄阵列可记录360度的影像数据和音频数据，半包覆拍摄阵列可记录180度的影像数据和音频数据；进一步地，通过为各个角度的影像数据和各个角度的音频数据标号，实现了为各个角度的影像数据和各个角度的音频数据赋予唯一标识，可通过标号快速定位任一角度的影像数据和音频数据。本发明提供的多角度环绕音视频播放方法及系统的有益效果在于：通过索引标号获取与某一角度对应的影像数据和音频数据，从而可播放该角度的影像数据和音频数据；实现了可播放任一角度的影像数据和音频数据；进一步地，通过记录当前播放的帧数，可在转换角度时，从当前播放的帧数开始播放，提高用户体验；进一步地，在观看过程中，可随时切换当前画面的角度，切换角度的方法可以为通过键盘的上下左右键旋转当前画面，也可通过鼠标拖动当前画面到所想要观看的角度。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。