一种视频数据处理方法、装置及系统与流程

本发明涉及视频处理与传输技术领域，尤其涉及的是一种视频数据处理方法、装置及系统。

背景技术：

vr(virtualreality，虚拟现实)是指利用计算机技术模拟产生三维虚拟世界，让使用者在视觉、听觉、触觉、味觉等方面体验高度逼真的虚拟空间环境。随着vr技术的快速发展，vr视频(也称为全景视频)的点播、直播等应用越来越广泛，为用户带来了沉浸式的视频业务体验。

然而，由于同时提供水平方向(譬如360度范围)和垂直方向(譬如180度范围)的全方向视频观看体验，全景视频的单位面积视频质量或分辨率(单位度数像素数量)远远低于相同视频码率条件下传统单视角视频的视频质量或分辨率。受限于当前网络传输带宽条件，全景视频的整体视频码率往往受到限制，这些因素导致全景视频中用户感兴趣区域普遍画质不高，这对用户业务体验造成较大影响。

针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

技术实现要素：

为解决上述技术问题，本发明实施例提供一种视频数据处理方法、装置及系统，实现针对用户感兴趣区域的缩放视频质量的保证，以及球面区域视频缩放操作的连贯性，从而提高了用户观看体验。

根据本申请的第一方面，本发明实施例提供了一种视频数据处理方法，包括：

基于受限方案信息盒子中的方案类型参数识别投影的全方向视频盒子；

根据所述投影的全方向视频盒子确定所述视频数据的解码帧为投影的全方向视频图像；所述投影的全方向视频盒子具有球面缩放语法元素，所述球面缩放语法元素指示所述投影的全方向视频图像的球面缩放区域和/或球面缩放参数。

根据本申请的第二方面，本发明实施例提供了一种视频数据处理方法，包括：

基于受限方案信息盒子中的方案类型参数识别缩放的全方向视频盒子；

根据所述缩放的全方向视频盒子确定所述视频数据的解码帧为缩放的全方向视频图像。

根据本申请的第三方面，本发明实施例提供了一种视频数据处理方法，包括：

基于受限方案信息盒子中的方案类型参数识别投影的全方向视频盒子以及缩放的全方向视频盒子；

根据所述投影的全方向视频盒子确定所述视频数据的解码帧为投影的全方向视频图像；所述缩放的全方向视频盒子具有球面缩放语法元素，所述球面缩放语法元素指示所述投影的全方向视频图像的球面缩放区域和/或球面缩放参数。

根据本申请的第四方面，本发明实施例提供了一种视频数据处理方法，包括：

基于样本入口类型识别视频数据文件为球面缩放定时元数据轨道；

其中，所述球面缩放定时元数据轨道具有球面缩放语法元素，所述球面缩放语法元素指示所引用的全方向视频的球面缩放区域和/或球面缩放参数。

本发明实施例提供了一种视频数据处理装置，包括：

第一处理模块，用于基于受限方案信息盒子中的方案类型参数识别投影的全方向视频盒子；

第二处理模块，用于根据所述投影的全方向视频盒子确定所述视频数据的解码帧为投影的全方向视频图像；所述投影的全方向视频盒子具有球面缩放语法元素，所述球面缩放语法元素指示所述投影的全方向视频图像的球面缩放区域和/或球面缩放参数。

本发明实施例提供了一种视频数据处理装置，包括：

第一处理模块，用于基于受限方案信息盒子中的方案类型参数识别缩放的全方向视频盒子；

第二处理模块，用于根据所述缩放的全方向视频盒子确定所述视频数据的解码帧为缩放的全方向视频图像。

本发明实施例提供了一种视频数据处理装置，包括：

第一处理模块，用于基于受限方案信息盒子中的方案类型参数识别投影的全方向视频盒子以及缩放的全方向视频盒子；

第二处理模块，用于根据所述投影的全方向视频盒子确定所述视频数据的解码帧为投影的全方向视频图像；所述缩放的全方向视频盒子具有球面缩放语法元素，所述球面缩放语法元素指示所述投影的全方向视频图像的球面缩放区域和/或球面缩放参数。

本发明实施例提供了一种视频数据处理装置，包括：

第一处理模块，用于确定样本入口类型；

第二处理模块，用于基于样本入口类型识别视频数据文件为球面缩放定时元数据轨道；其中，所述球面缩放定时元数据轨道具有球面缩放语法元素，所述球面缩放语法元素指示所引用的全方向视频的球面缩放区域和/或球面缩放参数。

本发明实施例提供了一种视频数据处理装置，包括：

存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频数据处理程序，所述视频数据处理程序被所述处理器执行时实现上述本申请第一方面所述的视频数据处理方法的步骤。

本发明实施例提供了一种视频数据处理装置，包括：

存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频数据处理程序，所述视频数据处理程序被所述处理器执行时实现上述本申请第二方面所述的视频数据处理方法的步骤。

本发明实施例提供了一种视频数据处理装置，包括：

存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频数据处理程序，所述视频数据处理程序被所述处理器执行时实现上述本申请第三方面所述的视频数据处理方法的步骤。

本发明实施例提供了一种视频数据处理装置，包括：

存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频数据处理程序，所述视频数据处理程序被所述处理器执行时实现上述本申请第四方面所述的视频数据处理方法的步骤。

本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有视频数据处理程序，所述视频数据处理被所述处理模块执行时实现上述本申请第一方面所述的视频数据处理方法的步骤。

本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有视频数据处理程序，所述视频数据处理被所述处理模块执行时实现上述本申请第二方面所述的视频数据处理方法的步骤。

本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有视频数据处理程序，所述视频数据处理被所述处理模块执行时实现上述本申请第三方面所述的视频数据处理方法的步骤。

本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有视频数据处理程序，所述视频数据处理被所述处理模块执行时实现上述本申请第四方面所述的视频数据处理方法的步骤。

本发明实施例的技术方案为全方向视频轨道提供球面缩放信息，指示在全方向视频的任何时间点缩放视图相对于完整球面视图的球面缩放区域，以及不同版本缩放视图所采用的球面缩放参数。在全方向视频播放过程中，实现针对用户感兴趣区域的缩放视频质量的保证，以及球面区域视频缩放操作的连贯性，从而提高了用户观看体验。

附图说明

图1为本发明实施例1的一种视频数据处理方法流程图；

图2为本发明实施例2的一种视频数据处理方法流程图；

图3为本发明实施例3的一种视频数据处理方法流程图；

图4为本发明实施例4的一种视频数据处理方法流程图；

图5为本发明实施例5的一种视频数据处理装置结构图；

图6为本发明实施例6的一种视频数据处理装置结构图；

图7为本发明实施例7的一种视频数据处理装置结构图；

图8为本发明实施例8的一种视频数据处理装置结构图；

图9为本发明示例1的一种视频数据处理系统结构图；

图10为本发明示例1中一种视频数据处理系统内部交互示意图；

图11为本发明示例3中一种缩放的全方向视频轨道的轨道引用盒子的示意图；

图12为本发明示例3中一种缩放的全方向视频的轨道群组盒子的示意图；

图13是本发明示例5中一种球面缩放定时元数据轨道引用全方向视频轨道的示意图一；

图14是本发明示例5中一种球面缩放定时元数据轨道引用全方向视频轨道的示意图二。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

一般而言，本发明实施例提供可用于视频数据处理的技术。在一些实施例中，实现基于iso(internationalorganizationforstandardization，国际标准化组织)基本媒体文件格式将全方向视频数据存储在文件中。其中，受限方案信息盒子、轨道引用盒子、轨道群组盒子等iso基本媒体文件格式可参照iso/iecjtc1/sc29/wg11运动图像专家组(movingpictureexpertsgroup，简称mpeg)制定的mpeg-4part12isobasemediafileformat来操作。全方向视频的投影、封装步骤及其基本格式可参照iso/iecjtc1/sc29/wg11运动图像专家组(mpeg)制定的mpeg-ipart2omaf(全方向媒体格式)来操作。

iso基本文件格式中所有数据都装在盒子(box)中，即以mp4文件为代表的iso基本文件格式由若干个盒子组成，每个盒子都有类型和长度，可以视为一个数据对象。一个盒子中可以包含另一个盒子，称为容器盒子。一个mp4文件首先会有且只有一个“ftyp”类型的盒子，作为文件格式的标志并包含关于文件的一些信息。之后会有且只有一个“moov”类型的盒子(moviebox)，它是一种容器盒子，它的子盒子包含了媒体的元数据信息。mp4文件的媒体数据包含在“mdat”类型的盒子(mediadatabox)中，也是容器盒子，可以有多个，也可以没有(当媒体数据全部引用其他文件时)，媒体数据的结构由元数据进行描述。

实施例1

如图1所示，本发明实施例提供了一种视频数据处理方法，包括：

步骤s110，基于受限方案信息盒子中的方案类型参数识别投影的全方向视频盒子；

步骤s120，根据所述投影的全方向视频盒子确定所述视频数据的解码帧为投影的全方向视频图像；所述投影的全方向视频盒子具有球面缩放语法元素，所述球面缩放语法元素指示所述投影的全方向视频图像的球面缩放区域和/或球面缩放参数。

在一种实施方式中，所述基于受限方案信息盒子中的方案类型参数识别投影的全方向视频盒子，包括：

如果所述受限方案信息盒子中的方案类型参数取值为第一方案类型，则指示所述视频数据使用投影的全向视频方案。

其中，所述第一方案类型可以取值为'podv'(projectedomnidirectionalvideo)，所述第一方案类型取值也可以为其他形式类似的“四字符代码”值。

在一种实施方式中，所述投影的全方向视频盒子具有球面缩放语法元素，包括：

所述投影的全方向视频盒子的覆盖信息盒子中包含缩放格式盒子，所述缩放格式盒子具有所述球面缩放语法元素。

在一种实施方式中，所述投影的全方向视频盒子具有球面缩放语法元素，包括：

所述投影的全方向视频盒子包括球面区域缩放盒子，所述球面区域缩放盒子具有所述球面缩放语法元素。

在一种实施方式中，所述投影的全方向视频图像的球面缩放区域包括以下的一种或多种信息：

球面缩放区域的中心点；

球面缩放区域的方位角范围和俯仰角范围；

其中，所述球面缩放区域的中心点包括以下至少一种：中心点的方位角、中心点的俯仰角和中心点的倾斜角。

在一种实施方式中，所述投影的全方向视频图像的球面缩放参数包括以下的一种或多种信息：

球面区域缩放视频的缩放比例；

球面区域缩放视频的缩放算法类型；

球面区域缩放视频的边界符号化类型；

球面区域缩放视频的文本描述；

球面缩放区域的类型。

实施例2

如图2所示，本发明实施例提供了一种视频数据处理方法，包括：

步骤s210，基于受限方案信息盒子中的方案类型参数识别缩放的全方向视频盒子；

步骤s220，根据所述缩放的全方向视频盒子确定所述视频数据的解码帧为缩放的全方向视频图像。

在一种实施方式中，所述基于受限方案信息盒子中的方案类型参数识别缩放的全方向视频盒子，包括：

如果所述受限方案信息盒子中的方案类型参数取值为第二方案类型，则指示所述视频数据使用缩放的全向视频方案。

其中，所述第二方案类型可以取值为'zodv'(zoomedomnidirectionalvideo)；所述第二方案类型取值也可以为其他形式类似的“四字符代码”值。

在一种实施方式中，所述受限方案信息盒子中的方案信息盒子中包含缩放的全方向视频盒子，所述缩放的全方向视频盒子指示所述缩放的全方向视频图像的格式。

在一种实施方式中，所述缩放的全方向视频盒子具有球面缩放语法元素，所述球面缩放语法元素指示所述缩放的全方向视频图像的球面缩放区域和/或球面缩放参数。

在一种实施方式中，所述缩放的全方向视频图像的球面缩放区域包括以下的一种或多种信息：

球面缩放区域的中心点；

球面缩放区域的方位角范围和俯仰角范围；

其中，所述球面缩放区域的中心点包括以下至少一种：中心点的方位角、中心点的俯仰角和中心点的倾斜角。

在一种实施方式中，所述缩放的全方向视频图像的球面缩放参数包含以下的一种或多种信息：

球面区域缩放视频的缩放比例；

球面区域缩放视频的缩放算法类型；

球面区域缩放视频的边界符号化类型；

球面区域缩放视频的文本描述；

球面缩放区域的类型。

在一种实施方式中，所述缩放的全方向视频盒子指示所述视频数据为缩放的全方向视频轨道；

其中，所述缩放的全方向视频轨道包含轨道引用盒子，所述轨道引用盒子中的轨道标识参数引用投影的全方向视频轨道的轨道标识符。

在一种实施方式中，如果所述轨道引用盒子中的引用类型参数取值为第一引用类型，则指示所述缩放的全方向视频轨道中包含所述引用的投影的全方向视频轨道的辅助缩放视频信息。

其中，所述第一引用类型可以取值'vzom'；所述第一引用类型取值也可以为其他形式类似的“四字符代码”值。

在一种实施方式中，所述缩放的全方向视频盒子指示所述视频数据为缩放的全方向视频轨道；

所述缩放的全方向视频轨道包含轨道群组类型盒子；

如果所述轨道群组类型盒子的轨道群组类型参数取值为第一轨道群组类型，则指示所述缩放的全方向视频轨道属于缩放的全方向视频群组。

其中，所述第一轨道群组类型参数可以取值'zoom'；所述第一轨道群组类型取值也可以为其他形式类似的“四字符代码”值。

在一种实施方式中，所述缩放的全方向视频群组中包含对应同一内容源的缩放的全方向视频轨道以及投影的全方向视频轨道。

在一种实施方式中，所述缩放的全方向视频盒子指示所述视频数据为缩放的全方向视频轨道；

所述缩放的全方向视频轨道包含轨道选择盒子，所述轨道选择盒子具有描述或者区分不同缩放的全方向视频轨道的属性列表。

在一种实施方式中，所述属性列表包括以下属性至少之一：

视频轨道中一个或者多个内容覆盖球面区域；

视频轨道中球面区域的缩放比例；

视频轨道中球面区域的缩放算法类型；

视频轨道中球面区域的边界符号化类型；

视频轨道中球面区域的缩放区域的类型。

实施例3

如图3所示，本发明实施例提供了一种视频数据处理方法，包括：

步骤s310，基于受限方案信息盒子中的方案类型参数识别投影的全方向视频盒子以及缩放的全方向视频盒子；

步骤s320，根据所述投影的全方向视频盒子确定所述视频数据的解码帧为投影的全方向视频图像；所述缩放的全方向视频盒子具有球面缩放语法元素，所述球面缩放语法元素指示所述投影的全方向视频图像的球面缩放区域和/或球面缩放参数。

在一种实施方式中，如果所述受限方案信息盒子中不存在所述缩放的全方向视频盒子，则指示所述投影的全方向视频图像中不存在球面缩放视频。

在一种实施方式中，所述投影的全方向视频图像的球面缩放区域包括以下的一种或多种信息：

球面缩放区域的中心点；

球面缩放区域的方位角范围和俯仰角范围；

其中，所述球面缩放区域的中心点包括以下至少一种：中心点的方位角、中心点的俯仰角和中心点的倾斜角。

在一种实施方式中，所述投影的全方向视频图像的球面缩放参数包含以下的一种或多种信息：

球面区域缩放视频的缩放比例；

球面区域缩放视频的缩放算法类型；

球面区域缩放视频的边界符号化类型；

球面区域缩放视频的文本描述；

球面缩放区域的类型。

实施例4

如图4所示，本发明实施例提供了一种视频数据处理方法，包括：

步骤s410，确定样本入口类型；

步骤s420，基于样本入口类型识别视频数据文件为球面缩放定时元数据轨道；其中，所述球面缩放定时元数据轨道具有球面缩放语法元素，所述球面缩放语法元素指示所引用的全方向视频的球面缩放区域和/或球面缩放参数。

在一种实施方式中，所述球面缩放定时元数据轨道通过引用类型为第二引用类型的轨道引用盒子引用一个或者多个全方向视频轨道。

其中，第二引用类型可以取值'cdsc'；所述第二引用类型取值也可以为其他字符串或其他形式的值。

在一种实施方式中，所述球面缩放定时元数据轨道通过引用类型为第二引用类型的轨道引用盒子引用轨道群组类型(track_group_type)为第一轨道群组类型的轨道群组的轨道群组标识(track_group_id)。

其中，所述第一轨道群组类型参数可以取值'zoom'；所述第一轨道群组类型取值也可以为其他形式类似的“四字符代码”值。

在一种实施方式中，所述球面缩放定时元数据轨道(timedmetadataforsphericalzooming)使用的轨道样本入口类型为第一样本入口类型。

其中，所述第一样本入口类型取值为'spzm'；所述第一样本入口类型取值也可以为其他字符串或其他形式的值。

在一种实施方式中，所述球面缩放定时元数据轨道的样本入口中包含球面缩放信息盒子，所述球面缩放信息盒子具有所述球面缩放语法元素。

在一种实施方式中，所述球面缩放定时元数据轨道的每个样本具有球面缩放语法元素，所述球面缩放语法元素指示所引用的全方向视频的球面缩放区域。

在一种实施方式中，所述全方向视频的球面缩放区域包括以下的一种或多种信息：

球面缩放区域的中心点；

球面缩放区域的方位角范围和俯仰角范围；

其中，所述球面缩放区域的中心点包括以下至少一种：中心点的方位角、中心点的俯仰角和中心点的倾斜角。

在一种实施方式中，所述全方向视频的球面缩放参数包含以下的一种或多种信息：

球面区域缩放视频的缩放比例；

球面区域缩放视频的缩放算法类型；

球面区域缩放视频的边界符号化类型；

球面区域缩放视频的文本描述；

球面缩放区域的类型。

在一种实施方式中，所述球面缩放定时元数据轨道基于导演剪辑或者基于统计测量指示所述引用的全方向视频轨道的球面缩放区域和/或球面缩放参数。

实施例5

如图5所示，本发明实施例提供了一种视频数据处理装置，包括：

第一处理模块501，用于基于受限方案信息盒子中的方案类型参数识别投影的全方向视频盒子；

第二处理模块502，用于根据所述投影的全方向视频盒子确定所述视频数据的解码帧为投影的全方向视频图像；所述投影的全方向视频盒子具有球面缩放语法元素，所述球面缩放语法元素指示所述投影的全方向视频图像的球面缩放区域和/或球面缩放参数。

在一种实施方式中，第一处理模块基于受限方案信息盒子中的方案类型参数识别投影的全方向视频盒子，包括：

如果所述受限方案信息盒子中的方案类型参数取值为第一方案类型，则指示所述视频数据使用投影的全向视频方案。

其中，所述第一方案类型可以取值为'podv'(projectedomnidirectionalvideo)，所述第一方案类型取值也可以为其他形式类似的“四字符代码”值。

在一种实施方式中，所述投影的全方向视频盒子具有球面缩放语法元素，包括：

所述投影的全方向视频盒子的覆盖信息盒子中包含缩放格式盒子，所述缩放格式盒子具有所述球面缩放语法元素。

在一种实施方式中，所述投影的全方向视频盒子具有球面缩放语法元素，包括：

所述投影的全方向视频盒子包括球面区域缩放盒子，所述球面区域缩放盒子具有所述球面缩放语法元素。

在一种实施方式中，所述投影的全方向视频图像的球面缩放区域包括以下的一种或多种信息：

球面缩放区域的中心点；

球面缩放区域的方位角范围和俯仰角范围；

其中，所述球面缩放区域的中心点包括以下至少一种：中心点的方位角、中心点的俯仰角和中心点的倾斜角。

在一种实施方式中，所述投影的全方向视频图像的球面缩放参数包括以下的一种或多种信息：

球面区域缩放视频的缩放比例；

球面区域缩放视频的缩放算法类型；

球面区域缩放视频的边界符号化类型；

球面区域缩放视频的文本描述；

球面缩放区域的类型。

实施例6

如图6所示，本发明实施例提供了一种视频数据处理装置，包括：

第一处理模块601，用于基于受限方案信息盒子中的方案类型参数识别缩放的全方向视频盒子；

第二处理模块602，用于根据所述缩放的全方向视频盒子确定所述视频数据的解码帧为缩放的全方向视频图像。

在一种实施方式中，所述第一处理模块基于受限方案信息盒子中的方案类型参数识别缩放的全方向视频盒子，包括：

如果所述受限方案信息盒子中的方案类型参数取值为第二方案类型，则指示所述视频数据使用缩放的全向视频方案。

其中，所述第二方案类型可以取值为'zodv'(zoomedomnidirectionalvideo)；所述第二方案类型取值也可以为其他形式类似的“四字符代码”值。

在一种实施方式中，所述受限方案信息盒子中的方案信息盒子中包含缩放的全方向视频盒子，所述缩放的全方向视频盒子指示所述缩放的全方向视频图像的格式。

在一种实施方式中，所述缩放的全方向视频盒子具有球面缩放语法元素，所述球面缩放语法元素指示所述缩放的全方向视频图像的球面缩放区域和/或球面缩放参数。

在一种实施方式中，所述缩放的全方向视频图像的球面缩放区域包括以下的一种或多种信息：

球面缩放区域的中心点；

球面缩放区域的方位角范围和俯仰角范围；

其中，所述球面缩放区域的中心点包括以下至少一种：中心点的方位角、中心点的俯仰角和中心点的倾斜角。

在一种实施方式中，所述缩放的全方向视频图像的球面缩放参数包含以下的一种或多种信息：

球面区域缩放视频的缩放比例；

球面区域缩放视频的缩放算法类型；

球面区域缩放视频的边界符号化类型；

球面区域缩放视频的文本描述；

球面缩放区域的类型。

在一种实施方式中，所述缩放的全方向视频盒子指示所述视频数据为缩放的全方向视频轨道；

其中，所述缩放的全方向视频轨道包含轨道引用盒子，所述轨道引用盒子中的轨道标识参数引用投影的全方向视频轨道的轨道标识符。

在一种实施方式中，如果所述轨道引用盒子中的引用类型参数取值为第一引用类型，则指示所述缩放的全方向视频轨道中包含所述引用的投影的全方向视频轨道的辅助缩放视频信息。

其中，所述第一引用类型可以取值'vzom'；所述第一引用类型取值也可以为其他形式类似的“四字符代码”值。

在一种实施方式中，所述缩放的全方向视频盒子指示所述视频数据为缩放的全方向视频轨道；

所述缩放的全方向视频轨道包含轨道群组类型盒子；

如果所述轨道群组类型盒子的轨道群组类型参数取值为第一轨道群组类型，则指示所述缩放的全方向视频轨道属于缩放的全方向视频群组。

其中，所述第一轨道群组类型参数可以取值'zoom'；所述第一轨道群组类型取值也可以为其他形式类似的“四字符代码”值。

在一种实施方式中，所述缩放的全方向视频群组中包含对应同一内容源的缩放的全方向视频轨道以及投影的全方向视频轨道。

在一种实施方式中，所述缩放的全方向视频盒子指示所述视频数据为缩放的全方向视频轨道；

所述缩放的全方向视频轨道包含轨道选择盒子，所述轨道选择盒子具有描述或者区分不同缩放的全方向视频轨道的属性列表。

在一种实施方式中，所述属性列表包括以下属性至少之一：

视频轨道中一个或者多个内容覆盖球面区域；

视频轨道中球面区域的缩放比例；

视频轨道中球面区域的缩放算法类型；

视频轨道中球面区域的边界符号化类型；

视频轨道中球面区域的缩放区域的类型。

实施例7

如图7所示，本发明实施例提供了一种视频数据处理装置，包括：

第一处理模块701，用于基于受限方案信息盒子中的方案类型参数识别投影的全方向视频盒子以及缩放的全方向视频盒子；

第二处理模块702，用于根据所述投影的全方向视频盒子确定所述视频数据的解码帧为投影的全方向视频图像；所述缩放的全方向视频盒子具有球面缩放语法元素，所述球面缩放语法元素指示所述投影的全方向视频图像的球面缩放区域和/或球面缩放参数。

在一种实施方式中，如果所述受限方案信息盒子中不存在所述缩放的全方向视频盒子，则指示所述投影的全方向视频图像中不存在球面缩放视频。

在一种实施方式中，所述投影的全方向视频图像的球面缩放区域包括以下的一种或多种信息：

球面缩放区域的中心点；

球面缩放区域的方位角范围和俯仰角范围；

其中，所述球面缩放区域的中心点包括以下至少一种：中心点的方位角、中心点的俯仰角和中心点的倾斜角。

在一种实施方式中，所述投影的全方向视频图像的球面缩放参数包含以下的一种或多种信息：

球面区域缩放视频的缩放比例；

球面区域缩放视频的缩放算法类型；

球面区域缩放视频的边界符号化类型；

球面区域缩放视频的文本描述；

球面缩放区域的类型。

实施例8

如图8所示，本发明实施例提供了一种视频数据处理装置，包括：

第一处理模块801，用于确定样本入口类型；

第二处理模块802，用于基于样本入口类型识别视频数据文件为球面缩放定时元数据轨道；其中，所述球面缩放定时元数据轨道具有球面缩放语法元素，指示所引用的全方向视频的球面缩放区域和/或球面缩放参数。

在一种实施方式中，所述球面缩放定时元数据轨道通过引用类型为第二引用类型的轨道引用盒子引用一个或者多个全方向视频轨道。

其中，第二引用类型可以取值'cdsc'；所述第二引用类型取值也可以为其他字符串或其他形式的值。

在一种实施方式中，所述球面缩放定时元数据轨道通过引用类型为第二引用类型的轨道引用盒子引用轨道群组类型(track_group_type)为第一轨道群组类型的轨道群组的轨道群组标识(track_group_id)。

其中，所述第一轨道群组类型参数可以取值'zoom'；所述第一轨道群组类型取值也可以为其他形式类似的“四字符代码”值。

在一种实施方式中，所述球面缩放定时元数据轨道(timedmetadataforsphericalzooming)使用的轨道样本入口类型为第一样本入口类型。

其中，所述第一样本入口类型取值为'spzm'；所述第一样本入口类型取值也可以为其他字符串或其他形式的值。

在一种实施方式中，所述球面缩放定时元数据轨道的样本入口中包含球面缩放信息盒子，所述球面缩放信息盒子具有所述球面缩放语法元素。

在一种实施方式中，所述球面缩放定时元数据轨道的每个样本具有球面缩放语法元素，所述球面缩放语法元素指示所引用的全方向视频的球面缩放区域。

在一种实施方式中，所述全方向视频的球面缩放区域包括以下的一种或多种信息：

球面缩放区域的中心点；

球面缩放区域的方位角范围和俯仰角范围；

其中，所述球面缩放区域的中心点包括以下至少一种：中心点的方位角、中心点的俯仰角和中心点的倾斜角。

在一种实施方式中，所述全方向视频的球面缩放参数包含以下的一种或多种信息：

球面区域缩放视频的缩放比例；

球面区域缩放视频的缩放算法类型；

球面区域缩放视频的边界符号化类型；

球面区域缩放视频的文本描述；

球面缩放区域的类型。

在一种实施方式中，所述球面缩放定时元数据轨道基于导演剪辑或者基于统计测量指示所述引用的全方向视频轨道的球面缩放区域和/或球面缩放参数。

实施例9

本发明实施例提供了一种视频数据处理装置，包括：

存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频数据处理程序，所述视频数据处理程序被所述处理器执行时实现上述实施例1所述的视频数据处理方法的步骤。

实施例10

本发明实施例提供了一种视频数据处理装置，包括：

存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频数据处理程序，所述视频数据处理程序被所述处理器执行时实现上述实施例2所述的视频数据处理方法的步骤。

实施例11

本发明实施例提供了一种视频数据处理装置，包括：

存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频数据处理程序，所述视频数据处理程序被所述处理器执行时实现上述实施例3所述的视频数据处理方法的步骤。

实施例12

本发明实施例提供了一种视频数据处理装置，包括：

存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频数据处理程序，所述视频数据处理程序被所述处理器执行时实现上述实施例4所述的视频数据处理方法的步骤。

实施例13

本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有视频数据处理程序，所述视频数据处理被所述处理模块执行时实现上述实施例1所述的视频数据处理方法的步骤。

实施例14

本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有视频数据处理程序，所述视频数据处理被所述处理模块执行时实现上述实施例2所述的视频数据处理方法的步骤。

实施例15

本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有视频数据处理程序，所述视频数据处理被所述处理模块执行时实现上述实施例3所述的视频数据处理方法的步骤。

实施例16

本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有视频数据处理程序，所述视频数据处理被所述处理模块执行时实现上述实施例4所述的视频数据处理方法的步骤。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

下面通过一些示例说明本申请的视频处理方案。

示例1

如图9所示，本示例提供一种视频数据处理系统结构组成示意图，包括：视频数据处理服务端(10)和视频数据处理终端(20)。所述视频数据处理服务端负责音视频源的捕获、编码压缩、分片封装处理、存储及传输控制等，可以包括内容获取模块(101)，编码模块(102)、封装模块(103)和存储及传输模块(104)。

在图10所示的视频数据处理系统示意图中，图9的内容获取模块、编码模块、封装模块负责内容制作，图9中的存储及传输模块在服务器上实现。

内容获取模块，负责利用一组摄像机或者一个带有多个摄像头和传感器的摄像设备，以及音频传感器，完成现实物理世界声音-视觉场景的录制。

其中，同一时刻不同摄像机拍摄的视频图像将被拼接成为全方向视频，并投影在单位球体上。在此过程中，根据导演艺术加工或者用户观看统计，需要针对全方向视频上特定区域执行球面缩放操作，生成球面缩放元数据，至少包括：球面缩放区域，球面缩放参数。

其中，球面缩放区域的位置表示为球面缩放区域的中心点以及球面缩放区域的范围。球面缩放区域的中心点，利用上述单位球体坐标轴原点移动至球面缩放区域中心点所旋转的方位角、俯仰角和倾斜角表示。球面缩放区域范围是指通过球面区域中心点的方位角范围和俯仰角范围。

球面缩放参数至少包括：球面区域缩放视频的缩放比例、缩放算法类型、边界符号化类型，以及缩放视频的文本描述等。

编码模块，负责对内容获取模块输出的数字化视频信号和音频信号进行编码压缩，通常生成多个码率的音视频基本流，以覆盖不同网络带宽需求。

封装模块，负责将原始的音视频基本流封装成为具有固定时间间隔的多个媒体分片文件并提供媒体分片文件的索引信息。所述索引信息譬如：动态自适应流媒体(dash,dynamicadaptivestreamingoverhttp)中媒体呈现描述文件(mpd,mediapresentationdescription)，或者基于http(hypertexttransferprotocol，超文本传输协议)的流媒体网络传输协议(hls，httplivestreaming)中媒体描述文件(m3u8)。

此外，封装模块还负责将上述内容获取模块生成的全方向视频球面缩放元数据添加至一个或者多个媒体文件中，包括：不同版本的全方向视频轨道，或者定时元数据轨道。

此外，封装模块还负责将上述内容获取模块生成的全方向视频球面缩放元数据添加至一个或者多个索引信息中，譬如：媒体呈现描述文件。

存储及传输模块，负责存储封装模块输出的媒体分片文件，以及所述媒体分片文件的索引信息。所述存储及传输模块，可以是任何合适类型的网络服务器，例如内容分发网络(cdn，contentdeliverynetwork)的中心节点、边缘节点服务器，或者代理服务器、web(worldwideweb，全球广域网)服务器，或者上述各项的组合。

视频数据处理终端，负责提供对全方向视频等媒体资源的访问、解码、缓存和播放操作的支持。

视频数据处理终端包括流媒体客户端，例如dash客户端，hls客户端。解析媒体分片文件索引信息，并根据用户视角姿态变化请求获取相应的媒体分片文件，譬如：全方向视频文件。其中：

流媒体客户端通过提取全方向视频轨道文件、或者定时元数据轨道文件中的球面缩放元数据(至少包括：球面缩放区域，球面缩放参数)控制全方向视频中球面区域缩放视频的渲染。

流媒体客户端还将根据球面缩放操作用户指示，请求访问具有对应球面缩放区域和球面缩放参数的全方向视频文件。

如图10所示，视频数据处理终端视频播放器，例如虚拟现实头戴式显示设备(hdm)，能够跟踪用户视角姿态变化，并通过位于用户眼睛前方的目视光学系统放大微型显示屏上的图像，提供vr视频沉浸式显示效果。

示例2

本示例提供一种视频数据处理方法，利用投影的全方向视频盒子指示投影的全方向视频的球面缩放区域和/或球面缩放参数。

本示例提供一种视频数据处理方法，该流程可以包括如下步骤：

步骤s202，基于受限方案信息盒子中的方案类型参数识别投影的全方向视频盒子；

步骤s204，根据所述投影的全方向视频盒子确定所述视频数据的解码帧为投影的全方向视频图像；所述投影的全方向视频盒子具有球面缩放语法元素，所述球面缩放语法元素指示所述投影的全方向视频图像的球面缩放区域和/或球面缩放参数。

步骤s202中记载了投影的全方向视频方案类型，下面结合可选实施方式对投影的全方向视频方案进行说明。

针对受限视频样本入口类型'resv'，投影的全方向视频方案用于指示解码图像为包含单目或者双目立体内容的封装图像。如果受限方案信息盒子中的方案类型盒子内的scheme_type等于'podv'(projectedomnidirectionalvideo)，则指示使用投影的全向视频方案。

投影的全方向视频图像的格式使用方案信息盒子(schemeinformationbox)中包含的投影的全方向视频盒子(projectedomnivideobox)表示。当方案类型为'podv'时，schemeinformationbox中有且仅有一个projectedomnivideobox。

步骤s204中记载了投影的全方向视频盒子中具有球面缩放语法元素，所述球面缩放语法元素指示投影的全方向视频图像的球面缩放区域和/或球面缩放参数。

所述投影的全方向视频图像的球面缩放区域包括以下的一种或多种信息：

球面缩放区域的中心点；

球面缩放区域的方位角范围和俯仰角范围；

其中，所述球面缩放区域的中心点包括以下至少一种：中心点的方位角、中心点的俯仰角和中心点的倾斜角。

所述投影的全方向视频图像的球面缩放参数包括以下的一种或多种信息：

球面区域缩放视频的缩放比例；

球面区域缩放视频的缩放算法类型；

球面区域缩放视频的边界符号化类型；

球面区域缩放视频的文本描述；

球面缩放区域的类型。

下面结合可选实施方式对投影的全方向视频盒子具有的球面缩放语法元素进行说明。

可选实施方式一：

其中，投影的全方向视频图像的球面缩放使用投影的全方向视频盒子(projectedomnivideobox)中包含的球面区域缩放盒子(sphereregionzoomingbox)表示，用于指示投影的全方向视频图像的球面缩放区域、球面缩放参数等信息。

sphereregionzoomingbox(球面区域缩放盒子)

boxtype:'srwz'

container:projectedomnivideobox

mandatory:no

quantity:zeroorone

语法

语义

zoom_shape_type用于指定表示内容覆盖范围的球形区域的形状。zoom_shape_type等于0表明球面区域由四个大圆圈指定。zoom_shape_type等于1表明球面区域由两个方位圆圈和两个仰俯圆圈指定。

num_regions用于指定球形区域的数量。

view_idc_presence_flag取值0表示不存在view_idc[i]，取值1表示存在view_idc[i]，指示球面区域的缩放视频与特定视图(左，右，或两者)关系。

default_view_idc取值为0表示球面区域的缩放视频都是单目的。取值为1表示球面区域的缩放视频在左视图上。取值为2表示球面区域的缩放视频在右视图上。取值为3表示球面区域的缩放视频包含左视图和右视图。

view_idc[i]取值为1表示第i个球面区域的缩放视频在左视图上。取值为2表示第i个球面区域的缩放视频在右视图上。取值为3表示第i个球面区域的缩放视频包含左视图和右视图。值0保留。

zoom_ratio用于表示球面区域缩放视频的缩放比率。

zoom_algorithm_typ用于标识球面区域缩放视频的缩放算法。

zoom_symbolization_type用于表示球面区域缩放视频边界的符号类型。

zoom_area_type用于表示全方向视频球面缩放区域类型。

zoom_description是以空字符结尾的utf-8字符串，提供缩放视频的文本描述。

可选实施方式二：

其中，投影的全方向视频图像的球面使用投影的全方向视频盒子(projectedomnivideobox)中覆盖信息盒子(coverageinformationbox)内包含的缩放格式盒子(zoomformatbox)表示，用于指示投影的全方向视频图像的球面缩放区域、球面缩放参数等信息。此时，投影的全方向视频所覆盖的全部球面区域均为缩放视频。

coverageinformationbox(覆盖信息盒子)

boxtype:'covi'

container:projectedomnivideobox

mandatory:no

quantity:zeroorone

语法

语义

zoom_ratio用于表示球面区域缩放视频的缩放比率。

zoom_algorithm_typ用于标识球面区域缩放视频的缩放算法。

zoom_symbolization_type用于表示球面区域缩放视频边界的符号类型。

zoom_area_type用于表示全方向视频球面缩放区域类型。

zoom_description是以空字符结尾的utf-8字符串，提供缩放视频的文本描述。

示例3

本示例提供一种视频数据处理方法，利用缩放的全方向视频指示缩放的全方向视频的球面缩放区域和/或球面缩放参数。

本示例提供一种视频数据处理方法，包括如下步骤：

步骤s302，基于受限方案信息盒子中的方案类型参数识别缩放的全方向视频盒子；

步骤s304，根据所述缩放的全方向视频盒子确定所述视频数据的解码帧为缩放的全方向视频图像。

步骤s302中记载了缩放的全方向视频方案类型，下面结合可选实施方式对缩放的全方向视频方案类型进行说明。

针对受限视频样本入口类型'resv'，缩放的全方向视频方案用于指示解码图像为包含单目或者双目立体内容的缩放图像。如果受限方案信息盒子(restrictedschemeinfobox)中的方案类型盒子(schemetypebox)内的scheme_type等于'zodv'(zoomedomnidirectionalvideo)，则指示使用缩放的全向视频方案。

缩放的全方向视频图像的格式使用方案信息盒子(schemeinformationbox)中包含的缩放的全方向视频盒子(zoomedomnivideobox)表示。当方案类型为'zodv'时，schemeinformationbox中有且仅有一个zoomedomnivideobox。

'zodv'方案类型被定义为缩放的全方向视频的开放式方案类型。

当zoomedomnivideobox出现在schemeinformationbox时，投影的全方向视频盒子(projectedomnivideobox)必须出现在同一个schemeinformationbox中。其中，投影的全方向视频的缩放视频格式由schemeinformationbox中包含的zoomedomnivideobox指示。

当zoomedomnivideobox出现在schemeinformationbox时，立体视频盒子(stereovideobox)可能出现在同一个schemeinformationbox中。

其中，缩放的全方向视频盒子具有球面缩放语法元素，指示缩放的全方向视频图像的球面缩放参数。

所述缩放的全方向视频图像的球面缩放区域包括以下的一种或多种信息：

球面缩放区域的中心点；

球面缩放区域的方位角范围和俯仰角范围；

其中，所述球面缩放区域的中心点包括以下至少一种：中心点的方位角、中心点的俯仰角和中心点的倾斜角。

所述缩放的全方向视频图像的球面缩放参数包含以下的一种或多种信息：

球面区域缩放视频的缩放比例；

球面区域缩放视频的缩放算法类型；

球面区域缩放视频的边界符号化类型；

球面区域缩放视频的文本描述；

球面缩放区域的类型。

下面结合可选实施方式对缩放的全方向视频盒子进行说明。

zoomedomnivideobox(缩放的全方向视频盒子)

boxtype:'zodv'

container:schemeinformationbox

mandatory:yes(whentheschemetypeis'zodv')

quantity:one

zoomedomnivideobox(缩放的全方向视频盒子)用于指示解码帧为包含单目或者双目立体内容的缩放的全方向视频图像。当schemetype等于'zodv'时，应使用缩放的全方向视频盒子zoomedomnivideobox。

语法

aligned(8)classzoomedomnivideoboxextendsfullbox('zodv',0,0)

{

unsignedint(8)zoom_ratio；

unsignedint(8)zoom_algorithm_type；

unsignedint(8)zoom_symbolization_type；

unsignedint(8)zoom_area_type；

stringzoom_description；

}

语义

zoom_ratio用于表示球面区域缩放视频的缩放比率。

zoom_algorithm_typ用于标识球面区域缩放视频的缩放算法。

zoom_symbolization_type用于表示球面区域缩放视频边界的符号类型。

zoom_area_type用于表示全方向视频球面缩放区域类型。

zoom_description是以空字符结尾的utf-8字符串，提供缩放视频的文本描述。

步骤s304记载了缩放的全方向视频盒子指示缩放的全方向视频图像，即缩放的全方向视频轨道，下面结合可选实施对缩放的全方向视频轨道进行说明。

在一个包含视频样本的文件中，如果存在受限方案信息盒子(包含在电影盒子(moviebox)中的轨道盒子(trackbox)中)，并且受限方案信息盒子的方案类型盒子内的方案类型(scheme_type)参数等于'zodv'，则指示视频文件使用缩放的全向视频方案，包含缩放的全方向视频轨道。缩放的全方向视频轨道中可以包含轨道引用盒子(trackreferencebox)，下面结合可选实施对轨道引用盒子进行说明。

trackreferencebox(轨道引用盒子)

boxtype:'tref'

container:trackbox

mandatory:no

quantity:zeroorone

语法

语义

track_ids提供所引用轨道的轨道标识符的整数数组，数组中的值不得重复。

reference_type设置为下列值之一：

'vzom':该轨道包含所引用轨道的辅助缩放视频信息。

图11是根据本发明实施方式的一种缩放的全方向视频轨道的轨道引用盒子的示意图。

如图11所示，缩放的全方向视频轨道中包含轨道引用盒子(trackreferencebox)，轨道引用盒子中的轨道标识参数(track_ids[])提供所引用视频轨道的标识，即投影的全方向视频(projectedomnidirectionalvideo)的轨道标识符。其中，轨道引用盒子中的引用类型(reference_type)参数取值'vzom'，表示该视频轨道中包含轨道标识参数(track_ids[])所引用视频轨道的辅助缩放视频信息。

缩放的全方向视频轨道中可以包含轨道群组盒子(trackgroupbox)，下面结合可选实施对缩放的全方向视频群组盒子进行说明。

track_group_type等于'zoom'的轨道群组类型盒子(trackgrouptypebox)指示该轨道或者是缩放的全方向视频轨道，或者是投影的全方向视频轨道。

zoomedomnivideogroupbox(缩放的全方向视频群组盒子)

boxtype:'zoom'

container:trackbox

mandatory:no

quantity:zeroorone

在缩放的全方向视频群组盒子(zoomedomnivideogroupbox)中具有相同track_group_id值的视频轨道，组成一对对应同一内容源的缩放的全方向视频和投影的全方向视频轨道。

语法

语义

zoom_flag等于0指示投影的全方向视频，zoom_flag等于1指示缩放的全方向视频。如果两个轨道的track_group_id值相同，则zoom_flag取值应不同。

track_group_type表示群组类型，并应设置为以下值之一：

'zoom'表示该轨道属于缩放的全方向视频群组zoomvideogroupbox。

图12是根据本发明实施方式的一种缩放的全方向视频的轨道群组盒子的示意图。

如图12所示，缩放的全方向视频轨道中包含轨道群组类型(track_group_type)参数等于'zoom'的轨道群组类型盒子，即缩放的全方向视频群组盒子。在缩放的全方向视频群组盒子中具有相同轨道群组标识(track_group_id)值的视频轨道，组成一对对应同一内容源的缩放的全方向视频和投影的全方向视频轨道。

对应同一内容源的多个不同缩放的全方向视频轨道的轨道群组类型盒子(trackgrouptypebox)中的track_group_type设置为'alte'，并具有相同的track_group_id字段值，表明它们属于同一个轨道群组。或者，

对应同一内容源的多个不同缩放的全方向视频轨道的轨道头盒子(trackheaderbox)中具有相同的alternate_group字段值，表明它们属于同一个轨道群组。

任何同一时刻只能传输或播放轨道群组中的一个缩放的全方向视频。

缩放的全方向视频轨道中可以包含轨道选择盒子(trackselectionbox)，下面结合可选实施对轨道选择盒子进行说明。

轨道选择盒子(trackselectionbox)中属性列表(attribute_list[])参数所提供的属性列表用于描述或者区分轨道群组中不同的缩放的全方向视频轨道。

trackselectionbox(轨道选择盒子)

boxtype:'tsel'

container:userdataboxofthecorrespondingtrackbox

mandatory:no

quantity:zeroorone

语法

语义

attribute_list是一个属性列表，该列表中的属性被用作描述或区分来自同一轨道群组中的不同视频轨道。

如表1所示，下列属性用于描述轨道。

表1

如表2所示，下列属性用于区分轨道。

表2

示例4

本示例提供一种视频数据处理方法，利用投影的全方向视频盒子以及缩放的全方向视频盒子，指示投影的全方向视频的球面缩放区域和/或球面缩放参数。

本示例提供一种视频数据处理方法，包括如下步骤：

步骤s402，基于受限方案信息盒子中的方案类型参数识别投影的全方向视频盒子以及缩放的全方向视频盒子；

步骤s404，根据所述投影的全方向视频盒子确定所述视频数据的解码帧为投影的全方向视频图像；所述缩放的全方向视频盒子具有球面缩放语法元素，所述球面缩放语法元素指示所述投影的全方向视频图像的球面缩放区域和/或球面缩放参数。

步骤s402中记载了投影的全方向视频方案类型以及缩放的全方向视频方案类型，下面结合可选实施对其进行说明。针对受限视频样本入口类型'resv'，投影的全方向视频方案用于指示解码图像为包含单目或者双目立体内容的封装图像。如果受限方案信息盒子中的方案类型盒子内的scheme_type等于'podv'(projectedomnidirectionalvideo)，则指示使用投影的全向视频方案。

投影的全方向视频图像的格式使用方案信息盒子(schemeinformationbox)中包含的投影的全方向视频盒子(projectedomnivideobox)表示。当方案类型为'podv'时，schemeinformationbox中有且仅有一个projectedomnivideobox。针对受限视频样本入口类型'resv'，缩放的全方向视频方案用于指示解码图像为包含单目或者双目立体内容的缩放图像。如果受限方案信息盒子(restrictedschemeinfobox)中的方案类型盒子(schemetypebox)内的scheme_type等于'zodv'(zoomedomnidirectionalvideo)，则指示使用缩放的全向视频方案。

缩放的全方向视频图像的格式使用方案信息盒子(schemeinformationbox)中包含的缩放的全方向视频盒子(zoomedomnivideobox)表示。当方案类型为'zodv'时，schemeinformationbox中有且仅有一个zoomedomnivideobox。

'zodv'方案类型被定义为缩放的全方向视频的开放式方案类型。

当projectedomnivideobox出现在schemeinformationbox中时，缩放的全方向视频盒子(zoomedomnivideobox)可能出现在同一个schemeinformationbox中，指示投影的全方向视频图像在特定球面区域的缩放视频格式。如果不存在zoomedomnivideobox，表明投影的全方向视频中不存在缩放视频。

步骤s404中记载了缩放的全方向视频盒子具有球面缩放语法元素，指示投影的全方向视频图像的球面缩放区域和/或球面缩放参数，下面结合可选实施对其进行说明。

所述投影的全方向视频图像的球面缩放区域包括以下的一种或多种信息：

球面缩放区域的中心点；

球面缩放区域的方位角范围和俯仰角范围；

其中，所述球面缩放区域的中心点包括以下至少一种：中心点的方位角、中心点的俯仰角和中心点的倾斜角。

所述投影的全方向视频图像的球面缩放参数包含以下的一种或多种信息：

球面区域缩放视频的缩放比例；

球面区域缩放视频的缩放算法类型；

球面区域缩放视频的边界符号化类型；

球面区域缩放视频的文本描述；

球面缩放区域的类型。

下面结合可选实施对缩放的全方向视频盒子进行说明。

zoomedomnivideobox(缩放的全方向视频盒子)

boxtype:'zodv'

container:schemeinformationbox

mandatory:yes(whentheschemetypeis'zodv')

quantity:one

zoomedomnivideobox(缩放的全方向视频盒子)用于指示解码帧包含缩放的全方向视频图像。当schemetype等于'zodv'时，应使用缩放的全方向视频盒子zoomedomnivideobox。

语法

语义

zoom_shape_type用于指定表示内容覆盖范围的球形区域的形状。zoom_shape_type等于0表明球面区域由四个大圆圈指定。zoom_shape_type等于1表明球面区域由两个方位圆圈和两个仰俯圆圈指定。

num_regions用于指定球形区域的数量。

view_idc_presence_flag取值0表示不存在view_idc[i]，取值1表示存在view_idc[i]，指示球面区域的缩放视频与特定视图(左，右，或两者)关系。

default_view_idc取值为0表示球面区域的缩放视频都是单目的。取值为1表示球面区域的缩放视频在左视图上。取值为2表示球面区域的缩放视频在右视图上。取值为3表示球面区域的缩放视频包含左视图和右视图。

view_idc[i]取值为1表示第i个球面区域的缩放视频在左视图上。取值为2表示第i个球面区域的缩放视频在右视图上。取值为3表示第i个球面区域的缩放视频包含左视图和右视图。值0保留。

zoom_ratio用于表示全方向视频球面区域缩放视频的缩放比率。

zoom_algorithm_typ用于表示全方向视频球面区域缩放视频的缩放算法类型。

zoom_symbolization_type用于表示全方向视频球面区域缩放视频的边界符号化类型。

zoom_area_type用于表示全方向视频球面缩放区域类型。

zoom_description是以空字符结尾的utf-8字符串，提供缩放的全方向视频的文本描述。

示例5

定时元数据轨道是iso基本媒体文件格式(isobmff)中的一种建立与特定样本关联的定时元数据的机制。定时元数据与媒体数据的耦合较少，通常是“描述性”的。

本示例提供一种视频数据处理方法，利用球面缩放定时元数据指示所引用全方向视频的球面缩放区域和或球面缩放参数。

本示例提供一种视频数据处理方法，包括如下步骤：

步骤s502，确定样本入口类型；

步骤s504，基于样本入口类型识别所述视频数据中的球面缩放定时元数据轨道；所述球面缩放定时元数据轨道具有球面缩放语法元素，所述球面缩放语法元素指示所引用的全方向视频的球面缩放区域和/或球面缩放参数。

步骤s502中记载了球面缩放定时元数据轨道，下面结合可选实施对球面缩放定时元数据轨道进行说明。

本示例说明全方向视频球面缩放的通用定时元数据轨道语法。球面缩放定时元数据轨道的用途由轨道样本入口类型(sampleentry)指示，每个样本指示一个全方向视频的球面缩放区域和/或球面缩放参数。

球面缩放定时元数据轨道指示当用户不负责控制全方向视频缩放或者释放对全方向视频缩放的控制时，应该执行全方向视频缩放的球面缩放区域和/或球面缩放参数。

球面缩放定时元数据轨道可以基于导演剪辑(director'scut)或者基于统计测量来指示所述全方向视频轨道的球面缩放区域和/或球面缩放参数。

其中，球面缩放定时元数据轨道样本入口中包含的球面缩放信息盒子，具有球面缩放语法元素，指示球面缩放定时元数据轨道所引用的全方向视频的球面缩放参数。

缩放的全方向视频图像的球面缩放区域包括以下的一种或多种信息：

球面缩放区域的中心点；

球面缩放区域的方位角范围和俯仰角范围；

其中，所述球面缩放区域的中心点包括以下至少一种：中心点的方位角、中心点的俯仰角和中心点的倾斜角。

全方向视频的球面缩放参数包含以下的一种或多种信息：

球面区域缩放视频的缩放比例；

球面区域缩放视频的缩放算法类型；

球面区域缩放视频的边界符号化类型；

球面区域缩放视频的文本描述；

球面缩放区域的类型。

下面结合可选实施对球面缩放定时元数据轨道样本入口以及球面缩放信息盒子进行说明。

球面缩放定时元数据轨道(timedmetadataforsphericalzooming)使用轨道样本入口类型应为'spzm'，该类型的样本入口定义如下：

语法:

语义:

zoom_ratio用于表示全方向视频球面区域缩放视频的缩放比例。

zoom_algorithm_type用于表示全方向视频球面区域缩放视频的缩放算法类型。

zoom_symbolization_type用于表示全方向视频球面区域缩放视频的边界符号化类型。

zoom_area_type用于表示全方向视频球面缩放区域类型,如下表3所示：

表3

zoom_description是以空字符结尾的utf-8字符串，提供全方向视频的球面区域缩放视频的文本描述。

球面缩放定时元数据轨道样本入口类型继承自球面区域样本入口(sphereregionsampleentry)类型。其中包含的球面区域配置盒子(sphereregionconfigbox)中的形状类型(shape_type)参数应等于0。

其中，球面缩放定时元数据轨道中的每个样本具有球面缩放语法元素，指示球面缩放定时元数据轨道所引用的全方向视频的球面缩放区域。

全方向视频的球面缩放区域包括以下的一种或多种信息：

球面缩放区域的中心点；

球面缩放区域的方位角范围和俯仰角范围；

其中，所述球面缩放区域的中心点包括以下至少一种：中心点的方位角、中心点的俯仰角和中心点的倾斜角。

下面结合可选实施对球面缩放定时元数据轨道样本格式进行说明。

球面缩放定时元数据轨道样本格式应继承使用球面区域样本(sphereregionsample)的语法。其中，如果存在静态方位角范围参数(static_azimuth_range)和静态仰俯角范围参数(static_elevation_range)，或者方位角范围参数(azimuth_range)和仰俯角范围参数(elevation_range)，分别指示全方向视频球面缩放区域的方位角范围和仰俯角范围。中心方位角参数(centre_azimuth)和中心仰俯角参数(centre_elevation)分别表示全方向视频球面缩放区域相对于全局坐标轴的中心点。中心倾斜角参数(centre_tilt)表示全方向视频球面缩放区域的倾斜角度。

步骤s404中记载了球面缩放定时元数据轨道(包括样本入口以及每个样本)具有球面缩放语法元素，指示所引用的全方向视频的球面缩放区域和/或球面缩放参数。下面结合可选实施对球面缩放定时元数据轨道引用全方向视频轨道进行说明。

球面缩放定时元数据轨道通过引用类型(reference_type)为'cdsc'的轨道引用盒子(trackreferencebox)引用到一个或者多个全方向视频轨道。

球面缩放定时元数据轨道通过引用类型(reference_type)为'cdsc'的轨道引用盒子(trackreferencebox)引用轨道群组类型(track_group_type)等于'zoom'的轨道群组的轨道群组标识(track_group_id)。

其中，球面缩放定时元数据轨道描述轨道群组中zoom_flag等于0轨道的(缩放的全方向视频轨道)球面缩放区域和/或球面缩放参数；或者，

球面缩放定时元数据轨道描述轨道群组中zoom_flag等于0轨道(即，缩放的全方向视频轨道)在zoom_flag等于1轨道(即，投影的全方向视频轨道)的球面缩放区域，以及zoom_flag等于0轨道(即，缩放的全方向视频轨道)的球面缩放参数。

图13是根据本发明实施方式的一种球面缩放定时元数据轨道引用全方向视频轨道的示意图一。

如图13所示，样本入口类型等于'spzm'的球面缩放定时元数据视频轨道中包含轨道引用盒子(trackreferencebox)，轨道引用盒子中的轨道标识参数(track_ids[])提供所引用的全方向视频的轨道标识符，本实施例中为缩放的全方向视频轨道标识。其中，轨道引用盒子中的引用类型(reference_type)参数取值'cdsc'，表示定时元数据轨道中包含轨道标识参数(track_ids[])所引用视频轨道的内容描述信息。在本实施例中，球面缩放定时元数据视频轨道引用位于同一文件中缩放的全方向视频轨道，提供球面缩放区域和/或球面缩放参数。

图14是根据本发明实施方式的一种球面缩放定时元数据轨道引用全方向视频轨道的示意图二。

类似地，样本入口类型等于'spzm'的球面缩放定时元数据视频轨道引用全方向视频的轨道。如图14所示，在本实施例中，球面缩放定时元数据视频轨道引用位于不同文件中缩放的全方向视频轨道，提供球面缩放区域和/或球面缩放参数。

需要说明的是，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。