用于对视频数据进行流传输的方法和相应装置的制造方法_2

文档序号:8927369阅读:来源:国知局
a.轨的类型:视频轨或视频子轨,以及/或者
[0078]b.在轨是视频子轨的情况下,空间区块的位置和所述η个空间区块的结构。
[0079]在实施例中,所述描述文件针对每段时间包括的针对各区块所定义的参数的集入I=I ?
[0080]所述参数的集合包括称为Role元素的描述符,该Role元素包含与以下有关的数据:
[0081]a.轨的类型:视频轨或视频子轨,以及/或者
[0082]b.在轨是视频子轨的情况下,对所述η个空间区块的结构的参考。
[0083]在实施例中,在轨是视频子轨的情况下,所述描述符还包括用以指定所考虑的区块相对于η个区块的结构的位置的方案。
[0084]在实施例中,所述空间区块的位置是通过参考网格的行和列的索引来指示的。
[0085]在实施例中,所述空间区块的位置是通过参考所述空间区块的左上角的以像素为单位的位置以及所述空间区块的宽度和高度来指示的。
[0086]在实施例中,所述空间区块的位置是利用指定坐标系中的位置来指示的。
[0087]在实施例中,所述空间区块的位置被表示为空间媒体片断。
[0088]在实施例中,在生成所述描述文件的步骤之前,还包括以下步骤:
[0089]-获取与所述给定视频有关的数据,
[0090]-对所获取到的数据进行压缩,
[0091]-封装压缩后的数据,所述封装包括:
[0092].生成给定数量的媒体片段文件,其中每一个媒体片段文件包括给定的一段时间内的与所述给定视频和所述η个视频子轨有关的数据,以及
[0093].生成与媒体文件片段相关联的初始化片段,其中所述初始化片段包括与视频轨和所述视频子轨有关的初始化数据。
[0094]在实施例中,所述视频数据包括表示相同内容的各自具有给定分辨率的m个视频轨,并且各视频轨的各帧被分割成η个空间区块,以创建m*n个独立的视频子轨,其中m是整数。
[0095]在实施例中,所述描述文件包括视频子轨的参数,所述参数包括与不同视频子轨的可能或禁止的关联有关的数据,在根据经由HTTP的动态自适应流传输标准即DASH标准来对所述数据进行流传输的情况下,所述可能或禁止的关联是利用标识符属性来指示的。
[0096]根据本发明的另一方面,提出一种用于利用客户端装置来获得与给定视频相对应的数据的方法,所述给定视频的各帧被分割成η个空间区块,以创建独立的η个视频子轨,其中η是整数,所述方法包括以下步骤:
[0097]-接收描述文件,其中所述描述文件包括与所述η个视频子轨的空间组织有关的数据以及分别指定各视频子轨的至少η个URL ;
[0098]-利用所述客户端装置或所述客户端装置的用户来选择所述给定视频中的至少一个关注区域;
[0099]-基于所述描述文件,来根据所选择的关注区域获得一个或多个URL;
[0100]-发送用于请求所述视频子轨的一个或多个请求消息,其中各请求消息包括所述客户端装置所选择的URL其中之一,以及
[0101]-响应于所述请求消息,来接收与所请求的视频子轨相对应的视频数据。
[0102]在实施例中,所述描述文件还包括指定与完整的所述给定视频相对应的轨的URL,并且在所述客户端装置没有选择任何关注区域的情况下,所述方法还包括以下步骤:发送用于请求完整的视频轨的请求消息,并且响应于该请求消息来接收与所请求的完整视频轨相对应的视频数据。
[0103]在实施例中,所述给定视频是包括基本层和至少一个增强层的可分级视频,所述η个视频子轨与所述增强层相对应;所述给定视频还包括基本层视频轨,所述描述文件还包括所述基本层视频轨的URL ;并且在所述客户端装置选择一个关注区域的情况下,所述方法还包括以下步骤:
[0104]-利用所述客户端装置获得所述基本层的URL;
[0105]-发送包括所述基本层视频轨的URL的请求消息;以及
[0106]-响应于该请求消息来接收与所请求的基本层视频轨相对应的视频数据。
[0107]根据变形例,所述给定视频是包括基本层和至少一个增强层的可分级视频,所述η个视频子轨与所述增强层相对应;所述基本层的各帧还被分割成η个空间区块,所述基本层的各区块与所述增强层中的区块相对应,以创建独立的η个基本层子轨,
[0108]所述描述文件还包括所述基本层子轨的URL ;并且在所述客户端装置选择一个关注区域的情况下,所述方法还包括以下步骤:
[0109]-利用所述客户端装置获得所述基本层子轨的URL;
[0110]-发送包括所述基本层子轨的URL的请求消息;以及
[0111]-响应于该请求消息来接收与所请求的基本层子轨相对应的视频数据。
[0112]在实施例中,在所述描述文件中,利用子分割成每一个具有预先确定的高度和宽度的、给定数量的行和列的网格来定义所述η个空间区块的结构。
[0113]在实施例中,所述η个空间区块的结构定义具有均一面积或非均一面积的空间区块。
[0114]在实施例中,各空间区块是矩形区域。
[0115]在实施例中,在所述空间区块具有均一面积的情况下,所述网格是利用水平维度和垂直维度这两者中的边界的数量所指定的。
[0116]在实施例中,在所述空间区块具有非均一面积的情况下,所述网格是利用行和列的数量以及行和列的边界的位置所指定的。
[0117]在实施例中,所述数据是根据经由HTTP的动态自适应流传输标准即DASH标准来定义的,所述描述文件是媒体呈现描述文件。
[0118]在实施例中,各URL指定预定义的一段时间内的轨或子轨的片段。
[0119]在实施例中,所述η个空间区块的结构是通过使用相对于整个一段时间的句法元素针对各段时间所定义的。
[0120]在实施例中,所述描述文件包括每段时间内的针对各视频子轨所定义的参数的集入I=I ?
[0121]所述参数的集合包括包含与以下内容有关的数据的描述符:
[0122]a.轨的类型:视频轨或视频子轨,以及/或者
[0123]b.在轨是视频子轨的情况下,空间区块的位置和所述η个空间区块的结构。
[0124]在实施例中,所述描述文件针对每段时间包括针对各区块所定义的参数的集合,以及
[0125]所述参数的集合包括称为角色元素即Role元素的描述符,该Role元素包含与以下有关的数据:
[0126]a.所述轨的类型:视频轨或视频子轨,以及/或者
[0127]b.在所述轨是视频子轨的情况下,对所述η个空间区块的结构的参考。
[0128]在实施例中,在轨是视频子轨的情况下,所述描述符还包括用以指定所考虑的区块相对于η个区块的结构的位置的方案。
[0129]在实施例中,所述空间区块的位置是通过参考网格的行和列的索引来指示的。
[0130]在实施例中,所述空间区块的位置是通过参考所述空间区块的左上角的以像素为单位的位置以及所述空间区块的宽度和高度来指示的。
[0131]在实施例中,所述空间区块的位置是利用指定坐标系中的位置来指示的。
[0132]在实施例中,所述空间区块的位置被表示为空间媒体片断。
[0133]在实施例中,所述视频数据与表示相同内容的各自具有不同分辨率的m个视频相对应,并且各视频的各帧被分割成η个空间区块,以创建m*n个独立的视频子轨,其中m是整数。
[0134]在实施例中,所述描述文件包括视频子轨的参数,所述参数包括与不同视频子轨的可能或禁止的关联有关的数据,在根据经由HTTP的动态自适应流传输标准即DASH标准来对所述数据进行流传输的情况下,所述可能或禁止的关联是利用标识符属性来指示的。
[0135]根据权利要求48至68中任一项所述的方法,其中,所接收到的视频数据包括:
[0136]-给定数量的视频片段文件,其中每一个视频片段文件包括给定的一段时间内的与所述给定视频和所述η个视频子轨相对应的数据,以及
[0137]-与媒体文件片段相关联的初始化片段,其中所述初始化片段包括与视频轨和所述视频子轨有关的初始化数据。
[0138]在实施例中,所述描述文件还包括与所述初始化片段相关联的URL。
[0139]在实施例中,所述初始化数据包括表示各视频子轨的宽度和高度的值。
[0140]在实施例中,所述初始化数据还包括使得能够将各视频子轨显示在恰当位置处的变换矩阵。
[0141]根据本发明的另一方面,提出一种可编程设备所用的计算机程序产品,所述计算机程序产品包括指令序列,所述指令序列用于在被载入所述可编程设备并由所述可编程设备执行的情况下,执行以上详细所述的方法。
[0142]根据本发明的另一方面,提出一种存储有计算机程序的指令的计算机可读存储介质,所述指令用于执行以上详细所述的方法。
[0143]根据本发明的另一方面,提出一种用于对与给定视频相对应的数据进行流传输的装置,所述给定视频的各帧被分割成η个空间区块,以创建独立的η个视频子轨,其中η是整数,其特征在于,所述装置具有用于执行以上详细所述的方法的部件。
[0144]根据本发明的另一方面,提出一种用于向客户端装置提供数据的服务器装置,所述数据与给定视频相对应,所述给定视频的各帧被分割成η个空间区块,以创建η个独立的视频子轨,其中η是整数,其特征在于,所述服务器装置具有用于执行以上详细所述的方法的部件。
[0145]根据本发明的另一方面,提出一种用于获得与给定视频相对应的数据的客户端装置,所述给定视频的各帧被分割成η个空间区块,以创建η个独立的视频子轨,其中η是整数,其特征在于,所述客户端装置具有用于执行以上详细所述的方法的部件。
【附图说明】
[0146]在以下说明中还出现仅通过示例的方式进行说明并且用附图例示的本发明的其它特性和优点,其中:
[0147]图1a示出与经由HTTP的媒体流传输的一般原理的示例有关的框图;
[0148]图1b是更详细地说明特别是在将帧分割成区块的情况下、根据本发明实施例的经由HTTP的媒体流传输的流程图;
[0149]图1c示意性示出根据本发明实施例的分割成区块的帧和关注区域;
[0150]图1d示意性示出根据本发明实施例的来自分割成区块的空间可分级视频的帧和关注区域;
[0151]图2是示出生成媒体呈现和清单文件的一般原理的示例的框图;
[0152]图3示意性示出用于使用DASH来进行流传输的媒体呈现的传统组织;
[0153]图4示出不涉及子轨的描述文件/清单;
[0154]图5示意性说明根据本发明的用于将初始视频预处理成视频子轨的实施例;
[0155]图5a示意性说明区块化视频帧向条带和条带片段的分割;
[0156]图6示意性说明根据本发明的用于将视频子轨编码并封装成文件格式的实施例;
[0157]图7示意性说明根据本发明的可用于承载各视频子轨的位置的文件格式的框的实施例;
[0158]图8、8a和Sb说明根据本发明的清单/描述文件的不同句法;
[0159]图9给出根据本发明的具有视频子轨的媒体呈现所用的清单/描述文件的完整示例;
[0160]图10是用于实现本发明的一个或多个实施例的计算装置的示意框图;
[0161]图11示出根据本发明的具有视频子轨的媒体呈现所用的清单/描述文件的另一示例;以及
[0162]图12示出根据本发明的具有视频子轨的媒体呈现所用的清单/描述文件中所使用的另一句法。
【具体实施方式】
[0163]图1a描述特别是如DASH那样的经由HTTP的媒体流传输的一般原则。针对经由HTTP的媒体流传输的新协议和标准中的大部分协议和标准均基于该原则。
[0164]媒体服务器100包含不同的媒体呈现。例示出媒体呈现101的示例。这里,媒体呈现101包含音频数据和视频数据。这里,考虑视频是整体的,这意味着该视频没有分割成区块。在该示例中,认为视频和音频交错存在于同一文件中。以下在图2中说明构建该媒体呈现的方式。该媒体呈现已从时间上分割成小的独立且连续的时间片段102、102a和103 (例如,mp4片段),这意味着视频呈现的交错存在的音频/视频数据被分割成三个连续时间片段。可以单独定址并下载这些时间片段。媒体内容的下载地址是HTTP地址。(一个HTTP地址与音频/视频媒体内容的各时间片段相关联。)这些HTTP地址是由服务器100针对这些时间片段中的每一个片段所设置的。
[0165]清单文件104(或描述文件)是XML文档。清单文件104描述时间媒体片段的内容,例如媒体类型(音频、视频、音频-视频、文本…)、编码格式、片段的持续时间。此外,清单文件104使URL与所描述的各媒体内容片段相关联。
[0166]将清单文件104发送至与客户端或服务器有关的客户端装置110。通过阅读所接收到的清单文件105,客户端可以得知不同媒体内容的时间片段和指定这些时间片段的HTTP地址之间的关联。此外,清单文件105给出与媒体呈现的内容(在该示例中为交错存在的音频/视频)有关的信息。例如,该信息可以包括分辨率和/或位率。
[0167]因此,客户端装置110可以请求106下载他想要的在所接收到的清单文件105中所描述的时间片段。
[0168]作为响应,服务器100发送所请求的时间片段107。这些时间片段可以由客户端装置110进行解码108以供显示109。
[0169]图1b更精确地示出根据本发明的(通常采用DASH形式的)经由HTTP的媒体流传输。这里,考虑流式视频数据包括视频轨,以使得将视频轨的各帧分割成η个空间区块(η是整数),从而创建η个独立的视频子轨。
[0170]首先,客户端装置从服务器接收描述文件(采用DASH形式的MPD)(步骤1008)。该描述文件包括与η个视频子轨的空间组织有关的数据和分别指定这些视频子轨的至少η个 URL。
[0171]客户端选择他想要显示的关注区域(ROI)。例如,他想要对如图1c所示的特定区域进行放大。
[0172]图1c示出这里被分割成八个区块T1、T2、…、Τ8的帧1100。在该帧中,客户端决定对图像的右下部的部分1110进行缩放。如图1c所示,该选中部分1110或ROI被两个区块Τ6和Τ8包含。
[0173]图1d示出这里被分割成
当前第2页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1