用于对视频数据进行流传输的方法和相应装置的制造方法
【技术领域】
[0001]本发明涉及用于传输媒体数据、尤其是Web访问的压缩数据的方法和装置。优选地，通过使用协议HTTP经由(如因特网那样的)IP网络来进行媒体数据的流传输。
【背景技术】
[0002]媒体呈现通常包括诸如音频、视频或文本等的若干媒体内容。可以将这些媒体内容从服务器发送至客户端以由客户端装置共同播放。这些媒体内容是由客户端从服务器下载的。
[0003]在这种情况下，最近出现了被称为DASH( “Dynamic Adaptive Streaming overHTTP (经由HTTP的动态自适应流传输)”的简称)的新标准(参见“ IS0/IEC 23009-1，经由HTTP的动态自适应流传输(DASH)，Partl:媒体呈现描述和片段格式”)。该标准使得能够创建媒体呈现的内容的紧凑描述和HTTP地址之间的关联。通常，在被称为清单文件或描述文件的文件中描述该关联。在DASH的上下文中，该清单文件是还被称为MPD (媒体呈现Descript1n(媒体呈现描述)的简称)文件的文件。
[0004]在将MPD文件发送至客户端装置的情况下，客户端可以容易地得知各媒体内容的描述。通过阅读清单文件，客户端获知在媒体呈现中所提出的媒体内容的种类并且获知用于下载关联的媒体内容的HTTP地址。因此，可以决定(经由HTTP请求)下载并播放(在接收到媒体数据片段之后进行解码并播放)哪个媒体内容。
[0005]除该关联外，DASH标准提出了将各媒体内容分割成小段时间。在MPD文件中添加时间分解。因而，该时间分解描述小段时间内HTTP地址(或URL)和各媒体内容的紧凑描述之间的关联。
[0006]本发明(通过以DASH MH)作为参考)关注清单文件中的视频描述。即使没有直接考虑媒体表现的其它元素(例如，音频、文本、…)，也可以容易地将这些元素并入如以下将说明的更具全局性的媒体描述。
[0007]视频的空间分辨率越来越重要。在该方面，市场上开始出现4K2K视频。然而，移动应用程序无法以高质量播放该分辨率。
[0008]解决方案提出将视频分割成区块(tile)。如果移动应用程序的用户想要播放或关注视频的子部分，则仅传输与子部分相对应的区块。该处理允许保持视频部分处于高质量。
[0009]在DASH的上下文中，使用已知标准“ISO BMFF^ (Base Media File Format (基本媒体文件格式))来将媒体内容封装在媒体数据片段中，以形成媒体呈现。
[0010]传统上，通过使用DASH，即使各轨与视频的子部分相对应，在清单中也将该轨描述为独立媒体内容。在清单中无法用信号通知各轨是相同视频的子部分。实际上，当前的MPD定义不允许描述区块化视频。在实践中，用户(除清单外还)不得不下载第一初始化片段以得知MPD中所描述的各视频是区块化视频的子部分。然后，这些用户不得不至少下载各视频内容的各第一媒体数据片段的开头以检索区块位置和视频内容之间的关联。对该初始化信息的下载导致延迟以及附加和无用的HTTP请求。
[0011]在与DASH的使用不兼容的另一现有技术中，A.Mavlankar、P.Agrawal、D.Pang、D.Halawa、N.Cheung 和 B.Girod 所编著的文章 “ In packet video 2010, An InteractiveReg1n Of Interest Video Streaming System for Online Lecture Viewing” 提出了描述可分级视频的区块的特定清单(“专有清单”)。该特定清单提供各区块的标识符和一个位置信息。根据与基本层相关联的URL和专有清单所提供的区块信息，构建HTTP查询以访问特定区块，其中该查询与区块索引相关联。这种HTTP查询需要在服务器侧进行处理，以从HTTP查询中检索字节范围、以及作为结果要发送至客户端装置以实现其请求的区块。这可以仅由非常特定的服务器来进行。
【发明内容】
[0012]本发明是为了解决前述担心中的一个或多个而设计的。
[0013]根据本发明的第一方面，提出一种用于对与给定视频相对应的数据进行流传输的方法，所述给定视频的各帧被分割成η个空间区块，以创建独立的η个视频子轨，其中η是整数。
[0014]所述方法包括以下步骤:
[0015].利用服务器将描述文件发送至客户端装置，所述描述文件包括与所述η个视频子轨的空间组织有关的数据以及分别指定各视频子轨的至少η个URL ;
[0016]?利用所述客户端装置，根据所述客户端装置或所述客户端装置的用户所选择的一个关注区域来选择一个或多个URL ；
[0017]?利用所述服务器来从所述客户端装置接收用于请求由此得到的数量的视频子轨的一个或多个请求消息，各请求消息包括所述客户端装置所选择的URL其中之一；以及
[0018].响应于所述请求消息，利用所述服务器将与所请求的视频子轨相对应的视频数据发送至所述客户端装置。
[0019]规定了空间区块包括行和列的像素。
[0020]换句话说，本发明的第一方面提出将视频子轨的URL直接包括在描述文件(是指采用DASH形式的MPD)中，以使得客户端获知将帧分割成区块并且能够将URL请求消息直接发送至服务器。
[0021]本发明的第一方面使得能够限制针对服务器和客户端装置之间的数据流传输的请求的数量。此外，在客户端接收到描述文件的情况下，该客户端已获知区块的存在和空间组织，结果该客户端知晓如何显示相应的视频子轨。
[0022]在实施例中，所述描述文件还包括指定与完整的所述给定视频相对应的轨的URL，并且在所述客户端装置没有根据一个关注区域选择任何URL的情况下，所述服务器从所述客户端装置接收包括完整的视频轨的URL的请求消息，并且响应于该请求消息来将与所述完整的视频轨相对应的视频数据发送至所述客户端装置。
[0023]在实施例中，所述给定视频是包括基本层和至少一个增强层的可分级视频，所述η个视频子轨与增强层相对应；所述给定视频还包括基本层视频轨，所述描述文件还包括所述基本层视频轨的URL ;并且在所述客户端装置根据一个关注区域选择至少一个URL的情况下，所述客户端装置还选择所述基本层的URL ;所述服务器还从所述客户端装置接收用于请求所述基本层视频轨的一个请求消息，该请求消息包括所述基本层视频轨的URL ;并且所述服务器还响应于该请求消息，来将与所请求的基本层视频轨相对应的视频数据发送至所述客户端装置。
[0024]根据变形例，所述给定视频是包括基本层和至少一个增强层的可分级视频，所述η个视频子轨与增强层相对应；所述基本层的各帧也被分割成各自与所述增强层中的区块相对应的η个空间区块，以创建独立的η个基本层子轨。
[0025]在所述客户端装置根据一个关注区域选择至少一个URL的情况下，所述客户端装置还选择相应的基本层子轨的URL ;并且所述服务器还从所述客户端装置接收用于请求所述基本层子轨的一个请求消息，该请求消息包括所述基本层子轨的URL ;并且所述服务器还响应于该请求消息，来将与所请求的基本层子轨相对应的视频数据发送至所述客户端装置。
[0026]在实施例中，在所述描述文件中，利用子分割成每一个具有预先确定的高度和宽度的给定数量的行和列的网格来定义所述η个空间区块的结构。
[0027]在实施例中，所述η个空间区块的结构定义具有均一面积或非均一面积的空间区块。
[0028]在实施例中，各空间区块是矩形区域。
[0029]在实施例中，在所述空间区块具有均一面积的情况下，所述网格是利用水平维度和垂直维度这两者中的边界的数量所指定的。
[0030]在实施例中，在所述空间区块具有非均一面积的情况下，所述网格是利用行和列的数量以及行和列的边界的位置所指定的。
[0031 ] 在实施例中，所述数据是根据经由HTTP的动态自适应流传输标准即DASH标准进行流传输的，所述描述文件是媒体呈现描述文件。
[0032]在实施例中，各URL指定预定义的一段时间内的轨或视频子轨的片段。
[0033]在实施例中，所述η个空间区块的结构是通过使用相对于整个一段时间的句法元素针对各段时间所定义的。
[0034]在实施例中，所述描述文件包括每段时间内的针对各视频子轨所定义的参数的集入I=I ?
[0035]所述参数的集合包括包含与以下内容有关的数据的描述符:
[0036]a.轨的类型:视频轨或视频子轨，以及/或者
[0037]b.在轨是视频子轨的情况下，空间区块的位置和所述η个空间区块的结构。
[0038]在实施例中，所述描述文件针对每段时间包括针对各区块所定义的参数的集合，以及
[0039]所述参数的集合包括称为角色元素即Role元素的描述符，该Role元素包含与以下有关的数据:
[0040]a.所述轨的类型:视频轨或视频子轨，以及/或者
[0041]b.在所述轨是视频子轨的情况下，对所述η个空间区块的结构的参考。
[0042]在实施例中，在所述轨是视频子轨的情况下，描述符还包括用以指定所考虑的区块相对于所述η个空间区块的结构的位置的方案。
[0043]在实施例中，所述空间区块的位置是通过参考网格的行和列的索引来指示的。
[0044]在实施例中，所述空间区块的位置是通过参考所述空间区块的左上角的以像素为单位的位置以及所述空间区块的宽度和高度来指示的。
[0045]在实施例中，所述空间区块的位置是利用指定坐标系中的位置来指示的。
[0046]在实施例中，所述空间区块的位置被表示为空间媒体片断。
[0047]在实施例中，所述视频数据与表示相同内容的各自具有不同分辨率的m个视频相对应，并且各视频的各帧被分割成η个空间区块，以创建m*n个独立的视频子轨，其中m是整数。
[0048]在实施例中，所述描述文件包括视频子轨的参数，所述参数包括与不同视频子轨的可能或禁止的关联有关的数据，在根据经由HTTP的动态自适应流传输标准即DASH标准来对所述数据进行流传输的情况下，所述可能或禁止的关联是利用标识符属性来指示的。
[0049]这样使得客户端侧能够在无需在区块的特定情况下对所接收数据进行上采样和下采样的情况下，通过确保前挡显示来选择子轨的任何子集。
[0050]在实施例中，所述方法还包括以下步骤:
[0051]-获取与所述给定视频有关的数据，
[0052]-对所获取到的数据进行压缩，
[0053]-封装压缩后的数据，所述封装包括:
[0054].生成给定数量的视频片段文件，每一个视频片段文件包括给定的一段时间内的与所述给定视频和所述η个视频子轨有关的数据，以及
[0055].生成与媒体文件片段相关联的初始化片段，所述初始化片段包括与视频轨和所述视频子轨有关的初始化数据，以及
[0056]-根据封装后的数据来生成所述描述文件。
[0057]在实施例中，所述描述文件还包括与所述初始化片段相关联的URL。
[0058]在实施例中，所述初始化数据包括表示各视频子轨的宽度和高度的值。
[0059]在实施例中，所述初始化数据还包括使得能够将各视频子轨显示在恰当位置处的变换矩阵。
[0060]根据本发明的另一方面，提出了一种用于利用服务器装置向客户端装置提供数据的方法，所述数据与给定视频相对应，所述给定视频的各帧被分割成η个空间区块，以创建独立的η个视频子轨，其中η是整数，所述方法包括以下步骤:
[0061].生成描述文件，所述描述文件包括与所述η个视频子轨的空间组织有关的数据以及分别指定各视频子轨的至少η个URL ;
[0062].将所述描述文件发送至所述客户端装置；以及
[0063].基于一个或多个所述客户端装置或所述客户端装置的用户的请求来发送与给定数量的视频子轨相对应的视频数据，其中各请求包括所述URL其中之一。
[0064]在实施例中，所述描述文件还包括指定与完整的所述给定视频相对应的轨的URL，并且所述服务器装置基于包括完整的视频轨的URL的客户端装置请求来将与所述完整的视频轨相对应的视频数据发送至所述客户端装置。
[0065]在实施例中，所述给定视频是包括基本层和至少一个增强层的可分级视频，所述η个视频子轨与所述增强层相对应；并且所述给定视频还包括基本层轨，所述描述文件还包括所述基本层轨的URL ;并且所述服务器装置还基于包括所述基本层轨的URL的客户端装置请求，来将与所述基本层轨相对应的视频数据发送至所述客户端装置。
[0066]根据变形例，所述给定视频是包括基本层和至少一个增强层的可分级视频，所述η个视频子轨与所述增强层相对应；并且所述基本层的各帧还被分割成各自与所述增强层中的区块相对应的η个空间区块，以创建独立的η个基本层子轨，所述描述文件还包括所述基本层子轨的URL ;以及所述服务器装置还基于包括所述基本层子轨的URL的客户端装置请求，来将与所述基本层子轨相对应的视频数据发送至所述客户端装置。
[0067]在实施例中，在所述描述文件中，利用子分割成每一个具有预先确定的高度和宽度的给定数量的行和列的网格来定义所述η个空间区块的结构。
[0068]在实施例中，所述η个空间区块的结构定义具有均一面积或非均一面积的空间区块。
[0069]在实施例中，各空间区块是矩形区域。
[0070]在实施例中，在所述空间区块具有均一面积的情况下，所述网格是利用水平维度和垂直维度这两者中的边界的数量所指定的。
[0071]在实施例中，在所述空间区块具有非均一面积的情况下，所述网格是利用行和列的数量以及行和列的边界的位置所指定的。
[0072]在实施例中，所述数据是根据经由HTTP的动态自适应流传输标准即DASH标准来发送的，所述描述文件是媒体呈现描述文件。
[0073]在实施例中，URL指定预定义的一段时间内的轨或子轨的片段。
[0074]在实施例中，所述η个空间区块的结构是通过使用相对于整个一段时间的句法元素针对各段时间所定义的。
[0075]在实施例中，所述描述文件包括每段时间内的针对各视频子轨所定义的参数的集入I=I ?
[0076]所述参数的集合包括包含与以下内容有关的数据的描述符:
[0077]