媒体数据的网络流的制作方法
【专利摘要】在一示例中，一种设备包括一个或多个处理器，该一个或多个处理器被配置成：接收媒体数据的第一段，其中，第一段的媒体数据包括流接入点；接收媒体数据的第二段，其中，第二段的媒体数据在第二段的开始处没有流接入点；以及相对于第一段的数据的至少一部分，对第二段的媒体数据的至少一部分进行解码。以此方式，本公开内容的技术可以用于实现针对例如HTTP上的动态自适应流(DASH)的低延迟直播简档。
【专利说明】媒体数据的网络流
[0001]要求优先权
[0002]本申请要求享受于2011年10月5日提交的美国临时申请序列号N0.61/543，792和于2012年9月19日提交的美国临时申请序列号N0.61/703，174的权益，故明确地以引用方式将这两个申请中的每一个的全部内容并入本申请。
【技术领域】
[0003]本公开内容涉及存储和传输经过编码的媒体数据。
【背景技术】
[0004]可以将数字视频能力并入到大范围的设备中，包括数字电视、数字直接广播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、数字照相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电话、视频远程会议设备等。数字视频设备实现视频压缩技术，例如在由MPEG2、MPEG-4、ITU-T H.263或ITU-TH.264/MPEG-4、第10部分、高级视频编码(AVC)、很快会出现的高效视频编码(HEVC)标准以及这些标准的扩展中定义的标准中所描述的视频压缩技术，以更有效地发送和接收数字视频信息。
[0005]视频压缩技术执行空间预测和/或时间预测，以减少或移除在视频序列中固有的冗余。对于基于块的视频编码，可以将视频帧或片划分成块。可以进一步划分每一块。使用相对于相邻块的空间预测来对帧内编码(I)的帧或片中的块进行编码。帧间编码(P或B)的帧或片中的块可以使用相对于同一帧或片中的相邻块的空间预测或相对于其它参考帧的时间预测。
[0006]在已经对视频数据进行编码之后，可以将视频数据进行打包，以进行传输或存储。可以按照各种标准中的任何一些，将视频数据组装在视频文件中，例如国际标准化组织(ISO)基础媒体文件格式及其扩展，例如ITU-T H.264/AVC。可以以各种方式传输这样的打包视频文件，例如使用网络流量在计算机网络上进行传输。
【发明内容】
[0007]一般而言，本公开内容描述了用于通过网络流式传送媒体数据的技术。更具体地，本公开内容的方面涉及减少与通过网络，例如根据HTTP上的动态自适应流(DASH)，流式传送媒体数据相关联的延迟。在一些示例中，本公开内容的技术包括形成在段的开始处没有流接入点(SAP)的媒体数据的段。例如，在所有段中，一个或多个段可以没有SAP，或可以在不同于SAP的开始的位置处包括SAP。作为示例，可以使用在不同于段的开始的位置处的SAP来代替强迫的SAP，S卩，由应用标准所要求的SAP。
[0008]在一个示例中，一种方法包括:接收媒体数据的第一段，其中，所述媒体数据的第一段包括第一流接入点；接收媒体数据的第二段，其中，所述媒体数据的第二段在所述第二段的开始处没有流接入点；以及在继所述第一流接入点之后的第二流接入点可用之前，相对于所述媒体数据的第一段的至少一部分，对所述媒体数据的第二段的至少一部分进行解码。
[0009]在另一示例中，一种设备包括一个或多个处理器，所述一个或多个处理器被配置成:接收媒体数据的第一段，其中，所述媒体数据的第一段包括第一流接入点；接收媒体数据的第二段，其中，所述媒体数据的第二段在所述第二段的开始处没有流接入点；以及在继所述第一流接入点之后的第二流接入点可用之前，相对于所述第一段的媒体数据的至少一部分，对所述媒体数据的第二段的至少一部分进行解码。
[0010]在另一示例中，一种设备包括:用于接收媒体数据的第一段的模块，其中，所述媒体数据的第一段包括第一流接入点；用于接收媒体数据的第二段的模块，其中，所述媒体数据的第二段在所述第二段的开始处没有流接入点；以及用于在继所述第一流接入点之后的第二流接入点可用之前，相对于所述媒体数据的第一段的至少一部分，对所述媒体数据的第二段的至少一部分进行解码的模块。
[0011]在另一示例中，一种计算机可读存储介质具有存储在其上的指令，当所述指令被执行时，使得处理器:接收媒体数据的第一段，其中，所述媒体数据的第一段包括第一流接入点；接收媒体数据的第二段，其中，所述媒体数据的第二段在所述第二段的开始处没有流接入点；以及在继所述第一流接入点之后的第二流接入点可用之前，相对于所述媒体数据的第一段的至少一部分，对所述媒体数据的第二段的至少一部分进行解码。
[0012]在另一示例中，一种方法包括:获得媒体数据的第一段，其中，所述媒体数据的第一段包含第一流接入点；向客户端设备发送所述第一段；获得媒体数据的第二段，其中，所述媒体数据的第二段在所述第二段的开始处没有流接入点，并且其中，相对于所述媒体数据的第一段的一部分，对所述媒体数据的第二段的至少一部分进行编码；以及在继所述第一流接入点之后的第二流接入点可用之前，向所述客户端设备发送所述第二段。
[0013]在另一示例中，一种设备包括一个或多个处理器，所述一个或多个处理器被配置成:获得媒体数据的第一段，其中，所述媒体数据的第一段包含第一流接入点；向客户端设备发送所述第一段；获得媒体数据的第二段，其中，所述媒体数据的第二段在所述第二段的开始处没有流接入点，并且其中，相对于所述媒体数据的第一段的一部分，对所述媒体数据的第二段的至少一部分进行编码；以及在继所述第一流接入点之后的第二流接入点可用之前，向所述客户端设备发送所述第二段。
[0014]在另一示例中，一种设备包括:用于获得媒体数据的第一段的模块，其中，所述媒体数据的第一段包含第一流接入点；用于向客户端设备发送所述第一段的模块；用于获得所述媒体数据的第二段的模块，其中，所述媒体数据的第二段在所述第二段的开始处没有流接入点，并且其中，相对于所述媒体数据的第一段的一部分，对所述媒体数据的第二段的至少一部分进行编码；以及用于在继所述第一流接入点之后的第二流接入点可用之前，向所述客户端设备发送所述第二段的模块。
[0015]在另一示例中，一种计算机可读存储介质具有存储在其上的指令，当所述指令被执行时，使得处理器:获得媒体数据的第一段，其中，所述媒体数据的第一段包含第一流接入点；向客户端设备发送所述第一段；获得第二段，其中，所述媒体数据的第二段在所述第二段的开始处没有流接入点，并且其中，相对于所述媒体数据的第一段的一部分，对所述媒体数据的第二段的至少一部分进行编码；以及在继所述第一流接入点之后的第二流接入点可用之前，向所述客户端设备发送所述第二段。
[0016]结合附图和下文的描述给出了一个或多个示例的细节。根据说明书以及附图以及根据权利要求书，其它的特征、目的和优点将显而易见。
【专利附图】
【附图说明】
[0017]图1是示出实现用于在网络上流式传送媒体数据的技术的示例性系统的框图。
[0018]图2是示出根据本公开内容的方面的示例性获取单元的示例的框图。
[0019]图3是示出示例性多媒体内容的器件的示意图。
[0020]图4是示出根据本公开内容的方面的示例性视频数据片段的框图。
[0021]图5是示出用于执行本公开内容的技术的示例性方法的流程图。
[0022]图6是示出一系列经编码的视频帧和包括视频帧的段的示意图。
[0023]图7是示出根据IDR间隔展示误码秒数的实验测试结果的曲线图。
[0024]图8是示出由于前向纠错(FEC)的实验测试结果的另一示例的曲线图。
[0025]图9是示出展示以各种IDR间隔(在呈现时间)的段的比特率的实验测试结果的曲线图。
[0026]图10示出了描绘相对于平均意见得分(MOS)的各种峰值信噪比的一组曲线。
[0027]图11是描绘在具有和不具有FEC的情况下，展示针对各种数据突发间隔的误码秒数的实验测试结果的曲线图。
[0028]图12是示出针对各种段持续时间的IDR间隔的各种示例的示意图。
[0029]图13是示出用于发送不包括流接入点(SAP)的表现的一个或多个段的示例性方法的流程图。
[0030]图14是示出针对DASH实时和低延迟实时曲线的数据安排的示例的示意图。
[0031]图15是示出在物理层针对示例性DASH实时和DASH低延迟实时曲线的每段比特率的示意图。
[0032]图16是示出用于最小化低延迟实时段的峰到峰比特率变化的技术的示意图。
[0033]图17是示出与DSH实时和DASH低延迟实时曲线对应的示例性表现的示意图，其中，场景变化的IDR帧与强迫的IDR帧同时发生。
[0034]图18是示出在存在不同步的场景变化的IDR帧的情况下，用于最小化峰到峰比特率变化的技术的示意图。
[0035]图19是示出允许场景变化的IDR帧的次优强迫的IDR图像序列的示意图。
[0036]图20是示出用于形成根据本公开内容的某些技术的表现的另一示例性方法的流程图。
【具体实施方式】
[0037]—般来说，本公开内容描述了用于在网络上流式传送多媒体数据的技术，例如，音频和视频数据。可以结合HTTP上的动态自适应流(DASH)来使用本公开内容的技术。本公开内容描述了可以结合网络流来执行的各种技术，可以单独或以任何组合来实现其中的任何一个或全部。如在下文更详细描述的，可以将执行网络流的各种设备配置成实现本公开内容的技术。[0038]根据DASH以及用于在网络上流式传送数据的类似技术，可以以多种方式编码多媒体内容(例如，电影或其它音频/视频内容，其也可以包括文字蒙板或其它数据)，并且其可以具有各种特征。内容准备设备可以形成相同多媒体内容的多个表现。每一表现可以与特定的一组特征相对应，例如编码和呈现特征，以利用具有各种编码和呈现能力的客户端设备提供可用的数据。此外，具有各种比特率的表现可以允许带宽适应。即，客户端设备可以确定当前可用的带宽量，并基于可用的带宽量与客户端设备的编码和呈现能力一起来选择表现。
[0039]在一些示例中，内容准备设备可以指示一组表现具有一组共同的特征。然后，内容准备设备可以将设置表格中的表现指示为自适应组，其中该组中的表现可以用于带宽适应。在一些实例中，还可以将自适应组成为“表现组”。该组中的表现可以在比特率、分辨率和/或帧率上不同，但是其共享基本上相同的特征。以此方式，客户端设备可以针对多媒体内容的自适应组确定各中共同特征组，并且基于客户端设备的编码和呈现能力选择自适应组。然后，客户端设备可以适应性地基于带宽可用性在所选择的自适应组中的表现之间切换。
[0040]内容准备设备还可以针对诸如格式为由3GPP(第三代合作伙伴计划)所规定的媒体呈现描述(MPD)文件之类的清单文件的不同部分提供相分离的网络位置。S卩，清单文件的不同部分可以是利用例如诸如统一资源定位符(URL)之类的各种统一资源标识符(URI)独立可寻址的。清单文件的初始部分可以包括UR1、URL、或清单文件的另一部分的其它位置标识符。例如，如上文所讨论的，清单文件的第一部分可以包括自适应组的共同特征的描述。
[0041 ] 自适应组中的每一个可以与清单文件的相应的不同部分相关联，其可以包括对相应的自适应组中的表现的媒体数据的位置进行指示的数据。以此方式，客户端设备可以接收清单文件的第一部分，选择适当的自适应组，针对所选择的自适应组获得清单文件的另一部分，选择所选择的组中的表现，并使用清单文件的另一部分来获得所选择的表现的数据。此外，客户端设备可以视频成使用清单文件的另一部分来改变网络带宽，即，特定于所选择的自适应组的部分。
[0042]DASH还可以在直播内容的流的背景下使用，S卩，实况记录的媒体内容，例如，在体育事件、有报导价值的事件、或观众希望基本上实时看见的其它时间期间。例如，可以使用增强型多媒体广播多播服务(eMBMS)来流式传送基本上实时形成的DASH段。因为观众想要尽量接近实时的观看内容，所以减少延迟(即，在事件发生和观众能看见该事件之间的延迟)的技术是非常可取的。如下文更详细描述的，本公开内容描述了可以用于减少延迟的技术。
[0043]诸如媒体内容的表现的段之类的视频文件可以符号根据ISO基本媒体文件格式、可伸缩视频编码(SVC)文件格式、高级视频编码(AVC)文件格式、第三代合作伙伴技术(3GPP)文件格式、和/或多视点视频编码(MVC)文件格式或其它类似的视频文件格式中的任何一个封装的视频数据。
[0044]ISO基本媒体文件格式被设计成包含用于以便于实现对该媒体的交换、管理、编辑以及呈现的弹性的、可扩展的格式来呈现的有时限的媒体信息。在MPEG-4部分12中可以指定ISO基本媒体文件格式(IS0/IEC14496-12:2004)，其针对基于时间的媒体文件定义了通用结构。ISO基本媒体文件格式被用作诸如被定义支持H.264/MPEG-4AVC视频压缩的AVC文件格式(IS0/IEC14496-15)、3GPP文件格式、SVC文件格式以及MVC文件格式之类的家族中的其它文件格式的基础。3GPP文件格式和MVC文件格式是AVC文件格式的扩展。ISO基本媒体文件格式包含时间、结构以及针对有时限的媒体数据序列的媒体信息，例如，视听呈现。文件结构可以是面向对象的。可以非常简单地将文件分解成基本对象并且从它们的类型隐含了对象的结构。
[0045]符号ISO基本媒体文件格式(及其扩展)的文件可以形成为一系列的对象，称为“盒”。可以在盒中包含ISO基本媒体文件中的数据，使得没有其它数据需要包含在该文件中，并且不需要有位于文件内的盒之外的数据。这包括特定文件格式所需的任何初始签名。“盒”可以是由独特的类型标识符和长度所定义的面向对象的构件。典型地，在一个文件中包含呈现，并且媒体呈现是独立的。电影容器(电影盒)可以包含媒体的元数据，并且视频和音频帧可以包含在媒体数据容器中，并且可以包含在其它文件中。
[0046]表现(动作序列)可以包含在若干文件中，其优势成为段。时间和帧(位置和大小)信息通常在ISO基本媒体文件中，并且辅助文件可以实质上实现任何格式。针对包含该呈现的系统，该呈现可以是“本地的”，或者可以通过网络或其它流传送方案来提供该呈现。
[0047]可选的元数据频道可以用于利用其具有的“有趣特征”来标记每一频道，其中，其值可能与该组中其它成员不同(例如，其比特率、屏幕大小或语言)。频道内的一些样本可以具有特别的特征或可以单独被识别出。特征中的一个示例是同步点(经常是视频I帧)。这些点可以由每一频道内的特别表格来标识。更通常地，频道样本之间的从属本性也可以使用元数据来记录。可以将元数据构造为一系列的文件格式样本，就像视频频道一样。可以将这样的频道称为元数据频道。可以将每一元数据样本构造为元数据声明。存在于各种问题相对应的各种声明，上述问题可能是询问关于相应的文件格式样本或其组成样本的。
[0048]当通过流协议传送媒体时，媒体可能需要根据其在文件中表示的方式来转换。其一个示例是当通过实时传输协议(RTP)来发送媒体时。在该文件中，例如，将视频的每一帧连续地存储为文件格式样本。在RTP中，必须遵守特定于所使用的编码解码器的打包规则，以将这些帧放置在RTP包中。可以将流服务器配置成在运行时计算这样的打包。但是，存在对流服务器的辅助的支持。
[0049]本公开内容的技术可以适用于网络流协议，例如，HTTP流，例如，根据HTTP上的动态自适应流(DASH)。在HTTP流中，频繁使用的操作包括获取和部分获取。获取操作取回整个文件，在DASH的背景下，经常成为段，与给定的统一资源定位符(URL)或其它标识符例如URI相关联。部分获取操作接收字节范围作文输入参数，并取回与所接收的字节范围相对应的文件或段的连续数量的字节。从而，针对HTTP流可以提供电影片段，因为，部分获取操作可以获取在文件或段内的一个或多个单个电影片段。要注意的是，在电影片段中，可以存在不同频道的若干频道片段。在HTTP流中，媒体表现可以是结构化的数据集合，其包括表示客户端可获得用于播放的相关多媒体内容的时间线的一个或多个文件或片段。该客户端可以请求或下载媒体数据信息，以向用户呈现流服务。或者，可以使用诸如eMBMS之类的广播或多播协议来传送DASH段。
[0050]在使用HTTP流的流3GPP数据的示例中，可以存在针对多媒体内容的视频和/或音频数据的多个表现。可以在媒体呈现描述(MPD)数据结构中定义这样的表现的清单。媒体表现可以对应于HTTP流客户端设备可获得的结构化数据集合。HTTP流客户端设备可以请求和下载媒体数据信息，以向客户端设备的用户呈现流服务。可以在Mro数据结构中描述媒体表现，其可以包括MPD的更新。
[0051 ] 多媒体内容可以包含一系列的一个或多个时段。可以利用MPD中的时段单元来定义时段。在MPD中，每一时段可以具有属性开始。对于每一个时段，MPD可以包含开始属性和可用的开始时间属性。对于直播服务，时段的开始属性和MPD属性可用的开始时间的和可以以UTC格式指定时段，特别是相应时段中的每一表现的第一媒体段。对于按需服务，第一个时段的开始属性可以是O。对于任何其它时段，开始属性可以指定相应的时段的开始时间相对于第一个时段的开始时间的时间偏移。每一时段可以扩展，直到下一个时段的开始，或者，在最后的时段的情况下，直到媒体呈现的结束为止。时段开始时间可以是精确的。其可以反映由播放所有先前时段的媒体所造成实际时间。
[0052]每一时段可以包含针对相同媒体内容的一个或多个表现。表现可以是多个可供选择的音频或视频数据的经编码的版本中的一个。表现可以在各个特征方面不同，如编码类型例如，比特率、分辨率、和/或用于视频数据和比率的编码解码器、语言、和/或用于音频数据的编码解码器。术语表现可以用来指代与多媒体内容的特定时段相对应并以特定方式编码的经编码的音频或视频数据的一部分。
[0053]可以向组、或自适应组分配特定时段的表现，其可以由MPD中的组或自适应集合属性来指示。相同的自适应组中的表现通常被认为可相互替代。例如，可以向相同的自适应组分配针对特定时段的每一视频数据表现，使得可以选择表现中的任何一个用于解码，以针对相应的时段显示多媒体内容的视频数据。在一些示例中，一个时段内的媒体内容可以由来自自适应组O (如果存在的话)中的一个表现或来自非零的每一自适应组的至少一个表现的组合来表示。可以相对于时段的开始时间来表达时段的每一表现的时间数据。
[0054]表现可以包括一个或多个段。每一表现可以包括初始化端，或表现的每一段可以是自行初始化的。当存在的话，初始化端可以包含用于访问表现的初始化信息。通常，初始化段不包含媒体数据。可以利用诸如统一资源定位符(URL)之类的标识符来唯一地标识段。Mro可以针对每一段提供标识符。在一些示例中，Mro还可以以范围属性的形式提供字节范围，其可以与针对利用URL或URI可访问的文件中的段的数据相对应。
[0055]每一表现还可以包括一个或多个媒体组件，其中，每一媒体组件可以与诸如音频、视频和/或有时限的文本(例如，用于隐藏字幕)之类的一个单独的媒体类型的编码版本相对应。媒体组件可以跨一个表现中连续的媒体端的边界在时间上持续。
[0056]典型地，符合DASH标准的段通常具有三个部分，包括(I)固定头部，(2)针对数据单元的指针表，以及(3)数据单元自身。在一个示例中，可以根据下文示出的表I来形成段:
[0057]表11-媒体数据的段
【权利要求】
1.一种接收媒体数据的方法，所述方法包括: 接收媒体数据的第一段，其中，所述媒体数据的第一段包括第一流接入点； 接收媒体数据的第二段，其中，所述媒体数据的第二段在所述第二段的开始处没有流接入点；以及 在继所述第一流接入点之后的第二流接入点可用之前，相对于所述媒体数据的第一段的至少一部分，对所述媒体数据的第二段的至少一部分进行解码。
2.根据权利要求1所述的方法，其中，所述第二段没有流接入点。
3.根据权利要求1所述的方法，其中，所述第二段在不同于所述第二段的开始的位置处包括第三流接入点，并且其中，所述第二流接入点在所述第三流接入之后。
4.根据权利要求1所述的方法，还包括: 在接收所述第二段之前，对所述第一段的媒体数据的至少一部分进行解码。
5.根据权利要求1所述的方法，其中，所述第一段的经编码的数据与播放持续时间相对应，并且其中，所述第二段的经编码的数据与相同的播放持续时间相对应。
6.根据权利要求5所述的方法，其中，一个表现包括包含所述第一段和所述第二段的多个段，并且其中，所述多个段中的每一个包括相同的播放持续时间。
7.根据权利要求1所述的方法，其中，所述第一段的经编码的数据与播放时间的第一持续时间相对应，并且其中，所述第二段的经编码的数据与不同于所述第一播放持续时间的第二播放持续时间相对应。
8.根据权利要求1所述的方法，其中，所述流接入点包括所述第一段的即时解码器刷新(IDR)图像。
9.根据权利要求1所述的方法，其中，所述第一段包括第一HTTP上的动态自适应流(DASH)段，并且其中，所述第二段包括不同于所述第一 DASH段的第二 DASH段。
10.根据权利要求1所述的方法，其中，所述第一段包括第一媒体文件，并且其中，所述第二段包括与所述第一媒体文件相分离的第二媒体文件。
11.一种用于接收媒体数据的设备，所述设备包括一个或多个处理器，所述一个或多个处理器被配置成: 接收媒体数据的第一段，其中，所述媒体数据的第一段包括第一流接入点； 接收媒体数据的第二段，其中，所述媒体数据的第二段在所述第二段的开始处没有流接入点；以及 在继所述第一流接入点之后的第二流接入点可用之前，相对于所述第一段的数据的至少一部分，对所述媒体数据的第二段的至少一部分进行解码。
12.根据权利要求11所述的设备，其中，所述第二段没有流接入点。
13.根据权利要求11所述的设备，其中，所述第二段在不同于所述第二段的开始的位置处包括第三流接入点，并且 其中，所述第二流接入点在所述第三流接入之后。
14.根据权利要求11所述的设备，其中，所述一个或多个处理器被配置成:在接收所述第二段之前，对所述第一段的媒体数据的至少一部分进行解码。
15.根据权利要求11所述的设备，其中，所述第一段的经编码的数据与播放持续时间相对应，并且其中，所述第二段的经编码的数据与相同的播放持续时间相对应。
16.根据权利要求15所述的设备，其中，一个表现包括包含所述第一段和所述第二段的多个段，并且其中，所述多个段中的每一个包括相同的播放持续时间。
17.根据权利要求11所述的设备，其中，所述媒体数据的第一段与具有第一播放时间的媒体数据相对应，并且其中，所述媒体数据的第二段与具有不同于所述第一播放时间的第二播放时间的媒体数据相对应。
18.根据权利要求11所述的设备，其中，所述第一段包括第一HTTP上的动态自适应流(DASH)段，并且其中，所述第二段包括不同于所述第一 DASH段的第二 DASH段。
19.一种用于接收媒体数据的设备，所述设备包括: 用于接收媒体数据的第一段的模块，其中，所述第一段包括第一流接入点； 用于接收媒体数据的第二段的模块，其中，所述媒体数据的第二段在所述第二段的开始处没有流接入点；以及 用于在继所述第一流接入点之后的第二流接入点可用之前，相对于所述媒体数据的第一段的至少一部分，对所述媒体数据的第二段的至少一部分进行解码的模块。
20.根据权利要求19所述的设备，其中，所述第二段没有流接入点。
21.根据权利要求19所述的设备，其中，所述第二段在不同于所述第二段的开始的位置处包括第三流接入点，并且其中，所述第二流接入点在所述第三流接入之后。
22.根据权利要求19所述的设备，还包括: 用于在接收所述第二段之前，对所述第一段的媒体数据的至少一部分进行解码的模块。
23.根据权利要求19所述的设备，其中，所述第一段的经编码的数据与播放持续时间相对应，并且其中，所述第二段的经编码的数据与相同的播放持续时间相对应。
24.根据权利要求19所述的设备，其中，所述媒体数据的第一段与具有第一播放时间的媒体数据相对应，并且其中，所述媒体数据的第二段与具有不同于所述第一播放时间的第二播放时间的媒体数据相对应。
25.根据权利要求19所述的设备，其中，所述第一段包括第一HTTP上的动态自适应流(DASH)段，并且其中，所述第二段包括不同于所述第一 DASH段的第二 DASH段。
26.一种具有存储在其上的指令的计算机可读存储介质，当所述指令被执行时，使得处理器: 接收媒体数据的第一段，其中，所述媒体数据的第一段包括第一流接入点； 接收媒体数据的第二段，其中，所述媒体数据的第二段在所述第二段的开始处没有流接入点；以及 在继所述第一流接入点之后的第二流接入点可用之前，相对于所述媒体数据的第一段的至少一部分，对所述媒体数据的第二段的至少一部分进行解码。
27.根据权利要求26所述的计算机可读存储介质，其中，所述第二段没有流接入点。
28.根据权利要求26所述的计算机可读存储介质，其中，所述第二段在不同于所述第二段的开始的位置处包括第三流接入点，并且其中，所述第二流接入点在所述第三流接入点之后。
29.根据权利要求26所述的计算机可读存储介质，还包括: 使得所述处理器在接收所述第二段之前，对所述第一段的媒体数据的至少一部分进行解码的指令。
30.根据权利要求26所述的计算机可读存储介质，其中，所述第一段的经编码的数据与播放持续时间相对应，并且其中，所述第二段的经编码的数据与相同的播放持续时间相对应。
31.根据权利要求26所述的计算机可读存储介质，其中，所述媒体数据的第一段与具有第一播放时间的媒体数据相对应，并且其中，所述媒体数据的第二段与具有不同于所述第一播放时间的第二播放时间的媒体数据相对应。
32.根据权利要求26所述的计算机可读存储介质，其中，所述第一段包括第一HTTP上的动态自适应流(DASH)段，并且其中，所述第二段包括不同于所述第一DASH段的第二DASH段。
33.一种发送媒体数据的方法，所述方法包括: 获得媒体数据的第一段，其中，所述第一段包含第一流接入点； 向客户端设备发送所述第一段； 获得媒体数据的第二段，其中，所述媒体数据的第二段在所述第二段的开始处没有流接入点，并且其中，相对于所述媒体数据的第一段的至少一部分，对所述媒体数据的第二段的至少一部分进行编码；以及 在继所述第一流接入点之后的第二流接入点可用之前，向所述客户端设备发送所述第二段。
34.根据权利要求33所述的方法，其中，所述第二段没有流接入点。
35.根据权利要求33所述的方法，其中，所述第二段在不同于所述第二段的开始的位置处包括第三流接入点，并且其中，所述第二流接入点在所述第三流接入之后。
36.根据权利要求35所述的方法，还包括: 确定所述第二段对应于需要流接入点的时间位置，以及将对应于在不同于所述第二段的所述开始的位置处的所述流接入点的场景变化即时解码器刷新(IDR)图像当作所需的流接入点进行处理。
37.根据权利要求35所述的方法，还包括: 形成服务的组合体，所述服务中的每一个服务包括相应的多个段，其中，所述服务中的一个服务包括包含所述第一段和所述第二段的多个段，其中，形成所述服务的组合体包括: 形成所述服务中的一个服务以包括第一服务，其中，所述第一服务的第一段的第一 SAP具有第一呈现时间，其中，所述第一服务的第二段的第二 SAP具有第二呈现时间，并且其中，所述第一段和所述第二段在所述第一服务中是连续的；以及 形成所述服务中的一个或多个服务以包括与所述第一服务相分离的相应的多个服务，使得对于在所述第一呈现时间和所述第二呈现时间之间的呈现时间，所述多个服务包括具有呈现时间的SAP，所述呈现时间在所述第一呈现时间和所述第二呈现时间之间、与所述第一呈现时间不同、并且与 所述多个服务的其它服务的其它SAP的呈现时间不同。
38.根据权利要求37所述的方法，其中，当包含具有在所述第一呈现时间和所述第二呈现时间之间的所述呈现时间的所述SAP的所述多个服务的段不包括场景变化即时解码器刷新(IDR)图像时，形成第一服务包括形成所述第一段以具有为所述多个服务的所述段的长度的倍数的长度，其中，所述倍数大于I。
39.根据权利要求38所述的方法，其中，所述倍数大于或等于所述多个服务的数量。
40.根据权利要求37所述的方法，其中，所述多个服务的段具有第一长度，并且其中，所述第一服务的所述第一段具有等于所述多个服务的数量乘以所述第一长度再加上所述第一长度的长度。
41.根据权利要求37所述的方法，其中，所述服务的组合体包括服务的整个组合体的第一子集，并且其中，所述服务的整个组合体的第二子集包括多个服务，所述多个服务在所述第一子集中的所述多个服务的至少一些呈现时间的呈现时间处包括SAP。
42.根据权利要求37所述的方法，还包括: 确定所述服务的组合体是否包括超过服务的阈值数量的服务数量；以及 当所述服务数量超过所述服务的阈值数量时，将所述组合体分成两个或更多个分开的服务的组合体。
43.根据权利要求37所述的方法，其中，形成所述多个服务包括:以基本上符合循环插入的方式来插入所述SAP，并且当所述多个服务中的第一个服务包括具有不同于与所述循环插入相对应的呈现时间的一呈现时间的场景变化即时解码器刷新(IDR)图像时，针对所述多个服务中的所述第一个服务，在对应于所述循环插入的所述呈现时间处，插入所述多个服务中的第二个服务的SAP。
44.根据权利要求33所述的方法，其中，发送所述第一段包括在获得所述第二段之前发送所述第一段。
45.根据权利要求33所述的方法，还包括: 形成符合HTTP上的动态自适应流(DASH)的低延迟直播简档的表现，使得所述表现包括所述第一段和所述第二段。
46.根据权利要求33所述的方法，其中，所述第一段的经编码的数据与播放持续时间相对应，并且其中，所述第二段的经编码的数据与相同的播放持续时间相对应。
47.根据权利要求33所述的方法，其中，一个表现包括包含所述第一段和所述第二段的多个段。
48.根据权利要求33所述的方法，其中，获得所述第一段包括从内容准备设备接收所述第一段，并且其中，获得所述第二段包括从所述内容准备设备接收所述第二段。
49.根据权利要求33所述的方法，其中，获得所述第一段包括在直播录制期间，实时接收所述第一段的媒体数据。
50.根据权利要求33所述的方法，其中，获得所述第一段包括对所述第一段的媒体数据进行编码，并且其中，获得所述第二段包括对所述第二段的媒体数据进行编码。
51.根据权利要求50所述的方法，其中，对所述媒体数据的第二段进行编码包括:相对于所述第一段的数据对所述媒体数据的第二段的至少一部分进行编码。
52.根据权利要求33所述的方法，其中，所述第一段包括第一HTTP上的动态自适应流(DASH)段，并且其中，所述第二段包括不同于所述第一 DASH段的第二 DASH段。
53.根据权利要求33所述的方法，其中，所述第一段包括第一媒体文件，并且其中，所述第二段包括与所述第一媒体文件相分离的第二媒体文件。
54.一种用于发送媒体数据的设备，所述设备包括一个或多个处理器，所述一个或多个处理器被配置成:获得媒体数据的第一段，其中，所述媒体数据的第一段包含第一流接入点； 向客户端设备发送所述第一段； 获得媒体数据的第二段，其中，所述媒体数据的第二段在所述第二段的开始处没有流接入点，并且其中，相对于所述媒体数据的第一段的至少一部分，对所述媒体数据的第二段的至少一部分进行编码；以及 在继所述第一流接入点之后的第二流接入点可用之前，向所述客户端设备发送所述第二段。
55.根据权利要求54所述的设备，其中，所述第二段没有流接入点。
56.根据权利要求54所述的设备，其中，所述第二段在不同于所述第二段的开始的位置处包括第三流接入点，并且其中，所述第二流接入点在所述第三流接入点之后。
57.根据权利要求54所述的设备，其中，所述一个或多个处理器被配置成在获得所述第二段之前发送所述第一段。
58.根据权利要求54所述的设备，其中，所述第一段的经编码的数据与播放持续时间相对应，并且其中，所述第二段的经编码的数据与相同的播放持续时间相对应。
59.根据权利要求54所述的设备，其中，一个表现包括包含所述第一段和所述第二段的多个段。
60.根据权利要求54所述的设备，其中，所述一个或多个处理器被配置成:对所述第一段的媒体数据进行编码，以及相对于所述第一段的数据对所述第二段的媒体数据进行编码。
61.根据权利要求54所述的设备，其中，所述第一段包括第一HTTP上的动态自适应流(DASH)段，并且其中，所述第二段包括不同于所述第一 DASH段的第二 DASH段。
62.一种用于发送媒体数据的设备，所述设备包括: 用于获得媒体数据的第一段的模块，其中，所述媒体数据的第一段包含第一流接入占.用于向客户端设备发送所述第一段的模块； 用于获得所述媒体数据的第二段的模块，其中，所述媒体数据的第二段在所述第二段的开始处没有流接入点，并且其中，相对于所述媒体数据的第一段的至少一部分，对所述媒体数据的第二段的至少一部分进行编码；以及 用于在继所述第一流接入点之后的第二流接入点可用之前，向所述客户端设备发送所述第二段的模块。
63.根据权利要求62所述的设备，其中，所述第二段没有流接入点。
64.根据权利要求62所述的设备，其中，所述第二段在不同于所述第二段的开始的位置处包括第三流接入点，并且其中，所述第二流接入点在所述第三流接入点之后。
65.根据权利要求62所述的设备，其中，所述用于发送所述第一段的模块包括:用于在获得所述第二段之前发送所述第一段的模块。
66.根据权利要求62所述的设备，其中，一个表现包括包含所述第一段和所述第二段的多个段。
67.根据权利要求62所述的设备，其中，所述用于获得所述第一段的模块包括:用于对所述第一段的媒体数据进行编码的模块，并且其中，所述用于获得所述第二段的模块包括:用于相对于所述第一段的数据对所述第二段的媒体数据进行编码的模块。
68.根据权利要求62所述的设备，其中，所述第一段包括第一HTTP上的动态自适应流(DASH)段，并且其中，所述第二段包括不同于所述第一 DASH段的第二 DASH段。
69.一种具有存储在其上的指令的计算机可读存储介质，当所述指令被执行时，使得处理器: 获得媒体数据的第一段，其中，所述媒体数据的第一段包含流接入点； 向客户端设备发送所述第一段； 获得媒体数据的第二段，其中，所述媒体数据的第二段在所述第二段的开始处没有流接入点，并且其中，相对于所述媒体数据的第一段的至少一部分，对所述媒体数据的第二段的至少一部分进行编码；以及 在继所述第一流接入点之后的第二流接入点可用之前，向所述客户端设备发送所述第二段。
70.根据权利要求69所述的计算机可读存储介质，其中，所述第二段没有流接入点。
71.根据权利要求69所述的计算机可读存储介质，其中，所述第二段在不同于所述第二段的开始的位置处包括第三流接入点，并且其中，所述第二流接入点在所述第三流接入点之后。
72.根据权利要求69所述的计算机可读存储介质，其中，使所述处理器发送所述第一段的所述指令包括:使所述处理器在获得所述第二段之前发送所述第一段的指令。
73.根据权利要求69所述的计算机可读存储介质，其中，一个表现包括包含所述第一段和所述第二段的多个段。
74.根据权利要求69所述的计算机可读存储介质，其中，使所述处理器获得所述第一段的所述指令包括:使所述处理器对所述第一段的媒体数据进行编码的指令，并且其中，使所述处理器获得所述第二段的指令包括:使所述处理器相对于所述第一段的数据对所述第二段的媒体数据进行编码的指令。
75.根据权利要求69所述的计算机可读存储介质，其中，所述第一段包括第一HTTP上的动态自适应流(DASH)段，并且其中，所述第二段包括不同于所述第一DASH段的第二DASH段。
【文档编号】H04N21/61GK103931204SQ201280055883
【公开日】2014年7月16日 申请日期:2012年10月5日 优先权日:2011年10月5日
【发明者】G·K·瓦尔克, M·G·卢比 申请人:高通股份有限公司