用于视频译码的具有解码次序编号的单个网络抽象层单元包的制作方法
【专利说明】用于视频译码的具有解码次序编号的单个网络抽象层单元包
[0001]本申请案主张2013年5月31日申请的第61/829，950号美国临时专利申请案的权益，所述申请案的全部内容以引用的方式并入本文中。
技术领域
[0002]本发明涉及视频数据的处理。
【背景技术】
[0003]数字视频能力可并入到多种多样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的视频压缩技术。视频装置通过实施此类视频压缩技术可更有效地发射、接收、编码、解码及/或存储数字视频信息。
[0004]视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的一部分)分割成视频块，视频块也可被称作树块、译码单元(CU)及/或译码节点。图片的经帧内译码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测，或相对于其它参考图片中的参考样本的时间预测。图片可被称为帧，且参考图片可被称为参考帧。
[0005]空间或时间预测产生用于待译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据来编码。经帧内译码块是根据帧内译码模式及残余数据而编码。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，接着可对残余变换系数进行量化。可扫描最初布置成二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现更多压缩。
[0006]可使用一或多个协议发射及接收视频数据。每一协议可指定各种内容及格式要求用于在使用所述协议时发射及/或接收数据。举例来说，一些协议可将数据流或组分离成信息块以用于经由一或多个网络传输。在一些协议中，此分隔程序可称为包化或成帧。
【发明内容】
[0007]本发明的技术提供用于处理使用例如实时传输协议(RTP)等网络协议发送及接收的视频数据的方法及设备。更具体来说，本文所述的技术提供可配合各种发射参数及模式而使用的单个NAL单元包格式。
[0008]在本发明的一个实例中，一种处理实时传输协议(RTP)有效负载中的视频数据的方法包含:将视频数据囊封于用于RTP会话的单个网络抽象层(NAL)单元包中，其中所述单个NAL单元包含有单个NAL单元；以及基于以下各者中的至少一者将解码次序编号信息囊封于所述单个NAL单元包中:所述RTP会话呈多流发射(MST)模式，或解包化缓冲器中的在接收次序上可先于所述NAL单元且在解码次序上在所述NAL单元之后的NAL单元的最大数目大于O。
[0009]在本发明的另一实例中，一种处理实时传输协议(RTP)有效负载中的视频数据的方法包含:解封囊封于用于RTP会话的单个网络抽象层(NAL)单元包中的视频数据，其中所述单个NAL单元包含有单个NAL单元；以及基于以下各者中的至少一者解封囊封于所述单个NAL单元包中的解码次序编号信息:所述RTP会话呈多流发射(MST)模式，或解包化缓冲器中的在接收次序上可先于所述NAL单元且在解码次序上在所述NAL单元之后的NAL单元的最大数目大于O。
[0010]在本发明的另一实例中，一种经配置以处理实时传输协议(RTP)有效负载中的视频数据的设备包含:存储器，其经配置以存储视频数据；以及处理器，其经配置以:在实时传输协议(RTP)有效负载内将视频数据囊封于用于RTP会话的单个网络抽象层(NAL)单元包中，其中所述单个NAL单元包含有单个NAL单元；以及基于以下各者中的至少一者将解码次序编号信息囊封于所述单个NAL单元包中:所述RTP会话呈多流发射(MST)模式，或解包化缓冲器中的在接收次序上可先于所述NAL单元且在解码次序上在所述NAL单元之后的NAL单元的最大数目大于O。
[0011]在本发明的一个实例中，一种处理实时传输协议(RTP)有效负载中的视频数据的设备包含:用于将视频数据囊封于用于RTP会话的单个网络抽象层(NAL)单元包中的装置，其中所述单个NAL单元包含有单个NAL单元；以及用于基于以下各者中的至少一者将解码次序编号信息囊封于所述单个NAL单元包中的装置:所述RTP会话呈多流发射(MST)模式，或解包化缓冲器中的在接收次序上可先于所述NAL单元且在解码次序上在所述NAL单元之后的NAL单元的最大数目大于O。
[0012]—或多个实例的细节陈述于附图及以下描述中。其它特征、目标及优势将从描述及附图及权利要求书中显而易见。
【附图说明】
[0013]图1是说明可利用本发明中描述的技术的实例视频编码及解码系统的概念图。
[0014]图2是展示HEVC网络抽象层(NAL)单元标头的结构的概念图。
[0015]图3是展示用于聚合包的实时传输协议(RTP)有效负载格式的结构的概念图。
[0016]图4是展示聚合包中的第一集合单元的结构的概念图。
[0017]图5是展示用于单个NAL单元包的RTP有效负载格式的结构的概念图。
[0018]图6是展示根据本发明的技术的用于单个NAL单元包的RTP有效负载格式的实例的概念图。
[0019]图7是展示根据本发明的技术的用于单个NAL单元包的RTP有效负载格式的另一实例的概念图。
[0020]图8是说明可实施本发明中描述的技术的实例视频编码器的概念图。
[0021]图9是说明可实施本发明中描述的技术的实例视频解码器的框图。
[0022]图10是说明形成网络的部分的一组实例装置的框图。
[0023]图11是说明根据本发明的技术的用于以RTP有效负载格式囊封视频数据的实例操作的流程图。
[0024]图12是说明根据本发明的技术的用于解封以RTP有效负载格式囊封的视频数据的实例操作的流程图。
【具体实施方式】
[0025]本发明介绍用于包化视频数据的各种技术及裝置。在一或多个实例中，本发明提出用于传输视频数据的实时传输协议(RTP)有效负载格式的改善设计。明确地说，本发明提出用于用信号表示用于单个网络抽象层(NAL)单元RTP包的解码次序编号(DON)的技术。用于传输单个NAL单元包的先前技术与某些发射模式及发射参数不兼容。实际上，先前技术需要单个NAL单元在聚合包中发射，从而招致增大的开销及减小的输送量。通过将解码次序编号信息包含在灵活的单个NAL单元包中，本文所述的技术可允许更有效地发射单个NAL单元，且使得能够配合各种发射模式及发射参数使用单个NAL单元包。
[0026]图1是说明可结合本发明中描述的技术使用的实例视频处理系统10的框图。举例来说，系统10可经配置以使用本发明中描述的RTP技术产生、处理及传输视频数据。如图1中所示，系统10包含源装置12，其提供稍后将由目的地装置14解码的经编码视频数据。经编码视频数据可通过媒体感知网络元件(MANE) 29从源装置12路由到目的地装置14。源装置12及目的地装置14可包括多种多样的装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”平板电脑、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在一些情况下，可装备源装置12及目的地装置14以用于无线通
?目O
[0027]系统10可根据不同视频译码标准、专属标准或多视图译码的任何其它方式操作。举例来说，视频编码器20及视频解码器30可根据视频压缩标准操作，所述视频压缩标准例如 ITU-T H.26UIS0/IEC MPEG-1 VisuaUITU-T H.262 或 IS0/IEC MPEG-2 VisuaUITU-TH.263、IS0/IEC MPEG-4 Visual 及 ITU-T H.264(也被称作 IS0/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。MVC扩展的最近公开可用的联合草案描述于2010年3月的“用于通用视听服务的高级视频译码”，ITU-T建议H.264中。MVC扩展的更为新近的公开可用的联合草案描述于2011年6月的“用于通用视听服务的高级视频译码”，ITU-T建议H.264中。MVC扩展的当前联合草案已从2012年I月起获得审批。
[0028]此外，存在一种新的视频译码标准，即高效率视频译码(HEVC)标准，其已由ITU-T视频译码专家组(VCEG)及IS0/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行开发。被称作“HEVC工作草案10”或“WD10”的HEVC标准的一个草案描述于布洛斯(Bross)等人的文档JCTVC-L1003v34 “高效率视频译码(HEVC)文字规范草案10(Highefficiency video coding (HEVC) text specificat1n draft 10)，，(ITU-T SG16WP3 及IS0/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，第12次会议:瑞士日内瓦，2013年I月14日到23日)中，所述文档从2014年4月30日起可从http://phenix.1nt-evry.fr/ict/doc end user/documents/12 Geneva/wRll/.TCTVC-L1003-v34.zipT载。HEVC WDlO的全部内容在此以引用的方式并入本文中。
[0029]出于描述的目的，在HEVC或H.264标准及此些标准的扩展的上下文中描述视频编码器20及视频解码器30。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2及ITU-T H.263。例如称为0n2 VP6/VP7/VP8的那些译码技术的专属译码技术也可实施本文所述的技术中的一或多者。本发明的技术潜在地适用于几种视频译码标准，包含HEVC等。
[0030]目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，链路16可包括使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14的通信媒体。经编码视频数据可根据通信标准(例如无线通信协议)得到调制，并且被发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线路。通信媒体可形成分组网络(例如局域网、广域网或全球网络，例如因特网)的一部分。通信媒体可包含路由器、交换器、基站或任何其它可用于便于从源装置12到目的地装置14的通信的设备。链路16可包含一或多个MANE，例如MANE 29，其将视频数据从源装置12路由到目的地装置14。
[0031]或者，可将经编码数据从输出接口 22输出到存储装置27。类似地，可通过输入接口从存储装置27存取经编码数据。存储装置27可包含多种分布式或本地存取的数据存储媒体中的任一种，例如硬盘驱动器、蓝光光盘、DVD、⑶-R0M、快闪存储器、易失性或非易失性存储器或任何其它用于存储经编码视频数据的合适的数字存储媒体。在另一实例中，存储装置27可对应于文件服务器或可保存源装置12产生的经编码视频的另一中间存储装置。
[0032]目的地装置14可经由流式传输或下载从存储装置27存取所存储的视频数据。文件服务器可为任何类型的能够存储经编码视频数据并且将经编码视频数据发射到目的地装置14的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。这可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如，W1-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码视频数据从存储装置27的传输可为流式传输、下载传输或两者的组合。从存储装置27检索的视频数据可使用一或多个MANE (例如MANE 29)路由到目的地装置14。
[0033]本发明的技术不必限于无线应用或设置。所述技术可应用于视频译码以支持多种多媒体应用中的任一种，例如空中电视广播、有线电视发射、卫星电视发射、流式视频传输(例如，经由因特网)、编码视频数据以存储于数据存储媒体上、解码存储于数据存储媒体上的视频数据，或其它应用。在