用于视频译码的具有解码次序编号的单个网络抽象层单元包的制作方法_5

文档序号:9476571阅读:来源:国知局
整数像素值用于运动估计。求和器62将经重建残余块添加到由运动补偿单元44产生的运动补偿预测块以产生参考块用于存储在图片存储器64中。参考块可由运动估计单元42及运动补偿单元44使用作为参考块以对后续视频帧或图片中的块进行帧间预测。
[0108]根据本文所述的技术,视频编码器20及/或后处理装置57可囊封经编码视频数据以供发射到一或多个其它装置(例如,使用RTP)。举例来说,后处理装置57可接收经编码HEVC视频数据(例如,NAL单元),且通过将视频数据囊封到单个网络抽象层(NAL)单元包(例如,用于RTP会话)中而产生具有遵守用于HEVC的特定有效负载格式(例如,用于HEVC的RTP有效负载格式)的有效负载的包(例如,RTP包)。后处理装置57还可基于以下各者中的至少一者将解码次序编号信息(例如,DONL)囊封于单个NAL单元包中:会话为多流发射(例如,RTP会话呈多流发射(MST)模式),或解包化缓冲器中的在接收次序上可先于所述NAL单元且在解码次序上在所述NAL单元之后的NAL单元的最大数目大于O。
[0109]图9是说明可实施本发明中描述的技术的实例视频解码器30的框图。在图9的实例中,视频解码器30包含视频数据存储器83、熵解码单元80、预测处理单元81、反量化单元86、反变换单元88、求和器90、滤波单元91及图片存储器92。预测处理单元81包含运动补偿单元82及帧内预测处理单元84。在一些实例中,视频解码器30可执行大体上与相对于来自图8的视频编码器20描述的编码遍次互反的解码遍次。
[0110]视频数据存储器83可存储待由视频解码器30的组件解码的视频数据,例如经编码视频位流。存储于视频数据存储器83中的视频数据可例如从计算机可读媒体(例如,从本地视频源,例如摄影机)经由视频数据的有线或无线网络通信或通过存取物理数据存储媒体而获得。视频数据存储器83可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。在一些实例中,图片存储器92可为存储供视频解码器30用于例如以帧内或帧间译码模式解码视频数据的参考视频数据的参考图片存储器。视频数据存储器83及图片存储器92可由多种存储器装置中的任一者形成,例如动态随机存取存储器(DRAM),包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻性RAM(RRAM)或其它类型的存储器装置。视频数据存储器83与图片存储器92可由同一存储器装置或单独存储器装置提供。在各种实例中,视频数据存储器83与视频解码器30的其它组件一起在芯片上,或相对于那些组件在芯片外。
[0111]在解码过程期间,视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联语法元素的经编码视频位流。视频解码器30可从网络实体79接收经编码视频位流。网络实体79可例如为服务器、MANE、视频编辑器/剪接器、RTP接收器或经配置以实施上文所描述的技术中的一或多者的其它此装置。网络实体79可包含或可不包含视频编码器20。如上文所描述,本发明中所描述的技术中的一些可在网络实体79将经编码视频位流传输到视频解码器30之前由网络实体79实施。在一些视频解码系统中,网络实体79及视频解码器30可为分开的装置的部分,而在其它情况下,关于网络实体79描述的功能性可由包括视频解码器30的相同装置执行。
[0112]在解码过程期间,视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联语法元素的经编码视频位流。视频块可例如经由一或多个MANE(例如图1中的MANE 29或图9中的网络实体79)从视频编码器20路由到视频解码器30。视频解码器30的熵解码单元80对位流进行熵解码以产生经量化系数、运动向量及其它语法元素。熵解码单元80将运动向量及其它语法元素转发到预测处理单元81。视频解码器30可接收视频切片层级及/或视频块层级的语法元素。
[0113]当视频切片经译码为经帧内译码(I)切片时,预测处理单元81的帧内预测处理单元84可基于用用信号表示的帧内预测模式及来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当将视帧帧译码为经帧间译码(S卩,B、P或GPB)切片时,预测处理单元81的运动补偿单元82基于从熵解码单元80接收的运动向量及其它语法元素而产生当前视频切片的视频块的预测性块。预测性块可从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可基于存储在图片存储器92中的参考图片使用默认建构技术建构参考帧列表一列表O及列表I。
[0114]运动补偿单元82通过剖析运动向量及其它语法元素确定用于当前视频切片的视频块的预测信息,并且使用所述预测信息产生用于正被解码的当前视频块的预测性块。举例来说,运动补偿单元82使用一些接收到的语法元素确定用于对视频切片的视频块进行译码的预测模式(例如,帧内预测或帧间预测)、帧间预测切片类型(例如,B切片、P切片或GPB切片)、切片的参考图片列表中的一者或一者以上的建构信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态及用以对当前视频切片中的视频块进行解码的其它信息。
[0115]运动补偿单元82还可基于内插滤波器执行内插。运动补偿单元82可使用由视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。在这种情况下,运动补偿单元82可根据接收到的语法元素而确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测性块。
[0116]反量化单元86将在位流中提供且由熵解码单元80解码的经量化变换系数反量化,即解量化。反量化过程可包含使用视频编码器20针对视频切片中的每一视频块计算的量化参数以确定应当应用的量化程度及同样反量化程度。反变换单元88对变换系数应用反变换(例如,反DCT、反整数变换,或概念上类似的反变换过程),以便产生像素域中的残余块。
[0117]在运动补偿单元82基于运动向量及其它语法元素产生了当前视频块的预测性块之后,视频解码器30通过将来自反变换单元88的残余块与运动补偿单元82产生的对应预测性块求和来形成经解码视频块。求和器90表示可执行此求和运算的组件。在需要时,还可使用环路滤波器(在译码环路中或在译码环路之后)来使像素转变变平滑或者以其它方式改进视频质量。滤波单元91既定表示一或多个环路滤波器,例如解块滤波器、自适应环路滤波器(ALF)及样本自适应偏移(SAO)滤波器。尽管在图9中将滤波单元91展示为环路内滤波器,但在其它配置中,可将滤波单元91实施为环路后滤波器。接着将给定帧或图片中的经解码视频块存储于图片存储器92中,所述图片存储器存储用于后续运动补偿的参考图片。图片存储器92还存储经解码视频用于以后在显示装置(例如图1的显示装置32)上呈现。
[0118]根据本文所述的技术,网络实体79及/或视频解码器30可解封经囊封的经编码视频数据以供发射到一或多个其它装置(例如,使用RTP)。举例来说,网络实体79可接收包含经编码HEVC视频数据(例如,NAL单元)的一或多个包(例如,RTP包)。所述包可具有遵守用于HEVC的特定有效负载格式(例如,用于HEVC的RTP有效负载格式)的有效负载。为了处理所述视频数据,网络实体79可解封囊封到单个网络抽象层(NAL)单元包中的视频数据。网络实体79及/或视频解码器30还可基于以下各者中的至少一者解封囊封于单个NAL单元包中的解码次序编号信息(例如,D0NL):会话为多流发射(例如,RTP会话呈多流发射(MST)模式),或解包化缓冲器中的在接收次序上可先于所述NAL单元且在解码次序上在所述NAL单元之后的NAL单元的最大数目大于O。在获得视频数据(例如,NAL单元)及DON信息之后,视频解码器30可处理所述经编码视频数据。
[0119]图10是说明形成网络150的一部分的一组实例装置的框图。在这个实例中,网络150包含路由装置154A、154B (路由装置154)及转码装置156。路由装置154及转码装置156既定表示可形成网络150的部分的少数装置。例如交换器、集线器、网关、防火墙、桥接器及其它此些装置的其它网络装置也可包含在网络150内。另外,可沿着服务器装置152与客户端装置158之间的网络路径提供额外的网络装置。在一些实例中,服务器装置152可对应于源装置12 (图1),而客户端装置158可对应于目的地装置14 (图1)。路由装置154可例如是经配置以路由媒体数据的MANE。
[0120]—般来说,路由装置154实施一或多个路由协议以通过网络150交换网络数据。一般来说,路由装置154执行路由协议以通过网络150发现路线。通过执行此些路由协议,路由装置154B可发现从自身经由路由装置154A到服务器装置152的网络路线。图10的多个装置表示可实施本发明的技术且可经配置以根据本发明的技术处理RTP数据的装置的实例。
[0121]举例来说,服务器装置152、路由裝置154、转码装置156或客户端装置158中的一或多者可通过以下操作来处理数据单元有效负载(例如,实时传输协议(RTP)有效负载)中的视频数据:将视频数据囊封于单个网络抽象层(NAL)单元包(例如,用于RTP会话)中;以及基于以下各者中的至少一者将解码次序编号信息囊封于所述单个NAL单元包中:所述会话为多流发射(例如,RTP会话呈多流发射(MST)模式),或解包化缓冲器中的在接收次序上可先于所述NAL单元且在解码次序上在所述NAL单元之后的NAL单元的最大数目大于O。
[0122]作为RTP会话的部分,单个NAL单元包可发射到服务器装置152、路由裝置154、转码装置156或客户端装置158中的一或多个其它者。在接收到包含格式化为单个NAL单元包的RTP有效负载的RTP包之后,接收装置可即刻通过以下操作处理所述视频数据:解封囊封于单个NAL单元包中的视频数据;以及基于以下各者中的至少一者解封囊封于所述单个NAL单元包中的解码次序编号信息:所述RTP会话呈多流发射(MST)模式,或解包化缓冲器中的在接收次序上可先于所述NAL单元且在解码次序上在所述NAL单元之后的NAL单元的最大数目大于O。
[0123]图11是说明根据本发明的技术的用于以RTP有效负载格式囊封视频数据的实例操作的流程图。仅出于说明的目的,下文在图1的上下文内描述图11的实例操作。
[0124]在图11的实例中,RTP囊封单元(例如,输出接口 22)可接收视频数据(180)。举例来说,视频数据可根据HEVC标准或另一视频译码方案而编码(例如,由视频编码器20)到单个NAL单元中。在一些实例中,NAL单元可包含NAL单元有效负载数据及NAL单元标头。为了产生RTP有效负载,输出接口 22可将视频数据囊封于单个NAL单元包中(182)。
[0125]输出接口 22可确定RTP发射是否处于MST模式(184)。如果发射处于MST模式(184的“是”分支),那么输出接口 22可确定解包化缓冲器中的在接收次序上可先于所述NAL单元且在解码次序上在所述NAL单元之后的NAL单元的最大数目是否等于零(186)。举例来说,输出接口 22可确定RTP发射的sprop-depack-buf-nalus参数的值是否等于零。如果所述值等于零(186的“是”分支),那么输出接口 22可制止将解码次序编号信息囊封于单个NAL单元包中(188)。
[0126]在图11的实例中,如果RTP发射处于MST模式(184的“否”分支)及/或如果解包化缓冲器中的在接收次序上可先于所述NAL单元且在解码次序上在所述NAL单元之后的NAL单元的最大数目大于零(186的“是”分支),那么输出接口 22可将解码次序编号信息囊封到单个NAL单元包中(190)。在一些实例中,为了将解码次序编号信息囊封于单个NAL单元包中,输出接口 22可将解码次序编号信息在NAL单元标头与NAL单元有效负载数据之间囊封于单个NAL单元包中。在一些实例中,输出接口 22可将解码次序编号信息在NAL单元之前囊封于单个NAL单元包中,且将RTP有效负载标头囊封于解码次序编号信息之前。所囊封RTP有效负载标头可包括包含于NAL单元标头中的信息。
[0127]图12是说明根据本发明的技术的用于解封以RTP有效负载格式囊封的视频数据的实例操作的流程图。仅出于说明的目的,下文在图1的上下文内描述图12的实例操作。
[0128]在图12的实例中,RTP解封单元(例如,输入接口 28)可接收RTP包(200)。举例来说,RTP包可包含格式化为单个NAL单元包的RTP有效负载。S卩,RTP有效负载可在RTP有效负载中包含单个NAL单元。在一些实例中,NAL单元可包含NAL单元有效负载数据及NAL单元标头。为了获得其中囊封的视频数据,输入接口 28可解封囊封于单个网络抽象层(NAL)单元包中的视频数据(202)。
[0129]输入接口 28可确定RTP发射是否处于MST模式(204)。如果所述发射处于MST模式(204的“是”分支),那么输入接口 28可确定解包化缓冲器中的在接收次序上可先于所述NAL单元且在解码次序上在所述NAL单元之后的NAL单元的最大数目是否等于零(206)。举例来说,输入接口 28可确定RTP发射的sprop-depack-buf-nalus参数的值是否等于零。如果所述值等于
当前第5页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1