具有新颖的帧内预测解码多标准视频译码器的制造方法
【专利摘要】一种在用于译码在两个不同视频编码标准中编码的两个视频串流的一视频译码器中用于多标准帧内预测解码的设备被揭露。上述设备包括一第一帧内预测译码器，用以解码包括一或多个第一帧内预测编码区块的一第一位串流，以及一第二帧内预测译码器，用以解码包括一或多个第二帧内预测编码区块的一第二位串流。上述第一帧内预测编码区块根据一第一视频编码标准所编码，及上述第二帧内预测编码区块根据一第二视频编码标准所编码。上述第一帧内预测译码器及上述第二帧内预测编码器被安排用以通过译码在一图片级、一切片级、或一最大编码单元/宏块(macroblock，MB)级同时在上述两视频串流中执行帧内预测译码。
【专利说明】
具有新颖的帧内预测解码多标准视频译码器
【技术领域】
[0001]本揭露关于多标准视频译码系统。且特别地，本揭露为有关于面积高效率或高性能帧内预测译码的设计以支持由不同视频编码标准所要求的不同帧内预测译码器。
【【背景技术】】
[0002]视频数据需要大量的储存空间来储存或一宽的带宽来传输。随着日益增长的高分辨率(resolut1n)和高帧率(frame rate)，如果视频数据被以未压缩的形式储存或传输，储存或传输带宽的需求将是巨大的。因此，视频数据通常使用一视频编码技术以一压缩格式被储存或被传输。编码效率已使用较新的视频编码标准，像是H.264/AVC及新兴的HEVC(High Efficiency Video Coding)(高效视频编码)标准而大幅改善。为了维持可管理的复杂性，一影像常被分为多个区块(例如宏块(Macroblock，MB)或最大编码单元(LargestCoding Unit，IXU)/编码单元(Coding UnitXU))，以应用视频编码。视频编码标准通常在一区块基础上采用自适应的帧间/帧内预测。
[0003 ]图1显示一支持HE VC视频标准的视频译码器1 O的一示例性的系统方块图。HE VC(High Efficiency Video Coding)(高效视频编码)系由视频编码的联合协作小组(JointCollaborative Team on Video Coding，JCT-VC)所研发的一种新的国际视频编码标准。HEVC系基于混合区块基础的运动补偿DCT-型(DCT-1ike)变换的编码架构。压缩的基本单位(称为编码单元(coding unit，⑶))是一2NX2N的平方区块。一编码单元可开始于一最大编码单元(largest QJ，IXU)(其在HEVC中也被称为编码树单元(coded tree unit，CTU))且每一编码单元可递归地分割成四个更小的编码单元，直到达到一个预定义的最小尺寸为止。一旦编码单元分层树(hierarchical tree)的分割完成后，每一编码单元进一步根据预测类型及预测单元分割被分成的一或多个预测单元(predict1n unit,PU)。每一编码单元或每一编码单元的残值(residual)被分为一转换单元(Transform units，TUs)树，以应用二维(two-dimens1nal，2D)转换。
[0004]在图1中，输入视频比特流首先通过使用熵译码引擎(entropy decoding engine)110的可变长度译码器(variable length decoder，VLD)被处理，以执行可变长度译码及语法分析(syntax parsing)。经分析的语法可对应外部/内部残值信号(来自熵译码引擎110中的较上方的输出路径)或运动信息(来自熵译码引擎110较下方的输出路径)。残值信号通常被转换编码。因此，编码残值信号由逆扫描(inverse scan，IS)/逆量化(inversequantizat1n，IQ)方块112，以及逆转换(inverse transform, IT)方块114所处理。逆转换(inverse transform，IT)方块114的输出对应重建残值信号。重建残值信号连同来自帧内预测方块118中用于一帧内编码区块的帧内预测或来自运动补偿方块120中用于一帧间编码区块的帧间预测被加到重建方块116中。其中，来自帧内预测方块118中用于一帧内编码区块的帧内预测或来自运动补偿方块120中用于一帧间编码区块的帧间预测是通过帧间/帧内选择方块122所选。帧间/帧内选择方块122选择用于重建视频信号的帧内预测或帧间预测取决于上述区是否为帧间或帧内编码。对于运动补偿，上述处理将存取储存在已编码图像缓冲器124中的一或多个参考区块及由运动向量(mot1n vector，MV)产生方块126所决定的运动向量。为了改善视觉质量，去块滤波器128及取样自适应偏移(Sample Adaptive0ffset，SA0)滤波器(130)被用以在已重建视频被储存在译码图像缓冲器124之前，处理已重建视频。对于H.264/AVC的标准中，只有去块滤波器(deblocking f ilter，DF)被使用，无须取样自适应偏移滤波器。
[0005]除了使用H.264/AVC和HEVC视频编码标准，也具有其他的格式被使用，像是WMV(Windows media Video)及VP8/VP9。另一方面，AVS视频编码由中国所开发的一种视频编码标准且其格式被广泛使用在中国。用于AVS的视频编码工具集类似用于H.264/AVC的视频编码工具集。然而，AVS的复杂性与H.264/AVC标准相比大大降低。尽管如此，AVS的编码性能比得上H.264/AVC的编码性能。
[0006]由于在各种视频编码格式压缩视频的共存，一视频译码器必须解码各种视频格式，以使使用者观看以不同视频编码格式编码的视频内容。此外，可能需要同时进行译码以不同视频编码格式所编码之两种已压缩视频编码数据。举例来说，一使用者可以一主/副图像或分割屏幕方式下观看显示于一电视屏幕上两个视频序列，其中一序列系以一视频编码格式编码，而另一序列以一不同格式所编码。
[0007]图2显示一具有内建音频/视频译码器的一典型的电视系统。如图2所示，该系统使用一CPU总线及动态随机存取内存(dynamic random access memory，DRAM)总线。夕卜部内存(210)用于储存用于视频译码的参考图像、用于显示和其它数据的译码图像。外部内存通常使用动态随机存取内存(dynamic random access memory，DRAM)及外部内存存取引擎(220)被用以连接外部内存储存器至数据总线。该系统可包括一 CPU(230)、一视频译码器(240)、一音频引擎(250)和一显示引擎(260)。视频译码器将执行压缩视频数据的视频译码任务。音频引擎将执行将已压缩音频数据的音频译码任务。音频引擎还可以支持其他音频任务，像是产生用于使用者界面的音频提示。显示引擎负责处理视频显示及产生显示信息。举例来说，该显示引擎可以产生用于用户界面的图形或文字信息。该显示引擎也负责合并用于主窗口及副窗口口显示、或分割屏幕显示的两个已译码视频数据。该CPU可被用以初始化系统、控制其他子系统、或提供用于该电视系统的用户界面。
[0008]为了同时支持多标准视频译码及显示，上述视频译码系统可被配置用以译码一已编码的视频数据，接着切换至译码另一已编码的视频数据。举例来说，如果视频译码器系统需要同时译码以HEVC格式编码的一第一视频位串流及以AVS格式编码的一第二视频位串流时，该译码器系统可译码一 HEVC图像，并切换至译码一 AVS图片。已译码的HEVC图像和AVS图像可暂存在输出图像缓冲器中。显示引擎可存取用于画中画显示或分割屏幕显示的图像。
[0009]在视频编码中，由于帧间预测经常无法呈现合理的预测，因此帧内预测模式通常用于场景变换。帧内预测也被周期性地用于一视频序列中，以缓解错误传播的问题。
[0010]对于根据HEVC的帧内预测译码，相邻区块的已译码边界取样被使用作为用于一当前区块空间预测的参考数据。在一预测单元(PU)内所有转换单元(TU)使用相同关联用于亮度分量和色度分量的帧内预测模式。编码器从对应33种方向预测模式、一 DC模式和一平面模式的35种选择中选择每一预测单元的最佳亮度帧内预测模式。33种可能的帧内预测方向显示于图4，其中平面模式被映像至帧内预测模式号码O，而DC模式被映像至帧内预测模式号码I。在HEVC中，最大编码单元可设置为64X64、32X32或16 X 16。依据不同编码单元的大小，用于一给定编码单元的最大预测单元大小可为64 X 64、32 X 32或16 X 16。对于每一编码单元，残值可在帧间或帧内预测被应用在编码单元中的预测单元后被推导。在一编码单元中的残值可根据残量四分树(residual quadtree partit1n)接着分为转换单元树。允许的转换单元树大小为32 X 32、16 X 16、8 X 8和4x4。
[0011]对于帧内预测，在当前区块中用于取样的预测子(例如，转换单元树)使用在最顶区块边界上重建相邻样本和相邻左边区块边界上重建相邻样本来推导。由于各角度帧内预测(Angular Intra Predict1n)被支持，在最顶区块边界上重建相邻样本可延伸至右边区块的最顶区块边界上，或是下面区块的相邻左边区块边界上。在重建相邻样本被用以推导当前区块的预测子前，重建相邻样本可由具有对应(1/4，1/2，1/4)的权重因子的一 FIR滤波器预先处理。此FIR滤波器被称为预过滤器或相邻预过滤器。该平滑操作是否被使用系依据转换单元大小及帧内预测模式。当前区块的预测子接着根据所选择的帧内预测模式所推导出。在初始帧内预测样本产生后，当帧内预测模式为DC、水平或垂直模式时，帧内梯度过滤器或帧内预测平滑滤波器被进一步应用在当前转换单元内最左列及最上方一行的初始帧内预测样本中。该HEVC标准也支持约束帧内预测(constrained Intra predict1n)，其中，如果重建相邻样本为帧间编码时，则这些重建相邻样本被认为是不可用的。约束帧内预测可帮助减轻因帧间编码样本使用的错误传播以推导帧内预测子。
[0012]对于AVS，帧内预测模式与HEVC和H.264/AVC相比已降低了复杂度。AVS采用宏块(11^(^01310^^，]\?)/区块结构，其中上述冊大小为16\16且区块大小为8\8。帧内预测被应用在使用重构相邻样本的每一8 X 8区块，如图5所示。AVS帧内预测支持对应垂直、水平、对角线右下角、对角线左下角和DC模式的5种帧内预测模式，如图5所示。在重建相邻样本被用以推导当前区块的预测子前，具有对应(1/4，1/2，1/4)权重的一过滤器被应用于重建相邻样本中。对于色度分量，只有4个对应垂直、水平、DC和平面模式的帧内预测模式被使用。HEVC的帧内预测由用于亮度信号且包括类似AVS视频编码标准五种帧内预测模式的五种帧内预测模式的多个帧内预测模式，以及用于色度信号且包括类似AVS视频编码标准四种帧内预测模式的四种帧内预测模式的多个帧内预测模式所组成。而HEVC和AVS共享一些相似的帧内预测模式，一些详细的处理可不用相同。类似HEVC，在最上方区块边界上的重建相邻区块被延伸至最右边区块，并且相邻最左边区块边界的重建相邻区块被延伸至最下面的区块，如图5所不。
[0013]对于帧内预测，重建相邻样本可能无法使用。这可能发生在任何视频编码标准中。经常用以处理无法使用的参考样本技术系为数据填充，其中现有重建样本或预定义的值可被用以填充无法使用的样本。
[0014]如以上所讨论，HEVC和AVC皆使用帧内预测，而这两个帧内预测方案略有不同。一简单的实施方式为支持双标准的帧内预测会使用两个独立的帧内预测模块。研发芯片面积高效或高性能的多标准帧内预测译码器是迫切需要的。
【
【发明内容】
】
[0015]一种在用于译码在两个不同视频编码标准中编码的两个视频串流的一视频译码器中用于多标准帧内预测解码的设备被揭露。上述设备包括一第一帧内预测译码器(用以解码包括一或多个第一帧内预测编码区块的一第一位串流)以及一第二帧内预测译码器(用以解码包括一或多个第二帧内预测编码区块的一第二位串流)。上述第一帧内预测编码区块根据一第一视频编码标准所编码，及上述第二帧内预测编码区块根据一第二视频编码标准所编码。上述第一帧内预测译码器及上述第二帧内预测编码器被安排用以由交错(inan interleaved manner)在一图片级(picture level)、一切片级(slice level)、或一最大编码单元(Largest Coding Unit，IXU)/宏块(macroblock，MB)级解码，以同时在上述两视频串流中执行帧内预测译码。每一上述第一帧内预测译码器和上述第二帧内预测译码器各别包括以下一相应的参考数据准备单元、一相应的相邻样本填充单元、一相应的预过滤器、一相应的帧内预测产生单元及一相应的重建数据合并单元。至少用于上述两相应的帧内预测译码器部分地使用一共同电路。
[0016]上述第一及第二视频编码标准对应AVS视频编码标准且HEVC(高效视频编码)视频编码标准。AVS视频编码标准在一 16X16宏块中的每一 8X8区块应用帧内预测。另一方面，上述HEVC视频编码标准于包括8 X 8的多个预测单元(predict1n unit，PU)大小应用帧内预测，且每一预测单元为自在包括16 X 16的一最大编码单元(IXU)中之一编码单元(codingunit，CU)所分割。上述AVS视频编码标准的上述帧内预测由包括用于一亮度信号对应的DC、水平、垂直、对角线右下角和对角线左下角模式的五个帧内预测模式，以及用于一色度信号对应的DC、水平、垂直和平面模式的四个帧内预测模式所组成。用于上述HEVC视频编码标准的上述帧内预测由包括类似上述AVS视频编码标准的上述五个预测模式的五个帧内预测模式的用于上述亮度信号的多个帧内预测模式，以及包括类似上述AVS视频编码标准的上述四个预测模式的四个帧内预测模式的用于上述色度信号的多个帧内预测模式所组成。
[0017]在一实施例中，当上述HEVC视频编码标准使用8 X 8预测单元及16 X 16最大编码单元时，上述第一参考数据准备单元及上述第二参考数据准备单元全部或部分地使用一共同参考数据准备单元。在另一实施例中，当上述HEVC视频编码标准使用8 X 8预测单元与16 X16最大编码单元，且上述相应的所选帧内预测模式皆对应用于上述AVS视频编码标准及上述HEVC视频编码标准的水平或垂直模式时，上述第一帧内预测产生单元和上述第二帧内预测产生单元全部或部分地使用一共同帧内预测产生单元。在又另一实施例中，当上述HEVC视频编码标准使用8X8预测单元与16X16最大编码单元，且上述相应的所选帧内预测模式皆对应用于上述AVS视频编码标准及上述HEVC视频编码标准的一对角线模式时，上述第一帧内预测产生单元和上述第二帧内预测产生单元使用部份共同帧内预测产生单元。
[0018]在一实施例中，当上述HEVC视频编码标准使用8 X 8预测单元与16 X 16最大编码单元，且上述相应的所选帧内预测模式对应用于上述AVS视频编码标准的一 DC模式及用于上述HEVC视频编码标准的一平面模式时，上述第一帧内预测产生单元和上述第二帧内预测产生单元使用一或多个共同加法器。在另一实施例中，当上述HEVC视频编码标准使用8X8预测单元与16 X 16最大编码单元，且用于上述HEVC视频编码标准的一滤波器标志被设置以正常滤波时，上述第一预过滤单元及上述第二预过滤单元共同或部份地使用一共同预过滤单元。在又另一实施例中，当上述HEVC视频编码标准使用8 X 8预测单元与16 X 16最大编码单元时，上述第一预过滤单元及上述第二预过滤单元从使用相同数据存取设置的一共同相邻缓冲器中撷取上述各帧内预测的上述相应的相邻参考样本。
[0019]上述第一帧内预测译码器及上述第二帧内预测译码器使用一共同相邻缓冲器以储存用于上述各帧内预测的上述相应的相邻参考样本。在一最大编码单元或宏块的一最底列(row)中之上述相应的帧内预测重建样本被储存于一后续的最大编码单元或宏块列中的上述共同相邻缓冲器以存取用于上述各帧内预测。
[0020]—多标准帧内预测解码的对应方法亦被揭露，其用于在译码在不同视频编码标准中编码的两个视频串流的一视频译码器中。
[0021 ] 一种在译码以AVC及HEVC视频编码标准编码的两个视频串流且使用一或多个处理组件(processing elements，PEs)的一视频译码器中用于多标准帧内预测解码的设备被揭露。上述设备也包括一预测选择单元，耦接至上述处理组件，用以提供相应的帧内预测子至用于相应的视频编码标准的帧内预测译码的上述处理组件。上述设备也包括一处理组件参数选择单元，耦接至上述处理组件，用以提供处理组件参数以配置上述处理组件对一对应的视频编码标准中所编码的一视频串流译码。为了有效地使用处理组件，对于由上述AVS视频编码标准所支持之区块大小及帧内预测模式，上述AVS视频编码标准及上述HEVC视频编码标准皆共享相同的处理组件配置及相同的处理组件参数选择以执行上述帧内预测译码。
【【附图说明】】
[0022]图1显示一支持HEVC(高效视频编码)视频标准的一视频译码器的一示例性的系统方块图。
[0023]图2显示一具有内建音频/视频译码器的一典型的电视系统。
[0024]图3A显示一图像级来源切换程序的一范例，其中上述译码器来源在AVS和HEVC位串流间切换。
[0025]图3B显示一切片级来源切换程序的一范例，其中上述译码器来源在AVS和HEVC位串流间切换。
[0026]图4显示33种帧内预测方向，其包括根据HEVC(高效视频编码)视频标准中33种角度方向模式、平面模式跟DC模式。
[0027]图5显示根据AVS标准的帧内预测区块大小(8X8)及用于亮度分量的五种帧内预测模式(垂直、水平、对角线右下角、对角线左下角和DC)。
[0028]图6显示具有可在图片级、切片级或最大编码单元/宏块级切换以支持HEVC和AVS编码标准一帧内预测译码器的一流程图的范例。
[0029]图7显示根据本发明一实施例之用于具有图片级、切片级或最大编码单元/宏块级切换以支持HEVC和AVS编码标准的帧内预测译码器一流程图的范例。
[0030]图8A显示根据本发明一实施例的一多标准帧内预测译码器的一示例性方块图。
[0031]图SB显示类似于图8A的另一实施例。然而，代替两分开的帧内预测产生器，共同帧内预测产生器在一处理模块中实施，且在其它情况下则在另一处理模块中实现。
[0032]图9显示根据本发明一实施例的使用一或多个处理组件的多标准帧内预测译码器的一范例。
[0033]图中，符号说明如下
[0034]100视频译码器
[0035]HO熵译码引擎
[0036]112逆扫描/逆量化
[0037]114逆转换
[0038]116 重建
[0039]118帧内预测
[0040]120运动补偿
[0041]122帧间/帧内选择
[0042]124参考帧缓冲器
[0043]126运动向量产生
[0044]128去块滤波器
[0045]130取样自适应偏移滤波器
[0046]210外部内存储存器
[0047]220外部内存存取引擎
[0048]230 CPU
[0049]240视频译码器
[0050]250音频引擎[0051 ]260显示引擎
[0052]610、620、622、624、626、628、630、632、634、636、638 步骤
[0053]710、710、720、730、740、750、760、770、780、790 步骤
[0054]810预测子缓冲区
[0055]820预测子选择
[0056]830 相邻区块填充
[0057]840 相邻区块预过滤器
[0058]850-1 HEVC帧内预测子
[0059]850-2 AVS帧内预测子
[0060]850-3 HEVC 8 X 8帧内预测/AVS帧内预测[0061 ]850-4其他HEVC帧内预测
[0062]860 结果缓冲器
[0063]862 加法器
[0064]870 残值缓冲器
[0065]880 控制缓存器
[0066]882、884、886 选择器
[0067]890 CPU
[0068]910 处理组件参数
[0069]920 帧内预测处理组件
[0070]【实施方式】
[0071]后面的描述为实施本发明最佳的设想模式。给出此描述的目的用以说明本发明的一般性原理，且不应被理解成做出限制。本发明的范围系参照所附的权利要求来作最佳地确定。
[0072]为了支持同时多标准影像译码及显示，上述影像译码系统可被配置用以译码一编码的影像数据，接着切换至译码另一编码的影像数据。图3A显示一图像级来源切换程序的一范例，其中译码器来源在AVS和HEVC位串流间切换。译码器来源切换程序也可应用在一切片级，其中该译码器系统可译码一 AVS切片(slice)，接着再切换以解码至一 HEVC切片。图3B显示一切片级来源切换程序的一范例。
[0073]如前所述，一直接用于多标准影像译码器的帧内预测译码器的方式需要用于所有预期中的译码影像标准各别的帧内预测译码器。此可能显著增加系统的成本。因此，期待能开发面积高效(即，更小的硅面积)或高性能用于多标准影像译码器的帧内预测译码器。图6显示具有可在图片级、切片级或最大编码单元/宏块级切换以支持HEVC和AVS编码标准一帧内预测译码器的一流程图的范例。多标准的帧内预测译码器判断帧内预测解码是否用于HEVC或AVS，如步骤610所示。如果判断用于AVS，则执行步骤620至628。如果判断用于HEVC，则执行步骤630至638。在步骤620和630中，用于AVS帧内预测和HEVC帧内预测的参考样本分别被识别并撷取。可由其他区块所使用的当前区块的帧内预测重建数据也可储存至一参考数据缓冲器。如果没有任何可以使用的参考样本时，则无法使用的样本在步骤622或632中以一现存或预定的样本做填充。对AVS或HEVC而言，相邻的预测子预过滤器(predictorpre-filter)被应用在步骤624或634中。当前区块的帧内预测在步骤626和636中分别使用用于AVS和HEVC标准的参考样本来推导。帧内编码区块的重建样本可分别通过合并如步骤628和638所示的用于AVS和HEVC标准的残值及帧内预测子所组合而成。
[0074]图7显示根据本发明一实施例的用于具有图片级、切片级或最大编码单元/宏块级切换以支持HEVC和AVS编码标准的帧内预测译码器一流程图的范例。
[0075 ]用于AVS切片帧内预测解码对应用于HE VC帧内预测译码的一子集，AVS可使用HE VC处理模块或部分地使用HEVC模块。即使在对应AVS和HEVC的帧内预测解码处理间可能存在一些差异，但AVS仍可通过HEVC使用一些操作。根据图7的实施例，多标准帧内预测译码器尽可能地使用在AVS和HEVC标准间共享的处理模块。由于HEVC和AVS两者皆撷取用于参考样本的相同的重建相邻样本，因此「准备预测子」(710)步骤对HEVC和AVS两者而言皆是相同的。因此，相同的处理模块，不论其系由硬件或软件实现，皆可用于HEVC和AVS。在步骤720中，判断是否需要相邻填充。若判断为需要时(即，步骤720的路径「是」)，则在步骤730中执行相邻填充。否则(即，步骤720的路径「否」)，略过相邻填充。在步骤740中，判断是否需要预过滤。如前所述，预过滤仅需用于某些HEVC帧内预测模式。如果判断需要预过滤时(S卩，步骤740的路径「是)，则预过滤在步骤750中执行，否则(S卩，步骤740的路径「否」)，略过预过滤。如前所述，AVS仅支持用于帧内预测的16 X 16宏块及8X8区块。再者，AVS仅支持5种用于亮度分量的帧内预测模式及4种用于色度分量的帧内预测模式。因此，AVS帧内预测模式可视为HEVC帧内预测模式的一子集。故，在步骤760中判断帧内预测模式是否为一共享帧内预测模式。若结果为「是」，则执行步骤780，其中与共同帧内预测模式相关的帧内预测子被产生用于当前区块。若结果为「否」，则执行步骤770，其中与其他帧内预测模式相关的帧内预测子被产生用于当前区块。最后，当前区块通过合并已产生的帧内预测和残值被重建，如步骤790所示。由于HEVC和AVS两者使用相同的帧内预测重建，因此相同的处理模块将被使用。
[0076]在图7中，将尽可能的使用共享处理模块。然而，本发明的其他实施例也可使用仅使用部分的共享处理模块。举例来说，一多标准帧内预测译码器可在步骤710和步骤790中仅使用共享处理模块，并在其余处理步骤中使用不同的处理模块。
[0077]图8A显示根据本发明一实施例的一多标准帧内预测译码器的一示例性方块图。被用以推导帧内预测子之重建样本储存在预测子缓冲区810。用以产生帧内预测子的重建样本由预测子选择820根据预测子单元(predictor unit，PU)大小、帧内预测模式及区块位置来决定。所选的帧内预测模式和影像编码标准(即，HEVC或AVS)可由可接收来自CPU 890信息的控制缓存器(?0111:!'01_代8)880所提供，控制缓存器(00111:1'01_代8)880负责依据预测子单元(PU)大小、帧内预测模式、区块位置和预测可用性判断是否需要相邻填充。若判断需要填充时，则选择器882选择来自相邻填充830的数据路径。否则，略过相邻填充830。若判断需要相邻预过滤时，选择器884选择来自相邻预过滤840的数据路径。否则，略过相邻预过滤840。无论是否依据预测单元大小、帧内预测模式和区块位置判断需要相邻预过滤，根据当前区块的影像标准，HEVC帧内预测子850-1或AVS帧内预测子850-2将被产生。选择器886选择用于帧内预测重建的相应帧内预测子。来自方块850-1或850-2的帧内预测子通过使用加法器862合并来自残值缓冲器870中的残值。重建样本接着被储存至结果缓冲器860中作为进一步地处理使用。图8A显示出用于多标准帧内预测解码所需的处理、控制和内存/缓冲器。图8A中的某些部分或模块可视为多标准帧内预测解码核心的外部。举例来说，预测子缓冲器(即，810)可为用于储存用以译码参考图像的部分系统储存器。因此，该预测子缓冲器不应被视为是多标准帧内预测解码核心的一部分。同样地，结果缓冲器860、残值缓冲器870、控制缓存器880和CPU 890中的一或多个模块可视为多标准帧内预测解码核心的外部。
[0078]图SB显示类似于图8A的另一实施例。然而，代替两分开的帧内预测产生器，共同帧内预测产生器在一处理模块(850-3)中实施，且在其它情况下则在另一处理模块(850-4)中实现。如上所述，共同帧内预测对应至在亮度分量的水平、垂直、左下角对角线、右下角对角线和DC模式以及色度分量的DC、垂直、水平和平面的8X8区块。由于共同帧内预测部分并不需要在两个帧内预测产生器中重复执行，因此根据图SB的实施方式甚至比图8A的实施方式更有效率。
[0079]而图8A和图SB显示用于专用处理模块以实施帧内预测译码所需的功能，多标准帧内预测也可使用一或多个处理组件(process element，PE)被执行。上述处理组件包含执行帧内预测译码所需的所有运算符，像是加法器、乘法器、偏移器及箝位器等等。帧内预测模式、预测单元大小和区块位置信息被用以选择预测器和处理组件参数。图9显示根据本发明一实施例的使用一或多个处理组件的多标准帧内预测译码器的一范例。一些模块与在图8A和图SB中的模块相同。相同的参考编号被分配至这些模块。在图9中，处理组件参数方块910储存用于配置处理组件的处理组件参数。帧内预测处理组件920被用以实施填充、预过滤和帧内预测产生功能。上述处理组件根据预测单元帧内预测模式、预测单元大小、预测单元位置或其任意组合被配置或选择以执行多标准帧内预测译码的任务。一些重建样本将作为用于其它区块帧内预测的参考样本。因此，这些作为用于其它区块帧内预测的参考样本也将被储存在开关930控制下的预测子缓冲器810。
[0080]如前所述，AVS帧内预测可视为HEVC帧内预测的一子集。与帧内预测参考样本选择相关的是，AVS帧内预测被应用于在一 16 X 16宏块中的每一8 X 8区块，等同于具有与8 X 8相同预测单元大小及与16X16相同最大编码单元大小的HEVC帧内预测。因此，这两种情况下相邻参考样本相同，且一共同处理模块可被用以处理此两种情况。
[0081]与帧内预测推导相关，除了HEVC应用另外的帧内梯度过滤器(IntraGradientFilter)(也称为平滑过滤器(smoothing filter))至已产生帧内预测子之外，上述AVS水平和垂直模式几乎与HEVC 8x8水平和垂直模式相同。对于8x8垂直模式而言，HEVC应用以下过滤处理:
[0082]predSamples[x] [y]=CliplY(p[x][-l] + ((p[-l][y]-p[-l][_l])>>l)) (I)
[0083]其中predSamples[x][y]代表位于(x，y)的帧内预测，p[x][_l]代表在最上方区块边界之上的相邻重建样本，p[-l][y]代表相邻最左编区块边界的相邻重建样本，p[-l][-l]代表左边上方的相邻重建样本，而Cl ip I γ()对应一裁剪(clipping)功能。对于8 X 8水平模式而言，HEVC应用以下过滤处理:
[0084]predSamples[x][y]=Cl ip1γ(ρ[-1][γ] + ((ρ[χ][-1]-ρ[-1][-1])>>1))(2)
[0085]因此，用于AVS水平和垂直模式的帧内预测子推导可共享用于具有删去帧内梯度过滤的HEVC 8X8水平和垂直模式相同的帧内预测子产生。上述帧内梯度过滤处理可通过一专门的装置或通过处理组件适当的安排来达成。
[0086]对于帧内预测产生，AVS对角线左下角和对角线右下角模式类似于预测单元等于8X 8的HEVC模式18。因此，一些运算符可在AVC和HEVC之间共享。对于处理组件的基础架构，AVS可共享HEVC处理组件和处理组件参数选择，以执行针所有AVS帧内预测模式的所有帧内预测推导。
[0087]AVS DC模式不同于在其他影像编码标准像是HEVC中的DC模式。然而，AVS DC模式可共享用于HEVC平面模式中的一些运算。根据HEVC平面模式的帧内预测子可表示如下:
[0088]predSamples[x][y]=((nTbS-l_x)p[-l][y]+(x+l)*p[nTbS][_1]+(nTbS_l-y)*p[x][-l]+(y+l)*p[-l][nTbS]+nTbS)?(Log2(nTbS)+l) (3)
[0089]在方程式(3)中，nTbS对应转换区块大小。换言之，AVSDC模式系根据如下虚拟程序代码推导帧内预测:
[0090]如果上方及左边参考样本可利用时[0091 ] pred[x,y] = (up，[x+l]+left，[y+l])>>l
[0092]或者只有上方参考样本可利用时
[0093]pred[x，y] =up，[x+1]
[0094]或者只有左边参考样本可利用时
[0095]pred[x，y] = left，[y+1]
[0096]否则
[0097]pred[x,y] = 128
[0098]在上述的虚拟程序代码中4^(1|^，7]表示位于(1，7)的帧内预测子，卯’[x+1]表示在最上方区块边界之上的参考样本，left’[y+Ι]表示相邻左边区块边界的参考样本。如上所示，AVC和HEVC皆使用加法器合并帧内预测数据。因此，相同的加法器可由AVC和HEVC帧内预测所共享。
[0099]对于AVS DC、对角线左下角、对角线右下角模式和具有filterFlag=l的HEVC而言，在所有相邻参考样本被用以推导帧内预测子之前，具有过滤器系数(1/4，1/2，1/4)的一过滤处理被应用在所有相邻参考样本中。因此，HEVC和AVS可以共享一相同装置以执行此过滤处理。
[0100]当控制标志(controlf lag)、强帧内平滑启用标志(strong_intra_smoothing_enabled_flag)等于I且预测单元大小为32 X 32时，HEVC还支援强平滑过滤。上述强过滤处理如下所示:
[0101]1.pF[-l ] [-1 ] = p[-l ] [-1 ]
[0102]2.pF[-l][y] = ((63-y)*p[-l][-l] + (y+l)*p[-l][63]+32)?6,for y = 0,...,62
[0103]3.pF[-l][63]=p[-l][63]
[0104]4.pF[x][-1 ] = ((63_x)*p[_l][-1 ] + (x+l)*p[63][-1 ]+32)>>6,for x = 0,...,62
[0105]5.pF[63][-l]=p[63][-l]
[0106]对于重建帧内编码样本，AVS和HEVC皆可使用相同加法器来组合所推导的帧内预测和残值。
[0107]帧内预测处理使用在最上方区块边界上方的重建相邻样本。因此，当一区块被重建时，重建区块的底部列将被用于上述区块以下。因此，在一些架构中，相邻缓冲器被用以更新上方重建结果作为预测子候补。在最大编码单元/宏块底部列(row)中的重建样本系储存在一缓冲器，称为相邻缓冲器，用于下一最大编码单元/宏块列的存取。当AVS和HEVC在准备预测子时，AVS和HEVC可共享相同的相邻缓冲器。特别是，当HEVC的最大编码单元等于16X 16时，AVS可使用相同的相邻缓冲访问机制。
[0108]在提供特定应用及其需求的背景下，以上描述使得本领域技术人员能够实现本发明。本发明实施方式的各种修饰对于本领域技术人员可清楚了解，且在本文中所定义的基本原理可应用于其他实施方式中。因此，本发明并不局限于以上所显示及描述的特定实施方式，而应涵盖与在本文中所揭露的基本原理和新颖性特征一致的最广范围。在上述描述中，为提供对于本发明的全面理解，说明了各种特定细节。因此，本领域技术人员可理解本发明是可以实现的。
[0109]平行译码器系统也可使用储存在可读媒体中的程序代码来实现。可以使用软件格式像是Java、C++、XML(可扩展标记语言(extensible Mark-up Language))和其它语言来配置软件程序代码，且其它语言可用以定义与执行与本发明相关的功能操作所需的装置操作相关功能。程序代码可以写成不同的形式和风格，其中许多程序代码为本领域技术人员所习知。不同的程序代码格式、程序代码结构、软件程序的风格和形式和配置程序代码的其它方式根据本发明微处理器的操作将不脱离本实施例的精神和范围。软件程序代码可在不同类型的装置，像是笔记本计算机或桌上式计算机、具有处理器或处理逻辑的便携设备，以及可能的计算机服务器或使用本发明的其他装置上执行。所描述的实施例在所有方面仅被认为是说明性而非限制性的。因此，本发明的范围透过所附的权利要求来指示而不是通过前面的描述来指示。所有落入权利要求范围的等同物的意义和范围内的改变均被涵盖在其范围内。
【主权项】
1.一种在用于译码在两个不同视频编码标准中编码的两个视频串流的一视频译码器中，用于多标准帧内预测解码的设备，上述设备包括: 一第一帧内预测译码器，用以译码包括一或多个第一帧内预测编码区块的一第一位串流，其中上述一或多个第一帧内预测编码区块根据一第一视频编码标准所编码； 一第二帧内预测译码器，用以译码包括一或多个第二帧内预测编码区块的一第二位串流，其中上述一或多个第二帧内预测编码区块根据一第二视频编码标准所编码；以及每一上述第一帧内预测译码器和上述第二帧内预测译码器包括: 一相应的参考数据准备单元，用以准备各帧内预测的相应的相邻参考样本； 一相应的相邻样本填充单元，用以当一或多个相应的相邻参考样本不可用于各帧内预测时，填充上述一或多个相应的相邻参考样本； 一相应的预过滤器，用以过滤用于上述各帧内预测的上述相应的相邻参考样本； 一相应的帧内预测产生单元，用以根据一相应的所选帧内预测模式从上述相应的相邻参考样本产生相应的帧内预测子;以及 一相应的重建数据合并单元，用以产生使用上述相应的帧内预测子和相应残值的相应的帧内预测重建样本;以及 其中，两相应的参考数据准备单元、两相应的相邻样本填充单元、两相应的预过滤器单元、两相应的帧内预测产生单元、两相应的重建数据合并单元、或者用于上述第一帧内预测译码器和上述第二帧内预测译码器的任意组合至少部分地使用一共同电路；以及 其中，上述第一帧内预测译码器及上述第二帧内预测编码器被安排用以通过交错在一图片级、一切片级、或一最大编码单元/宏块级解码，以同时在上述两视频串流中执行帧内预测译码。2.如权利要求1所述的设备，其中上述第一视频编码标准对应于AVS视频编码标准且上述第二视频编码标准对应于HEVC视频编码标准，其中上述AVS视频编码标准在一 16 X 16宏块中之每一8 X 8区块应用帧内预测，上述HEVC视频编码标准于包括8X8的多个预测单元(predict1n unit，PU)大小应用帧内预测，且每一预测单元为自在包括16X 16的一最大编码单元(LCU)中的一编码单元所分割。3.如权利要求2所述的设备，其中用于上述AVS视频编码标准的上述帧内预测由用于一亮度信号对应的DC、水平、垂直、对角线右下角和对角线左下角模式的五个帧内预测模式，以及用于一色度信号对应的DC、水平、垂直和平面模式的四个帧内预测模式所组成，其中用于上述HEVC视频编码标准的上述帧内预测由包括类似上述AVS视频编码标准的上述五个预测模式的五个帧内预测模式的用于上述亮度信号的多个帧内预测模式，以及包括类似上述AVS视频编码标准的上述四个预测模式的四个帧内预测模式的用于上述色度信号的多个帧内预测模式所组成。4.如权利要求3所述的设备，其中当上述HEVC视频编码标准使用8X 8预测单元及16 X16最大编码单元时，用于上述第一帧内预测译码器的一第一参考数据准备单元及用于上述第二帧内预测译码器的一第二参考数据准备单元全部或部分地使用一共同参考数据准备单元。5.如权利要求3所述的设备，其中当上述HEVC视频编码标准使用8X 8预测单元与16 X16最大编码单元，且上述相应的所选帧内预测模式皆对应用于上述AVS视频编码标准及上述HEVC视频编码标准的水平或垂直模式时，用于上述第一帧内预测译码器的一第一帧内预测产生单元和用于上述第二帧内预测译码器的一第二帧内预测产生单元全部或部分地使用一共同帧内预测产生单元。6.如权利要求3所述的设备，其中当上述HEVC视频编码标准使用8X 8预测单元与16 X16最大编码单元，且上述相应的所选帧内预测模式皆对应用于上述AVS视频编码标准及上述HEVC视频编码标准的一对角线模式时，用于上述第一帧内预测译码器的一第一帧内预测产生单元和用于上述第二帧内预测译码器的一第二帧内预测产生单元使用部份共同帧内预测产生单元。7.如权利要求3所述的设备，其中当上述HEVC视频编码标准使用8X 8预测单元与16 X16最大编码单元，且上述相应的所选帧内预测模式对应用于上述AVS视频编码标准的一 DC模式及用于上述HEVC视频编码标准的一平面模式时，用于上述第一帧内预测译码器的一第一帧内预测产生单元和用于上述第二帧内预测译码器的一第二帧内预测产生单元使用一或多个共同加法器。8.如权利要求3所述的设备，其中当上述HEVC视频编码标准使用8X 8预测单元与16 X16最大编码单元，且用于上述HEVC视频编码标准的一滤波器标志被设置以正常滤波时，一第一预过滤单元及一第二预过滤单元共同或部份地使用一共同预过滤单元。9.如权利要求3所述的设备，其中当上述HEVC视频编码标准使用8X 8预测单元与16 X16最大编码单元时，上述第一帧内预测译码器及上述第二帧内预测译码器从使用相同数据存取设置的一共同相邻缓冲器中撷取上述各帧内预测的上述相应的相邻参考样本。10.如权利要求1所述的设备，其中上述第一帧内预测译码器及上述第二帧内预测译码器使用一共同相邻缓冲器，以储存用于上述各帧内预测的上述相应的相邻参考样本。11.如权利要求10所述的设备，其中在一最大编码单元或宏块的一最底列中的上述相应的帧内预测重建样本被储存于一后续的最大编码单元或宏块列中的上述共同相邻缓冲器，以存取用于上述各帧内预测。12.—种多标准帧内预测解码的方法，用于在译码在不同视频编码标准中编码的两个视频串流的一视频译码器中，上述方法包括: 接收一第一位串流以及一第二位串流，其中该第一位串流包括根据一第一视频编码标准的一或多个第一帧内预测编码区块，以及该第二位串流包括根据一第二视频编码标准的一或多个第二帧内预测编码区块;以及 由一第一帧内预测译码器及一第二帧内预测译码器通过在一图片级、一切片级、或一最大编码单元/宏块级中以一交错方式在上述第一帧内预测译码器及上述第二帧内预测译码器之间切换，来同时解码上述两个视频串流；以及 其中，上述第一帧内预测译码器及上述第二帧内预测译码器使用由一帧内预测相关操作群组中所选择的一或多个共同操作，其中上述相关操作包括准备相应的相邻参考样本、填充一或多个相应的相邻参考样本、预过滤上述相应的相邻参考样本、根据一相应的所选帧内预测模式从用于上述各帧内预测的上述相应的相邻参考样本中产生相应的帧内预测子，以及使用上述相应的帧内预测子和相应残值而产生相应的帧内预测重建样本。13.如权利要求12所述的方法，其中上述第一视频编码标准对应于AVS视频编码标准且上述第二视频编码标准对应于HEVC视频编码标准，其中上述AVS视频编码标准在一16 X 16宏块中的每一8 X 8区块应用帧内预测，上述HEVC视频编码标准于包括8 X 8多个预测单元大小应用帧内预测，且每一预测单元为自在包括16X16的一最大编码单元中的一编码单元所分割。14.如权利要求13所述的方法，其中用于上述AVS视频编码标准的上述帧内预测包括用于一亮度信号对应的DC、水平、垂直、对角线右下角和对角线左下角模式的五个帧内预测模式，以及用于一色度信号对应的DC、水平、垂直和平面模式的四个帧内预测模式，其中用于上述HEVC视频编码标准的上述帧内预测由包括类似上述AVS视频编码标准的上述五个预测模式的五个帧内预测模式的用于上述亮度信号的多个帧内预测模式，以及包括类似上述AVS视频编码标准的上述四个预测模式的四个帧内预测模式的用于上述色度信号的多个帧内预测模式所组成。15.如权利要求13所述的方法，其中在根据上述相应的所选帧内预测模式从用于上述各帧内预测的上述相应的相邻参考样本中产生相应的帧内预测子的步骤由一第一处理模块及一第二处理模块来实施，其中上述第一处理模块产生用于在上述AVS视频编码标准及上述HEVC视频编码标准之间的共同帧内预测模式的上述相应的帧内预测子，且上述第二处理模块产生用于上述HEVC视频编码标准的额外帧内预测模式的上述相应的帧内预测子。16.如权利要求12所述的方法，其中当上述一或多个相应的相邻参考样本不可用时，则执行填充上述一或多个相应的相邻参考样本。17.如权利要求12所述的方法，其中上述预过滤上述相应的相邻参考样本的步骤系根据一滤波器控制标志来执行。18.—种在用于译码在两个不同视频编码标准中编码的两个视频串流的一视频译码器中，用于多标准帧内预测解码的设备，上述设备包括: 一或多个处理组件，用以在两视频串流中执行帧内预测译码，其中上述一或多个处理组件包括运算符，其中上述运算符配置用以在一图片级、一切片级、或一最大编码单元/宏块级中以一交错方式通过译码上述两视频串流同时解码上述两视频串流，以及其中上述两视频串流在两个不同视频编码标准中被编码； 一预测选择单元，耦接至上述一或多个处理组件，用以提供相应的帧内预测子至用于相应的视频编码标准的帧内预测译码的上述一或多个处理组件； 一处理组件参数选择单元，耦接至上述一或多个处理组件，用以提供处理组件参数，以配置上述一或多个处理组件对一对应的视频编码标准中所编码的一视频串流译码；以及 其中上述两不同的视频编码标准对应AVS视频编码标准及HEVC视频编码标准，其中上述AVS视频编码标准支持由上述HEVC视频编码标准所支持的区块大小的一子集；以及上述AVS视频编码标准支持由上述HEVC视频编码标准所支持的帧内预测模式的一子集;以及 其中，对于由上述AVS视频编码标准所支持的区块大小及帧内预测模式，上述AVS视频编码标准及上述HEVC视频编码标准皆共享相同的处理组件配置及相同的处理组件参数选择，以执行上述帧内预测译码。19.如权利要求18所述的装置，其中上述HEVC视频编码标准应用上述帧内预测译码至每一预测单元，以及其中预测单元分割模式、预测单元大小、预测单元位置或其任一组合被用以选择上述帧内预测译码的一或多个处理单元和处理单元参数。20.如权利要求18所述的装置，其中上述AVS视频编码标准仅允许区块大小为8X 8，而宏块大小为16X 16，以及其中上述AVS视频编码标准仅允许亮度组件的DC、水平、垂直、对角线右下角和对角线左下角模式，以及允许色度组件的DC、水平、垂直和平面模式。21.如权利要求18所述的装置，其中上述一或多个处理单元更被配置用以从一或多个相邻重建区块中相邻参考样本执行预过滤，以产生一当前区块的帧内预测子。
【文档编号】H04N19/86GK105847843SQ201610069505
【公开日】2016年8月10日
【申请日】2016年2月1日
【发明人】胡孟杰, 郑佳韵, 张永昌
【申请人】联发科技股份有限公司