用于视频译码的二次边界滤波的制作方法

用于视频译码的二次边界滤波的制作方法
【专利摘要】在一个实例中，一种视频译码装置经配置以：使用沿视频数据块的一次边界的像素的值对所述块进行帧内预测以形成所预测块；确定是否使用所述块的二次边界的数据来对所述所预测块进行滤波；且响应于确定对所述所预测块进行滤波而使用所述二次边界的数据对所述所预测块进行滤波。所述视频译码装置可基于拉普拉斯值或梯度差值与阈值的比较来确定是否对所述所预测块进行滤波。是否对所述所预测块进行滤波的所述确定可至少部分地基于边界关系，例如一个边界与另一边界或者边界与所述所预测块的像素值的关系。
【专利说明】用于视频译码的二次边界滤波
[0001]本申请案主张2011年11月4日申请的第61/556，038号美国临时申请案的权益，所述申请案的整个内容特此以引用的方式并入本文中。
【技术领域】
[0002]本发明涉及视频译码，且更明确地说，涉及视频数据的帧内预测译码。
【背景技术】
[0003]数字视频能力可并入到较宽范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置等。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)界定的标准和所述标准的扩展部分中所描述的那些视频压缩技术，以更高效地发射和接收数字视频信息。
[0004]视频压缩技术执行空间预测和/或时间预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将一视频帧或片分区成若干块。可进一步分区每一块。使用关于相邻块的空间预测来编码经帧内译码(I)帧或片中的块。经帧间译码(P或B)帧或片中的块可相对于同一帧或片中的相邻块使用空间预测，或相对于其它参考帧使用时间预测。

【发明内容】

[0005]一般来说，本发明描述用于确定在视频数据的帧内预测译码期间是否执行二次边界滤波的技术。是否执行二次边界滤波的决策可基于数学边界关系，例如当前块的边界之间或当前块的边界与当前块的像素值之间的关系。在一些实例中，数学边界关系可对应于拉普拉斯(Laplacian)值或梯度差。
[0006]在一个实例中，一种方法包含:使用沿视频数据块的一次边界的像素的值对所述块进行帧内预测以形成所预测块；确定是否使用所述块的二次边界的数据来对所述所预测块进行滤波；以及响应于确定对所述所预测块进行滤波而使用所述二次边界的数据对所述所预测块进行滤波。
[0007]在另一实例中，一种装置包含视频译码器，其经配置以:使用沿视频数据块的一次边界的像素的值对所述块进行帧内预测以形成所预测块；确定是否使用所述块的二次边界的数据来对所述所预测块进行滤波；且响应于确定对所述所预测块进行滤波而使用所述二次边界的数据对所述所预测块进行滤波。
[0008]在另一实例中，一种装置包含:用于使用沿视频数据块的一次边界的像素的值对所述块进行帧内预测以形成所预测块的装置；用于确定是否使用所述块的二次边界的数据来对所述所预测块进行滤波的装置；以及用于响应于确定对所述所预测块进行滤波而使用所述二次边界的数据对所述所预测块进行滤波的装置。[0009]在另一实例中，一种计算机可读存储媒体上存储有指令，所述指令在被执行时致使处理器:使用沿视频数据块的一次边界的像素的值对所述块进行帧内预测以形成所预测块；确定是否使用所述块的二次边界的数据来对所述所预测块进行滤波；且响应于确定对所述所预测块进行滤波而使用所述二次边界的数据对所述所预测块进行滤波。
[0010]在附图及下文描述中陈述一个或一个以上实例的细节。将从描述和图式且从所附权利要求书明白其它特征、目标和优点。
【专利附图】

【附图说明】
[0011]图1是说明可利用用于确定是否执行二次边界滤波的技术的实例视频编码和解码系统的框图。
[0012]图2是说明可实施用于确定是否执行二次边界滤波的技术的视频编码器的实例的框图。
[0013]图3是说明可实施用于确定是否执行二次边界滤波的技术的视频解码器的实例的框图。
[0014]图4是说明HEVC中的各种帧内预测模式方向的概念图。
[0015]图5A和5B是说明基于拉普拉斯计算参考边界样本之间的边界关系的概念图。
[0016]图6是说明用于编码当前块的实例方法的流程图。
[0017]图7是说明用于解码当前视频数据块的实例方法的流程图。
[0018]图8是说明根据本发明的技术的用于确定是否执行二次边界滤波的实例方法的流程图。
【具体实施方式】
[0019]一般来说，本发明提供与在帧内预测译码期间处理像素有关的技术。明确地说，本发明描述用于在视频数据块的帧内预测译码期间启用或停用(完全或部分地)二次边界滤波的技术。还可将二次边界滤波描述为使用二次边界的数据对所预测块进行滤波，所述所预测块是使用一次边界的数据来预测的。就是说，对块进行帧内预测可包含:使用一次边界的数据来预测所述块；确定是否使用二次边界对所述块进行滤波；以及接着响应于确定对所述块进行滤波，使用二次边界的数据对所预测块进行滤波。
[0020]二次边界滤波可包含将多种滤波器中的任一者应用于二次边界处的像素的值以及预测单元中的像素的值，以产生预测单元中的像素的经修改值。二次边界滤波可通常包含:使用二次边界的一个或一个以上值来计算所预测块的一个或一个以上像素的偏移值；以及将所述偏移值应用于相应像素。
[0021]边界可对应于左侧边界或上方边界(即，顶侧边界)。可通过各种帧内预测模式产生预测单元，例如定向帧内预测模式和非定向帧内预测模式。非定向帧内预测模式可包含(例如)DC模式和平面模式。如本发明中所描述，定向帧内预测模式可包含相对水平的帧内预测模式、相对垂直的帧内预测模式，以及相对对角的帧内预测模式。相对水平的帧内预测模式用以使用左侧边界的数据产生所预测块，而相对垂直的帧内预测模式用以使用顶侧边界的数据产生所预测块。
[0022]因此，如上文所述，当使用相对水平的帧内预测模式产生所预测块时，可将一次边界视为左侧边界，而当使用相对垂直的帧内预测模式产生所预测块时，可将一次边界视为顶侧边界。当使用相对水平的帧内预测模式产生所预测块时，可将二次边界视为顶侧边界，而当使用相对垂直的帧内预测模式产生所预测块时，可将二次边界视为左侧边界。
[0023]视频块可包含译码单元(CU)、预测单元(PU)以及变换单元(TU)。块边界可出现在⑶、I3U以及TU之间。就是说，块边界可对应于两个相邻块(例如，相邻⑶、PU或TU)之间的共用边缘。⑶通常指代包含一个或一个以上PU和一个或一个以上TU的视频数据块。PU通常对应于所预测数据块，不管是通过帧内预测还是帧间预测，而TU对应于残余数据块。残余数据通常对应于原始、未经译码视频数据与所预测视频数据之间的逐像素差，即对应I3U中的像素的值。HEVC工作草案版本4 (WD4)为亮度分量指定以下帧内预测模式:平面、DC以及至多达33种定向模式，取决于帧内I3U大小。布罗斯(Bross)等人的WD4:高效视频译码工作草案4(ITU-T SG16WP3和IS0/IEC JTC1/SC29/WG11的视频译码联合协作团队(JCT-VC)，第6次会议，意大利都灵(Torino)，2011年7月14到22日)中描述HEVC WD4。模式相关帧内平滑(MDIS)方法包含取决于模式和大小，在帧内预测之前对参考边界样本进行低通滤波。DC预测滤波方法和简化在经DC预测的PU的边界上应用滤波。
[0024]用于处理经帧内预测的块(即，经帧内预测的PU，在本文中也称为“经预测块”)之间的边界附近的像素的一些技术包含滤波、基于梯度的预测以及双向预测。在基于梯度的预测中，取决于水平或垂直预测，可计算两个参考边界样本之间的差(在一些情况下，可能需要内插)、对其进行加权，并将其与沿帧内PU边界的至少一个列或行相加。在双向预测中，可使用所述方向的两端上的参考样本(即，像素)(在一些情况下，可能需要内插)，且可对二次边界上的参考样本进行加权，并将其与所预测的帧内PU样本相加。换句话说，在产生所预测块之后，例如使用一次边界的数据，视频译码器可应用滤波器，其以数学方式将所预测块的数据(例如，像素值)与二次边界的值进行组合，以修改所预测块的数据。
[0025]在一些实例中，可将两个参考样本之间的经加权梯度与沿垂直和水平预测模式的帧内PU边界的至少一个列或行相加。在一些实例中，取决于帧内预测方向，可在根据平面预测模式产生的PU的边界上应用滤波器，且可将二分接头滤波器应用于二次边界。在一些实例中，可依据帧内预测方向在二次边界上应用对角二分接头滤波器，而不一定在根据平面预测模式产生的PU的边界上应用第一滤波器。
[0026]视频译码方法的评估通常包含本杰特高增量位速率(B1ntegaard Deltabitrate，BD速率)的减小的评估。此评估包含位速率(即，用以表示视频数据的位的数目)与失真(即，可从经译码视频数据再现的数据与原始视频数据之间的差)的比较。一般来说，减小BD速率的技术反映有利视频译码技术。上文所论述的用于边界滤波的方法减小一些视频序列的BD速率，但在一些情况下，二次边界滤波引入不利的BD速率损失。本发明提供用于针对引入BD速率损失的情况免于应用二次边界滤波的技术。
[0027]更明确地说，本发明提供用于检测导致二次边界滤波的BD速率损失的情况的技术。可将这些技术描述为用于二次边界滤波的保护逻辑，因为这些技术可确定是启用还是停用(完全或部分地)二次边界滤波。如果检测是肯定的，那么可部分地或完全停用二次边界滤波，以便改进BD速率性能。举例来说，对于包含具有高对比度且含有频繁转变的文本区的序列，二次边界滤波将无关样本从参考边界传播到帧内PU中。
[0028]本发明的技术包含计算参考边界的样本之间或参考边界样本与帧内I3U样本(即，所预测块的像素值)之间的数学关系。这些数学关系可基于例如拉普拉斯或梯度差的计算。可将来自计算这些关系的结果与阈值进行比较，以便在应用或停用(部分地或完全地)二次边界滤波之间进行决定。所述阈值可为在编码/解码时计算或用信号通知的预定常数(潜在地取决于例如量化参数等参数)。所述数学关系可由编码器和解码器两者或仅由编码器计算，在此情况下，编码器可用信号通知解码器是否应应用二次边界滤波，或应应用哪一部分。
[0029]图1是说明可利用用于确定是否执行二次边界滤波的技术的实例视频编码和解码系统10的框图。如图1中所示，系统10包含源装置12，其经由计算机可读媒体16将经编码视频提供给目的地装置14。源装置12和目的地装置14可包括各种各样装置中的任一者。本发明的技术可适用于空中电视广播、有线电视发射、卫星电视发射、因特网视频发射、经编码到存储媒体上的经编码的数字视频，或其它情况。因此，计算机可读媒体16可包括适合发射经编码视频数据的无线或有线媒体的任何组合，或例如光盘、硬盘驱动器等计算机可读存储媒体。
[0030]在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口 22。目的地装置14包含输入接口 28、视频解码器30和显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用用于确定是否执行二次边界滤波的技术。在其它实例中，源装置和目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18 (例如外部相机)接收视频数据。同样地，目的地装置14可与外部显示装置介接，而不是包含集成显示装置。
[0031]图1所说明的系统10仅为一个实例。用于确定是否执行二次边界滤波的技术可由任何数字视频编码和/或解码装置执行。尽管通常本发明的技术由视频编码装置执行，但所述技术还可由视频编码器/解码器(通常称为“CODEC”)执行。此外，本发明的技术还可由视频预处理器执行。源装置12及目的地装置14仅为此些译码装置的实例，其中源装置12产生用于发射到目的地装置14的经译码视频数据。在一些实例中，装置12、14可以大体上对称的方式操作，使得装置12、14中的每一者包含视频编码和解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频发射，例如用于视频流式传输、视频重放、视频广播或视频电话。
[0032]源装置12的视频源18可包含视频捕获装置，例如视频相机、含有先前捕获的视频的视频档案，和/或从视频内容提供者馈送的视频。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或直播视频(live video)、存档视频与计算机产生的视频的组合。在一些情况下，如果视频源18为视频相机，那么源装置12和目的地装置14可形成所谓的相机电话或视频电话。然而，如上文所提到，本发明中所描述的技术一般可适用于视频译码，且可应用于无线和/或有线应用。在每一情况下，可由视频编码器20来编码所捕获的、所预先捕获的或计算机产生的视频。经编码的视频信息可接着由输出接口 22输出到计算机可读媒体16上。
[0033]计算机可读媒体16可包含瞬时媒体，例如无线广播或有线网络传输，或存储媒体(即，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘，或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可从源装置12接收经编码视频数据，且例如经由网络传输将经编码视频数据提供给目的地装置14。类似地，媒体生产设施(例如，光盘冲压设施)的计算装置可从源装置12接收经编码视频数据，且产生含有所述经编码视频数据的光盘。因此，在各种实例中，可将计算机可读媒体16理解为包含各种形式的一个或一个以上计算机可读媒体。
[0034]目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20界定的语法信息，其还可由视频解码器30使用，所述语法信息包含描述块和其它经译码单元(例如，G0P)的特性和/或处理的语法元素。显示装置32向用户显示经解码的视频数据，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
[0035]在图1的实例中，计算机可读媒体16可包括任何无线或有线通信媒体，例如射频(RF)频谱或一个或一个以上物理传输线、或无线和有线媒体的任一组合。计算机可读媒体16可形成例如局域网、广域网或例如因特网等全局网络的基于包的网络的部分。计算机可读媒体16 —般表示用于将视频数据从源装置12发射到目的地装置14的任何合适的通信媒体或不同通信媒体的集合，包含有线或无线媒体的任何合适组合。计算机可读媒体16可包含可用于促进从源装置12到目的地装置14的通信的路由器、交换器、基站或任何其它设备。
[0036]视频编码器20和视频解码器30可根据视频压缩标准来操作，例如ITU-T H.264标准，或者称为MPEG4，部分10，高级视频译码(AVC)。然而，本发明的技术不限于任何特定译码标准。其它实例包含MPEG-2和ITU-T H.263。尽管图1中未展示，但在一些方面中，视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当的MUX-DEMUX单元或其它硬件及软件，以处置对共同数据流或单独数据流中的音频与视频两者的编码。如果适用，MUX-DEMUX单元可符合ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。
[0037]ITU-T H.264/MPEG-4 (AVC)标准是由 ITU-T 视频译码专家组(Video CodingExperts Group, VCEG)连同IS0/IEC动画专家组(MPEG)制定以作为被称为联合视频小组(Joint Video Team7JVT)的集体伙伴关系的产品。在一些方面中，本发明中所描述的技术可应用于通常符合H.264标准的装置。ITU-T研究组在2005年3月在ITU-T推荐H.264 “用于通用视听服务的高级视频译码(Advanced Video Coding for generic aud1visualservices) ”中描述了 Η.264标准，其在本文中可被称作H.264标准或H.264规范或H.264/AVC标准或规范。联合视频小组(JVT)继续从事于H.264/MPEG-4AVC的扩展。
[0038]视频编码器20和视频解码器30各自可实施为多种合适编码器电路中的任一者，例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。视频编码器20和视频解码器30中的每一者可包含于一个或一个以上编码器或解码器中，视频编码器20和视频解码器30中的任一者可作为组合式编码器/解码器(CODEC)的一部分而集成于相应相机、计算机、移动装置、订户装置、广播装置、机顶盒、服务器等中。
[0039]视频序列通常包含一系列视频帧。图片组(GOP)通常包括一系列一个或一个以上视频帧。GOP可在GOP的标头、GOP的一个或一个以上帧的标头或其它地方中包含语法数据，其描述包含于GOP中的帧的数目。每一帧可包含帧语法数据，其描述相应帧的编码模式。视频编码器20通常对个别视频帧内的视频块进行操作以便对视频数据进行编码。一视频块可对应于一块或一块的一分区。所述视频块可具有固定的或变化的大小，且可根据指定的译码标准而大小不同。每一视频帧可包括多个片。每一片可包括多个块，所述多个块可布置成若干分区，所述分区还被称作子块。
[0040]举例来说，ITU-T H.264标准支持各种块大小(例如，针对亮度分量的16乘16、8乘8或4乘4，和针对色度分量的8X8)的帧内预测，以及各种块大小(例如，针对亮度分量的16X16、16X8、8X16、8X8、8X4、4X8和4X4，和针对色度分量的对应缩放的大小)的帧间预测。在本发明中，“NxN”与“N乘N”可互换使用，以指代依据垂直和水平尺寸的块的像素尺寸，例如16x16个像素或16乘16个像素。一般来说，16x16块将在垂直方向上具有16个像素(y= 16)，且在水平方向上具有16个像素(x = 16)。同样地，NxN块通常在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。一块中的像素可布置成若干行和若干列。此外，块无需必定在水平方向上与在垂直方向上具有相同数目的像素。举例来说，块可包括NxM个像素，其中M不一定等于N。
[0041]小于16乘16的块大小可称为16乘16块的分区。视频块可包括像素域中的像素数据块，或(例如)在对表示经译码的视频块与预测视频块之间的像素差的残余视频块数据应用例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换等变换之后的在变换域中的变换系数的块。在一些情况下，视频块可包括变换域中的经量化变换系数的块。
[0042]较小视频块可提供较佳分辨率，且可用于包括较高细节水平的视频帧的定位。一般来说，块和各种分区(有时称为子块)可称为视频块。另外，可将片视为多个视频块，例如块和/或子块。每一片可为视频帧的可独立解码单元。或者，帧自身可为可解码单元，或可将帧的其它部分定义为可解码单元。术语“经译码单元”或“译码单元”可指代例如整个帧、帧的片、图片群组(GOP)(也称为序列)等视频帧的任何可独立解码的单元，或根据适用的译码技术界定的另一可独立解码的单元。
[0043]经编码视频数据可包含预测数据和残余数据。视频编码器可在帧内预测模式或帧间预测模式期间产生预测数据。帧内预测通常涉及相对于图片的相邻、先前经译码块来预测同一图片的块。帧间预测通常涉及相对于先前经译码图片的数据来预测图片的块。
[0044]在帧内或帧间预测之后，视频编码器可计算所述块的残余值。残余值通常对应于块的所预测数据与所述块的真实值之间的差异。为了进一步压缩块的残余值，可将残余值变换为一组变换系数，其将尽可能多的数据(也称为“能量”)压到尽可能少的系数中。变换系数对应于可为与原始块相同大小的二维系数矩阵。换句话说，仅存在与原始块中的像素一样多的变换系数。然而，归因于变换，变换系数中的许多可具有等于零的值。
[0045]视频编码器可接着量化变换系数以进一步压缩视频数据。量化通常涉及将相对较大范围内的值映射到相对较小范围内的值，从而减少表示经量化变换系数所需的数据量。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说，在量化期间，可将η位值向下舍入到m位值，其中η大于m。在量化之后，视频编码器可扫描变换系数，从而从包含经量化变换系数的二维矩阵产生一维向量。因为可存在若干零值经量化变换系数，所以视频编码器可经配置以在达到零值经量化变换系数后即刻停止扫描，从而减少一维向量中的系数的数目。所述扫描可设计成将较高能量(且因此较低频率)系数放在阵列的前部，且将较低能量(且因此较高频率)系数放在阵列的后部。[0046]视频编码器可接着对所得阵列进行熵编码以更进一步压缩数据。在一些实例中，视频编码器可经配置以使用可变长度代码(VLC)来表示阵列的各种可能经量化变换系数，例如使用上下文自适应可变长度译码(CAVLC)。在其它实例中，视频编码器可经配置以使用二进制算术译码来编码所得经量化系数，例如使用上下文自适应二进制算术译码(CABAC)。
[0047]视频编码器20可进一步例如在帧标头、块标头、片标头或GOP标头中将语法数据(例如，基于块的语法数据、基于帧的语法数据以及基于GOP的语法数据)发送到视频解码器30。GOP语法数据可描述相应GOP中的帧的数目，且帧语法数据可指示用以编码对应帧的编码/预测模式。
[0048]当前正在进行努力来开发新的视频译码标准，当前称为高效视频译码(HEVC)。即将出现的标准也称为H.265。标准化努力是基于视频译码装置的模型，称为HEVC测试模型(HM)。HM假定视频译码装置优于根据例如ITU-T H.264/AVC的装置的若干能力。举例来说，H.264提供九种帧内预测编码模式，而HM提供多达三十五种帧内预测编码模式。
[0049]HM指代作为译码单元(CU)的视频数据块。位流中的语法数据可界定最大译码单元(LCU)，其为依据像素数据的最大译码单元。一般来说，CU具有与H.264标准的宏块类似的目的，只是⑶不具有大小差别。因此，⑶可分给为若干子⑶。一般来说，本发明中对⑶的参考可指代图片的最大译码单元或LCU的子CU。可将LCU分割为若干子CU，且每一子CU可分割为若干子CU。用于位流的语法数据可界定LCU可分割的最大次数，称为CU深度。因此，位流还可界定最小译码单元(SCU)。本发明还是用术语“块”来指代CU、PU或TU中的任一者O
[0050]IXU可与四分树数据结构相关联。一般来说，四分树数据结构每⑶包含一个节点，其中根节点对应于IXU。如果⑶分割为四个子⑶，那么对应于⑶的节点包含四个叶节点，其各自对应于子CU中的一者。四分树数据结构的每一节点可提供用于对应CU的语法数据。举例来说，四分数中的节点可包含分割旗标，指示对应于所述节点的CU是否被分割为子⑶。⑶的语法元素可递归地界定，且可取决于⑶是否分割为子⑶。
[0051]未分割的⑶可包含一个或一个以上预测单元(PU)。一般来说，I3U表示对应⑶的全部或一部分，且包含用于检索PU的参考样本的数据。举例来说，当PU经帧内模式编码时，PU可包含描述的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含描述PU的运动向量的数据。界定运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考帧，和/或运动向量的参考列表(例如，列表O或列表I)。界定PU的⑶的数据还可描述(例如)将⑶分为一个或一个以上PU。划分模式可在⑶未经译码、经帧内模式编码或经帧间预测模式编码之间不同。
[0052]具有一个或一个以上I3U的给定⑶还可包含一个或一个以上变换单元(TU)。在使用PU的预测之后，视频编码器可计算CU的对应于的部分的残余值。可变换、扫描和量化残余值。TU不一定限于PU的大小。因此，TU可大于或小于同一⑶的对应PU。在一些实例中，TU的最大大小可对应于对应CU的大小。
[0053]如上文所述，帧内预测包含从图片的先前经译码⑶预测同一图片的当前⑶的W。更具体地说，视频编码器可使用特定帧内预测模式对图片的当前CU进行帧内预测。HM编码器可配置有至多达三十三个定向帧内预测模式以及两个非定向帧内预测模式。[0054]HM编码器可经配置以使得用于块的可用帧内预测模式集合取决于所述块或的大小而不同。就是说，预测单元(PU)的大小可确定可用于所述的帧内预测模式的数目，编码器可从中选择一帧内预测模式来预测所述PU。下文的表1说明预测单元大小与可用于所述大小的PU的定向帧内预测模式的数目之间的对应性的一个实例。
[0055]表1
[0056]
【权利要求】
1.一种译码视频数据的方法，所述方法包括: 使用沿视频数据块的一次边界的像素的值来对所述块进行帧内预测以形成所预测块； 确定是否使用所述块的二次边界的数据来对所述所预测块进行滤波；以及 响应于确定对所述所预测块进行滤波，使用所述二次边界的数据来对所述所预测块进行滤波。
2.根据权利要求1所述的方法，其中确定是否使用所述二次边界的所述数据来对所述所预测块进行滤波包括计算表示边界关系的值。
3.根据权利要求2所述的方法，其中确定是否对所述所预测块进行滤波包括基于所述所计算值与阈值的比较来确定是否对所述所预测块进行滤波。
4.根据权利要求2所述的方法，其中所述值表示所述一次边界的一个或一个以上像素的像素值与所述二次边界的一个或一个以上像素的像素值之间的关系。
5.根据权利要求2所述的方法，其中所述值表示所述一次边界和所述二次边界中的至少一者的一个或 一个以上像素的像素值与所述所预测块的一个或一个以上像素的像素值之间的关系。
6.根据权利要求2所述的方法，其中计算所述值包括计算拉普拉斯值。
7.根据权利要求6所述的方法，其中对所述块进行帧内预测包括使用相对水平的帧内预测模式来预测所述块，其中计算所述拉普拉斯值包括计算|TR[N-2]-2*TR[N-l]+TR[N]和|TR[N-3]-2*TR[N-2]+TR[N-l] |的最大值，其中所述二次边界包括顶侧边界，其中TR[k]对应于沿所述顶部边界从所述块的左边缘开始的第k个像素，且其中N为表示所述块的宽度的整数值。
8.根据权利要求6所述的方法，其中对所述块进行帧内预测包括使用相对垂直的帧内预测模式来预测所述块，且其中计算所述拉普拉斯值包括计算SR[N-2]-2*SR[N-l]+SR[N]和 SR[N_3]_2*SR[N_2]+SR[N_1]的最大值，其中所述二次边界包括左侧边界，其中SR[j]对应于沿所述左侧边界从所述块的顶部边缘开始的第j个像素，且其中N为表示所述块的高度的整数值。
9.根据权利要求6所述的方法，其中对所述块进行帧内预测包括使用非定向帧内预测模式来预测所述块，且其中计算所述拉普拉斯值包括计算|TR[N-2]-2*TR[N-l]+TR[N] |、TR [N-3]-2氺TR [N-2]+TR[N-1] 1、 | SR[N-2]-2氺SR[N-1]+SR[N] | 和SR[N-3]-2*SR[N-2]+SR[N-l] |的最大值，其中TR[k]对应于沿顶侧边界从所述块的所述左边缘开始的所述第k个像素，其中SR[j]对应于沿左侧边界从所述块的所述顶部边缘开始的所述第j个像素，其中所述块包括正方形块，且其中N为表示所述块的宽度和高度的整数值。
10.根据权利要求9所述的方法，其中使用非定向帧内预测模式对所述块进行帧内预测包括使用DC模式和平面模式中的一者来预测所述块。
11.根据权利要求2所述的方法，其中计算所述值包括计算梯度差值。
12.根据权利要求11所述的方法，其中对所述块进行帧内预测包括使用相对水平的帧内预测模式来预测所述块，其中计算所述梯度差值包括计算I TR [N]-P [N，O] |、TR[N-1]-P[N-1,0] I, I TR[N]-P[N-1,0] | 和 TR[N_1]-P[N，O] | 的最大值，其中所述二次边界包括顶侧边界，其中TR[k]对应于沿所述顶部边界从所述块的所述左边缘开始的所述第k个像素，其中N为表示所述块的宽度的整数值，且其中P[i，j]对应于所述所预测块的在位置[i，j]处的像素。
13.根据权利要求11所述的方法，其中对所述块进行帧内预测包括使用相对垂直的帧内预测模式来预测所述块，其中计算所述梯度差值包括计算|SR[N]-P[0，N] |、SR[N-1]-P[0，N-1] |、|SR[N]-P[0，N-1]和 SR[N_1]-P[O，N]的最大值，其中 SR[j]对应于沿所述左侧边界从所述块的所述顶部边缘开始的所述第j个像素，其中N为表示所述块的高度的整数值，且其中P[i，j]对应于所述所预测块的在位置[i，j]处的所述像素。
14.根据权利要求1所述的方法，其进一步包括: 响应于确定不对所述所预测块进行滤波而使用所述所预测块来译码所述块；以及 响应于确定对所述所预测块进行滤波而使用所述经滤波的所预测块来译码所述块。
15.根据权利要求14所述的方法， 其中使用所述所预测块来译码所述块包括使用所述所预测块来解码所述块，包括将经解码的残余值与所述所预测块相加，且 其中使用所述经滤波的所预测块来译码所述块包括使用所述经滤波的所预测块来解码所述块，包括将所述经解码的残余值与所述经滤波的所预测块相加。
16.根据权利要求14所述的方法， 其中帧内预测包括选择帧内预测模式用于所述块，以及使用所述选定的帧内预测模式来预测所述块， 其中使用所述所预测块来译码所述块包括使用所述所预测块来编码所述块，包括计算表示所述块与所述所预测块之间的差的残余值，且 其中使用所述经滤波的所预测块来译码所述块包括使用所述经滤波的所预测块来编码所述块，包括计算表示所述块与所述经滤波的所预测块之间的差的残余值。
17.根据权利要求1所述的方法，其进一步包括译码表示是否使用所述二次边界的数据来对所述所预测块进行滤波的语法信息。
18.一种用于译码视频数据的装置，所述装置包括视频译码器，其经配置以:使用沿视频数据块的一次边界的像素的值对所述块进行帧内预测以形成所预测块；确定是否使用所述块的二次边界的数据来对所述所预测块进行滤波；且响应于确定对所述所预测块进行滤波而使用所述二次边界的数据对所述所预测块进行滤波。
19.根据权利要求18所述的装置，其中为了确定是否使用所述二次边界的所述数据来对所述所预测块进行滤波，所述视频译码器经配置以计算表示边界关系的值。
20.根据权利要求19所述的装置，其中所述视频译码器经配置以基于所述所计算值与阈值的比较来确定是否对所述所预测块进行滤波。
21.根据权利要求19所述的装置，其中所述值表示所述一次边界的一个或一个以上像素的像素值与所述二次边界的一个或一个以上像素的像素值之间的关系以及所述一次边界和所述二次边界中的至少一者的一个或一个以上像素的像素值与所述所预测块的一个或一个以上像素的像素值之间的关系中的一者。
22.根据权利要求18所述的装置，其中为了计算所述值，所述视频译码器经配置以计算拉普拉斯值。
23.根据权利要求18所述的装置，其中为了计算所述值，所述视频译码器经配置以计算梯度差值。
24.根据权利要求18所述的装置，其中所述视频译码器进一步经配置以响应于确定不对所述所预测块进行滤波而使用所述所预测块来译码所述块，且响应于确定对所述所预测块进行滤波而使用所述经滤波的所预测块来译码所述块。
25.一种用于译码视频数据的装置，所述装置包括: 用于使用沿视频数据块的一次边界的像素的值来对所述块进行帧内预测以形成所预测块的装置； 用于确定是否使用所述块的二次边界的数据来对所述所预测块进行滤波的装置；以及用于响应于确定对所述所预测块进行滤波而使用所述二次边界的数据来对所述所预测块进行滤波的装置。
26.根据权利要求25所述的装置，其中所述用于确定是否使用所述二次边界的所述数据来对所述所预测块进行滤波的装置包括用于计算表示边界关系的值的装置。
27.根据权利要求26所述的装置，其中所述用于确定是否对所述所预测块进行滤波的装置包括用于基于所述所计算值与阈值的比较来确定是否对所述所预测块进行滤波的装置。
28.根据权利要求26所述的装置，其中所述值表示所述一次边界的一个或一个以上像素的像素值与所述二 边界的一个或一个以上像素的像素值之间的关系以及所述一次边界和所述二次边界中的至少一者的一个或一个以上像素的像素值与所述所预测块的一个或一个以上像素的像素值之间的关系中的一者。
29.根据权利要求25所述的装置，其中所述用于计算所述值的装置包括用于计算拉普拉斯值的装置。
30.根据权利要求25所述的装置，其中所述用于计算所述值的装置包括用于计算梯度差值的装置。
31.根据权利要求25所述的装置，其进一步包括: 用于响应于确定不对所述所预测块进行滤波而使用所述所预测块来译码所述块的装置；以及 用于响应于确定对所述所预测块进行滤波而使用所述经滤波的所预测块来译码所述块的装置。
32.—种计算机可读存储媒体，其上存储有指令，所述指令在被执行时致使处理器: 使用沿视频数据块的一次边界的像素的值来对所述块进行帧内预测以形成所预测块； 确定是否使用所述块的二次边界的数据来对所述所预测块进行滤波；以及响应于确定对所述所预测块进行滤波，使用所述二次边界的数据来对所述所预测块进行滤波。
33.根据权利要求32所述的计算机可读存储媒体，其中所述致使所述处理器确定是否使用所述二次边界的所述数据来对所述所预测块进行滤波的指令包括致使所述处理器计算表示边界关系的值的指令。
34.根据权利要求33所述的计算机可读存储媒体，其中所述致使所述处理器确定是否对所述所预测块进行滤波的指令包括致使所述处理器基于所述所计算值与阈值的比较来确定是否对所述所预测块进行滤波的指令。
35.根据权利要求33所述的计算机可读存储媒体，其中所述值表示所述一次边界的一个或一个以上像素的像素值与所述二次边界的一个或一个以上像素的像素值之间的关系以及所述一次边界和所述二次边界中的至少一者的一个或一个以上像素的像素值与所述所预测块的一个或一个以上像素的像素值之间的关系中的一者。
36.根据权利要求32所述的计算机可读存储媒体，其中所述致使所述处理器计算所述值的指令包括致使所述处理器计算拉普拉斯值的指令。
37.根据权利要求32所述的计算机可读存储媒体，其中所述致使所述处理器计算所述值的指令包括致使所述处理器计算梯度差值的指令。
38.根据权利要求32所述的计算机可读存储媒体，其进一步包括致使所述处理器进行以下操作的指令: 响应于确定不对所述所预测块进行滤波而使用所述所预测块来译码所述块；以及 响应于确定对所述所预测块进行滤波而使用所述经滤波的所预测块来译码所述块。
【文档编号】H04N19/117GK104041045SQ201280053654
【公开日】2014年9月10日 申请日期:2012年11月2日 优先权日:2011年11月4日
【发明者】格尔特·范德奥维拉, 马尔塔·卡切维奇 申请人:高通股份有限公司