用于色度分量的自适应环路滤波的制作方法

用于色度分量的自适应环路滤波的制作方法
【专利摘要】本发明提出用以允许在自适应环路滤波器中对色度分量进行滤波方面的更多灵活性的技术。在一个实例中，一种用于自适应环路滤波的方法包含：对像素块的亮度分量执行亮度自适应环路滤波；以及对所述像素块的色度分量执行色度自适应环路滤波，其中所述亮度自适应环路滤波和色度自适应环路滤波两者的滤波器系数均是从基于块的模式或基于区的模式导出。所述方法可进一步包含：确定对所述像素块执行亮度自适应环路滤波；以及确定对所述像素块执行色度自适应环路滤波，其中所述确定执行色度自适应环路滤波与确定执行亮度自适应环路滤波独立地执行。
【专利说明】用于色度分量的自适应环路滤波
[0001]本申请案主张2011年10月21申请的第61 / 550，259号美国临时申请案的权益，所述申请案的全文以引用的方式并入本文中。
【技术领域】
[0002]本发明涉及视频译码，且更特定来说，涉及视频译码过程中的用于色度分量的自适应环路滤波的技术。
【背景技术】
[0003]数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频会议装置等等。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264 /MPEG-4第10部分高级视频译码(AVC)、目前在开发中的高效率视频译码(HEVC)标准定义的标准和所述标准的扩展部分中所描述的那些视频压缩技术，从而更高效地发射、接收以及存储数字视频信息。
[0004]视频压缩技术包含空间预测和/或时间预测以减少或移除视频序列中所固有的冗余。对于基于块的视频译码，可将一视频帧或切片分割成若干块。可进一步分割每一块。使用空间预测相对于同一帧或切片中的相邻块中的参考样本来编码经帧内译码(I)帧或切片中的块。经帧间译码的(P或B)帧或切片中的块可使用关于同一帧或切片中的相邻块中的参考样本的空间预测或关于其它参考帧中的参考样本的时间预测。空间或时间预测产生对待译码的块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。
[0005]根据指向形成预测性块的参考样本块的运动向量以及指示经译码块与所述预测性块之间的差的残余数据来编码经帧间译码块。根据帧内译码模式和残余数据来编码经帧内译码块。为了进一步压缩，可将残余数据从像素域变换为变换域，从而产生残余变换系数，所述残余变换系数随后可被量化。起初布置在二维阵列中的经量化变换系数可以特定次序扫描以产生变换系数的一维向量以用于熵译码。

【发明内容】

[0006]一股来说，本发明描述用于对视频数据进行译码的技术。具体来说，本发明描述用于视频译码的自适应环路滤波器(ALF)过程的技术。本发明提出用以允许对ALF过程中的色度分量进行滤波方面的更多灵活性的技术。
[0007]在本发明的一个实例中，揭示一种用于视频译码过程中的自适应环路滤波的方法。所述方法包含:对像素块的亮度分量执行亮度自适应环路滤波；以及对所述像素块的色度分量执行色度自适应环路滤波，其中所述亮度自适应环路滤波和色度自适应环路滤波两者的滤波器系数均是从基于块的模式或基于区的模式导出。所述像素块的所述色度分量可以4: 2: 0、4: 2: 2或4: 4: 4像素格式。[0008]在本发明的另一实例中，所述方法可进一步包含:确定对所述像素块执行亮度自适应环路滤波；以及确定对所述像素块执行色度自适应环路滤波，其中确定执行色度自适应环路滤波与确定执行亮度自适应环路滤波独立地执行。确定执行色度自适应环路滤波可包含用信号通知或接收CU层级ALF开/关旗标。
[0009]在本发明的另一实例中，将用于亮度自适应环路滤波的滤波器信息用于色度自适应环路滤波。所述滤波器信息可包含⑶层级开/关图、滤波器系数，和/或基于块的分类。
[0010]在本发明的另一实例中，从用于亮度自适应环路滤波的滤波器系数预测用于色度自适应环路滤波的滤波器系数。
[0011]在本发明的另一实例中，执行色度自适应环路滤波可包含对所述像素块的Cr色度分量执行Cr色度自适应环路滤波，且对像素块的Cb色度分量执行Cb色度自适应环路滤波。可将用于Cr色度自适应环路滤波的滤波器信息用于Cb色度自适应环路滤波。所述滤波器信息包含⑶层级开/关图、滤波器系数，和/或基于块的分类。在本发明的另一实例中，从用于Cr色度自适应环路滤波的滤波器系数预测用于Cb色度自适应环路滤波的滤波器系数。
[0012]还将在经配置以执行技术以及存储可致使一个或一个以上处理器执行所述技术的指令的计算机可读存储媒体的设备和装置方面来描述本发明的技术。
[0013]一个或一个以上实例的细节陈述于附图及以下描述中。其它特征、目标及优势将从描述及附图和从权利要求书中显而易见。
【专利附图】

【附图说明】
[0014]图1为说明实例性视频编码及解码系统的框图。
[0015]图2是展示用于自适应环路滤波器的基于区的分类的概念图。
[0016]图3是展示用于自适应环路滤波器的基于块的分类的概念图。
[0017]图4是展示实例性译码单元(⑶)层级ALF开/关旗标图的概念图。
[0018]图5是展示另一实例性译码单元(⑶)层级ALF开/关旗标图的概念图。
[0019]图6为说明实例性视频编码器的框图。
[0020]图7为说明实例性视频解码器的框图。
[0021]图8是展示根据本发明的技术的实例性编码方法的流程图。
[0022]图9是展示根据本发明的技术的实例性解码方法的流程图。
【具体实施方式】
[0023]一股来说，本发明描述用于对视频数据进行译码的技术。具体来说，本发明描述用于视频译码过程中的色度分量的自适应环路滤波(ALF)的技术。
[0024]用于应用ALF的先前技术不同地对待像素的亮度和色度分量。具体来说，基于亮度分量的局部区或活动性从多个可能的ALF中选择特定的ALF来用于亮度分量。因此，用于亮度分量的ALF是灵活的，且对视频的特定场景更适合。另一方面，仅一个ALF用于色度分量，且其使用取决于正使用的亮度ALF。仅将一个ALF用于色度分量，以及与用于亮度分量的ALF独立地不将ALF应用于色度分量，可限制用于4: 2: O像素取样格式(还被称作色度取样格式)的ALF的质量。因此，本发明提出用以允许对ALF中的色度分量进行滤波方面的更多灵活性的技术。在其它实例中，本发明的用于色度分量的ALF的技术不限于仅4: 2: O像素格式。可将本发明的ALF技术应用于呈其它像素格式的色度分量，例如4: 2: 2和4: 4: 4像素格式。
[0025]数字视频装置实施视频压缩技术以更有效地编码和解码数字视频信息。视频压缩技术可应用空间(帧内)预测和/或时间帧间)预测技术以减少或移除视频序列中所固有的冗余。
[0026]存在正由ITU-T视频译码专家组(VCEG)以及ISO / IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)开发的新的视频译码标准，即高效率视频译码(HEVC)。被称作“HEVC工作草案8”或“WD8”的HEVC标准的最近草案描述于布洛斯(Bross)等人的文献JCTVC-J1003 “高效率视频译码(HEVC)文本规范草案6(High efficiency videocoding(HEVC) text specification draft6)” 中，ITU-T SG16WP3 和 ISO / IEC JTCl /SC29 / WGll的联合合作视频译码小组(JCT-VC)第十次会议:斯德哥尔摩，瑞典，2012年7 月 11 日至 Ij 20 日，其至 2012 年 10 月 15 日为丨 h可从 http: / / phenix.1nt-evry.fr /ict / doc end user / documents / 10 Stockholm / wgll /.TCTVC-.T1003-v8.zip 下裁。
[0027]对于根据HEVC的视频译码，作为一个实例，可将视频帧分割为译码单元。译码单元(CU) —股指代用作向其应用各种译码工具以进行视频压缩的基本单元的图像区。CU通常具有亮度分量(其可表示为Y)，以及两个色度分量(其可表示为Cr和Cb)。取决于视频取样格式，Cr和Cb分量的大小(依据样本数目)可与Y分量的大小相同或不同。CU通常是正方形的，且可被视为类似于在例如ITU-T H.264等其它视频译码标准下的所谓的宏块。
[0028]可以不同的子取样格式对CU中的像素的亮度和色度分量进行译码。在HEVC的一个提议中，以4: 2: O格式对像素的亮度和色度分量进行译码。在4: 2: O像素格式中，对于每个4x2像素块，存在八个亮度分量(每行4个)以及2个色度分量(例如，4x2块的第一行中的I个Cr色度分量以及I个Cb色度分量)。所述4x2块的第二行将不具有色度信息。因此，在4x2像素块中，色度分量是以1/2水平分辨率和1/2垂直分辨率取样。然而，视频译码技术不限于4: 2: O色度子取样。可使用其它子取样格式，包含4: 2: 2和4: 4: 4。在4: 2: 2像素格式中，对于每个4x2像素块，存在八个亮度分量(每行4个)以及4个色度分量(例如，4x2块的第一行和第二行中的每一者中的I个Cr色度分量以及I个Cb色度分量)。因此，对于4: 2: 2格式，色度分量是以1/2水平分辨率和全垂直分辨率取样。4:4: 4像素格式涉及不对色度分量进行子取样。也就是说，对于4x2像素块，存在八个亮度分量，八个Cr分量以及八个Cb分量。
[0029]为了实现更佳的译码效率，译码单元可具有取决于视频内容的可变大小。另外，译码单元可被分裂为更小的块以用于预测或变换。具体来说，可进一步将每一译码单元分割为预测单元(PU)和变换单元(TU)。I3U可被视为类似于在例如ITU-T H.264等其它视频译码标准下的所谓的分区。TU是指向其应用变换以产生变换系数的残余数据块。
[0030]将在本发明中出于说明的目的来描述根据开发HEVC标准的目前提出的方面中的一些方面的译码。然而，本发明中所描述的技术可用于其它视频译码过程，例如根据H.264或其它标准或专用视频译码过程而界定的视频译码过程。
[0031]HEVC标准化工作是基于被称作HEVC测试模型(HM)的视频译码装置模型。HM假设优于根据(例如)ITU-T H.264 / AVC的装置的视频译码装置的若干能力。举例来说，尽管H.264提供九种帧内预测编码模式，但HM提供多达三十五种帧内预测编码模式。
[0032]根据HM，⑶可包含一个或一个以上预测单元(PU)和/或一个或一个以上变换单元(TU)。位流内的语法数据可界定最大译码单元(LCU)，其为在像素数目方面的最大CU。一股来说，⑶具有与H.264的宏块类似的目的，只不过⑶不具有大小区别。因此，⑶可被分裂为若干子CU。一股来说，在本发明中对CU的参考可涉及图片的最大译码单元或LCU的子⑶。IXU可被分裂成若干子⑶，且每一子⑶可进一步被分裂成若干子⑶。位流的语法数据可界定LCU可被分裂的最大倍数，被称作CU深度。因此，位流还可界定最小译码单元(S⑶)。本发明还使用术语“块”、“分区”或“部分”来指代⑶、或TU中的任一者。一股来说，“部分”可指代视频帧的任何子组。
[0033]IXU可与四叉树数据结构相关联。一股来说，四叉树数据结构每个⑶包含一个节点，其中根节点对应于LCU。如果将CU分裂为四个子CU，那么对应于CU的节点包含四个叶节点，所述四个叶节点中的每一者对应于子CU中的一者。所述四叉树数据结构的每一节点可提供对应CU的语法数据。举例来说，四叉树中的节点可包含分裂旗标，从而指示对应于所述节点的CU是否被分裂为子CU。可递归地界定CU的语法元素，且所述语法元素可取决于⑶是否被分裂为子⑶。如果⑶未进一步分裂，那么其被称作叶⑶。
[0034]另外，叶⑶的TU还可与相应的四叉树数据结构相关联。也就是说，叶⑶可包含指示叶CU如何被分割为TU的四叉树。本发明涉及指示LCU如何被分割为CU四叉树的四叉树以及指示叶CU如何被分割为TU以作为TU四叉树的四叉树。TU的根节点一股对应于叶CU，而⑶四叉树的根节点一股对应于IXU。TU四叉树的未分裂的TU被称作叶TU。
[0035]叶⑶可包含一个或一个以上预测单元(PU)。一股来说，PU表示对应⑶的全部或一部分，且可包含用于检索PU的参考样本的数据。举例来说，在对PU进行帧间模式编码时，PU可包含界定PU的运动向量的数据。界定运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考帧，和/或运动向量的参考列表(例如，列表O或列表I)。界定PU的叶CU的数据还可描述(例如)将CU分割为一个或一个以上W。分割模式可取决于CU是未被预测性地译码、被帧内预测模式编码还是被帧间预测模式编码而不同。对于帧内译码，可将PU视为与下文所描述的叶变换单元相同。
[0036]为了对块(例如，视频数据的预测单元(PU))进行译码，首先导出所述块的预测符。所述预测符可通过帧内(I)预测(即，空间预测)或帧间(P或B)预测(S卩，时间预测)来导出。因此，一些预测单元可相对于同一帧中的相邻参考块使用时间预测来帧内预测(I)，且其它预测单元可相对于其它帧中的参考块被帧间译码(P或B)。用于预测的参考块可包含处于所谓的整数像素位置的实际像素值以作为参考样本，或通过分数像素位置处的内插而产生的合成像素值以作为参考样本。
[0037]在识别预测符之后，即刻计算原始视频数据块与其预测符之间的差。此差还被称为预测残差，且是指待译码的块的像素与参考块(即，预测符)的对应参考样本(其可为整数精度像素或经内插分数精度像素，如上文所提及)之间的像素差。为了实现更佳的压缩，一股例如使用离散余弦变换(DCT)、整数变换、卡洛(K-L)变换或其它变换将预测残差(即，像素差值的阵列)从像素(即，空间)域变换为变换域。所述变换域可为(例如)频域。
[0038]使用帧间预测对进行译码涉及计算当前块与参考帧中的块之间的运动向量。通过被称为运动估计(或运动搜索)的过程来计算运动向量。运动向量(例如)可指示当前帧中的预测单元相对于参考帧的参考样本的移位。参考样本可为被发现在像素差方面与⑶的包含正被译码的PU的部分紧密匹配的块，其可通过绝对差和(SAD)、平方差和(SSD)或其它差度量来确定。参考样本可出现在参考帧或参考切片内的任何地方。在一些实例中，参考样本可被整体或部分地内插，且出现在分数像素位置处。在找到参考帧的与当前部分最佳匹配的一部分之后，编码器即刻确定当前部分的当前运动向量从当前部分到参考帧中的匹配部分(例如，从当前部分的中心到匹配部分的中心)的位置上的差。
[0039]在一些实例中，编码器可用信号通知经编码视频位流中的每一部分的运动向量。用信号通知的运动向量由解码器用于执行运动补偿以便对视频数据进行解码。
[0040]一旦执行运动估计来确定当前部分的运动向量，编码器便将参考帧中的匹配部分与当前部分进行比较。此比较通常涉及从当前部分减去参考帧中的部分(其一股被称作“参考样本”)且产生所谓的残余数据，如上文所提及。所述残余数据指示当前部分与参考样本之间的像素差值。编码器随后将此残余数据从像素域变换到变换域(例如，频域)。通常，编码器将离散余弦变换(DCT)应用于残余数据以实现此变换。编码器应用此变换以便促进残余数据的压缩，因为所得的变换系数表示不同的频率，其中大部分能量通常集中在一些低频系数上。
[0041]通常，尤其在变换系数首先被量化(四舍五入)的情况下，以实现熵译码的方式将所得的变换系数分组在一起。编码器随后执行统计上无损(或所谓的“编码”)编码以进一步压缩经游程长度译码的经量化变换系数。在执行无损熵译码之后，编码器产生包含经编码视频数据的位流。
[0042]所述视频编码过程还可包含所谓的“重构环路”，借此经编码视频块被解码且存储在参考帧缓冲器中以用作用于随后被译码的视频块的参考帧。所述参考帧缓冲器还被称作经解码图片缓冲器或DPB。经重构视频块常常被滤波，随后存储于参考帧缓冲器中。滤波通常用以(例如)减少成块性或基于块的视频译码常见的其它假影。滤波器系数(有时称为滤波器分接头)可经界定或选择以便促进可减少成块性的视频块滤波的所要水平及/或以其它方式改进视频质量。举例来说，一组滤波器系数可界定如何沿视频块的边缘或视频块内的其它位置应用滤波。不同滤波器系数可引起关于视频块的不同像素的不同水平的滤波。举例来说，滤波可平滑化或锐化邻近像素值的强度差异，以便帮助消除不想要的假影。
[0043]作为一个实例，解块滤波器可用于改善经译码视频块之间的外观(例如，使边缘平滑)。另一实例性滤波器是样本自适应偏移(SAO)滤波器，其用于将偏移添加到经重构像素块以改善图像质量和译码效率。用于HEVC的一个提议中的重构环路中的另一类型的滤波器是自适应环路滤波器(ALF)。ALF通常在解块滤波器之后执行。ALF恢复由于视频译码压缩过程而降级的像素的保真度。ALF尝试使源帧中的原始像素值与经重构帧的像素值之间的均方误差最小化。还以与在编码过程期间应用的方式相同的方式在视频解码器的输出处应用ALF。可将重构环路中所使用的任何滤波器统称为“环路滤波器”。环路滤波器可包含一个或一个以上解块滤波器、SAO滤波器以及ALF。另外，用于在重构环路中使用的其它类型的滤波器也是可能的。
[0044]本发明呈现用于ALF的技术。具体来说，本发明呈现用于色度分量的ALF的技术。在本发明的一个或一个以上实例中，用于色度分量的ALF可与用于亮度分量的ALF独立地应用。在本发明的其它实例中，通过使用基于块或基于区的分类从多个ALF的群组确定用于色度分量的特定ALF。
[0045]图1为说明可经配置以利用用于根据本发明的实例的视频译码过程中的自适应环路滤波的技术的实例性视频编码和解码系统10的框图。如图1中所示，系统10包含源装置12，其经由通信信道16将经编码视频发射到目的地装置14。经编码视频数据还可存储在存储媒体34或文件服务器36上且可由目的地装置14在需要时存取。当存储到存储媒体或文件服务器时，视频编码器20可将经译码视频数据提供给另一装置，例如网络接口、压缩光盘(CD)、蓝光或数字视频光盘(DVD)烧录器或压印设施装置，或用于将经译码视频数据存储到存储媒体的其它装置。同样，与视频解码器30分开的装置(例如，网络接口、CD或DVD读取器等)可从存储媒体检索经译码视频数据且将所检索的数据提供给视频解码器30。
[0046]源装置12和目的地装置14可包括广泛多种装置中的任一者，包含桌上型计算机、笔记本(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如，所谓的智能电话)、电视、相机、显示装置、数字媒体播放器、视频游戏控制台等。在许多情况下，此些装置可经装备以进行无线通信。因此，通信信道16可包括无线信道、有线信道，或适合于发射经编码视频数据的无线和有线信道的组合。类似地，文件服务器36可由目的地装置14通过任何标准数据连接(包含因特网连接)进行存取。此可包含无线信道(例如，W1-Fi连接)、有线连接(例如，DSL、缆线调制解调器，等等)，或适合于存取存储于文件服务器上的经编码视频数据的以上两者的组合。
[0047]根据本发明的实例的用于视频译码过程中的自适应环路滤波的技术可被应用于支持多种多媒体应用(例如，无线电视广播、有线电视传输、卫星电视传输、流式视频传输(例如，经由因特网))中的任一者的视频译码、供存储于数据存储媒体上的数字视频的编码、存储于数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频回放、视频广播和/或视频电话等应用。
[0048]在图1的实例中，源装置12包含视频源18、视频编码器20、调制器/解码器22和发射器24。在源装置12中，视频源18可包含例如视频俘获装置(例如，摄像机、含有先前俘获的视频的视频存档、用以从视频内容提供者接收视频的视频馈送接口)的源，和/或用于产生计算机图形数据以作为源视频的计算机图形系统的源，或此些源的组合。作为一个实例，如果视频源18为摄像机，则源装置12与目的地装置14可形成所谓的相机电话或视频电话。然而，一股来说，本发明中所描述的技术可适用于视频译码，且可适用于无线及/或有线应用，或其中将经编码视频数据存储于本地磁盘上的应用。
[0049]可由视频编码器20来编码经俘获的、经预先俘获的或计算机产生的视频。经编码视频信息可由调制解调器22根据通信标准(例如，无线通信协议)来调制，且经由发射器24而发射到目的地装置14。调制解调器22可包含各种混频器、滤波器、放大器或经设计以用于信号调制的其它组件。发射器24可包含经设计以用于发射数据的电路，包括放大器、滤波器及一个或一个以上天线。
[0050]由视频编码器20编码的经俘获的、经预先俘获的或计算机产生的视频还可存储到存储媒体34或文件服务器36上，以供以后消耗。存储媒体34可包含蓝光光盘、DVD、CD-ROM、快闪存储器，或用于存储经编码视频的任何其它合适的数字存储媒体。存储在存储媒体34上的经编码视频随后可由目的地装置14存取以进行解码和回放。
[0051]文件服务器36可为能够存储经编码视频且将所述经编码视频发射到目的地装置14的任何类型的服务器。实例性文件服务器包含网络服务器(例如，对于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器，或能够存储经编码视频数据和将所述经编码视频数据发射到目的地装置的任何其它类型的装置。经编码视频数据从文件服务器36的传输可为流式传输、下载传输，或两者的组合。文件服务器36可由目的地装置14通过任何标准数据连接(包含因特网连接)进行存取。此可包含无线信道(例如，W1-Fi连接)、有线连接(例如，DSL、缆线调制解调器，以太网、USB等等)，或适合于存取存储于文件服务器上的经编码视频数据的以上两者的组合。
[0052]图1的实例中的目的地装置14包含接收器26、调制解调器28、视频解码器30和显示装置32。目的地装置14的接收器26在信道16上接收信息，且调制解调器28解调所述信息以产生用于视频解码器30的经解调位流。在信道16上传送的信息可包含由视频编码器20产生的多种语法信息，以供视频解码器30在解码视频数据中使用。此语法还可与存储于存储媒体34或文件服务器36上的经编码视频数据包含在一起。视频编码器20和视频解码器30中的每一者可形成能够编码或解码视频数据的相应编码器-解码器(CODEC)的部分。
[0053]显示装置32可与目的地装置14 一起集成，或在所述目的地装置外部。在一些实例中，目的地装置14可包含集成式显示装置，且还经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一股来说，显示装置32向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如，液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
[0054]在图1的实例中，通信信道16可包括任一无线或有线通信媒体，例如，射频(RF)频谱或一个或一个以上物理传输线、或无线和有线媒体的任一组合。通信信道16可形成例如局域网、广域网或例如因特网的全球网络的基于包的网络的部分。通信信道16 —股表示用于将视频数据从源装置12发射到目的地装置14的任何合适的通信媒体或不同通信媒体的集合，包含有线或无线媒体的任何合适组合。通信信道16可包含可用于促进从源装置12到目的地装置14的通信的路由器、交换器、基站或任何其它设备。
[0055]视频编码器20和视频解码器30可根据例如目前在开发中的HEVC标准等视频压缩标准而操作，且可符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可根据例如ITU-T H.264标准(或者被称作MPEG4第10部分，高级视频译码(AVC))或此类标准的扩展等其它专有或产业标准而操作。然而，本发明的技术不限于任何特定译码标准。其它实例包含MPEG-2和ITU-T H.263。
[0056]尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当的MUX-DEMUX单元或其它硬件及软件，以处置对共同数据流或单独数据流中的音频与视频两者的编码。在一些实例中，如果适用，MUX-DEMUX单元可符合ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。
[0057]视频编码器20和视频解码器30各自可经实施为例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合的多种合适编码器电路中的任一者。当所述技术部分地在软件中实施时，一装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中，且在硬件中使用一个或一个以上处理器来执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含于一个或一个以上编码器或解码器中，所述视频编码器和视频解码器中的任一者可在相应装置中被集成为组合式编码器/解码器(CODEC)的一部分。
[0058]视频编码器20可实施本发明的用于视频译码过程中的自适应环路滤波的技术中的任一者或全部。同样，视频解码器30可实施用于视频译码过程中的自适应环路滤波的这些技术中的任一者或全部。如本发明中所描述的视频译码器可指代视频编码器或视频解码器。类似地，视频译码单元可指代视频编码器或视频解码器。在此上下文中，视频译码单元是物理硬件且不同于上文所论述的CU数据结构。同样，视频译码可指代视频编码或视频解码。
[0059]在本发明的一个实例中，视频编码器20可经配置以:对像素块的亮度分量执行亮度自适应环路滤波；以及对所述像素块的色度分量执行色度自适应环路滤波，其中所述亮度自适应环路滤波和色度自适应环路滤波两者的滤波器系数均是从基于块的模式或基于区的模式导出。
[0060]同样，在本发明的另一实例中，视频解码器30可经配置以:对像素块的亮度分量执行亮度自适应环路滤波；以及对所述像素块的色度分量执行色度自适应环路滤波，其中所述亮度自适应环路滤波和色度自适应环路滤波两者的滤波器系数均是从基于块的模式或基于区的模式导出。
[0061]在HEVC的一个ALF提议中，提出两个调适模式(即，基于块和基于区的调适模式)。对于基于区的自适应模式，将帧划分为16个区，且每一区可具有一组线性滤波器系数(多个AC系数和一个DC系数)。在其它实例中，可使用更多或更少的区。区可与其它区共享相同的滤波器系数。图2是展示用于自适应环路滤波器的基于区的分类的概念图。如图2中所示，将帧120划分为16个区，且每一区可包含多个⑶。这些16个区中的每一者由指示所述区所使用的特定组线性滤波器系数的编号(O到15)表示。所述数目(O到15)可为到存储于视频编码器和视频解码器两者处的预定组滤波器系数的索引编号。也就是说，每一编号(O到15)可为到多组滤波器系数中的特定一者的索引。在一个实例中，视频编码器可在经编码视频位流中用信号通知由视频编码器用于特定区的一组滤波器系数的索引编号。基于所述用信号通知的索引，视频解码器可从多个不同组滤波器系数中检索相同的预定组滤波器系数以在用于所述区的解码过程中使用。在其它实例中，例如由编码器针对每一区显式地用信号通知滤波器系数以作为由解码器接收的经编码位流中的语法元素。
[0062]对于基于块的调适模式，帧被划分为4X4块，且每一 4X4块通过使用方向和活动性信息计算度量而导出一个类别。对于每一类别，可使用一组线性滤波器系数(多个AC系数和一个DC系数)，且一个类别可与其它类别共享相同的滤波器系数。图3是展示用于自适应环路滤波器的基于块的分类的概念图。
[0063]以下展示方向和活动性以及基于方向和活动性的所得度量的计算:
[0064]方向
[0065] Ver_act (i, j) =abs (X (i, j)〈〈l_X(i，j_l)_X(i，j+1))[0066] Hor_act (i, j)=abs(X(i, j)〈〈l-X(i_l, j)_X(i+l, j))
[0067]BHb= Σ i = 1,2 Σ J = 1,2H(i, j)
[0068] Vb= Σ i = 1,2 Σ J = 1,2V(i，j)
[0069]方向=0，I (Hb>2Vb)，2 (VB>2HB)
[0070]活动性
[0071] Lb=Hb+Vb
[0072] N 个类别(0，1，2，...，N-l)
[0073]度量
[0074]活动性+N*方向
[0075]Hot_act(i,j) —股指代当前像素(i,j)的水平活动性，且Vert_act (i, j) —股指代当前像素(i，j)的垂直活动性。X(i，j) 一股指代像素(i，j)的像素值，其中i和j指示帧或块内的当前像素的水平和垂直坐标。在此上下文中，活动性一股是像素之间在位置上的梯度或变化。
[0076]Hb指代4x4块的水平活动性，其在此实例中是基于像素(1，1)、(1，2)、(2，1)和(2，2)的水平活动性的总和来确定指代4x4块的垂直活动性，其在此实例中是基于像素(1，1)、(1，2)、(2，1)和(2，2)的垂直活动性的总和来确定。“〈〈I”表示乘乘以两个操作。基于4和Vb的值，可确定方向。作为一个实例，如果Hb的值多于Vb的值的2倍，那么可将所述方向确定为方向I (即，水平)，其可能对应于比垂直活动性更多的水平活动性。如果Vb的值多于Hb的值的2倍，那么可将所述方向确定为方向2 ( 即，垂直)，其可能对应于比水平活动性更多的垂直活动性。否则，可将所述方向确定为方向0(即，没有方向)，从而意味着水平或垂直活动性都不是主要的。用于各个方向的标记以及用于确定方向的比率仅构成一个实例，因为还可使用其它标记和比率。
[0077]可将4x4块的活动性(Lb)确定为水平活动性与垂直活动性的总和。可将Lb的值分类为一范围。此特定实例展示N个范围。也就是说，可使用任何数目的范围。基于活动性和方向的组合，可选择用于4x4像素块的滤波器。作为一个实例，可基于活动性和方向到滤波器的二维映射来选择滤波器，或可将活动性和方向组合为单个度量，且可使用所述单个度量来选择滤波器(例如，度量=活动性+N*方向)。
[0078]返回到图3，框140表示4x4像素块。在此实例中，仅使用十六个像素中的四个像素来计算用于基于块的ALF的活动性和方向度量。所述四个像素是被标记为像素141的像素(1，I)、被标记为像素142的像素(2,1)、被标记为像素143的像素(1,2)以及被标记为像素144的像素(2，2)。举例来说，像素141(BP,hor_act(l,l))的水平活动性是基于左边相邻像素和右边相邻像素来确定。所述右边相邻像素被标记为像素145且所述左边相邻像素被标记为像素146。举例来说，像素142(即，ver_act(2，l))的垂直活动性是基于上部相邻像素和下部相邻像素来确定。所述下部相邻像素被标记为像素147且所述上部相邻像素被标记为像素148。可以类似方式计算像素143和144的水平和垂直活动性。
[0079]在HEVC的先前自适应环路滤波器提议中，特定像素块内的亮度和色度分量使用不同的自适应环路滤波器。对于亮度分量，使用上文所描述的基于区或基于块的自适应ALF。基于区或基于块的自适应ALF可利用多个滤波器(例如，最多16个滤波器)。此外，可使用⑶层级ALF开/关决策旗标来逐⑶地作出使用亮度ALF的决策。对于色度分量，仅使用一个滤波器。使用用于色度分量的ALF的决策不与亮度ALF独立地受到控制。而是，仅当启用亮度ALF滤波器时(即，当CU层级ALF旗标开启时)才启用色度ALF滤波器。
[0080]图4描绘⑶层级ALF开/关决策旗标的使用的概念图。将图片160分解为多个CU以用于译码。在图4的实例中，为了易于理解，将CU描绘为具有相等大小。然而，CU可具有不同大小。举例来说，HEVC中的CU可根据四叉树结构进行分割。
[0081]在图4中，已用开启的ALF旗标(例如，ALF旗标=1)对具有散列记号的⑶163进行译码。因此，根据HEVC的先前提议，视频编码器和解码器两者将向所述CU中的像素的亮度和色度分量两者应用ALF。视频编码器可进一步在经编码视频位流中用信号通知所使用的ALF系数或指示所使用的ALF系数的索引，使得视频解码器可在解码过程中应用相同的ALF系数。已用关闭的ALF旗标(例如,ALF旗标=0)对不具有记号的⑶165进行译码。在此情况下，不将ALF应用于所述CU中的亮度分量或像素分量。
[0082]仅使用用于色度分量的一个ALF以及与用于亮度分量的ALF独立地不应用用于色度分量的ALF可限制用于4: 2: O像素格式的ALF的质量。因此，本发明提出用以允许在ALF中对色度分量进行滤波方面的更多灵活性的技术。在其它实例中，本发明的用于色度分量的ALF的技术不限于仅4: 2: O像素格式。可将本发明的ALF技术应用于呈其它像素格式的色度分量，例如4: 2: 2和4: 4: 4像素格式。
[0083]在一个实例中，本发明提出用于色度分量的ALF与用于亮度分量的ALF独立地受到控制。在一个特定实例中，亮度ALF和色度ALF两者可具有其自身的独立的CU层级ALF开/关决策旗标。也就是说，用CU层级亮度ALF开/关旗标来指示用ALF对亮度分量进行滤波，且用CU层级色度ALF开/关旗标来指示用ALF对色度分量进行滤波。
[0084]图5描绘亮度和色度⑶层级ALF开/关决策旗标的使用的概念图。将图片170分解为多个CU以用于译码。再次地，在图5的实例中，为了易于理解，将CU描绘为具有相等大小。然而，CU可具有不同大小。举例来说，HEVC中的CU可根据四叉树结构进行分割。
[0085]在图5中，已仅用开启的亮度ALF旗标(例如，亮度ALF旗标=1)对具有单向散列记号的⑶173进行译码。对于⑶173，色度ALF旗标关闭(例如，色度ALF旗标=0)。对于⑶173，仅将ALF应用于像素的亮度分量。不将ALF应用于色度分量。对于具有棋盘记号的⑶175，仅色度ALF旗标开启(例如，色度ALF旗标=1)。对于⑶175，亮度ALF旗标关闭(例如，亮度ALF旗标=0)。因此，对于⑶175，仅将ALF应用于像素的色度分量。不将ALF应用于亮度分量。对于具有双向对角记号的CU177，亮度ALF旗标和色度ALF旗标两者都开启(例如，亮度ALF旗标=1且色度ALF旗标=1)。因此，对于⑶177，将ALF应用于像素的亮度分量和色度分量两者。对于具有双向散列记号的CU179，亮度ALF旗标和色度ALF旗标两者都关闭(例如，亮度ALF旗标=0且色度ALF旗标=0)。因此，对于⑶179，不将ALF应用于像素的亮度分量或色度分量。
[0086]如可从图5看到，对亮度分量和色度分量使用独立的CU层级ALF决策旗标允许以下情形:仅用ALF对亮度分量进行滤波；仅用ALF对色度分量进行滤波；用ALF对亮度分量和色度分量两者进行滤波；以及不用ALF对亮度分量和色度分量进行滤波。因此，可以更多的灵活性来应用ALF到像素分量的应用。应注意，此概念可进一步扩展到将ALF独立地个别地应用于Cr和Cb分量。也就是说，不是具有应用于Cr和Cb分量两者的单个色度ALF旗标，可使用个别的Cr ALF和Cb ALF旗标来指示将ALF独立地应用于Cr和Cb分量。[0087]在本发明的另一实例中，用于任何子取样格式的色度ALF可使用与亮度ALF所使用的相同或类似的基于区或基于块的自适应ALF。也就是说，作为将色度ALF约束到近一个滤波器的替代，可根据上文参考图2和图3所描述的基于区或基于块的分类ALF技术来确定用于色度分量的ALF。在一些实例中，可将基于区或基于块的自适应ALF应用于色度分量两者(即，Cr和Cb)。在其它实例中，可将基于区或基于块的自适应ALF应用于仅一个色度分量(即，Cr或Cb)，且将另一 ALF应用于另一色度分量(例如，单个ALF)。也就是说，Cr和Cb分量可使用相同的基于区或基于块的分类技术，且最终通过所确定的同一组滤波器系数进行滤波。在另一实例中，可独立地确定用于Cr和Cb分量的ALF。
[0088]将用于亮度分量的ALF技术扩展到色度分量可增加可能在经编码视频位流中用信号通知以界定色度ALF的信息的量。因此，在本发明的另一实例中，提出用于减少存储和/或用信号通知用于色度ALF的此类信息所需的滤波器信息(例如，CU层级ALF开/关旗标、滤波器系数、基于区或基于块的分类等)的量的技术。作为一个一股实例，可将用于亮度ALF的滤波器信息用于色度ALF。举例来说，用于亮度ALF的滤波器信息可被复制或用作用于色度ALF的滤波器信息的预测符。
[0089]在一个实例中，可由色度ALF使用用于亮度ALF的⑶层级ALF开/关旗标(即，指示哪些CU具有经启用的亮度ALF的语法)的图。也就是说，在其中色度分量使用基于区或基于块的自适应ALF的情形中，色度分量还可使用用于亮度分量的CU层级ALF旗标。在此情形中，使用色度ALF的决策不独立于亮度ALF。然而，所使用的实际滤波器可不同。举例来说，可根据基于区的自适应ALF对亮度分量进行滤波，而根据基于块的自适应ALF对色度分量进行滤波，或反之亦然。作为另一实例，亮度分量和色度分量两者可使用相同类型的ALF(即，基于区或基于块)，但可针对亮度分量和色度分量确定不同的滤波器系数。
[0090]在另一实例中，根据基于区或基于块的分类而确定以供亮度ALF使用的实际滤波器系数也可用于色度ALF。在此实例中，可在其中亮度ALF和色度ALF两者均被指示为由其相应的CU层级开/关旗标(例如，亮度ALF旗标和色度ALF旗标)启用的情形中共享滤波器系数。也就是说，可在其中亮度ALF和色度ALF两者均被启用的情形中共享滤波器系数，即使色度ALF能够独立于亮度ALF而开启和关闭也如此。在另一实例中，在其中色度ALF也共享亮度ALF的CU层级开/关旗标的实例中，亮度ALF的滤波器系数可由色度ALF共享。
[0091]在本发明的另一实例中，可在亮度和色度ALF之间共享额外的滤波器信息。举例来说，用于亮度ALF的基于块的分类也可由色度ALF使用。与共享滤波器系数一样，可在其中色度ALF与亮度ALF共享CU层级开/关旗标的情况下或在色度ALF具有独立的CU层级开/关旗标时进行基于块的分类的共享。
[0092]在又另一实例中，可从亮度ALF的滤波器系数中预测色度ALF的滤波器系数。在此实例中，在视频编码器处，可独立地计算亮度ALF和色度ALF两者的滤波器系数。随后在经编码视频位流中用信号通知亮度ALF的滤波器系数。作为还用信号通知色度ALF系数的替代，计算并用信号通知亮度ALF系数与色度ALF系数之间的差。亮度ALF系数与色度ALF系数之间的差将一股包括较少的数据(例如，较少的位)，随后用信号通知色度ALF系数自身，因此改善译码效率。在视频解码器处，可将亮度ALF系数与色度ALF系数之间的所接收差添加到所接收的ALF系数以便重构色度ALF系数。可在Cr和Cb分量两者使用相同的滤波器系数时，或在Cr和Cb分量使用不同组滤波器系数的情况下使用此技术。在Cr和Cb分量使用不同组滤波器系数的情况下，可从亮度ALF系数预测中每一组滤波器系数。
[0093]如上文所论述，在一些实例中，色度ALF可由用于Cr色度分量的单独Cr色度ALF以及用于Cb色度分量的单独Cb色度ALF构成。类似于上文所描述的与在亮度ALF与色度ALF之间共享滤波器信息相关的技术，还可在Cr色度ALF与Cb色度ALF之间共享滤波器信
肩、O
[0094]在一个实例中，可由Cb色度ALF使用用于Cr色度ALF的⑶层级开/关旗标(即，指示哪些CU具有经启用的Cr色度ALF的语法)的图。在另一实例中，可将Cr色度ALF所使用的滤波器系数用于Cb色度ALF。在又另一实例中,用于Cr色度ALF的基于块的分类可由Cb色度ALF使用。在又另一实例中，可从Cr色度ALF的滤波器系数中预测Cb色度ALF的滤波器系数。
[0095]FIG.图6为说明可使用用于如本发明中所描述的视频译码过程中的自适应环路滤波的技术的视频编码器20的实例的框图。将出于说明的目的在HEVC译码的上下文中描述视频编码器20，但未关于可能需要自适应环路滤波的其它译码标准或方法来限制本发明。视频编码器20可执行对视频帧内的CU的帧内译码和帧间译码。帧内译码依赖于空间预测以减少或移除给定视频帧内的视频数据中的空间冗余。帧间译码依赖于时间预测以减少或移除视频序列的当前帧与先前经译码帧之间的时间冗余。帧内模式(I模式)可指代若干基于空间的视频压缩模式中的任一者。帧间模式(例如单向预测(P模式)或双向预测(B模式))可指代若干基于时间的视频压缩模式中的任一者。
[0096]如图6所示，视频编码器20接收视频帧内的待编码的当前视频块。在图6的实例中，视频编码器20包含运动补偿单元44、运动估计单元42、帧内预测模块46、参考帧缓冲器64、求和器50、变换模块52、量化单元54以及熵编码单元56。为了视频块重构，视频编码器20还包含反量化单元58、反变换模块60、求和器62和ALF单元43。还可包含解块滤波器以将块边界滤波，以从经重构的视频移除成块性假影。在需要时，解块滤波器将通常对求和器62的输出进行滤波。
[0097]在编码过程期间，视频编码器20接收待译码的视频帧或切片。可将帧或切片划分为多个视频块，例如最大译码单元(LCU)。运动估计单元42和运动补偿单元44相对于一个或一个以上参考帧中的一个或一个以上块执行对所接收的视频块的帧间预测译码以提供时间压缩。巾贞内预测模块46可相对于在与待译码的块相同的巾贞或切片中的一个或一个以上相邻块执行对所接收视频块的帧内预测译码，以提供空间压缩。
[0098]模式选择单元40可(例如)基于对每一模式的速率失真结果而选择译码模式(帧内或帧间)中的一者，且将所得的经帧内译码或经帧间译码的块(例如，预测单元(PU))提供到求和器50以产生残余块数据，且提供到求和器62以重构经编码块以用于参考帧。求和器62将所预测块与来自反变换模块60的用于所述块的经反量化、反变换的数据进行组合，以重构经编码块，如下文更详细地描述。可将一些视频帧标示为I帧，其中I帧中的所有块在帧内预测模式中编码。在一些情况下，帧内预测模块46可例如当由运动估计单元42执行的运动搜索未产生对块的充分预测时执行对P帧或B帧中的块的帧内预测编码。
[0099]运动估计单元42与运动补偿单元44可高度集成，但出于概念上的目的而分开予以说明。运动估计(或运动搜索)是产生估计视频块的运动的运动向量的过程。运动向量(例如)可指示当前帧中的预测单元相对于参考帧的参考样本的移位。运动估计单元42通过将预测单元与参考帧缓冲器64中存储的参考帧的参考样本进行比较来计算经帧间译码帧的预测单元的运动向量。参考样本可为被发现在像素差方面与CU的包含正被译码的I3U的部分紧密匹配的块，其可通过绝对差和(SAD)、平方差和(SSD)或其它差度量来确定。参考样本可出现在参考帧或参考切片内的任何地方，且不一定在参考帧或切片的块(例如，译码单元)边界处。在一些实例中，参考样本可出现在分数像素位置处。
[0100]运动估计单元42将所计算的运动向量发送到熵编码单元56和运动补偿单元44。参考帧的由运动向量识别的部分可称作参考样本。运动补偿单元44可例如通过检索由的运动向量识别的参考样本来计算当前CU的预测单元的预测值。
[0101]帧内预测模块46可对所接收的块执行帧内预测，以作为由运动估计单元42和运动补偿单元44执行的帧间预测的替代方案。帧内预测单元46可相对于相邻的先前经译码块(例如，当前块的上方、右上方、左上方，或左边的块(假设块的从左到右、从上到下的编码次序))来预测所接收的块。可用多种不同帧内预测模式来配置帧内预测模块46。举例来说，帧内预测模块46可基于正被编码的CU的大小而用某一数目的方向预测模式来配置，例如三十五种方向预测模式。
[0102]帧内预测模块46可通过(例如)计算各种帧内预测模式的误差值且选择产生最低误差值的模式来选择帧内预测模式。方向预测模式可包含用于组合空间上相邻的像素的值且将经组合值应用于PU中的一个或一个以上像素位置的功能。一旦已计算中的所有像素位置的值，帧内预测模块46可基于PU与待编码的所接收块之间的像素差来计算预测模式的误差值。帧内预测模块46可继续测试帧内预测模式，直到发现产生可接受的误差值的帧内预测模式为止。帧内预测模块46可随后将发射到求和器50。
[0103]视频编码器20通过从正经译码的原始视频块减去由运动补偿单元44或帧内预测模块46计算的预测数据而形成残余块。求和器50表示执行此减法运算的组件。残余块可对应于像素差值的二维矩阵，其中残余块中的值的数目与对应于残余块的I3U中的像素的数目相同。残余块中的值可对应于PU中以及待译码的原始块中位于同一地点的像素的值之间的差，即，误差。所述差可为色度或亮度差，其取决于被译码的块的类型。
[0104]变换模块52可从残余块形成一个或一个以上变换单元(TU)。变换模块52从多个变换中选择变换。可基于一个或一个以上译码特性(例如，块大小、译码模式等)来选择所述变换。变换模块52随后将选定的变换应用于TU，从而产生包括变换系数的二维阵列的视频块。变换模块52可在经编码视频位流中用信号通知选定的变换分区。
[0105]变换模块52可将所得的变换系数发送到量化单元54。量化单元54可随后对变换系数进行量化。熵编码单元56可随后根据扫描模式执行对矩阵中的经量化变换系数的扫描。本发明将熵编码单元56描述为执行所述扫描。然而，应理解，在其它实例中，例如量化单元54等其它处理单元可执行所述扫描。
[0106]一旦将变换系数扫描为一维阵列，熵编码单元56可对系数应用熵译码，例如CAVLC、CABAC、基于语法的上下文自适应二进制算术译码(SBAC)，或另一熵译码方法。
[0107]为了执行CAVLC，熵编码单元56可针对待发射的符号选择可变长度码。可将VLC中的码字建构成使得相对较短的码对应于更有可能的符号，而较长的码对应于较不可能的符号。以此方式，与(例如)针对待发射的每一符号使用相等长度的码字相比，使用VLC可实现位节省。[0108]为了执行CABAC，熵编码单元56可选择要应用于某一上下文的上下文模型以编码待发射的符号。所述上下文可涉及(例如)相邻值是否为非零。熵编码单元56还可对语法元素进行熵编码，所述语法元素例如为表示选定变换的信号。根据本发明的技术，熵编码单元56可基于(例如)帧内预测模式的帧内预测方向、对应于语法元素的系数的扫描位置、块类型和/或变换类型，以及用于上下文模型选择的其它因素来选择用于对这些语法元素进行编码的上下文模型。
[0109]在由熵编码单元56熵译码之后，可将所得的经编码视频发射到另一装置(例如，视频解码器30)或存档以供随后发射或检索。
[0110]在一些情况下，除熵译码之外，视频编码器20的熵编码单元56或另一单元可经配置以执行其它译码功能。举例来说，熵编码单元56可经配置以确定CU和PU的经译码块样式(CBP)值。而且，在一些情况下，熵编码单元56可执行对系数的游程长度译码。
[0111]反量化单元58和反变换模块60分别应用反量化和反变换以在像素域中重构残余块，(例如)以用于随后用作参考块。运动补偿单元44可通过将残余块加到参考帧缓冲器64的帧中的一者的预测块来计算参考块。运动补偿单元44还可将一个或一个以上内插滤波器应用于经重构的残余块以计算子整数像素值以在运动估计中使用。求和器62将经重构的残余块添加到由运动补偿单元44产生的经运动补偿的预测块以产生经重构的视频块。
[0112]ALF单元43可随后执行根据上文所描述的技术的自适应环路滤波。在一个实例中，ALF单元43可经配置以使用基于区或基于块的分类技术来确定经重构块的色度分量的滤波器系数。在另一实例中，可在CU层级处作出应用色度ALF的决策，且可与将ALF应用于亮度分量的决策独立地作出。可在经编码视频位流中用信号通知针对亮度分量和色度分量两者而确定的实际ALF滤波器信息。所述滤波器信息可包含实际滤波器系数、指示滤波器系数的索引、基于块或基于区的分类，和/或CU层级开/关决策旗标。在一些实例中，可从亮度ALF滤波器系数预测色度ALF滤波器系数。
[0113]经滤波的经重构视频块随后存储于参考帧缓冲器64中。经重构视频块可由运动估计单元42和运动补偿单元44用作用以对后续视频帧中的块进行帧间译码的参考块。
[0114]图7是说明对经编码视频序列进行解码的视频解码器30的实例的框图。在图7的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测模块74、反量化单元76、反变换单元78、参考帧缓冲器82、ALF单元79以及求和器80。视频解码器30在一些实例中可执行一股与关于视频编码器20 (查看图6)所描述的编码回合互逆的解码回合。
[0115]熵解码单元70对经编码位流执行熵解码过程以检索变换系数的一维阵列。所使用的熵解码过程取决于视频编码器20所使用的熵译码(例如，CABAC、CAVLC等)。由编码器使用的熵译码过程可在经编码位流中用信号通知或可为预定过程。
[0116]在一些实例中，熵解码单元70(或反量化单元76)可使用镜射由视频编码器20的熵编码单元56 (或量化单元54)使用的扫描模式的扫描来扫描所接收的值。虽然可在反量化单元76中执行对系数的扫描，但将出于说明的目的将扫描描述为由熵解码单元70执行。另外，虽然为了易于说明而展示为单独的功能单元，但熵解码单元70、反量化单元76以及视频解码器30的其它单元的结构和功能性可彼此高度集成。
[0117]反量化单元76将提供于位流中且由熵解码单元70解码的经量化变换系数反量化(即，解量化)。反量化过程可包含常规的过程，例如，类似于针对HEVC所提出或由H.264解码标准界定的过程。反量化过程可包含使用由视频编码器20针对CU计算的量化参数QP，以确定应应用的量化程度以及同样的反量化程度。反量化单元76可在将系数从一维阵列转换为二维阵列之前或之后将变换系数反量化。
[0118]反变换模块78将反变换应用于经反量化变换系数。在一些实例中，反变换模块78可基于来自视频编码器20的信令或通过从一个或一个以上译码特性(例如，块大小、译码模式等)推断变换来确定反变换。在一些实例中，反变换模块78可基于在包含当前块的LCU的四叉树的根节点处的用信号通知的变换来确定要应用于当前块的变换。或者，可在LCU四叉树中的叶节点CU的TU四叉树的根处用信号通知所述变换。在一些实例中，反变换模块78可应用级联反变换，其中反变换模块78将两个或两个以上反变换应用于正被解码的当前块的变换系数。
[0119]帧内预测模块74可基于用信号通知的帧内预测模式以及来自当前帧的先前经解码块的数据来产生当前帧的当前块的预测数据。
[0120]基于所检索的运动预测方向、参考帧索引以及所计算的当前运动向量，运动补偿单元产生当前部分的经运动补偿的块。这些经运动补偿的块实质上重新产生用于产生残余数据的预测性块。
[0121]运动补偿单元72可产生经运动补偿的块，可能执行基于内插滤波器的内插。待用于具有子像素精度的运动估计的内插滤波器的识别符可包含在语法元素中。运动补偿单元72可使用如由视频编码器20在视频块的编码期间所使用的内插滤波器来计算参考块的子整数像素的内插值。运动补偿单元72可根据所接收的语法信息来确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测性块。
[0122]另外，在HEVC实例中，运动补偿单元72和帧内预测模块74可使用一些语法信息(例如，由四叉树提供)来确定用于对经编码视频序列的帧进行编码的LCU的大小。运动补偿单元72和帧内预测模块74还可使用语法信息来确定分裂信息，所述分裂信息描述经编码视频序列的帧的每一 CU如何分裂(且同样地，子CU如何分裂)。语法信息还可包含指示如何对每一分裂进行编码的模式(例如，帧内预测或帧间预测，且对于帧内预测，帧内预测编码模式)、用于每一经巾贞间编码PU的一个或一个以上参考巾贞(和/或含有参考巾贞的识别符的参考列表)，以及其它信息，以对经编码视频序列进行解码。
[0123]求和器80将残余块与由运动补偿单元72或帧内预测模块74产生的对应预测块进行组合以形成经解码块。ALF单元79随后执行根据上文所描述的技术的自适应环路滤波。在一个实例中，ALF单元79可经配置以使用基于区或基于块的分类技术来确定经重构块的色度分量的滤波器系数。在另一实例中，可在CU层级处作出应用色度ALF的决策，且可与将ALF应用于亮度分量的决策独立地作出。可在经编码视频位流中接收针对亮度分量和色度分量两者而确定的实际ALF滤波器信息。所述滤波器信息可包含实际滤波器系数、指示滤波器系数的索引、基于块或基于区的分类，和/或CU层级开/关决策旗标。在一些实例中，可从亮度ALF滤波器系数预测色度ALF滤波器系数。
[0124]如果需要的话，还可应用解块滤波器以对经解码块进行滤波，以便移除成块性假影。经解码视频块随后被存储在参考帧缓冲器82中，所述参考帧缓冲器提供用于后续运动补偿的参考块且还产生经解码视频以用于在显示装置(例如，图1的显示装置32)上呈现。[0125]图8是描绘根据本发明的技术的实例性视频编码方法的流程图。图8中所描绘的方法可由视频编码器20的一个或一个以上功能单元(包含ALF单元43)执行。视频编码器20可经配置以对视频数据进行编码以产生经编码视频数据(820)，且重构经编码视频数据以产生经重构视频数据(822)。经重构视频数据可包含一个或一个以上像素块。
[0126]根据本发明的技术，在一个任选的实例中，视频编码器20可经配置以:确定对所述像素块执行亮度自适应环路滤波；以及确定对所述像素块执行色度自适应环路滤波，其中确定执行色度自适应环路滤波与确定执行亮度自适应环路滤波独立地执行(824)。确定执行色度自适应环路滤波可包含确定色度分量的色度⑶层级ALF开/关旗标的值。在本发明的其它实例中，亮度和色度自适应环路滤波一起执行。在此情况下，不需要确定且用信号通知单独的色度⑶层级ALF开/关旗标，而是，色度ALF可共享亮度⑶层级ALF开/关旗标。
[0127]视频编码器20可进一步经配置以:对像素块的亮度分量执行亮度自适应环路滤波；以及对所述像素块的色度分量执行色度自适应环路滤波，其中所述亮度自适应环路滤波和色度自适应环路滤波两者的滤波器系数均是从基于块的模式或基于区的模式导出(826)。通过允许根据基于区的模式或基于块的模式分类来执行色度自适应环路滤波，而非仅使用单个ALF，实现对色度分量执行ALF方面的更多灵活性。用于色度分量的基于区或基于块的技术不限于仅4: 2: O色度子取样格式，而是可应用于任何色度格式，包含4: 2: 0、4: 2: 2 或 4: 4: 4 格式。
[0128]视频编码器20可进一步经配置以用信号通知与亮度自适应滤波相关的滤波器信息以及与色度自适应环路滤波相关的滤波器信息中的一者或一者以上(828)，(例如)以作为经编码视频位流中的语法元素。所述滤波器信息可包含CU层级开/关旗标、滤波器系数，和/或基于块的分类。在一些实例中，单独地用信号通知亮度ALF和色度ALF的滤波器信息。在其它实例中，亮度ALF的滤波器信息与色度ALF共享。也就是说，仅确定且用信号通知亮度ALF信息，且色度ALF在视频编码器和视频解码器两者处使用相同的信息。在其它实例中，色度ALF是由Cr分量ALF和Cb分量ALF组成。在此实例中，一个Cr分量或Cb分量的滤波器信息可与其它分量的ALF共享。
[0129]在本发明的其它实例中，不用信号通知色度ALF系数的全部，从亮度ALF预测色度ALF的滤波器系数。因此，用信号通知滤波器信息可包含用信号通知亮度ALF系数，且对于色度系数，用信号通知亮度ALF系数与色度ALF系数之间的差。以此方式，可通过将给定色度系数的差添加到对应亮度系数的值而获得色度系数的值。
[0130]图9是描绘根据本发明的技术的实例性视频解码方法的流程图。图9中所描绘的方法可由视频解码器30的一个或一个以上功能单元(包含ALF单元79)执行。视频解码器30可经配置以:接收与亮度ALF相关的滤波器信息以及与色度ALF相关的滤波器信息中的一者或一者以上(920);接收经编码视频数据(922);以及对经编码视频数据进行解码以产生经解码视频数据(924)。经解码视频数据可包含一个或一个以上像素块。
[0131]所接收的滤波器信息可包含CU层级开/关旗标、滤波器系数，和/或基于块的分类。在一些实例中，单独地接收亮度ALF和色度ALF的滤波器信息。在其它实例中，亮度ALF的滤波器信息与色度ALF共享。也就是说，仅接收亮度ALF信息，且色度ALF在视频解码器处使用相同的信息。在其它实例中，色度ALF是由Cr分量ALF和Cb分量ALF组成。在此实例中，一个Cr分量或Cb分量的滤波器信息可与其它分量的ALF共享。
[0132]在本发明的其它实例中，不接收色度ALF系数的全部，从亮度ALF预测色度ALF的滤波器系数。因此，接收滤波器信息可包含接收亮度ALF系数，以及亮度ALF系数与色度ALF系数之间的差。可通过将所接收的差添加到所接收的亮度ALF系数来重构色度ALF系数。
[0133]根据本发明的技术，在一个任选的实例中，视频编码器30可经配置以:确定对所述像素块执行亮度自适应环路滤波；以及确定是否对所述像素块执行色度自适应环路滤波，其中确定执行色度自适应环路滤波与确定执行亮度自适应环路滤波独立地执行(926)。确定执行色度自适应环路滤波可包含确定色度分量的所接收的色度⑶层级ALF开/关旗标的值。在本发明的其它实例中，亮度和色度自适应环路滤波一起执行。在此情况下，不接收单独的色度CU层级ALF开/关旗标，而是，色度ALF可共享所接收的亮度CU层级ALF开/关旗标，以便作出是否执行色度ALF的确定。
[0134]视频解码器30可进一步经配置以:对像素块的亮度分量执行亮度自适应环路滤波；以及对所述像素块的色度分量执行色度自适应环路滤波，其中所述亮度自适应环路滤波和色度自适应环路滤波两者的滤波器系数均是从基于块的模式或基于区的模式导出(928)。通过允许根据基于区的模式或基于块的模式分类来执行色度自适应环路滤波，而非仅使用单个ALF，实现对色度分量执行ALF方面的更多灵活性。用于色度分量的基于区或基于块的技术不限于仅4: 2: O色度子取样格式，而是可应用于任何色度格式，包含4: 2: 0、4: 2: 2或4: 4: 4格式。可将用于色度ALF的实际滤波器系数或基于区或基于块的分类指示为经编码视频位流中的所接收的滤波器信息的部分。
[0135]在一个或一个以上实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么所述功能可作为一个或一个以上指令或代码存储在计算机可读媒体上或经由计算机可读媒体进行传输且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体等有形媒体)或通信媒体，通信媒体包含促进(例如)根据通信协议将计算机程序从一处传递到另一处的任何媒体。以此方式，计算机可读媒体一股可对应于(I)非暂时性的有形计算机可读存储媒体或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一个或一个以上计算机或一个或一个以上处理器存取以检索指令、代码和/或数据结构来用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
[0136]举例来说且并非限制，所述计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，快闪存储器，或可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源传输软件，则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波的无线技术包括于媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它瞬时媒体，而是针对于非瞬时的、有形存储媒体。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常磁性地重现数据，而光盘使用激光光学地重现数据。以上各者的组合也应包括在计算机可读媒体的范围内。[0137]可由例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一个或一个以上处理器来执行所述指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于经配置以用于编码及解码的专用硬件模块和/或软件模块内，或并入组合式编解码器中。并且，可将所述技术完全实施于一个或一个以上电路或逻辑元件中。
[0138]本发明的技术可实施于广泛多种装置或设备中，包含无线手持机、集成电路(IC)或IC组(例如，芯片组)。本发明中描述各种组件、模块或单元来强调经配置以执行所揭示的技术的装置的若干功能性方面，但不一定需要通过不同的硬件单元来实现。而是，如上文所描述，各种单元可联合合适的软件和/或固件而组合于编解码器硬件单元中或通过互操作的硬件单元的集合(包含如上文所描述的一个或一个以上处理器)来提供。
[0139]已描述了各种实例。这些及其它实例属于所附权利要求书的范围内。
【权利要求】
1.一种在视频译码过程中的自适应环路滤波的方法，其包括: 对像素块的亮度分量执行亮度自适应环路滤波； 对所述像素块的色度分量执行色度自适应环路滤波；以及 根据基于块的分类模式和基于区的分类模式中的一者来导出用于所述亮度自适应环路滤波以及色度自适应环路滤波两者的滤波器系数。
2.根据权利要求1所述的方法，其中所述像素块的所述亮度和色度分量是呈4: 2: 0、4: 2: 2 或 4: 4: 4 格式。
3.根据权利要求1所述的方法，其进一步包含: 确定是否对所述像素块执行亮度自适应环路滤波；以及 确定是否对所述像素块执行色度自适应环路滤波，其中确定是否执行色度自适应环路滤波与确定是否执行亮度自适应环路滤波独立地执行。
4.根据权利要求3所述的方法，其中确定执行色度自适应环路滤波包含确定CU层级ALF开/关旗标的值。
5.根据权利要求1所述的方法，其进一步包括: 针对色度自适应环路滤波而共享亮度自适应环路滤波的滤波器信息。
6.根据权利要求5所述的方法，其中所述滤波器信息包含CU层级开/关旗标、滤波器系数，和/或基于块的分类。
7.根据权利要求1所述的方法，其进一步包括: 从用于亮度自适应环路滤波的所述滤波器系数中预测用于色度自适应环路滤波的所述滤波器系数。
8.根据权利要求7所述的方法，其中预测用于色度自适应环路滤波的所述滤波器系数包含从用于亮度自适应环路滤波的所述滤波器系数中减去色度滤波器系数以产生差。
9.根据权利要求1所述的方法，其中执行色度自适应环路滤波包含对所述像素块的Cr色度分量执行Cr色度自适应环路滤波，且对所述像素块的Cb色度分量执行Cb色度自适应环路滤波。
10.根据权利要求9所述的方法，其进一步包括: 针对Cb色度自适应环路滤波而共享Cr色度自适应环路滤波的滤波器信息。
11.根据权利要求10所述的方法，其中所述滤波器信息包含CU层级开/关图、滤波器系数，和/或基于块的分类。
12.根据权利要求11所述的方法，其中所述CU层级开/关图包含CU层级开/关旗标的值，其中具有值I的CU层级开/关旗标指示对所述像素块执行ALF，且其中具有值O的⑶层级开/关旗标指示不对所述像素块执行ALF。
13.根据权利要求9所述的方法，其进一步包括: 从用于Cr色度自适应环路滤波的所述滤波器系数中预测用于Cb色度自适应环路滤波的所述滤波器系数。
14.根据权利要求1所述的方法，其中所述视频译码过程是视频编码过程，且其中所述方法进一步包括: 对视频数据进行编码以产生经编码视频数据； 重构所述经编码视频数据以产生经重构视频数据，其中所述像素块是经重构视频数据；以及 用信号通知与所述亮度自适应滤波相关的滤波器信息以及与所述色度自适应环路滤波相关的滤波器信息中的一者或一者以上。
15.根据权利要求1所述的方法，其中所述视频译码过程是视频解码过程，且其中所述方法进一步包括: 接收与所述亮度自适应滤波相关的滤波器信息以及与所述色度自适应环路滤波相关的滤波器信息中的一者或一者以上； 接收经编码视频数据；以及 对所述经编码视频数据进行解码以产生经解码视频数据，其中所述像素块是经解码视频数据。
16.一种经配置以在视频译码过程中执行自适应环路滤波的设备，其包括: 视频译码器，其经配置以: 对像素块的亮度分量执行亮度自适应环路滤波； 对所述像素块的色度分量执行色度自适应环路滤波；以及 根据基于块的分类模式和基于区的分类模式中的一者来导出用于所述亮度自适应环路滤波以及色度自适应环路滤波两者的滤波器系数。
17.根据权利要求16所述的设备，其中所述像素块的所述亮度和色度分量是呈4: 2: 0、4: 2: 2 或 4: 4: 4 格式。
18.根据权利要求16所述的设备，所述视频译码器进一步经配置以: 确定是否对所述像素块执行亮度自适应环路滤波；以及 确定是否对所述像素块执行色度自适应环路滤波，其中确定是否执行色度自适应环路滤波与确定是否执行亮度自适应环路滤波独立地执行。
19.根据权利要求18所述的设备，其中所述视频译码器进一步经配置以确定CU层级ALF开/关旗标的值。
20.根据权利要求16所述的设备，其中所述视频译码器进一步经配置以: 针对色度自适应环路滤波而共享亮度自适应环路滤波的滤波器信息。
21.根据权利要求20所述的设备，其中所述滤波器信息包含CU层级开/关旗标、滤波器系数，和/或基于块的分类。
22.根据权利要求16所述的设备，其中所述视频译码器进一步经配置以: 从用于亮度自适应环路滤波的所述滤波器系数中预测用于色度自适应环路滤波的所述滤波器系数。
23.根据权利要求22所述的设备，其中所述视频译码器进一步经配置以: 从用于亮度自适应环路滤波的所述滤波器系数中减去色度滤波器系数以产生差。
24.根据权利要求16所述 的设备，其中所述视频译码器进一步经配置以对所述像素块的Cr色度分量执行Cr色度自适应环路滤波，且对所述像素块的Cb色度分量执行Cb色度自适应环路滤波。
25.根据权利要求24所述的设备，其中所述视频译码器进一步经配置以: 针对Cb色度自适应环路滤波而共享Cr色度自适应环路滤波的滤波器信息。
26.根据权利要求25所述的设备，其中所述滤波器信息包含CU层级开/关图、滤波器系数，和/或基于块的分类。
27.根据权利要求26所述的设备，其中所述CU层级开/关图包含CU层级开/关旗标的值，其中具有值I的CU层级开/关旗标指示对所述像素块执行ALF，且其中具有值O的⑶层级开/关旗标指示不对所述像素块执行ALF。
28.根据权利要求24所述的设备，其中所述视频译码器进一步经配置以: 从用于Cr色度自适应环路滤波的所述滤波器系数中预测用于Cb色度自适应环路滤波的所述滤波器系数。
29.根据权利要求16所述的设备，其中所述视频译码器是视频编码器，且其中所述视频编码器进一步经配置以: 对视频数据进行编码以产生经编码视频数据； 重构所述经编码视频数据以产生经重构视频数据，其中所述像素块是经重构视频数据；以及 用信号通知与所述亮度自适应滤波相关的滤波器信息以及与所述色度自适应环路滤波相关的滤波器信息中的一者或一者以上。
30.根据权利要求16所述的设备，其中所述视频译码器是视频解码器，且其中所述视频解码器进一步经配置以: 接收与所述亮度自适应滤波相关的滤波器信息以及与所述色度自适应环路滤波相关的滤波器信息中的一者或一者以上； 接收经编码视频数据；以及` 对所述经编码视频数据进行解码以产生经解码视频数据，其中所述像素块是经解码视频数据。
31.一种经配置以在视频译码过程中执行自适应环路滤波的设备，其包括: 用于对像素块的亮度分量执行亮度自适应环路滤波的装置； 用于对所述像素块的色度分量执行色度自适应环路滤波的装置；以及 用于根据基于块的分类模式和基于区的分类模式中的一者来导出用于所述亮度自适应环路滤波以及色度自适应环路滤波两者的滤波器系数的装置。
32.根据权利要求31所述的设备，其中所述像素块的所述亮度和色度分量是呈4: 2: 0、4: 2: 2 或 4: 4: 4 格式。
33.根据权利要求31所述的设备，其进一步包含: 用于确定是否对所述像素块执行亮度自适应环路滤波的装置；以及 用于确定是否对所述像素块执行色度自适应环路滤波的装置，其中确定是否执行色度自适应环路滤波与确定是否执行亮度自适应环路滤波独立地执行。
34.根据权利要求33所述的设备，其中所述用于确定执行色度自适应环路滤波的装置包含用于确定CU层级ALF开/关旗标的值的装置。
35.根据权利要求31所述的设备，其进一步包括: 用于针对色度自适应环路滤波而共享亮度自适应环路滤波的滤波器信息的装置。
36.根据权利要求35所述的设备，其中所述滤波器信息包含CU层级开/关旗标、滤波器系数，和/或基于块的分类。
37.根据权利要求31所述的设备，其进一步包括:用于从用于亮度自适应环路滤波的所述滤波器系数中预测用于色度自适应环路滤波的所述滤波器系数的装置。
38.根据权利要求37所述的设备，其中所述用于预测用于色度自适应环路滤波的所述滤波器系数的装置包含用于从用于亮度自适应环路滤波的所述滤波器系数中减去色度滤波器系数以产生差的装置。
39.一种计算机可读存储媒体，其存储指令，所述指令在被执行时致使经配置以在视频译码过程中执行自适应环路滤波的装置的一个或一个以上处理器: 对像素块的亮度分量执行亮度自适应环路滤波； 对所述像素块的色度分量执行色度自适应环路滤波；以及 根据基于块的分类模式和基于区的分类模式中的一者来导出用于所述亮度自适应环路滤波以及色度自适应环路滤波两者的滤波器系数。
40.根据权利要求39所述的计算机可读存储媒体，其中所述像素块的所述亮度和色度分量是呈4: 2: 0、4: 2: 2或4: 4: 4格式。
41.根据权利要求39所述的计算机可读存储媒体，所述指令进一步致使所述一个或一个以上处理器: 确定是否对所述像素块执行亮度自适应环路滤波；以及 确定是否对所述像素块执行色度自适应环路滤波，其中确定是否执行色度自适应环路滤波与确定是否执 行亮度自适应环路滤波独立地执行。
42.根据权利要求41所述的计算机可读存储媒体，其中确定执行色度自适应环路滤波包含确定⑶层级ALF开/关旗标的值。
43.根据权利要求39所述的计算机可读存储媒体，所述指令进一步致使所述一个或一个以上处理器: 针对色度自适应环路滤波而共享亮度自适应环路滤波的滤波器信息。
44.根据权利要求43所述的计算机可读存储媒体，其中所述滤波器信息包含CU层级开/关旗标、滤波器系数，和/或基于块的分类。
45.根据权利要求39所述的计算机可读存储媒体，所述指令进一步致使所述一个或一个以上处理器: 从用于亮度自适应环路滤波的所述滤波器系数中预测用于色度自适应环路滤波的所述滤波器系数。
46.根据权利要求45所述的计算机可读存储媒体，其中预测用于色度自适应环路滤波的所述滤波器系数包含从用于亮度自适应环路滤波的所述滤波器系数中减去色度滤波器系数以产生差。
【文档编号】H04N19/14GK103891293SQ201280051752
【公开日】2014年6月25日 申请日期:2012年10月18日 优先权日:2011年10月21日
【发明者】钟寅肃, 翔林·王, 马尔塔·卡切维奇 申请人:高通股份有限公司