用于应用基于分区的滤波器的视频译码的方法和装置和存储媒体的制作方法

用于应用基于分区的滤波器的视频译码的方法和装置和存储媒体的制作方法
【专利摘要】总的来说，本发明描述用于在对视频数据进行译码时应用基于分区的滤波器的技术。一种包括至少一个处理器的装置可经配置以实施所述技术。所述处理器选择有待靠近所述视频数据的第一部分的边界应用的滤波器，并且确定所述选定滤波器的多个滤波器系数中将没有所述视频数据可供滤波的至少一者。基于所述确定，所述处理器确定不包含所述多个滤波器系数中对其所述视频数据将不可供滤波的至少一者的部分滤波器。所述处理器将所述部分滤波器内包含的所述多个滤波器系数重新归一化，并且靠近所述视频数据的所述第一部分的所述边界应用所述重新归一化的部分滤波器以产生所述视频数据的经滤波的第一部分。
【专利说明】用于应用基于分区的滤波器的视频译码的方法和装置和存储媒体
[0001]本申请案主张2011年8月18申请的第61 / 525，128号美国临时申请案、2011年8月19日申请的第61 / 525,606号美国临时申请案和2011年9月6日申请的第61 /531,528号美国临时申请案的权益，其中这些美国临时申请案中的每一者的整个内容以引用的方式并入本文中。
【技术领域】
[0002]本发明涉及数据压缩，并且更具体来说涉及包括基于分区的滤波器的数据压缩。【背景技术】
[0003]数据压缩广泛用于多种应用中以降低对数据存储空间、发射带宽或两者的消耗。数据压缩的实例应用包含可见或可听媒体数据译码，例如数字视频、图像、语音和音频译码。举例来说，数字视频译码用于多种多样的装置中，包含数字电视、数字直播系统、无线通信装置、个人数字助理(PDA)、膝上型计算机或桌上型计算机、平板计算机、数码相机、数字记录装置、视频游戏装置、蜂窝式或卫星无线电电话或类似装置。数字视频装置实施根据一些标准的视频压缩技术来更高效地发射和接收数字视频，所述标准例如是MPEG-2标准、MPEG-4标准、H.264 / MPEG-4高级视频译码(AVC)标准或新出现的高效率视频译码(HEVC)标准(有时被称作新出现的H.265标准)。
[0004]视频压缩技术可以执行空间预测、运动估计和运动补偿以减少或移除视频数据中固有的冗余。确切地说，帧内译码依赖于空间预测来减少或移除给定视频帧内的视频中的空间冗余。帧间译码依靠时间预测来减少或去除邻近帧内的视频中的时间冗余。对于帧间译码，视频编码器执行运动估计以跟踪匹配单元(在例如H.264 / MPEG-4AVC标准等各种视频译码标准中可被称为块)在两个或两个以上相邻帧之间的移动。运动估计产生运动向量，其指示当前巾贞的单元相对于一个或一个以上参考巾贞中的对应单元的位移。运动补偿使用运动向量从参考帧产生预测数据。在运动补偿之后，通过从原始单元减去预测数据来形成残余数据。
[0005]视频编码器接着应用变换然后是量化和无损统计译码过程来进一步降低视频译码过程产生的残余数据的位速率。在一些情况下，所应用的变换包括离散余弦变换(DCT)。从向残余数据应用DCT产生的DCT系数接着经受量化和无损统计译码过程(通常被称为“熵译码”过程)以产生位流。统计译码过程的实例包含上下文自适应可变长度译码(CAVLC)或上下文自适应二进制算术译码(CABAC)。视频解码器接收经编码位流，并且执行无损解码以解压缩DCT系数，视频解码器接着通过应用一个或一个以上逆DCT(IDCT)将DCT系数变换回空间域以形成用于所述单元中的每一者的残余数据。使用残余数据和运动信息，视频解码器重建经编码视频。

【发明内容】
[0006]总的来说，本发明是针对用于通过应用一个或一个以上基于分区的滤波器对视频数据进行译码的技术，所述滤波器例如是解块(DB)滤波器、样本自适应偏移(SAO)滤波器和/或自适应环路(AL)滤波器(有时也指示为“ALF”)。所述技术可以使得视频译码器(其总地来说可以指视频编码器和/或视频解码器)能够在应用这些滤波器时执行多种技术，所述技术与自适应环路滤波器的常规实施方案相比可以减小实施这些滤波器所必需的缓冲器容量，同时还潜在地减少在这些类型的滤波器的常规实施方案中发生的视觉质量问题。
[0007]在操作中，视频译码器可以对视频数据进行解码，以重建视频数据用于编码目的(例如，用于在执行时间预测的运动估计/补偿时进行比较)或用于解码目的(例如，用于回放或存储目的)。一旦视频数据经重建，视频译码器就可以接着应用滤波器以使得可能跨越分隔视频数据块的边界出现的差异变平滑。这个差异的出现常常是因为量化(其实际上是指代舍入的另一种方式)，视频译码器可以执行量化以移除高阶变换系数并且由此压缩视频数据。可以用改变一个视频数据块以使得在相邻视频数据块(其同样可包含不一致性)旁边观看时可能出现视频数据块中的不一致性将所述视频数据块量化。视频译码器可以接着跨越这个边界应用一个或一个以上滤波器以减少这些不一致性(其常常被称作“成块效应假影”，其中术语“成块效应”是指视频译码的包括将视频数据分割成块的方面)。
[0008]通常视频译码器一个接一个地应用三个滤波器，应用第一滤波器的结果接着被第二滤波器滤波，依此类推。为了改进可以应用这些滤波器的速度，所述技术可以使得视频译码器能够消除这些滤波器的某些系数以产生可被称为“部分滤波器”的滤波器。这些部分滤波器可以更容易应用于下一个滤波器所产生的结果，因为所述部分滤波器可以对较少的像素行进行滤波。此外，考虑到这些滤波器是跨越块边界应用的，通常应用这些滤波器可能要求需要缓冲先前块的行。所述技术可以使得视频译码器能够移除在垂直方向中对准的滤波器系数以便减少缓冲器要求，因为可以对较少的行进行滤波，从而潜在地减少缓冲器要求，同时还促进这些滤波器的更高效的应用。
[0009]在一个方面中，一种对视频数据进行译码以产生经重建视频数据的方法包括:当对经编码视频数据进行解码时，执行镜射填补以镜射位于所述经重建视频数据的第一部分的边界处的像素值，以便取代所述视频数据的第二部分的不可用的像素值。所述边界将所述视频数据的第一部分与所述视频数据的第二部分分隔。所述方法还包括应用一个或一个以上滤波器以对镜射的像素值中的至少一者进行滤波。
[0010]在另一方面中，一种对视频数据进行译码以产生经重建视频数据的装置包括:用于当对经编码视频数据进行解码时执行镜射填补以镜射位于所述经重建视频数据的第一部分的边界处的像素值以便取代所述视频数据的第二部分的不可用的像素值的装置。所述边界将所述视频数据的第一部分与所述视频数据的第二部分分隔。所述装置进一步包括用于应用一个或一个以上滤波器以对镜射的像素值中的至少一者进行滤波的装置。
[0011]在另一方面中，一种对经编码视频数据进行译码以产生经重建视频数据的装置包括一个或一个以上处理器，其经配置以当对所述经编码视频数据进行解码时，执行镜射填补以镜射位于经重建视频数据的第一部分的边界处的像素值，以便取代视频数据的第二部分的不可用的像素值。所述边界将所述视频数据的第一部分与所述视频数据的第二部分分隔。所述一个或一个以上处理器还经配置以应用一个或一个以上滤波器对镜射的像素值中的至少一者进行滤波。
[0012]在另一方面中，一种非暂时计算机可读存储媒体包括存储在其上的指令，所述指令当被执行时致使装置的一个或一个以上处理器当对所述经编码视频数据进行解码时，执行镜射填补以镜射位于经重建视频数据的第一部分的边界处的像素值以便取代视频数据的第二部分的不可用的像素值，其中所述边界将所述视频数据的第一部分与所述视频数据的第二部分分隔；以及应用一个或一个以上滤波器以对镜射的像素值中的至少一者进行滤波。
[0013]在另一方面中，一种对视频数据进行译码的方法包括选择有待靠近视频数据的第一部分的边界应用的滤波器，所述边界将视频数据的第一部分与视频数据的第二部分分隔，其中所述滤波器包括多个滤波器系数。所述方法进一步包括:确定所述多个滤波器系数中将没有所述视频数据可供滤波的至少一者；以及基于对所述多个滤波器系数中将没有所述视频数据可供滤波的至少一者的确定，确定部分滤波器，其中所述部分滤波器不包含所述多个滤波器系数中将没有视频数据可供滤波的至少一者。所述方法进一步包括将所述部分滤波器内包含的所述多个滤波器系数重新归一化；以及使用所述装置靠近所述视频数据的所述第一部分的所述边界应用所述重新归一化的部分滤波器以产生所述视频数据的经滤波的第一部分。
[0014]在另一方面中，一种用于对视频数据进行译码的装置包括用于选择有待靠近视频数据的第一部分的边界应用的滤波器的装置，所述边界将视频数据的第一部分与视频数据的第二部分分隔，其中所述滤波器包括多个滤波器系数。所述装置进一步包括:用于确定所述多个滤波器系数中将没有所述视频数据可供滤波的所述至少一者的装置；以及基于对于所述多个滤波器系数中将没有所述视频数据可供滤波的所述至少一者的所述确定，用于确定部分滤波器的装置，其中所述部分滤波器不包含所述多个滤波器系数中将没有视频数据可供滤波的所述至少一者。所述装置还包括:用于将所述部分滤波器内包含的所述多个滤波器系数重新归一化的装置；以及用于靠近所述视频数据的所述第一部分的所述边界应用所述重新归一化的部分滤波器以产生所述视频数据的经滤波的第一部分的装置。
[0015]在另一方面中，一种用于对视频数据进行译码的装置包括一个或一个以上处理器，其经配置以选择有待靠近视频数据的第一部分的边界应用的滤波器，所述边界将视频数据的第一部分与视频数据的第二部分分隔，其中所述滤波器包括多个滤波器系数。所述一个或一个以上处理器还经配置以确定所述多个滤波器系数中将没有所述视频数据可供滤波的至少一者，并且基于对于所述多个滤波器系数中将没有所述视频数据可供滤波的所述至少一者的所述确定，所述一个或一个以上处理器还经配置以确定部分滤波器，其中所述部分滤波器不包含所述多个滤波器系数中将没有所述视频数据可供滤波的至少一者，将所述部分滤波器内包含的所述多个滤波器系数重新归一化，并且靠近所述视频数据的所述第一部分的所述边界应用所述重新归一化的部分滤波器以产生所述视频数据的经滤波的第一部分。
[0016]在另一方面中，一种非暂时计算机可读存储媒体包括存储在其上的指令，所述指令当被执行时致使装置的一个或一个以上处理器选择有待靠近视频数据的第一部分的边界应用的滤波器，所述边界将视频数据的第一部分与视频数据的第二部分分隔，其中所述滤波器包括多个滤波器系数；确定所述多个滤波器系数中将没有所述视频数据可供滤波的至少一者；基于对于所述多个滤波器系数中将没有所述视频数据可供滤波的所述至少一者的所述确定，确定部分滤波器，其中所述部分滤波器不包含所述多个滤波器系数中将没有视频数据可供滤波的至少一者；将所述部分滤波器内包含的所述多个滤波器系数重新归一化；以及靠近所述视频数据的所述第一部分的所述边界应用所述重新归一化的部分滤波器以产生所述视频数据的经滤波的第一部分。
[0017]在附图和以下描述中陈述本技术的一个或一个以上方面的细节。从描述和图式并从权利要求书将明白本发明中所描述的技术的其它特征、目的和优点。
【专利附图】

【附图说明】
[0018]图1是图解说明可实施本发明的技术的视频编码和解码系统的框图。
[0019]图2是图解说明可以实施本发明中描述的基于分区的滤波器技术的图1的实例中展示的视频编码器的实例的框图。
[0020]图3是图解说明可以实施本发明中描述的基于分区的滤波技术的图1的实例中展示的视频解码器的实例的框图。
[0021]图4A-4E是图解说明根据本发明中描述的技术的部分滤波方面滤波的示范性视频数据块的图式。
[0022]图5A-5B是图解说明根据本发明中描述的技术的镜射填补方面滤波的示范性视频数据块的图式。
[0023]图6是图解说明视频译码器在实施本发明中描述的技术的部分滤波方面的示范性操作的流程图。
[0024]图7是图解说明视频译码器在实施本发明中描述的技术的镜射填补方面的示范性操作的流程图。
【具体实施方式】
[0025]图1是图解说明可实施本发明的技术的视频编码和解码系统10的框图。如图1的实例中所示，系统10包含源装置12，其产生经编码视频用于通过目的地装置14解码。源装置12可以经由通信信道16向目的地装置14发射经编码视频，或者可以在存储媒体34或文件服务器36上存储所述经编码视频，以使得目的地装置14可以按期望接入经编码视频。源装置12和目的地装置14可包括任何广泛多种装置，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(包含蜂窝电话或手持机以及所谓的智能电话)、电视、相机、显示装置、数字媒体播放器、视频游戏控制台或类似装置。
[0026]在许多情况下，此类装置可以经配备用于无线通信。因此，通信信道16可包括无线信道。或者，通信信道16可包括适合于发射经编码的视频数据的有线信道、无线与有线信道的组合或任何其它类型的通信信道或通信信道的组合，例如射频(RF)频谱或一个或一个以上物理发射线路。在一些实例中，通信信道16可形成例如局域网(LAN)、广域网(WAN)或例如因特网等全球网络等分组网络的一部分。因此，通信信道16 —股表示用于将视频数据从源装置12发射到目的地装置14的任何合适的通信媒体或不同通信媒体的集合，包含有线或无线媒体的任何合适组合。通信信道16可包含可用于促进从源装置12到目的装置14的通信的路由器、交换器、基站或任何其它设备。[0027]如图1的实例中进一步展示，源装置12包含视频源18、视频编码器20、调制器/解调器22 (“调制解调器22”)和发射器24。在源装置12中，视频源18可包含例如视频俘获装置等源。借助于实例，视频俘获装置可包含摄像机、含有先前俘获的视频的视频档案、用以从视频内容提供者接收视频的视频馈送接口和/或用于产生计算机图形数据作为源视频的计算机图形系统中的一者或一者以上。作为一个实例，如果视频源18是摄像机，那么源装置12和目的地装置14可以形成所谓的相机电话或视频电话。但是，本发明中描述的技术不限于无线应用或设置，并且可以应用于包含视频编码和/或解码能力的非无线装置。因此，源装置12和目的地装置16仅是可以支持本文所述的技术的译码装置的实例。
[0028]视频编码器20可以对俘获、预俘获或计算机产生的视频进行编码。一旦经编码，视频编码器20可以向调制解调器22输出这个经编码视频。调制解调器22可以接着根据一种通信标准(例如无线通信协议)调制经编码视频，然后发射器24可以向目的地装置14发射经调制的经编码视频数据。调制解调器22可包含各种混频器、滤波器、放大器或经设计以用于信号调制的其它组件。发射器24可包含经设计以用于发射数据的电路，包含放大器、滤波器和一个或一个以上天线。
[0029]被视频编码器20编码的俘获、预先俘获或计算机产生的视频还可存储到存储媒体34或文件服务器36上以用于日后检索、解码和消费。存储媒体34可包含蓝光光盘、DVD、CD-ROM、快闪存储器或用于存储经编码视频的任何其它合适的数字存储媒体。目的地装置14可以接入存储在存储媒体34或文件服务器36上的经编码视频，并且对这个经编码视频进行解码以产生经解码视频并且回放这个经解码视频。
[0030]文件服务器36可为任何类型的能够存储经编码视频且将经编码视频发射到目的地装置14的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置、本机磁盘驱动器或任何其它类型的能够存储经编码的视频数据并且将经编码的视频数据发射到目的地装置的装置。经编码的视频数据从文件服务器36的发射可能是流式发射、下载发射或两者的组合。目的地装置14可以根据任何标准数据连接(包含因特网连接)接入文件服务器36。这个连接可包含无线信道(例如，W1-Fi连接或无线蜂窝式数据连接)、有线连接(例如，DSL、电缆调制解调器等)、有线和无线信道两者的组合或任何其它类型的适合于接入存储在文件服务器上的经编码视频数据的通信信道。
[0031]在图1的实例中，目的地装置14包含接收器26、调制解调器28、视频解码器30和显示装置29。目的地装置14的接收器26经由信道16接收信息，并且调制解调器28对所述信息进行解调以产生用于视频解码器30的经解调位流。经由信道16传送的信息可包含由视频编码器20产生用于视频解码器30在对相关联经编码视频数据进行解码时使用的多种语法信息。此类语法还可包含在存储于存储媒体34或文件服务器36上的经编码视频数据中。视频编码器20和视频解码器30中的每一者可以形成能够对视频数据进行编码或解码的相应编码器-解码器(编解码器)的一部分。
[0032]目的地装置14的显示装置29表示任何类型的能够呈现视频数据以供观看者消费的显示器。虽然展示为与目的地装置14集成，但是显示装置29可以与目的地装置14集成或者在其外部。在一些实例中，目的地装置14可包含集成显示装置，且还经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。总的来说，显示装置29将经解码视频数据显示给用户，并且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
[0033]本发明可能总体上参考视频编码器20向另一装置(例如视频解码器30)“用信号表示”语法信息。但是，应理解，视频编码器20可以通过使语法元素与视频数据的各种经编码部分相关联来用信号表示信息。也就是说，视频编码器20可以通过将某些语法元素存储到视频数据的各种经编码部分的标头来“用信号表示”数据。在一些情况下，这些语法元素可能在被视频解码器30接收和解码之前，先被编码和存储(例如，存储到存储媒体34或文件服务器36)。因而，术语“用信号表示”可能总体上指代用于对经压缩的视频数据进行解码的语法或其它数据的通信，不论所述通信是实时或几乎实时发生还是在一段时间中发生，例如可能在编码时将语法元素存储到媒体上的时候发生，接着可以在存储到这个媒体之后的任何时间由解码装置检索。
[0034]视频编码器20和视频解码器30可根据视频压缩标准(例如目前正在开发的高效率视频译码(HEVC)标准)来操作，且可符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可以根据其它专有或业界标准来操作，所述标准例如是ITU-T H.264标准，也被称为MPEG-4，第10部分，高级视频译码(AVC)，或此类标准的扩展。然而，本发明的技术不限于任何特定译码标准。其它实例包含MPEG-2和ITU-T H.263。
[0035]HM将视频数据块称为译码单元(⑶)。总的来说，⑶具有与根据H.264译码的宏块类似的用途，区别在于CU不具有与H.264的宏块相关联的大小区别。因而，一个CU可以分裂成若干子CU。总的来说，本发明中提到CU可以是指图片的最大译码单元(LCU)或LCU的子CU。举例来说，位流内的语法数据可以定义LCU (其是就像素数目来说的最大译码单元)。LCU可以分裂成若干子CU，并且每一子CU可以分裂成若干子CU。位流的语法数据可以定义LCU可以分裂的最大次数，这被称作CU深度。所以，位流还可定义最小译码单元(SCU)。
[0036]LCU可以与层级式四叉树数据结构相关联。总的来说，四叉树数据结构包含每个CU 一个节点，其中一个根节点对应于所述LCU。如果CU分裂成四个子CU，那么对应于CU的节点包含用于对应于子CU的四个节点中的每一者的参考。四叉树数据结构的每一节点可提供用于对应CU的语法数据。举例来说，四叉树中的一个节点可包含一个分裂旗标，这表明对应于所述节点的所述CU是否分裂成子CU。CU的语法元素可以递归地定义，并且可以取决于CU是否分裂成子CU。
[0037]未分裂的⑶可包含一个或一个以上预测单元(PU)。总的来说，I3U表示对应⑶的全部或一部分,并且包含用于检索PU的参考样本的数据。举例来说，当I3U经帧内模式编码时，PU可包含描述PU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含定义PU的一个或一个以上运动向量的数据。运动向量总地来说识别在一个或一个以上参考帧中在相同位置的CU，其中术语“参考帧”是指在时间上在其中PU位于的帧之前或之后产生的帧。举例来说，定义运动向量的数据可以描述运动向量的水平分量、运动向量的垂直分量、用于运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考帧、识别经识别的参考帧是在当前帧之前还是之后的预测方向和/或用于运动向量的参考列表(例如，列表O或列表I)。举例来说,定义F1U的CU的数据还可描述将CU划分成一个或一个以上ro。划分模式可以在CU未经译码、帧内预测模式编码或帧间预测模式编码之间有区别。
[0038]除了具有定义一个或一个以上运动向量的一个或一个以上I3U之外，⑶还可包含一个或一个以上变换单元(TU)。在使用的预测之后，视频编码器可以计算用于对应于PU的CU的部分的残余值。所述残余值可以被变换、量化和扫描。TU不必限于PU的大小。因而，对于相同CU，TU可以比对应PU更大或更小。在一些实例中，TU的最大大小可以是对应⑶的大小。本发明还使用术语“块”来指代⑶、I3U和/或TU中的任一者或组合。
[0039]总的来说，经编码的视频数据可包含预测数据和残余数据。视频编码器20可在帧内预测模式或帧间预测模式期间产生所述预测数据。帧内预测总体上包括相对于同一图片的相邻经先前译码块中的参考样本预测一个图片的一个块中的像素值。帧间预测总体上包括相对于经先前译码图片的数据预测一个图片的一个块中的像素值。
[0040]在帧内预测或帧间预测之后，视频编码器20可以计算所述块的残余像素值。所述残余值总体上对应于所述块的所预测的像素值数据与所述块的真实像素值数据之间的差。举例来说，所述残余值可包含指示经译码像素与预测性像素之间的差的像素差值。在一些实例中，所述经译码像素可以与待译码的像素的一个块相关联，并且所述预测性像素可以与用于预测经译码块的像素的一个或一个以上块相关联。
[0041]为了进一步压缩块的残余值，可以将残余值变换成一组变换系数，这些变换系数将尽可能多的数据(也称为“能量”)压紧成尽可能少的系数。变换技术可包括离散余弦变换(DCT)过程或概念上类似的过程、整数变换、小波变换或其它类型的变换。所述变换将像素的残余值从空间域转化成变换域。所述变换系数对应于一股与原始块相同大小的系数的二维矩阵。换句话说，仅存在与原始块中的像素一样多的变换系数。但是，归因于所述变换，许多变换系数可以具有等于零的值。
[0042]视频编码器20可以接着对变换系数进行量化以进一步压缩视频数据。量化总体上包括相对大范围内的值向相对小范围内的值的映射，因而减少了表示经量化变换系数所需的数据的量。更确切地说，可以根据量化参数(QP)应用量化，量化参数可以在LCU等级上定义。因此，可以向与LCU内的CU的不同相关联的TU中的所有变换系数应用相同等级的量化。但是，并非用信号表示QP本身，而是可以用LCU用信号表示QP的改变(即，Λ)。Δ QP定义IXU的量化参数相对于一些参考QP (例如先前传送的IXU的QP)的改变。
[0043]在量化之后，视频编码器20可以扫描变换系数，从包含经量化变换系数的二维矩阵产生一维向量。视频编码器20可以接着执行统计无损编码(通常称为“熵编码”这个误称)以便对所得阵列进行编码以甚至进一步压缩所述数据。一股来说，熵译码包括共同压缩一连串经量化的变换系数和/或其它语法信息的一个或一个以上过程。举例来说，还可在经熵译码位流中包含语法元素，例如AQP、预测向量、译码模式、滤波器、偏移量或其它信息。接着将经扫描系数连同任何语法信息熵译码，例如经由内容自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)或任何其它统计无损译码过程。
[0044]视频编码器20可以接着重建先前经编码视频数据，对这个视频数据进行解码，并且将视频数据存储到存储器(可以替代地被称作“参考帧存储装置”)以当执行运动估计和补偿时用作参考。为了重建这个视频数据，视频编码器20可以对经量化变换系数执行逆量化以便输出变换系数，接着将变换系数从频域变换到空间域以形成经重建残余视频数据。视频编码器20接着将经重建的残余视频数据添加到先前识别的参考块以形成经重建视频数据块。在一些情况下，视频编码器20可以对经重建视频数据块进行滤波以移除因为视频数据细分为若干个分区(作为一个实例，如HEVC中的使用而可以指代切片、分区、树块、LCU和/或⑶)而导致的间断。
[0045]为了图解说明，视频编码器20可以用级联的方式应用三个滤波器，借此视频编码器20向经重建视频数据块应用第一解块(DB)滤波器，接着向应用DB滤波器产生的输出应用样本自适应偏移(SAO)滤波器，并且接着是向应用SAO滤波器产生的输出应用自适应环路滤波器(ALF)。通常，视频编码器20跨越分隔经重建视频数据块的边界应用这些滤波器，以便平滑或以其它方式减少两个相邻经重建视频数据块之间的间断。这个边界可以是虚拟边界(意味着在划分相同视频块的两个部分的单个视频块内或两个视频块之间的边界)。另外，视频编码器20通常用读取次序处理块，从上到下、从左到右地遍历一个帧。因此，当提示应用滤波器可能必需相邻经重建块时，视频编码器20通常不邻近于任何这些经重建块的底部边界产生经重建块。提供这些经重建视频块的延迟可能在应用滤波器时导致延迟，从而需要视频编码器20包含行缓冲器或其它存储器结构以缓冲当前经重建视频块的底部行，以使得滤波器可以应用于前一块的底部部分和相邻经重建视频块的顶部部分。
[0046]但是，添加行缓冲器可能会大大增加视频编码器20的成本和功率效率。如果指定视频编码器20用于移动或其它功率有限装置(可以指代任何通过电池或其它有限电源供电的装置)，那么当采用扩展行缓冲器时视频编码器20的功率分布图可能会大大增加，从而大大降低装置的视频能力。出于这个原因，视频编码器20可以执行其它过程以减少与这些滤波器的应用相关联的延迟并且潜在地减小行缓冲器的大小。一个此过程包括视频编码器20执行反复的“填补”过程，借此重复最靠近当前经重建视频数据块的底部边缘的像素值，代替相邻经重建视频数据块的实际像素值。因而，视频编码器20可以潜在地消除与等待相邻经重建视频数据块相关联的许多延迟，并且潜在地减小行缓冲器的大小。但是，这个形式的反复填补可能并不提供最优视频质量，常常向经重建视频数据中插入间断，倘若使用了实际像素值，可能原本不会出现间断。视频解码器30可以相对于遭受相同问题的经重建视频块实施类似滤波过程。
[0047]根据本发明中描述的技术，视频译码器(可能总地来说是指视频编码器和/或视频解码器)可以应用这些类型的滤波器，其方式为与滤波器的常规实施方案相比，可以减小实施这些滤波器所必需的行缓冲器或其它存储器结构的大小，同时还潜在地减少在这些类型的滤波器的常规实施方案中发生的视觉质量问题。在一个方面中，视频译码器可以在分区边界(例如最大译码单元(LCU)的边界)处应用部分滤波器，而非完整滤波器，这可以减少用级联方式(意味着级联的应用两个或两个以上滤波器，其中应用滤波器中的第一者，并且向应用第一滤波器的结果应用所述滤波器中的第二者)应用这些类型的滤波器所必需的时间量，同时还潜在地减少行缓冲器大小要求。这些滤波器之所以是部分的，是因为从选定的“完整”滤波中移除了滤波器的那些将没有视频数据的像素值可用于滤波的系数(也可被称作“分接头”)，由此产生仅具有完整滤波器的滤波器系数的子集或部分量的滤波器。
[0048]在一些情况下，这些部分滤波器是不对称的，因为滤波器X轴和/或I轴的任一侧上的滤波器分接头的数目不相等。换句话说，所述技术可以提供沿X和/或y轴中的一者或两者具有偏差的滤波器，其可以减少向当前经重建视频块应用滤波器所必需的相邻经重建视频块的行数。举例来说，滤波器可包括沿滤波器的X轴和沿y轴两者的分接头。所述技术可以提供对于I轴滤波器分接头具有正I轴偏差的滤波器，这意味着这个滤波器在X轴上方比在X轴下方包含更多的I轴分接头。在这种意义上讲，滤波器是“不对称”的，因为滤波器在滤波器分接头的X轴滤波器行的上方和下方两者不包含相同数目的y轴分接头。因为X轴下方的分接头数目减少，所以视频编码器20和/或视频解码器30可能应用不对称滤波器，其方式为使得可能需要位于当前经重建视频块下方(并且可能直接在其下方)的经重建视频块的较少行或可能不需要位于当前经重建视频块下方(并且可能直接在其下方)的经重建视频块的行。在这种意义上讲，所述技术可以减少行缓冲器大小要求，并且甚至可能完全消除用于这个目的的行缓冲器，同时在一些情况下视频编码器20和/或视频解码器30不需要等待相邻经重建视频块的意义上，还减少了译码延迟。
[0049]在其它情况下，部分滤波器是对称的，其中这些对称的部分滤波器在滤波器X轴和I轴的任一侧上包含相同数目的滤波器分接头，但沿X轴和/或I轴包含比选定对称的完整滤波器少的滤波器分接头。这些对称部分滤波器总地来说还可沿y轴包含较少滤波器分接头，使得不必等待滤波了位于当前经重建视频块下方(并且通常在直接下方)的经重建视频块即可应用对称部分滤波器。同样，因为X轴下方的分接头数目减少，所以视频编码器20和/或视频解码器30可以应用对称部分滤波器，其方式为使得其可能需要较少或可能不需要位于当前经重建视频块下方(并且可能直接在其下方)的经重建视频块的行。在这种意义上讲，如上文所示，所述技术可以减少行缓冲器大小要求，并且甚至可能完全去消用于这个目的的行缓冲器，同时在视频编码器20和/或视频解码器30在一些情况下不需要等待相邻经重建视频块的意义上还减少了译码延迟。
[0050]在操作中，视频编码器20和/或视频解码器30选择有待靠近第一视频数据块的分隔第一视频数据块与第二视频数据块的边界应用的滤波器，其中选定滤波器包括多个滤波器系数(也可被称作“滤波器分接头”或“分接头”)。视频编码器20和/或视频解码器30可以基于多个准则选择滤波器(举例来说，意味着是滤波器类型、大小和形状)，作为一个实例，所述准则包含主观质量提高或最小化原始帧与经重建帧之间的误差(即，基于维纳滤波器)。
[0051]在选择滤波器之后，视频编码器20和/或视频解码器30可以确定滤波器系数中将没有视频数据可供滤波的至少一者。举例来说，视频编码器20和/或视频解码器30可以确定滤波器系数中的哪些滤波器系数可能因为应用另一滤波器或因为邻近于当前第一块的第二块尚未经重建而不可使用。基于对于滤波器系数中将没有视频数据可供滤波的至少一者的确定，视频编码器20和/或视频解码器30可以确定部分滤波器，以使得这个部分滤波器包含所述多个滤波器系数中将有视频数据将可供滤波的至少一者中的一者或一者以上。换句话说，视频编码器20和/或视频解码器30可以移除针对选定滤波器指定的滤波器系数中将没有视频数据可供滤波的至少一者。在一些情况下，视频编码器20和/或视频解码器30可以移除针对选定滤波器指定的滤波器系数中将有视频数据可供滤波的一者或一者以上，例如以便产生对称滤波器，如下文更详细描述。
[0052]通常，用于选定滤波器的滤波器系数总和为一(意味着滤波器系数被归一化)以便不通过应用滤波器来添加或移除视频数据。通过移除选定滤波器的滤波器系数以便确定部分滤波器(同样由于从原先选择的滤波器移除了所述一个或一个以上滤波器系数而被称为“部分”滤波器)，所得部分滤波器变得未归一化(意味着部分滤波器的滤波器系数总和不是一)。因此，视频编码器20和/或视频解码器30可以将部分滤波器内包含的所述多个滤波器系数重新归一化。视频编码器20和/或视频解码器30可以接着靠近第一视频数据块的边界应用重新归一化的部分滤波器以产生经滤波的第一视频数据块。视频编码器20和/或视频解码器30可以存储这个经滤波的第一视频数据块以在重建其它视频数据块时用作参考视频数据。
[0053]另外，视频编码器20和/或视频解码器30可以在应用这些或其它滤波器时执行一种形式的填补(被称作“镜射填补”)，这种填补可以提供经解码视频数据的更好的视觉质量，方法是通过避免在分区边界处引入的间断，所述间断可能会引起在使用反复的像素填补修改的分区边界处的自适应环路滤波器的常规应用。镜射填补可以指这样一个过程，即视频编码器20和/或视频解码器30用以镜射靠近块的当前边界的像素值取代(即，代替)实际像素值，以使得视频编码器20和/或视频解码器30不必等待实际像素值即可应用上述滤波器中的一者或一者以上。本发明中描述的技术的镜射填补方面可以减小行缓冲器的大小或者甚至可能消除行缓冲器，同时与反复的或其它形式的填补相比还促进了改进的视频质量，如下文更详细描述。
[0054]图2是图解说明可实施本发明中描述的基于分区的滤波器技术的实例视频编码器20的框图。视频编码器20可以对视频切片内的视频块执行帧内和帧间译码。帧内译码依赖于空间预测来减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可以指若干基于空间压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可以指代若干基于时间的压缩模式中的任一者。
[0055]在图2的实例中，视频编码器20包含模式选择单元40、运动估计单元42、运动补偿单元44、帧内预测单元46、参考图片存储器64、求和器50、变换模块52、量化单元54和熵编码单元56。对于视频块重建，视频编码器20还包含逆量化单元58、逆变换单元60和求和器62。还包含滤波器单元63以对块边界进行滤波以便从经重建视频移除成块效应假影，其中“成块效应假影”这个短语是指经重建视频数据中因为图片或视频帧划分成块(例如IXU和⑶)而发生的假影。
[0056]如图2中所示，视频编码器20接收待编码视频切片内的当前视频块。所述切片可以划分成多个视频块，即，作为一个实例，HEVC中描述的树块。模式选择单元40可以基于误差结果为当前视频块选择译码模式中的一者，帧内或帧间。如果选择了帧内或帧间模式，那么模式选择单元40向求和器50提供所得的经帧内译码或经帧间译码块以产生残余块数据并且向求和器62提供所述块以重建经编码块以用作参考图片。帧内预测单元46相对于与待译码的当前块相同的帧或切片中的一个或一个以上相邻块执行对当前视频块的帧内预测性译码以提供空间压缩。运动估计单元42和运动补偿单元44相对于一个或一个以上参考图片中的一个或一个以上预测性块执行当前视频块的帧间预测性译码以提供时间压缩。
[0057]就帧间译码而论，运动估计单元42可经配置以根据用于视频序列的预定模式为视频切片确定帧间预测模式。预定模式可以将序列中的视频切片标示为P切片、B或一股化的P / B(GPB)切片。运动估计单元42与运动补偿单元44可高度集成，但出于概念上的目的而分开予以图解说明。运动估计单元42执行的运动估计是产生运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量可以指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测性块的位移。[0058]帧间预测性块是参考图片中被发现在像素差方面与待译码的视频块的密切匹配的块，像素差可以通过绝对差总和(SAD)、平方差总和(SSD)或其它差异量度来确定。在一些实例中，视频编码器20可以计算存储在参考图片存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可以计算四分之一像素位置、八分之一像素位置或参考图片的其它分数像素位置的值。因此，运动估计单元42可以相对于整数像素位置和分数像素位置执行运动搜索并且输出具有分数像素精度的运动向量。
[0059]运动估计单元42通过比较PU的位置与参考图片的预测性块的位置来计算用于经帧间译码切片中的视频块的PU的运动向量。参考图片可以选自第一参考图片列表(列表O)或第二参考图片列表(列表I)，其中的每一者识别存储在参考图片存储器64中的一个或一个以上参考图片。运动估计单元42将计算出来的运动向量发送到熵编码单元56和运动补偿单元44。
[0060]运动补偿单元44执行的运动补偿可以包括基于运动估计所确定的运动向量来取出或产生预测性块。在接收到当前视频块的PU的运动向量后，运动补偿单元44即刻可以在参考图片列表中的一者中定位所述运动向量指向的预测性块。视频编码器20通过从正被译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块。像素差值形成用于所述块的残余数据，并且可包含明度和色度差分量两者。求和器50表示执行此减法运算的组件。运动补偿单元44还可产生与视频块和视频切片相关联的供视频解码器30在对视频切片的视频块进行解码时使用的语法元素。
[0061]或者，视频编码器20可以执行被称作帧内预测的过程，借此视频编码器20使用空间相邻块来预测当前块。可以针对I帧执行帧内预测并且帧内预测可以限于切片，使得无需参考其它在时间上接近的帧即可重建各个切片。在一些情况下，两个或两个以上空间相邻块可以形成当前块的参考块。类似于帧间预测，可以执行帧内预测以产生当前块的预测性块。
[0062]在任何情况下，在运动补偿单元44产生当前视频块的预测性块之后，视频编码器20通过使用求和器50从当前视频块减去预测性块而形成残余视频块。残余块中的残余视频数据可以包含在CU的所谓的“译码节点”中并且被传递到变换模块52。变换模块52使用例如离散余弦变换(DCT)或概念上类似的变换的变换将残余视频数据变换成残余变换系数。变换模块52可将残余视频数据从像素域转换到变换域，例如频域。变换模块52可以存储关于应用于与CU相关联的TU中的残余视频数据的每一变换的类型以及可能每一变换的系数的信息连同任何其它与变换相关的信息。
[0063]变换模块52可将所得的变换系数发送到量化单元54。量化单元54量化变换系数以进一步减小位速率。量化过程可减少与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可以接着执行对包含经量化变换系数的矩阵的扫描。或者，熵编码单元56可以执行所述扫描。
[0064]在量化之后，熵编码单元56执行一种形式的统计无损编码(可被称为“熵编码”)以对经量化变换系数进行编码。举例来说，熵编码单元56可以执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)或另一熵编码技术。在熵编码之后，熵编码单元56可以向视频解码器30发射经编码位流，或者将经编码位流存档以供后来发射到视频解码器30或者通过所述视频解码器检索。熵编码单元56还可对正被译码的当前视频切片的运动向量和其它语法元素进行熵编码。
[0065]逆量化单元58和逆变换单元60分别应用逆量化和逆变换以在像素域中重建残余块，以供以后用作参考图片的参考块。运动补偿单元44可以通过将残余块添加到参考图片列表中的一者内的参考图片中的一者的预测性块来计算参考块。运动补偿单元44还可将一个或一个以上内插滤波器应用于经重建残余块以计算子整数像素值用于运动估计。求和器62将经重建残余块添加到由运动补偿单元44产生的运动补偿预测块以产生参考块用于存储在参考图片存储器64中。通过滤波器单元63对参考块进行滤波以便移除成块效应假影。接着将参考块存储在参考图片存储器64中。参考块可由运动估计单元42和运动补偿单元44用作参考块以对后续视频帧或图片中的块进行帧间预测。
[0066]滤波器单元63可以表示根据本发明中描述的技术应用基于分区的滤波器中的一者或一者以上的模块。在这方面，滤波器单元63可以选择完整滤波器以靠近视频块的分隔第一视频数据块与第二视频数据块的边界应用，其中选定滤波器包括多个滤波器系数(同样也可被称作“滤波器分接头”或“分接头”)。滤波器单元63可以基于多个准则(包含上文所描述的那些准则)来选择滤波器。选定完整滤波器可包括DB滤波器、SOA滤波器、ALF或通常应用于经重建视频块以潜在地改进察觉到的视觉质量的任何其它类型的滤波器中的一者或一者以上。
[0067]在选择了完整滤波器之后，滤波器单元63可以确定完整滤波器的滤波器系数中将没有视频数据可供滤波的至少一者。下文相对于图4A-4E的实例更详细地描述这个确定完整滤波器的滤波器系数中将没有视频数据可供滤波的至少一者的过程。基于对于滤波器系数中将没有视频数据可供滤波的至少一者的确定，滤波器单元30可以确定部分滤波器，以使得这个部分滤波器包含所述多个滤波器系数中将有内容数据将可供滤波的那些滤波器系数中的一者或一者以上。换句话说，滤波器单元63可以移除针对选定完整滤波器指定的滤波器系数中将没有视频数据可用于滤波的至少一者。滤波器单元63可以接着将部分滤波器内包含的所述多个滤波器系数重新归一化，以使得这些其余的滤波器系数再次总和为一。滤波器单元63可以接着靠近第一视频数据块的边界应用重新归一化的部分滤波器以产生经滤波的第一视频数据块。滤波器单元63可以存储这个经滤波的第一视频数据块以在重建视频数据的其它部分时用作参考样本。滤波器单元63还可存储选定完整滤波器的滤波器系数与经滤波的第一视频数据块，以使得这些滤波器系数可以被发送到解码器，例如视频解码器30，其中视频解码器30可以执行类似于上文所描述的过程以便导出用于重新归一化的部分滤波器的滤波器系数。
[0068]除了应用一个或一个以上部分滤波器之外或在应用其它类型的滤波器(例如完整滤波器和类似滤波器)时单独地，滤波器单元63还可在应用这些滤波器时执行一种被称作“镜射填补”的填补形式，这种填补可以通过避免在分区边界处引入的间断来提供经解码视频数据的更好的视觉质量，所述间断可引起使用反复的像素填补修改的块边界处的滤波器的常规应用。镜射填补可以指这样一个过程，即滤波器单元63用以镜射靠近分区的当前边界的像素值而不是实际像素值，以使得滤波器单元63不必等待实际像素值即可应用上述滤波器中的一者或一者以上。如上所述，本发明中描述的技术的镜射填补方面可以减小行缓冲器的大小或者甚至可能消除行缓冲器，同时与反复的或其它形式的填补相比还促进了改进的视频质量，如下文更详细描述。下文相对于图5A、5B更详细地描述镜射填补。[0069]滤波器单元63可以相对于不同类型的滤波器的级联应用而反复实施所述技术的一个或一个以上方面。举例来说，滤波器单元63可以首先在向例如LCU的视频数据块应用DB滤波器时应用这些技术。作为一个实例，滤波器单元63可以用上文所描述的方式调适对称完整DB滤波器，以便产生不对称或对称部分DB滤波器，将这个不对称或对称部分DB滤波器重新归一化，并且向IXU的下部边界的像素值(作为一个实例)应用重新归一化的不对称或对称部分DB滤波器。滤波器单元63可以接着用上文所描述的方式调适对称完整SAO滤波器以便产生不对称或对称部分SAO滤波器，将这个不对称或对称部分SAO滤波器重新归一化，并且向IXU的下部边界的(作为一个实例)经DB滤波的像素值应用重新归一化的不对称或对称部分SAO滤波器。滤波器单元63还可以用上文所描述的方式调适对称完整ALF，以便产生不对称或对称部分ALF，将这个不对称或对称部分ALF重新归一化，并且向IXU的下部边界(作为一个实例)的经DB和SAO滤波的像素值应用重新归一化的不对称或对称部分ALF。
[0070]在一些情况下，滤波器单元63可以相对于对称完整DB、SAO和AL滤波器中的每一者的级联应用执行镜射填补。或者，滤波器单元63可以相对于一些对称完整DB、SAO和AL滤波器和一些重新归一化的不对称或对称部分DB、SAO和AL滤波器的级联的应用执行镜射填补，其中可以用符合本发明中描述的技术的方式产生重新归一化的不对称或对称部分DB、SAO和AL滤波器。换句话说，可以用任何组合通过视频译码器(其同样总地来说可以指视频编码器和视频解码器中的一者或一者以上)实施所述技术，以使得可以结合或替代应用不对称部分滤波器而执行镜射填补。
[0071]图3是更详细地图解说明可以实施本发明中描述的基于分区的滤波技术的视频解码器30的实例的框图。在图3的实例中，视频解码器30包含熵解码单元80、预测模块81、逆量化单元86、逆变换单元88、求和器90、解块滤波器91和参考图片存储器92 (也可被称作经解码图片缓冲器)。预测模块81包含运动补偿单元82和帧内预测单元84。在一些实例中，视频解码器30可执行总体上与关于来自图2的视频编码器20描述的编码遍次互逆的解码遍次。
[0072]在解码过程期间，视频解码器30从视频编码器20接收经编码视频位流，其表示经编码视频切片的视频块和相关联语法元素。视频解码器30的熵解码单元80对位流进行熵解码以产生经量化系数、运动向量和其它语法元素。熵解码单元80将运动向量和其它语法元素转发到预测模块81。视频解码器30可以接收视频切片等级和/或视频块等级上的语法元素。
[0073]当视频切片经译码为经帧内译码⑴切片时，预测模块81的帧内预测单元84可以基于用信号表示的帧内预测模式和来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(即，B、P或GPB)切片时，预测模块81的运动补偿单元82基于从熵解码单元80接收到的运动向量和其它语法元素产生用于当前视频切片的视频块的预测性块。预测性块可以从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可以基于存储在参考图片存储器92中的参考图片使用默认建构技术来建构参考帧列表一列表O和列表I。
[0074]运动补偿单元82通过剖析运动向量和其它语法元素来确定用于当前视频切片的视频块的预测信息，并且使用所述预测信息产生用于正被解码的当前视频块的预测性块。举例来说，运动补偿单元82使用一些接收到的语法元素确定用于对视频切片的视频块进行译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一者或一者以上的建构信息、切片的每一经巾贞间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态和用以对当前视频切片中的视频块进行解码的其它信息。
[0075]运动补偿单元82还可基于内插滤波器执行内插。运动补偿单元82可使用由视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。运动补偿单元82可根据接收的语法元素而确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测性块。
[0076]逆量化单元86将在位流中提供且由熵解码单元80解码的经量化变换系数逆量化，即去量化。逆量化过程可包含使用视频编码器20针对视频切片中的每一视频块计算的量化参数来确定应应用的量化程度和同样逆量化程度。逆变换单元88对变换系数应用逆变换(例如，逆DCT、逆整数变换，或概念上类似的逆变换过程)，以便产生像素域中的残余块。
[0077]在运动补偿单元82基于运动向量和其它语法元素产生了当前视频块的预测性块之后，视频解码器30通过将来自逆变换单元88的残余块与运动补偿单元82产生的对应预测性块求和来形成经解码视频块。求和器90表示执行此求和运算的组件。应用滤波器单元91以对经解码块进行滤波以便移除成块效应假影。接着将给定帧或图片中的经解码视频块存储在参考图片存储器92中，参考图片存储器92存储参考图片用于后续运动补偿。参考图片存储器92还存储经解码视频用于以后在显示装置(例如图1的显示装置32)上呈现。
[0078]滤波器单元91可以表示根据本发明中描述的技术应用基于分区的滤波器中的一者或一者以上的模块。在这方面，滤波器单元91可以选择完整滤波器以靠近视频块的分隔第一视频数据块与第二视频数据块的边界应用，其中选定滤波器包括多个滤波器系数(同样也可被称作“滤波器分接头”或“分接头”)。滤波器单元91可以根据经编码位流中包含的经译码的滤波器系数来确定滤波器，接着对所述滤波器系数进行解码以形成经解码的滤波器系数。通常，滤波器单元91可以接收(作为一个实例)通过视频编码器20的滤波器单元63选择的完整滤波器的滤波器系数，并且接着用类似于上文相对于图2的实例中展示的视频编码器20所描述的方式根据选定完整滤波器系数导出滤波器系数。选定完整滤波器可包括DB滤波器、SOA滤波器、ALF或通常应用于经重建视频块以潜在地改进察觉到的视觉质量的任何其它类型的滤波器中的一者或一者以上。
[0079]在选择了完整滤波器之后，滤波器单元91可以确定完整滤波器的滤波器系数中将没有视频数据可供滤波的至少一者。下文相对于图4A-4E的实例更详细地描述这个确定完整滤波器的滤波器系数中将没有视频数据可供滤波的至少一者的过程。基于对于滤波器系数中将没有视频数据可供滤波的至少一者的确定，滤波器单元30可以确定部分滤波器，以使得这个部分滤波器包含所述多个滤波器系数中将有内容数据将可供滤波的滤波器系数中的一者或一者以上。换句话说，滤波器单元91可以移除针对选定完整滤波器指定的滤波器系数中将没有视频数据可供滤波的至少一者。滤波器单元91可以接着将部分滤波器内包含的所述多个滤波器系数重新归一化，使得这些其余的滤波器系数再次总和为一。滤波器单元91可以接着靠近第一视频数据块的边界应用重新归一化的部分滤波器以产生经滤波的第一视频数据块。滤波器单元91可以存储这个经滤波的第一视频数据块以在重建视频数据的其它部分时用作参考样本。
[0080]除了应用一个或一个以上部分滤波器之外或在应用其它类型的滤波器(例如完整滤波器和类似滤波器)时单独地，滤波器单元91还可在应用这些滤波器时执行一种被称作“镜射填补”的填补形式，这种填补可以通过避免在分区边界处引入的间断来提供经解码视频数据的更好的视觉质量，所述间断可引起使用反复的像素填补修改的块边界处的滤波器的常规应用。镜射填补可以指滤波器单元91用以镜射靠近分区的当前边界的像素值而不是实际像素值以使得滤波器单元91不必等待实际像素值即可应用上述滤波器中的一者或一者以上的过程。如上所述，本发明中描述的技术的镜射填补方面可以减小行缓冲器的大小或者甚至可能消除行缓冲器，同时与反复的或其它形式的填补相比还促进了改进的视频质量，如下文更详细描述。下文相对于图5A、5B更详细地描述镜射填补。
[0081]滤波器单元91可以相对于不同类型的滤波器的级联应用而反复实施所述技术的一个或一个以上方面。举例来说，滤波器单元91可以首先在向例如LCU的视频数据块应用DB滤波器时应用这些技术。作为一个实例，滤波器单元91可以用上文所描述的方式调适对称完整DB滤波器，以便产生不对称或对称部分DB滤波器，将这个不对称或对称部分DB滤波器重新归一化，并且向IXU的下部边界(作为一个实例)的像素值应用重新归一化的不对称或对称部分DB滤波器。在这个实例中，滤波器单元91可以接着用上文所描述的方式调适对称完整SAO滤波器以便产生不对称或对称部分SAO滤波器，将这个不对称或对称部分SAO滤波器重新归一化，并且向IXU的下部边界(作为一个实例)的经DB滤波的像素值应用重新归一化的不对称或对称部分SAO滤波器。滤波器单元91还可以用上文所描述的方式调适对称完整ALF，以便产生不对称或对称部分ALF，将这个不对称或对称部分ALF重新归一化，并且向IXU的下部边界(作为一个实例)的经DB和SAO滤波的像素值应用重新归一化的不对称或对称部分ALF。
[0082]在一些情况下，滤波器单元91可以相对于对称完整DB、SAO和AL滤波器中的每一者的级联应用执行镜射填补。或者，滤波器单元91可以相对于一些对称完整DB、SAO和AL滤波器和一些重新归一化的不对称或对称部分DB、SAO和AL滤波器的级联的应用执行镜射填补，其中可以用符合本发明中描述的技术的方式产生重新归一化的不对称或对称部分DB、SAO和AL滤波器。换句话说，可以用任何组合通过视频译码器(其同样总地来说可以指视频编码器和视频解码器中的一者或一者以上)实施所述技术，以使得可以结合或替代应用不对称部分滤波器而执行镜射填补。
[0083]图4A-4E是图解说明根据本发明中描述的技术的部分滤波方面滤波的示范性视频数据块100的图式。图4A是展示视频数据块100的图，其中视频编码器和/或视频解码器的滤波器单元(例如图2的实例中展示的视频编码器20的滤波器单元63和/或图3的实例中展示的视频解码器30的滤波器单元91)可以首先用级联的方式应用DB滤波器、SAO滤波器和ALF。虽然下文是相对于滤波器单元63描述的，但是所述技术可以用类似方式通过滤波器单元91实施。此外，虽然是相对于特定视频编码器和/或视频解码器描述的，但是所述技术总地来说可以通过任何视频译码装置或其它内容译码单元或装置实施。
[0084]如图4A的实例中所示，视频数据块100 (也可被称作“视频块100”)包括16x16的像素值块，其中滤波器单元63的实例中展示的每一正方形表示定义单个像素值的数据。视频块100可以表示经重建视频块，并且因此可以另外被称作“经重建视频块100”。如图4A的实例中进一步指出，滤波器单元63向视频块100的顶部13行应用DB滤波器，向视频块100的顶部12行应用SAO滤波器，并且向视频块100的顶部10行应用ALF。滤波器单元63尚未向底部3行应用DB滤波器，因为DB滤波器需要来自下部相邻视频数据块的像素值。块100可以通过边界102与这个下部相邻块分隔，边界是指视频块100的底部行。因为滤波器是用级联的方式应用的，其中应用一个滤波器的结果通过行中的另一滤波器进一步滤波，所以滤波器单元63不能向块100的底部四个行应用SAO滤波器，因为滤波器单元63需要向底部三个行应用DB滤波器的结果。同样，滤波器单元63不能向底部六行应用ALF，因为滤波器单元63需要向底部四个行应用SAO滤波器的结果。
[0085]在图4A的实例中，ALF被展示为ALF104。虽然对图4B-4E的以下论述集中于ALF104,但所述技术可以相对于DB滤波器和SAO滤波器中的每一者以及向级联的滤波器的任何其它应用应用。ALF104可以表示完整ALF，因为其尚未被修改以移除任何滤波器系数，所述滤波器系数在图4A的实例中被展示为块点。出于这个原因，ALF滤波器可被称为“完整ALF104”。完整ALF104也是对称的，因为x轴和y轴中的每一者上的分接头或系数的数目是相同的。完整ALF104包含X轴上方和下方的两个系数以及I轴右侧和左侧的四个系数。因此，ALF104可被称为“对称ALF104”或“对称完整ALF104”。假设滤波器单元63选择了对称完整ALF104，并且已经向视频块100的顶部10行应用对称完整ALF104。
[0086]接下来参看图4B的实例，当应用ALF104时，滤波器单元63可以确定像素值105A不可供滤波(通过图4B的实例中的“X”指示)，即使ALF104包含滤波器系数106A以对像素值105A进行滤波。因此，滤波器单元63移除滤波器系数106A(通过短划线的白点指示)以产生不对称部分滤波器108A，接着用本发明中描述的方式将其重新归一化。在滤波器108A包含X轴下方的一个系数和X轴上方的两个系数的意义上，不对称部分滤波器108A可以是“不对称”的。此外，在滤波器108A不包含完整滤波器104内包含的每个系数的意义上，不对称部分滤波器108A可以是“部分”的。但是，当滤波器单元63以其它方式将不能够应用完整滤波器104时，滤波器单元63可以向从视频块100的边界102起的第六行应用不对称部分滤波器108A。因此，与常规滤波技术相比，本发明中描述的技术可以改进可以执行滤波的速度。此外，所述技术可以减小行缓冲器的大小(如果不是消除对行缓冲器的需要的话)，因为不需要额外存储器来存储视频数据块以便等待重建和随后滤波相邻视频块。
[0087]接下来参看图4C的实例，滤波器单元63当应用ALF104时可以确定像素值105A和105B不可供滤波(在图4B的实例中通过“X”指示)，即使ALF104包含滤波器系数106A以对像素值105B进行滤波，并且包含滤波器系数106B以对像素值105A进行滤波。因此，滤波器单元63移除滤波器系数106A、106B (通过短划线的白点指示)以产生不对称部分滤波器108B，接着可以用本发明中描述的方式将其重新归一化。在滤波器108B在X轴下方不包含系数并且在X轴上方包含两个系数的意义上，不对称部分滤波器108B可以是“不对称”的。此外，在滤波器108B不包含完整滤波器104内包含的每个系数的意义上，不对称部分滤波器108B可以是“部分”的。但是，当滤波器单元63以其它方式将不能够应用完整滤波器104时，滤波器单元63可以向从视频块100的边界102起的第五行应用不对称部分滤波器108B。因此，与常规滤波技术相比，本发明中描述的技术同样可以改进可以执行滤波的速度。同样，所述技术可以减小行缓冲器的大小(如果不是消除对行缓冲器的需要的话)，因为不需要额外存储器来存储视频数据块以便等待重建和随后滤波相邻视频块。
[0088]图4D和4E图解说明可以用来使用从图4A的实例中展示的相同完整ALF104产生或导出的对称滤波器IlOA和IlOB相对于视频块100实施所述技术的替代方式。虽然出于容易解释的目的描述为替代方案，但是滤波器单元63可以在每个像素值的基础上选择不对称或对称滤波器，利用不对称滤波器108A、108B或对称滤波器110A、110B中的一者对从视频块100的边界102起的第六或下部行中的像素值中的任一者进行滤波。在这方面，滤波器单元63可以用基于分区的方式(意味着在LCU或分区等级而非切片或帧等级上)在逐像素值的基础上自适应地应用滤波器108A、108B、110A和110B。
[0089]举例来说，当向从边界102的底部起的第四行(其中这个第四行边界可被称为虚拟边界)上方的线应用部分滤波器(无论是对称的还是不对称的)时，滤波器单元63可以始终对这个虚拟边界上方的线(即，在这些实例中从边界102起的第五和第六线)应用部分ALF。在一些情况下，滤波器单元63可以仅对从边界102起的第六行应用部分ALF，并且不向从边界102起的第五行应用任何ALF(这意味着存储应用SAO滤波器的结果)。在其它情况下，滤波器单元63可以基于一些准则确定是否使用部分滤波器，所述准则例如是完整ALF104的具有不可用的像素值的系数的数目是否超过第一阈值数目，具有不可用的像素值的这些系数的总和是否超出第二阈值，和/或具有不可用的像素值的这些系数的绝对值的总和是否超出第三阈值。
[0090]在图4D的实例中，当应用ALF104时，滤波器单元63可以确定像素值IOSA不可供滤波(通过图4B的实例中的“X”指示)，即使ALF104包含滤波器系数106A以对像素值IOSA进行滤波。因此，滤波器单元63移除滤波器系数106A(如通过短划线的白点指示)，同时还移除滤波器系数106C以保持对称性，即使滤波器系数106C包含可用的像素值105C。由此，滤波器单元63产生对称部分滤波器110A,其在滤波器IIOA在X轴上方和下方均包含单个滤波器系数的意义上是对称的，并且在从完整ALF104移除了系数106A和106C的意义上是部分的。但是，当滤波器单元63以其它方式将不能够应用完整滤波器104时滤波器单元63可以对从视频块100的边界102起的第六行应用对称部分滤波器110A，并且由此潜在地提供上文所描述的速度和行缓冲器益处。
[0091]接下来参看图4E的实例，滤波器单元63当应用ALF104时可以确定像素值IOSA和105B不可供滤波(在图4B的实例中通过“X”指示)，即使ALF104包含滤波器系数106A以对像素值105B进行滤波，并且包含滤波器系数106B以对像素值IOSA进行滤波。因此，滤波器单元63移除滤波器系数106A、106B (如通过短划线的白点指示)和滤波器系数106C和106D以保持对称性(即使这些滤波器系数被应用于可用的像素值10SDU0SE)，并且由此产生对称部分滤波器110B，其可以用本发明中描述的方式重新归一化。在滤波器IlOB在X轴上方和下方包含相同数目的系数(即，在图4E的实例中，X轴上方和下方均没有滤波器系数)的意义上，对称部分滤波器IlOB可以是“对称”的。此外，在滤波器IlOB不包含完整滤波器104内包含的每个系数的意义上，对称部分滤波器IlOB可以是“部分”的。但是，当滤波器单元63以其它方式将不能够应用完整滤波器104时，滤波器单元63可以对从视频块100的边界102起的第五行应用对称部分滤波器110B，并且由此潜在地提供上文所描述的速度和行缓冲器益处。[0092]图5A-SB是图解说明根据本发明中描述的技术的镜射填补方面滤波的示范性视频数据块120的图式。图5A是展示视频数据块120的图，其中视频编码器和/或视频解码器的滤波器单元(例如图2的实例中展示的视频编码器20的滤波器单元63和/或图3的实例中展示的视频解码器30的滤波器单元91)可以首先用级联的方式应用DB滤波器、SAO滤波器和ALF。虽然下文是相对于滤波器单元63描述的，但是所述技术可以用类似方式通过滤波器单元91实施。此外，虽然是相对于特定视频编码器和/或视频解码器描述的，但是所述技术总地来说可以通过任何视频译码装置或其它内容译码单元或装置实施。
[0093]如图5A的实例中所示，与图4A-4E的实例中展示的视频块100相同，视频数据块120 (也可被称作“视频块120”)包括16x16的像素值块，其中滤波器单元63的实例中展示的每一正方形表示定义单个像素值的数据。视频块120可以表示经重建视频块，并且因此可以另外被称作“经重建视频块120”。如图5A的实例中进一步指出，滤波器单元63向视频块120的顶部13行应用DB滤波器，向视频块120的顶部12行应用SAO滤波器，并且向视频块120的顶部10行应用ALF。滤波器单元63尚未向底部3行应用DB滤波器，因为DB滤波器需要来自下部相邻视频数据块的像素值。块120可以通过边界122与这个下部相邻块分隔，边界是指视频块120的底部行。因为滤波器是用级联的方式应用的，其中应用一个滤波器的结果通过行中的另一滤波器进一步滤波，所以滤波器单元63不能向块120的底部四个行应用SAO滤波器，因为滤波器单元63需要向底部三个行应用DB滤波器的结果。同样，滤波器单元63不能向底部六行应用ALF，因为滤波器单元63需要向底部四个行应用SAO滤波器的结果。
[0094]在图5A的实例中，ALF被展示为ALF124。虽然对图5B的以下论述集中于ALF124，但所述技术可以相对于DB滤波器和SAO滤波器中的每一者以及向级联的滤波器的任何其它应用应用。ALF124可以表示完整ALF，因为其尚未被修改以移除任何滤波器系数，所述滤波器系数在图5A的实例中被展示为块点。出于这个原因，ALF滤波器可被称为“完整ALF124”。完整ALF124也是对称的，因为X轴和y轴中的每一者上的分接头或系数的数目是相同的。完整ALF124包含X轴上方和下方的两个系数和y轴右侧和左侧的四个系数。因此，ALF124可被称为“对称ALF124”或“对称完整ALF124”。假设滤波器单元63选择了对称完整ALF124，并且已经向视频块120的顶部10行应用对称完整ALF124。
[0095]并非调适对称完整ALF124，滤波器单元63可以执行镜射填补以复制底部像素值行(其在图5A的实例中展示为对角地交叉阴影的正方形)和对这些像素进行镜射以取代将是位于邻近视频块120并且在其下方的块的最顶部的像素值行。另外，滤波器单元63为了对视频块124的顶最后行进行滤波可以执行镜射填补以镜射视频块124的最底部行和视频块124的第二最底部行(其在图5的实例中展示为水平地和垂直地交叉阴影的正方形)两者。滤波器单元63可以有效地形成被指示为“镜射填补126”的两个额外行，其取代邻近于视频块124并且在其下方的块的最顶部两个行，由此能够应用完整ALF124。
[0096]虽然在图5A的实例中展示为实际上产生这些行(这意味着可能必需行缓冲器来存储这些像素值)，但是可以数学上实施所述技术以避免实际存储要求。也就是说，镜射填补126中展示的被应用完整ALF124的像素值可以简单地从视频块124的底部两个行获得(用原始形式或潜在地用按比例缩放的形式)，并且被插入到滤波器矩阵中，而不必实际上复制这些值和将其存储到分开的行缓冲器。因此，本发明中描述的镜射填补技术并不产生行缓冲器大小增加，而是可以潜在地提供上文指出的速度和行缓冲器益处。
[0097]图5B图解说明相对于视频块120的更内部的行应用镜射填补方面。在这种意义上讲，术语“边界”在本发明中用于指代视频数据的两个部分之间的边界，其中这些部分可以驻留在相同视频块内或在不同视频块中。因而，术语“边界”不应解释为限于分隔两个视频块的边界，而是可包含可以分隔视频数据的任何两个部分的任何边界(包含上文所论述的所谓的“虚拟边界”)。也就是说，在一些情况下，滤波器单元63可以执行内部行的镜射填补，例如从视频块120的底部起的第五行以镜射第五行中可用的像素值以取代位于从视频块120的底部起的第四行的不可用的像素值(从ALF角度看)，从而有效地产生镜射填补128。同样，滤波器单元63有效地产生填补128，因为镜射填补128可以不实际上被存储，而是用使得向位于镜射填补128中的对应系数提供可供使用的像素值的方式来实施。在这方面，所述技术可以应用于视频块的内部或任何行或列，并且不应限于视频块的边缘或边界。
[0098]图6是图解说明在实施本发明中描述的技术的部分滤波方面时视频译码器的示范性操作的流程图，例如图1到3的实例中展示的视频编码器20或视频解码器30。虽然相对于特定视频译码器(即，图2的实例中展示的视频编码器20)描述了所述技术，但是可以通过任何视频译码器(例如图3的实例中展示的视频解码器30)实施所述技术。此外，虽然是相对于特定类型的内容数据(即视频数据)描述的，但是总地来说可以相对于任何类型的内容数据(包含音频数据、文本数据、图像日期及类似内容数据)实施所述技术。
[0099]首先，视频编码器20用上文所描述的方式对视频数据进行编码以产生经编码视频数据。为了对这个视频数据进行编码，在对视频数据进行编码以产生经编码视频数据之后，视频编码器20对经编码视频数据进行解码以形成经重建视频数据，其用于对后续视频数据进行编码。因此，视频编码器20可以对经编码视频块进行解码以形成经重建视频块，例如图4A-4E的实例中展示的视频块100 (130)。视频编码器20可以调用滤波单元63对视频块100进行滤波。为了对视频块100进行滤波，滤波单元63可以选择待应用于经重建视频块100的滤波器(132)。在选择滤波器之后，滤波单元63可以向经重建视频块100应用滤波器。在一些情况下，滤波单元63可以确定选定滤波器的至少一个系数有待应用于出于上文更详细地描述的原因不用的至少一个像素值(134)。
[0100]响应于确定选定滤波器的至少一个系数有待应用于不可用的至少一个像素值，滤波单元63可以用上文所描述的方式产生部分滤波器，例如图4A-4E的实例中展示的部分滤波器108A、108B、110A、IIOB (136)。在产生这个部分滤波器之后，滤波单元63可以将部分滤波器的系数重新归一化，以使得这些系数再次总和为一(138)。滤波单元63可以根据一个或一个以上重新归一化算法将滤波器系数重新归一化。
[0101]举例来说，滤波单元63可以采用第一重新归一化算法将所产生的部分滤波器的系数重新归一化。第一重新归一化算法包含将选定完整滤波器内包含的所述多个滤波器系数求和以计算所述多个完整滤波器系数的第一总和。换句话说，滤波单元63可以将选定滤波器的滤波器系数求和。这个算法还包含将部分滤波器内包含的所述多个滤波器系数求和以计算所述多个部分滤波器系数的第二总和。也就是说，滤波单元63可以将部分滤波器的系数求和。滤波单元63可以接着通过将部分滤波器内包含的所述多个滤波器系数中的每一者乘以将所述多个完整滤波器系数的第一总和除以所述多个部分滤波器系数的第二总和的结果来确定部分滤波器的重新归一化的系数。这个第一重新归一化算法可以表达为以下伪码:
【权利要求】
1.一种对视频数据进行译码的方法，其包括: 选择有待靠近所述视频数据的第一部分的边界应用的滤波器，所述边界将所述视频数据的所述第一部分与所述视频数据的第二部分分隔，其中所述滤波器包括多个滤波器系数； 确定所述多个滤波器系数中将没有所述视频数据可供滤波的至少一者； 基于对于所述多个滤波器系数中将没有所述视频数据可供滤波的所述至少一者的所述确定，确定部分滤波器，其中所述部分滤波器不包含所述多个滤波器系数中将没有所述视频数据可供滤波的所述至少一者； 将所述部分滤波器内包含的所述多个滤波器系数重新归一化；以及 靠近所述视频数据的所述第一部分的所述边界应用所述重新归一化的部分滤波器以产生所述视频数据的经滤波的第一部分。
2.根据权利要求1所述的方法，其中选择所述滤波器包括选择所述滤波器的类型、大小和形状中的一 者或一者以上。
3.根据权利要求1所述的方法，其中所述选定滤波器包括解块DB滤波器、样本自适应偏移SAO滤波器和自适应环路滤波器ALF中的一者。
4.根据权利要求1所述的方法， 其中所述部分包括最大译码单元IXU，并且 其中应用所述一个或一个以上部分滤波器以对所述视频数据的所述部分进行滤波包括在所述LCU的等级而非切片或帧的等级上应用所述一个或一个以上部分滤波器以对所述LCU进行滤波。
5.根据权利要求1所述的方法，其中应用一个或一个以上部分滤波器包括基于一个或一个以上准则自适应地应用所述一个或一个以上部分滤波器。
6.根据权利要求1所述的方法， 其中确定部分滤波器包括确定不对称部分滤波器， 其中所述不对称部分滤波器包含所述完整滤波器的所述多个滤波器系数中将有所述视频数据可供滤波的一者或一者以上，所述滤波器系数是以不对称方式围绕所述不对称部分滤波器的X轴和I轴中的一者或一者以上布置。
7.根据权利要求1所述的方法， 其中确定部分滤波器包括确定对称部分滤波器， 其中所述对称部分滤波器包含所述完整滤波器的所述多个滤波器系数中将有所述视频数据可供滤波的一者或一者以上，所述滤波器系数是以对称方式围绕所述对称部分滤波器的X轴和I轴中的一者或一者以上布置。
8.根据权利要求1所述的方法， 其中将所述多个滤波器系数重新归一化包括根据第一重新归一化算法或第二重新归一化算法将所述多个滤波器系数重新归一化， 其中所述第一重新归一化算法包括: 将所述选定完整滤波器内包含的所述多个滤波器系数求和以计算所述多个完整滤波器系数的第一总和； 将所述部分滤波器内包含的所述多个滤波器系数求和以计算所述多个部分滤波器系数的第二总和；以及 通过将所述部分滤波器内包含的所述多个滤波器系数中的每一者乘以将所述多个完整滤波器系数的所述第一总和除以所述多个部分滤波器系数的所述第二总和的结果来计算所述部分滤波器的所述多个滤波器系数，并且 其中所述第二重新归一化算法包括将所述完整滤波器的所述多个滤波器系数中将没有视频数据可供滤波的所述至少一者中的一者或一者以上加到所述部分滤波器的所述多个滤波器系数中的所述一者或一者以上。
9.根据权利要求1所述的方法，其进一步包括执行镜射填补以镜射位于所述视频数据的所述第一部分的所述边界处的像素值，以便取代所述视频数据的第二部分的不可供使用的像素值，并且 其中应用所述重新归一化的部分滤波器包括应用所述重新归一化的部分滤波器对所述镜射的像素值中的至少一者进行滤波。
10.根据权利要求1所述的方法，其中所述方法进一步包括: 用视频编码器对所述视频数据进行编码以产生经编码视频数据；以及 用所述视频编码器对所述经编码视频数据进行解码以产生经重建视频数据以在对所述视频数据进行编码时用作参考数据。
11.根据权利要求1所述的方法，其进一步包括: 执行熵解码以对所述视频数据的所述第一部分进行熵解码以产生变换系数； 执行逆量化以对所述变换系数进行解量化和产生解量化的变换系数； 执行逆变换以将所述解量化的变换系数从频域变换到空间域并产生残余视频数据；以及 根据所述残余视频数据重建所述视频数据以产生所述视频数据的所述第一部分的经重建版本。
12.一种用于对视频数据进行译码的装置，其包括: 用于选择有待靠近所述视频数据的第一部分的边界应用的滤波器的装置，所述边界将所述视频数据的所述第一部分与所述视频数据的第二部分分隔，其中所述滤波器包括多个滤波器系数； 用于确定所述多个滤波器系数中将没有所述视频数据可供滤波的至少一者的装置:基于对于所述多个滤波器系数中将没有所述视频数据可供滤波的所述至少一者的所述确定，用于确定部分滤波器的装置，其中所述部分滤波器不包含所述多个滤波器系数中将没有所述视频数据可供滤波的所述至少一者； 用于将所述部分滤波器内包含的所述多个滤波器系数重新归一化的装置；以及用于靠近所述视频数据的所述第一部分的所述边界应用所述重新归一化的部分滤波器以产生所述视频数据的经滤波的第一部分的装置。
13.根据权利要求12所述的装置，其中所述用于选择所述滤波器的装置包括用于选择所述滤波器的类型、大小和形状中的一者或一者以上的装置。
14.根据权利要求12所述的装置，其中所述选定滤波器包括解块DB滤波器、样本自适应偏移SAO滤波器和自适应环路滤波器ALF中的一者。
15.根据权利要求12所述的 装置，其中所述部分包括最大译码单元IXU，并且 其中所述用于应用所述一个或一个以上部分滤波器以对所述视频数据的所述部分进行滤波的装置包括用于在所述LCU的等级而非在切片或帧的等级上应用所述一个或一个以上部分滤波器以对所述LCU进行滤波的装置。
16.根据权利要求12所述的装置，其中所述用于应用一个或一个以上部分滤波器的装置包括用于基于一个或一个以上准则自适应地应用所述一个或一个以上部分滤波器的装置。
17.根据权利要求12所述的装置， 其中所述用于确定部分滤波器的装置包括用于确定不对称部分滤波器的装置， 其中所述不对称部分滤波器包含所述完整滤波器的所述多个滤波器系数中将有所述视频数据可供滤波的一者或一者以上，所述滤波器系数是以不对称方式围绕所述不对称部分滤波器的X轴和I轴中的一者或一者以上布置。
18.根据权利要求12所述的装置， 其中所述用于确定部分滤波器的装置包括用于确定对称部分滤波器的装置， 其中所述对称部分滤波器包含所述完整滤波器的所述多个滤波器系数中将有所述视频数据可供滤波的一者或一者以上，所述滤波器系数是以对称方式围绕所述对称部分滤波器的X轴和y轴中的一者或一者以上布置。
19.根据权利要求12所述的装置， 其中所述用于将所述多个滤波器系数重新归一化的装置包括用于根据第一重新归一化算法或第二重新归一化算法将所述多个滤波器系数重新归一化的装置， 其中所述第一重新归一化算法包括: 将所述选定完整滤波器内包含的所述多个滤波器系数求和以计算所述多个完整滤波器系数的第一总和； 将所述部分滤波器内包含的所述多个滤波器系数求和以计算所述多个部分滤波器系数的第二总和；以及 通过将所述部分滤波器内包含的所述多个滤波器系数中的每一者乘以将所述多个完整滤波器系数的所述第一总和除以所述多个部分滤波器系数的所述第二总和的结果来计算所述部分滤波器的所述多个滤波器系数，并且 其中所述第二重新归一化算法包括将所述完整滤波器的所述多个滤波器系数中将没有视频数据可供滤波的所述至少一者中的一者或一者以上加到所述部分滤波器的所述多个滤波器系数中的所述一者或一者以上。
20.根据权利要求12所述的装置，其进一步包括用于执行镜射填补以镜射位于所述视频数据的所述第一部分的所述边界处的像素值以便取代所述视频数据的第二部分的不可供使用的像素值的装置，并且 其中所述用于应用所述重新归一化的部分滤波器的装置包括用于应用所述重新归一化的部分滤波器对 所述镜射的像素值中的至少一者进行滤波的装置。
21.一种用于对视频数据进行译码的装置，其包括: 一个或一个以上处理器，其经配置以:选择有待靠近所述视频数据的第一部分的边界应用的滤波器，所述边界将所述视频数据的所述第一部分与所述视频数据的第二部分分隔，其中所述滤波器包括多个滤波器系数；确定所述多个滤波器系数中将没有所述视频数据可供滤波的至少一者；基于对于所述多个滤波器系数中将没有所述视频数据可供滤波的所述至少一者的所述确定，确定部分滤波器，其中所述部分滤波器不包含所述多个滤波器系数中将没有所述视频数据可供滤波的所述至少一者；将所述部分滤波器内包含的所述多个滤波器系数重新归一化；以及靠近所述视频数据的所述第一部分的所述边界应用所述重新归一化的部分滤波器以产生所述视频数据的经滤波的第一部分。
22.根据权利要求21所述的装置，其中所述一个或一个以上处理器进一步经配置以选择所述滤波器的类型、大小和形状中的一者或一者以上。
23.根据权利要求21所述的装置，其中所述选定滤波器包括解块DB滤波器、样本自适应偏移SAO滤波器和自适应环路滤波器ALF中的一者。
24.根据权利要求21所述的装置， 其中所述部分包括最大译码单元IXU，并且 其中所述一个或一 个以上处理器进一步经配置以在所述LCU的等级而非在切片或帧的等级上应用所述一个或一个以上部分滤波器以对所述LCU进行滤波。
25.根据权利要求21所述的装置，其中所述一个或一个以上处理器进一步经配置以基于一个或一个以上准则自适应地应用所述一个或一个以上部分滤波器。
26.根据权利要求21所述的装置， 其中所述一个或一个以上处理器进一步经配置以确定不对称部分滤波器， 其中所述不对称部分滤波器包含所述完整滤波器的所述多个滤波器系数中将有所述视频数据可供滤波的一者或一者以上，所述滤波器系数是以不对称方式围绕所述不对称部分滤波器的X轴和I轴中的一者或一者以上布置。
27.根据权利要求21所述的装置， 其中所述一个或一个以上处理器进一步经配置以确定对称部分滤波器， 其中所述对称部分滤波器包含所述完整滤波器的所述多个滤波器系数中将有所述视频数据可供滤波的一者或一者以上，所述滤波器系数是以对称方式围绕所述对称部分滤波器的X轴和I轴中的一者或一者以上布置。
28.根据权利要求21所述的装置， 其中所述一个或一个以上处理器进一步经配置以根据第一重新归一化算法或第二重新归一化算法将所述多个滤波器系数重新归一化， 其中所述第一重新归一化算法包括: 将所述选定完整滤波器内包含的所述多个滤波器系数求和以计算所述多个完整滤波器系数的第一总和； 将所述部分滤波器内包含的所述多个滤波器系数求和以计算所述多个部分滤波器系数的第二总和；以及 通过将所述部分滤波器内包含的所述多个滤波器系数中的每一者乘以将所述多个完整滤波器系数的所述第一总和除以所述多个部分滤波器系数的所述第二总和的结果来计算所述部分滤波器的所述多个滤波器系数，以及 其中所述第二重新归一化算法包括将所述完整滤波器的所述多个滤波器系数中将没有视频数据可供滤波的所述至少一者中的一者或一者以上加到所述部分滤波器的所述多个滤波器系数中的所述一者或一者以上。
29.根据权利要求21所述的装置，其中所述一个或一个以上处理器进一步经配置以执行镜射填补以镜射位于所述视频数据的所述第一部分的所述边界处的像素值，以便取代所述视频数据的第二部分的不可供使用的像素值，并且应用所述重新归一化的部分滤波器对所述镜射的像素值中的至少一者进行滤波。
30.根据权利要求21所述的装置， 其中所述装置包括视频编码器， 其中所述一个或一个以上处理器进一步经配置以用所述视频编码器对所述视频数据进行编码以产生经编码视频数据，并且对所述经编码视频数据进行解码以产生经重建视频数据以在对所述视频数据进行编码时用作参考数据。
31.根据权利要求21所述的装置，其中所述装置包括视频解码器。
32.—种非暂时计算机可读存储媒体，其包括存储在其上的指令，所述指令在被执行时致使视频译码装置的一个或一个以上处理器执行以下操作: 选择有待靠近所述视频数据的第一部分的边界应用的滤波器，所述边界将所述视频数据的所述第一部分与所述视频数据的第二部分分隔，其中所述滤波器包括多个滤波器系数； 确定所述多个滤波器系数中将没有所述视频数据可供滤波的至少一者； 基于对于所述多个滤波器系数中将没有所述视频数据可供滤波的所述至少一者的所述确定，确定部分滤波器，其中所述部分滤波器不包含所述多个滤波器系数中将没有所述视频数据可供滤波的所述至少一者； 将所述部分滤波器内包含的所述多个滤波器系数重新归一化；以及 靠近所述视频数据的所述第一部分的所述边界应用所述重新归一化的部分滤波器以产生所述视频数据的经滤波的第一部分。
33.根据权利要求31所述的非暂时计算机可读存储媒体，其中所述在被执行时致使所述一个或一个以上处理器选择所述滤波器的指令包括在被执行时致使所述一个或一个以上处理器选择所述滤波器的类型、大小和形状中的一者或一者以上的指令。
34.根据权利要求32所述的非暂时计算机可读存储媒体，其中所述滤波器包括解块DB滤波器、样本自适应偏移SAO滤波器和自适应环路滤波器ALF中的一者。
35.根据权利要求32所述的非暂时计算机可读存储媒体， 其中所述部分包括最大译码单元IXU，并且 其中所述在被执行时致使所述一个或一个以上处理器应用一个或一个以上部分滤波器的指令包括在被执行时致使所述一个或一个以上处理器在所述LCU的等级而非在切片或帧的等级上应用所述一个或一个以上部分滤波器以对所述LCU进行滤波的指令。
36.根据权利要求32所述的非暂时计算机可读存储媒体，其中所述在被执行时致使所述一个或一个以上处理器应用一个或一个以上部分滤波器的指令包括在被执行时致使所述一个或一个以上处理器基于一个或一个以上准则自适应地应用所述一个或一个以上部分滤波器的指令。
37.根据权利要求32所述的非暂时计算机可读存储媒体， 其中所述在被执行时致使所述一个或一个以上处理器确定部分滤波器的指令包括在被执行时致使所述一个或一个以上处理器确定不对称部分滤波器的指令， 其中所述不对称部分滤波器包含所述完整滤波器的所述多个滤波器系数中将有所述视频数据可供滤波的一者或一者以上，所述滤波器系数是以不对称方式围绕所述不对称部分滤波器的X轴和I轴中的一者或一者以上布置。
38.根据权利要求32所述的非暂时计算机可读存储媒体， 其中所述在被执行时致使所述一个或一个以上处理器确定部分滤波器的指令包括在被执行时致使所述一个或一个以上处理器确定对称部分滤波器的指令， 其中所述对称部分滤波器包含所述完整滤波器的所述多个滤波器系数中将有所述视频数据可供滤波的一者或一者以上，所述滤波器系数是以对称方式围绕所述对称部分滤波器的X轴和y轴中的一者或一者以上布置。
39.根据权利要求32所述的非暂时计算机可读存储媒体， 其中所述在被执行时致使所述一个或一个以上处理器将所述多个滤波器系数重新归一化的指令包括在被执行时致使所述一个或一个以上处理器根据第一重新归一化算法或第二重新归一化算法将所述多个滤波器系数重新归一化的指令， 其中所述第一重新归一化算法包括: 将所述选定完整滤波器内包含的所述多个滤波器系数求和以计算所述多个完整滤波器系数的第一总和； 将所述部分滤波器内包含的所述多个滤波器系数求和以计算所述多个部分滤波器系数的第二总和；以及 通过将所述部分滤波器内包含的所述多个滤波器系数中的每一者乘以将所述多个完整滤波器系数的所述第一总和除以所述多个部分滤波器系数的所述第二总和的结果来计算所述部分滤波器的所述多个滤波器系数，并且 其中所述第二重新归一化算法包括将所述完整滤波器的所述多个滤波器系数中将没有视频数据可供滤波的所述至少一者中的一者或一者以上加到所述部分滤波器的所述多个滤波器系数中的所述一者或一者以上。
40.根据权利要求32所述的非暂时计算机可读存储媒体，其进一步包括在被执行时致使所述一个或一个以上处理器执行镜射填补以镜射位于所述视频数据的所述第一部分的所述边界处的像素值以便取代所述视频数据的第二部分的不可供使用的像素值的指令，并且 其中所述在被执行时致使所述一个或一个以上处理器应用所述重新归一化的部分滤波器的指令包括在被执行时致使所述一个或一个以上处理器应用所述重新归一化的部分滤波器以对所述镜射的像素值中的至少一者进行滤波的指令。
【文档编号】H04N19/86GK103748875SQ201280040195
【公开日】2014年4月23日 申请日期:2012年8月15日 优先权日:2011年8月18日
【发明者】钟仁肃, 格尔特·范德奥维拉, 马尔塔·卡切维奇 申请人:高通股份有限公司