专利名称：图像滤波器、编码装置、解码装置以及数据结构的制作方法
技术领域：
本发明涉及进行图像滤波处理的图像滤波器。还涉及具备该图像滤波器的解码装置以及编码装置。另外，还涉及由该编码装置生成且供解码装置參照的编码数据的数据结构。
背景技术：
为了有效地传送或记录动图像，通常采用动图像编码装置。具体的动图像编码方式例如有!I. 264/MPEG-4AVC、WlKTA(Key Technical Aeras)软件中所采用的编码方式等。在上述这些编码方式中，按以下的阶层结构来管理构成动图像的图像(图片)-J人图像分割出的像条、从像条分割出的宏块、从宏块分割出的像块。通常是以每一像块为单位 来进行编码的。在非专利文献I中，掲示了一种称为ALF(Adaptive Loop Filter :自适应环路滤波器)的对解码图像进行滤波处理的滤波器。该ALF以解码图像中的像条为单位区域，对每ー单位区域设定使原图像与经ALF处理后的解码图像之间的误差得以为最小的滤波器系数，并按照该滤波器系数来对该单位区域施以滤波处理。[现有技术文献]非专利文献1:ITU_T Telecommunication Standardization Sector VCEG-AI18，2008 (2008 年 7 月公开)。
发明内容
〔本发明所欲解决的问题〕然而在上述ALF中，由于是对每ー单位区域均用固定的滤波器系数来进行滤波处理，因此当单位区域间的图像特性互不相同时，便出现难以恰当地进行滤波的问题。本发明是鉴于上述问题而研发的，目的在于实现ー种使用有对每ー単位区域所分别设定的滤波器系数，且即使単位区域间的图像特性互不相同也能恰当地进行滤波处理的图像滤波器。〔用以解决问题的技术方案〕为解决上述问题，本发明的图像滤波器根据滤波器系数向量、以及输入图像中的对象区域所拥有的各像素的像素值，来计算输出图像中的对象像素的像素值。该图像滤波器的特征在于具备滤波器系数向量变更单元；所述滤波器系数向量变更单元根据所述输入图像中的所述对象区域的位置以及所述输出图像中的所述对象像素的位置的至少一方位置，来变更所述滤波器系数向量。在上述技术方案中，具备了根据所述输入图像中的所述对象区域的位置以及所述输出图像中的所述对象像素的位置的至少一方位置来变更所述滤波器系数向量的滤波器系数变更单元。因此本发明的效果在于能够根据上述对象区域的位置以及上述输出图像中的上述对象像素的位置的其中至少一方位置，来对每ー上述对象区域进行恰当的滤波处理。〔发明效果〕如上所述，本发明的图像滤波器根据滤波器系数向量以及输入图像中的对象区域所拥有的各像素的像素值，来计算输出图像中的对象像素的像素值。该图像滤波器具备了 根据所述输入图像中的所述对象区域的位置以及所述输出图像中的所述对象像素的位置的至少一方位置来变更所述滤波器系数向量的滤波器系数变更单元。因此本发明能够根据上述对象区域的位置以及上述输出图像中的上述对象像素的位置的其中至少一方位置，来对每ー上述对象区域进行恰当的滤波处理。
图I是实施方式中的自适应滤波器的结构框图。图2是含多个对象区域的単位区域的示意图，该图用以说明实施方式中的自适应滤波器的效果。图3是实施方式中的自适应滤波器的滤波器系数计算处理的一例流程图。图4是实施方式中的自适应滤波器的滤波器系数计算处理的另一例流程图。图5是具备了实施方式中的自适应滤波器的动图像编码装置的结构框图。图6是实施方式中的自适应滤波器所输出的滤波器系数信息的结构示意图，(a)表不滤波器系数信息的第I例，(b)表滤波器系数信息的第2例，(C)表滤波器系数信息的第3例。图7是实施方式中的动图像编码装置所具备的帧间预测图像生成部的结构框图，亦即具备有实施方式中的自适应滤波器的帧间预测图像生成部的结构框图。图8是具备了实施方式中的自适应滤波器的动图像解码装置的结构框图。图9是实施方式中的动图像解码装置所具备的帧间预测图像生成部的结构框图，亦即具备有实施方式中的自适应滤波器的帧间预测图像生成部的结构框图。图10是，由实施方式中的动图像编码装置所生成且被输入给实施方式中的动图像解码装置的编码数据的位流示意图。图11是，由实施方式中的动图像编码装置所生成且被输入给实施方式中的动图像解码装置的编码数据所含的滤波器系数信息的具体结构示意图。<附图标记说明>100自适应滤波器(图像滤波器)110滤波部120控制变量决定部(滤波器系数向量变更单元)I动图像编码装置(编码装置)2动图像解码装置(解码装置)16,26 帧间预测图像生成部R滤波參照区域T滤波对象区域
具体实施方式
以下，參照图I来说明实施方式中的自适应滤波器100的结构。图I是自适应滤波器100的结构框图。如图I所示，自适应滤波器100具备有滤波部110以及控制变量决定部120。自适应滤波器100是能对图像数据进行滤波处理的图像滤波器。自适应滤波器100在对图像数据所示图像中的作为滤波对象的単位区域进行滤波处理时，能够对自该单位区域中分割出的每一区域(滤波对象区域T)来进行恰当的滤波处理。自适应滤波器100能较好地用在例如对动图像数据进行编码的动图像编码装置中，或用在对经编码的动图像进行解码的动图像解码装置等中。 针对输入的图像数据#100中的各像素值，自适应滤波器100按照滤波器系数，来求取给定区域中所含的像素值的线性加权和，由此生成输出图像数据#110a，并将其输出。另外，自适应滤波器100还被输入学习数据#200。学习数据#200是指在决定上述滤波器系数时所被參照的学习图像的图像数据。学习数据#200将在后文中说明。学习数据#200具体例如有输入给具备有自适应滤波器100的图像编码装置的输入图像数据。另外，自适应滤波器100不仅输出图像数据#110a，还输出滤波器系数信息#110b。滤波器系数信息#110b是滤波处理中所用过的滤波器系数的相关信息。自适应滤波器100根据图像数据#100、以及图像数据#100的辅助信息#100a，随每ー上述给定区域来改变上述滤波器系数，且求取上述线性加权和。图像数据#100的辅助信息#100a是生成图像#100时所要用的信息，其是从编码数据中获得的。即，包括以下全部的信息在生成预测残差时所要用的转换系数、频率转换量、量化參数信息；在生成预测图像时所要用的预测模式、移动补偿量、移动向量、參照帧等这些信息；加权预测时的权数信息、像块信息及像块边界的位置信息等。滤波器系数信息#110b包含有滤波器系数、以及生成滤波器系数时所需的信息。其具体例将在后文中说明。在此，设想滤波对象区域T是MTXNT的矩形，但滤波对象区域T也可由单个像素构成，也可以是像块或宏块。滤波对象区域T的形状并不限于是矩形，也可以是菱形、圆形、一整条垂直线/水平线、一整条斜线、或其他任意形状。另外，単位区域内的滤波对象区域T的尺寸无需恒定，也可以是可变形式。例如，若是对尺寸可变的像块实施转换及移动补偿，那么较妥当的方案是将该可变像块作为区域T。以下说明自适应滤波器100的各个部。控制变量决定部120接收图像数据#100、以及图像数据#100的辅助信息#100a，并向滤波部110提供控制变量#120a以及控制基底#120b。滤波部110针对图像数据#100中的各像素值，对给定区域中所含的像素值的基于滤波器系数的线性加权和、以及补偿值进行相加，由此算出输出图像数据#110a。具体为，滤波部110根据式(I)表达的线性加权和，计算输出图像数据#110a中的
位于坐标(x’，y’ )上的像素值SQ(x’，y’)。
/ \^(X',ァ，)=yhihj^^x + i^ + j) +hn( i,
ノ在此，S1(Xd)代表图像数据#100的坐标(x，y)上的像素值。h(i，j)代表与像素值51“+し7+1)相乘的滤波器系数。另外,R代表由成为上述线性加权和的运算对象的像素所构成的区域(以下称为滤波參照区域)。更具体来说，R代表的是成为上述线性加权和的运算对象的像素的对应坐标群。例如，若以坐标(x，y)上的像素为中心来进行3X3抽头滤波，则 R=〔(-1，_1)、(-1,0), (_1，1)、(0,-1), (0,0), (0，1)、(1,-1), (1,0), (1，1)〕。另外，Kffset代表要加算给像素值的补偿值。坐标(x’，y’ )与坐标(x，y)可以是同一坐标，若它们具备I对I的对应关系，则也可以是不同的坐标。坐标(x’，y’ )与坐标(x，y)之间的具体对应关系并不限定本发明，该对应关系随要被安装自适应滤波器100的图像处理装置的具体结构而定。通常，可通过滤波器系数行列H以及上述补偿值Iwfset来对MXN抽头滤波处理赋予特征。滤波器系数行列H也就是MXN行列，滤波器系数h(i，j)是该MXN行列中拥有的各元素。以下，设想滤波參照区域是MXN抽头的矩形区域，并以此为例进行说明。但本发明并不限定于此，本发明也适合菱形、圆形、一整条垂直线/水平线、一整条斜线或其他任意形状的滤波參照区域R。以下运用向量记法来表达上述滤波器系数以及上述补偿值。所谓向量记法，也就是将上述滤波器系数行列H中的各元素以及上述补偿值Iitjffset,映射成MXN+1维的向量。具体是将式⑵表达的滤波器系数行列H、以及补偿值Iwfset,映射成下式(3)所定义的MXN+1维的滤波器系数向量V。
权利要求
1.ー种图像滤波器，其根据滤波器系数向量、以及输入图像中的对象区域所拥有的各像素的像素值，来计算输出图像中的对象像素的像素值， 该图像滤波器的特征在于 具备滤波器系数向量变更单元； 所述滤波器系数向量变更单元根据所述输入图像中的所述对象区域的位置以及所述输出图像中的所述对象像素的位置的至少一方位置，来变更所述滤波器系数向量。
2.根据权利要求I所述的图像滤波器，其特征在于 所述滤波器系数向量能分解成固定滤波器系数向量与可变滤波器系数向量的和， 其中， 所述固定滤波器系数向量被预先设定给构成所述输出图像的每ー单位区域； 所述可变滤波器系数向量，由所述滤波器系数向量变更单元根据所述输入图像中的所述对象区域的位置以及所述输出图像中的所述对象像素的位置的至少一方位置来施以变更。
3.根据权利要求2所述的图像滤波器，其特征在于 所述可变滤波器系数向量能进ー步分解成固定系数、可变系数、以及预先设定的固定向量， 其中， 所述固定系数被预先设定给构成所述输出图像的每ー单位区域； 所述可变系数，由所述滤波器系数向量变更单元根据所述输入图像中的所述对象区域的位置、或所述输出图像中的所述对象像素的位置来施以变更。
4.根据权利要求3所述的图像滤波器，其特征在于 所述可变系数，由所述滤波器系数向量变更单元根据所述对象区域的图像的平滑度来施以变更； 所述固定向量是具有边缘增强效果及边缘减弱效果的其中至少一方效果的滤波器基/ 。
5.根据权利要求3或4所述的图像滤波器，其特征在于 所述可变系数，由所述滤波器系数向量变更单元根据所述对象区域的图像的边缘角度来施以变更； 所述固定向量是具有边缘增强效果及边缘减弱效果的其中至少一方效果的滤波器基/ 。
6.根据权利要求3至5中任一项所述的图像滤波器，其特征在于 所述可变系数，由所述滤波器系数向量变更单元根据所述对象区域的图像的亮度来施以变更； 所述固定向量是具有边缘增强效果及边缘减弱效果的其中至少一方效果的滤波器基/ 。
7.根据权利要求3至6中任一项所述的图像滤波器，其特征在于 所述可变系数，由所述滤波器系数向量变更单元根据含所述对象区域的像块是否为占空模式下的像块，来施以变更； 所述固定向量是具有边缘增强效果及边缘减弱效果的其中至少一方效果的滤波器基
8.根据权利要求3至7中任一项所述的图像滤波器，其特征在于 所述可变系数，由所述滤波器系数向量变更单元根据含所述对象区域的像块是经帧间预测而得的像块还是经帧内预测而得的像块，来施以变更； 所述固定向量是具有边缘增强效果及边缘减弱效果的其中至少一方效果的滤波器基/ 。
9.根据权利要求3至8中任一项所述的图像滤波器，其特征在于 所述固定滤波器系数向量的各分量、以及所述固定系数以满足以下条件的方式而定出给定图像经编码/解码后而得的解码图像被用作输入图像时的输出图像、与该给定图像之间的差分为最小。
10.根据权利要求2至9中任一项所述的图像滤波器，其特征在于 所述固定滤波器系数向量与所述可变滤波器系数向量相互正交。
11.一种解码装置，其特征在干 具备权利要求I至10中任一项所述的图像滤波器，且使所述图像滤波器对解码图像进行处理。
12.—种编码装置，其特征在干 具备权利要求I至10中任一项所述的图像滤波器，且使所述图像滤波器对局部解码图像进行处理。
13.ー种数据结构，其是编码数据的数据结构， 其中，所述编码数据供解码装置參照；所述解码装置具备图像滤波器，且所述图像滤波器对解码图像进行处理；所述图像滤波器根据滤波器系数向量、以及输入图像中的对象区域所拥有的各像素的像素值，来计算输出图像中的对象像素的像素值， 该数据结构的特征在于 包含固定系数、以及固定滤波器系数向量的各分量； 所述固定系数通过所述解码装置，而与可变系数和预先所定的固定向量之间的积进行相乘，其中，所述可变系数依照所述输入图像中的所述对象区域的位置、或所述输出图像中的所述对象像素的位置而被变更； 所述固定滤波器系数向量被预先设定给构成所述输出图像的每ー单位区域，且所述固定滤波器系数向量通过所述解码装置而与所述可变系数、所述固定向量、以及所述固定系数这三者的积进行相加。
全文摘要
自适应滤波器(100)根据滤波器系数向量V、以及输入图像中的滤波区域所拥有的各像素的像素值，来计算输出图像中的对象像素的像素值。自适应滤波器(100)具备根据所述输入图像中的所述对象区域的位置以及所述输出图像中的所述对象像素的位置的至少一方位置，来变更所述滤波器系数向量V的控制变量决定部(120)。
文档编号H04N7/32GK102656888SQ20108005667
公开日2012年9月5日 申请日期2010年11月10日 优先权日2009年12月18日
发明者八杉将伸, 猪饲知宏, 青野友子 申请人:夏普株式会社