专利名称：后置滤波器及后置滤波器处理方法以及视频信号译码装置的制作方法
技术领域：
本发明涉及在对视频信号进行译码的译码装置中使用的后置滤波器，比如，将在便携式电话等的便携式终端及TV电话系统等的视频显示装置中进行编码时产生的块畸变减小乃至将其消除而使其发挥真正价值的技术。
背景技术：
在多种视频压缩标准，比如，ITU-T、H.263、MPEG(运动图像专家组)1、MPEG2、MPEG4等之中，为了将图像分割为几个小块进行压缩，随着压缩率的增大，块的边界会发生明显的块畸变。为解决这种块畸变，提出了几种解决方法。
比如，在下述专利文献中提出了根据运动补偿的信息对在块边界上发生的块畸变进行滤波的技术。
另外，还在下述非专利文献中提出了在滤波判定之际，使用块边界邻接8像素进行判定处理的技术。
日本特开2002-330436号公报(第1-24页，图1)ITU-T、“ISO/IEC14496-22001”、2002年7月，p.449-451发明内容不过，在现有的技术中，由于采用利用运动矢量进行多级判定的流程，存在运算量大的问题。于是，由于运算量大，如果考虑利用电子电路实现这种运算处理，势必产生电路规模必须很大的问题。这一点，特别是在上述专利文献1的技术中很显著。
另外，在上述的非专利文献1的提案中，因为在滤波判定之际，将很多的邻接像素作为判定要素，存在用于判定处理及滤波处理的运算量很大的这一问题。另外，如果运算量大，功耗必然增大。功耗增大，特别是在便携式终端等电池容量小的机器中，成为很大的问题。
本发明就是为了解决上述这样的问题而完成的，其目的在于通过减少运算量减小电路规模而降低功耗。
本发明的后置滤波器，是配置于在将以块为单位进行编码处理后的视频信号译码后得到的信号作为译码视频信号输出的译码电路的后级的后置滤波器，上述译码视频信号中包含的第N-1个块和第N个块夹着边界相邻接，在将位于该第N-1个的块内，最靠近该块边界的像素c的像素振幅值设定为C；将位于包含该像素c的延长线上与该像素c邻接的像素b的像素振幅值设定为B；将与该像素b邻接的像素a的像素振幅值设定为A；将位于该第N个的块内，在上述延长线上夹着边界与上述像素c邻接的像素d的像素振幅值设定为D；将与该像素d邻接的像素e的像素振幅值设定为E；将与该像素e邻接的像素f的像素振幅值设定为F时；其构成包括至少根据上述像素振幅值C及D，判定在上述块边界上是否发生块畸变而将该判定结果输出的滤波判定器；在接收到在上述块边界中发生块畸变的上述判定结果时，至少根据上述像素振幅值C及D进行对上述译码图像信号的滤波处理并将该处理结果作为显示视频信号输出的滤波器。
图1为示出本发明的实施形态1的视频信号译码装置的构成的框图。
图2为示出本发明的实施形态1的编码方式的输入信号的示图。
图3为示出本发明的实施形态1的定义块边界周围的像素值的示图。
图4为示出本发明的实施形态1的滤波判定步骤的流程图。
图5为示出本发明的实施形态1的另一滤波判定步骤的流程图。
图6为示出本发明的实施形态1的滤波器A的处理示图。
图7为示出本发明的实施形态1的另一后置滤波器构成的示图。
图8为示出本发明的实施形态2的滤波器A的处理示图。
图9为示出本发明的实施形态3的后置滤波器的构成的示图。
图10为示出本发明的实施形态3的滤波判定步骤的流程图。
图11为示出本发明的实施形态3的滤波器B的处理示图。
图12为示出本发明的实施形态5的数据表的示图。
图13为示出本发明的实施形态6的视频信号译码装置的构成的框图。
图14为示出本发明的实施形态6的后置滤波器构成的示图。
图15为示出本发明的实施形态6的另一后置滤波器构成的示图。
图16为示出本发明的实施形态6的滤波判定步骤的流程图。
图17为示出本发明的实施形态6的另一滤波判定步骤的流程图。
图18为示出本发明的实施形态7的视频信号译码装置的构成的框图。
图19为示出本发明的实施形态7的后置滤波器的构成的示图。
图20为示出本发明的实施形态7的另一后置滤波器构成的示图。
图21为示出本发明的实施形态7的滤波判定步骤的流程图。
图22为示出本发明的实施形态7的另一滤波判定步骤的流程图。
图23为示出本发明的实施形态8的视频信号译码装置的构成的框图。
图24为示出本发明的实施形态8的后置滤波器的构成的示图。
图25为示出本发明的实施形态8的另一后置滤波器构成的示图。
图26为示出本发明的实施形态8的滤波判定步骤的流程图。
图27为示出本发明的实施形态8的另一滤波判定步骤的流程图。
图28为示出本发明的实施形态9的后置滤波器的构成的示图。
图29为示出本发明的实施形态9的滤波判定步骤的流程图。
图30为示出本发明的实施形态9的滤波器A的处理的示图。
图31为示出本发明的实施形态10的定义块边界周围的像素值的示图。
图32为示出本发明的实施形态10的后置滤波器的构成的示图。
图33为示出本发明的实施形态10的滤波判定步骤的流程图。
图34为示出本发明的实施形态10的滤波器C的处理的示图。
具体实施例方式
下面根据图示的实施形态对本发明予以说明。
实施形态1图1为示出本发明的实施形态1的视频信号译码装置的构成的示意框图。另外，在本发明的各实施形态1～10中，为方便起见，描述的示例是使用MPEG4标准作为视频信号译码装置的视频压缩标准。但是，本发明的主题，如果是对以块为单位对视频信号进行编码而得到的编码视频信号进行译码的视频信号译码装置，就可以应用于全部该种装置。作为该种装置，有使用MPEG1、MPEG2、H.263等的视频压缩标准的视频信号译码装置。
如图1所示，视频信号译码装置的主要部分，大致由译码电路100和配置于其后级或输出侧的后置滤波器109构成。特别是，成为本实施形态的核心部分的后置滤波器109，除了对从译码电路100输出的译码视频信号实施特定的滤波判定之外，还对该输入译码视频信号执行减小或消除块畸变的滤波处理(插值处理)。这种后置滤波器109的功能在下面叙述。
首先，对译码电路100的构成和动作予以描述。输入缓存101，接收并存储MPEG4的基本流。此外，在输入缓存101内存储的基本流送往可变长译码器102进行可变长译码，其结果，可变长译码器102输出系数数据、运动矢量数据等数据。在可变长译码器102的输出之中，系数数据送到逆量化器103进行逆量化。于是，逆量化器103，将该输出发送给逆DCT器104作为输入。另外，逆DCT器104，进行逆DCT变换，生成并输出帧图像(帧内编码图像、帧间预测编码图像、双向预测编码图像)。其结果，此帧图像，供给进行图像合成的加法器105。另一方面，运动矢量数据，供给运动补偿器108。
在上述帧图像为帧内编码图像时，加法器105，将此帧图像原样不变作为译码视频信号输出到后置滤波器109。另一方面，在上述帧图像是帧间预测编码图像或双向预测编码图像时，运动补偿器108的输出和逆DCT器104的输出在加法器105相加，加法器105将该相加结果作为译码视频信号输出到后置滤波器109。另外，译码视频信号，也输入到译码电路100内部的前帧存储器106和现帧存储器107。
前帧存储器106，保存现在正在译码的图像的前一帧的图像，而现帧存储器107保存现在正在译码的图像。于是，前帧存储器106的输出和现帧存储器107的输出一起供给运动补偿器108的输入，在逆DCT器104的输出是帧间预测编码图像或双向预测编码图像时，在运动补偿器108中，使用前帧存储器106的输出和来自可变长译码器102的运动矢量的正向预测、使用现帧存储器107的输出和可变长译码器102的运动矢量的逆向预测、还有双向预测构成的运动补偿帧图像，输入到加法器105。
在MPEG4标准中，如图2所示，将视频信号分割为宏块，以进一步细分化的块单位进行数据压缩。因此，在对根据MPEG4标准进行数据压缩而编码的数据实施译码而得到的译码视频信号中，产生在编码前的视频信号中不存在的块的边界明显的块畸变的情况很多。因此，译码视频信号，变换为由配置于译码电路100的后级的后置滤波器109使块畸变减小或消除的显示视频信号，并且，利用显示缓存110，在变换为标准的视频信号之后，大多发送到显示装置(图中未示出的)等。
下面，对构成核心部分的后置滤波器109的构成及动作予以描述。后置滤波器109，比如，利用如图3所示的块边界中块边界前后的像素值B、C、D、E进行块畸变的判定及滤波处理。后置滤波器109，其构成包括(i)根据包含在译码视频信号中的块边界的前后的各2个像素的像素值(图3的B、C、D、E计4个像素值)，判定在块边界中是否发生块畸变并将该判定结果输出的滤波判定器111；以及(ii)在接收到来自滤波判定器111的发生块畸变的判定结果时，根据块边界的前后的各2个像素值(图3的B、C、D、E计4个像素值)，进行对译码视频信号的滤波处理并将滤波处理后的视频信号作为显示视频信号输出的(第1)滤波器(以下称其为滤波器A)112。
就是说，加法器105的输出的译码视频信号，作为滤波判定器111及滤波器A112两路输入，供给后置滤波器109。另外，关于滤波判定器111的判定方法或判定处理动作将在下面叙述。在滤波判定器111利用后述的判定方法判定为发生块畸变时，滤波判定器111，对滤波器A112，发送作为命令执行滤波处理的ON信号的控制信号。与此相对，在判定为未发生块畸变时，滤波判定器111，对滤波器A112，发送作为命令不执行滤波处理的OFF信号的控制信号。滤波器A112，对应此ON信号的命令，执行从译码视频信号中减小或消除块畸变的(第1)滤波处理(其详情后述)并将减小或消除块畸变的显示视频信号输出到显示缓存110。另一方面，在控制信号为OFF时，滤波器A112，不进行减小或消除块畸变的滤波处理，将输入的译码视频信号原样不变作为译码视频信号输出到显示缓存110。
后置滤波器109的作用，是减小或消除在块边界处发生的块畸变。此处，所谓的“块畸变”，指的是在块边界前后的像素的振幅值(以下将1个像素的振幅值称为“像素值”)之间产生的阶梯状的差别的状态。
首先，块边界的周围的像素值，即块边界的前后的各2个像素的像素值(计4个像素值)中的每一个，如图3所示，分别由某块边界紧前方的像素c的像素值C、在像素c前面一个的像素b的像素值B、在该块边界紧后方的像素d的像素值D、在像素d后面一个的像素e的像素值E定义。此处，所谓的“像素值”是亮度、色差信号或RGB值等。
在本实施形态中，为了区别在块边界中发生块畸变的场合和图像本来的边界，不是永远执行滤波处理，而是在图1所示的滤波判定器111中进行是否发生块畸变的判定。所以，滤波判定器111，利用块边界周围的像素的像素值B～E，进行边界前后的两像素值B及C之间的差是块畸变，或者不是块畸变的判定。在将原来的视频信号分割为块单位的场合，偶然，在块边界也会产生像素的值边界的场合。此时，一般，如果边界前后的两像素值的差相对很大时，就可以认为颜色有很大变化。不过，由于信息量不足而发生的块畸变，因为原来在像素值上连续变化的地方会模拟地产生边缘，可认为在成为块畸变的场合的块边界前后的两像素值差的绝对值，比原来图像具有的边界像素值的差的绝对值小。所以，着眼于这一点，滤波判定器111，在块边界前后的两像素值差的绝对值小于规定值(以下称其为“第1阈值”)的场合，可判定为存在块畸变。
在图4的流程图中示出滤波判定器111的滤波判定处理的一个示例。其中，假设用于滤波处理判定的上述第1阈值以K表示。此时，滤波判定器111，在图4的步骤201中，0＜|C-D|＜K......(1)根据式(1)给出的第1运算式，进行在该块边界上有无像素值差的判定。
当在本步骤201中确认第1运算式成立而滤波判定器111判定存在像素值差的场合，滤波判定器111还在步骤202a中B＝C且D＝E......(2)评价由式(2)给出的第2运算式是否成立可判定是否是块畸变。于是，如果确认第2运算式成立，则滤波判定器111就判定存在块畸变，对滤波器A112发送ON信号。
其中，叙述的是第1阈值K。如果偶然在块边界上像素值的边界发生重叠时，第1阈值K的值很大时，可判定块畸变一直达到此本来应该有的像素的边界。根据发明人的实验，在像素值以8bit(256等级)给出时，在设定K＝10至K＝40左右的范围内的值为阈值K的场合，可获得块畸变减小的效果，并且轮廓部的破坏少，可得到良好的结果。
滤波判定器111，如图4所示，是以式(2)(第2运算式)作为判定条件的。这是因为在编码时分配的信息量少的场合，经过译码的块，块边界周围的信息欠缺的可能性高，在成为块畸变的场合大致为满足式(2)的场合之故。另一方面，在满足式(1)而不满足式(2)的场合，这大致是包含在原来的视频信号中的像素边界的场合。比如，条纹模样的场合。由于这一效果，可以提高块畸变判定的精度。另外，图4所示的式(1)和式(2)的判定顺序或步骤201、202a也可以更换。
这样，根据式(2)的成立判定存在块畸变，即检出阶梯状的变化，是非常有效的。
在上述的描述中，用于检出阶梯状的变化的判断，是借助式(2)进行的，但既然像素值是数字值，就存在以1个等级之差判定在像素值上存在差值的问题。所以，将式(2)置换为式(3)的形式也是可能的。在此场合，式(3)定义为第2运算式。
|B-C|＜L且|D-E|＜L......(3)但是，式(3)中的第2阈值L与第1阈值K相比，是很小的值，比如，使L＝2。发明人的实验表明，对式(2)这样置换，发明的效果也不变。使用式(1)和式(3)时的流程图示于图5。图5为示出图4的流程图的步骤202a变成为步骤202这一点的差别。
下面对滤波器A112的滤波处理的具体例予以说明。其中，滤波器A112具有的滤波处理，如图6所确定的。即图6所示的滤波处理，是利用式(4)的直线插值。
Y＝|B-E|/3×x+(C+D)/2......(4)如图6所示，滤波器A112，是对像素值B、C、D、E进行直线插值的滤波器。其中，Y对应于新的像素值。即对应于图6的C1、D1，在x＝-0.5时，Y＝C1，而在x＝0.5时，Y＝D1。
如以上这样，在本实施形态中，利用块边界的前后的各2个像素(计4个像素的量)的像素值，通过(I)从是否是阶梯状和像素值的差的大小判定有无块畸变，和(II)再对边界部的各1个像素的像素值C、D直线插值实行校正而进行滤波处理。由于是这样的构成，根据本实施形态，可以获得运算量少而图像劣化小的后置滤波器。
下面利用表1及表2对在本实施形态中说明的滤波器的实测值予以说明。表1示出的是进行滤波处理时间的计测的环境，并且使用的是MPEG4和画面尺寸QVGA(320像素×240行)。表2示出的是计测时间。另外，在表2的计测时间中包含利用位速率为384kbps帧速率为15fps的译码时间。
由表2可知，2像素判定·2像素滤波，与现有例相比远远为少的时间就已足够。另外，与没有滤波器的场合比较，可看到画质改善有很大的效果。
计测环境
计测时间
单位ms
另外，在本实施形态中，将滤波判定器111发出的ON/OFF信号对滤波器A112输出，根据接收到的信号判定在滤波器A112中的滤波处理的有无，但也可如图7所示的构成，在滤波器A112中进行滤波处理，并根据滤波判定器111发出的切换信号，或是选择滤波器A112的输出，或是选择译码视频信号115两者之一。在以下的实施形态中也可以采用如图7所示的后置滤波器109的构成。
实施形态2本实施形态2是对实施形态1的滤波器A112的校正方法进行改善的结果，在其他方面没有不同。所以，在本实施形态中，也援用图1至图5。就是说，本实施形态的特征在于，如图8所示，对于块边界的前后的各2个像素(计4个像素值)的像素值是通过进行利用规定的函数的平滑插值处理而对块边界的前后各2个像素值进行平滑插值这一点变更。
此处，在图8中，利用式(5)及式(6)进行插值。
Y＝(C+D)/2+((B-E)×(1-2^(λx)) (x＞0)......(5)Y＝(C+D)/2-((B-E)×(1-2^(λx)) (x＜0)......(6)其中，在式(5)及式(6)中是利用2的幂，无论是自然数，或是有理数、无理数的幂都可以。但是，必须是大于0的数。
f(x)＝(1-2^(λx))......(7)m(x)＝K/3x......(8)|m(x)-f(x)|＞0(x≤|1.5|)......(9)
式(5)及式(6)的一部分，如式(7)那样定义。另外，如实施形态1进行直线插值时的插值直线的最大斜率为滤波判定值K/3，定义式(8)。此时，式(7)，是通过原点的单调增的函数并且最好是式(9)。如果设计满足这些条件，就可以设定实施形态2的滤波器A112的插值式。就是说，实施形态2的滤波器A112的插值式也可以由下面的式(10)及式(11)给出。
Y＝(C+D)/2+((B-E)×(1-exp(λx)) (x＞0)......(10)Y＝(C+D)/2-((B-E)×(1-exp(λx)) (x＞0)......(11)式(5)、式(6)、式(7)、式(10)及式(11)中的λ，必须满足式(9)，根据发明人的实验，了解到最好在λ＝0.1至0.01左右的范围内设定λ值。
采用这种构成，就可以进行平滑的块边界插值处理(平滑插值处理)(参照图8所示的4个校正后的像素值B1～E1)，画质可以提高。而且，无需改变图5所示的后置滤波器109的判定流程就可以简单易行地进行滤波器的画质调整。
实施形态3实施形态3的特征在于，对实施形态1或2的视频信号译码装置的后置滤波器109内的判定是否进行滤波处理的流程(参照图5)进行变更这一点。所以，在本实施形态中，也援用图1的两个电路100及110的构成和动作。
此处，后置滤波器109的构成，代替图1的是如图9所示。就是说，在图9中，后置滤波器109，其构成包括(i)对应接收到的滤波判定器111a输出的ON信号，根据块边界的前后的各2个像素值，进行对于译码视频信号的第1滤波处理的滤波器A112；以及(ii)对应接收到的滤波判定器111a输出的ON信号，根据块边界的前后的各2个像素值，进行对于译码视频信号的第2滤波处理的滤波器B113。在这些滤波器中，滤波器A112与实施形态1的滤波器A(图1)相当。所以，可以说增加滤波器B113是本实施形态的特征。因此，后置滤波器109，还包括对应滤波判定器111a输出的切换信号对第1及第2滤波器112、113的输出进行切换的切换器114。详细情况如下。
首先，从加法器105输出的译码视频信号，输入到滤波判定器111a、滤波器A112及滤波器B113。另外，关于滤波判定器111a的判定方法在下面叙述。
(I)在滤波判定器111a，根据输入译码视频信号，判定发生块畸变的场合，滤波判定器111a，一方面，对滤波器A112，输出指示进行该滤波处理的滤波动作的ON信号(控制信号)，另一方面，向滤波器B113发送不进行该滤波处理的滤波OFF信号(控制信号)。与此同时，滤波判定器111a，将指示把滤波器A112的输出作为显示译码视频信号进行输出的切换信号发送到切换器114。其结果，切换器114，切换到滤波器A112的输出侧。这样，经过减小或消除块畸变的显示译码视频信号，经过滤波器A112的输出端及切换器114输出到显示缓存110。
(II)另一方面，在滤波判定器111a根据输入译码视频信号判定发生块畸变的场合，滤波判定器111a，向滤波器A112发送指示不进行该滤波处理的OFF信号，反之，在向滤波器B113发送指示进行该滤波处理的ON信号的同时，将指示把滤波器B113的输出作为最终译码视频信号输出的切换信号发送到切换器114。其结果，切换器114，将该切换端子切换到滤波器B113的输出端一侧。于是，译码视频信号，在利用滤波器B113实施第2滤波处理之后，作为显示视频信号，发送到显示缓存110。
(III)与此相对，在滤波判定器111a判定未发生块畸变的场合，滤波判定器111a，分别向滤波器A112和滤波器B113发送滤波OFF信号，将切换器114切换到滤波器A侧。在此场合，切换器114，即使是将滤波器A112及滤波器B113任何一个的输出端与其输出端相连接，因为滤波器A112及滤波器B113的任何一侧都不进行滤波处理，具有与输入后置滤波器109时的同样内容的译码视频信号，原样不变作为切换器114的输入给出。所以，在不进行滤波处理时，译码视频信号原样不变作为显示译码视频信号发送到显示缓存110。另外，图9所示的后置滤波器，也可以，如图7所示，或是选择滤波器A112的输出，或是选择滤波器B113的输出，会是选择译码视频信号115的某一个的构成。
图10为示出滤波判定器111a的滤波判定动作的流程图。首先，当滤波判定器111a，在步骤201中，判定块边界像素C、D不满足式(1)时，不把该块边界像素C、D之间的差值看作是块畸变，其结果，判定不进行滤波处理，向两个滤波器112、113发送OFF信号。在此场合，如上所述，滤波判定器111a输出的切换信号，无论是指示两个滤波器112、113的输出的哪一个，结果都一样。
其次，当滤波判定器111a，在步骤202中，判定该块边界像4素值B、C、D、E满足式(1)且不满足式(3)时，重新决定在滤波器B113中进行第2滤波处理，在只向一方的滤波器B113发送滤波ON信号的同时，也输出指示切换到向滤波器B113输出的切换信号。另外，关于滤波器B113的滤波处理，在下面叙述。与此相对，当该块边界4像素值B、C、D、E同时满足式(1)和式(3)时，滤波判定器111a，判定并决定在滤波器A112中执行同样的第1滤波处理的意旨，将为此已描述的滤波ON信号、滤波OFF信号、切换信号分别发送到滤波器A112、滤波器B113及切换器114。
在图10的步骤205中，滤波器B113，进行图11举例示出的那样的滤波处理。此滤波处理，是由式(5)及式(6)或式(10)及式(11)给出的插值处理。其中，这些函数，最好是满足在实施形态2中所述的条件的函数。但是，在实施形态3中，滤波器A112及滤波器B113一起利用同样的函数执行插值处理。就是说，当在滤波器A112中利用式(5)及式(6)进行第1滤波处理的场合，在滤波器B113中也执行由式(5)及式(6)规定的第2滤波处理。
利用这样的构成，可以使在块边界上的处理更平滑地进行，可更进一步提高画质。而且，因为在后置滤波器109的判定流程中并不大量增加运算量(参照图10)，所以可以获得只借助少量增加运算量就可以实现滤波器性能的更进一步的提高的优点。
实施形态4实施形态4的特征在于，作为实施形态3的滤波器A112、滤波器B113的函数，互相使用另外的函数这一点。
比如，在滤波器A112中使用式(5)及式(6)，而在滤波器B113中使用式(10)及式(11)。或者，其使用关系相反也可以。
借助这样的构成，对滤波器就可灵活进行设计。就是说，滤波器112进行的处理和滤波器113进行的处理，相同也好，不同也好，互相的处理内容是独立的关系。
实施形态5实施形态5的特征在于，后置滤波器109中的滤波器，具有“在滤波处理中使用的运算式内，针对将块边界的前后的各2个像素值的各个的位置数据作为变量的函数式，由对各位置数据每个预先计算的4值构成的数据表”，通过将此数据表与每个位置数据进行参照，执行该滤波处理这一点。就是说，实施形态5的特征是将实施形态1至4的任何一个的滤波处理的运算都参照表进行简化这一点。
x＝“{-1.5、-0.5、0.5、1.5}......(12)在实施形态1至4各个之中，因为自块边界算起的距离x，如式(12)那样固定，可以预先计算有关在滤波处理中使用的运算式内关于自块边界算起的距离x的项(f(x))，将该距离x每一个的算出值作为表数据而构成。如果将这样的表数据预先存储于滤波器A112、滤波器B113内，该滤波器，在执行该滤波处理之际，通过参照上述表内的数据，可以不必另行执行针对该距离x的项f(x)的运算，只借助与距离x无关的其他的运算部分，即像素值的差等的和差积的运算就可以进行滤波处理。比如，在利用式(5)及式(6)的场合，式(7)的一部分排列成表(表化)，该表的构成如图12所示。另外，在图12中，是将在设式(7)中的λ＝0.1并且式(7)的运算结果在小数点第3位四舍五入而得到的值作成的表数据。另外，因为像素值是正数，在图12的表中，使用了小数，但因为一般进行滤波处理的运算装置具有位移位功能，也可以将图12的表的值乘以2的幂，通过对最终运算结果进行位移位而求出。另外，在将本实施形态应用于实施形态1中，式(4)的函数部分f(x)＝x/3的各个距离每一个的数据都被表化。
因为利用这种参照表的构成，可减少滤波器内的滤波处理时的运算量，由于由CPU等构成的滤波器内的运算部的负担减轻，功耗可减小。并且，运算量减小的优点也对电路小规模化有贡献。
实施形态6实施形态6的特征在于，滤波判定器，是根据译码电路输出的编码参数设定阈值这一点。
就是说，在实施形态1至5的各个形态之中，用于滤波处理判定的阈值K是在译码之前决定的固定值。与此相对，在实施形态6中，利用图13的框图所示的构成，从可变长译码器102a向后置滤波器109a以编码参数作为输入供给的方式扩展。其中，所谓的编码参数，是在将视频信号，比如，以MPEG4的方式进行编码的场合，将特征赋予该编码步骤的量。在编码参数中，有量化参数Qp、内块/间块比率等。其中，所谓的内块/间块比率，是将宏块作为内宏块进行编码的数和以间宏块进行编码的个数的比，说内块/间块比率大时，是内块多，此时编码量多。就是说，内块/间块比率也可以作为对编码赋予特征的量处理。以下，为叙述方便起见，使用量化参数Qp(以下称其为Qp)作为编码参数的一个例子。另外，在MPEG4中，Qp可在1～31之间的范围内取值。
Qp大时，在利用编码器量化的场合，该编码量小。在分配的编码量小的场合，如进行译码，发生块畸变的可能性非常大。另一方面，在Qp小时，在利用编码器量化时，其编码量变大，很难发生块畸变。
就是说，通过相应于Qp对滤波判定阈值进行控制，可自适应地应用后置滤波器。图14及图15示出后置滤波器109a的构成。这些构成例，分别是对图1至图9的滤波判定器111或滤波判定器111a，将编码参数作为新输入供给。滤波判定器111b或111c的滤波判定流程图分别示于图16及图17。
在图16或图17的一例中，实施形态1至实施形态5各个式(1)，由式(13)置换。
0＜|C-D|＜Qp......(13)借助这样的变更，可实现与编码量符合的自适应性的滤波处理。
另外，图14所示的后置滤波器，如图7所示，其构成为也可以选择来自滤波器A112的输出、或译码视频信号115的某一个，并且，图15所示的后置滤波器，其构成为也可以选择来自滤波器A112的输出、滤波器B113的输出或译码视频信号115的某一个。
实施形态7实施形态7的特征在于，滤波判定器，是根据从外部输入的控制值，设定既述的阈值这一点。所谓的从外部输入到控制值，比如，是由用户设定的值等等。
就是说，在实施形态1至5的各个形态之中，用于滤波处理判定的阈值K是在译码之前决定的固定值。与此相对，在实施形态7中，此第1阈值K，可根据从外部输入的控制值进行改变。
在图18中示出实施形态7的整体构成。其中的后置滤波器109b，接受新来自从外部的控制。后置滤波器109b的详细构成在图19或图20中示出。这些构成例，分别是对图1或图9的滤波判定器111或滤波判定器111a，将来自外部的控制作为新输入供给。
将此来自外部的控制量定义为外部控制值α。另外，将新滤波阈值定义为阈值Th_i。
Th_i＝K+α......(14)Th_i＝α......(15)作为基于外部控制值α的滤波阈值的更新方法，比如，可应用式(14)或式(15)。其中，在式(14)中，外部控制值α的作用是对原本作为固定值确定的阈值K进行调整。另一方面，在式(15)中，外部控制值α的作用是将原本的固定值K进行置换。另外，滤波判定器，也可以另外使用这些式(14)和式(15)，或是也可以针对其不同的时候将两式(14)和式(15)组合使用。
关于新的滤波阈值Th_i，滤波判定器111d或滤波判定器111e的各滤波判定流程图示于图21或图22。在图21或图22的各个之中，步骤201b运算式，是以式(16)代替实施形态1至实施形态5的各个式(1)。
0＜|C-D|＜Th_i......(16)通过这样的构成，根据从外部输入的控制值，可在变更阈值的同时执行滤波控制。并且，因为可由用户设定外部控制值，也可以按照用户的喜好进行滤波处理。
另外，图19所示的后置滤波器，如图7所示，其构成为也可以选择来自滤波器A112的输出、或译码视频信号115的某一个，并且，图20所示的后置滤波器，其构成为也可以选择来自滤波器A112的输出、滤波器B113的输出或译码视频信号115的某一个。
实施形态8
实施形态8的特征在于，滤波判定器，是根据作为译码电路的输出的编码参数及从外部输入的控制值，设定阈值这一点。
就是说，如前所述，在实施形态6中，是使用编码参数作为阈值。本实施形态，可以按照此编码参数，接受来自外部的控制，改变阈值。
在图23中示出实施形态8的整体构成。其中的后置滤波器109c，为了滤波阈值控制，接受来自可变长译码器102a的编码参数作为输入。后置滤波器109c的构成在图24或图25中示出。这些构成例，分别是对图1或图9的滤波判定器111或滤波判定器111a，将编码参数和来自外部的控制值作为用于决定阈值的新输入供给。
于是，在将上述来自外部的控制信号定义为外部控制值β的同时，将新滤波阈值定义为阈值Th_k。为方便起见，在以下的叙述中，采用Qp作为编码参数。
Th_k＝Qp+β......(17)滤波阈值Th_k，根据式(17)定义。按照此式(17)的阈值设定，意味着对于以Qp值为基础进行自适应性滤波处理，可以控制β值作为偏置进行滤波控制。
关于新的滤波阈值Th_k，滤波判定器111f或滤波判定器111g的进行滤波判定处理流程图分别示于图26或图27。在图26或图27的各步骤201c，相当于实施形态1至5的各个式(1)由式(18)置换而成的结果。
0＜|C-D|＜Th_k......(18)通过这样的构成，可在不损害自适应性进行滤波控制的同时，也可以按照用户的喜好进行滤波处理。
另外，图24所示的后置滤波器，如图7所示，其构成为也可以选择来自滤波器A112的输出、或译码视频信号115的某一个，并且，图25所示的后置滤波器，其构成为也可以选择来自滤波器A112的输出、滤波器B113的输出或译码视频信号115的某一个。
实施形态9在实施形态1至8中，说明的是在滤波判定器中，使用块边界的前后各2个像素实施块畸变的判定的示例，在本实施形态中，对使用块边界的前后的各1个像素实施块畸变的判定的场合予以说明。
考虑块边界的各1个像素是图3的像素值C、D。并且，后置滤波器109的构成例示于图28。图28所示的后置滤波器，是在图1的滤波判定器111中，按照图29所示的流程图进行滤波判定处理的后置滤波器。所以，图29，是示出滤波判定器111h的判定处理动作的流程图。滤波判定器111h，在步骤201中像素值C、D满足式(1)的场合，判定发生块畸变时，就输出用来让滤波器A112进行滤波处理的信号，并在步骤203中由滤波器A112进行滤波处理。另一方面，在步骤201中像素值C、D不满足式(1)的场合，判定未发生块畸变，就不由滤波器A112进行滤波处理。
就是说，图29所示的流程图，是在图4所示的流程图中省略了步骤202的流程图。在步骤203的滤波处理中，使用应用像素值C和像素值D的式(19)。
Y＝(C+D)/2......(19)利用式(19)的插值处理如图30所示。
这样，在借助块边界的各1个像素值进行的滤波处理的场合，也可实现判定处理简洁，运算迅速，块畸变减少。就是说，在强烈要求电路规模小规模化及削减功耗的场合，最好采用本实施形态这种后置滤波器。
另外，图28所示的后置滤波器，如图7所示，其构成为也可以选择来自滤波器A112的输出、或译码视频信号115的任何一个。另外，在本实施形态中，说明的是在步骤201中采用阈值K的场合，但也可以采用Th_i、Th_k、量化参数Qp作为阈值。
实施形态10在实施形态9中，对使用块边界的前后的各1个像素实施块畸变的判定的场合予以说明，在本实施形态中，对使用块边界的前后的各3个像素实施块畸变的判定的场合予以说明。
考虑块边界的各3个像素是图31的像素值A、B、C、D、E、F。并且，后置滤波器109的构成例示于图32。图32所示的后置滤波器，是在图1的滤波判定器111中，按照图33所示的流程图进行滤波判定处理的后置滤波器。所以，图33，是示出滤波判定器111i的判定处理动作的流程图。
滤波判定器111i，在步骤201中像素值C、D满足式(1)的场合，将该块边界像素值C、D间的差看作块畸变。所以，在滤波器A112、滤波器B113、滤波器C116某一个之中进行滤波处理。另一方面，在步骤201中像素值C、D不满足式(1)的场合，判定未发生块畸变，就不进行滤波处理。而在步骤201中判定发生块畸变的场合，就进入到步骤206，按照式(20)对像素值A、B及C的各个的关系，以及像素值D、E、F的各个的关系进行判定。
|A-B|＜L且|B-C|＜L且|A-C|＜L且|D-E|＜L且|E-F|＜L且|D-F|＜L......(20)因为在判定满足式(20)的场合，可认为从像素a到像素c，及从像素d到像素f的块畸变存在，就进入到步骤207，按照式(21)决定像素值B、C、D及E。
Y＝|A-F|/5×x+(A+F)/2......(21)
在图34中示出按照式(21)决定的像素值B、C、D及E。另外，式(21)中的Y对应于新像素值。即是与图34中的B1、C1、D1、E1相对应的，x＝-1.5时Y＝B1；x＝-0.5时Y＝C1；x＝0.5时Y＝D1；而x＝1.5时Y＝E1。
在步骤206中，在不满足式(21)的场合，进入到步骤202，按照式(3)对像素值B、C的关系，以及像素值D、E的关系进行判定。
因为在判定满足式(3)的场合，可认为像素b、c和像素d、e产生的块畸变存在，就进入到步骤203，按照式(4)决定像素值C、D。
因为在步骤202中，在不满足式(3)的场合，可认为块畸变只存在于像素C及像素D中，就进入到步骤205，按照式(19)决定像素值C、D。
这样，在利用块边界的前后的各3个像素进行滤波处理的场合，因为可与很多现象相对应，块畸变的误判减少，并且，由于可处理3种滤波处理，可以得到高品质的图像。就是说，在强烈要求特别高画质的场合，最好采用本实施形态这种后置滤波器。
另外，图32所示的后置滤波器，如图7所示，其构成为也可以选择来自滤波器A112的输出、来自滤波器B113的输出或译码视频信号115的某一个。
此外，在本实施形态中，说明的是在步骤201中采用阈值K的场合，但也可以采用Th_i、Th_k、量化参数Qp作为阈值。
另外，说明的是在步骤203、207中进行直线插值处理的场合，但也可以进行在实施形态2中说明的平滑插值处理。
以上对本发明的实施形态进行了详细的揭示和描述，但以上的描述只是本发明的可能应用的局面的例示，本发明并不限定于此。就是说，在不脱离本发明的范围内，可以考虑对所描述的局面可能有种种的修正及变形例。
本发明的后置滤波器，是配置于在将以块为单位进行编码处理后的视频信号译码后得到的信号作为译码视频信号输出的译码电路的后级的后置滤波器，
上述译码视频信号中包含的第N-1个块和第N个块夹着边界相邻接，在将位于该第N-1个的块内，最靠近该块边界的像素c的像素振幅值设定为C；将沿着一定方向上与该像素c邻接的像素b的像素振幅值设定为B；将与该像素b邻接的像素a的像素振幅值设定为A；将位于该第N个的块内，在沿着上述一定方向夹着上述边界与上述像素c邻接的像素d的像素振幅值设定为D；将与该像素d邻接的像素e的像素振幅值设定为E；将与该像素e邻接的像素f的像素振幅值设定为F时；其构成包括至少根据上述像素振幅值C及D，可判定在上述块边界上是否发生块畸变而将该判定结果输出的滤波判定器；在接收到在上述块边界中发生块畸变的上述判定结果时，至少根据上述像素振幅值C及D进行对上述译码图像信号的滤波处理并将该处理结果作为显示视频信号输出的滤波器。由此，可以无须采用复杂的运算就可以进行后置滤波器处理。并且，由于可使这样的运算简化，也可以得到削减功耗以及缩小电路规模的效果。
权利要求
1.一种后置滤波器，是配置于在将以块为单位进行编码处理后的视频信号译码后所得到的信号作为译码视频信号输出的译码电路的后级的后置滤波器，其特征在于上述译码视频信号中包含的第N-1个块和第N个块夹着块边界相邻接，在将位于该第N-1个的块内，最靠近该块边界的像素c的像素振幅值设定为C；将位于包含该像素c的延长线上与该像素c邻接的像素b的像素振幅值设定为B；将与该像素b邻接的像素a的像素振幅值设定为A；将位于该第N个的块内，在上述延长线上夹着上述块边界与上述像素c邻接的像素d的像素振幅值设定为D；将与该像素d邻接的像素e的像素振幅值设定为E；将与该像素e邻接的像素f的像素振幅值设定为F时，该后置滤波器的构成包括，至少根据上述像素振幅值C及D，判定在上述块边界中是否发生块畸变并将该判定结果输出的滤波判定器；在接收到在上述块边界中发生块畸变的上述判定结果时，至少根据上述像素振幅值C及D对上述译码图像信号进行滤波处理并将该处理结果作为显示视频信号输出的滤波器。
2.如权利要求1所述的后置滤波器，其特征在于在将第1阈值设定为K时，滤波判定器，在以下的条件(i)成立时判定有块畸变发生(i)0＜|C-D|＜K。
3.如权利要求2所述的后置滤波器，其特征在于在将第2阈值设定为L时，滤波判定器，还在条件(ii)成立时判定有块畸变发生(ii)|B-C|＜L且|D-E|＜L。
4.如权利要求3所述的后置滤波器，其特征在于条件(ii)是以下的条件(iii)(iii)|A-B|＜L且|B-C|＜L且|A-C|＜L且|D-E|＜L且|E-F|＜L且|D-F|＜L。
5.如权利要求2至4中任何一项所述的后置滤波器，其特征在于第1阈值K，为像素振幅值取得的最大值的约4％至16％。
6.如权利要求2至4中任何一项所述的后置滤波器，其特征在于滤波判定器，根据译码电路输出的编码参数和/或从外部输入的控制值，设定第1阈值和/或第2阈值。
7.如权利要求1所述的后置滤波器，其特征在于滤波器，根据像素振幅值C及D，输出像素c及d的新像素振幅值。
8.如权利要求1所述的后置滤波器，其特征在于滤波器，根据像素振幅值B、C、D及E，输出像素c及d的新像素振幅值。
9.如权利要求1所述的后置滤波器，其特征在于滤波器，根据像素振幅值A、B、C、D、E及F，输出像素b、c、d及e的新像素振幅值。
10.如权利要求1所述的后置滤波器，其特征在于滤波器为多个，其构成还包括根据判定结果，将该多个滤波器的某一个的输出作为显示视频信号输出的切换器。
11.如权利要求10所述的后置滤波器，其特征在于各滤波器的滤波处理内容互相独立。
12.如权利要求11所述的后置滤波器，其特征在于滤波器，具有针对各像素的位置的数据表，参照该数据表执行滤波处理。
13.一种后置滤波处理方法，是将以块为单位进行编码处理后的视频信号译码后所得到的信号作为译码视频信号输出的译码步骤之后进行的后置滤波处理方法，其特征在于上述译码视频信号中包含的第N-1个块和第N个块夹着块边界相邻接，在将位于该第N-1个的块内，最靠近该块边界的像素c的像素振幅值设定为C；将位于包含该像素c的延长线上与该像素c邻接的像素b的像素振幅值设定为B；将与该像素b邻接的像素a的像素振幅值设定为A；将位于该第N个的块内，在上述延长线上夹着上述块边界与上述像素c邻接的像素d的像素振幅值设定为D；将与该像素d邻接的像素e的像素振幅值设定为E；将与该像素e邻接的像素f的像素振幅值设定为F时，该方法包括，至少根据上述像素振幅值C及D，判定在上述块边界中是否发生块畸变并将该判定结果输出的滤波判定步骤；在接收到在上述块边界中发生块畸变的上述判定结果时，至少根据上述像素振幅值C及D对上述译码图像信号进行滤波处理并将该处理结果作为显示视频信号输出的滤波步骤。
14.如权利要求1所述的上述后置滤波器，其特征在于其构成还包括译码电路。
全文摘要
本发明涉及后置滤波器及后置滤波器处理方法以及视频信号译码装置。滤波判定器(111)利用块边界的前后的至少各1个像素的振幅值，判定在块边界是否发生块畸变，并将判定结果输出到滤波器(112)。在接收到在块边界发生块畸变的判定结果时，滤波器(112)利用块边界的前后的至少各1个像素的振幅值，对译码视频信号进行译码处理并将处理结果作为显示视频信号输出。由此可减少运算量，减小电路规模和降低功耗。
文档编号H04N5/00GK1578391SQ20041004767
公开日2005年2月9日 申请日期2004年5月28日 优先权日2003年6月27日
发明者福田智教, 幡野喜子, 篠原顺子 申请人:三菱电机株式会社