专利名称：图像噪声去除方法
技术领域：
本发明涉及在将被以区块为单位压缩编码过的图像译码时产生的区块噪声及蚊式噪声等的图像噪声去除方法。
背景技术：
作为高效率的图像数据的压缩方式，一般来说有利用正交变换编码来实现高压缩的方法。如果对该方法进行简单说明，则首先利用区块化电路将输入图像信号例如分割为8×8像素的区块尺寸的区块，用正交变换电路对所分割的区块实施正交变换，生成频率成分信号，然后利用量子化电路，以给定的量子化步长对正交变换数据进行线性量子化，此后，利用可变长度编码电路将量子化结果分配为可变长度代码，生成编码图像信号。作为正交变换，有离散傅立叶变换、沃尔什-阿达玛变换(Walsh-Hadamardtransform)、卡尔胡宁-勒夫变换(Karhunen-Loeve transform)、离散余弦变换(DCT)等，而DCT是最为普及的正交变换。
另一方面，在用于从用所述压缩编码装置生成的编码图像信号中生成与输入图像信号对应的再生图像信号的译码装置中，利用可变长度译码电路对编码图像信号进行可变长度译码，然后利用逆量子化电路以给定的量子化步长进行逆量子化，此后，利用逆正交变换生成再生图像信号。
在这里，由于正交变换及量子化为非可逆变换，故利用译码装置得到的再生图像信号含有误差，特别是由量子化·逆量子化造成的量子化误差会成为再生图像的图像质量恶化的原因。量子化步长越大(即压缩率越高)，量子化误差就越大，再生图像信号的图像质量恶化就越明显。作为这样的正交变换中所特有的图像质量恶化，有因以区块为单位进行编码·译码而在区块间的边界处产生不连续性而呈现出马赛克状态的区块噪声(blocknoise)、在图像中的轮廓的周围成烟雾状地会集了大群蚊子那样的蚊式噪声(mosquito noise)。
这些图像噪声通常是通过对图像数据进行滤波处理，使之平滑化而除去的(专利文献1～5)。但是，该图像噪声除去处理由于在某种意义上是损害原图像的处理，因此多少会产生图像质量的降低(模糊不清)这样的副作用。因此，滤波处理中的图像噪声的除去程度一般来说设定为使由滤波处理获得的图像噪声的除去效果和由滤波处理获得的图像质量降低的影响平衡。
特开平8-205157号公报[专利文献2]特开平9-186993号公报[专利文献3]特开平10-191335号公报[专利文献4]特开平10-164576号公报[专利文献5]特开平11-317943号公报但是，在使用照片处理装置进行照片打印，或者使用喷墨记录方式或热复制记录方式的打印机进行印刷等，向输出介质输出图像之际，适当地选择所谓的L版、2L版、4L版等各种的输出尺寸，根据与所选择的输出尺寸，对图像数据实施放大/缩小处理。虽然该放大/缩小处理是通过对各像素及其附近的像素的图像数据实施给定的运算(一种滤波处理)而进行的，但是由于图像噪声去除处理和放大/缩小处理是目的完全相互不同的独立的处理，因此一直以来并未特别考虑两者的合并。
但是，当观察输出介质时，通常与输出尺寸对应，观察距离有所不同。更具体来说，输出尺寸越小，则观察距离就越近，输出尺寸越大，则观察距离就越远。例如，对于L版的输出介质和4L版的输出介质，4L版的输出介质的一方与L版的输出介质相比，就被在更远的位置观赏。
即，如上所述，在无论输出尺寸如何都进行一样的滤波处理的现有的图像噪声去除方法(即预想了一定的观察距离的现有的图像噪声去除方法)中，对于小的输出尺寸，通过使观察距离变近，从而图像噪声的去除的程度有看上去增强(即图像看上去模糊)的倾向，另一方面，对于较大的输出尺寸，通过使观察距离变远，从而图像噪声的去除的程度就有看上去减弱(即，图像噪声看上去并未被充分地去除干净)的倾向，从而有如下的问题，即，虽然是相同的图像，但是如果输出尺寸不同，则观察效果也不同。
发明内容
所以，本发明是鉴于所述问题而完成的，其目的在于，提供一种图像噪声去除方法，即在观察输出介质时，无论其输出尺寸如何，图像噪声的去除的程度的表观效果都相同。
为了解决上述问题，本发明的图像噪声去除方法，是通过使用了平滑化滤波器的滤波处理，将在对以区块为单位压缩编码过的图像进行译码时产生的区块噪声及蚊式噪声等图像噪声去除的图像噪声去除方法，其特征在于，如果向印相纸、打印机用纸等输出介质输出图像时的该图像的输出尺寸或放大率变大，则按照使滤波处理中的图像噪声的去除的程度增强的方式，根据图像的输出尺寸或放大率，使滤波处理中的图像噪声的去除的程度连续地或阶段性地变化。
根据由上述构成形成的图像噪声去除方法，对于小的输出尺寸或放大率，按照使图像噪声的去除的程度减弱的方式进行滤波处理，这样，由于利用随着观察距离变近而使图像噪声的去除的程度看上去增强这样的视觉性作用来补偿，故实际上图像噪声的去除的程度看上去是合适的。另一方面，对于大的输出尺寸或放大率，按照使图像噪声的去除的程度增强的方式进行滤波处理，这样，由于利用随着观察距离变远而使图像噪声的去除的程度看上去减弱这样的视觉性作用来抑制，故实际上图像噪声的去除的程度看上去是合适的。
在这里，作为使滤波处理中的图像噪声的去除的程度变化的方法，可以采用改变平滑化滤波器的滤波系数的方法、改变平滑化滤波器的滤波器尺寸的方法。即，对于小的尺寸或放大率，使滤波系数或滤波器尺寸缩小，另一方面，对于大的输出尺寸或放大率，则使滤波系数或滤波器尺寸增大。而且，由于滤波系数既可以连续地变化也可以阶段性地变化，故可以使滤波处理中的图像噪声的去除的程度连续地或阶段性地变化，但由于滤波器尺寸只能取整数，故只能使之阶段性地变化，因此可以仅使滤波处理中的图像噪声的去除的程度阶段性地变化。
另外，更理想的是，本发明的图像噪声去除方法是一种在以区块为单位压缩编码过的图像进行译码时产生的区块噪声及蚊式噪声的图像噪声去除方法，其中具备将图像数据的亮度成分图像数据及色差成分图像数据各自分割为与编码·译码相同的区块，对亮度成分图像数据，将区块间的边界处的各个像素作为关注像素而进行第1滤波处理，做成将区块间的边界平滑化了的第1亮度成分图像数据的工序；将该第1亮度成分图像数据的各个像素作为关注像素进行第2滤波处理，做成将整体平滑化了的第2亮度成分图像数据的工序；做成将第1亮度成分图像数据的各个像素值减去了第2亮度成分图像数据的各个像素值的边缘图像数据的工序；做成根据给定条件对该边缘图像数据的各个差值进行过修正的修正边缘图像数据的工序；做成在第2亮度成分图像数据的各个像素值上相加了修正边缘图像数据的各个修正值的第3亮度成分图像数据的工序；并具备对于色差成分图像数据，将该色差成分图像数据的各个像素作为关注像素而进行第3滤波处理，做成将整体平滑化了的第1色差成分图像数据的工序；通过改变所述第2滤波处理中使用的平滑化滤波器的滤波系数或滤波器尺寸，从而改变第2滤波处理中的图像噪声的去除的程度。
根据由上述构成形成的图像噪声去除方法，做成第1亮度成分图像数据的工序是由亮度差引起的区块噪声去除处理，做成第3亮度成分图像数据的工序是由亮度差引起的蚊式噪声去除处理。此外，做成第1色差成分图像数据的工序是由色差引起的区块噪声去除处理，并且是由色差引起的蚊式噪声去除处理。
先进行区块噪声去除处理是因为蚊式噪声去除处理是一种淡化处理，若先进行该蚊式噪声去除处理，则区块噪声就会整体上减弱，从而难以在其后的区块噪声处理中进行仅针对区块噪声的去除。
另外，在蚊式噪声去除处理中，并不是仅停留于做成第2亮度成分图像数据的工序，而是将由边缘图像数据做成的修正边缘图像数据与第2亮度成分图像数据合成而做成第3亮度成分图像数据，这是因为通过在亮度变弱的第2亮度成分图像数据上合成修正边缘图像数据，从而可以使亮度差大的轮廓不会产生很大的淡化，而仅对细微的亮度差进行淡化，即，可以不产生图像质量恶化地去除蚊式噪声。
此外，将第3亮度成分图像数据和第1色差成分图像数据作为最终的输出(output)。这样，在区块噪声去除处理中，由于预先分割为多个区块，将区块间的边界平滑化，故不会将图像中的轮廓与区块间的边界弄错而进行区块噪声去除处理，从而可以不产生图像质量恶化地适当地去除区块噪声。另外，在蚊式噪声去除处理中，并不是用单纯的亮度淡化处理来结束，而是通过对将其亮度淡化了的图像数据施加修正，从而可以不产生图像质量恶化地适当地去除蚊式噪声。因此，可以不产生图像质量恶化地将区块噪声和蚊式噪声双方适当地去除。而且，是对亮度成分图像数据及色差成分图像数据分别进行各自的处理，在这一点上，可以期待更为可靠的图像噪声去除。另外，由于根据图像的输出尺寸或放大率，使第2滤波处理中的图像噪声的去除的程度连续地或阶段性地变化，因此如上所述，无论输出尺寸或放大率如何，都会适当地显现出图像噪声的去除的程度。
另外，在本发明的图像噪声去除方法中，所述第1滤波处理也可以使用以使关注像素的像素值和滤波范围内的像素的像素值之差的绝对值集中于给定的阈值以内的方式修剪(clipping)了的值。即，由于第1滤波处理仅以区块间的边界为对象，故若过度淡化，则就会变为区块间的边界退色了的不自然的(不连续的)区块，反而会强调区块噪声。另外，当任意的区块的边界亮，而另一方的区块的边界暗时，会因滤波处理而变为比原来的像素值更过分的过度修正。作为附近像素的像素值使用所述修剪后的值就是为了防止这些问题。
另外，在本发明的图像噪声去除方法中，所述修正边缘图像数据也可以通过从所述边缘图像数据的最大差值和最小差值求得其差，当差比给定的阈值还达时，将0(零)作为下限而对边缘图像数据的各自差值按照使其绝对值变小的方式用给定的调整值进行加减来做成。当差比给定的阈值还达时，意味着在图像中存在亮度差大的轮廓，蚊式噪声出现的可能性高。此时，对边缘图像数据的各自差值按照使其绝对值(该点的亮度差)变小的方式用给定的调整值进行减法运算或加法运算。将边缘图像数据的全部的差值作为修正对象(即修正至不产生蚊式噪声的部分)是因为若区块内混合存在修正的部分和未修正的部分，则其边界就容易醒目的缘故。但是，对于边缘图像数据的差值中、其绝对值在给定的调整值以下的部分，为了不成为过度修正而设为0(零)。
此外，在本发明的图像噪声去除方法中，当所述差在给定的阈值以下时，所述修正边缘图像数据也可以通过在边缘图像数据的各自差值上乘以给定的调整值来做成。当差在阈值以下时，即为图像中没有多少轮廓的平坦的区块，由于蚊式噪声出现的可能性并非完全没有，故此时也是将边缘图像数据的各自差值全部用给定的调整值进行乘法运算而整体地缩小亮度差。但是，其缩小率与差比给定的阈值还大的情况相比更为缓和。
另外，在本发明的图像噪声去除方法中，所述第3滤波处理最好对修正值数据进行，该修正值数据是通过给定的上限下限表，用上限值、下限值对计算关注像素的像素值和滤波范围内的像素的像素值之差而做成的差值数据进行修剪后做成的。从视觉特性上考虑，与亮度相比，人眼对于色差更为迟钝。所以，虽然对于色差成分图像数据本身进行第3滤波处理没有什么问题，但是一旦根据色差成分图像数据做成修正值数据，并通过对其进行第3滤波处理，就可以很好地抑制不需要的颜色渗透的产生。
此外，在本发明的图像噪声去除方法中，所述给定的上限下限表可以采用如下的表，即，相对于与给定的阈值相比绝对值更小的输入值，将其作为输出值，对于具有给定的阈值以上的绝对值的输入值，则将与输入值相同符号的阈值作为输出值。
如上所述，本发明的图像噪声去除方法，由于如果将图像向印相纸、打印用纸等输出介质输出时的该图像的输出尺寸或放大率变大，则按照使滤波处理中的图像噪声的去除的程度变大的方式，根据图像的输出尺寸或放大率，使滤波处理中的图像噪声的去除的程度阶段性或连续地变化，因此对于小的输出尺寸或放大率，滤波处理中的图像噪声的去除的程度弱的部分被利用随着观察距离变近图像噪声的去除的程度看上去就较强这样的视觉的作用来补偿，另一方面，对于大的输出尺寸或放大率，滤波处理中图像噪声的去除的程度强的部分被利用随着观察距离变远而图像噪声的去除的程度看上去就较弱这样的视觉性作用来抑制，其结果是，无论输出尺寸或放大率如何，实际上看上去的效果是相同的。
即，如果输出尺寸或放大率不同，则由于滤波处理中的图像噪声的去除的程度不同，故虽然如果是一定的观察距离，则图像噪声的去除的程度的观察效果是不同的，但实际上由于根据输出尺寸或放大率不同，观察距离各异，因此无论输出尺寸或放大率如何，观察到的输出图像的感觉都会变为相同的结果。
图1表示本实施方式的图像处理装置的构成图。
图2表示相同实施方式的图像处理的流程图。
图3是表示在同一实施方式的图像噪声去除用的滤波处理中所使用的滤波器和图像的输出尺寸的关系的图表，(a)表示滤波器的滤波系数和图像的输出尺寸的关系，(b)表示滤波器的滤波器尺寸和图像的输出尺寸的关系。
图4表示图2的图像噪声去除处理的流程图。
图5表示在图像数据上附加了边界的状态的说明图。
图6是在横向上附加了边界的状态的说明图，(a)表示图像数据的宽度为区块的宽度的倍数的情况，(b)表示图像数据的宽度不是区块的宽度的倍数的情况。
图7是在纵向上附加了边界的状态的说明图，(a)表示图像数据的高度为区块的高度的倍数的情况，(b)表示图像数据的高度不是区块的高度的倍数的情况。
图8是图4的区块噪声去除处理的流程图，(a)表示对于亮度成分图像数据的流程图，(b)表示对于色差成分图像数据的流程图。
图9是图8(a)的纵向的区块噪声去除处理的说明图，(a)表示进行滤波处理的状态，(b)表示纵向的区块噪声被除去的状态。
图10是图8(a)的横向的区块噪声去除处理的说明图，(a)表示进行滤波处理的状态，(b)表示横向的区块噪声被除去的状态。
图11是表示对图8(b)的色差成分图像数据的区块噪声去除处理中所使用的色差的上限下限表的说明图。
图12是对图8(b)的色差成分图像数据的区块噪声去除处理的说明图，(a)表示色差成分图像数据，(b)表示差值数据，(c)表示修正值数据，(d)也表示修正值数据，(e)表示置换了关注像素的像素值的状态。
图13表示图4的蚊式噪声去除处理的流程图。
图14表示图13的边缘图像做成处理的说明图。
图中A…图像数据，B…区块，B’…附加区块，B”…未完区块，C…关注像素，S…图像数据的边界，Y0～Y4…亮度成分图像数据，Cr0～Cr2、Cb0～Cb2…色差成分图像数据。
具体实施例方式
首先，基于图1，对用于实现本发明的一个实施方式的图像噪声去除方法的图像处理装置的构成进行说明。图像处理装置由计算机构成，具备有分别与总线7连接的CPU1、ROM2、工作存储器(working memory)3、帧存储器4、数据输入输出装置5及硬盘6。ROM2储存包括图像噪声去除程序的计算机程序或各种参数，工作存储器3是CPU1进行控制所需的存储器，包括缓冲器或寄存器等。CPU1根据储存于ROM2中的计算机程序进行各种运算或处理。
帧存储器4是用于储存将通过JPEG方式被压缩编码的静止图像译码而得到的图像数据的存储器。向数据输入输出装置5输入的(R，G，B)图像数据在分别(R成分图像数据、G成分图像数据、B成分图像数据)暂时储存于各个帧存储器4中后，被进行图像噪声去除处理。若图像噪声去除处理结束，则(R，G，B)图像数据被从数据输入输出装置5向外部输出，或者被储存于硬盘6中。
如图2所示，在图像噪声去除处理中，首先借助数据输入输出装置5读入记录于记录介质中的图像数据(S1)。在该记录介质中，除了图像数据以外，还记录有记录了输入尺寸信息、输出尺寸信息、放大率信息等的Exif(Exchangeable Image File Format)文件，这些图像信息也被读入(S2)。此后，基于这些图像信息中的输出尺寸信息，决定图像噪声去除处理中所使用的滤波器的滤波系数(S3)。
输出尺寸和滤波系数如图3(a)所示，形成比例关系，对于小的输出尺寸，则滤波系数变小，随着输出尺寸变大，滤波系数也变大。而且，输出尺寸和滤波系数的关系分别准备了梯度不同的三种(强度1，2，3)，在决定滤波系数时，操作者可以选择使用它们的哪一种。例如，以选择强度1为前提，在L版的情况下滤波系数为v1，在2L版的情况下滤波系数为v2，在4L版的情况下滤波系数为v3。
回到图2，在对所读入的图像数据进行RGB/YCC转换处理(S4)后，进行区块噪声、蚊式噪声的图像噪声去除处理(S5)。在S3中决定的滤波系数被反映在该S5的图像噪声去除处理中。在RGB/YCC转换处理中，基于下述(式1)～(式3)，(R，G，B)图像数据被颜色转换为(Y，Cr，Cb)图像数据，向YCC颜色空间转换是因为由于JPEG方式在YCC颜色空间中进行压缩/伸张，区块噪声或蚊式噪声在此时产生，故在相同的颜色空间中进行图像噪声去除处理的话，修正的精度就会提高。
Y＝(RToY
*R+RToY
[1]*G+RToY
[2]*B)/10000Cr＝(RToY[1]
*R+RToY[1][1]*G+RToY[1][2]*B)/10000+2048Cb＝(RToY[2]
*R+RToY[2][1]*G+RToY[2][2]*B)/10000+2048…(式1)～(式3)RToY[i][j]YCrCb转换系数若S5的图像噪声去除处理结束，则通过基于下述(式4)～(式6)进行YCC/RGB转换处理(S6)，从而将(Y，Cr，Cb)图像数据还原为(R，G，B)图像数据，并结束一连串的处理，然后从与数据输入输出装置5连接的照片处理装置输出图像，或者从喷墨记录方式或热复制记录方式的打印机输出图像(S7)。
R＝(YToR
*Y+YToR
[1]*(Cr-2048)+YToR
[2]*(Cb-2048)/10000G＝(YToR[1]
*Y+YToR[1][1]*(Cr-2048)+YToR[1][2]*(Cb-2048)/10000B＝(YToR[2]
*Y+YToR[2][1]*(Cr-2048)+YToR[2][2]*(Cb-2048)/10000…(式4)～(式6)YToR[i][j]YC耦合系数而且，在本实施方式中，为了抑制由处理造成的数据遗漏，将8Bit数据放大为12Bit而进行处理(但是，也可以仍用8Bit数据进行处理)。
如图4所示，在S2的图像噪声去除处理中，首先，在进行边界附加处理(S20)后，进行区块噪声去除处理(S21)、蚊式噪声去除处理(S22)。边界附加处理是在对(Y，Cr，Cb)图像数据的Y图像数据(以下称作「亮度成分图像数据」)、Cr图像数据及Cb图像数据(以下分别称作「色差成分图像数据」)这三个图像数据进行后述的滤波处理时，用于内插图像数据边界处的图像数据的处理。
具体来说，S20的边界附加处理如图5(是任意一个图像数据，一个大块表示像素，数值表示像素值)所示，是相对于图像数据A(未被结网的部分)的边界S，分别沿横向、纵向附加与编码·译码的区块B(未被结网的粗框)相同大小的区块B’(被结网的粗框)，并且将该附加区块B’、…的像素值用图像数据边界处的像素的像素值填充的处理。如果区块噪声去除处理(S21)、蚊式噪声去除处理(S22)结束，则该被附加的区块B’就通过边界消除处理(S23)去掉。
而且，如果图像数据A的横向的长度(像素数)W是区块B的横向的长度(像素数)的倍数，即8的倍数，则如图6(a)所示，以使各行的整体的长度(像素数)变为[W+16]的方式附加边界，另一方面，如果不是8的倍数，则如图6(b)所示，通过以使各行的整体的长度(像素数)变为[W+(8-(W mod 8))+16]的方式附加边界，从而进行对于未完成的区块B”的数据内插。
同样，如果图像数据A的纵向的长度(像素数)H是区块B的纵向的长度(像素数)的倍数，即8的倍数，则如图7(a)所示，以使各列的整体的长度(像素数)变为[H+16]的方式附加边界，另一方面，如果不是8的倍数，则如图7(b)所示，通过以使各列的整体的长度(像素数)变为[H+(8-(H mod 8))+16]的方式附加边界，从而进行对于未完成的区块B”的数据内插。
S21的区块噪声去除处理是如下的处理，即，对于亮度成分图像数据Y0，如图8(a)所示，在进行纵向的区块噪声去除处理(S30)而做成了亮度成分图像数据Y1后，进行横向的区块噪声去除处理(S31)而做成亮度成分图像数据Y2(本发明的第1亮度成分图像数据)，另一方面，对于色差成分图像数据Cr0、Cb0的每一个，如图8(b)所示，在进行色差的上限下限表的制作处理(S40)后，进行横向的颜色淡化处理(S41)而做成了色差成分图像数据Cr1、Cb1，之后进行纵向的颜色淡化处理(S42)，做成色差成分图像数据Cr2、Cb2(本发明的第1色差成分图像数据)。
<纵向的区块噪声去除处理(S30)>
将区块间的边界上的像素作为关注像素进行横向的一维滤波，由亮度成分图像数据Y0做成区块间的边界上的横向亮度差消失了的(被平滑化了的)亮度成分图像数据Y1。滤波器尺寸例如可以设定为3个像素和5个像素(参照图9(a)，浓的结网C表示关注像素，淡的结网D表示滤波范围，更淡的结网E表示滤波处理对象像素)，使用下述(式7)进行滤波处理(本发明的第1滤波处理)。
Y1=ΣFb*YiΣFb]]>…(式7)该滤波器是利用相对于关注像素的系数与其以外的像素的系数相比更大(大约10～20倍)的矩阵Fb(例如Fb＝(131))形成的加权滤波器，是以关注像素C为中心而将矩阵Fb的系数乘以滤波范围内的各像素值(Yi)而求得总和，并且用矩阵Fb的系数的总和来除该总和的计算式。
但是，所述滤波处理由于仅以区块间的边界作为对象，因此若淡化过多，则会变为区块间的边界退色了的、不自然的(不连续的)的区块，区块噪声反而被强调。另外，在任意一个区块的边界亮，而另一方的区块的边界暗时，就会因滤波处理而变为比原来的像素值更过分的过度修正。所以，在所述(式7)中，使用以满足下式(式8)的条件的方式(即，按照使与关注像素C的像素值之差的绝对值收缩于阈值b以内的方式)修剪(间隙处理)过的值。
Yi[x，y]-b≤Yi’[x-1，y]≤Yi[x，y]+b …(式8)阈值b例如为30，这样，通过进行所述滤波处理，区块间的边界的像素E的像素值就被从图9(a)转换为图9(b)，区块间的边界的像素值的差(亮度差)变小。
<横向的区块噪声去除处理(S31)>
将区块间的边界上的像素作为关注像素进行纵向的一维滤波，由亮度成分图像数据Y1做成区块间的边界上的纵向亮度差消失了的(被平滑化了的)亮度成分图像数据Y2。处理内容与纵向的区块噪声去除处理在实质上相同。
阈值b例如为30，这样，区块间的边界的像素的像素值就被从图10(a)转换为图10(b)，区块间的边界的像素值的差(亮度差)变小。
这样，所述两个区块噪声去除处理是由亮度成分图像数据Y0(图9(a))最终做成亮度成分图像数据Y2(图10(b))，在纵横两个方向上消除了区块间的边界的亮度差的处理。在视觉特性上，由于人眼对于亮度极为敏感，区块噪声主要是由区块间的边界的亮度差引起的，故所述两个区块噪声去除处理是能够去除区块噪声的极为有效的处理。但是，区块噪声并不仅由亮度差引起，在一定程度上也由色差引起。所以，为了完全地去除区块噪声，就必须进行如下说明的颜色淡化处理(S41，S42)。
<色差的上限下限表的制作处理(S40)>
在颜色淡化处理中，由于使用比较大的滤波器(对于其将在后面叙述)，故若淡化过多，则颜色就会渗透。例如，当跨越嘴唇的红色和肤色进行大的颜色淡化处理时，颜色就会渗透。因此，在颜色淡化处理(S41，S42)中，使用色差的上限下限表。
色差的上限下限表是计算屏蔽值的表(参照图11)。c为输出色差的上限下限用的阈值，取0～4095的范围。根据该表，属于-c～c的范围的输入值被输出相同的值，比-c更小的输入值全都变为-c而被输出，比c更大的输入值全都变为c而被输出。
<横向的颜色淡化处理(S41)>
将区块的各像素作为关注像素而进行横向的一维滤波，由色差成分图像数据Cr0、Cb0做成在横向上颜色退色了的(被平滑化了的)色差成分图像数据Cr1、Cb1。滤波器尺寸例如可以设定为7个像素(参照图12(a)，粗框C表示关注像素)。
首先，计算关注像素C的像素值和附近像素的像素值之差(-2047～2047)，做成差值数据(A)(图12(b))，在该差值数据(A)上t通过上限下限表(阈值c例如为15)而做成用上限值、下限值修剪了的修正值数据(B)(图12(c))。此后，在该修正值数据(B)的关注像素C上还原该关注像素C的像素值而做成了修正值数据(C)(图12(d))后，使用下述(式9)进行滤波处理(本发明的第3滤波处理)(图12(e))。
Cr1,Cb1=ΣFc*CiΣFc]]>…(式9)该滤波器是利用系数相等的矩阵Fc(Fc＝(11…1))形成的移动平均滤波器，是以关注像素C作为中心，将矩阵Fc的系数乘以修正值数据(C)的各修正值(Ci)而求得总和，并且用矩阵Fc的系数的总和(由于是移动平均滤波器，因此系数的总和与滤波器尺寸相等)来除该总和的计算式。对于每个像素进行该滤波处理。
<纵向的颜色淡化处理(S42)>
将区块的各像素作为关注像素而进行纵向的一维滤波，由色差成分图像数据Cr1、Cb1做成在纵向上颜色退色了的(被平滑化了的)色差成分图像数据Cr2、Cb2。处理内容与横向的颜色淡化处理在实质上相同。
这样，所述两个颜色淡化处理是由色差成分图像数据Cr0、Cb0(图12(a))最终做成色差成分图像数据Cr2、Cb2，是色差大的轮廓仍然残留而仅将小的色差的淡化(消除)的处理。即，当在色差的差量上未设置上限下限时，由于成为利用通常的移动平均的淡化，故色差大的轮廓也会退色，然而通过按照使上限下限集中于较小的色差的差量的变动范围中的方式来设定阈值c，从而将由处于周边的大的轮廓所造成的色差的差量置换为小的轮廓的色差的差量的变动范围，防止色差大的轮廓退色。由色差引起的区块噪声由于以该小的色差作为产生原因，由此所述两个颜色淡化处理是可以不产生图像质量恶化地(不使图像质量恶化醒目地)去除由色差引起的区块噪声的有效处理。而且，强度调整是通过适当地设定滤波器的滤波器尺寸和上限下限表的阈值来进行的。
S22的蚊式噪声去除处理如图13所示，是如下的处理，即，对利用S21的区块噪声去除处理做成的亮度成分图像数据Y2进行亮度淡化处理(S50)，做成亮度成分图像数据Y3(本发明的第2亮度成分图像数据)，并且由亮度成分图像数据Y2进行边缘图像数据制作处理(S51)而做成边缘图像数据E1，然后，进行边缘图像数据修正处理(S52)而做成修正边缘图像数据E2，最后，进行该修正边缘图像数据E2和所述亮度成分图像数据Y3的合成处理(S53)，做成亮度成分图像数据Y4(本发明的第3亮度成分图像数据。
<亮度淡化处理(S50)>
将区块的各像素作为关注像素进行二维滤波，由亮度成分图像数据Y2做成亮度减退了的(被平滑化了的)亮度成分图像数据Y3。滤波器尺寸例如可以设定为3×3像素和5×5像素，使用下述(式10)进行滤波处理(本发明的第2滤波处理)。
Y3=Y2+(ΣFb*YiΣFb-Y2)*(d/128)]]>…(式10)该滤波器是利用系数相等的矩阵Fb的移动平均滤波器，是如下的计算式，即，以关注像素C作为中心，将矩阵Fb的系数乘以滤波范围内的各像素值(Yi)而求得总和，并且用矩阵Fb的系数的总和来除该总和，求得其与关注像素C的像素值之差，将在该值上乘以[d/128]的值加在关注像素C的像素值上。d是用于调整淡化强度的系数(淡化强度系数)，它是由所述S3决定的滤波系数。即，该系数d是基于在所述S2中取得的图像信息中的输出尺寸信息而决定的变数。而且，将淡化强度系数d用128来除是因为为了高速化的方便，预先将淡化强度系数d用[128/100]来乘的缘故。
<边缘图像数据制作处理(S51)>
使用下述(式11)以区块B为单位做成边缘图像数据E(参照图14)。其中，在-2048～2047中进行修剪。
E1＝Y2-Y3…(式11)即，边缘图像数据E1是将亮度成分图像数据Y2的各个像素值用利用S50的亮度淡化处理做成的亮度成分图像数据Y3的各个像素值进行减法运算后的数据。
<边缘图像数据修正处理(S52)>
首先，由边缘图像数据E1的最大差值和最小差值，求得其差SA，使用下述(式12)做成修正边缘图像数据E2。
SA>e→E2=E1-f[f<E1]0[|E1|≤f]E1+f[E1<-f]]]>…(12)SA≤e→E2＝E1*(1/g)当差SA比阈值e还大时，意味着在图像中存在亮度差大的轮廓，出现蚊式噪声的可能性很高。此时的所述(式12)的考虑方法如下所示。即，由于蚊式噪声出现于亮度差强烈的场所，故对边缘图像数据E1的各个差值按照使其绝对值(该点的亮度差)变小的方式用蚊式噪声的像素边缘调整值f相加或相减。将边缘图像数据E1的全部的差值作为修正对象(即修正至不产生蚊式噪声的部分)是因为当在区块内混合存在修正的部分和不修正的部分时，则其边界容易变得醒目。但是，对于边缘图像数据E1的差值中、其绝对值在像素边缘调整值f以下的，则为了不成为过度修正而设为0。
当差SA在阈值以下时，即为像素中没有多少轮廓的平坦的区块，由于出现蚊式噪声的可能性并非完全没有，故该情况下的所述(式12)的考虑方法如下所示。即，全部用[1/通常图像的像素边缘调整值g]对边缘图像数据E1的各个差值进行乘法运算而整体性地缩小亮度差。但是，缩小率与差SA比阈值更大的情况相比更为缓和。
阈值e例如为10，蚊式噪声的像素边缘调整值f及通常图像的像素边缘调整值g例如为5，这样，对于图14的情况，差SA由于为179，因此左上角的关注像素(差值-4)在修正后变为4-5＝-1，其相邻的关注像素(差值-28)在修正后变为-28+5＝-23，…右下角的关注像素(差值7)在修正后变为7-5＝2，做成整体上亮度差被缩小了的修正边缘图像E2。
<合成处理(S53)>
进行使用了下述(式13)的合成处理而做成亮度成分图像数据Y4。其中，在0～2047中进行修剪。
Y4＝Y3+E2…(式13)即，亮度成分图像数据Y4是将亮度成分图像数据Y3的各个像素值用利用S52的边缘图像修正处理做成的修正边缘图像数据E2的各个修正值进行加法运算后的数据。
这样，所述蚊式噪声去除处理是如下的处理，即，由亮度成分图像数据Y2最终做成亮度成分图像数据Y4，使亮度差大的轮廓不发生大淡化(由于原来亮度差大，因此淡化并不醒目)而仅对细微的亮度差进行淡化(消除)。蚊式噪声是以该微细的亮度差作为产生原因的，由此所述蚊式噪声去除处理是不产生图像质量恶化地(不使图像质量恶化醒目地)去除蚊式噪声的有效处理。
但是，本实施方式的图像噪声去除处理是先进行区块噪声去除处理(S21)，然后再进行蚊式噪声去除处理(S22)的处理。其理由是，由于蚊式噪声去除处理(S22)是淡化处理，故若先进行该蚊式噪声去除处理(S22)时，则区块噪声整体减弱，在区块噪声去除处理(S21)中，将难以仅针对区块噪声进行去除。因此，有必要在区块噪声去除处理(S21)之后进行蚊式噪声去除处理(S22)。
另外，在蚊式噪声去除处理(S22)中，根据图像的输出尺寸来改变淡化强度，对于小的输出尺寸，则减弱淡化强度，另一方面，对于大的输出尺寸，则增强淡化强度。所谓减弱淡化强度是指使滤波处理中的图像噪声的去除的程度变弱，所谓增强淡化强度是指使滤波处理中的图像噪声的去除的强度变强，对于小的输出尺寸，观察距离有变近的倾向，由此，就会产生淡化程度看上去很强的视觉性作用，利用该作用来补偿淡化强度减弱的部分，实际上淡化程度看上去就会合适。另一方面，对于大的输出尺寸，观察距离有变远的倾向，由此就会产生淡化程度看上去较弱的视觉性作用，利用该作用来抑制淡化强度变强的部分，实际上淡化程度看上去就会合适。因此，如果是一定的观察距离，则虽然淡化程度的表观效果不同，但是实际上由于根据图像的输出尺寸观察距离有所不同，因此无论输出尺寸如何，输出图像的表观感觉都可以形成相同的效果。
而且，本发明并不限定于上述实施方式，在不脱离本发明的主旨的范围内可以进行各种变更。
例如，在所述实施方式中，虽然通过改变在蚊式噪声去除处理(S22)的亮度淡化处理(S50)中使用的所述(式10)的平滑化滤波器的滤波系数d，来改变滤波处理中的图像噪声的去除的程度，但是例如也可以通过如图3(b)所示地阶段性地改变该(式10)的平滑化滤波器的滤波器尺寸，来改变滤波处理中的图像噪声的去除的程度。
还有，改变滤波系数或滤波器尺寸并不限定于蚊式噪声去除处理(S22)的亮度淡化处理(S50)所使用的滤波器，也可以是其他的步骤的滤波处理中所使用的滤波器。但是，由于支配图像整体的淡化程度的主要是蚊式噪声去除处理(S22)的亮度淡化处理(S50)，因此更优选所述实施方式。
另外，在上述实施方式中，虽然在计算机上对图像噪声去除进行处理，但是也可以装入译码装置，在译码处理之中(具体来说在逆正交变换后)进行图像噪声去除处理。
此外，在上述实施方式中，由于在将压缩图像译码时包括RGB转换处理，故要进行RGB/YCC转换处理(S4)。如果输入图像是具有RGB信息的BMP图像等，则需要该RGB/YCC转换处理，但是如果是原来就具有YCC信息的JPEG图像，则当然不一定需要RGB/YCC转换处理(S4)及伴随其的YCC/RGB转换处理(S6)。
权利要求
1.一种图像噪声去除方法，是通过使用了平滑化滤波器的滤波处理，将在对以区块为单位压缩编码过的图像进行译码时产生的区块噪声及蚊式噪声等图像噪声去除的图像噪声去除方法，其特征在于，如果向印相纸、打印机用纸等输出介质输出图像时的该图像的输出尺寸或放大率变大，则按照使滤波处理中的图像噪声的去除的程度增强的方式，根据图像的输出尺寸或放大率，使滤波处理中的图像噪声的去除的程度连续地或阶段性地变化。
2.根据权利要求1所述的图像噪声去除方法，其中，通过改变所述平滑化滤波器的滤波系数，从而改变滤波处理中的图像噪声的去除的程度。
3.根据权利要求1所述的图像噪声去除方法，其中，通过改变所述平滑化滤波器的滤波器尺寸，从而改变滤波处理中的图像噪声的去除的程度。
4.根据权利要求1所述的图像噪声去除方法，其中具备将图像数据的亮度成分图像数据及色差成分图像数据各自分割为与编码·译码相同的区块，对亮度成分图像数据，将区块间的边界处的各个像素作为关注像素而进行第1滤波处理，做成将区块间的边界平滑化了的第1亮度成分图像数据的工序；将该第1亮度成分图像数据的各个像素作为关注像素进行第2滤波处理，做成将整体平滑化了的第2亮度成分图像数据的工序；做成将第1亮度成分图像数据的各个像素值减去了第2亮度成分图像数据的各个像素值的边缘图像数据的工序；做成基于给定条件对该边缘图像数据的各个差量值进行了修正的修正边缘图像数据的工序；做成在第2亮度成分图像数据的各个像素值上相加了修正边缘图像数据的各个修正值的第3亮度成分图像数据的工序；并具备对色差成分图像数据，将该色差成分图像数据的各个像素作为关注像素而进行第3滤波处理，做成将整体平滑化了的第1色差成分图像数据的工序，通过改变所述第2滤波处理所使用的平滑化滤波器的滤波系数，从而改变第2滤波处理中的图像噪声的去除的程度。
5.根据权利要求1所述的图像噪声去除方法，其中具备将图像数据的亮度成分图像数据及色差成分图像数据各自分割为与编码·译码相同的区块，对亮度成分图像数据，将区块间的边界处的各个像素作为关注像素而进行第1滤波处理，做成将区块间的边界平滑化了的第1亮度成分图像数据的工序；将该第1亮度成分图像数据的各个像素作为关注像素进行第2滤波处理，做成将整体平滑化了的第2亮度成分图像数据的工序；做成将第1亮度成分图像数据的各个像素值减去了第2亮度成分图像数据的各个像素值的边缘图像数据的工序；做成基于给定条件对该边缘图像数据的各个差量值进行了修正的修正边缘图像数据的工序；做成在第2亮度成分图像数据的各个像素值上相加了修正边缘图像数据的各个修正值的第3亮度成分图像数据的工序；并具备对色差成分图像数据，将该色差成分图像数据的各个像素作为关注像素而进行第3滤波处理，做成将整体平滑化了的第1色差成分图像数据的工序，通过改变所述第2滤波处理所使用的平滑化滤波器的滤波器尺寸，从而改变第2滤波处理中的图像噪声的去除的程度。
6.根据权利要求4或5所述的图像噪声去除方法，其中，所述第1滤波处理使用按照使关注像素的像素值和滤波范围内的像素的像素值的差的绝对值集中于给定的阈值以内的方式修剪了的值。
7.根据权利要求4至6中任意一项所述的图像噪声去除方法，其中，所述修正边缘图像数据是由所述边缘图像数据的最大差值和最小差值求得其差，在差比给定的阈值还大时，通过将0(零)作为下限并对边缘图像数据的各个差值按照使其绝对值变小的方式用给定的调整值进行加减而做成的。
8.根据权利要求7所述的图像噪声去除方法，其中，在所述差为给定的阈值以下时，所述修正边缘图像数据通过在边缘图像数据的各个差值上乘以给定的调整值而做成。
9.根据权利要求4至8中任意一项所述的图像噪声去除方法，其中，所述第3滤波处理是对修正值数据进行，该修正值数据是通过给定的上限下限表，用上限值、下限值对计算关注像素的像素值和滤波范围内的像素的像素值的差而做成的差值数据进行修剪后做成的。
10.根据权利要求9所述的图像噪声去除方法，其中，所述给定的上限下限表对于与给定的阈值相比绝对值更小的输入值，将其作为输出值，对于具有给定的阈值以上的绝对值的输入值，则将与输入值相同符号的阈值作为输出值。
全文摘要
本发明提供一种在观察输出介质时，无论其输出尺寸如何、图像噪声的去除的程度的表观效果都相同的图像噪声去除方法。本发明是通过使用了平滑化滤波器的滤波处理，将在对以区块为单位压缩编码过的图像进行译码时产生的区块噪声及蚊式噪声等图像噪声去除的图像噪声去除方法，其特征在于，如果向印相纸、打印机用纸等输出介质输出图像时的该图像的输出尺寸或放大率变大，则按照使滤波处理中的图像噪声的去除的程度增强的方式，根据图像的输出尺寸或放大率，使滤波处理中的图像噪声的去除的程度连续地或阶段性地变化。
文档编号H04N1/409GK1774030SQ20051011818
公开日2006年5月17日 申请日期2005年11月11日 优先权日2004年11月12日
发明者泉圭介 申请人:诺日士钢机株式会社