专利名称：图像处理装置和图像处理方法
技术领域：
本发明涉及进行图像中包含的闪烁等失真的减轻处理的图像处理装置和图像处
理方法。
背景技术：
“影像”是由作为单一静止图像的“帧图像”连续地构成的。在包括影像的取得、传送、压缩(编码、解码)、缩小、放大在内的影像处理中，一般会引起各种失真。因此，减轻影像处理中的失真是一项重要的课题。另一方面，最近已经开始在便携电话等移动终端中安装照相机，而且，随着移动通信网的高速化，在移动终端中浏览用户通过下载而取得的影像的机会正在增加。因此，下面以移动终端为例，对影像处理中的失真进行说明。一般要求减小移动终端的尺寸和功耗，因此，相比于通常的单体照相机，安装在移动终端中的照相机的功能会受到限制。因此，由安装在移动终端上的照相机拍摄的影像中有时包含有蚊式噪声和影像闪烁。另外，从高效利用传送频带的的角度看，在使用移动通信网的影像发布中，一般会对影像数据进行压缩处理。因此，影像中经常包含有闪烁、块 (block)失真、折叠(aliasing)失真、振铃(ringing)失真。影像中所包含的失真的差异往往会直接关系到对图像质量的评价，显然，越是失真少的影像，越会被评价为高质量。非专利文献1大山正·今井省吾·和気典二、「新编感觉·知觉·心理^> K 7' ”夕」誠心書房、ISBN :4414305039第583页为了减轻上述的影像处理中的各种失真，一般需要执行大量的图像处理运算。但另一方面，在安装能够执行大量图像处理运算的高性能CPU的情况下，装置复杂化和装置成本增加令人担心。尤其对于移动终端，由于强烈要求避免装置复杂化和装置成本增加，所以，实际上很难安装高性能的CPU。
发明内容
考虑到上述实际情况，本发明的目的在于减轻影像中包含的失真，同时削减失真减轻处理的运算量。为了达到上述目的，本发明的图像处理装置的特征在于，具有图像输入单元，其从外部输入由多个帧图像构成的影像信号；已处理帧存储单元，其存储有已完成图像处理的已处理帧图像；处理像素组确定单元，其从由所述图像输入单元输入的所述影像信号的所述多个帧图像中，按照预定的规则确定处理对象像素组，并且从存储在所述已处理帧存储单元内的已处理帧图像中，按照预定的基准确定已处理像素组；频率成分处理单元，其从由所述处理像素组确定单元确定的处理对象像素组和已处理像素组中，至少提取时间频率成分，对提取出的时间频率成分中的时间高频成分执行预定的系数处理，取得执行了所述预定的系数处理后的执行后处理对象像素组；处理完成帧生成单元，其根据由所述频率成分处理单元取得的执行后处理对象像素组，生成处理完成帧图像；以及图像输出单元，其向外部输出由所述处理完成帧生成单元生成的处理完成帧图像，并且将所述处理完成帧图像作为已处理帧图像存储到所述已处理帧存储单元中，其中，所述频率成分处理单元避免对所述时间高频成分中的、视觉特性敏感度低的成分执行所述预定的系数处理。本发明人想到了如下技术提取包含在所输入的帧图像的处理对象像素组与已处理帧图像的已处理像素组之间的时间频率成分，对提取出的时间频率成分中的时间高频成分执行预定的系数处理，由此来减轻包含在处理对象像素组与已处理像素组之间的时间上的变化，高效地减轻闪烁等失真。另一方面，众所周知，人眼的特性由两个具有不同特征的系统构成，这两个系统是对于影像的空间低频成分和时间高频成分敏感度高的过渡系统和对于影像的空间高频成分和时间低频成分敏感度高的持续系统(参照非专利文献1)。基于这样的认识，本发明人实现了如下发明在对时间高频成分执行预定的系数处理时，避免对时间高频成分中的“视觉特性敏感度低的成分”执行预定的系数处理。根据该发明，能够在基本不降低影像中包含的失真的减轻效果的情况下，削减失真减轻处理的
运算量。上述“视觉特性敏感度低的成分”相当于时间高频成分中的除空间低频成分和空间高频成分以外的部分(所谓的“空间中频成分”)。因此，从另一角度来看，避免对时间高频成分中的“视觉特性敏感度低的成分”执行预定的系数处理可理解为是对时间高频成分中的空间低频成分和空间高频成分执行预定的系数处理。因此，与上述图像处理装置相关的发明可记述如下，且能够得到与上述同样的效果。即，本发明的图像处理装置的特征在于，具有图像输入单元，其从外部输入由多个帧图像构成的影像信号；已处理帧存储单元，其存储有已完成图像处理的已处理帧图像；处理像素组确定单元，其从由所述图像输入单元输入的所述影像信号的所述多个帧图像中，按照预定的规则确定处理对象像素组，并且从存储在所述已处理帧存储单元内的已处理帧图像中，按照预定的基准确定已处理像素组；频率成分处理单元，其从由所述处理像素组确定单元确定的处理对象像素组和已处理像素组中提取空间频率成分和时间频率成分，对提取出的时间频率成分的时间高频成分中的、空间低频成分和空间高频成分执行预定的系数处理，取得执行了所述预定的系数处理后的执行后处理对象像素组；处理完成帧生成单元，其根据由所述频率成分处理单元取得的执行后处理对象像素组，生成处理完成帧图像；以及图像输出单元，其向外部输出由所述处理完成帧生成单元生成的处理完成帧图像，并且将所述处理完成帧图像作为已处理帧图像存储到所述已处理帧存储单元中。这里，为了提取空间频率成分和时间频率成分，频率成分处理单元通过对处理对象像素组和已处理像素组进行空间频率变换来提取空间频率成分，通过对提取出的空间频率成分进行时间频率变换来提取时间频率成分。这样，能够高效地提取时间频率成分和空间频率成分双方。另外，优选的是处理完成帧生成单元以使由频率成分处理单元取得的多个执行后处理对象像素组至少重叠一个像素以上的方式，对该多个执行后处理对象像素组进行组合，生成处理完成帧图像。为了对多个执行后处理对象像素组进行组合而生成处理完成帧图像，例如可利用加权运算或平均化处理等。这样，利用加权运算选择质量更好的执行后处理对象像素组，或者利用平均化处理进一步减轻失真，由此能够生成进一步抑制了失真的
6处理完成帧图像。另外，作为上述预定的系数处理，可以举出如下处理对频率成分的绝对值与预定的阈值进行比较，在频率成分的绝对值大于阈值的情况下，保持频率成分，在频率成分的绝对值小于等于阈值的情况下，将频率成分置换为预定值。另外，作为此时的预定值，可采用 0。通过像这样地在频率成分的绝对值小于等于阈值的情况下将频率成分置换为0，能够削减因编码失真等产生的小的空间频率成分以及作为闪烁原因的时间频率成分，所以具有进一步抑制失真的效果。另外，上述图像处理装置的发明可理解为图像处理方法的发明，且可记述如下。本发明的图像处理方法由图像处理装置执行，该图像处理装置具有存储有已完成图像处理的已处理帧图像的已处理帧存储单元，该图像处理方法的特征在于，包括图像输入步骤，从外部输入由多个帧图像构成的影像信号；处理像素组确定步骤，从在所述图像输入步骤中输入的所述影像信号的所述多个帧图像中，按照预定的规则确定处理对象像素组，并且从存储在所述已处理帧存储单元内的已处理帧图像中，按照预定的基准确定已处理像素组；频率成分处理步骤，从在所述处理像素组确定步骤中确定的处理对象像素组和已处理像素组中，至少提取时间频率成分，对提取出的时间频率成分中的时间高频成分执行预定的系数处理，取得执行了所述预定的系数处理后的执行后处理对象像素组；处理完成帧生成步骤，根据在所述频率成分处理步骤中取得的执行后处理对象像素组，生成处理完成帧图像；以及图像输出步骤，向外部输出在所述处理完成帧生成步骤中生成的处理完成帧图像，并且将所述处理完成帧图像作为已处理帧图像存储到所述已处理帧存储单元中，在所述频率成分处理步骤中，避免对所述时间高频成分中的视觉特性敏感度低的成分执行所述预定的系数处理。另外，本发明的图像处理方法还可记述如下。即，本发明的图像处理方法由图像处理装置执行，该图像处理装置具有存储有已完成图像处理的已处理帧图像的已处理帧存储单元，该图像处理方法的特征在于，包括图像输入步骤，从外部输入由多个帧图像构成的影像信号；处理像素组确定步骤，从在所述图像输入步骤中输入的所述影像信号的所述多个帧图像中，按照预定的规则确定处理对象像素组，并且从存储在所述已处理帧存储单元内的已处理帧图像中，按照预定的基准确定已处理像素组；频率成分处理步骤，从在所述处理像素组确定步骤中确定的处理对象像素组和已处理像素组中提取空间频率成分和时间频率成分，对提取出的时间频率成分的时间高频成分中的、空间低频成分和空间高频成分执行预定的系数处理，取得执行了所述预定的系数处理后的执行后处理对象像素组；处理完成帧生成步骤，根据在所述频率成分处理步骤中取得的执行后处理对象像素组，生成处理完成帧图像；以及图像输出步骤，向外部输出在所述处理完成帧生成步骤中生成的处理完成帧图像，并且将所述处理完成帧图像作为已处理帧图像存储到所述已处理帧存储单元中。另外，上述图像处理装置的发明也可理解为图像处理程序的发明，且可记述如下。本发明的图像处理程序的特征在于，使计算机作为如下单元发挥功能图像输入单元，其从外部输入由多个帧图像构成的影像信号；已处理帧存储单元，其存储有已完成图像处理的已处理帧图像；处理像素组确定单元，其从由所述图像输入单元输入的所述影像信号的所述多个帧图像中，按照预定的规则确定处理对象像素组，并且从存储在所述已处理帧存储单元内的已处理帧图像中，按照预定的基准确定已处理像素组；频率成分处理单元，其从由所述处理像素组确定单元确定的处理对象像素组和已处理像素组中，至少提取时间频率成分，对提取出的时间频率成分中的时间高频成分执行预定的系数处理，取得执行了所述预定的系数处理后的执行后处理对象像素组；处理完成帧生成单元，其根据由所述频率成分处理单元取得的执行后处理对象像素组，生成处理完成帧图像；以及图像输出单元，其向外部输出由所述处理完成帧生成单元生成的处理完成帧图像，并且将所述处理完成帧图像作为已处理帧图像存储到所述已处理帧存储单元中，其中，所述频率成分处理单元避免对所述时间高频成分中的、视觉特性敏感度低的成分执行所述预定的系数处理。另外，本发明的图像处理程序还可记述如下。即，本发明的图像处理程序的特征在于，使计算机作为如下单元发挥功能图像输入单元，其从外部输入由多个帧图像构成的影像信号；已处理帧存储单元，其存储有已完成图像处理的已处理帧图像；处理像素组确定单元，其从由所述图像输入单元输入的所述影像信号的所述多个帧图像中，按照预定的规则确定处理对象像素组，并且从存储在所述已处理帧存储单元内的已处理帧图像中，按照预定的基准确定已处理像素组；频率成分处理单元，其从由所述处理像素组确定单元确定的处理对象像素组和已处理像素组中，提取空间频率成分和时间频率成分，对提取出的时间频率成分的时间高频成分中的、空间低频成分和空间高频成分执行预定的系数处理，取得执行了所述预定的系数处理后的执行后处理对象像素组；处理完成帧生成单元，其根据由所述频率成分处理单元取得的执行后处理对象像素组，生成处理完成帧图像；以及图像输出单元，其向外部输出由所述处理完成帧生成单元生成的处理完成帧图像，并且将所述处理完成帧图像作为已处理帧图像存储到所述已处理帧存储单元中。根据本发明，能够减轻影像中包含的失真，同时能够削减失真减轻处理的运算量。
图1是例示本发明的实施方式的图像处理装置的功能结构的结构框图。图2是示出处理像素组的位置关系的概念图。图3是示出处理对象帧内的执行处理的像素位置的概念图。图4是例示图1的频率成分处理单元的结构的结构框图。图5是示出处理像素组为3X3单位时的频率系数的处理位置的第一例的概念图。图6是示出处理像素组为3X3单位时的频率系数的处理位置的第二例的概念图。图7是示出处理像素组为4X4单位时的频率系数的处理位置的概念图。图8是示出处理像素组为8X8单位时的频率系数的处理位置的概念图。图9是示出本发明的实施方式的图像处理流程的流程图。图10是例示图像处理程序的结构的结构框图。图11是示出用于执行图像处理程序的计算机硬件结构的图。图12是用于执行图像处理程序的计算机的立体图。标号说明10记录介质、12读取装置、14作业用存储器、16存储器、18显示器、20鼠标、22键盘、M通信装置、30计算机、40计算机数据信号、100图像处理装置、101图像输入单元、102 处理像素组确定单元、103频率成分处理单元、103A空间频率变换单元、103B时间频率变换单元、103C时间高频成分处理单元、103D时间频率逆变换单元、103E空间频率逆变换单元、 104处理完成帧生成单元、105已处理帧存储单元、106图像输出单元、PlO图像处理程序、 Pll图像输入模块、P12处理像素组确定模块、P13频率成分处理模块、P13A空间频率变换模块、P13B时间频率变换模块、P13C时间高频成分处理模块、P13D时间频率逆变换模块、 P13E空间频率逆变换模块、P14处理完成帧生成模块、P15已处理帧存储模块、P16图像输出模块。
具体实施例方式下面，根据附图对本发明的实施方式进行说明。在各图中，对同一结构要素标注同一标号，省略重复的说明。(关于图像处理装置的结构)图1是例示本实施方式的图像处理装置100的功能结构的结构框图。该图像处理装置100由计算机构成，该计算机具有CPU(中央处理装置)、 用于存储图像帧等的存储装置、用于输入输出影像的输入输出装置(通信装置)等，作为硬件。另外，关于硬件结构，将在后面使用图11进行说明。这样的图像处理装置100例如可由个人计算机等固定型通信终端或便携电话机等移动通信终端等、各种信息处理装置构成。下面，参照图1对图像处理装置100的功能块结构进行说明。如图1所示，图像处理装置100构成为包括图像输入单元101、处理像素组确定单元102、频率成分处理单元 103、处理完成帧生成单元104、已处理帧存储单元105、以及图像输出单元106。其中，图像输入单元101经由线路LlOO从外部输入由多个帧图像构成的影像信号(动态图像信号)。(关于处理像素组确定单元102)处理像素组确定单元102经由线路LlOl接受由图像输入单元101从外部输入的影像信号，将该影像信号分解为帧图像，读入作为处理对象的帧图像(以下称为“处理对象帧X”)。另外，处理像素组确定单元102经由线路L105 从存储在已处理帧存储单元105内的已处理的帧图像(以下称为“已处理帧Y”)中，读入在时序上刚刚处理后的(即从当前时点看是最新存储的)已处理帧Y。而且，处理像素组确定单元102分别从处理对象帧X和已处理帧Y中，按照预定的规则，确定作为处理对象的MXM(M为1以上的整数)的像素组。下面说明具体的确定方法。这里，如图2所示，将处理对象帧X和已处理帧Y中的横向尺寸设为w，将纵向尺寸设为h。处理像素组确定单元102按照预定的规则α，从多个输入的帧图像中确定处理对象帧X，依次确定处理对象帧X内的以像素位置(i。，jc) (0彡i。彡w-M, 0彡j。彡h-M)为左上端的MXM像素的像素组，即处理对象像素组[式1]
_4] A(We)(以下有时也标记为“处理对象像素组D/，)。即，通过使MXM像素的像素组中的左上端的像素位置(i。，j。)在(0彡i。彡w-M)且(0彡jc ( h-M)的范围内依次变化，由此来依次确定处理对象像素组D1。这里，如果将处理对象像素组D1内的位置设为(ii，jj)，则处理对象帧X内的与上述位置(ii，jj)对应的处理对象像素组D1表示如下。[式2]
权利要求
1.一种图像处理装置，其特征在于，该图像处理装置具有 图像输入单元，其从外部输入由多个帧图像构成的影像信号； 已处理帧存储单元，其存储有已完成图像处理的已处理帧图像；处理像素组确定单元，其从由所述图像输入单元输入的所述影像信号的所述多个帧图像中，按照预定的规则确定处理对象像素组，并且从存储在所述已处理帧存储单元内的已处理帧图像中，按照预定的基准确定已处理像素组；频率成分处理单元，其从由所述处理像素组确定单元确定的处理对象像素组和已处理像素组中，至少提取时间频率成分，对提取出的时间频率成分中的时间高频成分执行预定的系数处理，取得执行了所述预定的系数处理后的执行后处理对象像素组；处理完成帧生成单元，其根据由所述频率成分处理单元取得的执行后处理对象像素组，生成处理完成帧图像；以及图像输出单元，其向外部输出由所述处理完成帧生成单元生成的处理完成帧图像，并且将所述处理完成帧图像作为已处理帧图像存储到所述已处理帧存储单元中，其中，所述频率成分处理单元避免对所述时间高频成分中的、视觉特性敏感度低的成分执行所述预定的系数处理。
2.一种图像处理装置，其特征在于，该图像处理装置具有 图像输入单元，其从外部输入由多个帧图像构成的影像信号； 已处理帧存储单元，其存储有已完成图像处理的已处理帧图像；处理像素组确定单元，其从由所述图像输入单元输入的所述影像信号的所述多个帧图像中，按照预定的规则确定处理对象像素组，并且从存储在所述已处理帧存储单元内的已处理帧图像中，按照预定的基准确定已处理像素组；频率成分处理单元，其从由所述处理像素组确定单元确定的处理对象像素组和已处理像素组中，提取空间频率成分和时间频率成分，对提取出的时间频率成分的时间高频成分中的、空间低频成分和空间高频成分执行预定的系数处理，取得执行了所述预定的系数处理后的执行后处理对象像素组；处理完成帧生成单元，其根据由所述频率成分处理单元取得的执行后处理对象像素组，生成处理完成帧图像；以及图像输出单元，其向外部输出由所述处理完成帧生成单元生成的处理完成帧图像，并且将所述处理完成帧图像作为已处理帧图像存储到所述已处理帧存储单元中。
3.根据权利要求2所述的图像处理装置，其特征在于，所述频率成分处理单元通过对所述处理对象像素组和所述已处理像素组进行空间频率变换来提取空间频率成分，通过对提取出的空间频率成分进行时间频率变换来提取时间频率成分。
4.根据权利要求1 3中的任一项所述的图像处理装置，其特征在于，所述处理完成帧生成单元以使由所述频率成分处理单元取得的多个执行后处理对象像素组至少重叠一个像素以上的方式，对该多个执行后处理对象像素组进行组合，生成处理完成帧图像。
5.根据权利要求1 3中的任一项所述的图像处理装置，其特征在于，所述预定的系数处理是如下处理对频率成分的绝对值与预定的阈值进行比较，在所述频率成分的绝对值大于所述阈值的情况下，保持所述频率成分，在所述频率成分的绝对值小于等于所述阈值的情况下，将所述频率成分置换为预定值。
6.根据权利要求4所述的图像处理装置，其特征在于，所述预定的系数处理是如下处理对频率成分的绝对值与预定的阈值进行比较，在所述频率成分的绝对值大于所述阈值的情况下，保持所述频率成分，在所述频率成分的绝对值小于等于所述阈值的情况下，将所述频率成分置换为预定值。
7.根据权利要求5所述的图像处理装置，其特征在于， 置换所述频率成分的所述预定值为0。
8.根据权利要求6所述的图像处理装置，其特征在于， 置换所述频率成分的所述预定值为0。
9.一种图像处理方法，其由图像处理装置执行，该图像处理装置具有存储有已完成图像处理的已处理帧图像的已处理帧存储单元，该图像处理方法的特征在于，包括以下步骤图像输入步骤，从外部输入由多个帧图像构成的影像信号；处理像素组确定步骤，从在所述图像输入步骤中输入的所述影像信号的所述多个帧图像中，按照预定的规则确定处理对象像素组，并且从存储在所述已处理帧存储单元内的已处理帧图像中，按照预定的基准确定已处理像素组；频率成分处理步骤，从在所述处理像素组确定步骤中确定的处理对象像素组和已处理像素组中，至少提取时间频率成分，对提取出的时间频率成分中的时间高频成分执行预定的系数处理，取得执行了所述预定的系数处理后的执行后处理对象像素组；处理完成帧生成步骤，根据在所述频率成分处理步骤中取得的执行后处理对象像素组，生成处理完成帧图像；以及图像输出步骤，向外部输出在所述处理完成帧生成步骤中生成的处理完成帧图像，并且将所述处理完成帧图像作为已处理帧图像存储到所述已处理帧存储单元中，在所述频率成分处理步骤中，避免对所述时间高频成分中的视觉特性敏感度低的成分执行所述预定的系数处理。
10.一种图像处理方法，其由图像处理装置执行，该图像处理装置具有存储有已完成图像处理的已处理帧图像的已处理帧存储单元，该图像处理方法的特征在于，包括以下步骤图像输入步骤，从外部输入由多个帧图像构成的影像信号；处理像素组确定步骤，从在所述图像输入步骤中输入的所述影像信号的所述多个帧图像中，按照预定的规则确定处理对象像素组，并且从存储在所述已处理帧存储单元内的已处理帧图像中，按照预定的基准确定已处理像素组；频率成分处理步骤，从在所述处理像素组确定步骤中确定的处理对象像素组和已处理像素组中，提取空间频率成分和时间频率成分，对提取出的时间频率成分的时间高频成分中的、空间低频成分和空间高频成分执行预定的系数处理，取得执行了所述预定的系数处理后的执行后处理对象像素组；处理完成帧生成步骤，根据在所述频率成分处理步骤中取得的执行后处理对象像素组，生成处理完成帧图像；以及图像输出步骤，向外部输出在所述处理完成帧生成步骤中生成的处理完成帧图像，并且将所述处理完成帧图像作为已处理帧图像存储到所述已处理帧存储单元中。
全文摘要
本发明提供图像处理装置和图像处理方法。图像处理装置具有处理像素组确定单元，其从输入的影像信号的多个帧图像中，按照预定规则确定处理对象像素组，并从存储的已处理帧图像中，按照预定基准确定已处理像素组；频率成分处理单元，其从处理对象像素组和已处理像素组中至少提取时间频率成分，对时间频率成分中的时间高频成分执行预定的系数处理，取得执行后处理对象像素组；处理完成帧生成单元，其根据执行后处理对象像素组，生成处理完成帧图像；以及图像输出单元，其进行处理完成帧图像的输出和向已处理帧存储单元的存储，其中，频率成分处理单元避免对时间高频成分中的视觉特性敏感度低的成分执行预定的系数处理。
文档编号G06T1/00GK102446339SQ201010511768
公开日2012年5月9日 申请日期2010年10月14日 优先权日2010年10月14日
发明者平贺督基, 文仲丞, 椎野寿树, 藤林晓 申请人:株式会社摩如富