噪声处理装置及噪声处理方法与流程

文档序号:18399565发布日期:2019-08-09 23:44阅读:332来源:国知局
噪声处理装置及噪声处理方法与流程

本发明涉及一种图像的噪声处理技术。



背景技术:

以往,作为图像的噪声处理技术,已知有利用多重分辨率变换按每个频带进行降噪处理的技术。

专利文献1中记载有如下内容:对原图像实施包括图像尺寸缩小在内的多重分辨率变换处理来生成不同分辨率的多个频带图像,对该频带图像的肤色区域中信号强度的变化量为特定的阈值以下的像素,实施使信号强度的变化量衰减的信号强度调整,对该已实施信号强度调整的频带图像实施包括图像尺寸放大在内的逆多重分辨率变换处理,由此生成分辨率与原图像相同且已去除肤色区域的皱纹或斑点的彩色图像。并且,专利文献1中记载有如下内容:进一步对已进行处理的彩色图像中的肤色区域添加微弱的噪声信号,由此设为在视觉上无违和感的图像。

专利文献2中记载有如下内容:将原图像分离为低频成分图像和高频成分图像,仅对高频成分图像去除噪声且对高频成分图像中除了边缘像素以外的区域添加随机的无彩色的噪声,并合成未实施噪声去除及噪声添加的低频成分图像和已实施噪声去除及噪声添加的高频成分图像。

以往技术文献

专利文献

专利文献1:日本特开2005-196270号公报

专利文献2:日本特开2007-028348号公报



技术实现要素:

发明要解决的技术课题

有时欲对利用多重分辨率变换按每个频带进行降噪处理的结构进一步追加噪声添加功能作为选项功能。

专利文献1中公开了对已进行处理的图像中的肤色区域实施噪声添加处理的内容,但并未记载在逆多重分辨率变换处理之前或逆多重分辨率变换处理的中途进行该噪声添加处理,认为在逆多重分辨率变换处理之后以与原图像相同的分辨率进行噪声添加处理。

追加噪声添加功能作为选项功能时,设为在逆多重分辨率变换处理之后进行噪声添加处理的结构的情况下,现实上需要追加噪声添加处理专用的模块。即,作为并不是所有用户都会利用的选项功能而追加噪声添加功能时,不得不说性价比低。

专利文献2中公开了将原图像分离为低频成分图像和高频成分图像,仅对高频成分图像进行噪声去除处理及噪声添加处理的内容,但并未公开以低于原图像的分辨率进行噪声添加处理的内容。

本发明的目的在于提供一种能够利用多重分辨率变换按每个频带进行降噪处理且在添加所期望的噪声时提高性价比的噪声处理装置及噪声处理方法。

用于解决技术课题的手段

为了实现上述目的,本发明的第1方式所涉及的噪声处理装置具备:多重分辨率变换部,对原图像实施包括图像尺寸缩小在内的多重分辨率变换处理来生成不同分辨率的多个频带图像;降噪部,对频带图像实施降噪处理;及逆多重分辨率变换部,对已实施降噪处理的频带图像实施包括图像尺寸放大在内的逆多重分辨率变换处理和噪声添加处理来生成分辨率与原图像相同的输出图像,且以低于原图像的分辨率进行噪声添加处理。

根据本方式,在利用多重分辨率变换按每个频带进行降噪处理的结构中,以低于原图像的分辨率进行噪声添加处理,因此能够利用用于逆多重分辨率变换处理的要素,在输出图像中形成放大尺寸的噪声,欲追加噪声添加功能作为选项功能时能够提高性价比。

本发明的第2方式所涉及的噪声处理装置中,逆多重分辨率变换部在逆多重分辨率变换处理的图像尺寸放大之前进行噪声添加处理。根据本方式,通过在逆多重分辨率变换处理的图像尺寸放大之前进行噪声添加处理,欲追加能添加各种尺寸的噪声的功能作为选项功能时,能够以低成本实现。

本发明的第3方式所涉及的噪声处理装置中,逆多重分辨率变换部以2个以上的分辨率并行进行噪声添加处理。

本发明的第4方式所涉及的噪声处理装置具备噪声尺寸调整部,按每个分辨率切换在噪声添加处理中是否添加噪声。根据本方式,输出图像中可以不始终形成最大尺寸的噪声。

本发明的第5方式所涉及的噪声处理装置具备增益处理部,通过对所添加的噪声施加增益来调整噪声的强度。本方式中,通过增益处理部,能够兼用噪声的强度调整和噪声的尺寸调整。

本发明的第6方式所涉及的噪声处理装置中,增益处理部按每个分辨率对噪声施加不同增益,由此按每个分辨率调整噪声的强度。

本发明的第7方式所涉及的噪声处理装置具备:区域判定部,在原图像中至少判定第1亮度区域和亮度高于第1亮度区域的第2亮度区域;及增益控制部,根据是第1亮度区域还是第2亮度区域而使增益不同。

本发明的第8方式所涉及的噪声处理装置中,当原图像为正图像时,增益控制部使对与第2亮度区域对应的像素添加的噪声的增益小于对与第1亮度区域对应的像素添加的噪声的增益,当原图像为负图像时,增益控制部使对与第2亮度区域对应的像素添加的噪声的增益小于对与第1亮度区域对应的像素添加的噪声的增益。

本发明的第9方式所涉及的噪声处理方法中,对原图像实施包括图像尺寸缩小在内的多重分辨率变换处理来生成不同分辨率的多个频带图像,对频带图像实施降噪处理,对已实施降噪处理的频带图像实施包括图像尺寸放大在内的逆多重分辨率变换处理,且以低于原图像的分辨率实施噪声添加处理,从而生成具有与原图像相同的分辨率的输出图像。

发明效果

根据本发明,能够利用多重分辨率变换按每个频带进行降噪处理且在添加所期望的噪声时提高性价比。

附图说明

图1是表示本发明所涉及的噪声处理装置的结构例的框图。

图2是表示适用本发明所涉及的噪声处理方法的噪声处理例的流程的流程图。

图3是表示图像处理部的主要部分的第1实施例的结构例的框图。

图4是用于说明逆多重分辨率变换的图像尺寸放大与输出图像中的噪声的尺寸之间的关系的说明图。

图5是示意地表示以多个分辨率同时进行噪声添加处理的情况的说明图。

图6是表示图像处理部的主要部分的第2实施例的结构例的框图。

图7是表示按每个分辨率输出个别的噪声信号时的图像处理部的主要部分的结构例的框图。

图8是表示利用按每个分辨率切换是否添加噪声的开关元件时的图像处理部的结构例的框图。

图9是表示适用本发明所涉及的噪声处理装置的数码相机的结构例的框图。

图10是适用本发明的智能手机的一例的外观图。

图11是表示图10的智能手机的结构例的框图。

具体实施方式

以下,根据附图对用于实施本发明所涉及的噪声处理装置及噪声处理方法的方式进行说明。

图1是表示本发明所涉及的噪声处理装置的结构例的框图。

本例的噪声处理装置10包含如下而构成:图像输入部12,输入原图像;图像处理部14,对通过图像输入部12输入的原图像实施包括噪声处理在内的各种图像处理;图像输出部16,输出通过图像处理部14实施了图像处理的图像;存储部18,存储程序及程序的执行所需的信息;及控制部20,根据存储于存储部18的程序,控制噪声处理装置10的各部。图像输入部12能够由输入原图像作为数字数据的输入设备构成。图像处理部14例如能够由硬件电路或者cpu(中央处理器,centralprocessingunit)或硬件电路与cpu的组合构成。图像输出部16能够由输出已实施图像处理的图像作为数字数据的输出设备构成。存储部18能够由暂时性存储设备及非暂时性存储设备构成。非暂时性存储设备中存储程序。控制部20能够由cpu构成。

本例的图像处理部14包含:多重分辨率变换部32,对原图像实施包括图像尺寸缩小在内的多重分辨率变换处理来生成不同分辨率的多个频带图像;降噪部34,分别对多个频带图像实施降噪处理;噪声生成部36,生成噪声;及逆多重分辨率变换部38,对已实施降噪处理的多个频带图像实施包括图像尺寸放大在内的逆多重分辨率变换处理和噪声添加处理来生成分辨率与原图像相同的输出图像。本例的逆多重分辨率变换部38具有噪声添加部39,其对已实施降噪处理的频带图像及逆多重分辨率变换处理中途的图像(以下,称为“处理中图像”)中的任一个图像且分辨率低于原图像的图像,添加通过噪声生成部36生成的噪声。本例中,多重分辨率变换部32、降噪部34、噪声生成部36及逆多重分辨率变换部38通过控制部20控制。为了图像处理的高速化,可以由硬件电路构成图像处理部14的全部,但也可以由硬件电路构成图像处理部14的一部分。并且,噪声生成部36也可以设置于图像处理部14的外部。

图2是表示适用本发明所涉及的噪声处理方法的噪声处理例的流程的流程图。本例的噪声处理通过控制部20根据存储于存储部18的程序执行。

首先,通过图像输入部12输入原图像(步骤s2)。

接着,通过多重分辨率变换部32对原图像实施包括图像尺寸缩小在内的多重分辨率变换处理来生成不同分辨率的多个频带图像(步骤s4)。原图像为二维(有x方向及y方向)的图像,本例的多重分辨率变换部32在x方向及y方向这两个方向上缩小图像尺寸。

接着,通过降噪部34分别对多个频带图像实施降噪处理(步骤s6)。

并且,通过噪声生成部36生成随机噪声(步骤s8)。

接着,通过逆多重分辨率变换部38,对已实施降噪处理的频带图像实施包括图像尺寸放大在内的逆多重分辨率变换处理,且以低于原图像的分辨率实施噪声添加处理,从而生成具有与原图像相同的分辨率的输出图像(步骤s10)。本例的逆多重分辨率变换部38在x方向及y方向这两个方向上放大图像尺寸。并且,本例的逆多重分辨率变换部38能够在x方向及y方向这两个方向上放大噪声的尺寸。

并且,通过图像输出部16输出所生成的输出图像(步骤s12)。

<第1实施例>

图3是表示图1所示的图像处理部14的主要部分的第1实施例的结构的框图。多重分辨率变换部32包含多个缩小器rd1、rd2、rd3、多个放大器ex11、ex12、ex13、多个减法器sb1、sb2、sb3而构成。降噪部34包含多个降噪器nr0、nr1、nr2、nr3而构成。逆多重分辨率变换部38包含多个放大器ex21、ex22、ex23、图像合成用的多个加法器ad11、ad12、ad13、噪声添加用的多个加法器ad20、ad21、ad22、ad23及多个噪声选择器ns1、ns2、ns3而构成。

首先,对通过多重分辨率变换部32进行的包括图像尺寸缩小(降采样)在内的多重分辨率变换处理进行说明。

将输入图像in_img作为非缩小图像l0(“原图像”的一形态),非缩小图像l0通过缩小器rd1被缩小而生成第1缩小图像l1,该第1缩小图像l1通过缩小器rd2被缩小而生成第2缩小图像l2,该第2缩小图像l2通过缩小器rd3被缩小而生成第3缩小图像l3。

非缩小图像l0、第1缩小图像l1及第2缩小图像l2均为二维的图像,通过缩小器rd1、rd2、rd3,x方向的尺寸及y方向的尺寸分别缩小为“1/2”倍。即,第1缩小图像l1的图像尺寸为原图像(非缩小图像l0)的“1/2×1/2”倍,第2缩小图像l2的图像尺寸为原图像的“1/4×1/4”倍,第3缩小图像l3的图像尺寸为原图像的“1/8×1/8”倍。本例的缩小器rd1、rd2、rd3进行lpf(低通滤波器,lowpassfilter)处理及间隔剔除处理。

第1缩小图像l1通过放大器ex11被放大,通过减法器sb1从非缩小图像l0减去该放大结果,从而生成与原图像相同的分辨率即分辨率级别0的频带图像h0。第2缩小图像l2通过放大器ex12被放大,通过减法器sb2从第1缩小图像l1减去该放大结果,从而生成分辨率低于原图像的分辨率级别1的频带图像h1。第3缩小图像l3通过放大器ex13被放大,通过减法器sb3从第2缩小图像l2减去该放大结果,从而生成分辨率比分辨率级别1的频带图像h1更低的分辨率级别2的频带图像h2。第3缩小图像l3为分辨率比分辨率级别2的频带图像h2更低的频带图像(以下还称为“分辨率级别3的频带图像”)。另外,通过放大器ex11、ex12、ex13,x方向的尺寸及y方向的尺寸分别被放大为2倍。分辨率级别0的频带图像h0的图像尺寸与原图像相等,分辨率级别1的频带图像h1的图像尺寸为原图像的“1/2×1/2”倍,分辨率级别2的频带图像h2的图像尺寸为原图像的“1/4×1/4”倍,分辨率级别3的频带图像l3的图像尺寸为原图像的“1/8×1/8”倍。假设将分辨率级别0~3的频带图像h0、h1、h2及l3全部合成时,会生成与原图像相等的图像。即,进行了包括图像尺寸缩小(降采样)在内的多重分辨率变换时,需要通过包括图像尺寸放大(上采样)在内的逆多重分辨率变换重构图像。

本例的多重分辨率变换部32通过用4个频带(4个分辨率)分离原图像来生成4个频带图像h0、h1、h2、l3,但本发明并不特别限定于这种情况,例如,可以用3个频带分离,也可以用5个以上的频带分离。

接着,对通过降噪部34进行的降噪处理进行说明。

对分辨率级别0的频带图像h0、分辨率级别1的频带图像h1、分辨率级别2的频带图像h2及分辨率级别3的频带图像l3,分别通过降噪器nr0、nr1、nr2、nr3实施边缘保存型的平滑化作为降噪处理,从而生成已降噪的分辨率级别0的频带图像h0_nr、已降噪的分辨率级别1的频带图像h1_nr、已降噪的分辨率级别2的频带图像h2_nr及已降噪的分辨率级别3的频带图像l3_nr。判别频带图像中的成分的方向来按每个方向进行滤波的处理等相当于边缘保存型的平滑化。

接着,对通过本例的逆多重分辨率变换部38进行的包括图像尺寸放大(上采样)在内的逆多重分辨率变换处理及噪声添加处理进行说明。

对已降噪的分辨率级别3的频带图像l3_nr,例如按每1个像素,通过加法器ad23加上噪声信号。在此加上的噪声信号是通过噪声生成部36生成的原噪声信号中通过分辨率级别3的噪声选择器ns3选择的部分。加上噪声信号的分辨率级别3的频带图像l3_nr通过放大器ex23被放大为2×2倍,通过加法器ad13加上该放大结果与已降噪的分辨率级别2的频带图像h2_nr,从而生成分辨率级别2的处理中图像l2_nr。

对该分辨率级别2的处理中图像l2_nr,例如按2×2个像素,通过加法器ad22加上噪声信号。在此加上的噪声信号是通过噪声生成部36生成的原噪声信号中通过分辨率级别2的噪声选择器ns2选择的部分。加上噪声信号的分辨率级别2的处理中图像l2_nr通过放大器ex22被放大为2×2倍,通过加法器ad12加上该放大结果与已降噪的分辨率级别1的频带图像h1_nr,从而生成分辨率级别1的处理中图像l1_nr。

对该分辨率级别1的处理中图像l1_nr,例如按4×4个像素,通过加法器ad21加上噪声信号。在此加上的噪声信号是通过噪声生成部36生成的原噪声信号中通过分辨率级别1的噪声选择器ns1选择的部分。加上噪声信号的分辨率级别1的处理中图像l1_nr通过放大器ex21被放大为2×2倍,通过加法器ad11加上该放大结果与已降噪的分辨率级别0的频带图像h0_nr加法运算,从而生成分辨率级别0的处理中图像l0_nr。

对该分辨率级别0的处理中图像l0_nr,例如按8×8个像素,通过加法器ad20加上噪声信号。在此加上的噪声信号是通过噪声生成部36生成的原噪声信号。

噪声生成部36例如生成连续的伪随机数数据作为原噪声信号。本例的原噪声信号是数字信号,例如能够由按每1个像素表示是否添加噪声的“1”信号及“0”信号构成。也可以设为如下结构,即,由按每1个像素表示噪声强度的随机数构成原噪声信号,并根据随机数的大小切换所添加的噪声的强度及切换噪声添加的有无。

本例的噪声选择器ns1、ns2、ns3根据分辨率对通过噪声生成部36生成的原噪声信号进行间隔剔除处理,由此生成实际添加的噪声信号。例如,从在时间上连续的8×8个像素量的原噪声信号,分辨率级别1的噪声选择器ns1提取4×4个像素量的噪声信号,分辨率级别2的噪声选择器ns2提取2×2个像素量的噪声信号,分辨率级别3的噪声选择器ns3提取1个像素量的噪声信号。另外,本例中省略了分辨率级别0的噪声选择器,但在原噪声信号和分辨率级别0的噪声信号中尺寸不同时,设置分辨率级别0的噪声选择器。

加上噪声信号的分辨率级别0的处理中图像l0_nr作为输出图像out_img而从图1的图像输出部16输出。即,作为一边以各分辨率进行噪声添加处理一边进行逆多重分辨率变换处理的逆多重分辨率变换部38的处理结果,输出输出图像out_img。

利用图4,对逆多重分辨率变换的图像尺寸放大(上采样)与输出图像out_img中的噪声的尺寸之间的关系进行说明。

例如,设为分别以4个分辨率(4个频带)添加1个像素的噪声。如此一来,以分辨率级别3添加的1个像素的噪声nz3通过3个放大器ex23、ex22及ex21被放大,其结果,在输出图像out_img中成为8×8个像素的大小的噪声nz30。以分辨率级别2添加的1个像素的噪声nz2通过2个放大器ex22及ex21被放大,其结果,在输出图像out_img中成为4×4个像素的大小的噪声nz20。以分辨率级别1添加的1个像素的噪声nz1通过1个放大器ex21被放大,其结果,在输出图像out_img中成为2×2个像素的大小的噪声nz10。以分辨率级别0添加的1个像素的噪声nz0在输出图像out_img中为1个像素的大小。

另外,上述说明中示出的分辨率的级数(频带数)、所添加的噪声的尺寸及输出图像out_img中形成的噪声的尺寸是为了便于理解的例子,能够考虑处理速度和硬件成本及尺寸来适当确定。并且,本发明并不限定于以所有分辨率进行噪声添加的情况,如之后的实施例中说明,可以以所选择的1个以上的分辨率(1个以上的频带)进行噪声添加。

如以上说明,根据本例的逆多重分辨率变换部38,是将逆多重分辨率变换处理所需的图像尺寸放大用的放大器ex21、ex22、ex23还用于噪声尺寸的放大的结构,因此无需新追加噪声尺寸放大用放大器。换言之,本例的逆多重分辨率变换部38是在逆多重分辨率变换处理的按每个分辨率进行图像尺寸放大之前进行噪声添加处理的结构,因此能够不新追加放大器而在输出图像out_img中形成多个尺寸的噪声。另外,并不限定于放大器,也可以还利用逆多重分辨率变换处理用的其他要素进行噪声添加处理。

<<噪声添加的并行处理>>

图1的多重分辨率变换部32是以多个分辨率(至少2个以上的分辨率)同时进行噪声添加处理的结构。以下,利用图5,对图3所示的结构例中的噪声添加的并行处理进行进一步详细说明。

图5中,设为从已降噪的分辨率级别3(为最低分辨率)的频带图像l3_nr,随着时间t的经过,依次提取每1个像素的块b31、b32、b33、b34(之后省略图示)。对这些提取出的每1个像素的块b31、b32、b33、b34,通过分辨率级别3的噪声添加用的加法器ad23,依次加上1个像素量的噪声信号nd11、nd12、nd13、nd14(之后省略图示)。加上噪声信号的块b31、b32、b33、b34依次被放大为2×2倍,作为2×2个像素的块b21、b22、b23(之后省略图示)而纳入分辨率级别2的处理中图像l2_nr。并且,对分辨率级别2的处理中图像l2_nr的块b21、b22、b23,通过分辨率级别2的噪声添加用的加法器ad22,依次加上2×2个像素量的噪声信号nd22、nd23、nd24(之后省略图示)。加上噪声信号的块b21、b22、b23依次被放大为2×2倍,作为4×4个像素的块b11、b12(之后省略图示)而纳入分辨率级别1的处理中图像l1_nr。并且,对分辨率级别1的处理中图像l1_nr的块b11、b12,通过分辨率级别1的噪声添加用的加法器ad21,依次加上4×4个像素量的噪声信号nd33、nd34(之后省略图示)。加上噪声信号的块b11、b12依次被放大为2×2倍,作为8×8个像素的块b01(之后省略图示)而纳入分辨率级别0的处理中图像l0_nr。并且,对分辨率级别0的处理中图像l0_nr的块b01,通过分辨率级别0的噪声添加用的加法器ad20,依次加上8×8个像素量的噪声信号nd44(之后省略图示)。

这种并行处理中,噪声添加用的多个加法器ad20、ad21、ad22、ad23以多个分辨率(本例中为,4个分辨率)同时进行噪声添加。并且,同时进行逆多重分辨率变换处理和噪声添加处理。即,可知与不将噪声添加处理纳入逆多重分辨率变换处理的情况相比,通过将噪声添加处理纳入逆多重分辨率变换处理中,也可稍微抑制整个处理时间的增加。

图3所示的结构例中,可以说通过噪声选择器ns1~ns3,以按每个分辨率而不同的数据尺寸,从原噪声信号选择实际添加的噪声,由此支持如图5所示那样的噪声添加的并行处理。

另外,上述的噪声添加的并行处理的说明中,1次从各图像提取的块(b31~b34、b21~b23、b11~b12、b01)的尺寸及1次添加的噪声信号(nd11~nd14、nd22~nd24、nd33~nd34、nd44)的尺寸是为了便于理解的例,能够考虑处理速度和硬件成本及尺寸来适当确定。并且,本发明并不限定于以多个分辨率同时进行噪声添加的情况,也可以在分辨率之间错开噪声添加的时机。

<第2实施例>

图6是表示图1所示的图像处理部14的主要部分的第2实施例的结构的框图。另外,对与图3所示的第1实施例的图像处理部14相同的构成要件标注相同符号,以下省略已说明的内容。

本例的图像处理部14具备多个增益处理部gp0、gp1、gp2、gp3,其通过对所添加的噪声施加增益来调整所添加的噪声的强度。以下,有时将多个增益处理部gp0、gp1、gp2、gp3总称为“增益处理部gp”来记载。在此,“增益”是噪声的输入输出比,本例中,是输入至增益处理部gp的噪声的强度与从增益处理部gp输出的噪声的强度(即,用噪声添加用的加法器ad20~ad23添加的噪声的强度)之比。

本例的增益处理部gp通过对噪声施加按每个分辨率而不同的增益,能够按每个分辨率调整所添加的噪声的强度。即,能够按输出图像中的噪声的每个尺寸调整输出图像中形成的噪声的强度。

如已在第1实施例中说明,输出图像中形成的噪声的尺寸依赖于添加噪声时的分辨率。即,逆多重分辨率变换处理的上采样(图像尺寸放大)与噪声的尺寸放大联动。但是,根据本例的增益处理部gp,通过按每个分辨率切换是否将增益设为零,能够按每个分辨率切换是否添加噪声。即,本例的增益处理部gp是本发明中的“噪声尺寸调整部”的一方式,不仅具有调整噪声强度的功能,还具有调整输出图像中形成的噪声的尺寸的功能。

例如,欲在输出图像中仅形成2×2个像素(纵2个像素×横2个像素)的大小的噪声时,将分辨率级别3的增益处理部gp3、分辨率级别2的增益处理部gp2及分辨率级别0的增益处理部gp0的增益设定为零,且将分辨率级别1的增益处理部gp2的增益设定为大于零。如此,通过按每个分辨率切换是否将增益设为零,能够在输出图像中形成所期望的大小的噪声。

并且,本例的控制部20(参考图1)是本发明的“区域判定部”的一方式,判定原图像中的低亮度区域(为“第1亮度区域”)和高亮度区域(亮度高于“第1亮度区域”的“第2亮度区域”)。并且,本例的控制部20是本发明的“增益控制部”的一方式,根据是低亮度区域还是高亮度区域,使增益处理部gp针对噪声的增益不同。另外,基于控制部20的区域判定并不限定于判定亮度不同的2个亮度区域的情况,也可以是判定亮度不同的3个以上的亮度区域的情况。并且,基于控制部20的增益控制也可以是在亮度不同的3个以上的区域使依赖于亮度的增益不同的情况。

例如,如从胶片(film)制作银盐照片时等进行粒状性添加的情况下,优选根据原图像中的每个区域的明度调整增益。

例如,从负片(negativefilm)制作的银盐照片(正像)具有在阴影部分(低亮度区域)可观察到粒状性但在高亮部分(高亮度区域)几乎观察不到粒状性的特征。为了制作具有与这种银盐照片相同的粒状性的图像,原图像为正图像(正像图像)时,本例的控制部20使对添加随机噪声的对象图像中与原图像的高亮度区域(第2亮度区域)对应的像素添加的随机噪声的增益小于对与原图像的低亮度区域(第1亮度区域)对应的像素添加的随机噪声的增益。换言之,正图像中,使针对低亮度区域(第1亮度区域)的随机噪声的增益大于针对高亮度区域(第2亮度区域)的随机噪声的增益。并且,原图像为负图像(负像图像)时,本例的控制部20使对添加随机噪声的对象图像中与原图像的低亮度区域(第1亮度区域)对应的像素添加的随机噪声的增益小于对与原图像的高亮度区域(第2亮度区域)对应的像素添加的随机噪声增益。换言之,负图像中,使针对高亮度区域(第2亮度区域)的随机噪声的增益大于针对低亮度区域(第1亮度区域)的随机噪声的增益。

如以上说明,根据本实施例,能够根据设计意图或者用户意图,通过增益调整噪声强度。并且,根据本实施例,能够不依赖于多重分辨率变换处理的频带分割数而调整输出图像中形成的噪声的尺寸。

<噪声添加的变化(variation)>

对噪声添加的变化进行说明。

前述第1实施例及第2实施例中,将对噪声添加用的多个加法器ad20~ad23(“噪声添加部”的一方式),从噪声生成部36输出共同的原噪声信号的结构为例进行了说明,但本发明并不限定于这种情况。例如,如图7所示,也可以设为分别对噪声添加用的多个加法器ad20~ad23(噪声添加部),从噪声生成部36输出个别的噪声信号的结构。

将从最低分辨率(本例中为分辨率级别3)的已降噪的频带图像l3_nr依次各提取1个像素的情况且逆多重分辨率变换处理的每个分辨率的图像尺寸放大为2×2倍的情况为例进行说明。这种情况下,对分辨率级别3的噪声添加用的加法器ad23输出1个像素单位的噪声信号,对分辨率级别2的噪声添加用的加法器ad22输出2×2个像素单位的噪声信号,对分辨率级别1的噪声添加用的加法器ad21输出4×4个像素单位的噪声信号,对分辨率级别0的噪声添加用的加法器ad20输出8×8个像素单位的噪声信号。即,设为对噪声添加用的加法器ad20~ad23(噪声添加部)赋予按每个分辨率而不同的数据尺寸的个别噪声的结构。

本例中,可以说根据分辨率,使对噪声添加部(加法器ad20~ad23)赋予的噪声信号的数据量(噪声数据量)不同,支持如图5所示那样的噪声添加的并行处理。

并且,前述第2实施例中,将通过将增益处理部gp的增益设定为零,按每个分辨率切换噪声添加的有无的情况为例进行了说明,但本发明并不限定于这种情况。例如如图8所示,也可以设为利用具有开启状态和关闭状态的开关元件sw0、sw1、sw2、sw3,按每个分辨率切换噪声添加的有无的结构。即,第2实施例的优点在于能够通过增益处理部gp进行噪声强度调整和噪声尺寸调整,但仅进行噪声尺寸调整即可的情况下,也可以设为图8所示的结构。

并且,前述第1实施例及第2实施例中,将对刚从降噪器nr3仅输出了最低分辨率(分辨率级别3)之后的频带图像l3_nr添加噪声,以低于原图像的分辨率的其他分辨率(分辨率级别1~2)对逆多重分辨率处理中途的处理中图像l1_nr、l2_nr添加噪声的情况为例进行了说明,但本发明并不限定于这种情况。也可以设为如下结构,即,在最低分辨率以外的分辨率(例如,分辨率级别0~2)中,也对刚从降噪器nr0~nr2输出之后的频带图像h0_nr、h1_nr、h2_nr添加噪声。本发明中的噪声添加部39能够对已降噪的频带图像及逆多重转换处理中途的图像中的任一图像且分辨率低于原图像的分辨率的图像添加噪声。

并且,将添加随机噪声的情况为例进行了说明,但添加具有规则性的噪声时,也能够适用本发明。

<多重分辨率变换的变化>

多重分辨率变换处理并不限定于利用拉普拉斯(laplacian)金字塔的情况。只要是对原图像进行频带分解并进行包括图像尺寸放大在内的逆多重分辨率变换的情况,就能够适用本发明。例如,可举出利用小波变换的情况或利用傅里叶变换的情况。

<硬件结构的变化>

本实施方式中,图1所示的图像处理部14(多重分辨率变换部32、降噪部34、噪声生成部36、及逆多重分辨率变换部38)及用于执行控制部20中的各种处理(多重分辨率变换处理、降噪处理、噪声生成处理、噪声添加处理、逆多重分辨率变换处理等)的硬件结构能够由如以下示出的各种处理器(processor)构成。各种处理器中,包含通过软件(程序)执行各种处理的通用的处理器即cpu(中央处理器,centralprocessingunit)、fpga(现场可编程门阵列,fieldprogrammablegatearray)等能够在制造之后变更电路结构的处理器即可编程逻辑器件(programmablelogicdevice:pld)、具有asic(专用集成电路,applicationspecificintegratedcircuit)等为了执行特定处理而专用地设计的电路结构的处理器即专用电气电路等。

图像处理部14及控制部20的功能可以通过这些各种处理器中的1个实现,也可以通过相同种类或不同种类的2个以上的处理器(例如,多个fpga或者cpu与fpga的组合)实现。并且,也可以通过1个处理器实现多个功能。作为通过1个处理器实现多个功能的例子,如片上系统(systemonchip:soc)等为代表,有使用由1个ic(集成电路,integratedcircuit)芯片实现包含多个功能的整个系统的功能的处理器的方式。如此,各种功能作为硬件结构利用1个以上的上述各种处理器来实现。而且,更具体而言,这些各种处理器的硬件结构为组合半导体元件等电路元件而成的电气电路(电路,circuitry)。

<数码相机的结构例>

图9是表示适用图1的噪声处理装置10的数码相机的结构例的框图。图9中,对与图1所示的噪声处理装置10相同的构成要件标注相同符号,以下省略已说明的内容。

本例的数码相机200作为图1的图像输入部12而具备摄像部42。摄像部42包含摄像用的光学系统(摄像光学系统)和摄像元件而构成。作为摄像元件,例如使用cmos(互补金属氧化物半导体,complementarymetaloxidesemiconductor)摄像设备或ccd(电荷耦合元件,chargecoupleddevice)摄像设备等摄像设备。并且,数码相机200包含接收用户的指示输入的操作部44及对用户显示包括图像在内的各种信息的显示部46而构成。操作部44由触摸面板等操作设备构成。也可以由硬件开关构成。显示部46由液晶显示设备等显示设备构成。

另外,作为数码相机200,可以使用能够更换摄像光学系统的数码相机。

<智能手机的结构例>

图10是适用本发明的智能手机的一例的外观图。图10所示的智能手机300具有平板状框体302,在框体302的一侧的面具备显示面板321和操作面板322成为一体的显示输入部320。并且,框体302具备扬声器331、麦克风332、操作部340及相机部341。另外,框体302的结构并不限定于此,例如还能够采用显示部与输入部独立的结构,或者采用具有折叠结构或滑动机构的结构。

图11是表示图10的智能手机300的结构例的框图。如图11所示,作为智能手机的主要构成要件,具备无线通信部310、显示输入部320、通话部330、操作部340、相机部341、存储部350、外部输入输出部360、gps(全球定位系统,globalpositioningsystem)接收部370、动作传感器部380、电源部390及主控制部301。并且,作为智能手机300的主要功能,具备进行经由基站装置和移动通信网的移动无线通信的无线通信功能。

无线通信部310根据主控制部301的指示,对容纳于移动通信网的基站装置进行无线通信。使用该无线通信,进行语音数据、图像数据等各种文件数据、电子邮件数据等的收发或web数据或流数据等的接收。

显示输入部320是具备显示面板321和操作面板322的所谓的触摸面板,通过主控制部301的控制,显示图像(静态图像及动态图像)和文字信息等来视觉性地向用户传递信息,并且检测用户对所显示的信息的操作。

显示面板321将lcd(液晶显示器,liquidcrystaldisplay)、oled(有机电致发光,organiclightemittingdiodes)显示器等用作显示设备。操作面板322是以能够视觉辨认显示于显示面板321的显示面上的图像的方式载置,并检测通过用户的手指或笔型输入装置来操作的一个或多个坐标的设备。若通过用户的手指或笔型输入装置操作该设备,则将因操作而产生的检测信号输出至主控制部301。接着,主控制部301根据所接收的检测信号检测显示面板321上的操作位置(坐标)。

如图10所示,智能手机300的显示面板321和操作面板322成为一体而构成显示输入部320,成为操作面板322完全覆盖显示面板321的配置。采用该配置时,操作面板322可以对除显示面板321以外的区域也具备检测用户操作的功能。换言之,操作面板322可具备针对与显示面板321重叠的重叠部分的检测区域(以下,称为显示区域)和针对除此以外的不与显示面板321重叠的外缘部分的检测区域(以下,称为非显示区域)。

另外,可使显示区域的大小与显示面板321的大小完全一致,但并非一定要使两者一致。并且,操作面板322可具备外缘部分和除此以外的内侧部分这两个感应区域。而且,外缘部分的宽度根据框体302的大小等而适当设计。并且,作为在操作面板322中采用的位置检测方式,可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式及静电电容方式等,可采用任意方式。

通话部330具备扬声器331和麦克风332,所述通话部将通过麦克风332输入的用户的语音转换为能够在主控制部301中处理的语音数据来输出至主控制部301,或对通过无线通信部310或者外部输入输出部360接收的语音数据进行解码而从扬声器331输出。并且,如图10所示,例如能够将扬声器331搭载于与设置有显示输入部320的面相同的面,并将麦克风332搭载于框体302的侧面。

操作部340为使用了键开关等的硬件键,接受来自用户的指示。例如,如图10所示,操作部340搭载于智能手机300的框体302的侧面,是若被手指等按下则开启,若手指离开则通过弹簧等的复原力而成为关闭状态的按钮式开关。

存储部350存储主控制部301的控制程序和控制数据、应用软件、将通信对象的名称和电话号码等建立对应关联的地址数据、所收发的电子邮件的数据、通过web浏览而下载的web数据或已下载的内容数据,并且暂时储存流数据等。并且,存储部350由内置于智能手机的内部存储部351和装卸自如且具有外部存储器插槽的外部存储部352构成。另外,构成存储部350的各个内部存储部351和外部存储部352通过使用闪存类型(flashmemorytype)、硬盘类型(harddisktype)、微型多媒体卡类型(multimediacardmicrotype)、卡类型的存储器(例如,microsd(注册商标)存储器等)、ram(随机存取存储器,randomaccessmemory)、rom(只读存储器,readonlymemory)等存储介质来实现。

外部输入输出部360发挥与智能手机300连结的所有外部设备的接口的作用,通过通信等(例如,通用串行总线(usb:universalserialbus)等)或网络(例如,互联网、无线lan(局域网,localareanetwork)、蓝牙(bluetooth)(注册商标)、rfid(射频识别,radiofrequencyidentification)、红外线通信(红外数据协会,infrareddataassociation:irda)(注册商标)、uwb(超宽频,ultrawideband)(注册商标)、紫蜂(zigbee)(注册商标)等)直接或间接地与其他外部设备连接。

作为与智能手机300连结的外部设备,例如有:有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插槽连接的存储卡(memorycard)或sim卡(订户识别模块卡,subscriberidentitymodulecard)/uim卡(用户识别模块卡,useridentitymodulecard)、经由音频/视频i/o(输入/输出,input/output)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的pda(个人数字助理,personaldigitalassistant)、耳机等。外部输入输出部也能够构成为将从这种外部设备接收到传送的数据传递至智能手机300内部的各构成要件或将智能手机300内部的数据传送至外部设备。

gps接收部370根据主控制部301的指示,接收从gps卫星st1~stn发送的gps信号,执行基于所接收的多个gps信号的测位运算处理,检测包含智能手机300的纬度、经度、高度的位置。gps接收部370在能够从无线通信部310或外部输入输出部360(例如,无线lan)获取位置信息时,还能够利用该位置信息检测位置。

动作传感器部380例如具备3轴加速度传感器等,根据主控制部301的指示,检测智能手机300的物理动作。通过检测智能手机300的物理动作,可检测智能手机300的移动方向或加速度。该检测结果被输出至主控制部301。

电源部390根据主控制部301的指示,向智能手机300的各部供给积蓄在电池(未图示)中的电力。

主控制部301具备微处理器,根据存储部350所存储的控制程序或控制数据进行动作,综合控制智能手机300的各部。并且,主控制部301为了通过无线通信部310进行语音通信或数据通信,具备控制通信系统的各部的移动通信控制功能和应用处理功能。

应用处理功能通过由主控制部301根据存储部350所存储的应用软件进行动作来实现。作为应用处理功能,例如有控制外部输入输出部360来与对象设备进行数据通信的红外线通信功能或进行电子邮件的收发的电子邮件功能、浏览网页的web浏览功能等。

并且,主控制部301具备根据接收数据或所下载的流数据等图像数据(静态图像或动态图像的数据),在显示输入部320显示影像等的图像处理功能。图像处理功能是指,主控制部301对上述图像数据进行解码,并对该解码结果实施图像处理,从而将图像显示于显示输入部320的功能。

而且,主控制部301执行针对显示面板321的显示控制和检测通过操作部340、操作面板322进行的用户操作的操作检测控制。

通过执行显示控制,主控制部301显示用于启动应用软件的图标或滚动条等软件键,或者显示用于创建电子邮件的窗口。另外,滚动条是指用于对无法完全落入显示面板321的显示区域的较大图像等,接受移动图像的显示部分的指示的软件键。

并且,通过执行操作检测控制,主控制部301检测通过操作部340进行的用户操作,或者通过操作面板322接受对上述图标的操作或对上述窗口的输入栏输入字符串,或者接受通过滚动条进行的显示图像的滚动请求。

而且,通过执行操作检测控制,主控制部301具备判定对操作面板322的操作位置是与显示面板321重叠的重叠部分(显示区域)还是除此以外的不与显示面板321重叠的外缘部分(非显示区域),并控制操作面板322的感应区域或软件键的显示位置的触摸面板控制功能。

并且,主控制部301还能够检测对操作面板322的手势操作,并根据检测出的手势操作执行预先设定的功能。手势操作表示并非以往的简单的触摸操作,而是通过手指等描绘轨迹、或者同时指定多个位置、或者组合这些来从多个位置对至少一个描绘轨迹的操作。

相机部341是利用cmos(互补金属氧化物半导体,complementarymetaloxidesemiconductor)摄像传感器或ccd(电荷耦合元件,chargecoupleddevice)摄像传感器等摄像元件进行电子摄影的数码相机。并且,相机部341能够通过主控制部301的控制,将通过拍摄获得的图像数据转换为例如jpeg(联合图像专家组,jointphotographiccodingexpertsgroup)等压缩的图像数据,并存储于存储部350,或通过外部输入输出部360和无线通信部310输出。如图10所示,智能手机300中,相机部341搭载于与显示输入部320相同的面,但相机部341的搭载位置并不限于此,可以搭载于显示输入部320的背面,或者也可以搭载多个相机部341。另外,搭载有多个相机部341时,还能够切换用于摄影的相机部341来单独进行摄影,或者同时使用多个相机部341来进行摄影。

对本例的智能手机300与图1的噪声处理装置10(是噪声处理装置的基本结构例)的对比进行说明。例如,将相机部341用作图像输入部12,将主控制部301用作图像处理部14及控制部20,将无线通信部310用作图像输出部16,将存储部350用作存储部18。也可以将外部输入输出部360用作图像输入部12及图像输出部16。

以上,对用于实施本发明的方式进行了说明,但本发明并不限定于上述实施方式及变形例,能够在不脱离本发明宗旨的范围内进行各种变形。

符号说明

10-噪声处理装置,12-图像输入部,14-图像处理部,16-图像输出部,18-存储部,20-控制部,32-多重分辨率变换部,34-降噪部,36-噪声生成部,38-逆多重分辨率变换部,39-噪声添加部,42-摄像部,44-操作部,46-显示部,200-数码相机,300-智能手机,301-主控制部,302-框体,310-无线通信部,320-显示输入部,321-显示面板,322-操作面板,330-通话部,331-扬声器,332-麦克风,340-操作部,341-相机部,350-存储部,351-内部存储部,352-外部存储部,360-外部输入输出部,370-gps接收部,380-动作传感器部,390-电源部,ad11、ad12、ad13-图像合成用加法器,ad20、ad21、ad22、ad23-噪声添加用加法器,b01、b11、b12、b21、b22、b23、b31、b32、b33、b34-块,ex11、ex12、ex13-多重分辨率变换部的放大器,ex21、ex22、ex23-逆多重分辨率变换部的放大器,gp、gp0、gp1、gp2、gp3-增益处理部,h0-分辨率级别0的频带图像,h0_nr-已降噪的分辨率级别0的频带图像,h1-分辨率级别1的频带图像,h1_nr-已降噪的分辨率级别1的频带图像,h2-分辨率级别2的频带图像,h2_nr-已降噪的分辨率级别2的频带图像,l0-非缩小图像(原图像),l0_nr-分辨率级别0的处理中图像,l1-第1缩小图像,l1_nr-分辨率级别1的处理中图像,l2-第2缩小图像,l2_nr-分辨率级别2的处理中图像,l3-第3缩小图像(分辨率级别3的频带图像),l3_nr-已降噪的分辨率级别3的频带图像,nd11、nd12、nd13、nd14、nd22、nd23、nd24、nd33、nd34、nd44-噪声信号,nr0、nr1、nr2、nr3-降噪器,ns1、ns2、ns3-噪声选择器,nz0、nz1、nz2、nz3、nz10、nz20、nz30-噪声,rd1、rd2、rd3-缩小器,sb1、sb2、sb3-减法器,st1~stn-gps卫星,sw0、sw1、sw2、sw3-开关元件,in_img-输入图像,out_img-输出图像。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1