图像处理装置、图像处理方法、程序以及成像设备的制作方法
【专利摘要】本公开涉及图像处理装置、图像处理方法、程序以及成像设备。提供一种图像处理装置，包括：降噪强度设置单元，设置用于去除预定的噪音分量的降噪的强度；以及降噪强度校正单元，基于根据边缘率获得的校正数据来校正降噪的强度。
【专利说明】图像处理装置、图像处理方法、程序以及成像设备
【技术领域】
[0001]本公开涉及图像处理装置、图像处理方法、程序以及成像设备。
【背景技术】
[0002]存在这样的情况，其中，由于图像传感器等的特性而导致的噪音被叠加到从由成像设备进行的成像操作获得的图像数据上。用于去除这样的噪音的处理通常被称为降噪(NR, noise reduction)处理,并且已经提出了关于降噪处理的各种技术。例如，日本未审专利申请公开N0.2008-177724公开一种技术，其中，确定边缘的存在与否，并且当确定附近存在边缘时，在边缘附近不执行降噪处理。
【发明内容】
[0003]在日本未审专利申请公开N0.2008-177724中公开的技术存在的问题是，尽管当边缘被留下时噪音可以被去除，但是降噪处理在边缘附近未被执行，这样，在边缘周围的S/N比(信噪比)劣化。
[0004]因此，希望提供这样一种图像处理装置、图像处理方法、程序以及成像设备，其可以根据指示边缘程度的边缘率来适当地设置降噪的强度。
[0005]根据本公开实施例，提供一种图像处理装置，该图像处理装置包括:降噪强度设置单元，设置用于去除预定的噪音分量的降噪的强度；以及降噪强度校正单元，基于根据边缘率获得的校正数据来校正降噪的强度。
[0006]根据本公开实施例，提供一种图像处理装置，该图像处理装置包括:降噪强度设置单元，设置用于去除预定的噪音分量的降噪的强度；边缘率计算单元，基于预定的估计值来计算边缘率；降噪强度校正单元，根据边缘率来校正降噪的强度；以及噪音去除单元，去除噪音分量。预定的估计值是基于第一块与第二块之间的SAD的值来设置的，该第一块是在关注的像素周围以预定大小设置的，该第二块是在不同于关注的像素的像素周围以与预定大小相同的大小设置的。噪音去除单元基于校正的降噪强度和SAD的值来去除噪音分量。
[0007]根据本公开实施例，提供一种图像处理装置中的图像处理方法，该方法包括:设置用于去除预定噪音分量的降噪的强度；以及根据边缘率来校正降噪的强度。
[0008]根据本公开实施例，提供一种使计算机执行图像处理装置中的图像处理方法的程序，该方法包括:设置用于去除预定噪音分量的降噪的强度；以及根据边缘率来校正降噪的强度。
[0009]根据本公开实施例，提供一种成像设备，该成像设备包括:成像单元；降噪强度设置单元，设置用于去除预定的噪音分量的降噪的强度；降噪强度校正单元，基于根据边缘率获得的校正数据来校正降噪的强度；以及噪音去除单元，基于校正的降噪强度来对通过成像单元获取的图像数据执行降噪处理。
[0010]根据上述的本公开的至少一个实施例，可以适当地设置由噪音去除单元执行的降噪处理中的降噪的强度。【专利附图】
【附图说明】
[0011]图1是用于描述图像数据的输入电平与噪音方差之间的关系的示图；
[0012]图2是用于描述降噪的强度是根据图像数据的输入电平来改变的例子的示图；
[0013]图3是用于描述根据本公开第一实施例的图像处理装置的配置的例子的示图；
[0014]图4是用于描述校正的数据的例子的表格；
[0015]图5是用于描述校正的数据的例子的示图；
[0016]图6是用于描述校正的数据的另一个例子的示图；
[0017]图7是示出根据本公开第一实施例的处理的流程的例子的流程图；
[0018]图8是用于描述根据本公开第二实施例的图像处理装置的配置的例子的示图；
[0019]图9是用于描述SAD值的计算方法的例子的示图；
[0020]图10是用于描述用于计算多个SAD值的平均值的处理的例子的示图；
[0021]图11是示出根据本公开第二实施例的处理的流程的例子的流程图；
[0022]图12是用于描述根据本公开第三实施例的图像处理装置的配置的例子的示图；
[0023]图13是示出根据本公开第三实施例的处理的流程的例子的流程图；
[0024]图14是用于描述一个变型例的示图；
[0025]图15是用于描述另一个变型例的示图；以及
[0026]图16是用于描述再一个变型例的不图。
【具体实施方式】
[0027]在下文中，将参照附图对本公开的优选实施例进行详细描述。请注意，在本说明书和附图中，基本上具有相同的功能和结构的结构元件用相同的附图标记表示，并且省略对这些结构元件的重复解释。
[0028]在下文中，将参照附图对本公开的优选实施例进行详细描述。应当注意，将按照如下顺序提供描述。
[0029]〈1.第一实施例>
[0030]<2.第二实施例>
[0031]〈3.第三实施例〉
[0032]<4.变型例 >
[0033]还应当注意，将在下面进行描述的实施例是对本公开来说是优选的特定的例子，并不对本公开的内容有所限制。
[0034]〈1.第一实施例>
[0035][关于图像数据的噪音方差与输入电平之间的关系]
[0036]首先，为了使本公开易于理解，将描述图像数据的输入电平与噪音方差之间的关系。在成像设备中生成的噪音的分量中，存在根据图像数据的输入电平(亮度)改变的噪音。图1示意性地示出当像素的亮度值被设置为X时，相对于亮度值X的噪音方差。从图1可以理解，噪音方差随着亮度值X的增加而增加。这里，如果包括了不依赖于图像数据的亮度的噪音时，那么噪音方差可以被定义为例如下面的公式I。
[0037]公式1:[0038]Or (I》=-yjax + b
[0039]在公式I中，a表示主要从对亮度有依赖的图像传感器的光散粒噪音推导出的噪音分量，并且其基本上与亮度的平方根成比例。b表示不依赖于亮度的底噪(floor noise)的分量，诸如热噪音。X表示像素的亮度值。a和b根据图像传感器的特性来决定。公式I是一个例子，并且，噪声方差可以通过简化的下面的公式(例如，公式2)或者对噪音分量进行更详细地规定的其它公式来定义。可以认为噪音在灵敏度的某个级别或者更低的级别中正态分布。
[0040]公式2:
[0041]if ( jc ) = a + b
[0042]依赖于亮度的噪音可以根据噪音的预计方差通过改变阈值来被有效地去除。使用在公式I中计算的σ (X)，使用公式3来计算每个像素的阈值Th。
[0043]公式3:
[0044]Th=S* ο (X)
[0045]在公式3中的S是强度调整值，并且，其默认值是在例如成像设备出厂之前设置的。强度调整值S可以是变量。例如，强度调整值S可以根据用户的设置而改变。当用户将降噪的强度设置为高时，强度调整值S增加，并且，当用户将降噪的强度设置为低时，强度调整值S减小。
[0046]使用公式3计算的阈值针对噪音去除单元设置，该噪音去除单元执行降噪处理。作为噪音去除单元，以ε (epsilon)滤波器或小波滤波器为例。如图2所示，降噪的强度可以通过增加阈值来提升，并且降噪的强度可以通过减小阈值来降低。通过使用针对每个像素计算的阈值的降噪处理，噪音可以被有效地去除。
[0047]如果阈值Th是参照其上叠加有噪音的图像数据计算的，那么阈值Th的精确度会劣化。结果，具有不当强度的降噪会被施加到数据。特别是，当具有不当强度的降噪被施加到图像数据的边缘附近时，会出现丢失边缘的问题，并且，因此，图像的质量会急剧地劣化。这样，在本公开中，通过根据边缘率来校正阈值Th，在图像中的边缘区域中的降噪的强度被更适当地调整。在下文中，将描述关于本公开的内容的特定例子。
[0048][图像处理装置的配置]
[0049]图3是用于描述根据本公开第一实施例的图像处理装置的配置的示图。图像处理装置被构建在例如成像设备中。附图标记101、102和103分别表示包括在成像设备中的图像传感器、模拟前端(AFE)和缓存存储器。缓存存储器103的后面的部分被连接到图像处理装置I。缓存存储器103存储一个帧或者由图像处理装置I的处理所需的大小的图像数据，并且，通过图像处理装置I对存储在缓存存储器103中的图像数据执行降噪处理。
[0050]图像处理装置I被配置为包括，例如，降噪强度设置单元104、边缘率计算单元
105、校正数据计算单元106、降噪强度校正单元107和噪音去除单元108。在该配置中，其中的一部分可以被包括在成像设备的配置中，或者与示例的配置不同的配置可以被添加到图像处理装置I。
[0051]应当注意，尽管在图中未示出，成像设备可以被配置为具有:诸如IXD (液晶显示器)的显示装置、诸如硬盘的存储器、或者USB (通用串行总线)、或者控制成像设备的每个单元的系统控制器。在对已经由图像处理装置I进行了处理的图像数据执行众所周知的数字图像处理后，该图像数据被显示在显示装置上，或者存储在存储器中。
[0052]对每个单元进行详细描述。来自被摄体的光学图像使用成像设备的透镜和光圈(在图中省略)被聚集(condense)。该光学图像的光量通过光圈来调整。聚集的光学图像由图像传感器101光电转换，从而生成包括电信号的模拟图像数据。图像传感器101由CXD(电荷耦合器件)传感器、CMOS (互补金属氧化物半导体)传感器等来配置。图像传感器101具有呈例如拜尔(Bayer)阵列的RGB滤色器。
[0053]通过对从图像传感器101供应的模拟图像数据执行例如⑶S (相关双采样)处理，AFE102适当地调整S/N (信噪)比。此外，AFE102通过执行AGC (自动增益控制)来控制增益。另外，AFE102对模拟图像数据执行A/D (模拟到数字)转换处理，从而生成数字图像数据。AFE102输出生成的数字图像数据。从AFE102输出的数字图像数据被供应到缓存存储器 103。
[0054]缓存存储器103是存储从AFE102供应的数字图像数据的存储器。缓存存储器103存储图像处理装置I执行后续处理所需的量的图像数据。例如，一个像素被设置为关注的像素，然后，具有在中心处包含有该关注的像素的预定区域的图像数据被供应到缓存存储器103。缓存存储器103可以例如以一个帧的大小来存储图像数据。图像处理装置I可以被设计为针对一个帧的图像数据的预定区域执行处理。从缓存存储器103输出的图像数据被供应到降噪强度设置单元104、边缘率计算单元105和噪音去除单元108。
[0055]将描述图像处理装置I的每个单元。降噪强度设置单元104使用关注的像素的亮度值、或者除了关注的像素的亮度值以外的关注的像素周围的像素的亮度值来计算充当参照(在下文中，适当地被称为参照亮度信息)的亮度信息。降噪强度设置单元104使用参照亮度信息来计算噪音方差σ U)。噪音方差可以使用上述的公式I来计算。在公式I中的X对应于参照亮度信息。在公式I中的a和b是基于图像传感器101的特性的值，并且是成像设备的已知的值。降噪强度设置单元104将作为已知值的a和b保留在未在图中示出的存储器等中。这样，降噪强度设置单元104可以使用公式I来计算噪音方差σ U)。
[0056]降噪强度设置单元104将预定强度调整值S乘以噪音方差σ(χ)，以计算阈值Th。应当注意，由降噪强度设置单元104计算的阈值Th被适当地称为阈值Thl。使用阈值Thl来设置降噪的强度。由降噪强度设置单元104设置的降噪的强度被供应到降噪强度校正单元 107。
[0057]边缘率计算单元105参照关注的像素以及关注的像素周围的像素的亮度的分布来计算关注的像素的边缘率。边缘率指示边缘的程度，并且，例如，当边缘率低时,关注的像素是图像的平坦部分的像素，当边缘率高时，关注的像素是边缘上的像素。
[0058]用于计算第一实施例中的边缘率的方法未特别地限制。例如，计算关注的像素的亮度值与周边的像素的亮度值之间的差，因此，可以根据其平均值来决定边缘率。例如，一维或二维差分滤波器可以被应用于在关注的像素周围具有预定大小(例如3X3像素)的区域，从而决定作为边缘率的结果。由边缘率计算单元105计算的边缘率被供应到校正数据计算单元106。
[0059]校正数据计算单元106根据从边缘率计算单元105供应的边缘率来计算校正数据。将在稍后描述校正数据的计算的例子。
[0060]降噪强度校正单元107基于从校正数据计算单元106供应的校正数据来校正由降噪强度设置单元104设置的降噪的强度。降噪强度校正单元107将该校正数据乘以例如阈值Thl，从而计算作为最终的降噪的强度的阈值Th2，从而校正降噪的强度。降噪强度校正单元107将阈值Th2供应到噪音去除单元108。
[0061]噪音去除单元108基于阈值Th2来执行降噪处理以去除噪音。噪音去除单元108由例如ε滤波器来配置。ε滤波器是二维滤波器，并且具有使用阈值Th2对输入的图像数据执行非线性滤波处理的功能。应当注意，噪音去除单元108并不限于ε滤波器，只要该单元可以根据诸如阈值的某些设置值来改变降噪的强度即可。噪音去除单元108可以是另一种滤波器，例如小波滤波器等。噪音去除单元108将已经进行了降噪处理的图像数据输出。
[0062]对从噪音去除单元108输出的图像数据执行照相机信号处理，诸如:去马赛克、AF(自动聚焦)、ΑΕ (自动曝光)或者AWB (自动白平衡)。已经进行了照相机信号处理的图像数据被供应到例如显示装置，然后，基于该图像数据，图像被显示在图像装置上。已经进行了照相机信号处理的图像数据可以以预定格式进行压缩，并且，压缩的图像数据可以被存储在存储器中。
[0063][图像处理装置的操作]
[0064]将描述图像处理装置I的操作的例子。已经描述了缓存存储器103存储图像数据，该图像数据包括设置为关注的像素的像素，以及在该关注的像素周围的3 (像素)Χ3 (像素)的块。
[0065]降噪强度设置单元104使用具有3X3像素的块的图像数据来设置参照亮度信息Xo关于参照亮度信息X，例如，关注的像素的亮度值原样地被设置为参照亮度信息X。为了降低噪音的影响，在该块中的9个像素的亮度值的平均值或中间值可以被设置为参照亮度信息X。降噪强度设置单元104基于公式I使用参照亮度信息X和作为已知值的a和b来计算噪音方差σ U)。然后，降噪强度设置单元104基于公式3来计算基于噪音方差σ(X)的阈值Thl。阈值Thl被供应到降噪强度校正单元107。
[0066]与由降噪强度设置单元104执行的处理并行，边缘率计算单元105计算边缘率。该边缘率被供应到校正数据计算单元106。校正数据计算单元106根据边缘率来计算校正数据，然后，将计算得到的校正数据供应到降噪强度校正单元107。降噪强度校正单元107基于校正数据来校正阈值Thl，并计算作为最终的降噪强度的阈值Th2。阈值Th2被供应到噪音去除单元108。噪音去除单元108基于阈值Th2来执行降噪处理。
[0067]当对关注像素执行的处理结束时，设置新的关注像素，并且，重复如上所述的相同的处理。关注的像素以例如光栅扫描的顺序来设置。使用在图像处理装置I中的处理，获得了其中噪音被去除或降低的图像数据。
[0068][校正数据的例子]
[0069]将描述由校正数据计算单元106计算的校正数据的例子。校正数据计算单元106根据从边缘率计算单元105供应的边缘率，将关注的像素分类为例如边缘部分、细节部分(具有细微模式的部分等)、以及平坦部分(其中的图像很少变化的部分)中的任意一个。每一种分类都与作为校正数据的例子的放大率相关联。放大率被设置为例如介于O与I之间的预定值。
[0070]如图4中所举例示出的，当边缘率是在从O到低于或等于预定值Pl的值的范围中的值时，例如，其像素被分类到平坦部分中。边缘部分的分类类别与例如1.0的放大率相关联。当边缘率大于预定值Pl并且低于或等于预定值P2时，其像素被分类到细节部分中。细节部分与例如0.8的放大率相关联。当边缘率大于预定值P2时，其像素被分类到边缘部分中。边缘部分与0.5的放大率相关联。
[0071]校正数据计算单元106将根据分类类别的放大率决定为校正数据。应当注意，像素并不是必须被分类到边缘部分等中，可以根据如图5所示的边缘率的量级来决定放大率。如图6所示，放大率可以被设置为基本上线性地改变到预定的边缘率(例如，预定值P2)，并且，针对预定或更高的边缘率，可以被设置为预定值(例如，0.5)。该放大率可以通过对边缘率执行预定的算术操作来计算。
[0072]校正数据计算单元106将决定的放大率供应到降噪强度校正单元107。降噪强度校正单元107将阈值Thl乘以预定的放大率，从而计算阈值Th2。
[0073]由于放大率随着边缘率的增大而减小，因此阈值Th2减小。换句话说，降噪的强度降低。通过这种方式，由于校正被执行，从而使得降噪的强度随着边缘率增大而降低，因此在保持边缘的同时可以有效地去除噪音。此外，即使当边缘率高时，执行具有预定强度的降噪，那么边缘附近的噪音也可以被去除。已经被设置从而有效地去除对亮度有依赖的噪音分量的降噪的强度可以被校正为适当的降噪强度，从而保留边缘。
[0074][处理流程的例子]
[0075]将参照图7的流程图描述根据第一实施例的由图像处理装置I执行的处理的流程的例子。应当注意，处理的一部分将由成像设备的图像传感器或AFE来执行。在步骤STlOl中，图像传感器101执行光电转换处理以获得模拟图像数据。然后，处理前进到步骤ST102。
[0076]在步骤ST102中，AFE102对模拟图像数据执行处理。从由AFE102进行的处理获得数字图像数据。然后，处理前进到步骤ST103。
[0077]在步骤ST103中，处理所需大小的数字图像数据被存储在缓存存储器103中。例如，在中心处包括关注的像素的3X3像素的大小的块的图像数据被存储在缓存存储器103中。当然，块的大小并不限于3X3像素，并且可以被设置为任意大小。然后，处理前进到步骤 ST104。
[0078]在步骤ST104中，降噪的强度由降噪强度设置单元104来设置。如上所述，降噪强度设置单元104设置参照亮度信息，并使用参照亮度信息等来计算噪音方差σ(χ)。然后，噪音方差被乘以预定强度调整值S，以计算阈值Thl。阈值Thl被设置为降噪的强度。然后，处理前进到步骤ST105。
[0079]在步骤ST105中，由边缘率计算单元105来计算边缘率。计算的边缘率被供应到校正数据计算单元106。然后，处理前进到步骤ST106。
[0080]在步骤ST106中，由校正数据计算单元106根据边缘率来计算(决定)校正数据。校正数据被供应到降噪强度校正单元107。处理前进到步骤ST107。
[0081]在步骤ST107中，降噪强度校正单元107基于校正数据来校正降噪的强度。降噪强度校正单元107将例如作为校正数据的例子的预定放大率乘以阈值Thl，以计算阈值Th2，并因此校正降噪的强度。阈值Th2被供应到噪音去除单元108。然后，处理前进到步骤ST108。
[0082]在步骤ST108中，噪音去除单元108基于作为校正的降噪强度的阈值Th2来执行降噪处理。尽管未在图中示出，但是在步骤ST108后，设置新的关注的像素，并且从步骤ST104到步骤ST108的处理被重复。当对图像数据中的所有像素的处理都完成时，处理结束。
[0083]在图7中举例示出的处理的流程中，某些处理可以被并行地执行。例如，步骤ST104、步骤ST105和步骤ST106的处理可以被并行地执行。
[0084]<2.第二实施例>
[0085]接下来，将描述本技术的第二实施例。根据第二实施例的图像处理装置2被以与图像处理装置I相同的方式构建在例如成像设备中。图8是用于描述图像处理装置2的配置的例子的示图。应当注意到，在图8中，相同的附图标记被赋予与图像处理装置I的各部分相同的部分或对应部分。对赋予相同的附图标记的构成元素的重复的描述将适当地省略。
[0086]图像处理装置2被配置为包括:降噪强度设置单元104、校正数据计算单元106、降噪强度校正单元107、SAD (绝对差之和)计算单元201、SAD平均计算单元202、边缘率计算单元203和噪音去除单元204。在各构成元素中，某些可以被包括在成像设备中，或者，不同于举例说明的构成元素的构成元素可以被添加到图像处理装置2。
[0087]SAD计算单元201被连接到缓存存储器103，并且，计算例如多个SAD值，每个SAD值都是基于存储在缓存存储器103中的图像数据的预定估计值的例子。将在稍后描述SAD值的计算的例子。SAD计算单元201被连接到SAD平均计算单元202，并且，多个SAD值被从SAD计算单元201供应到SAD平均计算单元202。SAD计算单元201被进一步连接到噪音去除单元204，并且一个或多个SAD值被从SAD计算单元201供应到噪音去除单元204。
[0088]SAD平均计算单元202计算从SAD计算单元201供应的SAD值的平均值。计算的SAD值的平均值被供应到边缘率计算单元203。
[0089]边缘率计算单元203根据从SAD平均计算单元202供应的SAD值的平均值来计算边缘率。例如，其中描述了 SAD值的平均值以及对应于SAD值的平均值的边缘率的表格被保留，并且，边缘率计算单元203通过读取该表格根据SAD值的平均值来计算边缘率。边缘率可以通过对SAD值的平均值执行预定的算术操作来计算。
[0090]应当注意，边缘率计算单元203被连接到缓存存储器103与噪音去除单元204之间的线，并且，存储在缓存存储器103中的图像数据被配置为被供应到边缘率计算单元203。
[0091]噪音去除单元204基于由降噪强度校正单元107校正的降噪的强度来执行降噪处理。噪音去除单元204例如以与噪音去除单元108相同的方式，由ε滤波器来配置。
[0092]噪音去除单元204使用从SAD计算单元201供应的一个或多个SAD值来进一步执行降噪处理。已经提出了关于使用SAD值的降噪处理的各种技术。作为相关技术的一个例子，在日本未审专利申请公开N0.2009-105533中公开的技术被举例说明。该文献中描述的技术是，以高速捕获多个图像，基于SAD值来决定多个图像的加法比例，并且，根据加法比例来合成多个图像，从而降低噪音。噪音去除单元204基于最终的降噪强度对例如通过重叠多个图像所获得的图像进一步执行降噪处理。[0093][图像处理装置的操作]
[0094]将描述图像处理装置2的操作的例子。将在缓存存储器103存储例如7X7像素大小的块的图像数据的假设下给出描述。
[0095]降噪强度设置单元104将存储在缓存存储器103中的图像数据中的预定像素设置为关注的像素。降噪强度设置单元104设置参照亮度信息X。设置参照亮度信息X的例子如上所述。
[0096]降噪强度设置单元104基于公式I使用参照亮度信息X和作为已知值的a和b来计算噪音方差σ (X)，并基于噪音方差σ (X)来计算阈值Thl。阈值Thl被供应到降噪强度校正单元107。
[0097]SAD计算单元201使用存储在缓存存储器103中的7X7像素大小的块的图像数据来计算多个SAD值。该多个SAD值被供应到SAD平均计算单元202。SAD平均计算单元202计算SAD值的平均值。SAD值的平均值被供应到边缘率计算单元203。边缘率计算单元203根据SAD值的平均值来计算边缘率。计算的边缘率被供应到校正数据计算单元106。
[0098]校正数据计算单元106根据边缘率来生成校正数据。校正数据被供应到降噪强度校正单元107。降噪强度校正单元107基于校正数据来校正阈值Thl，并计算作为最终的降噪强度的阈值Th2。阈值Th2被供应到噪音去除单元204。噪音去除单元204使用SAD值和阈值Th2来执行降噪处理。
[0099]当对关注像素的处理结束时，设置新的关注像素，并且，重复如上所述的相同的处理。关注的像素以例如光栅扫描的顺序来设置。通过在图像处理装置2中执行的处理，获得了其中噪音被去除或降低的图像数据。
[0100][关于SAD]
[0101]将描述由SAD计算单元201计算的SAD值。图9是用于描述计算SAD值的例子的示图。存储在缓存存储器103中的图像数据中的预定像素被设置为关注的像素。设置在中心处包括关注的像素的3X3像素大小的块(在下文中，被适当地称为目标块)。在缓存存储器103中存储的图像数据中，设置在中心处具有与关注的像素不同的像素的与目标块相同的大小的块(在下文中，被适当地称为参照块)。计算针对这些块中的所有像素的在目标块中的像素的亮度值与在参照块中的对应像素的亮度值之差的绝对值之和(在下文中，被适当地称为绝对差之和)。该绝对差之和对应于SAD值。
[0102]多个SAD值是通过改变参照块来获得的。例如，假设图10中示出的7X7像素大小的块的图像数据被存储在缓存存储器103中。图像数据的预定像素被设置为关注的像素，并且3X3像素大小的目标块TB设置在该关注的像素周围。应当注意到，当关注的像素被置于图像端部时，目标块TB的大小可以被适当地调整。
[0103]在7X7像素的块中，设置多个参照块。例如设置三个参照块RB (参照块RB1、参照块RB2和参照块RB3)。应当注意，参照块的数量和位置可以被任意地改变。
[0104]SAD计算单元201对目标块TB以及三个参照块执行SAD值的算术操作处理，以计算三个SAD值。这三个SAD值被供应到SAD平均计算单元202。SAD平均计算单元202计算这三个SAD值的平均值。这三个SAD值的平均值被供应到边缘率计算单元203。
[0105]这里，SAD值的高平均值意味着块的差大，换句话说，像素是边缘的可能性高。这样，边缘率计算单元203计算边缘率，从而使得随着SAD值的平均值的增大，边缘率增大。[0106]通过校正数据计算单元106来计算放大率，从而使得随着边缘率增大，作为校正数据的例子的放大率减小。降噪强度校正单元107根据由校正数据计算单元106计算的放大率来校正降噪的强度。换句话说，校正降噪的强度，从而使得随着边缘率增大，降噪强度降低。基于校正的降噪的强度，由噪音去除单元204执行降噪处理。换句话说，在保持边缘的同时，可以有效地去除或降低噪音。
[0107]以这种方式，根据第二实施例的图像处理装置2使用每个都是估计值的例子的SAD值来计算边缘率。通过基于多个SAD值的平均来计算边缘率，可以以高精度计算边缘率。
[0108]此外，在成像设备等中，当其中使用了 SAD值的任何处理(该处理不必限定于降噪处理，而可以是用于生成深度图的处理或用于获得运动向量的处理)被执行时，SAD值可以被用于计算边缘率的处理中，并且，不需要将用于计算SAD值的配置新添加到该处理。出于这一原因，在不增加电路的大小的情况下，可以执行有效的降噪处理。
[0109][处理的流程]
[0110]将参照图11中示出的流程图描述根据第二实施例的在图像处理装置2中执行的处理的流程的例子。应当注意，处理的一部分由成像设备的图像传感器或AFE来执行。在步骤ST201中，图像传感器101执行光电转换处理以获取模拟图像数据。然后，处理前进到步骤ST202。
[0111]在步骤ST202中，AFE102对模拟图像数据执行处理。从由AFE102执行的处理获得数字图像数据。然后，处理前进到步骤ST203。
[0112]在步骤ST203中，处理所需大小的数字图像数据被存储在缓存存储器103中。7 X 7像素大小的块的图像数据被存储在缓存存储器103中。当然，块大小并不限于7X7像素的大小，并且可以被设置为任意大小。然后，处理前进到步骤ST204。
[0113]在步骤ST204中，降噪的强度由降噪强度设置单元104来设置。如上所述，降噪强度设置单元104设置参照亮度信息，并使用参照亮度信息等来计算噪音方差σ(χ)。然后，噪音方差σ (X)被乘以预定强度调整值S，以计算阈值Thl。阈值Thl被设置为降噪的强度。然后，处理前进到步骤ST205。
[0114]在步骤ST205中，由SAD计算单元201来计算多个SAD值。该多个SAD值被供应到SAD平均计算单元202。然后，处理前进到步骤ST206。
[0115]在步骤ST206中，由SAD平均计算单元202来计算SAD值的平均值。SAD值的平均值被供应到边缘率计算单元105。然后，处理前进到步骤ST207。
[0116]在步骤ST207中，由边缘率计算单元203来计算边缘率。边缘率计算单元203基于SAD值的平均值来计算边缘率。该边缘率被供应到校正数据计算单元106。然后，处理前进到步骤ST208。
[0117]在步骤ST208中，通过校正数据计算单元106来计算校正数据。校正数据计算单元106根据边缘率来计算放大率，然后，将指示计算得到的放大率的信息供应到降噪强度校正单元107。然后，处理前进到步骤ST209。
[0118]在步骤ST209中，基于校正数据来校正降噪的强度。通过将阈值Thl乘以预定放大率来计算作为最终降噪的强度的阈值Th2，降噪强度校正单元107校正降噪的强度。阈值Th2被供应到噪音去除单元204。然后，处理前进到步骤ST210。[0119]在步骤ST210中，噪音去除单元210基于作为校正的降噪强度的阈值Th2来执行降噪处理。尽管未在图中示出，但是在步骤ST210后，设置新的关注的像素，并且从步骤ST204到步骤ST210的处理被重复。当针对图像数据的所有像素的处理都完成时，处理结束。
[0120]在图11中举例示出的处理的流程中，某些处理可以被并行地执行。例如，步骤ST204、步骤ST205、步骤ST206、步骤ST207和步骤ST208的处理可以被并行地执行。
[0121]〈3.第三实施例〉
[0122]接下来，将描述第三实施例。根据第三实施例的图像处理装置3被以与图像处理装置2相同的方式构建在例如成像设备中。图12是用于描述图像处理装置3的配置的例子的示图。应当注意到，在图12中，相同的附图标记被赋予与图像处理装置2的各部分相同的部分或对应部分。对赋予相同的附图标记的构成元素的重复的描述将适当地省略。
[0123]图像处理装置3以与图像处理装置2基本相同的方式配置。与图像处理装置2不同之处在于，提供边缘率计算单元301而不是边缘率计算单元105,并且该边缘率计算单元301被连接在降噪强度设置单元104与降噪强度校正单元107之间。换句话说，图像处理装置3被配置为使得阈值Thl被从降噪强度设置单元104供应到边缘率计算单元301。
[0124]如上所述，在图像处理装置2中，边缘率被设计为根据SAD值的平均值来计算。同时，随着计算了 SAD值的图像数据中的平坦部分的亮度提高，SAD值倾向于增大。这是由于出现在图像传感器101中的光散粒噪音的大小与亮度的平方基本上成比例地增加。换句话说，由于存在在具有高亮度的位置中噪音的振幅高的情况，因此，即使该位置最初不是边缘或者在边缘附近，那么SAD值也增大。出于这一原因，确定边缘率的精度降低。这样，在第三实施例中，出于消除噪音对亮度的依赖的目的，执行用于归一化SAD值的平均的处理。
[0125]例如，通过将SAD值的平均值除以包括亮度的平方的分量的阈值Thl，边缘率计算单元301归一化SAD值的平均值。根据该归一化处理的结果，计算边缘率。由于其它处理与图像处理装置2的处理相同，因此省略重复的描述。
[0126]在归一化处理中，使用了计算用来设置降噪的强度的阈值Thl。换句话说，在不添加用于计算归一化处理所需的参数的新的配置的情况下，可以防止电路等的尺度的增加。此外，由于计算边缘率的精度提高，因此可以防止在例如不是边缘的位置的位置中的降噪的强度的减低。
[0127][处理的流程]
[0128]将参照图13中示出的流程图描述根据第三实施例的在图像处理装置3中执行的处理的流程的例子。应当注意，处理的一部分由成像设备的图像传感器或AFE来执行。在步骤ST301中，由图像传感器101执行光电转换处理以获取模拟图像数据。然后，处理前进到步骤ST302。
[0129]在步骤ST302中，AFE102对模拟图像数据执行处理。从由AFE102进行的处理获得数字图像数据。然后，处理前进到步骤ST303。
[0130]在步骤ST303中，处理所需大小的数字图像数据被存储在缓存存储器103中。例如，7X7像素大小的块的图像数据被存储在缓存存储器103中。当然，块的大小并不限于7X7像素的大小，并且可以被设置为任意大小。然后，处理前进到步骤ST304。
[0131]在步骤ST304中，降噪强度由降噪强度设置单元104来设置。如上所述，降噪强度设置单元104设置参照亮度信息，并使用参照亮度信息等来计算噪音方差σ(χ)。然后，噪音方差σ (X)被乘以预定强度调整值S，以计算阈值Thl。阈值Thl被设置为降噪的强度。然后，处理前进到步骤ST305。
[0132]在步骤ST305中，由SAD计算单元201来计算多个SAD值。该多个SAD值被供应到SAD平均计算单元202。然后，处理前进到步骤ST306。
[0133]在步骤ST306中，由SAD平均计算单元202来计算SAD值的平均值。SAD值的平均值被供应到边缘率计算单元301。然后，处理前进到步骤ST307。
[0134]在步骤ST307中，由边缘率计算单元301来计算边缘率。边缘率计算单元301使用阈值Thl来执行用于归一化SAD值的平均值的处理。边缘率计算单元301将SAD值的平均值除以例如作为由降噪强度设置单元104设置的降噪强度的阈值Thl。边缘率计算单元301根据在归一化处理中计算的值来计算边缘率。该边缘率被供应到校正数据计算单元
106。然后，处理前进到步骤ST308。
[0135]在步骤ST308中，通过校正数据计算单元106来计算校正数据。校正数据计算单元106根据边缘率来计算放大率，并且，将指示计算得到的放大率的信息供应到降噪强度校正单元107。然后，处理前进到步骤ST309。
[0136]在步骤ST309中，基于校正数据来校正降噪的强度。通过将阈值Thl乘以预定放大率来计算作为最终降噪的强度的阈值Th2，降噪强度校正单元107校正降噪的强度。阈值Th2被供应到噪音去除单元204。然后，处理前进到步骤ST310。
[0137]在步骤ST310中，噪音去除单元210基于作为校正的降噪强度的阈值Th2来执行降噪处理。尽管未在图中示出，但是在步骤ST310后，设置新的关注的像素，并且从步骤ST304到步骤ST310的处理被重复。当针对图像数据的所有像素的处理都完成时，处理结束。
[0138]在图13中举例示出的处理的流程中，某些处理可以被并行地执行。例如，步骤ST304、步骤ST305和步骤ST306的处理可以被并行地执行。
[0139]〈4.变型例〉
[0140]在上文中，已经描述了本公开的实施例，但是本公开并不限于上述实施例，并且可以进行各种修改。在下文中，将描述多个变型例。
[0141][第一变型例]
[0142]根据本公开实施例的图像处理装置并不是必须被构建在成像设备中。例如，图像处理装置可以被配置为诸如个人计算机或智能电话的装置的一部分。图14是用于描述第一变型例的示图。在图14中，相同的附图标记被赋予与图像处理装置I的各部分相同的部分或对应部分。对赋予相同的附图标记的构成元素的重复的描述将适当地省略。
[0143]在图14中的附图标记401指示接口。需要处理的图像数据通过接口 401来获取，并且获取到的图像数据被写入到缓存存储器103中。通过接口 401获取的图像数据是存储在可以自由地连接或拆卸的存储器中的图像数据、从互联网下载的图像数据等。对被写入到缓存存储器103的图像数据执行例如与图像处理装置I中执行的降噪处理相同的降噪处理。
[0144]接口 401被连接到图像处理装置4的降噪强度设置单元104。关于基于图像传感器的特性决定的a和b的信息被从接口 401获取，并且该信息被供应到降噪强度设置单元104。降噪强度设置单元104基于上述的公式I来执行算术操作，以根据从接口 401供应的a和b的信息和参照亮度信息X来计算阈值Thl。
[0145][第二变型例]
[0146]可以针对每个预定频带来分割图像数据，并且，可以根据针对每个频带设置的降噪的强度来执行降噪处理。图15是用于描述根据变型例的图像处理装置5的配置的例子的示图。在图15中，相同的附图标记被赋予与图像处理装置I的各部分相同的部分或对应部分。对赋予相同的附图标记的构成元素的重复的描述将适当地省略。
[0147]图像处理装置5被配置为除了边缘率计算单元105和校正数据计算单元106以夕卜，还包括:降噪强度设置单元501、降噪强度校正单元502、带分割单元(带分割滤波器)503、噪音去除单元504、另一个噪音去除单元505、另一个噪音去除单元506、以及带合成单元507。在各构成元素中，某些可以被包括在成像设备中，或者，不同于举例说明的构成元素的构成元素可以被添加到图像处理装置5。
[0148]降噪强度设置单元501设置针对每个带的降噪强度。例如，通过针对每个带来改变上述的公式3中的强度调整值S，可以计算针对每个带的阈值。例如，分别计算针对高频带的阈值ThlO、针对中间频带的阈值Th20、以及针对低频带的阈值Th30。每个阈值都被供应到降噪强度校正单元502。
[0149]降噪强度校正单元502基于从校正数据计算单元106供应的校正数据来校正阈值Thl0、Th20和Th30中的每一个。例如，从校正数据计算单元106供应的预定放大率被分别乘以阈值ThlO、Th20和Th30。
[0150]阈值Thll是通过将预定放大率乘以阈值ThlO计算得到的。阈值Thll被供应到噪音去除单元504。阈值Th21是通过将预定放大率乘以阈值Th20计算得到的。阈值Th21被供应到噪音去除单元505。阈值Th31是通过将预定放大率乘以阈值Th30计算得到的。阈值Th31被供应到噪音去除单元506。
[0151]带分割单元503针对每个频带将存储在缓存存储器103中的图像数据进行分割。带分割单元503将图像数据分割为例如用于三个频带的数据，这三个频带包括:高频带、中间频带和低频带。当然，图像数据可以被更精细地分割。高频带的图像数据被供应到噪音去除单元504。中间频带的图像数据被供应到噪音去除单元505。低频带的图像数据被供应到噪音去除单元506。
[0152]噪音去除单元504基于阈值Thll来执行降噪处理。噪音去除单元505基于阈值Th21来执行降噪处理。噪音去除单元506基于阈值Th31来执行降噪处理。
[0153]带合成单元507对已经通过每个噪音去除单元进行了降噪处理的每个分量的图像数据进行合成。以这种方式，降噪的强度可以在降噪处理中针对每个带进行设置。
[0154][第三变型例]
[0155]图16示出根据变型例的图像处理装置6的配置的例子。在图16中，相同的附图标记被赋予与图像处理装置2的各部分相同的部分或对应部分。对赋予相同的附图标记的构成元素的重复的描述将适当地省略。
[0156]图像处理装置6具有这样的配置，其中，在图像处理装置2中执行的降噪处理针对每个带来执行。此外，在图像处理装置6中，可以针对每个带生成校正数据。
[0157]图像处理装置6被配置为除了 SAD计算单元201、SAD平均计算单元202和边缘率计算单元203以外，还包括:降噪强度设置单元601、校正数据计算单元602、降噪强度校正单元603、带分割单元(带分割滤波器)604、噪音去除单元605、另一个噪音去除单元606、另一个噪音去除单元607、以及带合成单元608。
[0158]降噪强度设置单元601以与降噪强度设置单元501相同的方式计算针对每个带的阈值ThlO、Th20和Th30。阈值ThlO、Th20和Th30被供应到降噪强度校正单元603。
[0159]校正数据计算单元602根据从边缘率计算单元203供应的边缘率来计算针对每个带的校正数据。当边缘率高时，例如，针对高频带的放大率被降低。当边缘率低于或等于阈值时，其像素可以被认为是平坦部分，并且，在不针对每个带进行区分的情况下，可以设置一个放大率。作为用于高频带的放大率，计算放大率Ml。作为用于中间频带的放大率，计算放大率M2。作为用于低频带的放大率，计算放大率M3。放大率Ml、M2和M3被供应到降噪强度校正单元603。
[0160]通过将作为校正数据的例子的放大率乘以阈值，降噪强度校正单元603校正降噪强度。放大率Ml被乘以阈值ThlO，以计算阈值Thl2。阈值Thl2被供应到噪音去除单元605。放大率M2被乘以阈值Th20，以计算阈值Th22。阈值Th22被供应到噪音去除单元606。放大率M3被乘以阈值Th30，以计算阈值Th32。阈值Th32被供应到噪音去除单元607。
[0161]带分割单元604针对每个频带将存储在缓存存储器103中的图像数据进行分割。带分割单元604将图像数据分割为例如用于三个频带的数据，这三个频带包括:高频带、中间频带和低频带。当然，图像数据可以被更精细地分割。高频带的图像数据被供应到噪音去除单元605。中间频带的图像数据被供应到噪音去除单元606。低频带的图像数据被供应到噪音去除单元607。
[0162]噪音去除单元605基于阈值Thl2和从SAD计算单元201供应的SAD值来执行降噪处理。噪音去除单元606基于阈值Th22和从SAD计算单元201供应的SAD值来执行降噪处理。噪音去除单元607基于阈值Th32和从SAD计算单元201供应的SAD值来执行降噪处理。
[0163]带合成单元608对已经通过每个噪音去除单元进行了降噪处理的每个分量的图像数据进行合成。以这种方式，可以针对每个带来计算校正数据，并且，因此，针对每个带的降噪的强度可以使用对应于每个带的校正数据来得以校正。在第三实施例中描述的在图像处理装置3中执行的处理可以针对每个带来执行。
[0164][另一个变型例]
[0165]将描述另一个变型例。在上述的实施例中，SAD被用作估计值的例子，但是也可以使用其它的估计值。例如，作为设置在对应位置中的像素的亮度值之间的平方差的和的SSD(平方差之和)可以被用作估计值。但是，如上所述，当在成像设备中执行使用SAD的处理时，可以使用SAD来计算边缘率，因此，SAD被优选地用作估计值。
[0166]应当注意，在其中不会出现技术矛盾的范围内，在实施例和变型例中示出的配置和处理可以被适当地组合。在其中不会出现技术矛盾的范围内，在举例说明的处理流程中的每个处理的顺序可以被适当地改变。此外，在实施例和变型例中示出的数值、对象等都是例子，并且，本公开并不限于这些实施例的数值等。
[0167]例如，在第三实施例中描述的归一化处理可以被设计为在第二实施例的图像处理装置2中执行。图像处理装置2的边缘率计算单元203被连接到缓存存储器103与噪音去除单元204之间的线。出于这一原因，边缘率计算单元203可以获得关注的像素的亮度值。边缘率计算单元203计算关注的像素的亮度值的平方根。该归一化处理可以被设计为通过将从SAD平均计算单元202供应的SAD值的平均值除以关注的像素的亮度值的平方根来执行。该归一化处理可以被设计为通过下面处理来执行:计算关注的像素以及在关注的像素周围的预定块中的像素的亮度值的平均(平均亮度)，然后将SAD值的平均值除以平均亮度的平方根。
[0168]本公开还可以应用于所谓的云系统，其中，举例说明的处理以分布式方式由多个装置来执行。本公开可以被实现为执行在实施例和变型例中举例说明的处理的系统，该系统是至少执行某些举例说明的处理的装置。
[0169]此外，本公开并不限于装置，并且可以被实现为方法、程序或记录介质。这样的程序被存储在包括在图像处理装置中的诸如ROM (只读存储器)等的存储器中。
[0170]本领域技术人员应当理解，只要在附录的权利要求书或其等价物的范围之内，就可以根据设计要求和其它因素进行各种修改、合并、子合并和改变。
[0171]另外，本技术还可以被配置如下。
[0172](I)—种图像处理装置，包括:
[0173]降噪强度设置单元，设置用于去除预定的噪音分量的降噪的强度；以及
[0174]降噪强度校正单元，基于根据边缘率获得的校正数据来校正降噪的强度。
[0175]( 2 )根据(I)所述的图像处理装置，还包括:
[0176]边缘率计算单元,基于预定的估计值来计算边缘率。
[0177](3)根据(2)所述的图像处理装置，其中，预定的估计值是基于第一块与第二块之间的SAD (绝对差之和)值来设置的，该第一块是在关注的像素周围以预定大小设置的，该第二块是在不同于关注的像素的像素周围以与预定大小相同的大小设置的。
[0178](4)根据(3)所述的图像处理装置，
[0179]其中，计算第一块与多个第二块中的每一个之间的SAD的值，并且，
[0180]其中，预定的估计值是通过对多个SAD的值进行平均获得的值。
[0181](5)根据(4)所述的图像处理装置，
[0182]其中，噪音分类具有对图像数据的输入电平的依赖性，并且，
[0183]其中，预定的估计值是以取消对图像数据的输入电平的依赖性的方式，对通过对多个SAD的值进行平均获得的值进行归一化来获得的。
[0184](6)根据(4)所述的图像处理装置，其中，当关于预定噪音分量的图像数据的输入电平X的平均噪音振幅是使用下列公式来建模时，该预定的估计值是通过将SAD的值的平均除以基于O (X)的值而获得的值，或者，通过将SAD的值的平均除以基于X的值而获得的值，该公式使用与对图像数据的输入电平具有依赖性的噪音分量相对应的常数a、以及与对图像数据的输入电平不具有依赖性的噪音分量相对应的常数b
[0185]
【权利要求】
1.一种图像处理装置，包括: 降噪强度设置单元，设置用于去除预定噪音分量的降噪的强度；以及 降噪强度校正单元，基于根据边缘率获得的校正数据来校正降噪的强度。
2.根据权利要求1所述的图像处理装置，还包括: 边缘率计算单元，基于预定的估计值来计算边缘率。
3.根据权利要求2所述的图像处理装置，其中，所述预定的估计值是基于第一块与第二块之间的SAD值来设置的，所述第一块是在关注的像素周围以预定大小设置的，所述第二块是在不同于关注的像素的像素周围以与所述预定大小相同的大小设置的，其中，SAD是绝对差之和。
4.根据权利要求3所述的图像处理装置， 其中，计算第一块与多个第二块中的每一个之间的SAD的值，并且， 其中，所述预定的估计值是通过对多个SAD的值进行平均获得的值。
5.根据权利要求4所述的图像处理装置， 其中，噪音分量具有对图像数据的输入电平的依赖性，并且， 其中，所述预定的估计值是以取消对图像数据的输入电平的依赖性的方式，对通过对所述多个SAD的值进行平均获得的值进行归一化来获得的。
6.根据权利要求4所述的图像处理装置，其中，当关于所述预定噪音分量的图像数据的输入电平X的平均噪音振幅是使用下列公式来建模时，所述预定的估计值是通过将SAD的值的平均除以基于σ (X)的值而获得的值，或者，通过将SAD的值的平均除以基于X的值而获得的值，该公式使用与对图像数据的输入电平具有依赖性的噪音分量相对应的常数a、以及与对图像数据的输入电平不具有依赖性的噪音分量相对应的常数b
7.根据权利要求1所述的图像处理装置， 其中，降噪强度设置单元设置图像数据的每个带的降噪的强度，并且， 其中，降噪强度校正单元基于校正数据来校正每个带的降噪的强度。
8.根据权利要求1所述的图像处理装置， 其中，降噪强度设置单元设置图像数据的每个带的降噪的强度，并且， 其中，基于根据边缘率获得的每个带的校正数据，降噪强度校正单元校正每个带的降噪的强度。
9.一种图像处理装置，包括: 降噪强度设置单元，设置用于去除预定的噪音分量的降噪的强度； 边缘率计算单元，基于预定的估计值来计算边缘率； 降噪强度校正单元，根据边缘率来校正降噪的强度；以及 噪音去除单元，去除噪音分量， 其中，所述预定的估计值是基于第一块与第二块之间的SAD的值来设置的，该第一块是在关注的像素周围以预定大小设置的，该第二块是在不同于关注的像素的像素周围以与所述预定大小相同的大小设置的，并且，其中，噪音去除单元基于校正的降噪强度和SAD的值来去除噪音分量。
10.一种图像处理装置中的图像处理方法，该方法包括: 设置用于去除预定噪音分量的降噪的强度；以及 根据边缘率来校正降噪的强度。
11.一种用于使计算机执行图像处理装置中的图像处理方法的程序，该方法包括: 设置用于去除预定噪音分量的降噪的强度；以及 根据边缘率来校正降噪的强度。
12.—种成像设备，包括: 成像单元； 降噪强度设置单元，设置用于去除预定的噪音分量的降噪的强度； 降噪强度校正单元，基于根据边缘率获得的校正数据来校正降噪的强度；以及 噪音去除单元，基于校正的降噪强度来对通过成像单元获取的图像数据执行降噪处理。
【文档编号】H04N5/357GK103581633SQ201310296619
【公开日】2014年2月12日 申请日期:2013年7月16日 优先权日:2012年7月24日
【发明者】川口勇辉, 小磯学, 松下伸行 申请人:索尼公司