图像信号处理装置、摄像装置及图像处理程序的制作方法

图像信号处理装置、摄像装置及图像处理程序的制作方法
【专利摘要】对图像信号进行校正信号电平的图像校正，低成本生成由输入信号局部校正特性适当抑制噪声的高画质图像信号。图像信号处理装置具备：图像信号输入单元输入图像信号；局部信息获取部由图像信号计算包括关注像素的局部区域像素值统计量作为局部信息；噪声校正单元对图像信号使用局部信息进行噪声校正处理输出噪声校正后图像信号；图像信号校正单元对输出图像信号进行信号电平校正处理输出电平校正后图像信号；图像信号校正强度控制单元决定信号电平校正处理校正强度改变信号电平校正处理输入输出特性；信号校正特性推测单元基于校正强度推测信号电平校正处理电平校正特性；噪声校正强度控制单元与电平校正特性联动控制并计算噪声校正处理校正强度。
【专利说明】图像信号处理装置、摄像装置及图像处理程序

【技术领域】
[0001]本发明涉及图像信号处理装置。例如，涉及进行噪声校正和改变信号电平的各种图像校正的图像信号处理装置。

【背景技术】
[0002]作为本技术的背景领域，例如有专利4109001号公报(专利文献I)。该公报以“本发明提供一种在实施对比度校正或明亮度校正这样的规定的画质校正时，对图像进行有效的噪声去除来改善画质校正的新的画质校正方法”为目的，公开了“对图像实施规定的画质校正时，包括(I)基于图像的电平值，计算出相对于该电平值的画质校正的校正量的步骤、
[2]基于应用噪声去除处理的图像的部位或其附近部位中的校正量，决定噪声的去除强度的步骤、(3)根据所决定的噪声去除强度，以图像的部位为单位去除噪声的步骤、和(4)对去除了噪声的图像实施画质校正的步骤”这样的技术。
[0003]专利文献1:专利4109001
[0004]近几年，参照输入图像的整体或每个区域的直方图来进行基于图像处理的信号延长或灰度校正等，从而推进了实现各种场景中视觉辨认性的提高的图像校正功能的实用化。作为图像校正功能，例如，有逆光校正功能、雾/霞校正功能、宽动态范围功能等，用在民用照相机或监控摄像头等中。此时，若进行信号延长或灰度校正，则信号所包含的噪声分量也会被增强。因此，考虑到基于图像校正功能的信号延长或灰度校正的特性，期望作为前处理而控制噪声校正处理。
[0005]在所述专利文献I中，在决定噪声去除量的步骤中需要预先计算画质校正的校正量，特别是若进行复杂的画质校正，则计算负担会增加。因此，具有成本增加、失去对动态图像中的动态场景的实时性的问题。此外，通过基于噪声去除后的图像信号来决定画质校正的校正量来实现画质校正的性能的提高，但是该结构是无法实现的。


【发明内容】

[0006]本发明的目的在于提供一种高画质且高视觉辨认性的摄像装置。例如，基于图像校正处理中的校正强度的控制量来推测每个代表性的明亮度的信号的校正特性，与推测结果联动地控制每个明亮度的噪声校正的校正强度，从而与被摄体或拍摄场景、拍摄条件无关地用较低的成本且实时地实现基于适当的噪声校正和图像校正的高画质化、视觉辨认性的提闻。
[0007]为了解决上述目的，例如采用权利要求书所记载的构成。
[0008]发明效果
[0009]根据本发明，能够用较低的成本且实时地实现基于噪声校正和图像校正的高画质化、视觉辨认性的提高。

【专利附图】

【附图说明】
[0010]图1是表示本发明的第I实施例的图像信号处理装置的第一示意图。
[0011]图2是表示本发明的第I实施例的与图像信号处理装置的噪声校正强度控制相关的处理流程的一例的图。
[0012]图3(a)是表示使用了本发明的第I实施例的统计信息的信号电平校正的校正强度控制方法的一例的图。
[0013]图3(b)是表示根据本发明的第I实施例的所决定的校正强度而图像信号校正部0104进行的信号电平校正方法的一例的图。
[0014]图4(a)是表示本发明的第I实施例的信号校正特性推测处理的一例的第I图。
[0015]图4(b)是表示本发明的第I实施例的信号校正特性推测处理的一例的第2图。
[0016]图5(a)是表示本发明的第I实施例的使用了代表明亮度下的信号校正量的噪声校正强度的控制方法的一例的图。
[0017]图5(b)是表示本发明的第I实施例的每个明亮度的噪声校正强度的控制方法的一例的图。
[0018]图5(c)是表示本发明的第I实施例的噪声校正强度的控制的效果的一例的图。
[0019]图6是表示本发明的第2实施例的图像信号处理装置的示意图。
[0020]图7是表示本发明的第2实施例的AC分量的校正强度的控制方法的一例的图。
[0021]图8(a)是表示本发明的第2实施例的代表明亮度下的不同频率的噪声校正强度的控制方法的一例的图。
[0022]图8(b)是表示本发明的第2实施例的每个频率的噪声校正强度的控制方法的一例的图。
[0023]图9是表示本发明的第3实施例的图像信号处理装置的示意图。
[0024]图10是表示本发明的第3实施例的信号校正特性推测信息的保存方法的一例的图。
[0025]图11是表示本发明的第4实施例的图像信号处理装置的示意图。
[0026]图12(a)是表示本发明的第4实施例的使用了代表明亮度下的信号校正量的边缘增强强度的控制方法的一例的图。
[0027]图12 (b)是表示本发明的第4实施例的每个明亮度的边缘增强强度的控制方法的一例的图。
[0028]图13是表示本发明的第5实施例的图像信号处理装置的示意图。
[0029]图14(a)是表示本发明的第5实施例的使用了代表明亮度下的信号校正量的颜色噪声校正强度的控制方法的一例的图。
[0030]图14(b)是表示本发明的第5实施例的每个明亮度的颜色噪声校正强度的控制方法的一例的图。
[0031]图15是表示本发明的第6实施例的摄像装置的示意图。
[0032]图16是表示本发明的第6实施例的噪声校正的校正强度控制方法的一例的图。
[0033]图17是表示本发明的第6实施例的信号范围校正处理的校正强度控制方法的一例的图。
[0034]图18是表示本发明的第7实施例的图像信号处理装置及摄像装置的示意图。

【具体实施方式】
[0035]以下，利用【专利附图】

【附图说明】本发明的实施例。
[0036](实施例1)
[0037]图1是表示本发明的第I实施例的图像信号处理装置的第一示意图。在图1中，0101是图像信号输入部，0102是局部信息获取部，0103是噪声校正部，0104是图像信号校正部，0105是统计信息获取部，0106是信号校正强度控制部，0107是信号校正特性推测部，0108是噪声校正强度控制部。
[0038]在图1所示的图像信号处理装置中，图像信号输入部0101采用以下的方式:经由与影像线缆连接的采集板、LAN、USB等而与摄像设备和影像设备连接，输入图像信号。或者，图像信号输入部0101具备透镜、摄像元件及Α/D变换部，通过进行摄像处理来生成图像信号。或者，也可以采取进行在未图示的图像记录部中预先保存的图像信号的读入的方式。
[0039]局部信息获取部0102获取从图像信号输入部0101输出的图像信号，针对各像素计算出局部的明亮度，输出计算出的明亮度信息。作为局部的明亮度的计算方法，例如，在图像信号具有如视频信号那样的亮度信号的情况下，可以将像素值直接看作为关注像素的明亮度，也可以取关注像素与其附近像素的像素值之间的加权平均，从而降低噪声或图案的影响。此外，若图像信号是从由拜耳阵列(Bayer array)构成的摄像元件输出的原始数据、即RAW数据，则可以取关注像素与相同颜色的附近像素的像素值之间的加权平均，作为明亮度信息。此外，若图像信号是如RGB数据这样的颜色数据，则也可以将预先对各颜色的数据进行了加权平均后得到的数据看作亮度信号，之后取关注像素与附近像素的像素值之间的加权平均，作为明亮度信息。此外，明亮度信息也可以不按每个像素计算出，而是每隔固定间隔计算出后由多个像素共用，从而实现运算量的降低。
[0040]噪声校正部0103获取从图像信号输入部0101输出的图像信号，针对图像信号中的各像素，以相对于局部信息获取部0102计算出的明亮度信息而不同的校正强度，实施二维噪声校正处理或三维噪声校正处理等信号处理，生成校正了噪声的图像信号并进行输出，其中，该二维噪声校正处理使用了高斯滤波器等平滑化滤波器和中值滤波器等具有去除噪声分量的效果的空间滤波器，该三维噪声校正处理在从图像信号输入部0101输出的图像信号为运动图像时取时间轴方向的信号电平的加权平均来校正随机噪声。关注像素的明亮度信息与此时的校正强度的相关预先以函数或表格等形式具有成为基准的对应关系，只要基于这些函数或表格来决定相关即可。另外，对于成为该基准的对应关系，也可以根据通过用户的操作或自动运算等而求出的校正参数进行进一步校正，从而能够自由调整每个明亮度的校正强度。
[0041]此外，也可以是成为基准的对应关系只具有多个代表性的明亮度和校正强度的相关，通过插值来计算出针对中间的明亮度的校正强度的相关，从而实现表格尺寸的减小。此夕卜，作为噪声校正处理的方式，也可以是如下的结构，即，以多级方式组合使用特性不同的多种二维噪声校正处理或三维噪声校正处理，或者按相同的输入信号并行来进行不同的处理之后进行合成，由此能够去除特性不同的噪声分量。此外，也可以是如下的结构，即，将所输入的图像信号通过前处理而分离为低频分量和高频分量，对各个分量进行不同的噪声校正处理，由此能够保留边缘的细致感并能够同时有效地仅去除噪声。
[0042]图像信号校正部0104基于信号校正强度控制部0106输出的信号电平校正的校正强度，来决定图像信号的输入输出特性，基于该输入输出特性来校正从噪声校正部0103输出的图像信号的每个像素的信号值、即信号电平，从而生成输出信号。图像信号校正部0104实施的图像信号的校正包括基于信号电平校正的逆光时的曝光不足的信号崩溃校正、或雾/霞校正、宽动态范围化处理等，例如，预先将输入值与输出值的对应关系保持为函数的系数或建立了对应的查找表，基于信号电平校正的校正强度来校正函数的系数或查找表的值并决定输入输出特性，基于该输入输出特性来变换图像信号的信号电平，从而能够实现上述处理。
[0043]此外，也可以预先保持多个与多个明亮度或校正强度相对应的用于校正的函数的系数或建立了对应的查找表，进行处理时基于信号校正强度控制部0106输出的校正强度，来选择所使用的函数的系数或建立了对应的查找表，或者对所使用的函数的系数或建立了对应的查找表进行插值，由此降低运算成本。
[0044]在此，若输入到图像信号校正部0104的图像信号是亮度信号，则基于输入输出特性来校正各像素的像素值，从而能够进行明亮度的校正。此外，也可以是如下的结构，即，代替亮度信号，而通过与局部信息获取部0102相同的处理来计算出明亮度信息，并基于输入输出特性而仅校正明亮度信息，求出明亮度信息的输入输出比，基于明亮度信息的输入输出比来校正原始的图像信号的像素值，从而即使是RGB信号等也能够进行明亮度校正。此夕卜，也可以将所输入的图像信号分离为多个分量后对多个分量分别进行不同的校正处理并进行合成。例如，若在前处理中分离为低频分量和高频分量，将低频分量看作明亮度信息，则通过对各分量进行不同的信号电平校正处理，能够分别校正被摄体的明亮度和边缘的细致感。此外，也可以以在图像信号中的每个区域中不同的输入输出特性进行信号电平校正处理，从而按图像内的每个被摄体进行最佳的校正。
[0045]另外，在噪声校正部0103中实施的噪声校正处理或在图像信号校正部0104中实施的信号电平校正处理可以实施相同特性的处理，以使在图像信号如视频信号那样具有亮度信号和颜色信号时分别使输入输出具有相同的亮度信号和颜色信号的比率。或者，也可以构成为对亮度信号和颜色信号实施不同特性的处理或者仅对其中的任一个信号实施处理，从而实现性能或计算成本的最佳化。
[0046]统计信息获取部0105将噪声校正部0103输出的图像信号作为输入，测量信号值的统计信息后进行输出。在此，统计信息是指例如图像信号中的各像素的信号值的直方图分布、或者平均值、最大值、最小值、标准偏差等统计量，是为了信号校正强度控制部0106判别图像信号中的场景来将图像信号校正部0104校正信号电平时的校正强度设为适当值而使用的信息。此时，也可以获取图像信号中的预先确定的规定区域内的像素的信号值的统计信息，或者获取存在通过图像识别而检测出的被摄体的区域内的像素的信号值的统计信息，或者仅针对信号值在规定范围内的像素来获取统计信息来提高场景的判别性能。例如，在图像信号校正部0104以按图像信号中的每个区域而不同的输入输出特性进行信号范围校正处理的情况下，以适合该区域的单位获取统计信息，从而能够按每个区域实现最佳的信号范围校正处理。
[0047]信号校正强度控制部0106基于统计信息获取部0105输出的统计信息来判别图像信号中的场景，决定图像信号校正部0104校正信号电平时的每个明亮度的校正强度。在图像信号校正部0104以按图像信号中的每个区域而不同的输入输出特性进行信号范围校正处理的情况下，也可以以适合于该区域的单位来获取信号校正强度控制部0106测量到的统计信息，按每个区域决定校正强度。使用图3，将在后面叙述该信号电平校正处理的校正强度的控制方法。
[0048]信号校正特性推测部0107基于信号校正强度控制部0106决定的校正强度，推测表示信号通过由图像信号校正部0104进行的信号电平的校正在每个明亮度下被放大了多少的评价值、即信号校正特性。例如，在具有信号电平校正的校正强度越大则信号校正量越大这样的正相关的情况下，信号校正特性的推测可以将在信号电平校正的校正强度上附加了每个明亮度的权重后得到的特性看作信号校正特性。此外，也可以基于使信号电平校正的校正强度和信号校正特性建立了对应的函数的系数或变换表格并根据信号电平校正的校正强度来计算信号校正量，由此来提高精度。
[0049]噪声校正强度控制部0108基于信号校正特性推测部0107推测出的信号校正特性，决定并控制噪声校正部0103进行的噪声校正处理的每个明亮度的校正强度。噪声校正部0103基于该校正强度来进行噪声校正，从而能够根据图像信号校正部0104中的各个像素的校正量来进行适当的噪声校正。统计信息获取部0105也可以是代替噪声校正部0103输出的图像信号而从图像信号输入部0101输出的图像信号中获取统计信息的构成。此外，也可以是信号校正强度控制部0106不使用统计信息获取部0105输出的统计信息，而是将从未图示的输入部输入的值决定为信号电平校正处理的校正强度的构成。此时，虽然不能进行与图像信号中的场景联动的校正强度的控制，但是能够省略统计信息获取部0105，能够降低通过软件实现时的计算时间和通过硬件实现时的开发成本。
[0050]另外，图1所示的图像信号处理装置关注了与本实施例直接相关的处理部，但是实际上也可以在进行图像处理的基础上在各处理的前后和途中实施重要的其他的高画质化处理、信号规格的变换处理、压缩解压处理等。
[0051]此外，对于局部信息获取处理或噪声校正处理、信号电平校正处理、统计信息获取处理、信号电平校正的校正强度控制处理、信号校正特性推测处理、噪声校正的校正强度控制处理而言，例如，如果是计算机则通过CPU在存储器中展开存储于HDD等中的程序且CPU按照程序进行运算来实施上述处理，如果是组合设备则通过微型计算机、DSP、专用LSI等来实施。此外，也可以通过DSP、专用LSI来实施作为信号处理的局部信息获取处理、噪声校正处理、信号电平校正处理、统计信息获取处理，通过微型计算机来实施作为控制处理的信号电平校正的校正强度控制处理、信号校正特性推测处理、噪声校正的校正强度控制处理，从而实现成本和性能的最佳化。在本实施例及以后的实施例中为了简化说明，即使是CPU按照程序进行运算来实施局部信息获取处理、噪声校正处理、信号电平校正处理、统计信息获取处理、信号电平校正的校正强度控制处理、信号校正特性推测处理、噪声校正的校正强度控制处理的情况下，也设为各处理部实施各处理来进行说明。
[0052]此外，图1所示的图像信号处理装置也可以是通过多个软件及多个硬件来实现的构成。例如，可通过不同的DSP或专用LSI来实施局部信息获取处理、噪声校正处理、信号电平校正处理、和统计信息获取处理，通过公共的微型计算机来实施信号电平校正的校正强度控制处理、信号校正特性推测处理及噪声校正的校正强度控制处理。此外，也可以通过第一 DSP及微型计算机来实现局部信息获取处理、噪声校正处理和噪声校正的校正强度控制处理，通过第二 DSP及微型计算机来实现信号电平校正处理、统计信息获取处理、信号电平校正的校正强度控制处理和信号校正特性推测处理，多个程序或多个LSI实现一个处理。
[0053]图2是表示本实施例的第I实施例的与图像信号处理装置的噪声校正强度控制相关的处理流程的一例的图。由图1所示的信号校正强度控制部0106、信号校正特性推测部0107、噪声校正强度控制部0108执行图2所示的噪声校正强度处理流程。
[0054]在图2所示的与噪声校正强度控制相关的处理流程中，在ST0201中，信号校正强度控制部0106基于统计信息获取部0105获取到的统计信息，计算出图像信号校正部0104的信号电平校正处理的校正强度作为校正参数，并将其输出到图像信号校正部0104。利用图3，将在后面叙述信号校正强度控制部0106中的信号电平校正处理的校正强度的控制方法。
[0055]在ST0202中，信号校正特性推测部0107基于图像信号校正部0104计算出的校正参数，推测以输入的图像信号为基准的多个规定的代表性的明亮度下的图像信号校正量。利用图4，将在后面叙述信号校正特性推测部0107中的信号校正特性推测处理的控制方法。
[0056]在ST0203中，噪声校正强度控制部0108基于信号校正特性推测部0107计算出的代表性的明亮度下的图像信号校正量，决定代表性的明亮度下的噪声校正量，并将其输出到噪声校正部0103。利用图5，将在后面叙述噪声校正强度控制部0108中的噪声校正的校正强度控制处理的控制方法。由此，根据图像信号校正部0104进行的信号电平校正处理的每个明亮度的校正量来预先进行适当的噪声校正，从而抑制在校正信号电平时噪声也一起被增强的情况，能够提高画质。
[0057]另外，统计信息获取部0105根据图像信号校正部0104输出的噪声校正后的图像信号来计算出统计信息，噪声校正强度控制部0108控制噪声校正部0103进行噪声校正的校正强度，因此控制的时间顺序相反。因此，在进行静止图像处理时，以校正强度的初始值来实施噪声校正，利用从噪声校正后的图像得到的统计信息来控制信号电平校正处理的校正强度，根据此时的图像信号校正量的推测结果重新进行噪声校正的校正强度，从而再次进行反复一系列处理的循环处理，由此能够实现如上所述的控制。另一方面，在本结构执行将连续的摄像信号作为输入并按每一帧进行一系列处理这样的运动图像处理时，由于拍摄对象在帧间没有太大的变化，因此只要利用在前一帧中统计信息获取部0105计算出的统计信息来进行当前帧的信号校正特性的推测处理和噪声校正强度控制处理即可，能够实时进行与场景相适应的噪声校正处理和图像信号校正处理。
[0058]另外，当拍摄对象在帧间有较大变化时，有可能前一帧的统计信息的可靠性受到了破坏，因此不参照前一帧的统计信息，而是将噪声校正处理的校正强度返回为初始值，从而能够抑制进行过剩的校正。
[0059]在基于本实施例的方式中，在控制噪声校正处理的校正强度时所使用的不是实际的图像信号校正处理的输出结果，而是基于校正参数的校正量的推测值，因此在噪声校正处理的后段中在I帧期间进行一次图像信号校正处理即可。因此，在摄像机中进行运动图像处理时，只要在I帧期间内进行一次噪声校正处理和图像信号校正处理就能够进行与图像信号校正处理的校正特性联动的噪声校正处理，可降低由硬件实现时的电路规模或由软件实现时的运算成本。特别是，即使图像信号校正处理进行复杂的输入输出特性的处理而使得电路规模增大，通过本构成，也只要追加基于软件的控制处理即可，因此能够抑制成本的大幅增加。
[0060]此外，统计信息获取部0105根据噪声校正部0103输出的噪声校正后的图像信号来计算出噪声影响小的统计信息，从而还具有高精度地进行场景判别，且高精度地进行图像信号校正处理的视觉辨认性的提高的优点。
[0061]图3是表示本实施例的第I实施例的信号电平校正的校正强度控制方法的一例的第I图。
[0062]在本实施例中，由信号校正强度控制部0106实施信号电平校正的校正强度控制处理。图3(a)是表示使用了统计信息的信号电平校正的校正强度控制方法的一例的图，图3 (b)是表示根据所决定的校正强度而图像信号校正部0104所进行的信号电平校正方法的一例的图。在该例中，在照明度差异非常大而产生黑斑或者逆光或强光映入视角内而整体上自动曝光成为不足从而产生主要被摄体的黑斑的情况下，实现不会使明亮的被摄体产生白斑就能够改善暗的被摄体的黑斑的对比度校正。
[0063]如图3(a)所示，统计信息获取部0105获取图像信号的亮度直方图，根据其形状、即暗部的亮度重心或被称为方差的统计信息来评价因曝光不足引起的黑斑的程度。作为一例，可判断为暗部的亮度重心低且若方差小则会产生黑斑。此时，也可以进一步判定是否存在高亮度的被摄体，根据其结果来判断是否因逆光或强光而产生曝光不足。例如，若不存在高亮度的被摄体，则认为是单纯的曝光不足，进行曝光控制、增益处理、伽马处理等使画面变亮的处理即可。另一方面，在存在高亮度的被摄体的情况下，若单纯使画面整体变亮，则高亮度的被摄体会完全成为白斑，因此优选进行使暗的部分变亮且使亮的部分变暗这样的按每个明亮度的信号电平校正。
[0064]因此，在上述的判断结果是判定为产生了曝光不足的情况下以增大图像信号校正部0104的校正强度的方式进行控制，在判定为没有产生曝光不足时以减小图像信号校正部0104的校正强度的方式进行控制。如图3(b)所示，图像信号校正部0104在信号校正强度控制部0106决定的校正强度大的情况下，增大输入输出特性的暗部的斜率和明部的斜率，在校正强度小的情况下，使输入输出特性接近于线性。此时，通过使暗部的校正量大于明部的校正量，从而无需降低明部的对比度就能够延展暗部的对比度，能够改善黑斑。
[0065]在此，为了便于理解而在本例中示出了暗部和明部的校正量以一个校正强度同时发生变化的控制，但是也可以是针对暗部和明部分别根据直方图的形状而改变校正强度的控制。此外，可以是在暗部和明部中设置不同的输入输出特性并分别根据直方图的形状来改变校正强度的控制，也可以是将输入信号与规定的阈值比较后根据其结果来选择使用哪个输入输出特性的控制。在使用了这种控制的情况下可进一步提高校正的自由度，因此能够进行更适合于拍摄场景的校正。
[0066]图4是表示本实施例的第I实施例的信号校正特性推测处理的控制方法的一例的图。
[0067]在本实施例中，由信号校正特性推测部0107实施信号校正特性推测处理。图4(a)是表示信号校正特性推测处理的一例的第I图，图4(b)是表示信号校正特性推测处理的一例的第2图。
[0068]如图4 (a)所示，信号校正特性推测部0107针对代表性的明亮度I至3分别获取输入信号的信号电平al至a3、以及作为输出信号与输入信号的差分的校正量Aal至Aa3,作为各个明亮度下的信号校正量的推测值Al至A3，计算出它们的比值Aal/al至Λ a3/a3。由此，能够依据信号的增益量，从信号校正量的推测值中容易地类推噪声被增强多少程度。
[0069]此外，如图4(b)所示，信号校正特性推测部0107也可以在代表性的明亮度I至3中，分别作为各自的信号校正量的推测值Al至A3来计算出包括其明亮度的局部的输入信号的相对于信号电平范围Ail至Λ i3的输入输出特性的斜率。此时，在某一信号电平中的随机噪声是以高斯分布产生的情况下，能够依据信号的延长量，从信号校正量的推测值中容易地类推出被增强了多少程度。此时，考虑随着输入信号的信号电平而噪声的方差不同的情况，可以使Ail至Ai3的宽度分别不同。由此，能够根据图像信号校正部0104的校正强度自适应地推测多个规定的代表性的明亮度下的图像信号校正量，还能够类推噪声被增强了多少程度。
[0070]图5是表示本实施例的第I实施例的噪声校正的校正强度控制方法的一例的图。在本实施例中，由噪声校正强度控制部0108实施噪声校正的校正强度控制处理。图5(a)是表示使用了代表明亮度下的信号校正量的噪声校正强度的控制方法的一例的图，图5(b)是表示每个明亮度的噪声校正强度的控制方法的一例的图。图5(c)是表示噪声校正强度的控制效果的一例的图。
[0071]如图5(a)所示，噪声校正强度控制部0108基于信号校正量Al至A3，控制噪声校正部0103的每个明亮度的噪声校正处理的校正强度BI至B3。此时，随着信号校正量变大，使噪声校正处理的校正强度也变大。由此，在信号校正强度控制部0106进行信号范围校正处理以延长信号的情况下，根据信号校正量来加强噪声的校正效果，从而能抑制噪声分量也同时被增强所引起的画质的降低。此时，如图5(a)所示，例如在信号校正量小于规定的阈值I的情况下，使噪声校正强度不会低于最小值，从而即使在信号范围校正处理的效果弱的情况下，也能够进行固定的噪声校正。
[0072]此外，在信号校正量大于规定的阈值2的情况下,使噪声校正强度不会大于最大值，从而能够防止噪声校正过度而过多地失去细致感，且能够使噪声校正强度不会超过可设定的范围。此外，在图5(a)中为了简化说明而使信号校正量和噪声校正强度在阈值I和阈值2之间线性地进行变化，但是也可以控制成非线性的变化，或者控制成在其间进一步设置阈值来分多个线段来进行插值，或者控制成离散地设置校正强度来使其不连续地发生变化。此外，以同一输入输出特性表示了信号校正量Al至A3、噪声校正强度BI至B3的关系，但是也可以使代表明亮度I至3具有分别不同的阈值或斜率，在噪声明显的暗部进一步增强噪声校正强度，在不明显的明部进一步减弱噪声校正强度。
[0073]如图5(b)所示，在代表性的明亮度以外的明亮度中，通过插值来计算出噪声校正强度，从而针对局部信息获取部0102计算出的所有的局部明亮度决定对应的噪声校正强度，由此噪声校正部0103能够进行噪声校正。
[0074]另外，在本实施例中，代表明亮度选择了表示暗部、中间部、明部的3点，但是也可以将局部信息获取部0102计算出的局部明亮度可取的全部值作为代表明亮度来提高精度，也可以减少点数来降低运算负荷。
[0075]通过进行本实施例所示的噪声校正的校正强度控制，从而如图5(c)所示，例如因照明灯的强光而曝光成为不足从而整体变成黑斑的场景下，能够在维持照明灯周边的视觉辨认性的情况下改善成为黑斑的被摄体的视觉辨认性，此时，对照明灯周边的明亮的被摄体减弱噪声校正来抑制细致感的降低，对其他暗的被摄体增强噪声校正来抑制延长了信号时的噪声的增强，因此能够在整个影像中得到高画质且高视觉辨认性的影像。
[0076]综上，根据本实施例，根据信号电平校正的校正强度的控制信息来决定每个明亮度的噪声校正的校正强度，从而根据信号电平校正的特性来实施最佳的噪声校正，能够以低成本生成高画质且视觉辨认性高的图像。
[0077](实施例2)
[0078]图6是表示本发明的第2实施例的图像信号处理装置的示意图。在图6中，0601是图像信号输入部，0602是局部信息获取部，0603是噪声校正部，0604是图像信号校正部，0604_1是频率分离部，0604_2是DC分量校正部，0604_3是AC分量校正部，0604_4是频率综合部，0605是统计信息获取部，0606是信号校正强度控制部，0607是信号校正特性推测部，0608是噪声校正强度控制部。图6所示的图像信号处理装置与图1所示的图像信号处理装置的差异在于，图像信号校正部0604具备频率分离部0604_1、DC分量校正部0604_2、AC分量校正部0604_3、频率综合部0604_4，是按频率分量进行不同的信号校正的构成。另夕卜，与第I实施例相同名称的处理部在没有特别说明的情况下具备与在第I实施例中说明的功能相同的功能。
[0079]在图6所示的图像信号处理装置中，局部信息获取部0602获取从图像信号输入部0601输出的图像信号，对各像素追加局部的明亮度，计算并输出局部区域中的每个频率的信号分量。每个频率的信号分量例如能够通过进行离散余弦变换处理或者应用滤波系数和滤波尺寸不同的多个低通滤波器、带通滤波器、高通滤波器等来进行处理而计算出。
[0080]噪声校正部0603获取从图像信号输入部0601输出的图像信号，针对图像信号中的各像素，采用与局部信息获取部0602计算出的局部的明亮度、或局部区域中的每个频率的信号分量的组成相应的校正强度，实施二维噪声校正处理或三维噪声校正处理等信号处理，从而生成并输出校正了噪声的图像信号，其中，该二维噪声校正处理使用了高斯滤波器等平滑化滤波器或中值滤波器等具有去除噪声分量的效果的空间滤波器，该三维噪声校正处理在从图像信号输入部0601输出的图像信号为运动图像时取时间轴方向的信号电平的加权平均来校正随机噪声。或者，也可以是噪声校正部0603针对在局部信息获取部0602中通过离散余弦变换处理计算出的每个频率的信号分量分别以不同的校正强度进行校正之后，进行逆离散余弦变换处理，从而生成降低了期望的频带的噪声的噪声校正信号。
[0081]在图像信号校正部0604中，频率分离部0604_1将从噪声校正部0603输出的图像信号分离成每个频率的分量，分别计算并输出可看作明亮度信息的DC分量、包含多个边缘和噪声信息的每个频率的多个AC分量。频率分离处理与局部信息获取部0602的按每个频率的信号分量的计算处理相同，可通过进行离散余弦变换处理或者分别应用滤波系数和滤波尺寸不同的多个低通滤波器、带通滤波器、高通滤波器等来进行处理而计算出。此外，也可以进行基于Retinex理论的处理，将照明光分量作为DC分量来计算，将反射光分量作为AC分量来计算。
[0082]DC分量校正部0604_2基于信号校正强度控制部0606输出的信号电平校正的校正强度决定图像信号的输入输出特性，并基于其输入输出特性来校正看作图像信号的明亮度信息的DC分量的信号电平,从而生成输出信号。
[0083]AC分量校正部0604_3基于信号校正强度控制部0606输出的信号电平校正的校正强度来决定每个频率的AC分量的校正增益，并基于该校正增益来校正AC分量的信号电平，生成输出信号。
[0084]频率综合部0604_4通过进行逆离散余弦变换处理等频率分离部的逆处理来对校正了信号电平的DC分量和AC分量进行综合并进行输出。由此，能够校正被摄体的明亮度和边缘的细致感这两者来提高视觉辨认性。
[0085]信号校正强度控制部0606基于统计信息获取部0605输出的统计信息来判别图像信号中的场景，决定图像信号校正部0604校正信号电平时的每个明亮度的校正强度即DC分量的校正强度、和每个频率的校正强度即AC分量的校正强度。DC分量被看作是关注像素中的明亮度信息，因此DC分量的校正强度的控制方法只要与图3所示的本发明的第I实施例的信号电平校正的校正强度控制方法的一例相同即可。此外，利用图7，将在后面叙述AC分量的校正强度的控制方法。
[0086]信号校正特性推测部0607推测信号校正特性，该信号校正特性表示通过基于信号校正强度控制部0606决定的校正强度由图像信号校正部0604进行的信号电平的校正从而信号在每个明亮度及每个频率上被放大多少的评价值。
[0087]噪声校正强度控制部0608基于信号校正特性推测部0607推测出的信号校正特性，决定并控制噪声校正部0603进行的噪声校正处理的每个明亮度及每个频率的校正强度。
[0088]噪声校正部0603基于该校正强度进行噪声校正，从而能够根据图像信号校正部0604中的各个像素的校正量进行适当的噪声校正。
[0089]图7是表示本发明的第2实施例的AC分量的校正强度的控制方法的一例的图。在本实施例中，AC分量的校正强度的控制处理是由信号校正强度控制部0606实施的。信号校正强度控制部0606针对代表明亮度I至3，分别计算出与代表性的频率f I至f3对应的AC分量校正量A’l至A’3。该处理例如将作为基准的对应预先作为表格来进行保存即可。由此，通过优先提高易于影响外观的频率的边缘的细致感，从而能够改善视觉辨认性。此外，此时也可以通过根据DC分量的校正量进行增益处理来增减AC分量的校正量，由此能够在DC分量的校正量大的被摄体中同时增大AC分量的校正量，进一步提高边缘的细致感。相反，也可以在DC分量的校正量大的被摄体中减小AC分量的校正量，优先抑制噪声的增强。
[0090]图8是表示本发明的第2实施例的噪声校正的校正强度控制方法的一例的图。在本实施例中，噪声校正的校正强度控制处理是由噪声校正强度控制部0608实施的。图8 (a)是表示代表明亮度下的不同频率的噪声校正强度的控制方法的一例的图，图8(b)是表示每个频率的噪声校正强度的控制方法的一例的图。
[0091]如图8(a)所示，与图5(a)所示的本发明的第I实施例的噪声校正的校正强度控制方法的一例相同，噪声校正强度控制部0608计算出每个代表明亮度的噪声校正强度BI至B3之后，对代表明亮度I的噪声校正强度BI进行在频率fl至f3下都不同的输入输出特性的校正，计算出不同频率的噪声校正强度Bll至B13。例如，频率fl至f3下的噪声校正强度的校正特性只要符合AC分量校正部0604_3中的AC分量校正的每个频率的比率即可。虽然省略了图示，但是对代表明亮度2、3的噪声校正强度B2、B3也进行同样的校正。此时，例如，为了在作为暗部的代表明亮度I下进一步减小噪声校正强度的校正特性，在作为明部的代表明亮度3下进一步增大噪声校正强度的校正特性，也可以按每个明亮度改变噪声校正强度的校正特性。由此，例如在暗部进行噪声校正时，能够抑制在校正了信号电平时未被消除的噪声被增强而反而成为不自然的影像的现象。
[0092]如图8(b)所示，在代表性的频率以外的频率下，通过对噪声校正强度进行插值来执行计算，从而对局部信息获取部0602计算出的所有局部明亮度及频率决定对应的噪声校正强度，噪声校正部0603能够进行噪声校正。由此，在图像信号校正部0604针对输入图像改善明亮度和边缘细致感这两者的情况下，能够配合各自的校正特性来进行适当的噪声校正。
[0093]另外，在上述的例子中，与图像信号校正部0604的每个明亮度及每个频率的校正量联动地决定了噪声校正部0603的噪声校正强度，但是也可以仅与任一方联动地决定噪声校正强度来实现运算负荷的减少。
[0094]综上，根据本实施例，根据信号电平校正的特性，不仅关注明亮度，而且还关注频率分量来进行噪声校正，由此能够生成更高画质且更高视觉辨认性的图像。
[0095](实施例3)
[0096]图9是表示本发明的第3实施例的图像信号处理装置的示意图。在图9中，0901是图像信号输入部，0902是局部信息获取部，0903是噪声校正部，0904是图像信号校正部，0905是统计信息获取部，0906是信号校正强度控制部，0907是信号校正特性推测部，0908是噪声校正强度控制部，0909是信号校正特性推测信息保存部，是在表示图1所示的本发明的第I实施例的图像信号处理装置的示意图中追加了信号校正特性推测信息保存部0909的构成。另外，与其他实施例相同名称的处理部在没有特别说明的情况下是具有相同功能的结构。
[0097]在图9所示的图像信号处理装置中，信号校正特性推测信息保存部0909是程序上的ROM区域或非易失性存储器，相当于记录介质等，保存用于信号校正特性推测部0907基于信号校正强度控制部0906决定的信号电平校正的校正强度而推测图像信号校正部0904进行信号电平校正时的信号校正特性的信号校正特性推测信息。对于信号校正特性推测信息而言，在图像信号校正部0904中的信号电平校正的输入输出特性已知的情况下，只要预先求出与该输入输出特性相应的信号校正量并保存即可，在输入输出特性为未知的情况下，保存通过事先的校正而推测出的值即可。此外，在图像信号校正部0904以按输入信号的每个明亮度及每个频率不同的校正特性进行信号电平校正的情况下，保存与代表性的明亮度和代表性的频率下的输入输出特性相应的校正量即可。
[0098]信号校正特性推测部0907通过利用信号校正强度控制部0906决定的信号电平校正的校正强度、和从信号校正特性推测信息保存部0909中获取的信号校正特性推测信息，能够高精度地推测与图像信号校正部0904的信号电平校正的输入输出特性相应的信号校正特性。由此，能够根据信号电平校正处理的校正效果来进行最佳的噪声校正，能够生成高画质且视觉辨认性高的图像信号。
[0099]图10是表示本发明的第3实施例的信号校正特性推测信息的保存方法的一例的图。在本实施例中，由信号校正特性推测信息保存部0909实施信号校正特性推测信息的保存。
[0100]如图10所示，信号校正特性推测信息保存部0909针对信号校正强度控制部0906决定的信号电平校正的校正强度，将与代表性的校正强度对应的信号校正量作为控制点来保存，通过插值处理来计算出与实际的校正强度相应的信号校正量的推测值。此时，如图3(b)所示，由于信号校正量随着输入信号的代表性的明亮度而不同，因此与代表性的校正强度对应的信号校正量也分别按每个代表性的明亮度保存为控制点，从而能够容易地推测各个明亮度下的图像信号校正部0904的信号校正量。
[0101]在图像信号校正部0904以按输入信号的每个明亮度及每个频率而不同的校正特性进行信号电平校正的情况下，例如，只要按每个代表性的明亮度和每个代表性的频率保存与代表性的校正强度对应的信号校正量、即作为3维表格而保持数据即可。由此，根据图像信号校正处理的校正参数仅通过简单的计算就能够很容易推测信号电平的校正特性，能够大幅降低控制软件的运算成本。
[0102]综上，根据本实施例，通过使用信号校正特性的推测信息，能够根据信号电平校正的校正强度的控制信息容易地计算出噪声校正的校正强度，能够根据信号电平校正的效果以低成本执行最佳的噪声校正。
[0103](实施例4)
[0104]图11是表示本发明的第4实施例的图像信号处理装置的示意图。在图11中，1101是图像信号输入部，1102是局部信息获取部，1110是边缘增强部，1104是图像信号校正部，1105是统计信息获取部，1106是信号校正强度控制部，1107是信号校正特性推测部，1111是边缘增强强度控制部，1109是信号校正特性推测信息保存部。
[0105]图11所示的图像信号处理装置与图9所示的图像信号处理装置的差异在于，在图11所示的图像信号处理装置中将噪声校正部0903、噪声校正强度控制部0908分别置换成了边缘增强部1110、边缘增强强度控制部1111。另外，与其他实施例相同名称的处理部在没有特别说明的情况下是具备相同功能的结构。
[0106]在图11所示的图像信号处理装置中，边缘增强部1110针对从图像信号输入部1101输出的图像信号，在针对图像信号中的各像素以相对于局部信息获取部1102计算出的局部明亮度而不同的校正强度进行了边缘增强处理的基础上，生成输出的图像信号。边缘增强处理例如通过以下方式来实现:对所输入的图像信号通过高通滤波器或带通滤波器提取规定频带的信号分量，进行增益处理后相加到所输入的图像信号上。边缘增强强度控制部1111基于信号校正特性推测部1107推测出的信号校正特性，决定并控制边缘增强部1110进行的边缘增强处理的每个明亮度下的增强强度。
[0107]图12是表示本发明的第4实施例的边缘增强的增强强度控制方法的一例的图。在本实施例中，边缘增强的增强强度控制处理是由边缘增强强度控制部1111实施的。图12(a)是表示使用了代表明亮度下的信号校正量的边缘增强强度的控制方法的一例的图，图12(b)是表示每个明亮度的边缘增强强度的控制方法的一例的图。
[0108]如图12(a)所示，边缘增强强度控制部1111基于信号校正量Al至A3，控制边缘增强部1110的每个明亮度的边缘增强处理的校正强度Cl至C3。此时，随着信号校正量变大，边缘增强处理的校正强度变小。由此，在信号校正强度控制部1106进行了信号范围校正处理而使信号延长的情况下，根据信号校正量来减弱边缘的增强效果，从而能够抑制噪声分量被增强所引起的画质的降低。
[0109]图12(a)中为了简化说明而使信号校正量和边缘增强强度在阈值3和阈值4之间线性地发生变化，但是也可以控制成进行非线性的变化，或者控制成在其间进一步设置阈值来通过多个线段进行插值，或者控制成离散地设置校正强度来不连续地进行变化。此外，以同一输入输出特性表示了信号校正量Al至A3、边缘增强强度Cl至C3的关系，但是也可以在代表明亮度I至3下分别具有不同的阈值或斜率，在噪声明显的暗部进一步减弱边缘增强强度，而在噪声不明显的明部进一步增强边缘增强强度。
[0110]如图12(b)所示，在代表性的明亮度以外的明亮度下，可通过插值来计算出边缘增强强度，从而针对局部信息获取部1102计算出的所有局部的明亮度决定对应的边缘增强强度，边缘增强部1110进行边缘增强。
[0111]综上，根据本实施例，即使代替噪声校正处理的校正强度而控制边缘增强处理的校正强度，也能够实施与信号电平校正的特性相应的噪声抑制，能够以低成本生成高画质且视觉辨认性高的图像。
[0112](实施例5)
[0113]图13是表示本发明的第5实施例的图像信号处理装置的示意图。在图13中，1301是图像信号输入部，1302是局部信息获取部，1312是颜色噪声校正部，1304是图像信号校正部，1305是统计信息获取部，1306是信号校正强度控制部，1307是信号校正特性推测部，1313是颜色噪声校正强度控制部，1309是信号校正特性推测信息保存部。另外，与其他实施例相同名称的处理部在没有特别说明的情况下具备与已说明过的处理部相同的功能。
[0114]图13所示的图像信号处理装置与图9所示的图像信号处理装置的差异在于，在图13所示的图像信号处理装置中将噪声校正部0903、噪声校正强度控制部0908分别替换成了颜色噪声校正部1312、颜色噪声校正强度控制部1313。
[0115]图13所示的图像信号处理装置中，颜色噪声校正部1312针对从图像信号输入部1301输出的图像信号的颜色信号，在针对图像信号中的各像素以相对于局部信息获取部1302计算出的局部明亮度而不同的校正强度进行了颜色噪声校正处理的基础上，生成输出的图像信号。颜色噪声校正处理是例如针对所输入的图像信号中的颜色信号通过低通滤波器降低颜色相对于周边颜色的偏差或降低颜色信号的饱和度以使颜色自身变淡来实现的。
[0116]颜色噪声校正强度控制部1313基于信号校正特性推测部1307推测出的信号校正特性，决定并控制颜色噪声校正部1312进行的颜色噪声校正处理的每个明亮度的增强强度。
[0117]图14是表示本发明的第5实施例的颜色噪声校正的颜色噪声校正强度控制方法的一例的图。在本实施例中，颜色噪声校正的颜色噪声校正强度控制处理是由颜色噪声校正强度控制部1313实施的。图14(a)是表示使用了代表明亮度中的信号校正量的颜色噪声校正强度的控制方法的一例的图，图14(b)是表示每个明亮度的颜色噪声校正强度的控制方法的一例的图。
[0118]如图14(a)所示，颜色噪声校正强度控制部1313基于信号校正量Al至A3，控制颜色噪声校正部1312的每个明亮度的颜色噪声校正处理的校正强度Dl至D3。此时，随着信号校正量变大，使颜色噪声校正处理的校正强度也变大。由此，在信号校正强度控制部1306进行了信号范围校正处理来使信号延长的情况下，根据信号校正量来减弱颜色噪声校正的校正效果，从而能够抑制颜色噪声分量被增强所引起的画质的降低。
[0119]在图14(a)中为了简化说明而使信号校正量和边缘增强强度在阈值5和阈值6之间线性地发生变化，但是也可以控制成使其非线性地变化，或者控制成在其间进一步设置阈值来以多个线段进行插值，或者控制成离散地设置校正强度来使其不连续地变化。此外，以同一输入输出特性表示了信号校正量Al至A3和边缘增强强度Dl至D3的关系，但是也可以使代表明亮度I至3分别具有不同的阈值和斜率，在颜色噪声明显的暗部进一步增强颜色噪声校正强度，在不明显的明部进一步减弱颜色噪声校正强度。相反，在作为颜色噪声校正处理而进行降低颜色信号的饱和度的处理的情况下，若过渡地降低颜色信号的饱和度则会损失所需的信息，即使通过图像信号校正部1304来校正颜色信号的信号电平也有可能无法提高视觉辨认性，因此也可以相反控制成在暗部使颜色噪声校正强度减弱。
[0120]如图14(b)所示，在代表性的明亮度以外的明亮度中，通过对颜色噪声校正强度进行插值来进行计算，从而对局部信息获取部1302计算出的所有局部明亮度决定对应的颜色噪声校正强度，颜色噪声校正部1312能够进行颜色噪声校正。
[0121]综上，根据本实施例，除了针对亮度信号的噪声校正处理的校正强度外，颜色噪声校正的校正强度也与明亮度信息联动地进行控制，从而能够实施与信号电平校正的特性相应的颜色噪声抑制，能够以低成本生成高画质且视觉辨认性高的图像。
[0122](实施例6)
[0123]图15是表示本发明的第6实施例的摄像装置的示意图。在图15中，1501是摄像部，1503是照相机信号处理部，1503_1是曝光量检测部，1503_2是数字增益部，1503_3是局部信息获取部，1503_4是噪声校正部，1504是图像信号校正部，1505是统计信息获取部，1506是信号校正强度控制部，1507是信号校正特性推测部，1508是噪声校正强度控制部，1509是信号校正特性推测信息保存部，1514是曝光控制部。另外，与其他实施例相同名称的处理部在没有特别说明的情况下具备与已说明过的处理部相同的功能。
[0124]在图15所示的摄像装置中，摄像部1501适当地使用包括变焦透镜及聚焦透镜的透镜组、光圈、快门、CXD或CMOS等摄像元件、⑶S或AGC、AD转换器等而构成，对摄像元件受光的光学像进行光电变换，作为图像信号来输出。照相机信号处理部1503至少具备曝光量检测部1503_1、数字增益部1503_2、局部信息获取部1503_3和噪声校正部1503_4，对摄像部1501输出的图像信号进行曝光量的评价值的检测处理、数字增益处理、针对各像素的局部明亮度的计算处理、噪声校正处理，生成要输出的图像信号。
[0125]此外，也可以进行对亮度信号和颜色信号的分离处理、边缘增强处理、伽马处理、色差变换处理、白平衡校正处理、数字变焦等各种数字信号处理，实施高画质化、功能附加。进行各信号处理时所使用的系数、例如明亮度校正量、伽马特性等可以使用预先设定并保存在非易失性存储器等中的值，也可以基于从图像信号中检测出的亮度分布等各种信息来改变控制值。
[0126]图像信号校正部1504基于信号校正强度控制部1506输出的信号电平校正的校正强度来决定图像信号的输入输出特性，基于该输入输出特性来校正从照相机信号处理部1503输出的图像信号的每个像素的信号值、即信号电平，生成输出信号，并输出到未图示的影像输出部、影像压缩部等。
[0127]图像信号校正部1504实施的图像信号的校正包括校正信号电平的逆光校正、雾/霞校正、宽动态范围化处理等，例如预先将相对于输入值的输出值的对应保持为函数的系数或建立了对应的查找表，基于信号电平校正的校正强度来校正函数的系数或查找表的值，以确定输入输出特性，并基于该输入输出特性来变换图像信号的信号电平，由此来实现。此外，预先保持多个与多个校正强度对应的用于校正的函数的系数或建立了对应的查找表，在进行处理时基于信号校正强度控制部1506输出的校正强度,对要使用的函数的系数或建立了对应的查找表进行选择和插值处理来加以使用，从而实现降低运算成本。
[0128]此外，也可以代替亮度信号，通过与局部信息获取部1503_3相同的处理计算出明亮度信息，并基于输入输出特性仅校正明亮度信息来求出明亮度信息的输入输出比，基于明亮度信息的输入输出比来校正原始的图像信号的像素值，从而即使是RGB信号等也能够进行明亮度校正。此外，也可以将所输入的图像信号分离为多个分量分别进行不同的校正处理后进行合成。例如，在前处理中分离为低频分量和高频分量，若将低频分量看作明亮度信息，则分别对各个分量进行不同的信号电平校正处理，从而能够分别校正被摄体的明亮度和边缘的细致感。
[0129]此外，也可以以在图像信号中的每个区域都不相同的输入输出特性进行信号电平校正处理，从而按图像内的每个被摄体进行最佳的校正。此外，只要对亮度信号和颜色信号分别以各自的输入输出实施相同特性的处理以使亮度信号和颜色信号的比率变得相同即可。也可以在亮度信号和颜色信号中实施不同的特性的处理、或者仅对其中的任一个信号实施处理，实现性能或计算成本的最佳化。统计信息获取部1505将照相机信号处理部1503输出的图像信号作为输入，测量信号值的统计信息来进行输出。
[0130]在此，统计信息是例如图像信号中的各像素的信号值的直方图分布、或者平均值、最大值、最小值、标准偏差等统计量，信号校正强度控制部1506判别图像信号中的场景后，为了将图像信号校正部1504校正信号电平时的校正强度设为适当值而使用。此时，可以获取图像信号中的预先确定的规定区域内的像素的信号值的统计信息，或者获取通过图像识别而检测出的被摄体存在的区域内的像素的信号值的统计信息，或者仅针对信号值在规定范围内的像素获取统计信息，从而实现场景的判别性能的提高。例如，图像信号校正部1504以在图像信号中的每个区域中都不相同的输入输出特性进行信号范围校正处理时，以符合该区域的单位获取统计信息，从而能够按每个区域实现最佳的信号范围校正处理。
[0131]信号校正强度控制部1506基于统计信息获取部1505输出的统计信息来判别图像信号中的场景，决定图像信号校正部1504校正信号电平时的校正强度。图像信号校正部1504以在图像信号中的每个区域中都不相同的输入输出特性进行信号范围校正处理时，也可以以符合该区域的单位获取信号校正强度控制部1506测量出的统计信息，按每个区域决定校正强度。
[0132]另外，也可以是统计信息获取部1505位于照相机信号处理部1503的内部且根据从摄像部1501输出的图像信号或数字信号处理的途中的图像信号来获取统计信息的构成。此时，还能够将用于照相机信号处理部1503的各种信号处理的控制中的统计信息有效利用在图像信号校正部1504的信号电平校正处理的校正强度的控制中，能够实现成本的降低。
[0133]此外，也可以是信号校正强度控制部1506不使用统计信息获取部1505输出的统计信息而是将从未图示的输入部输入的值决定为信号电平校正处理的校正强度的构成。此时，不能进行与图像信号中的场景联动的校正强度的控制，但是能够省略统计信息获取部1505,能够降低通过软件实现时的计算时间、或通过硬件实现时的开发成本。
[0134]此外，也可以针对信号校正强度控制部1506决定的校正强度，基于从曝光控制部1514获取到的曝光控制信息进一步进行校正，将运算出的最终的校正强度作为控制值来输出。由此，能够与曝光控制的状态和图像信号中的场景这两者联动地控制图像信号校正部1504中的信号电平校正处理的校正强度。
[0135]利用图17将在后面叙述使用了曝光控制信息的信号电平校正处理的校正强度的控制方法。信号校正特性推测部1507基于信号校正强度控制部1506决定的校正强度和从信号校正特性推测信息保存部1509获取到的信号校正特性推测信息，推测表示信号通过由图像信号校正部1504进行的信号电平的校正在每个明亮度下被放大了多少的评价值、即信号校正特性。
[0136]信号校正特性推测信息保存部1509是程序上的ROM区域或非易失性存储器，相当于记录介质等，保存用于信号校正特性推测部1507基于信号校正强度控制部1506决定的信号电平校正的校正强度来推测图像信号校正部1504进行信号电平校正时的每个明亮度下的信号校正量的信号校正特性推测信息。信号校正特性推测信息在图像信号校正部1504中的信号电平校正的输入输出特性为已知的情况下，只要预先求出并保存符合该输入输出特性的信号校正量即可，若是未知的，则保存通过事先的校正而推测出的值即可。此外，在图像信号校正部1504以按输入信号的每个明亮度及每个频率都不相同的校正特性进行信号电平校正的情况下，保存符合代表性的明亮度和代表性的频率上的输入输出特性的校正量即可。
[0137]噪声校正强度控制部1508基于信号校正特性推测部1507推测出的信号校正特性和从曝光控制部1514获取到的曝光控制信息，决定并控制噪声校正部1503_4进行的噪声校正处理的每个明亮度的校正强度。噪声校正部1503_4基于该校正强度进行噪声校正，从而能够根据图像信号校正部1504进行的信号电平校正处理的校正强度来进行噪声校正。
[0138]曝光控制部1514从曝光量检测部1503_1获取光量的评价值，控制摄像部1501的光圈的光圈值、按快门时机、AGC的模拟增益量、数字增益部1503_2的数字增益量等，以使实际的曝光量接近于作为目标的规定曝光量。此外，同时将光圈的光圈值的大小、快门打开期间的时间、模拟增益量、数字增益量、或者模拟增益或数字增益引起的信号的放大率等作为曝光控制信息来输出。由此，噪声校正强度控制部1508与曝光控制所带来的信号的放大和信号电平校正处理的信号校正量这两者联动地进行最佳的噪声校正的校正强度的控制，能够实现高画质化。
[0139]噪声校正强度控制部1508也可以与曝光控制信息和信号范围校正处理的校正强度联动地不仅控制照相机信号处理部1503的噪声校正处理的校正强度，而且还同样地控制边缘增强处理的增强强度、伽马处理的伽玛校正强度等各种信号处理的效果，从而能够与曝光控制和信号范围校正处理这两者联动地最佳地控制信号处理整体的画质。另外，例如，照相机信号处理或信号电平校正处理、统计信息获取处理通过DSP、专用LSI等来实施，信号电平校正的校正强度控制处理、信号校正特性推测处理、噪声校正的校正强度控制处理、曝光控制处理通过微型计算机等来实施。如本实施例所述，在摄像装置内进行各种信号处理、噪声校正控制、画质校正控制的全部处理时，由于量子化误差的影响少且能够最大限度地有效利用信号范围，因此能够实现高画质化，而且还具有影像延迟的影响也小的优点。
[0140]另外，统计信息获取部1505根据图像信号校正部1504输出的噪声校正后的图像信号计算出统计信息，噪声校正强度控制部1508控制噪声校正部1503_4进行噪声校正的校正强度，因此控制的时间顺序被颠倒。在进行静止图像处理时，能够通过进行以下的循环处理来实现:以校正强度的初始值实施噪声校正，利用根据噪声校正后的图像得到的统计信息来控制信号电平校正处理的校正强度，根据此时的图像信号校正量的推测结果来重新进行噪声校正的校正强度，再次反复一系列处理。
[0141]另一方面，本构成执行以连续的摄像信号作为输入并按每个帧进行一系列处理的运动图像处理时，由于拍摄对象在帧间没有较大的变化，因此利用在前一帧中统计信息获取部1505计算出的统计信息来进行当前帧的信号校正特性的推测处理和噪声校正强度控制处理即可，实时地进行与场景相应的噪声校正处理和图像信号校正处理。当拍摄对象在帧间发生了较大的变化的情况下，有可能前一帧的统计信息的可靠性被破坏，因此不参考前一帧的统计信息，而是使噪声校正处理的校正强度返回到初始值，从而能够抑制实施过多的校正。
[0142]在基于本实施例的方式中，在控制噪声校正处理的校正强度时所使用的并不是实际的图像信号校正处理的输出结果，而是基于校正参数的校正量的推测值，因此在噪声校正处理的后段在I帧期间只进行一次图像信号校正处理即可。因此，在摄像机中进行运动图像处理时，只要在I帧期间各进行一次噪声校正处理和图像信号校正处理就能够进行与图像信号校正处理的校正特性联动的噪声校正处理，能够降低通过硬件实现时的电路规模或通过软件实现时的运算成本。特别是，即使图像信号校正处理进行复杂的输入输出特性的处理而使得电路规模增大，通过本构成，只要追加由软件实现的控制处理即可，因此能够抑制成本的大幅增大。
[0143]此外，统计信息获取部1505根据照相机信号处理部1503输出的噪声校正后的图像信号计算出噪声的影响小的统计信息，从而高精度地进行场景判别，还具有高精度地进行基于图像信号校正处理的视觉辨认性的提高的优点。
[0144]图16是表示本发明的第6实施例的噪声校正的校正强度控制方法的一例的图。在本实施例中，噪声校正的校正强度控制处理是由噪声校正强度控制部1508实施的。
[0145]如图16所示，将模拟增益、数字增益带来的信号的放大率作为曝光控制信息而累计在基于信号电平校正处理的信号校正量上，将所得到的结果作为综合信号校正量来用在噪声校正处理的校正强度的控制中即可。由此，即使拍摄场景不足够明亮，在曝光控制部1514进行了增大增益量的控制的情况下，通过根据增益量来增强噪声的校正效果，从而能够抑制噪声分量也同时被放大而引起的画质的降低。此时，在信号电平校正处理的校正强度小的情况下，能够进行与曝光控制联动的噪声校正，在信号电平校正处理的校正强度大的情况下，能够进行与曝光控制和信号电平校正处理这两者联动的噪声校正。
[0146]图17是表示本发明的第6实施例的信号范围校正处理的校正强度控制方法的一例的图。在本实施例中，信号范围校正处理的校正强度控制处理是通过信号校正强度控制部1506实施的。
[0147]如图17所示，信号校正强度控制部1506针对基于统计信息获取部1505输出的统计信息而决定的信号范围校正处理的校正强度的中间值进行与曝光控制信息相应的校正，决定并输出最终的校正强度。例如，控制成，在曝光控制的模拟增益量和数字增益量小的情况下，直接使用基于统计信息决定的控制值，随着模拟增益量和数字增益量变大而使用按照以基于统计信息决定的控制值为基准变小的方式进行校正后得到的值。由此，在对模拟增益量和数字增益量大而噪声被增强得较多的图像无法充分地进行噪声校正处理时，通过进行信号电平校正处理，能够防止噪声被增强得较多而导致视觉辨认性降低。
[0148]此外，与信号范围校正处理的校正强度联动地计算出信号校正特性推测部1507推测的信号校正特性，因此噪声校正强度控制部1508控制的噪声校正的校正强度也是与信号范围校正处理的校正强度联动地决定的。因此，在模拟增益量和数字增益量大的情况下，由于信号范围校正处理的校正强度小，因此噪声校正的校正强度是主要依赖于模拟增益量和数字增益量来控制的，由此可得到与没有信号范围校正处理时相同的效果，可获得与关闭使用了信号范围校正处理的功能时相同的画质。
[0149]另外，在该例中，记载了随着模拟增益量和数字增益量变大而减弱信号范围校正处理的校正强度的方法，但是也可以进行基于统计信息减弱信号范围校正处理的校正强度及噪声校正强度的控制。在例如图像信号中的平均亮度小于规定的阈值且不存在高亮度的情况下，通过减弱信号范围校正处理的校正强度，在所输入的影像非常暗的情况下，能够通过信号电平校正处理防止噪声被增强很多。
[0150]综上，根据本实施例，根据信号电平校正的校正强度的控制信息和曝光控制信息决定噪声校正的校正强度，从而根据曝光的状态、信号电平校正的效果来实施最佳的噪声校正，能够以低成本拍摄高画质且视觉辨认性高的图像。
[0151](实施例7)
[0152]图18是表示本发明的第7实施例的图像信号处理装置及摄像装置的示意图。在图18中，1801是图像信号输入部，1804是图像信号校正部，1805是统计信息获取部，1806是信号校正强度控制部，1807是信号校正特性推测部，1808是噪声校正强度控制部，1809是信号校正特性推测信息保存部，1815是通信部，1816是具备实现图像信号输入部1801至信号校正特性推测信息保存部1809的图像处理程序的图像信号处理装置，1817是具备了与局部的明亮度信息相应的噪声校正调整功能的摄像装置。另外，与其他实施例相同名称的处理部在没有特别说明的情况下具备与已说明过的处理部相同的功能。
[0153]图18所示的图像信号处理装置与图9所示的图像信号处理装置的差异在于，噪声校正处理不是在图像信号处理装置1816内进行的，而是由具备与局部的明亮度信息相应的噪声校正调整功能的摄像装置1817进行，经由通信部1815从图像信号处理装置1816向具备与局部的明亮度信息相应的噪声校正调整功能的摄像装置1817发送噪声校正处理的校正强度作为调整值。
[0154]在图18所示的图像信号处理装置及摄像装置中，图像信号输入部1801经由连接了影像线缆的采集板、LAN、USB等而与具备与局部的明亮度信息相应的噪声校正调整功能的摄像装置1817相连接，获取具备与局部的明亮度信息相应的噪声校正调整功能的摄像装置1817拍摄到的图像信号。
[0155]图像信号校正部1804基于信号校正强度控制部1806输出的信号电平校正的校正强度决定图像信号的输入输出特性，基于该输入输出特性校正从图像信号输入部1801输出的图像信号的每个像素的信号值、即信号电平，来生成输出信号。
[0156]统计信息获取部1805将图像信号输入部1801输出的图像信号作为输入，测量信号值的统计信息后进行输出。噪声校正强度控制部1808基于信号校正特性推测部1807推测出的每个明亮度的信号校正量来决定具备与局部的明亮度信息相应的噪声校正调整功能的摄像装置1817的噪声校正调整值，并将其输出到通信部1815。
[0157]通信部1815通过借助串行端口、并行端口、或LAN的通信等向具备与局部的明亮度信息相应的噪声校正调整功能的摄像装置1817发送噪声校正调整值。由此，即使是进行包含噪声校正处理在内的照相机信号处理的摄像装置和进行信号电平校正处理的图像信号处理装置不同的装置，也能够根据信号电平校正处理的校正强度来实施最佳的噪声校正，能够以低成本拍摄高画质且视觉辨认性高的图像。
[0158]另外，本发明并不限于上述的实施例，包括各种变形例。例如，上述的实施例是为了便于说明本发明而详细说明的例子，并不限于一定要具备所说明的所有构成。此外，能够将某一实施例的构成的一部分置换为其他实施例的构成，而且也能够在某一实施例的构成中追加其他实施例的构成。
[0159]另外，本发明例如在民用、监控、车载或业务用途中可利用在摄像装置、PC应用程序、图像处理装置等中。
[0160]符号说明:
[0161]0101图像信号输入部
[0162]0102局部信息获取部
[0163]0103噪声校正部
[0164]0104图像信号校正部
[0165]0105统计信息获取部
[0166]0106信号校正强度控制部
[0167]0107信号校正特性推测部
[0168]0108噪声校正强度控制部
[0169]0601图像信号输入部
[0170]0602局部信息获取部
[0171]0603噪声校正部
[0172]0604图像信号校正部
[0173]0604_1频率分离部
[0174]0604_2 DC分量校正部
[0175]0604_3 AC分量校正部
[0176]0604_4频率综合部
[0177]0605统计信息获取部
[0178]0606信号校正强度控制部
[0179]0607信号校正特性推测部
[0180]0608噪声校正强度控制部
[0181]0901图像信号输入部
[0182]0902局部信息获取部
[0183]0903噪声校正部
[0184]0904图像信号校正部
[0185]0905统计信息获取部
[0186]0906信号校正强度控制部
[0187]0907信号校正特性推测部
[0188]0908噪声校正强度控制部
[0189]0909信号校正特性推测信息保存部
[0190]1101图像信号输入部
[0191]1102局部信息获取部
[0192]1104图像信号校正部
[0193]1105统计信息获取部
[0194]1106信号校正强度控制部
[0195]1107信号校正特性推测部
[0196]1109信号校正特性推测信息保存部
[0197]1110边缘增强部
[0198]1111边缘增强强度控制部
[0199]1301图像信号输入部
[0200]1302局部信息获取部
[0201]1304图像信号校正部
[0202]1305统计信息获取部
[0203]1306信号校正强度控制部
[0204]1307信号校正特性推测部
[0205]1309信号校正特性推测信息保存部
[0206]1312颜色噪声校正部
[0207]1313颜色噪声校正强度控制部
[0208]1501 摄像部
[0209]1503照相机信号处理部
[0210]1503_1曝光量检测部
[0211]1503_2数字增益部
[0212]1503_3局部信息获取部
[0213]1503_4噪声校正部
[0214]1504图像信号校正部
[0215]1505统计信息获取部
[0216]1506信号校正强度控制部
[0217]1507信号校正特性推测部
[0218]1508噪声校正强度控制部
[0219]1509信号校正特性推测信息保存部
[0220]1514曝光控制部
[0221]1801图像信号输入部
[0222]1804图像信号校正部
[0223]1805统计信息获取部
[0224]1806信号校正强度控制部
[0225]1807信号校正特性推测部
[0226]1808噪声校正强度控制部
[0227]1809信号校正特性推测信息保存部
[0228]1815通信部
[0229]1816图像信号处理装置
【权利要求】
1.一种图像信号处理装置，其特征在于，具备:图像信号输入单元，其输入图像信号；局部信息获取部，其根据由该图像信号输入单元输入的图像信号来计算包括关注像素在内的局部区域的像素值的统计量作为局部信息；噪声校正单元，其对由所述图像信号输入单元输入的图像信号使用由该局部信息获取部获取的局部信息来进行噪声校正处理，输出噪声校正后的图像信号；图像信号校正单元，其对所述噪声校正单元输出的图像信号进行信号电平校正处理，输出电平校正后的图像信号；图像信号校正强度控制单元，其决定该图像信号校正单元的信号电平校正处理的校正强度来改变该信号电平校正处理的输入输出特性；信号校正特性推测单元，其基于该图像信号校正强度控制单元决定的校正强度，推测基于所述图像信号校正单元的信号电平校正处理的电平校正的特性；和噪声校正强度控制单元，其与该信号校正特性推测单元推测出的电平校正的特性联动地控制与所述噪声校正单元的噪声校正处理的局部信息相应的校正强度。
2.根据权利要求1所述的图像信号处理装置，其特征在于，所述局部信息是由该图像信号输入单元输入的图像信号中的关注像素的明亮度分量。
3.根据权利要求1所述的图像信号处理装置，其特征在于，所述局部信息是由该图像信号输入单元输入的图像信号中的包括关注像素在内的局部区域的每个频率的信号分量。
4.根据权利要求1至3中的任一项所述的图像信号处理装置，其特征在于，所述图像信号校正单元根据所述噪声校正单元输出的图像信号的关注像素的明亮度，在暗部和明部分别延长信号，且以暗部的延长量大于明部的延长量的校正特性进行信号电平校正处理。
5.根据权利要求4所述的图像信号处理装置，其特征在于，所述信号校正特性推测单元在暗部和明部分别推测基于所述图像信号校正单元的信号电平校正处理的电平校正的特性，所述噪声校正强度控制单元与所述信号校正特性推测单元推测出的暗部和明部的电平校正的特性联动地进行控制，以使所述噪声校正单元的噪声校正处理的暗部的校正强度比明部的校正强度强。
6.根据权利要求5所述的图像信号处理装置，其特征在于，所述噪声校正强度控制单元还按照包括关注像素在内的局部区域的每个频率的信号分量来使所述噪声校正单元的噪声校正处理的校正强度不同。
7.根据权利要求1至6中的任一项所述的图像信号处理装置，其特征在于，基于所述信号电平校正处理的电平校正的特性是，所述基准图像信号校正的信号电平校正处理的输入输出特性中的多个代表性信号电平的输入值与校正量的比率。
8.根据权利要求1至6中的任一项所述的图像信号处理装置，其特征在于，基于所述信号电平校正处理的电平校正的特性是，分别包括所述基准图像信号校正的信号电平校正处理的输入输出特性中的多个代表性信号电平在内的多个2个信号电平间的输入值的差分与输出值的差分的比率。
9.根据权利要求8所述的图像信号处理装置，其特征在于，所述多个2个信号电平间的间隔按照多个代表性信号电平而不同。
10.根据权利要求1至9中的任一项所述的图像信号处理装置，其特征在于，所述图像信号处理装置还具备:统计信息获取单元，其将由所述图像信号输入单元输入的图像信号或所述噪声校正单元输出的噪声校正后的图像信号中的任一个作为输入，计算并输出该图像信号的全部、或者规定区域的信号值的分布或统计量作为统计信息，所述图像信号校正强度控制单元基于该统计信息获取单元输出的统计信息，控制所述图像信号校正单元的信号电平校正处理的校正强度。
11.根据权利要求1至10中的任一项所述的图像信号处理装置，其特征在于，所述图像信号处理装置还具备:信号校正特性推测信息保存部，其将用于推测与所述图像信号校正强度控制单元决定的信号电平校正处理的校正强度对应的、基于所述图像信号校正单元的信号电平校正处理的信号电平的校正特性的信息，作为信号校正特性推测信息来保存，所述信号校正特性推测单元由该信号校正特性推测信息保存部获取信号校正特性推测信息，基于该信号校正特性推测信息和所述图像信号校正强度控制单元决定的校正强度，推测所述图像信号校正单元的信号电平校正处理的信号校正的特性。
12.根据权利要求1至11中的任一项所述的图像信号处理装置，其特征在于，所述噪声校正单元包括边缘增强单元，该边缘增强单元对由所述图像信号输入单元输入的图像信号利用由所述局部信息获取部获取的局部信息来进行边缘增强处理，输出边缘增强后的图像信号，所述噪声校正强度控制单元与所述信号校正特性推测单元推测出的电平校正的特性联动地按每个明亮度计算所述边缘增强单元的边缘增强处理的校正强度并削弱该校正强度从而抑制噪声。
13.根据权利要求1至12中的任一项所述的图像信号处理装置，其特征在于，由所述图像信号输入单元输入的图像信号由亮度信号和颜色信号构成，所述局部信息获取部根据由该图像信号输入单元输入的图像信号的亮度信号计算关注像素的明亮度作为局部信息，所述噪声校正单元根据所述关注像素的明亮度以不同的校正强度对颜色信号进行颜色噪声校正处理，所述噪声校正强度控制单元与所述信号校正特性推测单元推测出的电平校正的特性联动地按每个明亮度计算所述噪声校正单元的颜色噪声校正处理的校正强度来进行控制。
14.一种摄像装置，其特征在于，具备权利要求1至13中的任一项所述的图像信号处理>j-U ρ?α装直。
15.一种摄像装置，其特征在于，具备:摄像单元，其进行拍摄来生成图像信号并输出该图像信号；曝光量检测部，其检测该摄像单元的曝光量；曝光控制单元，其基于该曝光量检测部检测出的曝光量，控制所述摄像单元的曝光；局部信息获取部，其根据所述摄像单元输出的图像信号，计算包括关注像素在内的局部区域的像素值的统计量，作为局部信息；噪声校正单元，其对所述摄像单元输出的图像信号利用由该局部信息获取部获取到的局部信息，进行噪声校正处理，输出噪声校正后的图像信号；图像信号校正单元，其对所述噪声校正单元输出的图像信号进行信号电平校正处理，输出电平校正后的像信号；图像信号校正强度控制单元，其决定该图像信号校正单元的信号电平校正处理的校正强度来改变该信号电平校正处理的输入输出特性；信号校正特性推测单元，其基于该图像信号校正强度控制单元决定的校正强度，推测基于所述图像信号校正单元的信号电平校正处理的电平校正的特性；和噪声校正强度控制单元，其与该信号校正特性推测单元推测出的电平校正的特性和所述曝光控制单元的曝光控制的程度联动地，计算与所述噪声校正单元的噪声校正处理的局部信息相应的校正强度来进行控制。
16.根据权利要求15所述的摄像装置，其特征在于，所述图像信号校正强度控制单元与所述曝光控制单元的曝光控制的程度联动地校正所述图像信号校正单元的信号电平校正处理的校正强度。
17.根据权利要求16所述的摄像装置，其特征在于，随着所述曝光控制单元进行使信号增益变大的曝光控制，所述图像信号校正强度控制单元减小信号电平校正处理的校正强度。
18.一种图像处理程序，其特征在于，实现权利要求1至13中的任一项所述的图像信号处理装置。
19.一种图像处理程序，其特征在于，具备:图像信号输入单元，其与具有计算包括关注像素在内的局部区域的像素值的统计量作为局部信息且使用该局部信息进行噪声校正处理的噪声校正调整功能的摄像装置连接，输入图像信号；图像信号校正单元，其对由该图像信号输入单元输入的图像信号进行信号电平校正处理，输出电平校正后的像信号；图像信号校正强度控制单元，其决定该图像信号校正单元的信号电平校正处理的校正强度来改变该信号电平校正处理的输入输出特性；信号校正特性推测单元，其基于该图像信号校正强度控制单元决定的校正强度，推测基于所述图像信号校正单元的信号电平校正处理的电平校正的特性；噪声校正强度控制单元，其与该信号校正特性推测单元推测出的电平校正的特性联动地计算所述摄像装置的噪声校正调整功能的设定值；和通信单元，其向所述摄像装置发送该噪声校正强度控制单元计算出的所述摄像装置的与局部信息相应的噪声校正调整功能的设定值。
【文档编号】H04N9/79GK104243770SQ201410273049
【公开日】2014年12月24日 申请日期:2014年6月18日 优先权日:2013年6月19日
【发明者】广冈慎一郎, 斋宽知, 盐川淳司, 吉田大辅 申请人:日立产业控制解决方案有限公司