图像处理设备，成像设备，图像处理方法和程序的制作方法
【专利摘要】本发明涉及图像处理设备，成像设备，图像处理方法和程序。一种图像处理设备，包括：噪声消除图像生成单元，所述噪声消除图像生成单元根据输入图像，和通过以预定倍率缩小输入图像而获得的缩小图像，生成输入图像中的噪声被除去的噪声消除图像；和校正图像生成单元，所述校正图像生成单元根据噪声消除图像，生成高频分量图像，并根据噪声消除图像和高频分量图像，生成边缘校正图像，所述高频分量图像主要具有噪声消除图像的，与将利用在按预定倍率的缩小中的频带限制除去的频率分量在相同频带中的频率分量。
【专利说明】图像处理设备，成像设备，图像处理方法和程序
【技术领域】
[0001]本技术涉及图像处理设备。具体地说，本技术涉及图像处理设备，成像设备，校正噪声的图像处理方法，和使计算机执行所述方法的程序。
【背景技术】
[0002]近年来，拍摄被摄对象，比如人，从而生成拍摄图像，并记录生成的拍摄图像的成像设备，比如数字静态照相机或数字摄像机(例如，照相机内的记录器)已获得广泛应用。利用数字成像设备拍摄的图像通常包括噪声。
[0003]拍摄图像的噪声包括随机出现在少量像素中，可以利用具有少量抽头的滤波器除去的噪声(高频噪声)，和出现在大量像素中，只能利用具有大量抽头的滤波器除去的噪声(低频噪声)。
[0004]利用具有大量抽头的滤波器中的处理，能够除去低频噪声。但是，利用具有大量抽头的滤波器的处理较繁重。因此，提出了一种简单地除去低频噪声的方法。例如，提出了一种根据输入图像，和输入图像的缩小图像，除去低频噪声的图像处理方法(例如，参见JP-A-2004-295361)。
[0005]在这种图像处理方法中，比较预定范围中的平均值和输入图像中的像素值，以分离噪声和有效信号，用根据缩小图像生成的替换数据替换具有大量噪声的像素值，从而除去输入图像中的低频噪声。
【发明内容】
[0006]在现有技术中，替换数据是根据缩小图像生成的，从而能够除去输入图像中的低频噪声。不过，由于根据缩小图像生成的替换数据是具有较少的高频分量和低分辨率的图像，因此当在边缘或者近边缘进行替换时，分辨率会被降低。因而，重要的是不损害图像中的分辨率地除去噪声。
[0007]于是，理想的是改善经历噪声消除处理的图像中的图像质量。
[0008]本技术的实施例目的在于一种图像处理设备，图像处理方法和程序，所述图像处理设备包括噪声消除图像生成单元，所述噪声消除图像生成单元根据输入图像，和通过以预定倍率缩小输入图像而获得的缩小图像，生成输入图像中的噪声被除去的噪声消除图像，和校正图像生成单元，所述校正图像生成单元根据噪声消除图像，生成高频分量图像，并根据噪声消除图像和高频分量图像，生成边缘校正图像，所述高频分量图像主要具有噪声消除图像的，与将利用在按预定倍率的缩小中的频带限制除去的频率分量在相同频带中的频率分量。借助这种结构，利用噪声消除图像的与将利用当生成缩小图像时的频带限制除去的频率分量在相同频带中的频率分量，对根据输入图像和缩小图像生成的噪声消除图像进行边缘校正。
[0009]在本技术的实施例中，校正图像生成单元可利用主要具有将不利用频带限制除去的频率分量的低频分量图像和噪声消除图像之间，对于每个像素的减法处理，生成高频分量图像。借助这种结构，利用在主要具有将不利用频带限制除去的频率分量的低频分量图像和噪声消除图像之间，对于每个像素的减法处理，生成高频分量图像。
[0010]在本技术的实施例中，噪声消除图像生成单元可通过按预定倍率，放大缩小图像中的噪声被除去的图像，生成第二噪声消除图像，随后按照对于每个像素设定的加算比例，利用第二噪声消除图像和输入图像之间，对于每个像素的加法处理，生成噪声消除图像，校正图像生成单元可通过利用第二噪声消除图像作为低频分量图像，生成高频分量图像。借助这种结构，利用通过按预定倍率，放大缩小图像中的噪声被消除的图像而获得的第二噪声消除图像，生成高频分量图像。
[0011 ] 在本技术的实施例中，校正图像生成单元可利用通过按预定倍率缩小然后放大噪声消除图像而获得的图像，作为低频分量图像，生成高频分量图像。借助这种结构，利用通过按预定倍率缩小然后放大噪声消除图像而获得的图像，生成高频分量图像。
[0012]在本技术的实施例中，校正图像生成单元可利用通过按预定倍率缩小然后放大缩小图像而获得的图像，作为低频分量图像，生成高频分量图像。借助这种结构，利用通过按预定倍率缩小然后放大缩小图像而获得的图像，生成高频分量图像。
[0013]在本技术的实施例中，校正图像生成单元可根据噪声消除图像和高频分量图像，利用非锐化掩模处理生成边缘校正图像。借助这种结构，利用非锐化掩模处理，进行边缘校正。
[0014]本技术的再一个实施例目的在于一种图像处理设备，包括缩小图像生成单元，所述缩小图像生成单元通过按预定倍率，缩小输入图像，生成缩小图像，噪声消除图像生成单元，当对输入图像进行边缘增强时，所述噪声消除图像生成单元根据输入图像和缩小图像，生成输入图像中的噪声被除去的噪声消除图像，和校正图像生成单元，当进行边缘增强时，所述校正图像生成单元根据生成的缩小图像和噪声消除图像，生成高频分量图像，并根据噪声消除图像和高频分量图像，利用非锐化掩模处理，生成边缘校正图像。借助这种结构，当进行边缘增强时，利用噪声消除图像的，与将利用在生成缩小图像时的频带限制除去的频率分量在相同频带中的频率分量，对根据输入图像和缩小图像生成的噪声消除图像，进行边缘校正。
[0015]在本技术的另一个实施例中，当对输入图像进行对比度增强时，校正图像生成单元可根据缩小图像和输入图像，生成第二高频分量图像，并根据输入图像和第二高频分量图像，利用非锐化掩模处理，生成对比度增强图像，当进行对比度增强时，噪声消除图像生成单元可根据缩小图像和对比度增强图像，生成对比度增强图像中的噪声被除去的图像。借助这种结构，当进行对比度增强时，在利用非锐化掩模处理进行对比度增强之后，进行利用缩小图像的噪声消除。
[0016]本技术的另一个实施例目的在于一种成像设备，包括透镜单元，所述透镜单元使被摄对象光聚光，成像装置，所述成像装置把被摄对象光转换成电信号，信号处理单元，所述信号处理单元把从成像装置输出的电信号转换成预定输入图像，噪声消除图像生成单元，所述噪声消除图像生成单元根据输入图像和通过按预定倍率，缩小输入图像而获得的缩小图像，生成输入图像中的噪声被除去的噪声消除图像，校正图像生成单元，所述校正图像生成单元根据噪声消除图像，生成高频分量图像，并根据噪声消除图像和高频分量图像，生成边缘校正图像，所述高频分量图像主要具有噪声消除图像的，与将利用在按预定倍率的缩小中的频带限制除去的频率分量在相同频带中的频率分量，和记录处理单元，所述记录处理单元压缩和编码生成的边缘校正图像，从而生成记录数据，并记录所述记录数据。借助这种结构，利用噪声消除图像的，与将利用在生成缩小图像时的频带限制除去的频率分量在相同频带中的频率分量，对根据输入图像和缩小图像生成的噪声消除图像，进行边缘校正，并记录经历边缘校正的图像。
[0017]本技术的实施例具有改善经历噪声消除处理的图像中的图像质量的有益效果。
【专利附图】
【附图说明】
[0018]图1是表示按照本技术的第一实施例的成像设备的功能结构的例子的方框图；
[0019]图2是示意表示按照本技术的第一实施例的NR单元的功能结构例子的方框图；
[0020]图3A和3B是图解说明当举例说明按照本技术的第一实施例的NR单元中的图像处理时，使用的边缘、近边缘和平坦部分的示图；
[0021]图4A-4G是示意表示在利用按照本技术的第一实施例的NR单元的缩小NR处理和非锐化掩模处理时，像素值的转变的示图。
[0022]图5A-?是示意表示图像的频率分量和图像处理之间的关系，以便举例说明按照本技术的第一实施例的NR单元中的图像处理的示图。
[0023]图6A-6C是示意表示用于按照本技术的第一实施例的NR单元中的非锐化掩模处理的差分图像的频率分量和在缩小NR之后的图像的频率分量之间的关系的示图。
[0024]图7A和7B是示意表示按照本技术的第一实施例的NR单元中的非锐化掩模处理的细节的示图。
[0025]图8A-8D是图解说明在按照本技术的第一实施例的NR单元中的缩小NR处理和非锐化掩模处理中，利用相似的频带限制的效果的示图。
[0026]图9是表示当利用按照本技术的第一实施例的NR单元进行图像处理时的处理过程例子的流程图。
[0027]图10是表示按照本技术的第二实施例的NR单元的功能结构的例子的方框图。
[0028]图11是表示当利用按照本技术的第二实施例的NR单元进行图像处理时的处理过程例子的流程图。
[0029]图12是表示作为本技术的第一实施例的变形例，利用通过在缩小NR之后缩小图像而获得的图像，计算差分的NR单元的功能结构的例子的方框图。
[0030]图13是表示作为本技术的第一实施例的变形例，利用图像缩小单元生成的缩小图像，进行缩小NR处理和近边缘增强的NR单元的功能结构的例子的方框图。
【具体实施方式】
[0031]下面说明实现本技术的方式(下面称为实施例)。将按照以下顺序进行说明。
[0032]1.第一实施例(图像处理控制:利用相同缩小率，进行缩小NR处理和非锐化掩模处理的例子)
[0033]2.第二实施例(图像处理控制进行整个图像的对比度增强和缩小NR处理的例子)
[0034]3.变形例[0035]〈1.第一实施例>
[0036][成像设备的功能结构例子]
[0037]图1是表示按照本技术的第一实施例的成像设备100的功能结构的例子的方框图。
[0038]成像设备100是拍摄被摄对象，从而生成图像数据(拍摄图像)，并把生成的图像数据记录成图像内容(静止图像内容或运动图像内容)的成像设备(例如，小型数字照相机)。
[0039]成像设备100包括透镜单元110、成像装置120、预处理单元130、YC变换单元140、NR (降噪)单元200和尺寸变换单元150。成像设备100包括记录处理单元161、记录单元162、显示处理单元171、显示单元172、总线181和存储器182。
[0040]总线181是用于成像设备100中的数据传送的总线。例如，当进行图像处理时，应被临时保存的数据通过总线181，被保存在存储器182中。
[0041]存储器182临时保存成像设备100中的数据。存储器182用作例如成像设备100中的每种信号处理的工作区。存储器182是利用例如DRAM(动态随机存取存储器)实现的。
[0042]透镜单元110使来自被摄对象的光(被摄对象光)聚光。在图1中，布置在成像光学系统中的各个部件(诸如聚焦透镜和变焦透镜之类的各个透镜、滤光器、孔径光阑等)被共同称为透镜单元110。利用透镜单元110聚光的被摄对象光在成像装置120的曝光面上成像。
[0043]成像装置120把被摄对象光光电转换成电信号，接收被摄对象光并生成电信号。成像装置120是利用例如固态成像装置，比如CMOS(互补金属氧化物半导体)传感器或(XD(电荷耦合器件)传感器实现的。成像装置120把生成的电信号作为图像信号(RAW信号)，提供给预处理单元130。
[0044]预处理单元130对从成像装置120供给的图像信号(RAW信号)进行各种信号处理。例如，预处理单元130进行图像信号处理，比如噪声消除、白平衡调整、颜色校正、边缘增强、伽马校正和分辨率变换。预处理单元130把经过各种信号处理的图像信号提供给YC变换单元140。
[0045]YC变换单元140把从预处理单元130供给的图像信号转换成YC信号。YC信号是包括亮度分量(Y)和红/蓝色差分量(Cr/Cb)的图像信号。YC变换单元140通过信号线209，把生成的YC信号提供给NR单元200。YC变换单元140和预处理单元130是在附加权利要求中描述的信号处理单元的例子。
[0046]NR单元200除去包含在作为YC信号，从YC变换单元140供给的图像中的噪声。NR单元200利用缩小图像，进行噪声消除处理，还进行非锐化掩模处理，以便恢复在噪声消除处理中降低的分辨率。因而，NR单元200生成其中低频噪声被减小，并且在边缘和近边缘分辨率令人满意的图像。在本技术的第一实施例中，为了便于说明，将通过把图像分成边缘、近边缘和平坦部分，进行说明。边缘、近边缘和平坦部分将参考图3A和3B说明，从而这里省略其说明。
[0047]下面参考图2，说明NR单元200的内部结构，从而这里将省略NR单元200的详细说明。NR单元200把经历噪声消除处理和非锐化掩模处理的图像(下面称为NR图像)经信号线201，提供给尺寸变换单元150。[0048]尺寸变换单元150把从NR单元200供给的NR图像的尺寸转换成记录用图像的尺寸或者显示用图像的尺寸。尺寸变换单元150把生成的记录用图像(记录图像)提供给记录处理单元161。尺寸变换单元150把生成的显示用图像(显示图像)提供给显示处理单元 171。
[0049]记录处理单元161压缩和编码从尺寸变换单元150供给的图像，从而生成记录数据。当记录静止图像时，记录处理单元161利用用于压缩静止图像的编码格式(例如，JPEG(联合图像专家组)系统)压缩图像，并把压缩图像的数据(静止图像内容)提供给记录单元162。当记录运动图像时，记录处理单元161利用用于压缩运动图像的编码格式(例如，MEPG(运动图像专家组)系统)压缩图像，并把压缩图像的数据(运动图像内容)提供给记录单元162。
[0050]当再现保存在记录单元162中的图像时，记录处理单元161依据图像的压缩编码格式，恢复图像，并把恢复的图像信号提供给显示处理单元171。
[0051]记录单元162记录从记录处理单元161供给的记录数据(静止图像内容或运动图像内容)。记录单元162利用例如记录介质(单个或多个记录介质)，比如半导体存储器(存储卡等)、光盘(BD (蓝光光盘)、DVD (数字通用光盘)、CD (压缩光盘)等)或者硬盘实现。记录介质可被嵌入成像设备100中，或者可以从成像设备100拆下。
[0052]显示处理单元171把从尺寸变换单元150供给的图像转换成用于在显示单元172上显示的信号。例如，显示处理单元171把从尺寸变换单元150供给的图像转换成NTSC(全国电视系统委员会)制式的标准彩色视频信号，并把转换的标准彩色视频信号提供给显示单元172。当再现记录在记录单元162中的图像时,显示处理单元171把从记录处理单元161供给的图像转换成标准彩色视频信号，并把转换的标准彩色视频信号提供给显示单元172。
[0053]显示单元172显示从显示处理单元171供给的图像。例如，显示单元172显示监控图像(实时取景图像)，成像设备100的各种功能的设置屏幕，再现的图像等等。显示单元172是利用例如彩色液晶面板，比如LCD (液晶显示器)或者有机EL (电致发光)显示器实现的。
[0054]功能结构中的预处理单元130、YC变换单元140、NR单元200、尺寸变换单元150、记录处理单元161和显示处理单元171是利用例如设置在成像设备100中的图像处理用DSP (数字信号处理器)实现的。
[0055]在图1和后续附图中，将说明其中假定在成像设备中设置NR单元200，并处理拍摄图像的例子。不过，NR单元200可被设置在记录或显示从外部输入的运动图像内容的视频观看设备(例如，具有硬盘的记录器)中。当NR单元200被设置在视频观看设备中时，NR单元200被设置在图像处理用DSP中，所述DSP从记录在记录介质中的记录数据，生成图像。当从记录数据生成显示图像时，进行噪声消除处理和非锐化掩模处理。
[0056]下面参考图2，说明NR单元200的内部结构。
[0057][NR单元的功能结构例子]
[0058]图2是示意表示按照本技术的第一实施例的NR单元200的功能结构例的方框图。
[0059]在图2和后续附图中，将在把由NR单元200处理的信号作为像素值的情况下进行说明。例如，当NR单元200对亮度分量(Y)进行校正处理时，亮度分量(Y)的值对应于像素值。
[0060]NR单元200包括高频噪声消除单元210、缩小NR单元220和边缘恢复单元230。
[0061]高频噪声消除单元210从包含在经信号线209供给的图像中的噪声之中，除去高频噪声。在当除去噪声时的滤波处理期间，可在把抽头数设定为较小的情况下，除去高频噪声。高频噪声是就像素，比如一个像素或两个像素而论产生的噪声。
[0062]例如，闻频噪声消除单兀210利用具有少量抽头的ε滤波器，除去闻频噪声。闻频噪声消除单元210把高频噪声被除去的图像经信号线241，提供给缩小NR单元220。下面，把利用高频噪声消除单元210除去高频噪声的图像称为高频噪声消除图像。
[0063]缩小NR单元220利用图像的缩小图像，除去从高频噪声消除单元210供给的图像中的低频噪声。低频噪声是出现在多个相邻像素(宽范围)中的斑状噪声，不能利用具有少量抽头的滤波器除去。低频噪声是未被高频噪声消除单元210除去的噪声，在例如以高感光度拍摄较暗的被摄对象时出现。
[0064]缩小NR单元220包括图像缩小单元221、低频噪声消除单元222、图像放大单元223、加法判定单元224和相加图像生成单元225。缩小NR单元220把低频噪声被除去的图像和缩小图像提供给边缘恢复单元230。缩小NR单元220是在附加权利要求中说明的噪声消除图像生成单元的例子。
[0065]图像缩小单元221通过把经信号线241供给的图像的尺寸缩小到原来的1/Ν，生成缩小图像。例如，图像缩小单元221通过把供给的图像缩小到原尺寸的1/4，生成缩小图像。缩小率(N)是用于设定在近边缘的主要频率分量的区间中，充当频带限制的基准(边界)的频率(以致等于或大于其的频率分量被切去的频率)的值。图像缩小单元221把生成的缩小图像提供给低频噪声消除单元222。
[0066]低频噪声消除单元222除去包含在从图像缩小单元221供给的缩小图像中的噪声。由于高频噪声在高频噪声消除单元210中被除去，因此低频噪声消除单元222的噪声消除除去包含在图像中的低频噪声。作为噪声消除方法，可考虑各种方法，例如，低频噪声消除单元222按照和高频噪声消除单元210相同的方式，利用ε滤波器除去噪声。由于经历噪声消除处理的图像是缩小图像，因此低频噪声的产生范围(像素的数目)变得比缩小前少(1/4)。因此，可以利用缩小图像的滤波处理，用具有少量抽头的滤波器除去低频噪声。低频噪声消除单元222把低频噪声被除去的缩小图像提供给图像放大单元223。
[0067]图像放大单元223把从低频噪声消除单元222供给的缩小图像放大N倍，从而把缩小图像转换成原始尺寸的图像。例如，当在图像缩小单元221中，缩小图像被缩小到原来的1/4时，图像放大单元223把缩小图像的尺寸放大4倍。下面，在利用低频噪声消除单元222除去低频噪声之后，由图像放大单元223放大的图像被称为低频噪声消除图像。图像放大单元223把生成的图像(下面称为低频噪声消除图像)经信号线242，提供给加法判定单元224、相加图像生成单元225和边缘恢复单元230。
[0068]加法判定单元224为每个像素值(每个像素)确定经信号线241，从高频噪声消除单元210供给的高频噪声消除图像，和经信号线242，从图像放大单元223供给的低频噪声消除图像的混合比例(加算比例)。作为计算加算比例的方法，可以考虑各种方法。例如，考虑利用高频噪声消除图像或低频噪声消除图像，为每个像素确定加算比例的方法，根据外部信息(成像条件，比如按肤色鲜明模式的成像)，确定加算比例的方法等等。还可考虑利用高频噪声消除图像或低频噪声消除图像，为每个像素确定加算比例，并利用外部信息对值进行调整的方法等。例如，将在假定利用高频噪声消除图像或低频噪声消除图像，为每个像素计算加算比例的情况下进行说明。
[0069]加法判定单元224计算加算比例S，以致满足“O < S < I”。例如，加法判定单元224利用式(I)，为每个像素计算加算比例S。
[0070]S= | (Pin-Plow) X f|(I)
[0071]Pin是高频噪声消除图像中的像素值。Pm是低频噪声消除图像中的像素值。f是变换因子。
[0072]在利用式I的加算比例S的计算中，当设定变换因子f，以致左侧的计算结果变得大于“1.0”时，以1.0进行饱和处理。如果利用式1，计算加算比例S，那么在图像的边缘，加算比例S变成接近于“ I”的值，在平坦部分中变成接近于“O”的值，在近边缘变成“0〈S〈1”。
[0073]加法判定单元224为构成原始尺寸的图像(高频噪声消除图像)的所有像素值，计算加算比例，并把计算的加算比例提供给相加图像生成单元225。
[0074]相加图像生成单元225按照加算比例，相加高频噪声消除图像和低频噪声消除图像，生成噪声被除去的图像(在缩小NR之后的图像)。例如，相加图像生成单元225利用式
(2)，为每个像素，计算在缩小NR之后的图像中的像素值(Pnk)。
[0075]Pne=S X Pin+(1-S) XPlow (2)
[0076]根据式2，当加算比例S为“I”时，高频噪声消除图像中的像素值被直接输出为在缩小NR之后的图像的像素值。当加算比例S为“O”时，低频噪声消除图像中的像素值被直接输出为在缩小NR之后的图像的像素值。
[0077]即，根据式2，就在加算比例S为接近于“I”的值的边缘的像素值来说，高频噪声消除图像中的像素值的比例增大。就在加算比例S为接近于“O”的值的平坦部分中的像素值来说，在低频噪声消除图像中的像素值的比例增大。在加算比例S变成“0〈S〈1”的近边缘部分中，高频噪声消除图像中的像素值和低频噪声消除图像中的像素值成为按照加算比例S混合的像素值。这样，加算比例S代表边缘的程度，当所述程度较高时，源于高频噪声消除图像的比例增大。
[0078]相加图像生成单元225把通过相加而生成的图像(在缩小NR之后的图像)经信号线243，提供给边缘恢复单元230。
[0079]边缘恢复单元230恢复在缩小NR之后的图像中的边缘和近边缘的分辨率。由于在缩小NR之后的图像是通过混合高频噪声消除图像和低频噪声消除图像而生成的，因此高频噪声和低频噪声被减小。同时，当低频噪声消除图像的像素值的比例较高时，分辨率(高频分量)被降低。因而，边缘恢复单元230利用非锐化掩模处理，恢复在边缘和近边缘的分辨率。
[0080]边缘恢复单元230包括减法器231、增益设定单元232、差分调整单元233和加法器234。边缘恢复单元230是在附加权利要求中说明的校正图像生成单元的例子。
[0081]减法器231利用经信号线243，从相加图像生成单元225供给的在缩小NR之后的图像，和经信号线242，从图像放大单元223供给的低频噪声消除图像，进行减法运算，为每个像素计算用于非锐化掩模处理的差分值。减法器231把计算的差分值经信号线244，提供给差分调整单元233。[0082]增益设定单元232为每个像素确定调整差分值的值(增益)。作为计算增益的方法，可以考虑各种方法，例如，考虑利用在缩小NR之后的图像，或者低频噪声消除图像，为每个像素确定增益的方法，根据诸如透镜特性之类的外部信息，确定增益的方法等。可以考虑利用在缩小NR之后的图像或者低频噪声消除图像，为每个像素确定增益，并利用外部信息调整所述增益的方法等。
[0083]例如，假定根据在缩小NR之后的图像和低频噪声消除图像之间的差分的值的正/负和大小，确定增益。如果按照这种方式确定增益，例如，可以进行调整，以致在所述差分为正的像素值中，利用非锐化掩模处理的增强的程度减小，而在所述差分为负的像素值中，利用非锐化掩模处理的增强的程度增大(参见图7A和7B)。增益设定单元232把每个像素的设定增益提供给差分调整单元233。
[0084]差分调整单元233根据从增益设定单元232供给的增益，调整经信号线244，从减法器231供给的差分值。例如，差分调整单元233利用式(3)，每个像素值地计算经历增益调整的差分值E。
[0085]E=DXG (3)
[0086]D是差分值，是减法器231的计算结果Pnk-Pot的值。G是由利用增益设定单元232设定的增益。
[0087]差分调整单元233利用式3，对每个像素的差分值进行增益调整，然后把经过增益调整的差分值提供给加法器234。
[0088]加法器234根据经信号线243，从相加图像生成单元225供给的在缩小NR之后的图像，和从差分调整单元233供给的增益调整之后的差分值，生成边缘被恢复的图像。例如，差分调整单元233利用式4，计算像素值Ptjut,并生成边缘被恢复的图像(NR图像)。
[0089]P0Ut=PNR+E (4)
[0090]这样，把经过增益调整的差分值和在缩小NR之后的图像的像素值相加，从而进行非锐化掩模处理，恢复在边缘和近边缘的分辨率。加法器234通过信号线201，从NR单元200输出具有相加的像素值的图像(NR图像)。
[0091]下面参考图3A和3B，说明图像中的边缘、近边缘和平坦部分。
[0092][表示边缘、近边缘和平坦部分的图像的例子]
[0093]图3A和3B是图解说明用于举例说明在按照本技术的第一实施例的NR单元200中的图像处理的边缘、近边缘和平坦部分的示图。
[0094]图3A表示图解说明边缘、近边缘和平坦部分的图像(图像310)，和所述图像中的像素值的分布波形(分布波形314)。在分布波形314中，纵轴方向代表像素值的强度，而横轴方向代表图像310中的像素位置。
[0095]在图像310中，在白色背景的图像中描画了黑线，白色背景对应于平坦部分(平坦部分311)，黑线对应于边缘(边缘313)，而在白色背景和黑线的边界的具有微小圆点的区域对应于近边缘(近边缘312)。如在分布波形314中所示，在平坦部分311中，在像素值的强度方面，与周围像素几乎不存在差异。如在分布波形314中所示，在边缘313，在像素值的强度方面，与平坦部分311的像素存在较大的差异，在近边缘312，使像素值转变，以便保持边缘313和平坦部分311之间在像素值之间的差异。
[0096]图3B表示其中对建筑物和天空成像，以便图解说明边缘、近边缘和平坦部分的照片(照片320和321)。下面将集中于建筑物和天空之间的边界，说明边缘、近边缘和平坦部分。
[0097]照片320是其中在建筑物和天空之间的边界，不附加代表边缘或近边缘的标记的照片，而照片321是其中附加代表边缘或近边缘的标记的照片。在建筑物和天空之间的边界，边缘对应于建筑物和天空之间的边界。边缘附近对应于近边缘，而平坦部分对应于天空的区域(照片321的平坦部分331)。在照片321中，边缘用黑实线(边缘333)表示，近边缘用虚线区(近边缘332)表示。
[0098]这样，拍摄的图像包括边缘、近边缘和平坦部分。边缘和近边缘包括高频分量，当利用缩小图像除去低频噪声时，如果用缩小图像替换该图像，那么高频分量被除去，图像变得模糊。因此，在边缘和近边缘的高频分量的再现较重要。
[0099]下面参考示意表示图像中的像素值的转变的图4A-4G，说明利用NR单元200的缩小NR处理和非锐化掩模处理。
[0100][像素值的转变的例子]
[0101]图4A-4G是示意表示在利用按照本技术的第一实施例的NR单元200的缩小NR处理和非锐化掩模处理中的像素值的转变的示图。
[0102]在图4A-4G中所示的图中，横轴代表像素位置，纵轴代表像素值。
[0103]在图4A中所不的图411中，表不了不意表不闻频噪声消除图像中的像素值的实线。在图4A-4G中，将在假定像素值经历利用NR单元200的缩小NR处理和非锐化掩模处理的情况下，进行说明。在图411中所示的实线中，像素值迅速变化的两个位置是边缘，接近所述边缘的左右位置是近边缘，实线的左右两端对应于平坦部分。
[0104]在图4B中所示的图412中，表示了示意表示低频噪声消除图像中的像素值的实线。如图412中所示，在被缩小，并且随后在除去低频噪声之后，被恢复到原始尺寸的图像中，在边缘和近边缘，图像变得模糊。
[0105]在图4C中所示的图413中，表示了示意表示在缩小NR之后的图像中的像素值的实线。如图413中所示，在通过混合高频噪声消除图像和低频噪声消除图像生成的在缩小NR之后的图像中，在近边缘，像素值显著变化。特别地，如在图413的区域Rl和R2中所示，像素值从低像素值变成高像素值(图的上侧)，从而使像素值浮动。
[0106]在图4D中所示的图414中，为了示意表示利用减法器231的差分计算，用虚线表示在缩小NR之后的图像的像素值，用实线表示低频噪声消除图像的像素值。在减法器231中，计算在缩小NR之后的图像和低频噪声消除图像之间的差分，产生如在图4E中所示的图415的差分值。
[0107]在图4E中所示的图415中，表示了示意表示利用减法器231生成的差分图像中的像素值(差分值)的实线。如图415中所示，所述差分在边缘最大(明显偏离值“O”)，在平坦部分最小(基本上为值“O”)。在近边缘，所述差分在边缘的差分和平坦部分的差分的中间。
[0108]在图4F中所示的图416中，表示了示意表示经过利用差分调整单元233的增益调整的差分图像中的像素值(差分值)的实线。如在图416中所示，在利用差分调整单元233的增益调整中，进行增益调整，以致在差分的值为正的位置，待相加的像素值减小，而在差分的值为负的位置，待相减(负值的加法)的像素值增大。[0109]在图4G中所不的图417中，表不了不意表不NR图像中的像素值的实线，和不意表示在缩小NR之后的图像中的像素值的虚线。如在图417中所示，在缩小NR之后的图像经历非锐化掩模处理，从而像素值的差分被放大，提供对比的感觉。通常，当增强整个图像的对比度时，或者当增强轮廓(边缘)时，使用非锐化掩模处理。在本技术的第一实施例中，在缩小NR单元220的加法运算中，使用低频噪声消除图像，在非锐化掩模处理中，使用低频噪声消除图像，从而在缩小NR处理和非锐化掩模处理中，在近边缘的判定基准是统一的。因而，在缩小NR处理中被判断为平坦部分的像素值中，由于未应用非锐化掩模处理，因此不实现增强。在缩小NR处理中被判断为边缘或近边缘的像素值中，判断的程度(加算比例)反映在差分值中，按照缩小NR处理的判断的程度，利用非锐化掩模处理实现增强。
[0110]下面参考专注于图像的频率分量的图5A-OT和6A-6C，说明NR单元200中的图像处理(缩小NR处理和非锐化掩模处理)。
[0111][频率分量和图像处理的关系例子]
[0112]图5A-?示意表示图像的频率分量和图像处理之间的关系，以便举例说明按照本技术的第一实施例的NR单元200中的图像处理。
[0113]在图5A-5D中，将通过把频率分量分类到其中横轴代表波长，纵轴代表强度的图中的多个区间中，说明每种图像处理。图5A-?聚焦于所述各个区间，从而未表示代表各个波长下的信号强度的波形。
[0114]图5A表示频率分量和图像中的每个成像区域(边缘、近边缘和平坦部分)之间的关系。在图5A中所示的图中，表示了平坦部分中的主要频率分量的区域(区间Wl)，在近边缘的主要频率分量的区域(区间W2)，在边缘的主要频率分量的区域(区间W3)。如图5A中所示，在平坦部分中，低频分量占多数，在边缘，高频分量占多数。在近边缘，在介于平坦部分中的主要频率和在边缘的主要频率之间的频率下的频率分量占多数。
[0115]图5B表示在缩小NR之后放大的图像(低频噪声消除图像)的频率分量和利用缩小的频带限制之间的关系。当高频噪声消除图像被缩小到原来的1/N时，频率分量被频带限制到1/N。即，图像缩小单元221把高频噪声消除图像缩小到原来的1/N，从而比预定频率(图5B的图中的Ι/Nfs)高的频率分量(Ι/Nfs的右侧)被切去(除去)。
[0116]如果利用该图像进行噪声消除，那么低于Ι/Nfs的频率分量(区间Wll)中的噪声被除去。在除去噪声之后，即使利用图像放大单元223使图像恢复原始尺寸，比Ι/Nfs高的频率分量(区间W12)仍然被切去。因而，低频噪声消除图像的频率分量仅仅由低于1/Nfs的频率分量(区间11)构成，不存在高于Ι/Nfs的频率分量(区间W12)。
[0117]图5C表示通过混合高频噪声消除图像和低频噪声消除图像而生成的在缩小NR之后的图像的频率分量，与高频噪声消除图像和低频噪声消除图像之间的关系。如图5B中所示，待混合的低频噪声消除图像只包括低于Ι/Nfs的频率分量(图5B的区间Wll)。待混合的高频噪声消除图像包括低于Ι/Nfs的频率分量和高于Ι/Nfs的频率分量。
[0118]如果按照加算比例S，相加(混合)这两个图像，那么低于Ι/Nfs的频率分量(图5C的区间W21)变成其中混合低频噪声消除图像的频率分量和高频噪声消除图像的频率分量的频率分量。高于Ι/Nfs的频率分量(图5C的区间W22)变成其中在高于Ι/Nfs的高频噪声消除图像的频率分量中反映加算比例的频率分量。即，区间W22变成仅仅由源于高频噪声消除图像的分量构成的频率分量。[0119]图表示由减法器231进行的减法运算和利用所述减法生成的图像(差分图像)的频率分量之间的关系。在减法器231中，在低频噪声消除图像和在缩小NR之后的图像之间进行减法。由于低频噪声消除图像只包括低于Ι/Nfs的频率分量，因此在低于Ι/Nfs的频率分量中，进行频率分量减法。即，用区间W31代表的频率分量是在生成差分图像时，经历减法的频率分量。
[0120]就高于Ι/Nfs的频率分量(图的区间W32)来说，高于Ι/Nfs的频率分量不包含在低频噪声消除图像中，从而不进行频率分量减法。因此，差分图像是其中反映高于I/Nfs的在缩小NR之后的图像的频率分量的图像。
[0121]下面参考图6A-6C，说明图像的三个区域(平坦部分、近边缘和边缘)与图像处理之间的关系。
[0122][差分图像中的频率分量的例子]
[0123]图6A-6C是不意表不差分图像的频率分量和在缩小NR之后的图像的频率分量之间的关系的示图，所述关系用于按照本技术的第一实施例的NR单元200中的非锐化掩模处理。
[0124]在图6A-6C中，聚焦于频带限制频率(图5A-5D中的Ι/Nfs)，高于Ι/Nfs的频率分量的有/无用具有少量微小圆点的区域代表。低于Ι/Nfs的频率分量的有/无用具有大量微小圆点的区域代表。区间Wl-区间W3与图5A-5D中所示的相同，从而这里不再重复说明。
[0125]图6A表不在平坦部分中的频率分量，图6B表不在近边缘的频率分量，而图6C表示在边缘的频率分量。
[0126]如图6A中所示，在缩小NR之后的图像的平坦部分主要具有在平坦部分中的主要频率分量的区间(区间Wl)中的频率分量。区间Wl是低于频带限制频率(Ι/Nfs)的频率分量。每个像素的像素值由式2产生。因此，在缩小NR之后的图像和低频噪声消除图像之间，在区域Wl中的频率分量方面不存在较大差异。因此，如在图6A的差分图像的图中所示，几乎没有在差分图像的平坦部分中的频率分量。
[0127]下面说明近边缘。如图6B中所示，在缩小NR之后的图像的近边缘主要具有在近边缘的主要频率分量的区间(区间W2)中的频率分量。由于频带限制的基准(边界)的频率(Ι/Nfs)在区间W2中，因此高于Ι/Nfs的频率分量变成来自高频噪声消除图像的分量，而低于Ι/Nfs的频率分量变成其中混合高频噪声消除图像和低频噪声消除图像的分量。由于利用式2进行混合，因此在缩小NR之后的图像和低频噪声消除图像之间，低于Ι/Nfs的频率分量相当类似。即，在差分图像的近边缘的低于Ι/Nfs的大部分频率分量(图6B的区域R3)被减去。
[0128]在差分图像的近边缘的高于Ι/Nfs的频率分量中，由于在缩小NR之后的图像中，不存在高于Ι/Nfs的频率分量，因此来自高频噪声消除图像的分量保留在差分图像中。当生成在缩小NR之后的图像时，由于利用加算比例进行混合，因此在对应于剩余分量的差分图像的像素值中，反映加算比例(边缘的程度)。
[0129]下面将说明边缘。如图6C中所示，在缩小NR之后的图像的边缘主要具有在所述边缘的主要频率分量的区域(区间W3)中的频率分量。由于区间W3由高于Ι/Nfs的频率分量构成，因此高于Ι/Nfs的在缩小NR之后的图像的频率分量保留，成为差分图像的频率分量。由于没有高于Ι/Nfs的在缩小NR之后的图像的频率分量，因此高频噪声消除图像的分量剩余在差分图像中。当生成在缩小NR之后的图像时，由于利用加算比例进行混合，因此类似于近边缘，在对应于剩余分量的差分图像的像素值中，反映加算比例(边缘的程度)。
[0130]这样，当生成低频噪声消除图像时的频带限制(缩小率)和当生成差分图像时的频带限制(缩小率)匹配(图6A-6C中的Ι/Nfs)，从而，在缩小NR处理期间的边缘判定的基准能够容易地与在非锐化掩模处理期间的边缘判定的基准一致。
[0131][非锐化掩模处理的细节的例子]
[0132]图7A和7B是示意表示按照本技术的第一实施例的NR单元200中的非锐化掩模处理的细节的示图。
[0133]图7A是表示在平坦部分、近边缘和边缘的每个位置的非锐化掩模处理的细节的表格。如图7A中所示，在平坦部分中，由于差分值基本上为0，因此不应用非锐化掩模处理。在近边缘，根据其中除去源于低频噪声消除图像的像素值，并且主要具有源于高频噪声消除图像的像素值(原始图像的高频信息被保留的分量)的差分值，进行非锐化掩模处理。在边缘，根据只具有源于高频噪声消除图像的像素值(原始图像的高频分量被保留的分量)的差分值，进行非锐化掩模处理。
[0134]这样，进行非锐化掩模处理，从而只在近边缘和边缘进行适当的增强(轮廓增强)。即，能够恢复在近边缘因缩小NR处理而被降低的分辨率。
[0135]图7B是表示差分图像中的差分值和利用缩小NR单元220的加法判定单元224计算的加算比例之间的关系的例子的图。
[0136]图7B中所示的图具有代表差分值的大小的横轴，和代表加算比例的纵轴，差分值和加算比例之间的关系用粗实线表示。如用式2(参见图2)所示，加算比例是代表混合比例的值，最大值为1，最小值为O。加算比例是代表当通过混合，生成缩小NR图像时的边缘判定的结果的值。由于按照加算比例，混合高频噪声消除图像和低频噪声消除图像，因此计算大部分分量源于高频噪声消除图像的差分值，从而能够计算其中反映缩小NR单元220中的边缘判定(加算比例)的差分值。利用其中反映缩小NR单元220中的边缘判定的差分值，进行非锐化掩模处理，从而能够在非锐化掩模处理中，反映缩小NR单元220中的边缘判定的结果。
[0137]这样，缩小NR处理中的边缘判定的程度可以和非锐化掩模处理中的边缘判定的程度相同，从而能够进行近边缘和边缘的适当增强。
[0138][在缩小NR处理和非锐化掩模处理期间，利用相同的频带限制的效果例子]
[0139]图8A-8D是图解说明在按照本技术的第一实施例的NR单元200中的缩小NR处理和非锐化掩模处理中，使用相同的频带限制的效果的示图。
[0140]图8A和8B表示其中进行缩小NR处理所必需的缩小图像的缩小率(N)不同于在缩小NR之后的非锐化掩模处理中，用于生成模糊图像的缩小图像的缩小率(M)的例子。图8A表示N>M的情况，而图8B表示N〈M的情况。
[0141]图8C表示在图5A-?和6A-6C中所示的NR单元200的情况。图8A-8C中所示的区间(区间W21、W22、W31和W32)对应于在图5A-5D中所示的区间，从而这里不再重复其说明。
[0142]如图8A中所示，在N>M的情况下，非锐化掩模处理的频带限制的基准(边界)的频率(1/Mfs)高于缩小NR处理的频带限制的基准(边界)的频率(1/Nfs)。S卩，出现其中在生成差分图像时不减去的频率分量(区间W31)重叠只由源于在缩小NR之后的图像中的高频噪声消除图像的分量构成的频率分量(区间W22)的区域(图8A的阴影区域)。从而，由于变成差分值的频率分量减小，因此不进行如在图7A和7B中所述的非锐化掩模处理。
[0143]如图SB中所示，在N〈M的情况下，非锐化掩模处理的频带限制的基准(边界)的频率(Ι/Mfs)低于缩小NR处理的频带限制的基准(边界)的频率(1/Nfs)。S卩，出现其中在生成差分图像时待减去的频率分量(区间W32)重叠在生成在缩小NR之后的图像时的混合频率分量(区间W21)的区域(图SB的阴影区域)。从而，由于变成差分值的频率分量增大，因此不进行如在图7A和7B中所述的非锐化掩模处理。
[0144]图8D是表示在图8A中所示的N>M的情况下，在图SB中所示的N〈M的情况下，及在缩小NR处理和非锐化掩模处理中，使用相同的频带限制的情况(NR单元200的情况)下的非锐化掩模处理的细节的表格。
[0145]如图8D中所示，在N>M的情况下，由于包含在差分值中的高频分量减小，因此在近边缘的非锐化掩模处理的强度变弱。在N〈M的情况下，由于源于低频噪声消除图像的像素值也包含在差分值中，因此平坦部分也经历非锐化掩模处理(被增强)。在N>M或者N〈M的情况下，不存在图7B中所示的加算比例和差分值之间的关系。因此，即使调整在增益设定单元232中设定的增益，也难以使缩小NR处理期间的边缘判定的程度和非锐化掩模处理期间的边缘判定的程度相同，从而难以进行近边缘和边缘的适当增强。
[0146][NR单元的操作例子]
[0147]下面参考附图，说明按照本技术的第一实施例的NR单元200的操作。
[0148]图9是表示当利用按照本技术的第一实施例的NR单元200进行图像处理时的处理过程例子的流程图。
[0149]首先，判定是否开始图像处理(步骤S901)，如果确定不开始图像处理，那么等待开始图像处理。
[0150]当确定开始图像处理时(步骤S901),利用高频噪声消除单元210生成高频噪声被除去的图像(高频噪声消除图像)(步骤S902)。例如，当被供给待处理的图像数据时，确定开始图像处理，利用高频噪声消除单元210生成高频噪声消除图像。
[0151]之后，利用图像缩小单元221生成通过缩小(X1/N)高频噪声消除图像而获得的图像(缩小图像)(步骤S903)。之后，利用低频噪声消除单元222除去缩小图像中的低频噪声(步骤S904)。随后，利用图像放大单元223，生成通过放大(XN)低频噪声被除去的缩小图像而获得的图像(低频噪声消除图像)(步骤S905)。步骤S904是在附加权利要求中说明的生成噪声消除图像的例子。
[0152]利用加法判定单元224计算加算比例(步骤S906)。之后，利用相加图像生成单元225生成通过根据加算比例，混合高频噪声消除图像和低频噪声消除图像而获得的图像(在缩小NR之后的图像)(步骤S9O7)。
[0153]随后，利用减法器231，计算低频噪声消除图像和在缩小NR之后的图像之间的差分(差分图像)(步骤S908)。之后，利用增益设定单元232，设定调整用于在非锐化掩模处理期间相加的差分值的值(增益)(步骤S909)。随后，利用差分调整单元233，根据设定的增益调整差分值(步骤S910)。利用加法器234生成通过相加调整的差分值和在缩小NR之后的图像而获得的图像(输出图像)(步骤S911)，然后，结束利用NR单元200的图像处理的处理过程。步骤S908-S911是在附加权利要求中说明的生成校正图像的例子。
[0154]这样，按照本技术的第一实施例，在缩小NR处理和非锐化掩模处理中使用的缩小图像具有相同的缩小率，能够除去低频噪声，和适当地增强边缘和近边缘。即，按照本技术的第一实施例，能够改善经历噪声消除处理的图像中的图像质量。
[0155]〈2.第二实施例〉
[0156]在本技术的第一实施例中，说明了其中在缩小NR处理和非锐化掩模处理中使用的缩小图像具有相同的缩小率，并且这两种处理具有相同程度的边缘判定的例子。因而，能够在非锐化掩模处理中，增强边缘和近边缘。
[0157]可能存在取决于拍摄图像的图像质量，在非锐化掩模处理中，增强整个图像的对比度的企图。不过，在按照本技术的第一实施例的方法中，不能增强整个图像的对比度。
[0158]因而，在本技术的第二实施例中，将参考图10和11，说明其中增强整个图像的对比度，并在缩小NR处理中，除去低频噪声的例子。
[0159][NR单元的功能结构例]
[0160]图10是表示按照本技术的第二实施例的NR单元600的功能结构的例子的方框图。
[0161]NR单元600是图2中所示的NR单元200的变形例。因而，与图2的NR单元200相同的部分将用相同的附图标记表示，并且这里不再重复其说明。
[0162]NR单元600和图2的NR单元200的不同之处在于缩小NR处理和非锐化掩模处理的处理顺序被颠倒。即，在NR单元600中，在利用高频噪声消除单元210除去高频噪声之后，进行非锐化掩模处理，然后进行缩小NR处理。
[0163]在NR单元600中，除了图2的边缘恢复单元230的各个部分之外，进行非锐化掩模处理的边缘恢复单元630还包括放大从图像缩小单元221供给的缩小图像的图像放大单元236。图像放大单元236和缩小NR单元220的图像放大单元223相同，把缩小图像放大N倍，以把缩小图像转换成原始尺寸的图像。
[0164]作为缩小NR单元220的构成，示于图2中的图像缩小单元221被表示在代表NR单元600中的缩小NR单元620的结构的虚线框之外。利用图像缩小单元221，从高频噪声消除图像生成的缩小图像被提供给边缘恢复单元630的图像放大单元236和缩小NR单元620的低频噪声消除单元222。
[0165]如图10中所示，在缩小NR处理之前进行非锐化掩模处理，从而能够增强整个图像的对比度。在除去高频噪声之后，进行非锐化掩模处理，从而能够防止在非锐化掩模处理中，高频噪声被判定为边缘，并被增强。
[0166][NR单元的操作例子]
[0167]下面参考附图，说明按照本技术的第二实施例的NR单元600的操作。
[0168]图11是表示当按照本技术的第二实施例的NR单元600进行图像处理时的处理过程的流程图。
[0169]首先，判定是否开始图像处理(步骤S931)，如果确定不开始图像处理，那么等待开始图像处理。
[0170]当确定开始图像处理时(步骤S931),利用高频噪声消除单元210生成高频噪声被除去的图像(高频噪声消除图像)(步骤S932)。
[0171]之后，利用图像缩小单元221，生成通过缩小(X1/N)高频噪声消除图像而获得的图像(缩小图像)(步骤S933)。随后，利用图像放大单元236，生成通过放大(XN)缩小图像而获得的图像(放大图像)(步骤S934)。利用减法器231计算高频噪声消除图像和放大图像之间的差分(差分图像)(步骤S935)。
[0172]之后，利用增益设定单元232，设定调整用于在非锐化掩模处理期间相加的差分值的值(增益)(步骤S936)。随后，利用差分调整单元233，根据设定的增益调整差分值(步骤S937)。利用加法器234生成通过相加调整的差分值和在缩小NR之后的图像而获得的图像(对比度增强的图像)(步骤S938)。
[0173]随后，利用低频噪声消除单元222除去缩小图像中的低频噪声(步骤S939)。利用图像放大单元223，生成通过放大(XN)低频噪声被除去的缩小图像而获得的图像(低频噪声消除图像)(步骤SM0)。
[0174]利用加法判定单元224，计算加算比例(步骤S941)。之后，利用相加图像生成单元225，生成通过根据加算比例，混合对比度增强的图像和低频噪声消除图像而获得的图像(输出图像)(步骤S942)，然后结束利用NR单元200的图像处理的处理过程。
[0175]这样，按照本技术的第二实施例，能够在非锐化掩模处理中，增强整个图像的对比度，和除去低频噪声。即，按照本技术的第二实施例，能够改善经过噪声消除处理的图像中的图像质量。
[0176]尽管在图10中，说明了其中缩小率相同的例子，不过当增强整个图像的对比度时，由于不必共享边缘判定的结果，因此可考虑其中单独设定缩小率的情况。然而，如图10中所示，利用图像缩小单元221生成的缩小图像被共享，从而能够减小电路规模。
[0177]如图10中所示，当在两种处理中，共享利用图像缩小单元221生成的缩小图像时，可以利用单个NR单元，进行边缘和近边缘的增强，以及整个图像的对比度增强。即，图10的NR单元600中的缩小NR单元600和边缘恢复单元630的顺序被颠倒。当所述顺序被颠倒时，这同样适用于在图13中描述的变形例，从而这里不再重复其说明。因而，如图2中一样，高频噪声消除图像被提供给缩小NR单元，在缩小NR之后的图像被提供给边缘恢复单元，从而如本技术的第一实施例中一样，能够仅仅增强边缘和近边缘。这样，利用图像缩小单元221生成的缩小图像被用于进行缩小NR处理和非锐化掩模处理，由此能够仅仅利用单个NR单元，切换并执行整个图像的对比度增强，以及仅仅边缘和近边缘的增强，从而减小电路规模。
[0178]<3.变形例 >
[0179]如在本技术的第一和第二实施例中所述，如果缩小NR处理和非锐化掩模处理中的频带限制相同，那么能够仅仅增强边缘和近边缘。作为使频带限制相同的方法，可以考虑除在本技术的第一和第二实施例中说明的方法以外的方法。
[0180]因而，在图12中，作为本技术的第一实施例的变形例，将说明其中利用通过缩小在缩小NR之后的图像而获得的图像，计算差分的例子。在图13中，作为本技术的第一实施例的变形例，将说明其中利用由图像缩小单元221生成的缩小图像，增强边缘和近边缘的例子。
[0181]图12是表示作为本技术的第一实施例的变形例，利用通过缩小在缩小NR之后的图像而获得的图像，计算差分的NR单元(NR单元700)的功能结构的例子的方框图。
[0182]NR单元700是图2中所示的NR单元200的变形例，区别在于用于缩小和放大在缩小NR之后的图像的结构被设置在边缘恢复单元730中。因而，与图2的NR单元200相同的部分用相同的附图标记表示，这里不再重复其说明。
[0183]除了图2的边缘恢复单元230的结构之外，边缘恢复单元730还包括把在缩小NR之后的图像缩小到原来的1/N的图像缩小单元731，和把在缩小NR之后的缩小图像放大N倍的图像放大单元732。利用图像放大单元732放大的图像被提供给减法器231，在该图像和在缩小NR之后的图像之间，计算差分值。
[0184]如图12中所示，即使当通过缩小在缩小NR之后的图像，计算差分值时，也和缩小NR处理中一样，使用相同的缩小率，由此能够适当地增强边缘和近边缘，恢复在这些位置的分辨率。
[0185]图13是表示作为本技术的第一实施例的变形例，其中利用图像缩小单元221生成的缩小图像，进行缩小NR处理和近边缘的增强的NR单元(NR单元750)的功能结构的例子的方框图。
[0186]NR单元750是图2中所示的NR单元200的变形例，除了图2的边缘恢复单元230的各个部分之外，边缘恢复单元770还包括放大从图像缩小单元221供给的缩小图像的图像放大单元236。图像缩小单元221被表示在代表缩小NR单元760的结构的虚线框之外。即，与按照本技术的第二实施例的NR单元600相比，缩小NR处理和非锐化掩模处理的顺序被颠倒。
[0187]在NR单元750中，由于使用具有相同的缩小率的缩小图像，在缩小NR处理之后进行非锐化掩模处理，因此和本技术的第一实施例中一样，能够适当地增强边缘和近边缘。
[0188]除了图12和13中所示的变形例之外，可以考虑各种变形例。例如，当其中利用图10中所示的NR单元600增强整个图像的对比度的图像中的近边缘的分辨率降低成问题时，对于该图像，只进一步增强边缘和近边缘。即，对于其中增强整个图像的对比度的图像，利用与缩小NR处理一样，具有相同缩小率的图像进行非锐化掩模处理。因而，对于其中整个图像的对比度被增强的图像，能够仅仅增强边缘和近边缘。
[0189]尽管在本技术的实施例中，说明了其中对经过YC变换的图像，进行处理的例子，不过，本技术并不局限于此，可以直接使用RGB图像，可根据RGB信号进行NR处理。尽管说明了其中对在YC变换之后的亮度分量(Y)进行校正处理的例子，不过，本技术并不局限于此，可以根据色差信号(Cr，Cb)，进行NR处理。
[0190]如上所述，按照本技术的实施例，在缩小NR处理和非锐化掩模处理中使用的缩小图像具有相同的缩小率，从而能够改善经过噪声消除处理的图像中的图像质量。
[0191]上述实施例是实现本技术的例子，实施例的事项和附加权利要求的发明主题具有对应关系。类似地，附加权利要求的发明主题和被赋予它们的相同名称的本技术的实施例的事项具有对应关系。不过，本技术并不局限于实施例，在不脱离本技术的要旨的范围内，可在实施例的形式方面，作出各种修改。
[0192]在上述实施例中说明的处理过程可被理解成具有一系列过程的方法，或者可被理解成使计算机执行一系列过程的程序，或者保存所述程序的记录介质。作为所述记录介质，例如，可以使用硬盘、CD (压缩光盘)、MD (小型光盘)、DVD (数字通用光盘)、存储卡、蓝光光盘(注册商标)等等。
[0193]可以如下构成本技术。
[0194](I) 一种图像处理设备，包括:
[0195]噪声消除图像生成单元，所述噪声消除图像生成单元根据输入图像，和通过以预定倍率缩小输入图像而获得的缩小图像，生成输入图像中的噪声被除去的噪声消除图像；和
[0196]校正图像生成单元，所述校正图像生成单元根据噪声消除图像，生成高频分量图像，并根据噪声消除图像和高频分量图像，生成边缘校正图像，所述高频分量图像主要具有噪声消除图像的，与将利用在按预定倍率的缩小中的频带限制除去的频率分量在相同频带中的频率分量。
[0197](2)按照⑴中所述的图像处理设备，
[0198]其中校正图像生成单元利用主要具有将不利用频带限制除去的频率分量的低频分量图像和噪声消除图像之间，对于每个像素的减法处理，生成高频分量图像。
[0199](3)按照⑵中所述的图像处理设备，
[0200]其中噪声消除图像生成单元通过按预定倍率，放大缩小图像中的噪声被除去的图像，生成第二噪声消除图像，随后按照对于每个像素设定的加算比例，利用第二噪声消除图像和输入图像之间，对于每个像素的加法处理，生成噪声消除图像，
[0201]校正图像生成单元通过利用第二噪声消除图像作为低频分量图像，生成高频分量图像。
[0202](4)按照⑵中所述的图像处理设备，
[0203]其中校正图像生成单元利用通过按预定倍率缩小然后放大噪声消除图像而获得的图像，作为低频分量图像，生成高频分量图像。
[0204](5)按照⑵中所述的图像处理设备，
[0205]其中校正图像生成单元利用通过按预定倍率缩小然后放大缩小图像而获得的图像，作为低频分量图像，生成高频分量图像。
[0206](6)按照⑴中所述的图像处理设备，
[0207]其中校正图像生成单元根据噪声消除图像和高频分量图像，利用非锐化掩模处理生成边缘校正图像。
[0208](7) —种图像处理设备，包括:
[0209]缩小图像生成单元，所述缩小图像生成单元通过按预定倍率，缩小输入图像，生成缩小图像；
[0210]噪声消除图像生成单元，当对输入图像进行边缘增强时，所述噪声消除图像生成单元根据输入图像和缩小图像，生成输入图像中的噪声被除去的噪声消除图像；和
[0211]校正图像生成单元，当进行边缘增强时，所述校正图像生成单元根据生成的缩小图像和噪声消除图像，生成高频分量图像，并根据噪声消除图像和高频分量图像，利用非锐化掩模处理，生成边缘校正图像。
[0212](8)按照(7)中所述的图像处理设备，
[0213]其中当对输入图像进行对比度增强时，校正图像生成单元根据缩小图像和输入图像，生成第二高频分量图像，并根据输入图像和第二高频分量图像，利用非锐化掩模处理，生成对比度增强图像，和
[0214]当进行对比度增强时，噪声消除图像生成单元根据缩小图像和对比度增强图像，生成对比度增强图像中的噪声被除去的图像。
[0215](9) 一种成像设备，包括:
[0216]透镜单元，所述透镜单元使被摄对象光聚光；
[0217]成像装置，所述成像装置把被摄对象光转换成电信号；
[0218]信号处理单元，所述信号处理单元把从成像装置输出的电信号转换成预定输入图像；
[0219]噪声消除图像生成单元，所述噪声消除图像生成单元根据输入图像和通过按预定倍率，缩小输入图像而获得的缩小图像，生成输入图像中的噪声被除去的噪声消除图像；
[0220]校正图像生成单元，所述校正图像生成单元根据噪声消除图像，生成高频分量图像，并根据噪声消除图像和高频分量图像，生成边缘校正图像，所述高频分量图像主要具有噪声消除图像的，与将利用在按预定倍率的缩小中的频带限制除去的频率分量在相同频带中的频率分量；和
[0221]记录处理单元，所述记录处理单元压缩和编码生成的边缘校正图像，从而生成记录数据，并记录所述记录数据。
[0222](10) —种图像处理方法，包括:
[0223]根据输入图像，和通过以预定倍率缩小输入图像而获得的缩小图像，生成输入图像中的噪声被除去的噪声消除图像；和
[0224]根据噪声消除图像，生成高频分量图像，并根据噪声消除图像和高频分量图像，生成边缘校正图像，所述高频分量图像主要具有噪声消除图像的，与将利用在按预定倍率的缩小中的频带限制除去的频率分量在相同频带中的频率分量。
[0225](11) 一种程序，所述程序使计算机执行:
[0226]根据输入图像，和通过以预定倍率缩小输入图像而获得的缩小图像，生成输入图像中的噪声被除去的噪声消除图像；和
[0227]根据噪声消除图像，生成高频分量图像，并根据噪声消除图像和高频分量图像，生成边缘校正图像，所述高频分量图像主要具有噪声消除图像的，与将利用在按预定倍率的缩小中的频带限制除去的频率分量在相同频带中的频率分量。
[0228]本公开包含与在2012年6月20日向日本专利局提交的日本优先权专利申请JP2012-138511中公开的主题相关的主题，该专利申请的整个内容在此引为参考。
[0229]本领域的技术人员应明白，根据设计要求和其它因素，可以产生各种修改、组合、子组合和变更，只要它们在所附的权利要求或其等同物的范围之内。
【权利要求】
1.一种图像处理设备，包括: 噪声消除图像生成单元，所述噪声消除图像生成单元根据输入图像和通过以预定倍率缩小输入图像而获得的缩小图像，生成消除了输入图像中的噪声的噪声消除图像；和 校正图像生成单元，所述校正图像生成单元根据所述噪声消除图像，生成高频分量图像，并根据所述噪声消除图像和所述高频分量图像，生成边缘校正图像，所述高频分量图像主要具有所述噪声消除图像的、与将利用在按所述预定倍率的缩小中的频带限制消除的频率分量在相同频带中的频率分量。
2.按照权利要求1所述的图像处理设备， 其中校正图像生成单元通过在主要具有将不利用频带限制消除的频率分量的低频分量图像与所述噪声消除图像之间，对于每个像素的减法处理，生成所述高频分量图像。
3.按照权利要求2所述的图像处理设备， 其中噪声消除图像生成单元通过按所述预定倍率放大去除了缩小图像中的噪声的图像，生成第二噪声消除图像，随后按照对于每个像素设定的加算比例，利用第二噪声消除图像与所述输入图像之间对于每个像素的加法处理，生成所述噪声消除图像，以及 校正图像生成单元通过利用第二噪声消除图像作为所述低频分量图像，生成所述高频分量图像。
4.按照权利要求2所述的图像处理设备， 其中校正图像生成单元利用通过按所述预定倍率缩小然后放大所述噪声消除图像而获得的图像作为所述低频分量图像，来生成所述高频分量图像。
5.按照权利要求2所述的图像处理设备， 其中校正图像生成单元利用通过按所述预定倍率缩小然后放大所述缩小图像而获得的图像作为所述低频分量图像，来生成所述高频分量图像。
6.按照权利要求1所述的图像处理设备， 其中校正图像生成单元根据所述噪声消除图像和所述高频分量图像，利用非锐化掩模处理生成所述边缘校正图像。
7.一种图像处理设备，包括: 缩小图像生成单元，所述缩小图像生成单元通过按预定倍率缩小输入图像，生成缩小图像； 噪声消除图像生成单元，当对所述输入图像进行边缘增强时，所述噪声消除图像生成单元根据所述输入图像和所述缩小图像，生成去除了所述输入图像中的噪声的噪声消除图像；以及 校正图像生成单元，当进行边缘增强时，所述校正图像生成单元根据所生成的缩小图像和噪声消除图像，生成高频分量图像，并根据所述噪声消除图像和所述高频分量图像，利用非锐化掩模处理，生成边缘校正图像。
8.按照权利要求7所述的图像处理设备， 其中当对所述输入图像进行对比度增强时，校正图像生成单元根据所述缩小图像和所述输入图像生成第二高频分量图像，并根据所述输入图像和第二高频分量图像，利用非锐化掩模处理，生成对比度增强图像，和 当进行对比度增强时，噪声消除图像生成单元根据所述缩小图像和所述对比度增强图像，生成去除了所述对比度增强图像中的噪声的图像。
9.一种成像设备，包括: 透镜单元，所述透镜单元使被摄对象光聚光； 成像装置，所述成像装置把被摄对象光转换成电信号； 信号处理单元，所述信号处理单元把从成像装置输出的电信号转换成预定输入图像； 噪声消除图像生成单元，所述噪声消除图像生成单元根据输入图像和通过按预定倍率缩小输入图像而获得的缩小图像，生成去除了所述输入图像中的噪声的噪声消除图像； 校正图像生成单元，所述校正图像生成单元根据所述噪声消除图像，生成高频分量图像，并根据所述噪声消除图像和所述高频分量图像，生成边缘校正图像，所述高频分量图像主要具有所述噪声消除图像的、与将利用在按所述预定倍率的缩小中的频带限制消除的频率分量在相同频带中的频率分量；以及 记录处理单元，所述记录处理单元压缩和编码所生成的边缘校正图像，从而生成记录数据，并记录所述记录数据。
10.一种图像处理方法，包括: 根据输入图像和通过以预定倍率缩小输入图像而获得的缩小图像，生成去除了所述输入图像中的噪声的噪声消除图像；以及 根据所述噪声消除图像，生成高频分量图像，并根据所述噪声消除图像和所述高频分量图像，生成边缘校正图像，所述高频分量图像主要具有所述噪声消除图像的、与将利用在按所述预定倍率的缩小中的频带限制消除的频率分量在相同频带中的频率分量。`
11.一种程序，所述程序使计算机执行: 根据输入图像，和通过以预定倍率缩小输入图像而获得的缩小图像，生成输入图像中的噪声被消除的噪声消除图像；和 根据噪声消除图像，生成高频分量图像，并根据噪声消除图像和高频分量图像，生成边缘校正图像，所述高频分量图像主要具有噪声消除图像的，与将利用在按预定倍率的缩小中的频带限制消除的频率分量在相同频带中的频率分量。
【文档编号】H04N1/409GK103516953SQ201310232152
【公开日】2014年1月15日 申请日期:2013年6月13日 优先权日:2012年6月20日
【发明者】沼田怜 申请人:索尼公司