图像处理设备、图像处理方法和计算机程序的制作方法

专利名称：图像处理设备、图像处理方法和计算机程序的制作方法
技术领域：
本发明涉及图像处理设备、图像处理方法和计算机程序。
背景技术：
从用作数字相机的成像元件的CCD(电荷耦合器件)或CMOS(互补金属氧化物半 导体)输出的RAW数据包括各种噪声。作为有效地去除噪声的方法，存在考虑到人的视觉 特征改变噪声去除强度的方法(例如，见日本待审查专利申请公开No. 2004-151907)。例如，在通过将RAW数据转换为不同格式的信号来显影图像的情况下，需要有效 地去除转换后的信号中包括的噪声。例如，在将RAW数据转换为包括亮度信号和色差信号 的图像数据(例如，YCC数据)的情况下，将图像的噪声分类为亮度噪声和颜色噪声。此外， 还广泛地使用能够通过去除颜色噪声来改善图像质量的方法。在过去，为了去除噪声，在通过转换获得包括亮度信号和色差信号的图像数据之 后，对色差信号执行噪声降低处理，以便从中去除噪声。当执行这样的噪声降低处理时，可 以仅去除颜色噪声，同时使用当前的亮度信号。

发明内容
当RAW数据被转换为包括亮度信号和色差信号的图像数据时，通常，影响被摄体 分辨率的信号被分离到亮度信号上。然而，根据被摄体的类型，影响被摄体的分辨率的信号 可以被分离到色差信号上而不是亮度信号上。在拍摄被摄体的情况下，当对色差信号执行 噪声降低处理时，出现被摄体分辨率被降级的问题。因此，最好提供新颖或改进的图像处理设备、图像处理方法和计算机程序，其能够 通过根据包括具有亮度信号和色差信号的颜色空间的图像信号中的色差信号的颜色，改变 关于色差信号的噪声去除强度来抑制分辨率降级。根据本发明的实施例，提供图像处理设备，包括转换单元，用于将包括预定颜色 空间的第一颜色图像信号转换为包括具有亮度信号和色差信号的颜色空间的第二颜色图 像信号；颜色确定部件，用于确定第一颜色图像信号或第二颜色图像信号的每个像素的颜 色；和噪声去除单元，用于通过根据颜色确定部件确定的颜色，改变关于色差信号的噪声去 除强度来执行噪声去除处理。利用这样的配置，转换单元将包括预定颜色空间的第一颜色图像信号转换为包括 具有亮度信号和色差信号的颜色空间的第二颜色图像信号，并且颜色确定部件确定第一颜 色图像信号或第二颜色图像信号的每个像素的颜色。然后，噪声去除单元通过根据颜色确 定部件确定的颜色，改变关于色差信号的噪声去除强度来执行噪声去除处理。结果，由于通 过根据包括具有亮度信号和色差信号的颜色空间的图像信号中的色差信号的颜色，对色差 信号执行噪声去除，因此可以在抑制分辨率被降级的同时去除图像信号的噪声。噪声去除单元可以通过根据由颜色确定部件确定的颜色，改变色差信号与通过从 色差信号中去除噪声获得的信号之间的合成比(synthesis ratio)来改变噪声去除强度。
3
噪声去除单元可以通过根据由颜色确定部件确定的颜色，改变用于噪声去除处理 的图像信号的区域的范围来改变噪声去除强度。噪声去除单元可以通过根据由颜色确定部件确定的颜色，改变用于噪声去除处理 的阈值来改变噪声去除强度。转换单元可以将第一颜色信号转换为作为亮度信号的Y信号以及作为色差信号 的Cr和Cb信号。转换单元可以将第一颜色图像信号转换为作为亮度信号的Y信号以及作为色差 信号的U和V信号。预定颜色空间可以是RGB颜色空间。根据本发明的另一实施例，提供图像处理方法，包括步骤将包括预定颜色空间的 第一颜色图像信号转换为包括具有亮度信号和色差信号的颜色空间的第二颜色图像信号； 确定第一颜色图像信号或第二颜色图像信号的每个像素的颜色；和通过根据颜色确定步骤 确定的颜色，改变关于色差信号的噪声去除强度来执行噪声去除处理。根据本发明的又一实施例，提供计算机程序，用于使计算机执行步骤将包括预定 颜色空间的第一颜色图像信号转换为包括具有亮度信号和色差信号的颜色空间的第二颜 色图像信号；确定第一颜色图像信号或第二颜色图像信号的每个像素的颜色；和通过根据 颜色确定步骤确定的颜色，改变关于色差信号的噪声去除强度来执行噪声去除处理。如上所述，根据本发明的实施例，可以提供新颖或改进的图像处理设备、图像处理 方法和计算机程序，其能够通过根据包括具有亮度信号和色差信号的图像信号中的色差信 号的颜色，改变关于色差信号的噪声去除强度来抑制分辨率被降级。


图1是图解根据本发明的实施例的图像捕获装置的结构的简图。图2是图解拜耳阵列(Bayer array)的简图。图3是图解根据本发明的实施例的噪声降低单元的结构的简图。图4是图解红色噪声降低部件和蓝色噪声降低部件的结构示例的简图。图5是示出在根据本发明的实施例的周围像素参考部件中的目标像素周围的周 围像素的参考的示例的简图。图6是图解使用根据本发明的实施例的图像捕获装置的噪声降低处理的流程图。图7是图解在噪声降低处理前后，YCC数据的每个信号的信号电平中的变化的示 例的曲线图。图8是图解RAW数据的信号电平的示例的曲线图。图9是图解将RAW数据转换为YCC数据的情况的示例的曲线图。图10是图解在水平方向上RAW数据的信号电平的示例的曲线图。图11是图解图10所示的RAW数据被转换为YCC数据的情况的示例的曲线图。图12A和图12B是概念性图解关于从RAW数据转换来的YCC数据的色差信号的噪 声降低处理的简图。
具体实施例方式
下面将参照附图详细描述本发明的优选实施例。此外，在说明书和附图中，相同的 附图标记将被赋给基本上具有相同功能结构的组成部件，并且将省略它们的相应描述。
此外，将以下列顺序描述本发明的优选实施例。1.本发明的实施例1-1.图像捕获装置的结构1-2.现有技术的噪声降低处理及其问题1-3.根据本发明的实施例的噪声降低单元的结构1-4.噪声降低处理2.结论1.本发明的实施例1-1.图像捕获装置的结构首先将描述根据本发明的实施例的图像捕获装置的结构。图1是图解根据本发明 的实施例的图像捕获装置100的结构的简图。下面，将参照图1描述根据本发明的实施例 的图像捕获装置100的结构。图像捕获装置100是根据本发明的图像处理设备的示例。图像捕获装置100通过 使用成像元件将经由镜头收集的光转换为电信号来创建RAW数据，并且通过将RAW数据转 换为包括亮度信号和色差信号的图像数据来记录图像数据。如图1所示，根据本发明的实 施例的图像捕获装置100包括镜头单元102、CM0S图像传感器104、伽玛(gamma)转换单元 108、YCC转换单元110和噪声降低单元120。镜头单元102从被摄体收集光。镜头单元102可以包括用于改变焦距的变焦镜头 (zoom lens)以及用于将被摄体带进焦点的聚焦镜头(focus lens)，或者可以仅包括聚焦 镜头。当摄影者按下快门按钮(未示出)时，CMOS图像传感器104被镜头单元102收集的 光照射预定时间段。在CMOS图像传感器104中，根据透过用于针对每个像素允许特定波长的光通过的 滤色器的光强，将由镜头单元102收集的光转换为信号。由CMOS图像传感器104创建的信 号被用作具有颜色信息的RAW数据。如图2所示，根据本发明的实施例的CMOS图像传感器 104的滤色器是具有所谓拜耳阵列的滤色器。图2是图解拜耳阵列的简图。如图2所示，拜耳阵列是具有“两个水平像素X两 个垂直像素”的基本块的像素阵列。拜耳阵列是其中两个绿色(G)像素布置在一个对角上， 而红色像素(R)和蓝色像素(B)布置在另一个对角上的像素阵列，其中周期性布置基本块。CMOS图像传感器104通过根据光强将镜头单元102收集的光转换为信号来创建 具有R、G和B颜色信息的RAW数据。由CMOS图像传感器104获得的RAW数据经历诸如增 益调节和A/D转换之类的处理，并被传送到伽玛转换单元108。由于通过CMOS图像传感器 104创建了具有R、G和B颜色信息的RAW数据，因此CMOS图像传感器104是根据本发明的 实施例的颜色图像信号输入单元的示例。此外，在本发明的实施例中，不需要讲，RAW数据 不限于具有如图2所示的马赛克形阵列的颜色图像信号。也就是，RAW数据可以具有不同 类型的阵列。伽玛转换单元108对CMOS图像传感器104获得的RAW数据执行伽玛转换处理。作为伽玛转换单元108的伽玛转换处理，存在各种方法。然而，由于这些方法不直接涉及本发 明的实施例的内容，因此这里省略了它们的详细描述。经历伽玛转换单元108的伽玛转换 处理的RAW数据被传送到YCC转换单元110。YCC转换单元110将从伽玛转换单元108传送的RAW数据转换为YCC(YCrCb)数 据。通过使用YCC转换单元110，将RAW数据转换为亮度信号(Y)和色差信号(Cr/Cb)。存 在将RAW数据转换为YCC数据的各种方法。然而，由于这些方法不直接涉及本发明的实施 例的内容，因此这里省略了它们的详细描述。YCC转换单元110获得的YCC数据被传送到噪 声降低单元120。噪声降低单元120对YCC转换单元110获得的YCC数据执行噪声降低处理。根据 该实施例的噪声降低单元120对YCC数据的色差信号执行噪声降低处理。在噪声降低单元 120前后亮度信号(Y)不发生变化。然而，当将颜色信号(Cr/Cb)输入到噪声降低单元120 中时，在去除了其噪声的状态下，输出颜色信号(Cr/Cb)作为信号(Cr’/Cb’)。将在后面描 述噪声降低单元120的内部结构。如上所述，描述了根据本发明的实施例的图像捕获装置100的结构。此外，在该 实施例中，描述了其中CMOS图像传感器被用作图像捕获装置的示例，但本发明不限于该示 例。例如，代替CMOS图像传感器，可以使用CCD(电荷耦合器件)图像传感器。接下来，将 在介绍根据本发明的实施例的噪声降低单元120的结构之前，描述现有技术的噪声降低处 理及其问题。1-2现有技术的噪声降低处理及其问题这里，如图1所示，将假设其中全绿色被摄体(例如，绿色针织纱线球)被具有R、 G和B三色的滤波器的图像捕获装置拍摄的情况。在该实施例中，作为RAW数据，获得绿色 的G信号作为与其他颜色的信号相比具有大幅值的信号。同时，在这种情况下，获得红色的 R信号和蓝色的B信号中的每一个作为与绿色的G信号相比具有小幅值以及几乎一致的值 的信号。图8是图解在全绿色被摄体被具有R、G和B三色的滤波器的图像捕获装置拍摄的 情况下，在特定位置的水平方向上RAW数据的信号电平的示例的曲线图。如图8所示，在拍摄诸如绿色针织纱线球之类的全绿色被摄体的情况下，作为RAW 数据，获得绿色的G信号作为与其他颜色的信号相比具有大幅值的信号。其间获得红色的R 信号和蓝色的B信号中的每一个作为与绿色的G信号相比具有小幅值以及几乎一致的值的 信号。与其他颜色的信号相比具有大幅值的绿色G信号是绿色的分辨率的基础。也就是， 在绿色针织纱线球的情况下，针织纱线是识别的基础。当将具有图8所示的特性的RAW数据转换为亮度信号(Y)和色差信号(Cr/Cb)时， 像在绿色的G信号中那样，获得亮度信号作为与其他信号相比具有大幅值的信号。同时，像 在红色的R信号和蓝色的B信号中那样，获得色差信号作为与亮度信号相比具有小幅值和 几乎一致的值的信号。图9是示出将具有图8所示的信号电平的RAW数据转换为YCC数据 的情况的示例的曲线图。如图9所示，在拍摄诸如绿色针织纱线球之类的全绿色被摄体的情况下，作为YCC 数据，像在绿色的G信号中那样，获得亮度信号作为与其他信号相比具有大幅值的信号。同 时，像在红色的R信号和蓝色的B信号中那样，获得色差信号作为与亮度信号相比具有小幅 值和几乎一致的值的信号。也就是，将影响绿色的分辨率的信号分离到亮度信号，并且不将影响绿色的分辨率的信号分离到色差信号。然而，在全红色被摄体(例如，红色针织纱线球)被具有R、G和B三色的滤波器的 图像捕获装置拍摄的情况下，获得与拍摄全绿色被摄体的情况不同的结果。在这种情况下， 作为RAW数据，获得红色的R信号作为与其他信号相比具有大幅值的信号，但是获得绿色的 G信号和蓝色的B信号中的每一个作为与R信号相比具有小幅值以及几乎一致的值的信号。 图10是图解在全红色被摄体被具有R、G和B三色的滤波器的图像捕获装置拍摄的情况下， 在特定位置的水平方向上RAW数据的信号电平的示例的曲线图。诸如红色针织纱线球之类的全红色被摄体具有大量的红色光，但是具有少量的绿 色和蓝色光。因此，如图10所示，在拍摄诸如红色针织纱线球之类的全红色被摄体的情况 下，作为RAW数据，获得红色的R信号作为与其他颜色相比具有大幅值的信号，但是获得绿 色的G信号和蓝色的B信号中的每一个作为与R信号相比具有小幅值以及几乎一致的值的 信号。与其他颜色相比具有大幅值的红色的R信号是红色的分辨率的基础。也就是，在红 色针织纱线球的情况下，针织纱线是识别的基础。当将具有图10所示的特性的RAW数据转换为亮度信号(Y)和色差信号(Cr/Cb) 时，获得亮度信号作为与Cb数据相比具有大幅值的信号。在该色差信号中，像在红色的R 信号中那样，获得Cr数据作为与Cb数据相比具有大幅值的信号，但是像在蓝色的B信号中 那样，获得Cb数据作为与其他信号相比具有小幅值和几乎一致的值的信号。图11是图解 将具有图10所示的信号电平的RAW数据转换为YCC数据的情况的示例的曲线图。如图11 所示，在拍摄全红色被摄体的情况下，在YCC数据中，与拍摄全绿色被摄体的情况不同，影 响红色的分辨率的信号不被分离到亮度信号，而是被分离到色差信号上。在拍摄全蓝色被 摄体的情况下以及在拍摄全红色被摄体的情况下可能发生这样的现象。为此，当对YCC数据的色差信号执行噪声降低处理以便仅去除颜色噪声时，颜色 的分辨率可能根据被摄体的颜色而消失。图12A和图12B是概念性图解关于从RAW数据转 换来的YCC数据的色差信号的噪声降低处理的简图。图12A图解在拍摄一般被摄体的情况 下关于YCC数据的噪声降低处理。此外，图12B图解在拍摄诸如红色针织纱线球之类的全 红色被摄体的情况下关于YCC数据的噪声降低处理。如图12A所示，在拍摄一般被摄体的情况下，当对色差信号执行噪声降低处理时， 可以去除色差信号的噪声，同时维持亮度信号的幅值。因此，在拍摄一般被摄体的情况下， 当对色差信号执行噪声降低处理时，可以去除色差信号的噪声，同时维持亮度信号的幅值。然而，如图12B所示，在拍摄诸如红色针织纱线球之类的全红色被摄体的情况下， 当像拍摄一般被摄体的情况那样执行噪声降低处理时，色差信号的幅值消失，并且留下具 有小幅值的亮度信号。因此，由于影响红色的分辨率的色差信号的幅值消失，因此可以去除 颜色噪声，但是红色的分辨率降级。因此，使用根据本实施例的噪声降低单元120的噪声降低处理优点在于根据像素 的颜色改变噪声降低强度。当根据像素的颜色改变噪声降低强度时，去除颜色噪声，同时抑制 颜色的分辨率被降级。在后面，将描述根据本发明的实施例的噪声降低单元120的结构。1-3.根据本发明的实施例的噪声降低单元的结构图3是图解根据本发明的实施例的噪声降低单元120的结构的简图。下面，将参 照图3描述根据本发明的实施例的噪声降低单元120的结构。
如图3所示，根据本发明的实施例的噪声降低单元120包括颜色确定部件122、红 色噪声降低部件124a和蓝色噪声降低部件124b。颜色确定部件122基于YCC数据的亮度信号和色差信号来确定每个像素的颜色。 在颜色确定部件122中每个像素的颜色确定结果被传送到红色噪声降低部件124a和蓝色 噪声降低部件124b。各种方法可以用作颜色确定部件122的颜色确定处理。例如，颜色确定部件122 可以基于YCC数据的亮度信号和色差信号的信号电平来确定每个像素的颜色。红色噪声降低部件124a对YCC数据的色差信号的Cr信号执行噪声降低处理。当 由红色噪声降低处理124a执行噪声降低处理时，从红色噪声降低部件124a输出通过从Cr 信号去除噪声而获得的Cr’信号。红色噪声降低部件124a根据颜色确定部件122的颜色 确定结果，改变关于Cr信号的噪声降低强度。蓝色噪声降低部件124b对YCC数据的色差信号的Cb信号执行噪声降低处理。当 由蓝色噪声降低部件124b执行噪声降低处理时，从蓝色噪声降低部件124b输出通过从Cb 信号去除噪声而获得的Cb’信号。像在红色噪声降低部件124a中那样，蓝色噪声降低部件 124b根据颜色确定部件122的颜色确定结果，改变关于Cr信号的噪声降低强度。红色噪声降低部件124a和蓝色噪声降低部件124b根据颜色确定部件122的颜色 确定结果，分别改变关于Cr信号和Cb信号的噪声降低强度。能够通过各种方法改变红色 噪声降低部件124a和蓝色噪声降低部件124b中的每一个的噪声降低强度。在下面的描述 中，描述通过改变噪声降低处理前后的信号之间的合成比来改变噪声降低强度的示例。各种方法可以用作红色噪声降低部件124a和蓝色噪声降低部件124b的噪声降低 处理。在该实施例中，作为噪声降低处理的示例，采用通过确定噪声去除目标像素周围的像 素的颜色来去除噪声的噪声降低处理。图4是图解红色噪声降低部件124a和蓝色噪声降 低部件124b的结构示例的简图。图4还显示红色噪声降低部件124a和蓝色噪声降低部件 124b的结构。下面，将参照图4描述红色噪声降低部件124a和蓝色噪声降低部件124b的 结构示例。如图4所示，红色噪声降低部件124a包括平均部分128a和合成部分129a。以相 同的方式，蓝色噪声降低部件124b包括平均部分128b和合成部分129b。此外，如图4所 示，噪声降低单元120进一步包括周围像素参考部件126。周围像素参考部件126参考在噪声去除目标像素(下面，噪声去除目标像素被称 为“目标像素”)周围的预定范围内的像素(下面，将目标像素周围的预定范围内的像素成 为“周围像素”)。此外，周围像素参考部件126获得用作参考的周围像素的颜色信息。当 周围像素参考部件126获得目标像素周围的周围像素的颜色信息时，周围像素参考部件 126将所获得的周围像素的颜色信息传送到红色噪声降低部件124a和蓝色噪声降低部件 124b。由YCC转换单元110转换后的YCC数据被输入到周围像素参考部件126.周围像 素参考部件126通过使用由YCC转换单元110转换后的YCC数据来获得目标像素周围像素 的颜色信息。当周围像素参考部件126获得周围像素的颜色信息时，可以获得具有基本上 与目标像素的颜色相同的颜色的像素的数量或位置。此外，在周围像素中，例如，可以通过 比较两个像素的YCC数据的信号电平来确定基本上具有与目标像素的颜色相同的颜色的像素。详细地，例如，可以通过确定目标像素的YCC数据的信号电平与该像素的YCC数据的 信号电平之间的差是否包含在预定范围内来执行该确定。图5是示出根据本发明的实施例的周围像素参考部件126的目标像素周围的周围 像素的参考的示例的简图。图5显示在其中将在垂直和水平方向上在目标像素A1周围的 五个像素参考为周围像素的示例。当然，不需要讲，由周围像素参考部件126参考的周围像 素的范围不限于图5中所示的示例。当周围像素参考部件126参考到周围像素的颜色信息时，可以识别目标像素 周围的颜色的情形。此外，当周围像素参考部件126参考到周围像素的颜色信息时，可以区 分边缘的位置或方向。平均部分128a接收周围像素参考部件126的周围像素的颜色信息以及包含在由 YCC转换单元110转换后的YCC数据中的Cr信号，计算每个Cr信号的目标像素和Cr信号 的周围像素的平均值，然后输出结果。平均部分128a可以以将基本上具有与目标像素的颜 色相同的颜色的周围像素的像素电平相加，并且将相加的像素电平的和除以相加次数的方 式计算平均值。当平均部分128a计算关于Cr信号的颜色的平均值时，去除Cr信号的噪声。 这里，通过去除噪声获得并且从平均部分128a输出的信号被称为Cr”信号。平均部分128b接收周围像素参考部件126的周围像素的颜色信息以及包含在由 YCC转换单元110转换后的YCC数据中的Cb信号，计算每个Cb信号的目标像素和Cb信号 的周围像素的平均值，然后输出结果。像在平均部分128a中那样，平均部分128b可以以将 基本上具有与目标像素的颜色相同的颜色的周围像素的像素电平相加，并且将相加的像素 电平的和除以相加次数的方式计算平均值。当平均部分128b计算关于Cb信号的颜色的平 均值时，去除Cb信号的噪声。这里，通过去除噪声获得并且从平均部分128b输出的信号被 称为Cb”信号。合成部分129a接收包含在由YCC转换单元110转换后的YCC数据中的Cr信号以 及从平均部分128a输出的Cr”信号，以像素为单位根据预定比值合成Cr信号和Cr”信号， 然后输出结果。这里，从合成部分129a输出的信号被称为Cr’信号。以相同的方式，合成 部分129b接收包含在由YCC转换单元110转换后的YCC数据中的Cb信号以及从平均部分 128b输出的Cb”信号，以像素为单位根据预定比值合成Cb信号和Cb”信号，然后输出结果。 这里，从合成部分129b输出的信号被称为Cb’信号。根据颜色确定部件122的目标像素的颜色确定结果改变合成部分129a和129b的 预定合成比。例如，将目标像素的颜色确定为红色，作为颜色确定部件122的目标像素的颜 色确定结果。在这种情况下，合成部分129a根据预定比值合成Cr信号与Cr”信号。该预 定比值可以是，例如，1 1。当合成部分129a根据该预定比值合成具有噪声的Cr信号以 及通过去除噪声获得的Cr”信号时，输出Cr’信号作为合成结果。另一方面，合成部分129b 直接输出Cb”信号作为Cb’信号。也就是，当确定目标像素的颜色为红色，作为颜色确定部 件122的目标像素的颜色确定结果时，减弱关于Cr信号的噪声去除强度，由此输出Cr’信 号。在执行合成来增加Cr”信号的比值的方向上，增强关于Cr信号的噪声去除强度，而在 执行合成来增加Cr信号的比值的方向上，减弱关于Cr信号的噪声去除强度。同时，关于Cb 信号，可以以当前强度执行噪声去除，由此输出Cb’信号。此外，在目标像素的颜色是红色 的情况下，合成部分129b可以直接输出Cb”信号作为Cb’信号，并且可以输出通过合成Cb信号与Cb”信号获得的结果。这里，在Cb信号与Cb”信号合成的情况下，可以执行合成，使 得Cb，，信号的比值增加(例如，以3 7的比值)。此外，在确定目标像素的颜色为蓝色，作为颜色确定部件122的目标像素的颜色 确定结果时，可以通过减弱关于Cb信号的噪声去除强度来输出Cb’信号。在执行合成来增 加Cb”信号的比值的方向上，增强关于Cb信号的噪声去除强度，而在执行合成来增加Cb信 号的比值的方向上，减弱关于Cb信号的噪声去除强度。同时，关于Cr信号，可以以当前强 度执行噪声去除，由此输出Cr’信号。此外，合成部分129a或129b可以根据Cr信号或Cb 信号的信号电平改变两个信号的合成比。同样地，当由颜色确定部件122确定目标像素的颜色，并且根据确定结果改变噪 声去除强度时，可以执行噪声去除，同时抑制分辨率被降级。此外，将在后面描述其中作为 根据本发明的实施例的噪声降低单元120的噪声降低处理的结果，执行噪声去除，同时抑 制分辨率被降级的状态。如上所述，参照图4和图5描述了根据本发明的实施例的噪声降低单元120的结 构。接下来，将描述使用根据本发明的实施例的图像捕获装置100的噪声降低处理。1-4.噪声降低处理图6是图解使用根据本发明的实施例的图像捕获装置100的噪声降低处理的流程 图。下面，将参照图6描述使用根据本发明的实施例的图像捕获装置100的噪声降低处理。当根据拍摄者的操作由图像捕获装置100执行图像捕获处理时，利用通过镜头单 元102来自被摄体的光照射CMOS图像传感器104。在CMOS图像传感器104中执行光电转 换。然后，当在包括具有图2所示的拜耳阵列的滤色器的CMOS图像传感器104中执行光电 转换时，创建具有R、G和B颜色信息的RAW数据。在伽玛转换单元108中，所创建的RAW数据经历伽玛转换处理，使得在YCC转换 单元110中，RAW数据被转换为包括亮度信号(Y)和色差信号(Cr/Cb)的YCC数据(步骤 S102)。当在YCC转换单元110中，将RAW数据转换为YCC数据时，YCC转换单元110将转 换后的YCC数据传送到噪声降低单元120。噪声降低单元120从YCC转换单元110接收YCC 数据，并且对所接收到的YCC数据执行噪声降低处理。在噪声降低单元120中，颜色确定部件122通过使用输入到噪声降低单元120的 YCC数据确定每个像素的颜色(步骤S104)。颜色确定部件122的颜色确定结果被传送到 红色噪声降低部件124a以及蓝色噪声降低部件124b。在图6中，示出了其中对显示红色的像素执行噪声降低处理的情况。这里，颜色确 定部件122确定要经历噪声降低处理的像素(目标像素)是否是显示红色的像素(步骤 S106)。可以基于例如Y信号、Cr信号和Cb信号的信号电平是否包含在预定范围中来确定 目标像素是否是显示红色的像素。在作为步骤S106的确定结果，确定要经历噪声降低处理的目标像素是显示红色 的像素的情况下，颜色确定部件122命令合成部分129a改变Cr信号和Cr”信号的合成比。 也就是，颜色确定部件122命令红色噪声降低部件124a减弱噪声降低强度(步骤S108)。 根据颜色确定部件122的命令，合成部分129a在Cr信号的比值增加的方向上改变Cr信号 和Cr”信号的合成比。当根据来自颜色确定部件122的命令，在Cr信号的比值增加的方向
10上改变Cr信号和Cr”信号的合成比时，可以减弱噪声去除强度。此外，在作为步骤S106的确定结果，确定要经历噪声降低处理的目标像素是显示 红色的像素的情况下，颜色确定部件122命令合成部分129b直接输出Cb”信号。关于Cb 信号，甚至当直接输出通过利用平均部分128b去除噪声而获得的信号(Cb”信号)时，也不 影响红色的分辨率。另一方面，在作为步骤S106的确定结果，确定要经历噪声降低处理的目标像素不 是显示红色的像素的情况下，颜色确定部件122命令合成部分129a和129b直接输出Cr”信 号和Cb”信号。也就是，颜色确定部件122命令合成部分129a和129b直接输出通过使用 平均部分128a和128b去除噪声而获得的信号(Cr”信号和Cb”信号)，作为Cr’和Cb’信 号。也就是，颜色确定部件122命令红色噪声降低部件124a和蓝色噪声降低部件124b来 以正常强度执行噪声降低处理(步骤S110)。同样地，根据要经历噪声降低处理的目标像素是否是显示红色的像素改变红色噪 声降低部件124a的噪声降低强度。当根据像素显示的颜色改变红色噪声降低部件124a的 噪声降低强度时，可以去除噪声，而不降级红色的分辨率。此外，在步骤S110中，描述了其 中直接输出通过使用平均部分128a和128b去除噪声而获得的信号(Cr”和Cb”信号)来 作为Cr’和Cb’信号的示例，但是本发明不限于此。例如，在合成部分129a中Cr信号可以 与Cr”合成，而在合成部分129b中Cb信号可以与Cb”合成，使得Cr”信号或Cb”信号的比 值增加。图7是图解在使用噪声降低单元120的噪声降低处理前后，YCC数据的每个信号的 信号电平中的变化的示例的示意图。如在图12B中所示的情况那样，图7示出在拍摄诸如 红色针织纱线球之类的全红色被摄体的情况下，使用噪声降低单元120的噪声降低处理。如图7所示，当执行使用根据本发明的实施例的噪声降低单元120的噪声降低处 理时，如在图12B中所示的情况那样，去除了 Cb信号的噪声，并且Cb信号具有在任意水平 坐标中均是平坦的信号电平。另一方面，与如图12B所示的情况不同，不去除Cr信号的噪 声，并且其信号电平根据坐标而具有不同的值。同样地，当维持Cr信号的信号电平的波形 时，红色的分辨率不降级。因此，当执行使用根据本发明的实施例的噪声降低单元120的噪 声降低处理时，可以获得这样的图像该图像的红色的分辨率不降级，同时增加了图像的分 辨率。如上所述，描述了使用根据本发明的实施例的图像捕获装置100的噪声降低处 理。此外，在上述描述中，描述了其中在拍摄诸如红色针织纱线球之类的全红色被摄体的情 况下执行噪声降低处理的示例。然而，甚至在拍摄诸如蓝色针织纱线球之类的全蓝色被摄 体的情况下，也可以执行使用图像捕获装置100的噪声降低处理。2.结论如上所述，根据本发明，在YCC转换单元100中将RAW数据转换为YCC数据，并且 YCC数据被传送到噪声降低单元120，使得对YCC数据执行噪声降低处理。在噪声降低处理 期间，颜色确定部件122通过使用YCC数据确定每个像素的颜色。此外，在作为颜色确定 部件122的颜色确定结果，目标像素是显示红色的像素的情况下，红色噪声降低部件124a 通过减弱噪声降低强度来输出Cr信号。结果，在使用根据本发明的实施例的图像捕获装 置100的噪声降低处理中，可以改善图像质量的分辨率，而不降级红色的分辨率(该红色的分辨率在现有技术的噪声降低处理中降级)。在使用根据本发明的实施例的图像捕获装置 100的噪声降低处理中，可以(特别是在CMOS图像传感器104的R滤波器的红色色散(red of dispersion)和B滤波器的蓝色色散(blue of dispersion)方面)获得显著的优势。此外，在本实施例中，描述了其中具有R、G和B三色的滤色器用作CMOS图像传感 器104的滤色器的示例，但是在本发明中，图像传感器的滤色器的示例不限于该示例。在使 用与具有R、G和B三色的滤色器不同的滤色器的情况下，可以以根据滤色器的颜色减弱地 执行噪声降低处理的方式改善图像质量的分辨率，而不降级分辨率。此外，可以由硬件或软件实现使用根据本发明的实施例的图像捕获装置100的噪 声降低处理。在由例如软件执行噪声降低处理的情况下，可以在图像捕获装置100中内置 具有在其上存储了的程序的存储介质。此外，可以由CPU(中央处理器)、DSP(数字信号处 理器)和其他控制器读取这样的程序，并且顺序地执行该程序。虽然已经参照附图描述了本发明的优选实施例，但是本发明不限于此。本领域技 术人员应该理解，在所附权利要求的技术宗旨的范围内，可以进行各种修改和替换，而它们 在本发明的技术范围内。例如，在上述实施例中，描述了其中在图像捕获装置100中提供噪声降低单元 120，并且在图像捕获装置100内部、对由图像捕获装置100获得的图像数据执行噪声降低 处理的示例，但是本发明不限于此。例如，通过具有在其上存储的RAW数据的存储介质或网 络，可以将由图像捕获装置的图像捕获处理获得的RAW数据输入到在信息处理设备(而非 个人计算机)中提供的彩色图像信号输入单元。此外，接收RAW数据的信息处理设备可以 包括在上述实施例中描述的YCC转换单元110和噪声降低单元120，并且可以在信息处理设 备中执行噪声降低处理。例如，在上述实施例中，在YCC数据被输入到颜色确定部件122，并且作为颜色确 定部件122的颜色确定结果，目标像素是显示红色(或蓝色)的像素情况下，颜色确定部件 122命令红色噪声降低部件124a(或蓝色噪声降低部件144b)减弱噪声去除强度。然而，本 发明不限于该示例。例如，在作为颜色确定部件122的颜色确定结果，目标像素是显示红色 的像素情况下，颜色确定部件122可以命令蓝色噪声降低部件124b加强噪声去除强度。也 就是，颜色确定部件122可以向蓝色噪声降低部件124b传送命令，使得红色噪声降低部件 124a的噪声去除强度相对减弱。例如，在上述的实施例中，描述了其中周围像素参考部分126在水平和垂直方向 上参考目标像素A1周围5个像素的示例，但是本发明不限于此。例如，根据颜色确定部件 122的颜色确定结果，可以改变周围像素的参考范围。在作为颜色确定部件122的颜色确定 结果，目标像素是显示红色(或蓝色)的像素情况下，可以通过缩小周围像素的参考范围来 减弱噪声去除强度。例如，在上述实施例中，周围像素参考部件126参考目标像素A1的周围像素，并且 平均部分128a和128b计算基本上具有与目标像素A1的颜色相应的颜色的像素的平均值。 这里，在本发明中，根据颜色确定部件122的颜色确定结果，可以改变由平均部分128a和 128b使用来确定周围像素的颜色是否基本上与目标像素A1的颜色相同的阈值。在根据颜 色确定部件122的颜色确定结果确定目标像素是显示红色(或蓝色)的像素的情况下，可 以改变用于确定周围像素的颜色是否与目标像素A1的颜色基本相同的阈值，并且可以仅将几乎具有与目标像素的颜色相同的颜色的像素设置为计算目标。例如，在上述实施例中，描述了其中将具有RGB颜色空间的RAW数据转换为具有 YCrCb颜色空间的YCC数据，并且对YCC数据执行噪声降低处理的示例，但是本发明不限于 该示例。例如，除了 YCbCr之外，可以以从具有与YUV和Lab颜色空间不同的颜色空间的颜 色图像信号中确定目标像素的颜色的方式执行噪声降低处理，并且根据确定结果减弱预定 颜色。例如，在上述实施例中，描述了其中YCC数据被输入到颜色确定部件122，并且通 过使用YCC数据对每个像素执行颜色确定处理的示例，但是本发明不限于此。例如，可以通 过使用RAW数据针对每个像素执行颜色确定处理。可以通过使用RAW数据执行颜色确定处 理，RAW数据可以被转换为具有亮度信号和色差信号的颜色图像信号(例如，具有YUV颜色 空间的颜色图像信号)，然后使用RAW数据的颜色确定结果可以用作颜色图像信号的每一 个像素的颜色。本发明包含涉及于2009年3月11日向日本专利局提交的日本优先权专利申请 JP2009-058251中公开的主题，通过引用将其全部内容合并在此。本领域技术人员应该理解，可以根据设计需要或其它因素进行各种修改、组合、部 分组合以及替换，只要它们落入所附权利要求及其等效物的范围内。
权利要求
一种图像处理设备，包括转换单元，用于将包括预定颜色空间的第一颜色图像信号转换为包括具有亮度信号和色差信号的颜色空间的第二颜色图像信号；颜色确定部件，用于确定所述第一颜色图像信号或所述第二颜色图像信号的每个像素的颜色；和噪声去除单元，用于通过根据所述颜色确定部件确定的颜色，改变关于所述色差信号的噪声去除强度来执行噪声去除处理。
2.如权利要求1所述的图像处理设备，其中所述噪声去除单元通过根据由所述颜色确定部件确定的颜色，改变所述色差信号 与通过从所述色差信号中去除噪声获得的信号之间的合成比来改变所述噪声去除强度。
3.如权利要求1所述的图像处理设备，其中所述噪声去除单元通过根据由所述颜色确定部件确定的颜色，改变用于所述噪声 去除处理的图像信号的区域的范围来改变所述噪声去除强度。
4.如权利要求1所述的图像处理设备，其中所述噪声去除单元通过根据由所述颜色确定部件确定的颜色，改变用于所述噪声 去除处理的阈值来改变所述噪声去除强度。
5.如权利要求1所述的图像处理设备，其中所述转换单元将所述第一颜色信号转换为作为所述亮度信号的Y信号以及作为 所述色差信号的Cr和Cb信号。
6.如权利要求1所述的图像处理设备，其中所述转换单元将所述第一颜色图像信号转换为作为所述亮度信号的Y信号以及 作为所述色差信号的U和V信号。
7.如权利要求1所述的图像处理设备，其中所述预定颜色空间是RGB颜色空间。
8.一种图像处理方法，包括步骤将包括预定颜色空间的第一颜色图像信号转换为包括具有亮度信号和色差信号的颜 色空间的第二颜色图像信号；确定所述第一颜色图像信号或所述第二颜色图像信号的每个像素的颜色；和通过根据所述颜色确定步骤确定的颜色，改变关于所述色差信号的噪声去除强度来执 行噪声去除处理。
9.一种计算机程序，用于使计算机执行如下步骤将包括预定颜色空间的第一颜色图像信号转换为包括具有亮度信号和色差信号的颜 色空间的第二颜色图像信号；确定所述第一颜色图像信号或所述第二颜色图像信号的每个像素的颜色；和通过根据颜色确定步骤确定的颜色，改变关于所述色差信号的噪声去除强度来执行噪 声去除处理。
全文摘要
图像处理设备，包括转换单元，用于将包括预定颜色空间的第一颜色图像信号转换为包括具有亮度信号和色差信号的颜色空间的第二颜色图像信号；颜色确定部件，用于确定第一颜色图像信号或第二颜色图像信号的每个像素的颜色；和噪声去除单元，用于通过根据颜色确定部件确定的颜色，改变关于色差信号的噪声去除强度来执行噪声去除处理。
文档编号H04N1/60GK101854469SQ20101012966
公开日2010年10月6日 申请日期2010年3月4日 优先权日2009年3月11日
发明者川口勇辉, 松下伸行, 高鸟二郎 申请人:索尼公司