专利名称：图像处理方法、图像处理设备和摄像设备的制作方法
技术领域：
本发明涉及一种用于判断输入图像的场景并根据由此所判断出的场景进行图像 处理的图像处理方法及其图像处理设备和摄像设备。
背景技术：
传统上，存在一种图像处理设备，其判断图像的场景或者被摄体的种类，并根据由 此所判断出的场景(被摄体的种类)进行图像处理。例如，日本特开2000-259372公开了一种图像输出设备，该图像输出设备判断输 入的图像数据是否是鲜艳颜色场景(即，鲜艳的被摄体)，并且在图像数据是鲜艳颜色场景 的情况下以高分辨率输出图像数据。在上述日本特开2000-259372所述的传统技术中，根据具有高色度(chroma)的像 素的数量是大于预定阈值还是小于预定阈值来判断图像数据是否是鲜艳颜色场景。然而，在仅基于图像的色度信息判断鲜艳颜色场景的该传统方法中，场景的判断 结果有时与用户的感觉，即人的感觉不一致。例如，与图像包括较少颜色的情况相比，在图像包括许多颜色的情况下，即使各颜 色的色度低，用户也趋于将该图像视作鲜艳颜色场景。即使图像包括许多高色度像素，用户也不想拍摄鲜艳颜色场景，这一情况是存在 的。这类情况的例子有下面的情况以被摄体后方的、禾_高色度颜色均勻着色的墙壁作为 背景，拍摄被摄体。如上所述，即使对于相同色度，也存在用户趋于将该图像视作鲜艳颜色 场景的情况，然而也存在用户不将该图像视作鲜艳颜色场景的情况。在上述情况下，基于传 统判断方法，难以根据用户的感觉或者用户的意图来判断场景。
发明内容
本发明涉及一种可以更加符合人的感觉或意图地判断输入图像是否是鲜艳颜色 场景的图像处理设备。根据本发明，一种图像处理设备可以通过根据输入图像的色相或亮度校正色度， 以更加符合人的观察的方式判断图像是否是鲜艳颜色场景。本发明提供一种图像处理方法，包括获取图像数据；生成所述图像数据的色相 直方图；基于根据所述色相直方图中频率大于预定阈值的色相的数量所设置的判断条件， 判断所述图像数据的图像是否是鲜艳颜色场景；以及输出步骤，用于输出判断结果。本发明提供一种图像处理方法，包括获取图像数据；以及生成所述图像数据的 色相分布，其中，设置与所述色相分布中的颜色分布的扩展程度相应的判断条件，并且基于 所述判断条件判断所述图像数据的图像是否是鲜艳颜色场景；以及其中，输出通过所述判 断所获得的判断结果。本发明提供一种图像处理设备，包括获取单元，用于获取图像数据；生成单元， 用于生成所述图像数据的色相直方图；判断单元，用于根据所述色相直方图中频率大于预定阈值的色相的数量来设置判断条件，并且基于所述判断条件判断所述图像数据的图像是 否是鲜艳颜色场景；以及输出单元，用于输出从所述判断单元所获得的判断结果。本发明提供一种摄像设备，包括摄像单元，用于拍摄被摄体并输出所述被摄体的 图像数据；生成单元，用于生成所述图像数据的色相直方图；判断单元，用于根据所述色相 直方图中的颜色分布的扩展程度来设置判断条件，并且基于所述判断条件判断所述图像数 据的图像是否是鲜艳颜色场景；以及校正单元，用于根据从所述判断单元所获得的判断结 果，校正所述图像数据的色度。通过以下参考附图对典型实施例的详细说明，本发明的其它特征和方面将显而易 见。
包含在说明书中并构成说明书的一部分的附图，示出本发明的典型实施例、特征 和方面，并与说明书一起用来解释本发明的原理。图1是示出根据第一典型实施例的摄像设备的结构的框图；图2A和2B分别示出图像信号的块分割；图3示出与第一典型实施例的一系列处理有关的流程图；图4A、4B和4C分别示出根据第一典型实施例的色相直方图的例子；图5示出场景判断单元所进行的场景判断处理的特性；图6是示出根据第一典型实施例的场景判断单元所进行的处理的流程图；图7是示出根据第二典型实施例的摄像设备的结构的框图；图8是示出根据第二典型实施例的色度校正处理的特性的图；图9A和9B分别示出根据第三典型实施例拍摄场景的例子；图IOA和IOB分别示出根据第三典型实施例的色相直方图的例子；图11是示出根据第三典型实施例的场景判断控制单元的处理的流程图；图12是示出根据第三典型实施例的场景判断单元的处理的流程图；图13是示出根据第四典型实施例的摄像设备的结构的框图；图14示出根据第四典型实施例的图像分割。
具体实施例方式下面参考附图详细说明本发明的各种典型实施例、特征和方面。下面参考图1 6说明根据第一典型实施例的图像处理设备。图1是示出作为图像处理设备的例子的摄像设备的结构的框图，其中，该图像处 理设备包括根据第一典型实施例的场景判断功能，并且根据场景进行图像校正处理。在图 1中，透镜101形成来自被摄体的光束的图像。当光束被引导至图像传感器时，光圈102减 少来自透镜101的光束。图像传感器103光电转换进入的光束，以图像信号的形式输出光 束。自动增益控制放大器(AGC) 104将来自图像传感器103的信号放大成适当水平。亮度/颜色信号生成单元105将图像传感器103所生成的信号转换成亮度信号 (Y)和颜色信号(R、G和B)。白平衡放大单元106根据白平衡增益放大从亮度/颜色信号 生成单元105输出的颜色信号(R、G和B)，并且生成放大的颜色信号(R’、G’和B’)。色差信号生成单元107生成色差信号(R’ _Y、B’ -Y)。色差信号校正单元108进行校正，以对色 差信号设置增益。编码器109将色差信号转换成标准电视信号等。信号分割单元110分别将亮度信号⑴和色差信号(R’ "Y和B’ -Y)分成预定的 小块。色相/色度计算单元111根据色差信号(R’ -Y和B’ -Y)计算色相信号/色度信号 (Hue, Chroma) 0色相直方图生成单元112根据色相信号/色度信号生成色相直方图。照 相机控制单元113整体控制摄像设备。照相机控制单元113向摄像设备中的各单元发送指 示，以使这些单元进行各自的处理。场景判断单元114判断输入图像的场景。场景判断控 制单元115控制场景判断单元114所进行的场景判断处理。下面说明图1的摄像设备的拍摄操作。在图像传感器103上形成通过透镜101和 光圈102的被摄体图像。通过AGC放大器104对进入图像传感器103的光进行光电转换并 将其放大至适当的水平。此后，将这样转换并放大后的光输出给亮度/颜色信号生成单元 105。在亮度/颜色信号生成单元105中，生成亮度信号(Y)和颜色信号(R、G和B)，并且， 在这些信号中，分别将颜色信号(R、G和B)输出给白平衡放大单元106并将亮度信号(Y) 输出给编码器109。在白平衡放大单元106中，基于照相机控制单元113计算出的白平衡增益放大颜 色信号(R、G和B)。将这样放大的颜色信号(R’、G’和B’ )输出给色差信号生成单元107。 在色差信号生成单元107中，根据颜色信号(R’、G’和B’)生成色差信号(R’ -Y和B’-Y)， 并且将其输出给色差信号校正单元108或信号分割单元110。在色差信号校正单元108中， 对色差信号(R’ -Y和B’ -Y)设置照相机控制单元113计算出的增益(下面说明增益的程 度)，以校正色差信号(R’ "Y和B’ -Y)。将校正后的色差信号(R’ -Y和B’ -Y)输出给编码 器109。在编码器109中，根据亮度信号(Y)生成诸如NTS C等的标准电视信号，以将其输 出给记录单元(未示出)。作为本发明的特征之一，下面说明根据拍摄场景对图像数据要进行的图像处理。 在本典型实施例中，基于通过摄像系统所拍摄的图像数据判断图像数据的拍摄场景是否是 鲜艳颜色场景。随后，根据判断结果对图像数据进行图像处理。此时，应该注意下面这点 鲜艳度的感觉根据鲜艳颜色场景中的颜色分布的不同而不同，因此，将根据这样所获得的 图像数据的颜色的分布进行不同的场景判断处理。图2A和2B示出花的拍摄图像，其中，颜色的分布状态在图2A和2B之间不同。图 2A示出拍摄各种颜色的花并因此在图像中出现许多颜色的情况。另一方面，图2B示出拍 摄具有特定颜色的花并因此在图像中出现较少数量的颜色。在这种情况下，人的视觉感觉 是尽管色度相同，但是包括许多颜色的图2A的图像比包括较少颜色的图2B的图像更鲜 艳。为了对应于人的视觉感觉的特性，在本典型实施例中，根据图像数据的拍摄场景是对应 于单色还是彩色的鲜艳颜色场景，分类图像数据的拍摄场景。然后，通过使用根据该分类结 果的判断方法，判断分类后的图像数据是否是鲜艳颜色场景。以下将如图2A所示图像中包 括许多颜色的场景称为彩色鲜艳颜色场景，而将如图2B所示图像中包括较少颜色的场景 称为单色鲜艳颜色场景。对如下图像数据进行鲜艳度校正处理，其中，根据场景判断单元114进行的场景 判断处理将该图像数据判断为彩色鲜艳颜色场景或单色鲜艳颜色场景，并且在鲜艳度校正 处理中，通过色差信号校正单元108增大色度以增大鲜艳度。因此，用户(即，人)看起来鲜艳的被摄体可以表现得更鲜艳。 图3示出与作为本典型实施例的特征的一系列处理有关的流程图。各单元根据照 相机控制单元113的指示进行该处理。 在步骤S301，从色差信号生成单元107获取图像数据，并且在信号分割单元110将 其分成多个块。在步骤S302，基于诸如每一块各自的色度或色相等的信息，对这样获取的图 像数据进行鲜艳度分类处理，其中，鲜艳度分类处理分类这样获取的图像数据可能是单色 鲜艳颜色场景还是可能是彩色鲜艳颜色场景。在步骤S303，场景判断单元114根据分类结 果的判断条件判断图像数据是否是鲜艳颜色场景，并且输出判断结果。在步骤S304，基于在 步骤S303获得的判断结果，对图像数据进行校正处理，然后结束该处理。在本典型实施例中，在场景判断结果中所使用的图像数据中反映了判断结果之后 输出该图像数据，然而，本发明不局限于此。换句话说，可以在下一帧和随后的帧中反映与 针对特定帧(即，图像数据)的判断结果相应的校正处理。在多个帧出现鲜艳颜色场景之 后初次指定场景，或者在多个帧中图像数据被判断为鲜艳颜色场景的比例高的情况下指定 场景。也就是说，可以基于多个帧判断结果指定场景。此时，可以在这多个帧和随后的帧中 反映根据判断结果的校正处理。具体地，可能存在下面的情况在诸如能够拍摄静止图像的摄像设备和对拍摄的 图像数据(即，帧)进行图像处理的个人计算机(PC)等的信息处理设备中，对该图像数据 进行该处理。此外，在诸如能够显示实时取景和拍摄运动图像的摄像设备和对该运动图像 进行图像处理的PC等的信息处理设备中，可以考虑对这多个帧全部进行上述处理。在本典型实施例中，通过使用场景判断单元114输出的判断结果对图像数据校正 色度；然而，用于使用判断结果的方法不局限于此。例如，可以使显示单元(未示出)显示 判断结果从而使用户获悉判断结果。可选地，当存储图像数据时，可以通过向拍摄场景的报 头等附加与判断结果相对应的信息，来在存储图像数据之后指定图像数据的拍摄场景。可 以通过利用除色度以外的校正增强鲜艳度来进行校正处理。这类处理的例子包括增大亮度 水平或增强轮廓的校正处理。下面详细说明上述一系列处理。在步骤S301，使从色差信号生成单元107输出的 色差信号进入信号分割单元110。如图2A和2B所示，将这样拍摄的图像在整体上分成块 (8X8)。计算每一个块的色差信号(R’-Y*B’-Y)的平均值，并且将其输出给色相/色度 计算单元111。在步骤S302，进行下面的鲜艳度分类处理。在步骤S302，色相/色度计算单元111 根据各块的色差信号(R’_Y和B’-Y)计算每一块的色相(Hue)和色度(Chroma)。图4A示 出色差信号与色相和色度之间的关系。使用下面的公式来根据色差信号计算色相和色度。色相(Hue)= arctan((R' -Y)/(B，-Y))
色度(Chroma) = ^/(R'-Y)2+(B’-Y)2... 1色相/色度计算单元111将这样计算出的每一块的色相(Hue)和色度(Chroma) 输出给色相直方图生成单元112。在色相直方图生成单元112中，根据每一块的色相(Hue)和色度(Chroma)生成色 相直方图。
色相直方图生成单元112将每一块的色度(Chroma)与预定阈值(即，第三色度阈 值)进行比较。然后，在块的色度等于或大于预定值的情况下，对于与块相对应的色相增加 频率。在块的色度小于阈值的情况下，该块不被包括在色相直方图中。在本典型实施例中， 图4B和4C分别示出针对图2A和2B的图像所生成的色相直方图。在图4B和4C的每一个 中，水平轴(即，等级)表示色相(Hue)，并且等级的宽度这里为10 (度)。垂直轴表示频率， 因而表示具有各色相的块的数量。然后，色相直方图生成单元112计算表示颜色分布的扩展程度的指标。这里，将色 相直方图中频率不是0的等级的数量(即，色相的数量)用作指标。在图4B和4C的情况 下，色相的数量分别为17和6。色相直方图生成单元112将这样计算出的色相的数量输出 给场景判断控制单元115。场景判断控制单元115基于色相直方图生成单元112计算出的色相的数量，控制 场景判断单元114所进行的场景判断处理。更具体地，场景判断控制单元115计算在场景 判断中所使用的判断阈值，并且将该判断阈值输出给场景判断单元114。下面参考图5说明场景判断控制单元115计算出的判断阈值。这里作为例子示出 基于图像的平均色度和图像内高色度块的数量来判断场景的情况。图5示出鲜艳颜色场景 的判断基准。图5的水平轴表示平均色度，并且垂直轴表示高色度块的数量。将阴影线所 表示的图5的区域，即平均色度高于阈值(Th_Chr0ma)并且色度等于或大于阈值的块的数 量大于阈值(Th_Area)的区域确定为鲜艳颜色场景。将对于“彩色”场景所使用的判断阈值Th_Area (彩色)和Th_Chr0ma (彩色)设 置成小于对于“单色”场景所使用的判断阈值Th_Area (单色)和Th_Chroma (单色)。换句 话说，确定 Th_Area (彩色)< Th_Area (单色)并且 Th_Chroma (彩色)< Th_Chroma (单 色)。场景判断控制单元115通过将色相的数量与预定阈值进行比较，判断当前场景可 能是彩色鲜艳颜色场景还是单色鲜艳颜色场景。根据该判断结果，确定场景判断阈值。更具 体地，在色相的数量等于或大于阈值的情况下，将Th_Area(彩色)的值(即，第一块阈值) 和Th_Chr0ma(彩色)的值(即，第一色度阈值)输出给场景判断单元114。相反，在色相 的数量小于预定值的情况下，将Th_Area (单色)的值(即，第二块阈值)和Th_Chroma (单 色)的值(即，第二色度阈值)输出给场景判断单元114。例如，将对于色相的数量的阈值 设置为8。下面说明步骤S303的鲜艳度判断处理。在步骤S303，场景判断单元114基于色相 /色度计算单元111计算出的各块的色度数据和场景判断控制单元115计算出的判断阈值 来判断场景。通过图6的流程图示出场景判断单元114所进行的场景判断的处理内容。在图6的步骤S601，对于图像的所有块，对由色相/色度计算单元111计算出的 每一块的色度进行平均以计算平均色度。在步骤S602，计算图像的所有块中色度等于或大 于预定值的块(即，高色度块)的数量。在步骤S603，将这样计算出的值与从场景判断控 制单元115输出的与色相的数量相应的判断阈值进行比较。换句话说，在平均色度等于或 大于阈值(Th_Chr0ma)并且高色度块的数量等于或大于预定数量(Th_Area)的情况下(步 骤S603为“是”)，在步骤S604，将当前场景判断为鲜艳颜色场景。在除以上情况以外的情 况下(步骤S603为“否”)，不将当前场景判断为鲜艳颜色场景。
在步骤S606，场景判断单元114将场景判断结果的信息输出给照相机控制单元 113。最后，下面说明步骤S304中进行的鲜艳度校正处理。照相机控制单元113基于场 景判断单元114的场景判断结果的信息，控制色差信号校正单元108的参数。在本典型实 施例中，控制上述色差信号校正单元108的色度增益G。色度增益G的例子包括参数Gl和 G2。参数Gl和G2具有关系G1>G2(假定Gl和G2分别等于或大于1)。在场景判断单元 114判断为场景是鲜艳颜色场景的情况下，将Gl设置为色度增益，而在场景判断单元114判 断为场景不是鲜艳颜色场景的情况下，将G2设置为色度增益。更具体地，在场景是鲜艳颜 色场景的情况下，校正图像以使得对于色差信号的增益增大，以获得增强色度的图像。如上所述，本发明的图像处理设备用于判断图像是否是鲜艳颜色场景，并且根据 判断结果控制图像处理，其特征在于，根据颜色分布的扩展来控制场景判断。更具体地，在 色相的数量较多的情况下，与色相的数量较少的情况相比，将用于判断鲜艳颜色场景的阈 值设置成较小的值。因此，即使在图像中包括的每一颜色的色度都相同的情况下，与色相的 数量较少的情况相比，在色相的数量较多的情况下，趋于将图像判断为鲜艳颜色场景。因 此，可以进行与人的感觉更加一致的鲜艳颜色场景的判断。在上述典型实施例中，根据色差信号计算色相和色度；然而，本发明的色相和色度 的计算方法不局限于此。例如，可以计算色相和色度，以将色相和色度转换到诸如L*a*b* 空间等的其它空间中，然后计算L*a*b*空间中的色相和色度。在上述典型实施例中，说明了信号分割单元110将图像信号分成8X8块这一例 子。然而，可以将图像信号分成任意数量的块，只要根据图像中的颜色分布来控制鲜艳颜色 场景的判断即可。信号分割单元110可以具有根据每一像素单位的色相/色度信息判断颜 色分布的扩展这一结构。在该典型实施例中，说明了使用色相直方图的频率不是0的等级的数量(S卩，色相 的数量)作为表示图像中的颜色分布的扩展程度的指标这一情况。然而，可以使用任何方 法，只要检测图像中的颜色分布的扩展程度即可。例如，可以使用色相直方图的峰值附近的 频率相对于全部频率的比例作为该指标。可以使用色相直方图的峰值的宽度作为该指标。 此外，通过计算图4A的色差平面中存在于等于或大于色度阈值的区域中的各值的方差值， 可以计算颜色分布的扩展程度。可以将用于根据色相分布来检测颜色分布的扩展程度的各 种方法应用于本发明。在本典型实施例中，基于诸如平均色度值和高色度块的数量等的两个信息，进行 图像是否是鲜艳颜色场景的判断。然而，用于判断鲜艳颜色场景的方法不局限于此。例如， 可以基于图像中色度最高的区域中的色度信息，进行鲜艳颜色场景的判断。在上述典型实施例中，对于色相的数量等于或大于阈值的情况和色相的数量小于 阈值的情况，分别设置判断阈值。然而，在本发明中，用于设置判断阈值的方法不局限于此。 例如，还可以使用这样的方法计算并设置一系列值，以使得随着色相的数量变大，判断阈 值变得更小。可选地，可以仅改变平均色度阈值或高色度块的数量的阈值。在上述典型实施例中，说明了下面的情况基于判断图像是否是鲜艳颜色场景的 判断结果，控制与色差信号相乘的增益。然而，可以采用任何控制方法，只要进行该控制以 使得基于图像是否是鲜艳颜色场景来校正颜色信号或亮度信号即可。
9
另外，在上述典型实施例中，在两个值之间，即根据图像是否是鲜艳颜色场景来进 行该判断。然而，可以在多个值之间，即根据鲜艳度的程度来进行该判断。在这种情况下，随 着平均色度变高，并且随着色度等于或大于阈值的块的数量变大，鲜艳度的程度变得更高。 可选地，色相的数量越大，则鲜艳度的程度越高。然后，基于计算出的鲜艳度的程度，校正色 差信号校正单元108的信号(即，随着鲜艳度的程度变高，将与色差信号相乘的增益设置得 更高)O在本典型实施例中，说明了这样的处理对被判断为鲜艳颜色场景的图像数据增 大色度，并且增强该图像数据的鲜艳度。然而，该处理不局限于此，而且本典型实施例可应 用于这样的处理对于鲜艳颜色场景降低色度以抑制场景的鲜艳度。在这种情况下，可以将 增益设置成例如Gl <G2彡1。在第一典型实施例中，说明了根据颜色分布的扩展控制场景的判断阈值的情况。在第二典型实施例中，进行根据颜色分布的扩展来校正色度的处理，并且基于这 样校正后的色度信息进行图像是否是鲜艳颜色场景的判断。图7示出根据本典型实施例的摄像设备的主要结构。向与图1相同的构件分配相 同的附图标记和/或符号，并且这里省略对其的详细说明。在本典型实施例中，新添加了色 度校正单元701。在色度校正单元701中，将下面的色度增益(G_Chroma)乘以由色相/色 度计算单元111计算出的色度(Chroma)，以计算校正后的色度(Chroma’ )。场景判断控制单元115基于色相直方图生成单元112计算出的色相的数量，计算 色度增益(G_Chr0ma)(即，校正量)。在图8中，垂直轴表示色度增益，并且水平轴表示色相 的数量。图8中的色度增益设置值P801表示预先确定的色相的数量的上限和该上限处的 色度增益设置值。类似地，增益设置值P802表示预先确定的色相的数量的下限和该下限处 的色度增益设置值。L801表示分别根据P801和P802所确定的色相的数量和色度增益之间 的关系。在色相的数量大的情况下(即，第一状态)，将L801设置成小的增益(即，第一校 正量)，而在色相的数量小的情况下(即，第二状态)，将L801设置成大的增益(S卩，第二校 正量)。如图8所示，色相的数量越大，则色度增益的值越大。场景判断控制单元115基于 L801所表示的特性和输入的色相数量来确定色度增益(G_Chr0ma)(即，校正量)。然后，场 景判断控制单元115将这样计算出的色度增益输出给色度校正单元701。场景判断控制单元115向场景判断单元114输出判断预定场景时所使用的阈值， 即平均色度阈值(Th_Chroma)和高色度块数量阈值(Th_Area)。色度校正单元701将从色相/色度计算单元111输出的每一块的色度(Chroma) 乘以色度增益(G_Chr0ma)(即，校正量)，以计算校正后的色度(Chroma’ )。将这样计算出 的色度(Chroma’ )输出给场景判断单元114。对于图2所示的所有8X8块重复进行该校 正处理。随后，场景判断单元114基于输入的校正后的色度(Chroma’ )进行场景的判断处 理。在判断处理中，与第一典型实施例不同，不管图像数据的色相的数量如何，都使用共同 的阈值(Th_Chroma和Th_Area)。该判断处理和由照相机控制单元113所进行的下面的校 正处理的内容都与第一典型实施例中的相同，因此这里省略对其的详细说明。如上所述，本发明旨在一种图像处理设备，其中，判断图像是否是鲜艳颜色场景， 并且根据判断结果控制图像处理，该图像处理设备的特征在于，根据颜色分布的扩展程度来控制场景的判断。更具体地，在本发明的图像处理设备中，根据色相的数量计算色度增 益，并且基于将色度增益乘以色度数据之后的色度数据进行图像是否是鲜艳颜色场景的判 断。因此，即使图像所包括的各颜色的色度相同，与色相较少的情况相比，在色相较多 的情况下也趋于将图像判断为鲜艳颜色场景。因此，可以做出更符合人的感觉的鲜艳颜色 场景的判断。在上述典型实施例中，根据基于预定设置值和色相的数量所进行的计算方法，说 明了用于计算色度增益的方法。然而，本发明中用于校正色度的方法不局限于此。例如，可 以使用这样的方法预先设置两个不同的设置值，并且可以根据色相的数量是大于还是小 于预定阈值的结果，使用设置值中的一个作为色度增益。更具体地，可以使用任何方法，只 要随着色相的数量变大、对色度进行更大的校正即可。在第二典型实施例中，说明了根据颜色分布的扩展来控制对于色度的校正处理。在第三典型实施例中，说明基于颜色分布的扩展和色度信息进行图像是否是鲜艳 颜色场景的判断的情况。根据本典型实施例的摄像设备的结构与图1所示的第一典型实施例的相同，因此 这里省略对其的详细说明。作为例子说明对于如图9A和9B所示的图像进行场景的判断的情况。图9A示出 拍摄具有被判断为单色鲜艳颜色场景的高色度的花的情况。另一方面，在图9B中，墙壁901 被定位为被摄体的人的背景。墙壁901具有高色度和均一颜色。在这种情况下，即使在图 9A的图像的花具有与图9B的图像的背景部分相同的色度的情况下，也存在着在图9B的条 件下用户不想拍摄鲜艳图像的情况。如上所述，即使在单色鲜艳颜色场景的情况下，在本典 型实施例中也可以进行这样的处理可以实现用户不想作为鲜艳颜色场景拍摄图9B的背 景部分的用户意图。图IOA和IOB分别示出对于图9A和9B的图像根据与第一和第二典型实施例相同 的方法所生成的色相直方图。通过作为具有鲜艳单色的花的图像的图9A的图像可知，花的 图像在特定频率的色相附近一定程度地扩展分布。相反，在图9B的图像中，在色相直方图 中仅包括背景部分并且背景部分着色均勻，因此图9B的图像的色相的数量小于图9A的图 像的色相的数量。图IOA和IOB的色相直方图的色相的数量分别为8和2。如上所述，在用户不想拍摄鲜艳图像的图像中，即使在具有相同单色的鲜艳颜色 场景的情况下，色相的数量趋于更少。因此，本典型实施例添加了不将上述场景判断为鲜艳 颜色场景而是排除上述场景的步骤。下面参考图11的流程图说明用于进行上述排除处理步骤的场景判断控制单元 115的处理内容。在本典型实施例中，作为第一典型实施例中所述的步骤S 302的鲜艳度分 类处理来进行该处理。在步骤S1101，场景判断控制单元115将通过色相直方图生成单元112计算出的色 相的数量与预定阈值进行比较。在色相的数量等于或大于预定阈值的情况下(步骤SllOl 为“是”)，处理进入步骤S1102。在色相的数量小于预定阈值的情况下(步骤SllOl为“否”)， 处理进入步骤S1103。与第一典型实施例中参考图5所述的用于区分单色鲜艳颜色场景和 彩色鲜艳颜色场景的阈值相比，这里的阈值被设置成较小的值。这里说明该阈值被设置成3的情况。在步骤S1102，以与第一典型实施例相同的方式，将色相的数量与预定阈值进行比 较，来判断当前场景可能是彩色鲜艳颜色场景还是当前场景可能是单色鲜艳颜色场景。根 据判断结果，确定用于判断场景的阈值。更具体地，在色相的数量等于或大于阈值的情况 下，将Th_Area (彩色)和Th_Chr0ma (彩色)的值输出给场景判断单元114。相反，在色相 的数量小于阈值的情况下，将Th_Area(单色)和Th_Chroma(单色)的值输出给场景判断 单元114。在输入到场景判断单元114之后，场景判断控制单元115指示场景判断单元114 进行场景的判断。在步骤S1103，场景判断控制单元115指示场景判断单元114不将当前场景判断为 鲜艳图像。下面参考图12的流程图说明场景判断单元114所进行的场景判断处理。在步骤S1201，场景判断单元114判断是否要进行场景的判断。更具体地，在场景 判断控制单元115发出用以进行场景判断处理的指示的情况下(步骤S1201为“是”)，处 理进入步骤S1202，在步骤S1202，进行场景判断处理。在场景判断控制单元115发出不进 行场景判断处理的指示的情况下(步骤S1201为“否”)，处理进入步骤S1206。因此，在输入图9A所示的图像的情况下，在步骤S1202之后，基于预定判断阈值进 行图像是否是鲜艳颜色场景的判断。另一方面，在输入图9B所示的图像的情况下，处理进 入步骤S1206，在步骤S1206，不将当前场景判断为鲜艳颜色场景。步骤S1202 S1204进行的场景判断处理与第一典型实施例中图6的步骤S601 S603中所进行的相同，因此这里省略对其的详细说明。在满足步骤S1204中的判断条件的 情况下(步骤S1204为“是”)，处理进入步骤S1205，在步骤S1205，场景判断单元114判断 为当前场景是鲜艳图像。在不满足该判断条件的情况下(步骤S1204为“否”)，处理进入 步骤S1206，在步骤S1206，场景判断单元114判断为当前场景不是鲜艳图像。在步骤S1207，场景判断单元114将场景判断结果的信息输出给照相机控制单元 113。以上说明了场景判断单元114所进行的处理内容。照相机控制单元113基于由场景判断单元114所确定的场景判断结果的信息，控 制色差信号校正单元108的参数。在本典型实施例中，场景判断单元114控制上述色差信 号校正单元108的色度增益G。作为色度增益G的参数Gl和G2具有关系Gl > G2 (假定 Gl和G2等于或大于1)。在场景判断单元114判断为场景是鲜艳图像的情况下，将G 1设 置为色度增益，而在场景判断单元114判断为场景不是鲜艳图像的情况下，将G2设置为色 度增益。更具体地，在鲜艳颜色场景下，由于对于色差信号的增益被设置得更高，因而将场 景校正成增强了色度的图像。如上所述，本发明的图像处理设备进行场景是否是鲜艳颜色场景的判断，以根据 判断结果控制图像处理，该图像处理设备的特征在于，根据颜色分布的扩展来控制场景判 断。更具体地，在色相的数量小于预定阈值的情况下，进行控制以不将场景判断为鲜艳颜色 场景。因此，在使用以彩色颜色均勻着色的墙壁作为拍摄图像时的背景的情况下，可以 判断出如下的场景，该场景具有高色度但用户并非想要作为鲜艳被摄体进行拍摄。也就是 说，可以判断出更加符合人的感觉的鲜艳颜色场景。
以上说明了本发明的优选典型实施例；然而，本发明不局限于这些典型实施例。在 不脱离本发明的范围的情况下，可以对本发明提供各种变形和修改。在上述典型实施例中，进行控制以基于色相的扩展和色度信息判断场景是否是鲜 艳图像；然而，本发明不局限于用于控制场景判断的该方法。存在许多以下情况对于具有 低色度或者亮度分布的扩展程度低的场景，用户不想将被摄体拍摄为鲜艳图像。在色相直 方图生成单元112中，与色度分布或亮度分布一起生成色相直方图。在这些分布的扩展窄 于预定阈值的情况下，不将场景判断为鲜艳图像，从而可以进行控制以反映用户的意图。在第三典型实施例中，说明了在判断鲜艳颜色场景中使用颜色分布的扩展的信息 的情况。更具体地，在图像中的色相的数量小于预定阈值的情况下，进行控制以不将图像判 断为鲜艳颜色场景。在第四典型实施例中，说明进行控制以根据图像中的特定区域中的颜色分布来判 断鲜艳颜色场景的情况。图13示出根据本典型实施例的摄像设备的主要结构。向与图1所示的组件相同 的组件设置相同的附图标记和/或符号，并且这里省略对其的详细说明。在本典型实施例 中，除图1的组件以外，还新设置了背景提取单元1301。背景提取单元1301提取图像中的背景区域，并且将背景区域的位置或范围的信 息输出给色相直方图生成单元112。下面说明根据第四典型实施例的摄像设备的处理操作。从被摄体图像进入透镜101开始到在色相/色度计算单元111中计算每一个块的 色相/色度的一系列处理与第一典型实施例中所进行的相同，因此这里省略对其的详细说 明。本典型实施例与上述典型实施例的不同在于，色相直方图生成单元112通过仅使 用图像的背景部分生成色相直方图。为进行上述处理，背景提取单元1301提取图像中的背景部分。更具体地，背景提 取单元1301检测图像内的人面部，并且通过使用众所周知的用于识别面部的处理计算人 的位置和大小。基于该计算结果，背景提取单元1301将图像分成包括图像中的人的被摄体 区域和除被摄体区域以外的背景区域。然后，在将被摄体区域和背景区域分成信号分割单 元110中所设置的8X8块之后，背景提取单元1301使用图像的这些块的位置或大小的信 息来提取与背景重叠的块。图14示出根据上述方法提取与背景区域相对应的块的图像的 例子。图14以阴影块的形式示出作为背景区域被提取的块。背景提取单元1301将这些块 的位置作为背景区域的信息输出给色相直方图生成单元112。下面说明根据本典型实施例的色相直方图生成单元112的处理操作。以与第一典 型实施例的情况相同的方式，色相直方图生成单元112生成色相直方图，计算色相的数量， 然后将色相的数量输出给场景判断控制单元115。然而，色相直方图生成单元112通过仅使 用图14所示的被分类为背景区域的块来生成色相直方图。下面的处理，即，场景判断控制单元115所进行的场景判断的控制、场景判断单元 114所进行的场景判断处理和照相机控制单元113所进行的色相校正处理与第三典型实施 例中进行的相同，因此这里省略对其的详细说明。如上所述，本发明的图像处理设备判断图像是否是鲜艳颜色场景，以根据判断结果控制图像处理，该图像处理设备的特征在于，根据背景区域的颜色分布的扩展来控制场 景的判断。更具体地，在背景区域包括的色相的数量小于预定阈值的情况下，进行控制以不 将图像判断为鲜艳颜色场景。因此，在以利用彩色颜色均勻着色的墙壁作为背景来拍摄图像的情况下，可以判 断出如下的场景，该场景具有高色度但用户不想作为鲜艳颜色场景来拍摄被摄体。因此，可 以判断出更加符合人的感觉或意图的鲜艳颜色场景。在上述典型实施例中，说明了用于通过使用众所周知的面部识别技术提取背景区 域的方法；然而，本发明不局限于用于提取背景的该方法。例如，可以提取背景，以获取作为 拍摄图像时的焦点对准区域的焦点检测区域的位置，并且基于焦点检测区域的位置提取背 景。在这种情况下，由于考虑到主被摄体存在于焦点检测区域中和焦点检测区域周围，因而 可以提取从图像区域去除了焦点检测区域和焦点检测区域周围的区域的图像区域作为背景。在本典型实施例中，作为应用本发明的图像处理设备的例子说明了摄像设备。然 而，本发明不局限于该摄像设备。本发明可应用于可拍摄静止图像的摄像设备或可拍摄运 动图像的摄像设备。本发明还可应用于例如打印机等用于从外部获取图像数据以处理该图 像数据的图像形成设备和例如个人计算机等的信息处理设备。其它实施例还可以利用读出并执行记录在存储器装置上的程序以进行上述实施例的功能的 系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法实现本发明的方面，其 中，利用系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述 实施例的功能来进行上述方法的步骤。为此，例如，通过网络或者通过用作存储器装置的各 种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典 型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功 能。
权利要求
1.一种图像处理方法，包括获取图像数据；生成所述图像数据的色相直方图；基于根据所述色相直方图中频率大于预定阈值的色相的数量所设置的判断条件，判断 所述图像数据的图像是否是鲜艳颜色场景；以及输出步骤，用于输出判断结果。
2.根据权利要求1所述的图像处理方法，其特征在于，基于在所述输出步骤中输出的 判断结果，校正所述图像数据的色度。
3.根据权利要求2所述的图像处理方法，其特征在于，在根据所述判断结果，所述图像 数据的图像是鲜艳颜色场景的情况下，与所述图像数据的图像不是鲜艳颜色场景的情况相 比，校正所述图像数据的色度以增大所述图像数据的色度。
4.根据权利要求1所述的图像处理方法，其特征在于，随着所述色相直方图中频率大 于所述预定阈值的色相的数量变少，将更难判断为鲜艳颜色场景的条件设置为所述判断条 件。
5.根据权利要求1所述的图像处理方法，其特征在于，所述判断条件是在所述图像数据的色度高于预定值的情况下将所述图像数据的图像 判断为鲜艳颜色场景；以及在所述色相直方图中频率大于所述预定阈值的色相的数量是第一数量的情况下，所述 预定值是第一色度阈值，以及在所述色相直方图中频率大于所述预定阈值的色相的数量是 小于所述第一数量的第二数量的情况下，所述预定值是大于所述第一色度阈值的第二色度 阈值。
6.根据权利要求1所述的图像处理方法，其特征在于，所述判断条件是将所述图像数据的整个图像分成多个块，并且在色度等于或大于第三 色度阈值的块的数量大于预定数量的情况下将所述图像数据的图像判断为鲜艳颜色场景； 以及在所述色相直方图中频率大于所述预定阈值的色相的数量是第一数量的情况下，所述 预定数量是第一块阈值，以及在所述色相直方图中频率大于所述预定阈值的色相的数量是 小于所述第一数量的第二数量的情况下，所述预定数量是大于所述第一块阈值的第二块阈 值。
7.根据权利要求1所述的图像处理方法，其特征在于，所述判断条件是在根据所述色相直方图中频率大于所述预定阈值的色相的数量而校 正所述图像数据的色度之后，通过使用校正后的图像数据的色度，判断所述图像数据的图 像是否是鲜艳颜色场景；以及在所述色相直方图中频率大于所述预定阈值的色相的数量是第一数量的情况下，所述 图像数据的色度的校正量是第一校正量，以及在所述色相直方图中频率大于所述预定阈值 的色相的数量是小于所述第一数量的第二数量的情况下，所述图像数据的色度的校正量是 大于所述第一校正量的第二校正量。
8.一种图像处理方法，包括获取图像数据；以及生成所述图像数据的色相分布，其中，设置与所述色相分布中的颜色分布的扩展程度相应的判断条件，并且基于所述 判断条件判断所述图像数据的图像是否是鲜艳颜色场景；以及 其中，输出通过所述判断所获得的判断结果。
9.根据权利要求8所述的图像处理方法，其特征在于， 所生成的色相分布是色相直方图；以及所述色相分布中的颜色分布的扩展程度与所述色相直方图中频率不是0的色相的数 量、所述色相直方图的峰值中所包括的频率相对于全部频率的比例以及所述色相直方图的 峰值的宽度中的任一个相对应。
10.根据权利要求8所述的图像处理方法，其特征在于，随着所述图像数据的色度分布 或亮度分布的扩展程度变窄，设置所述判断条件以使得更难将所述图像数据的图像判断为 鲜艳颜色场景。
11.根据权利要求8所述的图像处理方法，其特征在于，还包括 提取排除了所述图像数据的主被摄体存在的区域的背景区域；以及 通过仅使用所述背景区域来计算所述颜色分布的扩展程度。
12.—种图像处理设备，包括 获取单元，用于获取图像数据；生成单元，用于生成所述图像数据的色相直方图；判断单元，用于根据所述色相直方图中频率大于预定阈值的色相的数量来设置判断条 件，并且基于所述判断条件判断所述图像数据的图像是否是鲜艳颜色场景；以及 输出单元，用于输出从所述判断单元所获得的判断结果。
13.一种摄像设备，包括摄像单元，用于拍摄被摄体并输出所述被摄体的图像数据； 生成单元，用于生成所述图像数据的色相直方图；判断单元，用于根据所述色相直方图中的颜色分布的扩展程度来设置判断条件，并且 基于所述判断条件判断所述图像数据的图像是否是鲜艳颜色场景；以及校正单元，用于根据从所述判断单元所获得的判断结果，校正所述图像数据的色度。
全文摘要
本发明提供图像处理方法、图像处理设备和摄像设备。图像处理设备可以将使输入图像是否是鲜艳颜色场景的判断符合人的感觉或意图。该图像处理设备的特征在于，获取图像数据；生成该图像数据的色相分布，根据该色相分布中的颜色分布的扩展程度设置判断条件，并且在该判断条件下判断图像数据的图像是否是鲜艳颜色场景，以及输出判断的判断结果。
文档编号H04N5/232GK102111547SQ20101061081
公开日2011年6月29日 申请日期2010年12月15日 优先权日2009年12月25日
发明者秦哲也 申请人:佳能株式会社