专利名称：图像处理设备和图像处理方法
技术领域：
本发明涉及一种用于检测图像中的高光溢出或者区块阴影的技术。
背景技术：
在诸如数码照相机的图像拾取设备中，执行白平衡控制和曝光控制。为了精确地 执行此种控制，必需移除高光溢出部分或者区块阴影部分。为此，检测高光溢出部分或者区 块阴影部分。近年来，越来越多的诸如数码单反相机的高性能照相机具有原样地存储原始图像 的功能。在用于处理原始图像的图像处理设备中，执行白平衡校正和曝光校正。为了高精 确度地执行此校正，必需移除高光溢出部分或者区块阴影部分。为此，还在图像处理设备中 检测高光溢出部分和区块阴影部分。通常基于像素的亮度执行高光溢出部分和区块阴影部分的检测。然而，每个像素 中的高光溢出和区块阴影的检测是耗时的，这是不希望的。当使用硬件检测高光溢出和区 块阴影时，出现电路尺寸增加的问题。尤其在图像拾取设备的领域中，很难满足小型化的市 场需要。日本未经审查的专利申请公开No. 2005-109705公布了一种用于解决上述问题的 技术。根据该技术，图像被划分为多个块，并且基于为每个块获得的平均像素值检测包括高 光溢出或者区块阴影的块。在获得用于白平衡校正的校正值的情况下，对除了包括高光溢 出或者区块阴影的已检测的块之外的块执行操作。具体地，根据该技术，执行检测从而其中R值、G值以及B值的平均像素值等于或 者大于预定的阈值(在下文中被称为“高光溢出阈值”)的块被检测为高光溢出区域，并且 其中R值、G值以及B值的平均像素值等于或者小于预定的阈值(在下文中被称为“区块阴 影阈值”)的块被检测为区块阴影区域。
发明内容
本发明人已经发现下述问题。即使当被包括在块中的一部分像素是高光溢出像素 时，块的平均像素值不总是等于或者大于高光溢出阈值。同样地，即使当被包括在块中的一 部分像素是区块阴影像素时，块的平均像素值不总是等于或者小于区块阴影阈值。为此，在 日本未审的专利申请公开No. 2005-109705中公布的技术存在下述问题，即可能出现包括 高光溢出或者区块阴影的块的检测的遗漏。此种检测遗漏对白平衡/曝光控制和校正具有 反作用。因此，存在对于防止检测遗漏的需要。本发明的第一示例性方面是图像处理设备。该图像处理设备包括代表像素值计算单元，该代表像素值计算单元将图像划分为多个块并且为多个块中的每一个计算代表像素值；和检测单元，该检测单元从多个块当中检测对象块，对象块是包括高光溢出和区块阴影 之一的块。检测单元执行第一检测处理，用于获得由代表像素值表示的颜色与灰色之间的差 和能够近似地表示差的值中的一个作为特征值，并且用于检测具有等于或者小于第一阈值 的特征值的块作为对象块。作为本发明的实施例的替代，根据本发明的第一示例性方面的设备的用于使计算 机执行设备的功能或者设备的功能的一部分的程序、方法以及系统也是有效的。根据本发明的技术，能够高速地检测被包括在图像中的高光溢出或者区块阴影， 并且能够防止检测的遗漏。
结合附图，根据某些示例性实施例的以下描述，以上和其它示例性方面、优点和特 征将更加明显，其中图1是根据本发明的示例性实施例的数码照相机的图；和图2是示出通过图1中所示的数码照相机执行的处理的流程的流程图。
具体实施例方式下面将会参考附图描述本发明的示例性实施例。为了阐明解释，根据需要删节并 且简化下面的描述和附图。可以通过CPU、存储器以及其它电路在硬件上实施作为用于执行 各种处理的功能块的附图中所示的元件，并且可以通过存储器加载的程序等等在软件上实 施上述元件。因此，对本领域的技术人员来说显然的是，这样的功能块可以以各种形式来实 施仅通过硬件、仅通过软件、或者两者的组合并且不限于此。现在参考示出根据本发明的示例性实施例的数码照相机100的图1。数码照相机 100包括图像拾取单元110、代表像素值计算单元120、检测单元130以及校正单元140。检 测单元130包括A检测单元132和B检测单元134。例如，图像拾取单元110包括图像传感器。图像拾取单元110拾取对象的图像以 获得原始数据D0，并且然后将获得的数据输出至代表像素值计算单元120和校正单元140 中的每一个。在本示例性实施例中，原始数据DO的像素值是RGB值。代表像素值计算单元120将由原始数据DO表示的图像划分为多个块，并且计算每 个块的代表像素值S。在本示例性实施例中，代表像素值计算单元120为每个块计算平均 RGB值(R0、G0以及B0)作为代表像素值S。检测单元130基于通过代表像素值计算单元120计算的平均RGB值检测包括高光 溢出像素的块和包括区块阴影像素的块。包括高光溢出像素或者区块阴影像素的块在下文 中被称为“对象块”。在检测单元130中，A检测单元132执行第二检测处理，并且B检测单元134执行 第一检测处理。稍后将会详细地描述第二检测处理和第一检测处理。A检测单元132执行第二检测处理，用于基于由每个块的代表像素值S表示的亮度 检测对象块。具体地，A检测单元132检测其中所有的平均RGB值R0、G0以及BO等于或者大于预定的阈值T2(例如，在8位数据的情况下为250)的块和其中平均RGB值R0、G0以及 BO等于或者小于预定的阈值T3(例如，在8位数据的情况下为10)的块作为对象块。在此，其中所有的平均RGB值R0、GO以及BO等于或者大于阈值T2的块是包括高 光溢出像素的块。其中所有的平均RGB值R0、G0以及BO等于或者小于阈值T3的块是包括 区块阴影像素的块。B检测单元134执行第一检测处理，用于获得能够表示由代表像素值S表示的颜色 与灰色之间的差的特征值，并且用于基于特征值检测对象块。在此描述第一检测处理的原理。作为对通过数字图像拾取设备捕获的图像的特性的深入研究和调查的结果，本发 明人已经发现以下事实。通过数字图像拾取设备拾取对象获得的原始数据是通过数字化从诸如 CCD的光 电转换传感器接收到的信号获得的数据。通常，由于传感器灵敏性特性和透镜特性(滤光 片的影响等等)，导致与对象的灰色部分相对应的原始数据的像素值(R，G，B)不等于表示 最终显示在诸如显示器的输出装置上的灰色的值(R = G = B)。同时，在高光溢出像素或者 区块阴影像素中，不管上述的物理特性，像素值(所有的R、G以及B值)收敛于能够以数字 形式表达的动态范围的上限或者下限(零)。因此，R、G以及B值变得相互接近。为此，由 像素的像素值表示的颜色接近于灰色。第一检测处理以这些发现为基础。具体地，获得能够表示由块的代表像素值表示 的颜色与灰色之间的差的特征值，并且当特征值等于或者小于预定的阈值时，块被检测为 对象块。在本示例性实施例中，B检测单元134计算IR0/G0-11和|B0/G0_11作为能够表示 由代表像素值(在这样的情况下，平均RGB值R0、GO以及B0)表示的颜色与灰色之间的差 的特征值。然后B检测单元134检测其中iRO/GO-ll等于或者小于与预定的阈值相对应的 阈值(阈值A)的块和其中iBO/GO-ll等于或者小于与预定的阈值相对应的阈值(阈值B) 的块作为对象块。在这样的情况下，一组IRO/GO-ll和IBO/GO-ll用作“特征值”。确定阈 值A和阈值B使得当IRO/GO-ll等于或者小于阈值A并且当IBO/GO-ll等于或者小于阈值 B时由“R0、G0、B0”表示的颜色与灰色之间的差等于或者小于预定的阈值。因此，为了便于 计算，阈值A和B优选相同，但是阈值不是必需相同。在本示例性实施例中，阈值Tl (例如， 0. 2)应用于阈值A和阈值B。检测单元130将通过A检测单元132和B检测单元134检测到的表示对象块的信 息输出至校正单元140。校正单元140基于来自于检测单元130的信息执行校正处理。在 本示例性实施例中，校正单元140执行白平衡校正和曝光校正。具体地，校正单元140通过使用除了由检测单元130检测到的对象块的数据之外 的原始数据DO的数据计算校正值。然后，使用计算的校正值对原始数据DO执行校正处理， 从而获得校正的数据Dl。图2是示出对通过数码照相机100中的图像拾取单元110获得的原始数据DO执 行的处理的流程的流程图。首先，代表像素值计算单元120将由原始数据DO表示的图像划分为多个块，并且 为每个块计算代表像素值S (在这样的情况下，平均RGB值R0、GO以及B0) (S102)。
然后，A检测单元132对每个块执行第二检测处理。具体地，当所有的平均RGB值 R0、G0以及BO等于或者大于阈值T2，或者等于或者小于阈值T3时，A检测单元132检测满 足条件的块，作为对象块(S110:是，S114)。B检测单元134对除了由A检测单元132检测为对象块的块之外的块执行第一 检测处理。具体地，B检测单元134为这些块计算iRO/GO-ll和| B0/G0-11，并且检测其中
R0/G0-1和|B0/G0-1|等于或者小于阈值Tl的块，作为对象块(Si 10 否，S120，S122 是， S114)。校正单元140通过使用原始数据DO的除了由检测单元130的A检测单元132和 B检测单元134检测到的对象块的数据之外的数据计算用于白平衡校正和曝光校正的校正 值，并且通过使用计算的校正值校正原始数据DO (S140，S142)。在通过使用每个块的代表像素值S将图像划分为多个块以检测对象块的情况下， 除了基于由代表像素值S表示的亮度的第二检测处理之外，本示例性实施例的数码照相机 100基于能够表示由代表像素值S表示的颜色与灰色之间的差的特征值执行第一检测处 理。对于每个块的检测使得能够提高处理速度并且减少电路尺寸，并且防止检测的遗漏。在本示例性实施例中，I R0/G0-11和I B0/G0-11用作能够近似表示由代表像素值S 表示的颜色与灰色之间的差的特征值。当由代表像素值S表示的颜色是黑色或者洋红色， 例如，GO是“0”时。在这样的情况下，如果Β检测单元134还对此块执行处理，那么|R0/ GO-I和B0/G0-1的运算崩溃(collapse).同时，在本示例性实施例中，B检测单元134 对除了通过A检测单元132检测为对象块的块之外的块执行第二检测处理，并且因此从这 些块中排除其中GO = “0”的块。这使得能够防止运算的崩溃。在数码照相机100中平均RGB值被用作代表像素值S。或者，当原始数据DO的像 素值是YCC值时，平均YCC值Y0、Cb0以及CrO可以用作代表像素值S。在这样的情况下，B 检测单元134可以使用CbO和CrO作为特征值以检测其中CbO和CrO等于或者小于预定的 阈值的块，作为对象块。在除了 RGB和YCC颜色坐标系之外的颜色坐标系(XYZ，La*b*等等)的情况下，可 以根据颜色坐标系确定代表像素值和特征值以检测对象块。A检测单元132可以检测其中YO等于或者大于预定的阈值(高光溢出阈值)的块 和其中YO等于或者小于另一预定的阈值(区块阴影阈值)的块作为对象块。本示例性实施例的数码照相机100被构造为B检测单元134检测在由A检测单元132执行的第二重新检测处理中没有被检测为对象块的块。例如，B检测单元134可以首先 执行第一检测处理并且然后A检测单元132可以检测没有被B检测单元134检测为对象块 的块。在这样的情况下，为了防止运算的崩溃，除了 IRO/GO-ll和iBO/GO-ll之外的值可以 用作特征值。B检测单元134和A检测单元132可以同时执行检测并且可以将它们自己的检测 结果输出至它们自己的校正单元140。在这样的情况下，校正单元140可以计算用于除了 被B检测单元134和A检测单元132检测为对象块的块和被B检测单元134和A检测单元 132中的任何一个检测为对象块的块之外的块的校正值。在本示例性实施例的数码照相机100中，B检测单元134使用| R0/G0-11和| BO/ GO-Il作为表示由代表像素值S表示的颜色与灰色之间的差的特征值。或者，例如，平均RGB值RO、GO以及BO当中的最大值与最小值之间的差，可以用作特征值。此外，本示例性实施例的数码照相机100通过由A检测单元132执行的第二检测处理和由B检测单元134执行的第一检测处理检测对象块。或者，可以通过使用在第一检 测处理期间没有引起使运算崩溃的任何问题的任何特征值，诸如平均RGB值R0、G0以及BO 当中的最大值与最小值之间的差，以及通过仅执行第一检测处理，实现对象块的检测。根据本发明的技术不限于诸如数码照相机的图像拾取设备，并且还可应用于用于 处理通过诸如包括打印机和图像显示装置的图像再现设备的数字图像拾取设备获得的原 始数据的任何图像处理设备。此外，在本示例性实施例中，检测图像的高光溢出部分和区块阴影部分以在获得 用于白平衡校正等等的校正值的情况下移除高光溢出部分或者区块阴影部分。或者，在数 字图像拾取设备中，例如，根据本发明的技术能够应用于在执行曝光控制等等中检测高光 溢出部分和区块阴影部分。在检查超过动态范围的高光溢出和区块阴影的量的同时执行检 测，以防止出现高光溢出和区块阴影。虽然已经按照若干示例性实施例描述了本发明，但是本领域的技术人员将理解本 发明可以在权利要求的精神和范围内进行各种修改的实践，并且本发明并不限于上述的示 例。此外，权利要求的范围不受到上述的示例性实施例的限制。此外，应当注意的是，申请人意在涵盖所有权利要求要素的等同形式，即使在后期 的审查过程中对权利要求进行过修改亦是如此。
权利要求
一种图像处理设备，包括代表像素值计算单元，所述代表像素值计算单元将图像划分为多个块并且为所述多个块中的每一个计算代表像素值；和检测单元，所述检测单元从所述多个块当中检测对象块，所述对象块是包括高光溢出和区块阴影之一的块，其中所述检测单元执行第一检测处理，所述第一检测处理用于获得由所述代表像素值表示的颜色与灰色之间的差和能够近似地表示所述差的值中的一个作为特征值，以及用于检测具有等于或者小于第一阈值的特征值的块作为对象块。
2.根据权利要求1所述的图像处理设备，其中所述代表像素值是所述块中的像素的像 素值的平均值。
3.根据权利要求1所述的图像处理设备，其中所述代表像素值是RGB值RO、GO以及B0，并且所述检测单元在所述第一检测处理中计算iRO/GO-ll和iBO/GO-ll作为所述特征值， 并且检测其中I R0/G0-11等于或者小于与所述第一阈值相对应的值和其中IBO/GO-ll等于 或者小于与所述第一阈值相对应的值的块作为所述对象块。
4.根据权利要求1所述的图像处理设备，其中所述代表像素值是RGB值RO、GO以及B0，并且所述检测单元在所述第一检测处理中计算RGB值当中的最大值与最小值之间的差作 为所述特征值，并且检测其中所述差等于或者小于所述第一阈值的块作为所述对象块。
5.根据权利要求1所述的图像处理设备，其中所述代表像素值是YCC值Y0、CbO以及CrO，并且所述检测单元在所述第一检测处理中获得CbO和CrO作为所述特征值，并且检测其中 CbO等于或者小于与所述第一阈值相对应的值和其中CrO等于或者小于与所述第一阈值相 对应的值的块作为所述对象块。
6.根据权利要求1所述的图像处理设备，其中所述检测单元执行第二检测处理，所述 第二检测处理用于检测其中由所述代表像素值表示的亮度等于或者大于第二阈值的块和 其中所述亮度等于或者小于第三阈值的块作为所述对象块，其中所述第三阈值小于所述第 二阈值。
7.根据权利要求6所述的图像处理设备，其中所述检测单元首先对所述多个块执行所 述第二检测处理，然后对除了由所述第二检测处理检测到的所述对象块之外的块执行所述 第一检测处理。
8.根据权利要求6所述的图像处理设备，其中在所述代表像素值是RGB值R0、G0以及BO的情况下，所述检测单元在所述第二检测处 理中检测其中所有的值R0、GO以及BO等于或者大于与所述第二阈值相对应的阈值的块和 其中所有的值R0、GO以及BO等于或者小于与所述第三阈值相对应的阈值的块作为所述对 象块，并且在所述代表像素值是YCC值YO、CbO以及CrO的情况下，所述检测单元在所述第二检测 处理中检测其中YO等于或者大于所述第二阈值的块和其中YO等于或者小于所述第三阈值 的块作为所述对象块。
9.根据权利要求1所述的图像处理设备，进一步包括校正单元，所述校正单元对所述 图像执行白平衡校正和曝光校正中的至少一个，其中所述校正单元获得用于除了通过所述检测单元检测到的所述对象块之外的块的 校正值。
10.根据权利要求1所述的图像处理设备，是数字图像拾取设备。
11.根据权利要求1所述的图像处理设备，是图像再现设备。
12.—种图像处理方法，包括将图像划分为多个块；为所述多个块中的每一个计算代表像素值；以及在从所述多个块当中检测包括高光溢出和区块阴影之一的对象块的情况下，执行第一 检测处理，所述第一检测处理用于获得由所述代表像素值表示的颜色与灰色之间的差和能 够近似地表示所述差的值中的一个作为特征值，并且用于检测其中所述特征值等于或者小 于第一阈值的块作为所述对象块。
13.根据权利要求12所述的图像处理方法，其中所述代表像素值是所述块中的像素的 像素值的平均值。
14.根据权利要求12所述的图像处理方法，其中所述代表像素值是RGB值R0、GO以及B0，并且所述第一检测处理包括计算iRO/GO-ll和iBO/GO-ll作为所述特征值，并且检测其中 R0/G0-1等于或者小于与所述第一阈值相对应的值和其中IBO/GO-ll等于或者小于与所 述第一阈值相对应的值的块作为所述对象块。
15.根据权利要求12所述的图像处理方法，其中所述代表像素值是RGB值R0、GO以及B0，并且所述第一检测处理包括计算RGB值当中的最大值与最小值之间的差作为所述特征值， 并且检测其中所述差等于或者小于与所述第一阈值的块作为所述对象块。
16.根据权利要求12所述的图像处理方法，其中所述代表像素值是YCC值Y0、CbO以及CrO，并且所述第一检测处理包括获得CbO和CrO作为所述特征值，并且检测其中CbO等于或者 小于与所述第一阈值相对应的值和其中CrO等于或者小于与所述第一阈值相对应的值的 块作为所述对象块。
17.根据权利要求12所述的图像处理方法，进一步包括执行第二第二检测处理，所述 第二检测处理用于检测其中由所述代表像素值表示的亮度等于或者大于第二阈值的块和 其中所述亮度等于或者小于第三阈值的块作为所述对象块，其中所述第三阈值小于所述第二阈值。
18.根据权利要求17所述的图像处理方法，其中首先对所述多个块执行所述第二检测处理，并且对除了通过所述第二检测处理检测到的所述对象块之外的块执行所述第一检测处理。
19.根据权利要求17所述的图像处理方法，其中在所述代表像素值是RGB值R0、G0以及BO的情况下，所述第二检测处理包括检测其中 所有的值R0、GO以及BO等于或者大于与所述第二阈值相对应的阈值的块和其中所有的值RO, GO以及BO等于或者小于与所述第三阈值相对应的阈值的块作为所述对象块，并且 在所述代表像素值是YCC值Y0、CbO以及CrO的情况下，所述第二检测处理包括检测其中YO等于或者大于所述第二阈值的块和其中YO等于或者小于所述第三阈值的块作为所述对象块。
全文摘要
本发明涉及图像处理设备和图像处理方法。代表像素值计算单元(120)将由原始数据(D0)表示的图像划分为多个块并且为每个块计算代表像素值(S)。检测单元(130)从多个块当中检测是包括高光溢出或者区块阴影的块的对象块。检测单元(130)的B检测单元(134)执行第一检测处理，用于获得由代表像素值表示的颜色与灰色之间的差和能够近似地表示差的值中的一个作为特征值，和用于检测其中特征值等于或者小于第一阈值的块作为对象块。因此，能够高速地检测被包括在图像中的高光溢出或者区块阴影，并且能够防止检测的遗漏。
文档编号G03B7/28GK101815221SQ20101011667
公开日2010年8月25日 申请日期2010年2月9日 优先权日2009年2月25日
发明者新仓谦太郎 申请人:恩益禧电子股份有限公司