色调校正方法、色调校正装置、色调校正程序以及图像设备的制作方法

专利名称：色调校正方法、色调校正装置、色调校正程序以及图像设备的制作方法
技术领域：
本发明涉及用于校正图像色调的色调校正方法、色调校正装置和 色调校正程序，以及图像设备。
背景技术：
用于校正图像色调的色调校正装置的一个示例是专利文献l描述 的亮度(值)校正装置。专利文献l描述的亮度校正装置将图像划分成 若干个区域，并根据各划分区域的平均亮度算出参数，以进行伽马校 正。一种用于校正人物图像色调方法是根据颜色信息提取人体皮肤 区域，并根据事先确定的参数将人体皮肤区域的颜色校正成所需肤色 (如专利文献2)。专利文献3描述了一种利用面部检测单元对图像进行 处理的图像处理方法。根据专利文献3中描述的图像处理方法，面部检 测单元获取面部区域图像数据SH，并根据SH的特征值确定诸如背光 等图像状态。执行图像处理的过程为先用加权系数对所需肤色的皮肤图像和原始图像进行加权，再将它们相加，其中，加权系数是利用确定出的图像状态获得的。此外，专利文献4描述了一种图像处理方 法，该方法对灰度(density)进行校正，使面部区域的灰度值处于目 标范围以内。此外，专利文献5描述了一种根据附属于待校正图像的图像信息确 定校正参数，以便执行图像处理的图像处理方法。专利文献5描述，根 据输入图像的縮减图像(预览)数据确定伽马校正值，从而在短时间 内执行适当的图像校正过程。专利文献l: JP-A10-150566 (0013-0014段)专利文献2: JP-A11-267937 (0006-0008段) 专利文献3: JP-A11-328359 (0016-0023段)专利文献4: JP-A2000-1968卯(0005段) 专利文献5: JP-A2000-137805 (0017-0018段)发明内容本发明要解决的问题举例而言，如果图像是逆光拍摄的人物图像，那么利用专利文献l 和2中描述的校正方法，并不总是能够将人物图像校正为具有令人满意的可见度的人物图像。由于专利文献1的亮度校正装置不判断图像是否 含有人物，因此，即使可对整幅图像进行校正，使其具有令人满意的 可见度，该图像也并不总是具有针对人物图像的令人满意的可见度。 也就是说，并不总是能够将人物的肤色校正为优选肤色。在专利文献2的色调校正方法中，尝试基于颜色信息检测人体皮 肤，然而，在严重背光的情况下，肤色可能不符合正态分布。此外，即使装备了面部检测单元，也必需执行需要大存储容量的 操作，因而，处理时间变长。在专利文献3的图像处理方法中，由于需 要通过加权，将有色皮肤转换为期望肤色的面部图像同面部区域以外 的背景图像进行合成，因而用于存储图像数据的帧存储器是必不可少 的。在专利文献4的图像处理方法中，由于必需执行转换为灰度值的操 作，因而，各像素所用的操作单元以及用于存储灰度图像的存储器是 必不可少的。在专利文献5描述的图像处理方法中，并不总是能够确定出最优校 正参数。在专利文献5的图像处理方法中，推导出计算公式gamma-in (0.5)/In(Lv)，将其作为基于所有像素的亮度平均值Lv来求解伽马校正 值的计算公式。根据该计算公式，产生输出图像，使亮度平均值变为 常数。因此，例如，如果输入了过亮或过暗的图像，图像会被过度增 强，从而导致图像质量下降。此外，由于必需用到对数转换，因而增 加了计算的处理负荷。因此，本发明的目的是提供一种色调校正方法、色调校正装置以 及色调校正程序，能够自动校正色调，以将甚至逆光拍摄的人物图像 转换为具有令人满意的可见度的人物图像。此外，本发明的另一目的是减少色调校正操作所需的存储容量以及操作次数。具有令人满意的 可见度的人物图像是指，具有在整幅图像色调平衡中给出面部部分优 选肤色的亮度的图像。解决问题的手段本发明的用于校正图像色调的色调校正方法，其特征在于，包括 步骤计算对提取自图像的图像特定区域中包括的像素的亮度分量进行 表示的代表亮度值；根据代表亮度值以及预定亮度分量的预定边界值，计算用于校正 图像色调的校正参数；以及利用校正参数对图像的像素值进行转换。只要能够表示和待校 正图像内容相同的内容，提取特定区域时所见的图像以及计算代表亮 度值时所见的图像可以是比如縮减图像。依照本发明的、用于校正图像色调的色调校正装置，其特征在于， 包括-特定区域校正参数计算单元，用于根据对提取自图像的图像特定 区域中包括的像素的亮度分量进行表示的值、以及所述亮度分量的指 定边界值，计算用于校正图像色调的校正参数；以及像素转换单元，用于利用校正参数对图像的像素值进行转换。 依照本发明的、用于校正图像色调的色调校正程序，其特征在于，使计算机能够执行如下过程-从图像中提取特定区域；根据对特定图像中包括的像素的亮度分量进行表示的值以及预定 亮度分量的边界值，计算校正参数，作为用于校正图像色调的参数； 以及利用校正参数对所述图像的像素值进行转换。 本发明的效果依照本发明，由于校正参数是根据代表输入图像中特定区域所含像素的亮度分量的值以及预定亮度分量的边界值计算得到的，因而可 以实现比如将含有逆光拍摄的黑暗的面部的图像(背光图像)的面部 部分调亮的色调校正。此外，不仅可以对背光图像，还可以对以顺光 拍摄的特定区域上的图像实现抑制波动的色调校正。在本发明中，校 正参数是用于校正亮度色调的转换运算所用的参数。


图1是示出了依照第一实施例的色调校正装置的构成示例的框图；图2是示出了面部区域校正参数计算单元3的构成示例的框图； 图3是示出了面部中心区的设置示例的说明图； 图4是示出了通过Y校正得到的色调曲线的一个示例的说明图； 图5是示出了从代表亮度值到Y值的转换特性的一个示例的说明图；图6是示出了代表亮度值和最优Y值间的关系的图，该关系是通 过主观评价实验得到的；图7是示出了利用色调曲线的控制点移动距离得到的色调曲线的 一个示例的说明图；图8是示出了将代表亮度值转换为控制点移动距离的转换表的一 个示例的说明图；图9是示出了依照第一实施例的色调校正装置的操作示例的流程图；图10是示出了依照第二实施例的色调校正装置的构成示例的框图；图11是示出了依照第二实施例的色调校正装置的操作示例的流 程图；图12是是示出了依照第三实施例的色调校正装置的构成示例的 框图；图13是示出了包含多个面部的输入图像的一个示例的说明图； 图14是其中以图表示校正参数映射函数的说明图；图15是示出了个人计算机的构成示例的框图；图16是示出了依照另一实施例的色调校正装置的构成示例的框图；以及图17是示出了作为本发明图像设备示例的、装有照相机的蜂窝电 话的构造的框图。附图标记说明1:面部检测单元2:参数计算控制单元3:面部区域校正参数计算单元11:面部中心区设置单元12:代表亮度计算单元13:校正参数计算单元4:标准校正参数计算单元5:图像转换单元21:多面部重复确定单元22:校正参数合并单元31:面部强调校正参数计算单元32:面部强调图像转换单元具体实施方式
第一实施例下面将参考附图对本发明的实施例予以说明。图1是示出了依据 本发明第一实施例的色调校正装置的构成示例的框图。图1所示的色调校正装置包含面部检测单元1、参数计算控制单元2、面部区域校正参数计算单元3、标准校正参数计算单元4以及图像转换单元5，其 中图像转换单元5是像素转换单元。色调校正装置可由信息处理装置， 如按照程序运行的个人计算机予以实现。色调校正装置的功能不仅可 用软件实现，还可以用配置色调校正装置各个组件的专用IC (硬件) 或集成色调校正装置各个组件的专用IC (硬件)予以实现。在第一实施例中，将用于校正图像色调的色调校正程序存储在存储设备，如用 于实现色调校正装置的信息处理装置的硬盘中。图15是示出了个人计算机的构成示例的框图。用于校正图像色调 的色调校正程序存储在磁盘装置204 (如硬盘)中，且CPU205根据 图9流程图所示的过程执行色调校正程序。RAM 206存储经输入/输 出单元203输入的图像数据以及执行所含程序所必需的数据。在显示 单元202，如液晶显示设备(LCD)上显示输入图像以及经色调校正 后的图像输出。操作单元201利用比如键盘等控制程序运行的启动或 者停止。可以将经色调校正后的图像输出保存在磁盘设备上，或逋过 输入/输出单元203将其输出至打印机，或从输入/输出单元203经由 网络传输。本发明可作为记录着色调校正程序的计算机可读记录介质。 这样的记录介质并不局限于安装在计算机内的硬盘等记录介质，还包 括可拆卸的记录介质，如CDROM、 DVD以及闪存。面部检测单元1分析输入图像，并检测面部是/否存在以及面部的 位置。面部检测单元l参考输入图像的图像数据(通过对图像数字化 得到的信息)，利用模式识别判断图像上是/否存在面部，并在检测到 面部时检测面部的位置。面部检测单元1输出输入图像上面部特征点 的坐标(例如，眼睛位置的坐标)作为表示面部位置的信息。为了检测面部，面部检测单元1可以利用阴影模式(shading pattern)进行模板匹配。模板匹配方法在比如文献Shin Kosugi的 "Searching and Locating of Face in Scene Using Multiple Pyramid for Identifying Individuals"，电子学会，信息与通信工程师期刊，1994 年3月，第J77-D-II巻，第4期，第672-681页"中有所说明。此夕卜， 为了检测位置，可以釆用特征向量探查照片距离(eigenvector spy-photo distance)进行定位。定位单元在比如文献M. Turk、A. Pentland的"Face Recognition on Using Eigenfaces，， ， Proceedings of IEEE, 、 CVPR91，1991 年6月,第586-591页中有所说明。面部检测单元1可以在检测面部时计算面部检测可靠度，该可靠 度表示检测到的面部模式的可靠度。可以用检测面部时获得的模式识 别特征量与输入图像特征量之差作为面部检测可靠度。此外，可以使用该差的倒数，从而使得可靠度越高，差越大。面部检测单元1所分 析的图像不必和输入图像大小相同，因而可以使用经縮减以便能够检 测到面部的参考输入图像。为了产生参考输入图像，面部检测单元1 可以对输入图像执行縮减过程。参数计算控制单元2根据面部检测单元1的检测结果确定校正参 数计算方法，以便进行控制来执行该方法。参数计算控制单元2根据 来自面部检测单元1的有关是/否存在面部的信息，控制如何计算校正 参数(即，哪个单元(组件)计算校正参数)。在第一实施例中，如 果尚未检测到面部，参数计算控制单元2就控制标准校正参数计算单 元4计算校正参数，如果检测到面部，参数计算控制单元2就控制面 部区域校正参数计算单元3计算校正参数。面部区域校正参数计算单元3根据输入图像的面部区域的亮度分 量计算校正参数。面部区域校正参数计算单元3可以使用参考输入图 像代替输入图像，来计算校正参数。如图2所示，面部区域校正参数 计算单元3包含面部中心区设置单元11、代表亮度计算单元12以及 校正参数计算单元13。图2是示出了面部区域校正参数计算单元3的 构成示例的框图。面部检测单元1和面部中心区设置单元11构成面部 区域提取单元。面部中心区设置单元11根据面部检测单元1输出的面部特征点的 坐标，在图像上设置面部中心区。在第一实施例中，面部中心区是人 们在观察面部时留意的区域，即双眼和嘴所包围的区域。图3是示出 了面部中心区的设置示例的说明图。如图3所示，可以将面部中心区 101定义为基于双眼间距w的矩形区域。如图3所示，例如，当将连 接双眼的宽度看作双眼间距w时，面部中心区设置单元11将由基于 双眼位置向上延伸0.4w和向下延伸0.8w的点围成的矩形区域设置为 面部中心区。除矩形外，面部中心区还可以是椭圆形等其他形状。代表亮度计算单元12计算面部中心区所含像素的亮度分量的代 表值。如果输入图像为彩色图像，可将XYZ坐标系统的Y值用作亮 度分量。如果输入图像为灰度图像，则可以直接使用像素值。此外， 还可以将平均值、中值、最大值以及最小值用作亮度分量的代表值，然而通过实验发现，使用平均值可以达到最高精度。以下，将代表亮度计算单元12算得的亮度分量的代表值称为代表亮度值。校正参数计算单元13根据代表亮度计算单元12算得的代表亮度 值，计算校正参数。当面部检测单元l计算面部检测可靠度时，校正 参数计算单元13可以根据代表亮度和面部检测可靠度计算校正参数。 在第一实施例中，举例说明将Y校正中的Y(伽马)值以及色调曲线 的控制点移动距离用作校正参数的情形。Y校正通常校正由元件特性 或类似因素导致的误差或类似问题，从而使表示电压转换值的变化与 图像亮度变化之比的Y值移动靠近1。在第一实施例中，将由以下公 式(l)表示的校正称为Y校正。公式(1)中，R、 G、 B表示红、绿和蓝 (三原色)光的强度，R，、 G，和B，表示经y校正的R、 G、 B。此夕卜， 在公式(l)中，a是常数。在由公式(l)表示的y校正中，进行校正，以 使当Y〈1时强度变大，当丫>1时强度变小。 R， = a(R)y G， = a(G)yB， = a(B)Y 公式(l) 此外，如果"R"、 "G"禾卩"B"处于0到255的范围以内，就采用 由以下公式(2)所表示的y校正。 R，-255' (R/255)y G，-255' (G/255)y B，=255' (B/255)y 公式(2)图4是示出了通过Y校正得到的色调曲线的一个示例的说明图。 色调曲线是在将输入rgb值(校正前的像素值)沿着横轴绘制，并将输出rgb值(校正后的像素值)沿着纵轴绘制时的转换特性曲线。在 Y校正中，图4所示的转换特性曲线适用于R、 G和B。因为图4所 示的色调曲线相比于45。的直线向上升起，这表明通过Y校正使输入 图像变亮。当计算y值作为校正参数时，基于将代表亮度值Yf转换为y值时 的特性(以下称转换特性)，根据代表亮度值计算Y值。图5是示出了 从代表亮度值Yf到y值的转换特性的一个示例的说朋图。图5示出了线性转换特性41以及非线性转换特性42，作为本发明中使用的转 换特性的示例。校正参数计算单元13利用基于线性转换特性41的线性一次 (primary)表达式(线性变换)计算y值。此外，还可以利用基于非 线性转换特性42的非线性函数或査找表计算y值。查找表(以下称査 找表1)是针对代表亮度的可能值而记录基于非线性转换特性21确定 的y值的表。以下公式(3)是基于线性转换特性41计算Y值的校正参数计算单 元13所用的转换等式的一个示例。公式(3)中，"ct"和"P"为常数。 y = aYf+p 公式(3)此外，当面部检测单元1计算面部检测可靠度L时，校正参数计 算单元13可以利用以下的公式(4)计算加权y值(y')。在公式(4)中，如 果面部检测可靠度较高，就用较大的值对根据代表亮度值算得的y值 进行加权，如果可靠度较低，就增大缺省参数y0的权重。在公式(4) 中，面部检测可靠度L是(KI^1的实数，并且值越大，可靠度越高。 公式(5)是通过将公式(4)重写为不限制y值计算方法的表达式而得到 的。y' = L x (aYf+p ) + (1醒L) x Y0 公式(4) Y' = Lxy + (1-L)xy0 公式(5)在本发明中，提供了转换特性的特定标准。即，如图5所示，基 于预定等级(以下称边界亮度等级)，根据转换特性来计算校正参数， 其中转换特性曲线具有这样的特性代表亮度值Yf越低，图像变得 越亮(y值减小)，代表亮度值Yf越高，图像变得越暗(y值增大)。 边界亮度等级事先设定为用于根据使用区域提供优选肤色的亮度值。如有需要，事先将计算公式中用到的常数和查找表1的内容存 储在色调校正装置的存储设备中。允许事先使用多个转换特性，并且 用户可以指定转换特性。当用户调整边界亮度值时，根据边界亮度值 更新所存储的常数以及査找表1的内容。图6是示出了代表亮度值Yf和最优Y值间的关系的图，该关系是 通过主观评价实验得到的。在评价者手动调整人物图像的y校正的情况下，最优y值是将人物图像校正为评价者认为优选时的y值。如图 6所示，面部中心区的代表亮度值Yf与最优y值正相关。据观察，当 代表亮度Yf较大时，将图像校正得较暗，当代表亮度Yf较小时，将 图像校正得较亮。因此，图6的实验结果证实，可以通过根据具有本 发明所确定的标准的转换特性来计算校正参数，实现最优y校正。可以获得色调曲线的控制点移动距离作为校正参数。色调曲线的 控制点移动距离是在如图7所示绘制色调曲线的图中作为以45°直线 为基础沿纵轴方向的控制点而确定的亮度值的移动距离，即显示了预 定输入亮度值的校正量的信息。图7是示出了利用色调曲线的控制点 移动距离(dl、 d2和d3)得到的色调曲线的一个示例的说明图。可以 利用图8所示的记录了与可能的代表亮度值对应的控制点移动距离的 转换表，得到色调曲线的控制点移动距离。图8是示出了用于将代表 亮度值转换为控制点移动距离的转换表的一个示例的说明图。同样，在控制点移动距离中，使用的转换表具有这样的特性代 表亮度值Yf越小，控制点越向亮的方向移动(值朝正加方向显著变 化)，代表亮度值Yf越高，控制点越向暗的方向移动(值朝负减方 向显著变化)。控制点移动距离表明的并不是各个控制点的移动距离， 而是全部亮度值的校正量。在图7中，将3个点确定为控制点，然而 控制点的数量并不局限于3。也就是说，举例而言，可以确定一个中 点或三个或三个以上的点，只要能从控制点的移动距离推导出基于特 性的色调曲线的近似公式即可。转换表的内容事先存储在色调校正装 置的存储设备中。可以将利用根据上述Y值绘制的Y校正而得到的色 调曲线的值记录在转换表中。虽然将色调曲线的控制点移动距离描述 为沿纵轴方向的移动距离，然而还可以将控制点移动距离定义为沿横 轴方向的移动距离。如果将控制点移动距离定义为沿横轴方向的移动 距离，那么当控制点向左移动时图像变亮，当控制点向右移动时图像 变暗。标准校正参数计算单元4利用输入图像的图像数据计算标准校正 参数。标准校正参数计算单元4根据整个输入图像或预定评估区内的 图像数据计算校正参数。标准校正参数计算单元4可以用参考输入图像而不是输入图像来计算校正参数。标准校正参数计算单元4可以根 据对图像进行分割得到的各个小区域中亮度值的平均值计算校正参 数，而不考虑图像内容。此外，不仅可以根据平均值，还可以根据最 小值、最大值或最小值与最大值的差值进行计算。图像转换单元5根据校正参数对输入图像中的像素值进行转换， 以对整个输入图像的色调加以校正。图像转换单元5用校正参数对像 素值进行运算，以对像素值进行转换。例如，当计算伽马值作为校正 参数时，图像转换单元5根据伽马校正公式(2)为待进行伽马校正的分 量(例如R、 G和B)的可能值(例如，0到255)计算经伽马校正的 值，并将值存储在预定存储区中，以建立査找表。此处的査找表(以 下称查找表2)是其中记录着要用校正参数计算出的、色调有待校正 的分量的可能值经过校正后的数值。如公式(2)所示，由于使用同一计 算公式对要进行Y校正的分量R、 G和B进行校正，因而，査找表2 可以是公用的。如此以来，由于像素转换所使用的查找表记录了利用 校正参数对像素值分量中待校正分量的可能值加以运算得到的计算 值，因而不必对每个像素执行获取校正量的运算。此外，由于具有输 出尺寸的图像并不是合成的，因而不需要大容量存储器，并且可以执 行高速校正处理。当计算色调曲线的控制点移动距离作为校正参数时，图像转换单 元5根据全部控制点的移动距离得到色调曲线的近似公式，并根据求 得的近似公式为色调有待校正的分量的可能值(例如，0到255)计算 校正值，以建立查找表2。可以根据诸如线性插值或样条插值等插值 方法，从经校正的亮度值获得色调曲线的近似公式，其中所述校正由 控制点的移动距离表示。也就是说，图像转换单元5建立了查找表2，査找表2针对色调 有待校正的分量的可能值，记录利用校正参数计算得到校正值。图像 转换单元5利用建立的查找表2，用输入图像像素值的分量中色调有 待校正的分量的值作为输入，进行表转换，以对整个输入图像的色调 进行校正。在第一实施例中，利用依程序运行的CPU实现面部检测单元1、参数计算控制单元2、面部区域校正参数计算单元3、面部中心区设置 单元11、代表亮度计算单元12、校正参数计算单元13、标准校正参 数计算单元4以及图像转换单元5。下面参考图9说明第一实施例的操作，图9是示出了依照第一实 施例的色调校正装置的操作示例的流程图。当输入待校正的输入图像 时，面部检测单元1执行面部检测过程(步骤A1)。面部检测单元l 参考通过縮减输入图像而得到的参考输入图像，以采用模式识别检测 面部。当检测到面部时，面部检测单元l检测面部的位置。面部检测 单元1输出面部检测结果以及表示面部位置的信息(例如，双眼的位 置坐标)。面部检测单元1可以在检测面部时计算面部检测可靠度。 参数计算控制单元2判断是否检测到面部(步骤A2)。如果检测到面 部(步骤A2，是)，参数计算控制单元2就指示面部区域校正参数计 算单元3计算校正参数。面部区域校正参数计算单元3接收到来自参数计算控制单元2的 指令，并根据参考输入图像中面部区域的亮度值计算校正参数。面部 中心区设置单元11根据面部检测单元1检测到的表示面部位置的信 息，确定参考输入图像上的面部中心区。代表亮度计算单元12根据面 部中心区设置单元11所确定的面部中心区内的像素值，计算代表像素 值(步骤A3)。代表亮度计算单元12获得比如面部中心区内包括的 像素值的平均亮度值，以此作为代表亮度值。校正参数计算单元13根据代表亮度计算单元12算出的代表亮度 值，计算校正参数(步骤A4)。校正参数计算单元13可以利用线性 一次公式或非线性函数或査找表1，根据代表亮度值计算Y校正中的 Y值，其中线性一次公式、非线性函数、査找表1具有这样的转换特 性基于边界亮度等级，校正方向以及校正量根据代表亮度值而变化。 此外，校正参数计算单元13可以利用转换表，根据代表亮度值计算色 调曲线的控制点运动距离，其中转换表具有这样的特性基于边界亮 度等级，，校正方向以及校正量根据代表亮度值而变化。当面部检测 单元1计算面部检测可靠度时，校正参数计算单元13可以在计算的校 正参数和缺省参数之间，利用面部检测可靠度进行加权。如果未检测到面部(步骤a2，否)，参数计算控制单元2就指示 标准校正参数计算单元4计算校正参数。标准校正参数计算单元4利 用参考输入图像的图像数据计算标准校正参数。标准校正参数计算单 元4可以根据比如参考输入图像内的预定区域内包括的像素值计算校 正参数(步骤a6)。图像转换单元5利用算得的校正参数对输入图像的像素值进行转 换。如果计算y值作为校正参数，图像转换单元5就根据Y校正公式， 为待y校正的像素值的分量的可能值计算经y校正的值，以建立査找 表2。此外，如果计算色调曲线的控制点移动距离作为校正参数，图 像转换单元5就根据全部控制点的移动距离求得色调曲线的近似公 式，并根据求得的近似公式，为色调有待校正的分量的可能值计算经 过校正的值，以建立查找表2。对于输入图像的像素，图像转换单元5 利用建立的查找表对色调有待校正的像素值的分量的值进行转换。图 像转换单元5对输入图像的全部像素的像素值进行转换，以校正输入 图像的色调。在第一实施例中，由于检测到图像中的面部，并利用根据面部中 心区的亮度信息(代表亮度值)算得的校正参数校正整个图像的色调， 因而可以实现这样的色调校正使背光图像中暗的面部变亮。此外， 由于校正参数是根据校正方向以及校正量基于边界亮度等级并根据代 表亮度值而变化这一特性计算的，因而可以对背光图像实现色调校正， 还可以对含有以顺光拍摄的面部的图像实现抑制波动的色调校正。也 就是说，由于色调校正是根据被预置为能够提供优选肤色的亮度值的 边界亮度等级而基于代表亮度值实现的，因而可以提供可见度良好的 人物图像。由于可以仅使用参考输入图像计算校正参数，而不必执行根据输 出尺寸的合成，因而不必使用大容量存储器。由于在计算校正参数时 没有用到诸如对数转换等复杂运算，而是通过在图像转换时建立査找 表2进行表转换，因而可以高速执行这一处理过程。第二实施例下面将参考附图，对本发明的第二实施例予以说明。图IO是示出 了依照第二实施例的色调校正装置的构成示例的框图。图IO所示的色调校正装置包含面部检测单元1、参数计算控制单元2、面部区域校正参数计算单元3、多面部重复确定单元21、标准校正参数计算单元 4、校正参数合并单元22以及图像转换单元5。图IO所示的色调校正 装置与图1所示的第一实施例的不同之处在于添加了多面部重复确 定单元21以及校正参数合并单元22。如果检测到多个(N个)面部，多面部重复确定单元21就进行控 制，计算N个面部区域所对应的校正参数。多面部重复确定单元21 重复指示面部区域校正参数计算单元3，直至计算出N个面部区域所 对应的校正参数。如果检测到多个(N个)面部，校正参数合并单元 22对对应于各面部区域计算的校正参数进行合并。为了合并校正参 数，校正参数合并单元22可以取校正参数的平均值。此外，如公式(6) 所示，如果面部检测单元1计算了面部检测可靠度，还可以利用加权 的均值执行合并。在公式(6)中，"N"是检测到的面部数量，"L(N)"是 面部检测可靠度，"Y(N)"是对应于各面部区域计算的校正参数(以下 称Y值)。[数学公式l]<formula>formula see original document page 18</formula>
公式(6)作为合并示例，可以用面部尺寸对多个面部的校正参数进行加权 均值平均。例如，可以使用双眼之间的距离作为面部尺寸，根据下面<formula>formula see original document page 18</formula>校正参数合并单元22将该合并的校正参数作为合并校正参数予 以输出。此外，如果检测到的面部数量为0，且输入了标准校正参数 计算单元4计算的校正参数，校正参数合并单元22可以直接将该校正 参数作为合并校正参数予以输出。图像转换单元5利用校正参数合并 单元22输出的合并校正参数对像素值进行转换。在第二实施例中，利用依程序运行的CPU实现多面部重复确定单 元21和校正参数合并单元22。下面参考图11说明第二实施例的操作。图11是示出了依照第二 实施例的色调校正装置的操作示例的流程图。由于步骤A、 A2和A5 以及步骤A5和A6与图9所示的第一实施例中的步骤类似，故而将其 说明省略。当面部检测单元1执行面部检测过程(步骤Al)时，检测 到N个面部。面部区域校正参数计算单元3接收到来自参数计算控制 单元2的指令，根据参考输入图像上的面部区域的亮度值计算校正参、W'数。多面部重复确定单元21进行控制，对检测到的N个面部区域执 行步骤A3和A4的操作。当面部区域校正参数计算单元3完成了对应 于一个面部区域的校正参数的计算，多面部重复确定单元21就判断是 否存在其他面部区域(步骤All)。如果存在其他面部(步骤All中 的是)，多面部重复确定单元21就指示面部区域校正参数计算单元3 计算下一个面部区域所对应的校正参数(返回步骤A3)。如果不存在 其他面部，多面部重复确定单元21就向校正参数合并单元22输出算 得的N个面部所对应的校正参数。校正参数合并单元22对与N个面部相对应的校正参数加以合并， 以计算合并校正参数(步骤A12)。校正参数合并单元22通过对校正 参数取平均，计算合并校正参数。此外，如果面部检测单元l计算了 面部检测可靠度，校正参数合并单元22可以通过用面部检测可靠度或 面部尺寸来取加权均值(加权平均)，计算合并校正参数。图像转换 单元5根据合并校正参数或标准校正参数计算单元4算出的校正参数 对输入图像的各像素值进行转换(步骤A5)。如果输入了标准校正参 数计算单元4算出的校正参数，校正参数合并单元22可以直接把该校正参数作为合并校正参数予以输出。依照第二实施例，由于对图像上的所有面部区域进行了加权以及 同时合并，因而实现的校正可以维持整幅图像的平衡，从而避免了由 于特定面部的影响而使校正对整幅图像造成不良影响。第三实施例下面将参考附图对本发明的第三实施例予以说明。图12是示出了 依照第三实施例的色调校正装置的构成示例的框图。图12所示的色调校正装置包含面部检测单元1、参数计算控制单元2、面部区域校正参数计算单元3、多面部重复确定单元21、标准校正参数计算单元4、 面部强调校正参数计算单元31以及面部强调图像转换单元32。图12 所示的色调校正装置与图IO所示的第二实施例的不同之处在于加入 了取代校正参数合并单元22的面部强调校正参数计算单元31，加入 了取代图像转换单元5的面部强调图像转换单元32。面部强调校正参数计算单元31利用面部区域校正参数计算单元3 算得的与面部区域相对应的校正参数，计算用于对各面部中心区进行 密集校正的校正参数映射。面部强调图像转换单元32根据面部强调校 正参数计算单元31算得的校正参数映射，对特定区域的色调密集地加 以转换。在第三实施例中，将校正参数视为随图像坐标值(x，y)变化的校正 参数映射，因而面部区域的校正效果可以较显著。面部强调校正参数 计算单元31将坐标上的校正参数(此处，为Y值)表示为如以下公式 所示的函数r(x, y)。以下，将函数r(x， y)称为校正参数映射函数。面 部强调校正参数计算单元31基于检测到的面部中心区的坐标，根据校正参数映射函数为图像上的所有坐标计算校正参数。 Y-r(x,y)公式(8)更具体地说，面部强调校正参数计算单元31基于检测到的面部中心区的坐标及其校正参数，建立表示图像上所有坐标上校正参数的校正参数映射函数。校正参数映射函数r(x， y)的示例是使用公式(9)所表示的二维高斯分布函数的函数。在公式(9)中，"N"是检测到的面部数量，yi是对应于第i (1 ^ i ^ N)个面部区域的校正参数，"(x0,y0)"是第i个面部 区域的中心坐标，"cri"是根据第i个面部中心区尺寸而变化的参数(如 果面部中心区面积较大，得到较大的"ai"值，如果面部中心区面积较小，得到较小的"C7i"值)。[数学公式3] r(x,y)= Z0v『(u。，_y，_y。，CT,》'、2 " 、2、公式(9)『O，Xo,少,少o,",) =:;~rexP27TCT.-在公式(9)中，以这样的格式定义校正参数映射函数r(x，y):首先 用加权函数W对与各面部区域相对应的校正参数Yi进行加权，然后 进行求和。加权函数W可以是随着到面部中心坐标的距离的增加将校 正参数逐渐减小的函数，然而W并不局限于公式(9)的形式。此外， 可以事先将加权函数W的输出值作为表存储。图13示出了包含数个面部的输入图像的一个示例。面部检测单元 l检测到第一个面部中心区101-1以及第二个面部中心区101-2。图13 示出了第一面部影响范围102-1，在该范围内，对第一面部中心区101 的校正的影响占主导，还示出了第二面部影响范围102-2，在该范围 内，对第二面部中心区101-2的校正的影响占主导。图14是示出了根据图14的面部检测结果产生的、图形式的校正 参数映射函数r(x， y)的一个示例的说明图。图14示出了第一面部校 正参数分布103-1以及第二面部校正参数分布103-2，第一面部校正参 数分布103-1是根据对应于第一面部中心区101-1的校正参数求得的 校正参数分布，第二面部校正参数分布103-2是根据对应于第二面部 中心区101-2的校正参数求得的校正参数分布。如图13所示，由于第一面部中心区101-1中亮度值较大，因而在 图14的第一面部校正参数分布103-1上面部中心周围的校正参数(此 处为Y值)变大。另一方面，由于第二面部中心区101-2中亮度值较 小，因而在图14的第二面部校正参数分布103-2中面部中心周围的校 正参数小于第一校正参数分布103-1中面部中心周围的校正参数。面部强调图像转换单元32利用面部强调校正参数计算单元31生 成的校正参数映射函数r(x, y)对输入图像的像素值进行转换，以校正 整幅输入图像的色调。为了对像素值进行转换，面部强调图像转换单 元32获取坐标上的输入图像像素，并根据校正参数映射函数r(x， y) 所代表的坐标上的校正参数对像素值加以运算。面部强调图像转换单元32对输入图像上所有坐标所代表的像素 值进行转换，以对整幅输入图像的色调加以校正。如果校正参数映射 函数r(x, y)显示在某个坐标(y值为0)上无校正，就不对该坐标表 示的像素值执行转换过程。此外，如果检测到的面部数量为0，那么 同第一实施例类似，面部强调图像转换单元32利用标准校正参数计算 单元4算得的校正参数对输入图像的像素值进行转换。在第三实施例中，利用依程序运行的CPU实现面部强调校正参数 计算单元31以及面部强调图像转换单元32。依照第三实施例，可以设置对应于多个面部的校正参数。由于只 校正了面部区域及其周围的区域，并且可以根据每个面部分别进行校 正，因而可以避免由于特定面部的影响使校正对整幅图像造成不良影 响。在计算各坐标上的校正量时，使用校正量参数映射函数，因而不 必使用多余的、用于图像合成的帧存储器或类似装置。第三实施例说明了图像包含人物、且可以从图像提取出面部区域 作为特定区域的情形，然而，该特定区域还包括如下情况图像含有 要作为特定区域的动物、图像含有要作为特定区域的建筑物或车辆、 以及图像含有自然物体，如山脉、岛屿，因而并未对特定区域作具体 限制。在第三实施例中，对输入图像进行分析，以自动检测特定区域， 然而图像是显示在显示设备上的，以便可以手动指定特定区域。在各实施例中，不一定要提供面部检测单元1和面部中心区设置单元ll，只要可以将图像显示在显示设备上，并且可以手动指定特定 区域，从而可以提取图像的面部区域(具体而言，中心区域)即可。 此外，不一定要提供标准校正参数计算单元4，在这种情况下，参数 计算控制单元2也不是必需的。也就是说，在本发明的实施例中，可以采用图16所示的构造。在图16的构造中，将同图2的面部中心区 设置单元11的输出相类似的、有关图像上面部中心区的信息输入代表 亮度计算单元12。实施例中的色调校正装置可用于诸如视频摄像机、数码相机、装 有摄像机的移动电话以及具有图像处理功能的打印机等图像设备。图17是示出了作为依照本发明实施例的图像设备的、装有照相机 的蜂窝电话的构造的说明图。ROM104存储用于校正图像色调的色调 校正程序，CPU105按照图9流程图所示的步骤执行色调校正程序。 RAM106存储从输入/输出装置103、发射机/接收机101或图像拾取元 件107 (如CCD)输入的图像数据，以及用于执行程序的必要数据。 输入图像和经色调校正的图像输出显示在显示单元102，如液晶显示 单元(LCD)上。将经色调校正的图像输出保存在RAM106中，或通 过输入/输出单元103将其输出至打印机，或利用发射机/接收机101 将其发送出去。可以在不背离本发明精神或特征的前提下做出各种其他修改。上 述各实施例仅仅是示例，本发明并不局限于这些实施例。本发明是在 权利要求书中限定的，因而本发明不受说明书限制。此外，本发明范 围包括权利要求等价物的意义和范围以内的全部改变。
权利要求
1.一种用于校正图像色调的色调校正方法，包括步骤计算对提取自图像的图像特定区域中包括的像素的亮度分量进行表示的代表亮度值；根据代表亮度值以及预定亮度分量的预定边界值，计算用于校正图像色调的校正参数；以及利用校正参数对图像的像素值进行转换。
2. 根据权利要求l所述的色调校正方法，其中所述特定区域是面 部区域。
3. —种用于校正图像色调的色调校正装置，包括 特定区域校正参数计算单元，用于根据对提取自图像的图像特定区域中包括的像素的亮度分量进行表示的值、以及所述亮度分量的指 定边界值，计算用于校正图像色调的校正参数；以及像素转换单元，用于利用校正参数对图像的像素值进行转换。
4. 根据权利要求3所述的色调校正装置，其中所述特定区域是面 部区域，特定区域校正参数计算单元是面部区域校正参数计算单元。
5. 根据权利要求4所述的色调校正装置，还包括用于从图像中提取面部区域的面部区域提取单元。
6. 根据权利要求5所述的色调校正装置，其中面部区域校正参数计算单元包括代表亮度值计算单元，用于计算对面部区域提取装置所提取的面 部区域中包括的像素的亮度分量进行表示的代表亮度值；以及校正参数计算单元，用于根据代表亮度值以及所述亮度分量的预 定边界值，计算所述校正参数。
7. 根据权利要求6所述的色调校正装置，其中校正参数计算单元 计算所述校正参数，以使在被预定为提供优选肤色的值的所述亮度分 量的边界值的基础上，校正方向和校正量与代表亮度值具有负相关。
8. 根据权利要求6所述的色调校正装置，其中校正参数计算单元通过利用代表亮度值的线性变换来计算校正参数。
9. 根据权利要求6所述的色调校正装置，其中校正参数计算单元计算用于Y校正的Y值，作为所述校正参数，所述Y值具有转换特性，以 使在代表亮度值大于所述亮度分量的边界值时，将图像变暗，而在代 表亮度值小于所述亮度分量的边界值时，将图像变亮。
10. 根据权利要求6所述的色调校正装置，其中校正参数计算单元 计算色调曲线的控制点移动距离，作为所述校正参数，以使在代表亮 度值大于所述亮度分量的边界值时，将图像变暗，而在代表亮度值小 于所述亮度分量的边界值时，将图像变亮，所述控制点移动距离是对 根据色调曲线图中向纵轴方向或横轴方向的移动距离的预定输入亮度 值的校正量进行表示的信息。
11. 根据权利要求5所述的色调校正装置，其中面部区域提取单元 提取由双眼和嘴包围的区域作为所述面部区域。
12. 根据权利要求3所述的色调校正装置，其中像素转换装置建立 査找表，并利用査找表进行表转换，以对像素值进行转换，在所述査 找表中，针对所述像素值的分量中各个待校正分量的可能值，记录了 利用所述校正参数计算的校正值。
13. 根据权利要求4所述的色调校正装置，还包括-校正参数合并单元，用于采用加权平均，将对应于多个面部区域 而计算的校正参数合并，其中像素转换单元利用合并的校正参数对像素值进行转换。
14. 根据权利要求4所述的色调校正装置，还包括校正参数映射计算单元，用于计算对图像上全部坐标上的校正参 数进行表示的校正参数映射，以根据所述面部区域的中心坐标、对应 于所述面部区域而计算的校正参数以及所述面部区域的面积，对面部 中心区进行密集的校正。其中像素转换单元根据所述校正参数映射对像素值迸行转换。
15. 根据权利要求14所述的色调校正装置，其中校正参数映射计 算单元计算校正参数映射，作为基于所述面部区域的中心坐标、对应 于所述面部区域而计算的校正參数以及所述面部区域的面积并利用二 维高斯分布函数的函数。
16. 根据权利要求15所述的色调校正装置，其中校正参数映射计 算单元利用随着到所述面部区域的中心坐标的距离的增加而减小权值 的加权函数，计算校正参数映射。
17. —种用于校正图像色调的色调校正程序，使计算机能够执行如下过程从图像中提取特定区域； : 根据对特定图像中包括的像素的亮度分量进行表示的值以及预定 亮度分量的边界值，计算校正参数，作为用于校正图像色调的参数； 以及'利用校正参数对所述图像的像素值进行转换。
18. —种图像设备，包括权利要求3所述的色调校正装置；图像拾取元件，用于拍摄图像并将图像输入色调校正装置；以及存储元件， 用于存储来自色调校正装置的像素转换单元的输出图像。
全文摘要
[问题]将逆光拍摄的人物图像校正为具有良好可见度的图像。[解决方法]面部检测单元(1)从输入图像或其缩减图像中检测面部是/否存在以及面部的位置。参数计算控制单元(2)根据面部是/否存在，控制用于计算校正参数的方法。当检测到面部时，面部区域校正参数计算单元(3)计算校正参数，校正参数具有特性，以使根据边界亮度级，代表亮度值越大，图像越暗，而代表亮度值越小，图像越亮，其中亮度值是预定的，以根据根据从检测到的面部中心区算出的代表亮度值来提供优选肤色。当未检测到面部时，标准校正参数计算单元(4)不考虑图像内容，而根据输入图像或其缩减图像的图像数据计算校正参数。图像转换单元(5)利用获得的校正参数对输入图像的像素值进行转换，以对色调加以校正。
文档编号H04N1/407GK101331515SQ200680047700
公开日2008年12月24日 申请日期2006年12月21日 优先权日2005年12月21日
发明者井上晃 申请人:日本电气株式会社