专利名称：图像处理设备、成像方法以及图像处理方法
技术领域：
本发明涉及图像处理设备，成像方法，成像程序，图像处理方法和图像处理程序。更具体地说，本发明涉及能够对被摄对象的运动进行精确的白平衡调整处理的图像处理设备，成像方法，成像程序，图像处理方法和图像处理程序。
背景技术：
众所周知，数字照相机已变得普及。市场中对数字照相机的成像能力的要求已变得很高。在市场中，需要能够拍摄清晰并且完美的图像的数字照相机。数字照相机中拍摄清晰并且完美图像的途径被大体成分两种途径。一种途径是成像设备的技术革新。另一种途径是处理拍摄的图像数据的技术。通常，当利用数字照相机在较暗的地方，用闪光灯拍摄被摄对象时，已知常常发生其中在用闪光灯照亮的地方(对应于被摄对象)和未被闪光灯照明的地方(对应于被摄对象周围的空间)之间，色彩平衡受到破坏的现象。这种问题是由于闪光灯的白平衡不同于照明周围环境的光源的白平衡而造成的。在按照现有技术的利用卤化银胶卷的照相机中，对这种白平衡问题没有任何根本性的解决方案。不过，在数字照相机中，通过适当处理从成像设备获得的图像数据，能够自由地局部调整白平衡。从而，通过开发适当处理获得的图像数据的技术，能够在卤化银照相机不能克服的恶劣成像条件下，获得自然、清晰并且完美的图像。JP-A-2005-210485公开一种通过利用不采用闪光灯拍摄的不发光 (non-luminous)图像，和采用闪光灯拍摄的发光(luminous)图像，对其中在用闪光灯照亮的地方和未被闪光灯照明的地方之间色彩平衡受到破坏的现象进行适当的计算处理，在用闪光灯照亮的地方和未被闪光灯照明的地方之间，自动进行适当的白平衡调整的技术。
发明内容
在JP-A-2005-210485中公开的技术中，就实际的数字照相机来说，在按下快门按钮时的图像数据被用作发光图像，刚好在按下快门按钮之前的监测图像数据被用作不发光图像。为了使不发光图像和发光图像之间的差异尽可能地小，保存在帧缓冲器中并且正常更新的监测图像数据之中的、刚好在成像之前的最新图像数据被用作不发光图像。但是，在JP-A-2005-210485中公开的技术中，取决于被摄对象或成像环境，可能不能进行适当的白平衡处理，反而可能局部引起颜色不均勻(色移)。在一种情况下，被摄对象在移动。这种情况下，由于被摄对象在发光图像和不发光图像之间移动，因此在被摄对象移动的地方中，会引起色移。图16A、16B和16C是示意地图解说明由被摄对象的移动而发生的色移现象的示图。当使用在JP-A-2005-210485中公开的技术时，并且当被摄对象在不发光图像和发光图像之间移动时，对应地方中的白平衡被破坏，结果出现色移。在另一种情况下，被摄对象的背景被部分照亮。这种情况下，由于在不发光图像中出现局部的白平衡不均勻，因此，在被摄对象的背景部分明亮的地方中会引起色移。从而，理想的是提供一种仅仅通过增加少量的计算处理，就能够在所有成像条件下，对所有被摄对象进行适当的白平衡调整处理，并且能够从几乎所有的被摄对象获得极好的静止图像数据的图像处理设备，成像方法，成像程序，图像处理方法和图像处理程序。按照本发明的一个实施例的图像处理设备包括数据处理器，所述数据处理器接收预定的成像指令，处理以从成像设备输出的信号为基础的数据，输出拍摄的图像数据；监测处理器，所述监测处理器处理以从成像设备输出的信号为基础的数据，以便监测，并且输出监测图像数据；白平衡产生单元，所述白平衡产生单元根据拍摄图像数据，计算在所有拍摄图像数据内一致的白平衡值；白平衡图创建单元，所述白平衡图创建单元根据拍摄图像数据和监测图像数据，计算对拍摄图像数据的每个像素来说变化的白平衡图；混合系数计算器，所述混合系数计算器根据拍摄图像数据和监测图像数据，计算用于混合白平衡图和白平衡值的系数；加法器，所述加法器利用混合系数，相加白平衡值和白平衡图，并输出校正的白平衡图；和乘法器，所述乘法器把拍摄图像数据乘以校正的白平衡图。按照这种结构，设置混合系数计算器，在通过混合用于在整个拍摄图像数据内设定一致白平衡的白平衡值，和用于根据拍摄图像数据的像素的亮度设定最佳白平衡的白平衡图，创建校正的白平衡图的时候，所述混合系数计算器根据被摄对象的运动和被摄对象的背景的亮度，改变混合比例。从而，通过改变混合系数，能够防止色移，并且能够根据被摄对象的运动，和被摄对象的背景的亮度，进行适当的白平衡校正处理。按照本发明的实施例，能够提供一种仅仅通过增加少量的计算处理，就能够在所有成像条件下，对所有被摄对象进行适当的白平衡调整处理，并且能够从几乎所有的被摄对象，获得极好的静止图像数据的图像处理设备，成像方法，成像程序，图像处理方法和图像处理程序。
图IA是图解说明数字照相机的正面外观的示图，图IB是图解说明数字照相机的背面外观的示图。图2是图解说明数字照相机的结构的硬件方框图。图3是图解说明数字照相机的结构的功能方框图。图4是图解说明白平衡处理器的结构的功能方框图。图5是图解说明白平衡图创建单元的结构的功能方框图。图6是图解说明混合系数计算单元的结构的功能方框图。图7A是示意地图解说明保存在运动检测帧缓冲器中的监测图像数据和面部框之间的关系的示图，图7B是示意地图解说明保存在监测图像帧缓冲器中的监测图像数据和面部框之间的关系的示图，图7C是示意地图解说明拍摄的图像数据、面部框和高亮度框之间的关系的示图。图8是图解说明高亮度检验器的结构的功能方框图。图9A和9B是图解说明校正值转换器的输入和输出关系的曲线图。图10是图解说明由混合系数计算器进行的计算混合系数“k”和“1-k”的处理流程的流程图。
图11A-11F是示意地图解说明被摄对象、被摄对象识别框和高亮度框之间的关系的示图。图12是图解说明数字照相机的结构的功能方框图。图13是图解说明图像处理设备的结构的功能方框图。图14是其中混合系数计算器的一部分被改变的功能方框图。图15是图解说明校正值转换器的输入和输出关系的曲线图。图16A-16C是示意地图解说明由于被摄对象在移动而引起的色移现象的示图。
具体实施方式
[外观]图IA是图解说明数字照相机的正面外观的示图，图IB是图解说明数字照相机的背面外观的示图。在数字照相机101中，包括这里未示出的变焦机构和调焦机构的镜筒103被布置在壳体102的正面，镜头104可被装配在镜筒103内。闪光灯105被布置在镜筒103的一侧。快门按钮106被布置在壳体102的顶面上。也被用作取景器的液晶显示监视器107被布置在壳体102的背面。多个操作按钮 108被布置在液晶显示监视器107的右侧。用于容纳充当非易失性存储器的闪速存储器的盖子被布置在未示出的壳体102 的底面。按照本实施例的数字照相机101是所谓的数字静态照相机，它拍摄被摄对象的图像，生成静止图像数据，并把生成的静止图像数据记录在非易失性存储器中。数字照相机 101还具有未在本实施例中描述的运动图像拍摄功能。[硬件]图2是图解说明数字照相机101的结构的硬件框图。数字照相机101包括典型的微计算机。为数字照相机101的整体控制所必需的CPU 202，ROM 203和RAM204连接到总线 201，DSP 205也连接到总线201。DSP 205对为实现在本实施例中说明的白平衡调整处理所必需的数字图像数据的大量数据，进行大量的计算处理。成像设备206把从被摄对象发出，并由镜头104成像的光转换成电信号。从成像设备206输出的模拟信号由A/D转换器207转换成R、G和B的数字信号。由电动机驱动器208驱动的电动机209通过镜筒驱动镜头104，并进行聚焦和变焦控制。闪光灯105由闪光灯驱动器210驱动，从而发光。拍摄的数字图像数据作为文件被记录在非易失性存储器211中。设置USB接口 212，以便相对于诸如PC之类的外部设备，传送和接收保存在非易失性存储器211中的文件。显示单元213是液晶显示监视器107。操作单元214包括快门按钮106和操作按钮108。
[软件结构] 图3是图解说明数字照相机101的结构的功能方框图。从被摄对象发出的光由镜头104成像在成像设备206上，并被转换成电信号。转换后的信号由A/D转换器207转换成R、G和B的数字信号。在与作为操作单元214的一部分的快门按钮106的操作对应的控制器307的控制下，数据处理器303从A/D转换器207接收数据，进行诸如数据的分类、缺陷校正和尺寸改变之类的各种处理，并把结果输出给也被称为图像生成单元的白平衡处理器301。镜头104、成像设备206、A/D转换器207和数据处理器303也可被称为在对被摄对象成像时，形成数字图像数据(下面称为“拍摄图像数据”)，并把拍摄图像数据输出给白平衡处理器301的成像处理器。另一方面，从A/D转换器207输出的数据被输出给监测处理器302。监测处理器 302进行适合于把数据显示在显示单元213上的尺寸改变处理，形成监测图像数据，并把监测图像数据输出给白平衡处理器301和控制器307。白平衡处理器301接收从数据处理器303输出的拍摄图像数据，和从监测处理器 302输出的监测图像数据，并对拍摄图像数据进行白平衡调整处理。已经过白平衡处理器301的白平衡调整处理的拍摄图像数据被编码器304转换成诸如JPEG之类的预定图像数据格式，随后作为图像文件被保存在诸如闪速存储器之类的非易失性存储器211中。控制器307响应操作单元214的操作等，控制成像设备206，A/D转换器207，数据处理器303，白平衡处理器301，编码器304和非易失性存储器211。特别地，当检测到操作按钮214中的快门按钮106的操作时，向成像设备206、A/D转换器207和数据处理器303 输出触发信号，从而产生拍摄图像数据。控制器307从监测处理器302接收监测图像数据，把在成像设备206上形成的图像显示在显示单元213上，并根据操作按钮214的操作，显示各种设定画面。[白平衡处理器]图4是图解说明白平衡处理器301的结构的功能方框图。从数据处理器303输出的拍摄图像数据被临时保存在拍摄图像帧缓冲器401中。从监测处理器302输出的监测图像数据被临时保存在监测图像帧缓冲器402中。从监测图像帧缓冲器402输出的监测图像数据经延迟元件403被保存在运动检测帧缓冲器404中。即，保存在监测图像帧缓冲器402中的监测图像数据，和保存在运动检测帧缓冲器404中的监测图像数据具有对应于一帧的时间差。持续用最新的监测图像数据更新监测图像帧缓冲器402。不过，在把拍摄图像数据保存在拍摄图像帧缓冲器401中的时候，在控制器307的控制下，监测图像帧缓冲器402的更新被暂时停止，监测图像帧缓冲器402的更新被停止，直到白平衡处理器301中的全部处理都结束为止。类似地，持续用相对于监测图像帧缓冲器402被延迟一帧的监测图像数据更新运动检测帧缓冲器404。不过，在把拍摄图像数据保存在拍摄图像帧缓冲器401中的时候，在控制器307的控制下，运动检测帧缓冲器404的更新被暂时停止，运动检测帧缓冲器404的更新被停止，直到白平衡处理器301中的全部处理都结束为止。
保存在拍摄图像帧缓冲器401中的拍摄图像数据被提供给白平衡产生单元405a、 白平衡图创建单元406、和混合系数计算器407。白平衡产生单元405a读取拍摄图像数据，并进行已知的计算白平衡值的处理。具体地说，计算拍摄图像数据的平均亮度值，利用平均亮度值作为阈值，把拍摄图像数据分成用闪光灯照亮的像素区，和未被闪光灯照明的像素区。参照关于明亮的像素区预先保存在 ROM 203中的闪光灯的色温信息，和从控制器307获得的成像条件信息，计算在所有的拍摄图像数据内均勻的白平衡值。白平衡值是将被一律乘以像素的红色(R)，绿色(G)和蓝色 (B)数据的三个乘法运算值。白平衡值被临时保存于在RAM 204中形成的白平衡值存储器408中。除了保存在拍摄图像帧缓冲器401中的拍摄图像数据之外，保存在监测图像帧缓冲器402中的监测图像数据也被输入白平衡图创建单元406中。白平衡图创建单元406读取拍摄图像数据和监测图像数据，并进行白平衡图计算处理。白平衡图是用于对拍摄图像数据之中，被闪光灯照亮的像素区和未被闪光灯照明的像素区进行适当的白平衡调整的数据。即，对应于明亮的像素区的值和对应于黑暗的像素区的值彼此不同。从而，白平衡图是将被增加到每个像素的红色(R)，绿色(G)和蓝色(B) 数据中，或者从每个像素的红色(R)，绿色(G)和蓝色(B)数据中减去的一组数值，并且其元素的数目与拍摄图像数据的元素的数目相同。白平衡图被临时保存于在RAM 204中形成的白平衡图存储器409中。白平衡图创建单元406的细节将在后面参考图5说明。除了保存在拍摄图像帧缓冲器401中的拍摄图像数据之外，保存在监测图像帧缓冲器402中的监测图像数据，和保存在运动检测帧缓冲器404中的监测图像数据也被输入混合系数计算器407中。混合系数计算器407读取拍摄图像数据，和对应于两帧的监测图像数据，并进行计算混合系数“k”和混合系数“ Ι-k”的处理。混合系数“k”被保存于在RAM 204中形成的混合系数“k”存储器410中。乘法器 411把保存在混合系数“k”存储器410中的混合系数“k”乘以保存在白平衡图存储器409 中的白平衡图。另一方面，混合系数“Ι-k”被保存于在RAM 204中形成的混合系数“ l_k”存储器 412中。乘法器413把保存在混合系数“Ι-k”存储器412中的混合系数“l_k”乘以保存在白平衡值存储器408中的白平衡值。 加法器414相加从乘法器411输出的校正后的白平衡图，和从乘法器413输出的校正后的白平衡图。具体地说，校正的白平衡值的红色数据被加到构成校正的白平衡图的每个像素的红色数据，校正的白平衡值的绿色数据被加到构成校正的白平衡图的每个像素的绿色数据，校正的白平衡值的蓝色数据被加到构成校正的白平衡图的每个像素的蓝色数据。这样，加法器414输出校正的白平衡图。校正的白平衡图被临时保存在白平衡图存储器415中。乘法器416把保存在校正白平衡图存储器415中的校正的白平衡图乘以拍摄图像数据。这样，调整拍摄图像数据的白平衡。[白平衡图创建单元]
图5是图解说明白平衡图创建单元406的结构的功能方框图。 保存在监测图像帧缓冲器402中的监测图像数据被输入白平衡产生单元405b中。 白平衡产生单元405b执行和图4中所示的白平衡产生单元405a中的处理相同的处理。白平衡产生单元405b输出不发光白平衡值。不发光白平衡值被临时保存在不发光白平衡值存储器501中。另一方面，除法器502把保存在拍摄图像帧缓冲器401中的拍摄图像数据除以保存在监测图像帧缓冲器402中的监测图像数据。在进行除法运算时，当拍摄图像数据中的像素的数目不同于监测图像数据中的像素的数目时，适当地对监测图像数据进行扩大或缩小处理，以使像素的数目(要计算的元素的数目)彼此匹配。除法器502输出作为除法结果的闪光平衡图。闪光平衡图被临时保存在闪光平衡图存储器503中。除法器504把数值“l”505a除以保存在闪光平衡图存储器503中的闪光平衡图的相应元素。即，除法器504的输出数据是闪光平衡图的倒数。乘法器506把除法器504的输出数据乘以保存在不发光白平衡值存储器501中的不发光白平衡值，并输出白平衡图。该白平衡图被保存在白平衡图存储器409中。[混合系数计算器]图6是图解说明混合系数计算器407的结构的功能方框图。保存在监测图像帧缓冲器402中的监测图像数据被提供给面部识别器601a，面部识别器601a也可被称为识别被摄对象的被摄对象识别器。面部识别器601a识别作为包括在监测图像数据中的被摄对象的人脸的位置和大小，并输出覆盖面部的矩形的坐标数据。 下面，“覆盖面部的矩形”被称为面部框。从面部识别器601a输出的坐标数据被称为面部框坐标数据。保存在运动检测帧缓冲器404中的、在监测图像帧缓冲器402的监测图像数据之前一帧的监测图像数据被提供给面部识别器601b。面部识别器601b识别作为包括在监测图像数据中的被摄对象的人脸的位置和大小，并输出面部框坐标数据。从面部识别器601a输出的面部框坐标数据和从面部识别器601b输出的面部框坐标数据被输入运动检测器602。运动检测器602计算面部框坐标数据的中心点坐标，计算中心点之间的距离，把计算的距离输出给校正值转换器603a。下面，从运动检测器602输出的中心点之间的距离被称为面部框移动。另一方面，从面部识别器601b输出给运动检测器602的监测图像数据的面部框坐标数据被输出给高亮度框计算器604和高亮度检验器605。高亮度框计算器604输出与面部框相似，并以恒定的面积比覆盖由面部框坐标数据形成的面部框的矩形的坐标数据。例如，所述面积比是1. 25。下面，相对于面部框具有恒定的面积比并且与面部框相似的矩形被称为高亮度框。从高亮度框计算器604输出的坐标数据被称为高亮度框坐标数据。也可被称为亮度值条件检测器的高亮度检验器605读取从面部识别器601b输出的关于监测图像数据的面部框坐标数据，从高亮度框计算器604输出的高亮度框坐标数据，和保存在拍摄图像帧缓冲器401中的拍摄图像数据。随后，在拍摄图像数据之中，计算被高亮度框围绕但是未被面部框围绕的区域中的像素的平均亮度与被面部框围绕的区域中的像素的平均亮度的比值。下面，从高亮度检验器605输出的、被高亮度框围绕但是未被面部框围绕的区域中的像素的平均亮度与被面部框围绕的区域中的像素的平均亮度的比值被称为平均亮度比。
[面部框和高亮度框]下面参考附图，说明面部框，面部框坐标数据，高亮度框，和高亮度框坐标数据。图7A是示意地图解说明保存在运动检测帧缓冲器404中的监测图像数据和面部框之间的关系的示图，图7B是示意地图解说明保存在监测图像帧缓冲器402中的监测图像数据和面部框之间的关系的示图，图7C是示意地图解说明拍摄图像数据，面部框和高亮度框之间的关系的示图。图7A表示在屏幕上展开保存在运动检测帧缓冲器404中的监测图像数据的状态。面部识别器601b识别包括在监测图像数据中的人脸，并计算覆盖所述面部的矩形面部框701。面部框701可用左上角坐标数据和右下角坐标数据表示。这些数据是面部框坐标数据。面部框坐标数据包括面部框坐标701a和701b。类似于图7A，图7B表示在屏幕上展开保存在监测图像帧缓冲器402中的监测图像数据的状态。面部识别器601b识别包括在拍摄图像数据中的人脸，计算覆盖所述面部的矩形面部框703，并输出面部框703的左上角坐标数据和右下角坐标数据，即，面部框坐标数据。比较图7A和7B，作为被摄对象的人脸在移动。从而，面部框的中心点从面部框701 的中心点702移动到面部框703的中心点704。运动检测器602计算这些中心点之间的距罔。下面，被面部框703围绕的区域被称为面部框区域705。类似于图7A和7B，图7C表示在屏幕上展开拍摄图像数据的状态。高亮度框计算器604把面部框703的面积乘以预定常数(本实施例中，1. 25)，并计算具有与面部框703相同的中心和长宽比(即，与面部框703相似)的矩形。所述矩形是高亮度框706。下面，被高亮度框706围绕，但是不被面部框703围绕的区域被称为“高亮度检验区域707”。高亮度检验区域707是用于检测由于从作为被摄对象的人脸的背面照射光，与用闪光灯照明的被摄对象的区域混淆的可能性的区域。即，高亮度检验区域是须经亮度检验， 以便检测是否从面部的背面照射光的区域。[高亮度检验器]图8是图解说明高亮度检验器605的结构的功能方框图。面部框平均亮度计算器801根据面部框坐标数据，用拍摄图像数据计算在面部框区域705中的像素的平均亮度(面部框区域平均亮度)。高亮度框平均亮度计算器802根据面部框坐标数据和高亮度框坐标数据，用拍摄图像数据计算在高亮度检验区域707中的像素的平均亮度(高亮度检验区域平均亮度)。除法器803输出通过把高亮度检验区域平均亮度除以面部框区域平均亮度而获得的值，即，平均亮度比。下面将参考图6，继续说明混合系数计算器407。
从运动检测器602输出的面部框移动被输入校正值转换器603a中。校正值转换器603a参照上限运动值606a和下限运动值606b，把面部框移动转换成在0 1的范围中的数值。从高亮度检验器605输出的 平均亮度比被输入校正值转换器603b中。校正值转换器603b参照上限亮度比607a和下限亮度比607b，把平均亮度比转换成在0 1的范围中的数值。[校正植转换器]图9A和9B是图解说明校正值转换器603a和校正值转换器603b的输入和输出关系的曲线图。图9A是接收面部框移动作为输入，并输出校正值χ的校正值转换器603a的曲线图。校正值转换器603a可用下面的函数表述。x = 0(s>su)χ = 1 (s ^ si)χ = (-s+su)/(su-sl) (1 < s < si)S卩，当面部框移动s等于或大于上限运动值su时，校正值χ为0，当面部框移动s 等于或小于下限运动值si时，校正值χ为1，当面部框移动s大于下限运动值sl，并且小于上限运动值su时，校正值χ是斜率为-1/(su-sl)并且y截距为su/(su-sl)的线性函数。图9B是接收平均亮度比作为输入，并输出校正值y的校正值转换器603b的曲线图。校正值转换器603b可用下面的函数表述。y = 0 (f ^ fu)y = l(f ^ fl)y = (-f+fu)/(fu-fl) (1 < f < fl)S卩，当平均亮度比f等于或大于上限亮度比fu时，校正值y为0，当平均亮度比f 等于或小于下限亮度比Π时，校正值y为1，当平均亮度比f大于下限亮度比fl，并且小于上限亮度比fu时，校正值y是斜率为-l/(fu-fl)并且y截距为fu/(fu-fl)的线性函数。乘法器608使以面部框移动为基础并由校正值转换器603a四舍五入到在0 1范围中的数值的校正值X，和以平均亮度比为基础并由校正值转换器603b四舍五入到在0 1范围中的数值的校正值y相乘。乘法器608的输出作为混合系数k被输出到混合系数“k” 存储器410。减法器609从数值“1” 505b中减去乘法器608的输出，并把结果作为混合系数l_k输出给混合系数“l_k”存储器412。校正值转换器603a，上限运动值606a，下限运动值606b，校正值转换器603b，上限亮度比607a，下限亮度比607b，和乘法器608也可被称为混合系数导出部分，所述混合系数导出部分根据面部框移动和平均亮度比，导出混合系数k。[操作]图10是图解说明由混合系数计算器407进行的计算混合系数“k”和“1-k”的处理的流程的流程图。当开始处理的流程时(S1001)，面部识别器601a首先根据保存在监测图像帧缓冲器402中的监测图像数据，进行面部识别处理，并输出面部框坐标数据(S1002)。在步骤S1002中输出的面部框坐标数据被提供给计算面部框移动，并获得校正值 X的处理(步骤S1003，S1004和S1005)，和计算平均亮度比，并获得校正值y的处理(步骤 S1006, S1007, S1008, S1009和S1010)。下面，假定混合系数计算器407是多线程或多进程程序，计算面部框移动并获得校正值χ的处理，和计算平均亮度比并获得校正值y的处理是并行地同时进行的。面部识别器601b根据保存在运动检测帧缓冲器404中的监测图像数据，进行面部识别处理，并输出面部框坐标数据(S1003)。运动检测器602根据在步骤S1002中输出的面部框坐标数据，和在步骤S1003 中输出的面部框坐标数据，计算各个中心点，并计算中心点之间的距离，即，面部框移动 (S1004)。校正值转换器603a把运动检测器602计算的面部框移动转换成校正值χ (S1005)。另一方面，高亮度框计算器604根据从面部识别器601a输出的面部框坐标数据， 计算高亮度框坐标数据(S1006)。高亮度检验器605的面部框平均亮度计算器801读取从面部识别器601a输出的面部框坐标数据，和拍摄图像帧缓冲器中的拍摄图像数据，并计算面部框区域705中的像素的平均亮度(面部框区域平均亮度)(S1007)。高亮度检验器605的高亮度框平均亮度计算器802读取从面部识别器601a输出的面部框坐标数据，从高亮度框计算器604输出的高亮度框坐标数据，和拍摄图像帧缓冲器中的拍摄图像数据，并计算高亮度检验区域707中的像素的平均亮度(高亮度检验区域平均亮度)(S1007)。除法器803输出通过把高亮度检验区平均亮度除以面部框区域平均亮度而获得的值，即，平均亮度比(S1009)。校正值转换器603b把高亮度检验器605计算的平均亮度比转换成校正值 y(S1010)。乘法器608使在步骤S1005中，校正值转换器603a计算的校正值χ和在步骤SlO 10 中，校正值转换器603a计算的校正值y相乘，从而输出混合系数“k” (SlOll)0减法器609 从数值“l”505b中减去混合系数“k”，从而输出混合系数“1-k”(S1012)，然后结束处理流程(S1013)。如上所述，执行图10中所示的处理流程的混合系数计算器407产生其中反映被摄对象的运动和被摄对象的背景的亮度的混合系数“k”。混合系数“k”随被摄对象的状态而变化。从而，当被摄对象移动时，或者当被摄对象的背景明亮时，或者当这两个条件都被满足时，校正的白平衡图变得接近于难以引起色移的白平衡值。在本实施例中，可以考虑下述 应用。(1)可根据被摄对象的种类，改变面部识别器601a和601b。图11A、11B、11C、IlDUlE和IlF是示意地图解说明被摄对象，被摄对象识别框和高亮度框之间的关系的示图。根据其多种设定值被预先保存在ROM 203中的成像模式，识别被摄对象，并定义适当地对应于被摄对象的被摄对象识别框。
面部识别器601a和601b根据成像模式，适当地改变识别被摄对象的算法，并设定被摄对象识别框。这种情况下，面部识别器601a和601b充当识别指定被摄对象的被摄对象识别器。(2)上述实施例中的校正值转换器603a和603b对输入值进行线性函数变换处理。为了实现最佳的变换处理，可利用学习算法设定上限运动值606a，下限运动值 606b，上限亮度比607a，下限亮度比607b，和变换函数的曲线。为预先通过在各种照明条件下对样本被摄对象成像而获得的图像数据，指定最佳校正系数“k”。准备按照这种方式获得的多组成像条件和校正系数“k”，并利用学习算法，构造校正值转换器603a和603b。(3)上述实施例中的校正值转换器603a和603b对输入值进行线性函数变换处理。为了实现较简单的变换处理，可利用表进行离散变换处理。(4)包括面部框的被摄对象识别框不必是矩形。当面部是被摄对象时，理想的形状是椭圆形。能够准确地识别被摄对象的形状并且其中在被摄对象和识别框之间浪费的空间尽可能小的识别框可被称为优良识别框。当使用这种非矩形识别框时，最好计算重心，而不是识别框的中心点。(5)高亮度框可不必具有与被摄对象识别框相似的形状。高亮度框可以是被配置成与被摄对象识别框相隔恒定距离地围绕被摄对象识别框的框。(6)作为一种更简单的方法，图8中所示的高亮度检验器605的处理细节可以采用比较高亮度检验区域中的像素的亮度与预定阈值，并输出比所述阈值明亮的像素与高亮度检验区域的面积比的方法。(7)由按照上述实施例的数字照相机101具体体现的技术是白平衡处理的改进。 参见图3-10，所述技术是除成像处理器的处理以外的在成像之后的图像处理的改进。参见图2，这是微计算机的控制程序和DSP的计算程序的改进，即是软件改进。于是，可以构成利用容量趋向于增大的闪速存储器的特性的系统，其中数字照相机不进行白平衡处理的图像处理部分，而是只进行成像，而图像处理部分被设置到诸如PC 之类的外部信息处理设备。图12是图解说明这种数字照相机的结构的功能方框图。在这个例子中，代替图3 中所示的数字照相机101中的白平衡处理器301，设置帧缓冲器1202。图12中所示的数字照相机1201只进行按下快门按钮106时的拍摄图像数据的生成，刚好在按下快门按钮106之前的监测图像数据的生成，和在按下快门按钮106之前一帧的监测图像数据的生成，编码器1204利用可逆压缩算法进行编码处理，以便避免图像的恶化。即，按照诸如采用可逆压缩算法的JPEG EX，PNG和TIFF之类的格式，而不是采用已知的不可逆压缩算法的JPEG，在非易失性存储器211中记录以下三个图像数据文件以及成像信息文件1208，即，通过对按下快门按钮106时的拍摄图像数据可逆编码而获得的拍摄图像数据文件1207，通过对刚好在按下快门按钮106之前的监测图像数据可逆编码而获得的监测图像数据文件1205，和对在按下快门按钮106之前一帧的监测图像数据可逆编码而获得的运动检测图像数据文件1206。
必须独立地至少把焦距信息保存为成像信息。于是，在记录在非易失性存储器211 中的成像信息文件1208中说明成像信息。图13是图解说明图像处理设备的结构的功能方框图。通过把与白平衡处理相关的程序读入PC中，并执行读取的程序，PC实现图像处理设备1301的功能。通过经未示出的接口，把从数字照相机1201取出的诸如闪速存储器之类的非易失性存储器211连接到PC，或者通过经USB接口 212，把数字照相机1201连接到PC，使非易失性存储器211连接到PC中的解码器1302。解码器1302读取保存在非易失性存储器211中的三个图像数据文件，即拍摄图像数据文件1207，监测图像数据文件1205和运动检测图像数据文件1206，把读取的图像数据文件转换成原始图像数据，并经选择开关1303，把原始图像数据提供给白平衡处理器301。 由于成像信息文件1208也被保存在非易失性存储器211中，因此，控制器1003读取成像信息文件1208，并把成像信息文件用作控制白平衡控 制器301的参考信息。在白平衡处理器301的处理之后的操作与图3中所示的数字照相机101的操作相同。当这样构成数字照相机1201和图像处理设备1301时，仅仅通过更新在以前的计算能力不足的数字照相机上安装生成拍摄图像数据文件1207、监测图像数据文件1205和运动检测图像数据文件1206这三个图像数据文件的处理、和生成成像信息文件1208的处理的固件，以前的数字照相机的用户就能够方便地充分享受在本实施例中说明的白平衡处理的功能。图13中所示的图像处理设备1301是利用拍摄图像数据文件1207，监测图像数据文件1205和运动检测图像数据文件1206这三个图像数据文件，以及成像信息文件1208，进行后处理的设备。从而，能够通过改变待设定的成像场景，改变面部识别器601a和601b的行为，并且能够重复进行白平衡处理。一般来说，PC通常具有比数字照相机1201高的计算能力。因此，当后处理部分被设计成与数字照相机1201分离，并被设置于PC时，数字照相机1201只需要具有大容量非易失性存储器211和采用可逆压缩算法的编码器1204。S卩，由于数字照相机1201不必具有高的计算能力，因此能够进一步有助于数字照相机1201的尺寸减小和功耗降低。(8)例如，考虑很小的人物出现在广大的风景中的例子。在这种情况下，即使当能够应用面部框和高亮度框时，出现在该图像中的色移也会被观看者视为可以忽略的现象 (不会引起注意)。即，面部(主要的被摄对象)的面积较小，并且白平衡的计算失败时，给观看者留下的印象也较小，从而忽略面部移动或高亮度的影响不会造成任何问题。于是，通过计算面部框的面积与图像的总面积的比值，当面积比较大(面部面积较大时)，无任何变化地使用混合系数k，当面部面积较小时，使混合系数k的值接近于1，并采用利用根据不发光图像和发光图像计算的以像素为单位的白平衡的校正表达式，能够取决于面部面积，实现光学校正计算。图14是图解说明其一部分被改变的混合系数计算器407的功能方框图。面积比计算器1401接收从面部识别器601a输出的面部框坐标数据，和从控制器 307获得的分辨率信息，作为输入，并输出面部框的面积与图像数据的总面积的比值。从面积比计算器1401输出的面积比被输入到校正值转换器603c中。校正值转换器603c参照上限面积比1402a和下限面积比1402b，把面积比转换成在0 1的范围中的数值。作为图6中所示的乘法器608的输出的混合系数k被输入乘法器1403中。
乘法器1403接收从校正值转换器603c输出的校正值α作为输入，并向混合系数 “k”存储器410输出混合系数k'，而不是混合系数k。减法器609从数值“1”505b中减去乘法器1403的输出，并把结果作为混合系数Ι-k'，而不是混合系数l_k输出给混合系数 “1-k”存储器412。图15是图解说明校正值转换器603c的输入和输出关系的曲线图。校正值转换器603c可用下面的函数表述。α = 0 (R ^ Ru)
α = 1 (R ^ Rl)α = (-R+Ru)/(Ru-Rl) (1 < R < Rl)S卩，当面积比R等于或大于上限面积比Ru时，校正值α为0，当面积比R等于或小于下限面积比Rl时，校正值α为1，当面积比R大于下限面积比R1，并且小于上限面积比 Ru时，校正值α是斜率为-1/(Ru-Rl)，并且y截距为Ru/(Ru-Rl)的线性函数。这样，乘法器1403把以面积比为基础并且由校正值转换器603c四舍五入到在 0 1的范围中的数值的校正值α乘以混合系数k。在本实施例中，公开了数字照相机和图像处理设备。按照该实施例，布置混合系数计算器，在通过混合用于在整个拍摄图像数据内设定一致白平衡的白平衡值，和用于根据拍摄图像数据的像素的亮度设定最佳白平衡的白平衡图，创建校正的白平衡图的时候，所述混合系数计算器根据被摄对象的运动和被摄对象的背景的亮度，改变混合比例。从而，通过改变混合系数，能够防止色移，并且能够根据被摄对象的运动和被摄对象的背景的亮度，进行适当的白平衡校正处理。尽管说明了本发明的实施例，不过本发明并不局限于所述实施例，相反可包括其它修改和应用，而不脱离在所附权利要求中限定的本发明的范围。本申请包含与在2010年7月6日向日本专利局提交的日本优先权专利申请JP 2010-154262中公开的主题相关的主题，该专利申请的整个内容在此引为参考。
权利要求
1.一种图像处理设备，包括图像生成单元，所述图像生成单元根据第一图像数据和曝光条件不同于第一图像数据的第二图像数据，生成第三图像数据；被摄对象识别器，所述被摄对象识别器根据第一图像数据，识别预定被摄对象；以及亮度值条件检测器，所述亮度值条件检测器检测第一图像数据中在所述被摄对象识别器识别的所述预定被摄对象周围的区域的亮度值条件，其中所述图像生成单元根据所述亮度值条件检测器中的检测结果，生成第三图像数据。
2.按照权利要求1所述的图像处理设备，还包括混合系数计算器，所述混合系数计算器根据亮度值大于被摄对象周围的区域中的预定值的区域的比率，计算混合系数，并且所述图像生成单元基于第一图像数据和第二图像数据，计算对图像数据的每个区域来说变化的白平衡图，并基于所述白平衡图和第一图像数据或第二图像数据，根据所述混合系数生成第三图像数据。
3.按照权利要求2所述的图像处理设备，还包括 运动检测器，所述运动检测器检测被摄对象的移动；和高亮度检验器，所述高亮度检验器计算被摄对象的亮度和被摄对象周围的亮度的比值，并输出平均亮度比，其中所述混合系数计算器根据所述移动和所述平均亮度比，计算所述混合系数。
4.按照权利要求3所述的图像处理设备，其中所述被摄对象识别器输出围绕所识别的被摄对象的被摄对象识别框的信息，以及所述运动检测器根据所述被摄对象识别框的信息，检测刚好在对被摄对象成像之前的移动。
5.按照权利要求4所述的图像处理设备，还包括高亮度框计算器，所述高亮度框计算器根据所述被摄对象识别框的信息，输出围绕所述被摄对象识别框的高亮度框的信息，其中所述高亮度检验器根据所述被摄对象识别框的信息和所述高亮度框的信息，计算面部框区域平均亮度和高亮度检验区域平均亮度，所述面部框区域平均亮度是所拍摄的图像数据之中的、属于被所述被摄对象识别框围绕的面部框区域的像素的平均亮度，所述高亮度检验区域平均亮度是所拍摄的图像数据之中的、属于被所述被摄对象识别框和所述高亮度框围绕的高亮度检验区域的像素的平均亮度，并输出通过把所述高亮度检验区域平均亮度除以所述面部框区域平均亮度而获得的平均亮度比。
6.一种图像处理方法，包括根据第一图像数据，识别预定的被摄对象；检测第一图像数据中在所识别的预定被摄对象周围的区域的亮度值条件；以及根据第一图像数据和曝光条件不同于第一图像数据的第二图像数据，生成第三图像数据。
7.一种允许图像处理设备执行处理的信息处理程序，所述处理包括 根据第一图像数据，识别预定的被摄对象；检测第一图像数据中，在识别的预定被摄对象周围的区域的亮度值条件；和根据第一图像数据和曝光条件不同于第一图像数据的第二图像数据，生成第三图像数 据。
全文摘要
一种图像处理设备，包括图像生成单元，所述图像生成单元根据第一图像数据，和曝光条件不同于第一图像数据的第二图像数据，生成第三图像数据；被摄对象识别器，所述被摄对象识别器根据第一图像数据，识别预定的被摄对象；和亮度值条件检测器，所述亮度值条件检测器检测第一图像数据中，在被摄对象识别器识别的预定被摄对象周围的区域的亮度值条件，其中图像生成单元根据亮度值条件检测器中的检测结果，生成第三图像数据。
文档编号H04N9/04GK102316327SQ20111017662
公开日2012年1月11日 申请日期2011年6月28日 优先权日2010年7月6日
发明者中林清隆, 铃木淳也 申请人:索尼公司