专利名称：图像处理方法、图像处理装置及其使用的计算机程序的制作方法
技术领域：
本发明涉及图像处理方法、图像处理装置及其使用的计算机程序。特别地，本发明涉及一种通过使用在闪光发射(flash emission)下拍摄的图像和无闪光发射下拍摄的图像、估计最佳闪光(flash)亮度、并根据估计结果执行校正来进行像素值校正处理、而产生高质量图像的图像处理方法和装置及其中使用的计算机程序。
背景技术：
闪光，诸如电闪光或频闪(strobe)，在照相机拍摄图像时用作辅助光源。近年来，数字静态照相机(DSCs)已经迅速开始推广。DSCs在拍摄图像时经常使用闪光发射。闪光发射的使用使得各种类型的图像拍摄成为可能，例如补充(fill-in)光线(一种当太暗的阴影出现在人脸上时对阴影进行弱化的技术)、逆光校正(一种拍摄背对太阳的人像时防止人脸变暗的技术)、潮湿面反光(catchlight)(一种通过在眼睛的瞳孔中设置“闪光点(twinkling lightpoints)”而拍摄具有美丽瞳孔人像的技术)和日光同步(一种在白天和夜间使用闪光灯作为辅助光的技术)。然而使用闪光发射的图像拍摄可能破坏色彩的均衡并可能产生曝光过度高亮区(overexposed highlight)。
通常，在DSCs中进行白平衡控制以便将白色对象的图像拍摄成白色。例如，当在其中发射到拍摄对象的光诸如自然光、照明光、或闪光光线(频闪)具有高的色温，包含强的蓝色分量的光分量环境下进行图像拍摄时，则要抑制对蓝色分量的感光度和相对地提高对红色分量的感光度。反之，当在发射到拍摄对象的光具有低的色温和包含强的红色分量的光分量环境下进行图像拍摄时，则进行白平衡控制，例如抑制对红色分量的感光度和相对地提高对蓝色分量的感光度。
在白平衡控制中，通常要进行校正处理，其中校正参数是根据图像拍摄中使用的光源来设置。例如，在进行使用闪光发射的拍摄图像时，以根据使用的闪光光线(flashlight)的光分量的参数为基础进行白平衡控制。
然而，在除了闪光光线之外存在外部光的情况下使用闪光发射进行图像拍摄时，两种类型的光，即闪光光线和外部光，发射到拍摄对象上。由该对象反射的光到达照相机的成像元件，因而产生图像拍摄。在以上图像拍摄的情况下，通过根据闪光光线来进行的白平衡，将拍摄对象接收到大量闪光光线的部分调整为具有自然色彩。然而，对于由于闪光发射并没有到达照相机的成像元件其图像被拍摄为仅由外部光产生的反射光的图像的区域，例如，背景图像区域，在基于根据闪光光线光分量的参数设置进行白平衡控制时，不能进行合适的白平衡控制，以致该区域以具有非自然的色彩的形式输出。
相反，在匹配背景区域进行白平衡控制的情况下，也就是说，假设只有外部光用于图像的拍摄在全部所摄的图像上进行白平衡控制，则接收到大量闪光光线的部分调整为具有非自然的色彩。
目前已经提出了几种用于解决上述问题的构造。例如，日本未审查(unexamined)专利申请公开No.8-51632公开了一种构造，其完成获取无闪光发射下拍摄的图像和有闪光发射下拍摄的图像，把两幅拍摄的图像分成多个区块，在每一区块中比较亮度(luminance)，并且，基于比较的结果，对于有闪光发射下拍摄的图像在每一区块中执行不同的白平衡控制。
关于白平衡控制，选择并执行在每一区块中匹配闪光光线的白平衡控制、匹配闪光光线和外部光之间的中间光的白平衡控制、和匹配外部光的白平衡控制中的一种。在该构造中，处理必须以区块为单位进行。因此，在引起区块错位的问题发生时和拍摄对象移动时，不可能进行适当的处理。
日本未审查专利申请公开No.2000-308068公开了如下构造。特别地，首先，在闪光发射下拍摄一幅图像，打开光圈，缩短曝光时间。之后，在初始预期的曝光条件下不使用闪光发射拍摄一幅图像。前者称为“第一图像”，后者称为“第二图像”。在第一图像里，具有等于或大于预定值的值的像素登记为主要对象区域，在第二图像中的其它像素登记为背景区域。之后，根据闪光发射对第一图像进行白平衡控制，根据外部光对第二图像进行白平衡控制。通过组合第一图像中的主要对象区域和第二图像中的背景区域，形成最终的记录图像。
然而，在这种构造中，不可能在既接收外部光又接收闪光光线的对象上执行白平衡控制。
日本未审查专利申请公开No.2000-307940公开了一种包括日本未审查专利申请公开No.2000-308068中的构造和图像模糊检测装置的构造。在检测到模糊处时，把以上的第一图像用作记录图像而不做改变，并且不把第一和第二图像组合。因此，在检测到模糊处时，不能消除由闪光发射和外部光之间色温的差别所产生的图像内不自然(in-image unnaturalness)。
日本未审查专利申请公开No.8-340542公开了一种构造，该构造将有闪光发射下拍摄的图像的像素亮度除以无闪光发射下拍摄的图像的相应像素的亮度以得到闪光光线的分摊比率(contribution ratio)，并基于该分摊比率，对闪光发射下拍摄的图像进行白平衡控制。
在该构造中，对于由闪光光线和外部光混合情况下所拍摄的图像，基于闪光光线的分摊比率而简单地内插用于闪光光线和外部光的白平衡控制参数，以此生成最终图像。然而，在考虑到光的物理反射模型时，必须将闪光光线分量和外部光分量分开处理。因而，仅仅通过处理闪光光线和外部光混合情况下所拍摄的图像不能产生最优的最终图像。
发明内容
本发明的目的之一是为了校正在用闪光发射拍摄图像中产生的上述不利的现象。
本发明的另一方面是提供一种对在具有外部光和闪光光线两者的环境中拍摄的图像进行最优的白平衡控制的图像处理方法和装置，其中，当闪光光线的强度(intensity)太强或太弱时，通过估计最优的闪光光线强度并基于与估计的最优闪光光线强度相应的调节图像执行校正，生成高质量图像，并提供其使用的计算机程序。
根据本发明的一个方面，提供一种图像处理方法，其包括基于无闪光发射下拍摄的第一图像数据和有闪光发射下所拍摄的第二图像数据来计算闪光分量图像数据的闪光分量图像计算步骤；为闪光分量图像数据计算强度调节值的强度调节值计算步骤；通过使用强度调节值计算强度调节闪光分量图像数据的强度调节闪光分量图像计算步骤；以及基于第一图像数据和强度调节闪光分量图像数据而生成最终调节图像数据的最终调节图像生成步骤。
优选地，闪光分量图像计算步骤包括计算差值(differential)图像数据的步骤，该差值图像数据表示在第一图像数据和第二图像数据之间的差别；和基于对应于闪光光线分量的参数对该差值图像数据进行白平衡控制的步骤，以及在所述强度调节值计算步骤中，对于进行白平衡控制的闪光分量图像数据计算强度调节值。
在最终调节图像生成步骤中，可以基于下面所述生成最终调节图像数据(a)通过基于对应于外部光分量的参数对第一图像数据执行白平衡控制而获得的白平衡控制的第一图像数据，和(b)通过对闪光分量图像数据进行强度调节而得到的强度调节闪光分量图像数据，其中该闪光分量图像数据是通过基于对应于闪光光线分量的参数执行强度调节而得到的。
在强度调节值计算步骤中，可以把强度调节值作为用于减少以下这样的像素的数量的调节值计算，这样的像素是指具有饱和值并包含在基于组合图像数据而产生的非线性变换图像中的像素，该组合图像数据通过组合第一图像数据和闪光分量图像数据而产生，其中基于对应于外部光分量的参数对第一图像数据执行白平衡控制，基于对应于闪光光线分量的参数对闪光分量图像数据执行白平衡控制。
用于非线性变换图像的非线性变换可以是伽马(gamma)校正，在强度调节值计算步骤中，可以把强度调节值作为用于减少具有饱和值并包含在伽马校正图像中的像素的数目的调节值计算。
强度调节值计算步骤可以包含从闪光分量图像数据生成由具有等于或大于预定阈值的值的像素组成的闪光遮蔽(mask)Mf的闪光遮蔽生成步骤，其中的闪光分量图像数据是基于对应于闪光光线分量的参数对其执行白平衡控制的闪光分量图像数据，和通过使用以下表达式计算用于调节的增益g的增益计算步骤g＝{T-1(max-k×stdrslt)-avg1}/avgF其中T-1表示非线性变换T的逆变换，max表示最大输出像素值，k表示预定的阶次(scalar)值，avg1表示在用于第一图像数据的白平衡控制图像数据I1′的对应于闪光遮蔽Mf的一部分中的亮度平均值，avgF表示基于闪光分量图像数据的白平衡控制图像数据F′的对应于闪光遮蔽Mf的一部分中的亮度平均值，和stdrslt表示形成非线性变换图像数据T(F′+I1′)的对应于闪光遮蔽Mf的一部分的像素值的标准差。
在强度调节闪光分量图像计算步骤中，通过使用用于调节的增益g，可以基于以下表达式计算强度调节闪光分量图像数据F″F″＝gF′
其中F′表示白平衡控制图像数据，并且，在最终调节图像生成步骤中，可以基于以下表达式计算最终调节图像数据RR＝I1+F″其中I1表示校正图像数据I1，F″表示强度调节闪光分量图像数据。
图像处理方法还可以包括基于第一图像数据和无闪光发射下拍摄的第三图像数据执行运动检测的运动检测步骤，和对在运动检测步骤中检测到的运动部分执行像素值校正的步骤。
图像处理方法还可以包括通过控制闪光发射执行拍摄包含第一图像数据和第二图像数据的多图像数据的图像拍摄步骤。
根据本发明的另一方面，提供一种图像处理装置，其包括基于无闪光发射下拍摄的第一图像数据和有闪光发射下拍摄的第二图像数据来计算闪光分量图像数据的闪光分量图像计算单元；用于为闪光分量图像数据计算强度调节值的强度调节值计算单元；用于通过使用强度调节值来计算强度调节闪光分量图像数据的强度调节闪光分量图像计算单元；以及用于基于第一图像数据和强度调节闪光分量图像数据生成最终调节图像数据的最终调节图像生成单元。
优选地，闪光分量图像计算单元包括用于计算差值图像数据的差值图像计算单元，该差值图像数据表示在第一图像数据和第二图像数据之间的差别；和用于基于对应于闪光光线分量的参数对该差值图像数据进行白平衡控制的白平衡控制单元；并且所述强度调节值计算单元对于进行白平衡控制的闪光分量图像数据计算强度调节值。
最终调节图像生成单元可以基于以下所述生成最终调节图像数据(a)通过基于对应于外部光分量的参数对第一图像数据执行白平衡控制而获得的白平衡控制第一图像数据，和(b)通过对闪光分量图像数据进行强度调节而得到的强度调节闪光分量图像数据，其中该闪光分量图像数据是通过基于对应于闪光光线分量的参数执行强度调节而得到的。
强度调节值计算单元可以把强度调节值作为用于减少以下所述像素数目的调节值计算，其中该像素具有饱和值并包含在基于组合图像数据而产生的非线性变换图像中，该组合图像数据通过组合第一图像数据和闪光分量图像数据而产生，其中基于对应于外部光分量的参数对该第一图像数据执行白平衡控制，基于对应于闪光光线分量的参数对该闪光分量图像数据执行白平衡控制。
非线性变换可以是伽马校正，强度调节值计算单元可以把强度调节值作为用于减少具有饱和值并包含在伽马校正图像中的像素的数目的调节值来计算。
强度调节值计算单元可以从闪光分量图像数据产生由具有等于或大于预定阈值的值的像素组成的闪光遮蔽Mf，其中该闪光分量图像数据是基于对应于闪光光线分量的参数执行白平衡控制的闪光分量图像数据，并且，强度调节值计算单元可以通过使用以下表达式计算用于调节的增益gg＝{T-1(max-k×stdrslt)-avg1}/avgF其中T-1表示非线性变换T的逆变换，max表示最大输出像素值，k表示预定的阶次值，avg1表示在用于第一图像数据的白平衡控制图像数据I1′的对应于闪光遮蔽Mf的一部分中的亮度平均值，avgF表示在基于闪光分量图像数据的白平衡控制图像数据F′的对应于闪光遮蔽Mf的一部分中的亮度平均值，和stdrslt表示形成非线性变换图像数据T(F′+I1′)的对应于闪光遮蔽Mf的一部分的像素值的标准差。
强度调节闪光分量图像计算单元可以通过使用用于调节的增益g基于以下表达式计算强度调节闪光分量图像数据F″F″＝gF′其中F′表示白平衡控制图像，并且，最终调节图像生成单元可以基于以下表达式计算最终调节图像数据RR＝I1+F″其中I1表示校正图像数据I1，F″表示强度调节闪光分量图像数据。
图像处理装置还可以包括基于第一图像数据和无闪光发射下拍摄的第三图像数据进行运动检测的运动检测单元；和对在运动检测单元中检测到的运动部分进行像素值校正的像素值校正单元。
图像处理装置还可以包括用于通过控制闪光发射来拍摄包含第一图像数据和第二图像数据的多图像数据的图像拍摄单元。
根据本发明的再一方面，提供一种用于执行图像处理的计算机程序。该程序包括基于无闪光发射下拍摄的第一图像数据和有闪光发射下拍摄的第二图像数据来计算闪光分量图像数据的闪光分量图像计算步骤；为闪光分量图像数据计算强度调节值的强度调节值计算步骤；通过使用强度调节值来计算强度调节闪光分量图像数据的强度调节闪光分量图像计算步骤；以及基于第一图像数据和强度调节闪光分量图像数据而生成最终调节图像数据的最终调节图像生成步骤。
本发明的计算机程序可以通过以计算机可读形式提供的存储介质或通信媒介来提供，例如，诸如CD、FD、或MO这样的存储介质，或诸如网络这样的通信媒介，用于能够执行各种类型程序代码的多用途计算机系统。通过以计算机可读形式提供该计算机程序，在该计算机系统中运行根据该程序的处理。
根据本发明，可以产生其中在通过诸如伽马校正的非线性变换而获得的图像中具有饱和值的像素、即曝光过度高亮区被减少的图像。因而，本发明可应用于校正例如数字照相机所拍摄的图像。
根据本发明，使用对应于每一幅图像的参数进行最优白平衡控制。因此，本发明可应用于校正例如数字照相机所拍摄的图像。
本发明更多的目的、特征和益处将通过如下结合附图的示例性实施例的描述变得清楚。
图1是显示本发明的图像处理装置构造的框图；图2是说明本发明的图像处理方法步骤的流程图；图3是说明在本发明的图像处理方法中、基于多图像数据的白平衡控制处理的流程图；图4是说明在图像处理方法中用于产生强度调节闪光分量图像的处理的流程图；图5是在图像处理方法中用于产生强度调节闪光分量图像的处理的详图；图6是在图像处理方法中用于产生强度调节闪光分量图像的处理的详图；图7是说明在图像处理方法中用于产生强度调节闪光分量图像的处理的详细图表；图8是显示在本发明的图像处理中、基于多图像数据的像素值调节处理的框图。
具体实施例方式
下面参照附图描述本发明的详细情况。图1显示了本发明的图像处理装置的示例。该图像形成装置包含成像单元。
图1中所示的图像处理装置包括透镜101、光圈(diaphragm)102、固态图像传感设备103、相关双采样电路(correlated double sampling circuit，CDS)104、模数(A/D)转换器105、数字信号处理部件106、定时发生器107、数模(D/A)转换器108、视频编码器109、视频监视器110、编/解码器(CODEC)111、存储器112、中央处理单元(CPU)113、输入设备114、闪光控制单元115、和闪光发射器116。
输入设备114包括操作按钮如重新编码(recoding)和其它按钮。数字信号处理部件106是一个包括信号处理器和图像RAM的功能性部件，在该部件中可以对存储在图像RAM中的图像数据执行程序化的图像处理。数字信号处理部件106在以后简称为“DSP 106”。
下面描述图像处理装置的整体操作过程。
在穿过光学系统后到达固态图像传感设备103的入射光首先到达成像平面上的光接收单元。由光接收单元将该入射光光电转换成为电信号。由CDS104从该电信号中去除噪声。将该去除噪声的信号由A/D转换器105转换为数字信号，暂时存储在DSP 106中。如果需要的话，通过使用闪光控制单元115，可以在摄影时控制闪光发射器116发出光。
在摄影模式中，定时发生器107控制信号处理系统以便使图像拍摄保持在一恒定的帧速率。像素流也以恒定的速率发送到DSP 106。DSP 106对该发送的像素流进行近似(approximate)图像处理以产生图像数据。将该图像数据发送到D/A转换器108和CODEC 111之一或两者。D/A转换器108把从DSP 106发送来的图像数据转换成模拟信号。视频编码器109把该模拟信号转换成视频信号。该视频信号由视频监视器110监控。在本实施例中，视频监视器110用作照相机取景器(finder)。CODEC 111对从DSP 106发送来的图像数据进行编码。将该编码图像数据存储在存储器112中。存储器112可以是使用记录介质例如半导体记录介质，磁光记录介质或光学记录介质的记录单元。
上面的描述说明了图像处理装置的整体结构。用于校正所拍摄图像的图像处理主要由DSP 106执行。下面描述图像处理的细节。
通过对输入DSP 106的图像信号流顺序执行在预定的程序代码中描述的处理来进行图像处理。在以下描述中，参照流程图描述处理的程序化(in-program)执行顺序。不仅可以通过以下的程序运行形式实现本发明，也可以由具有执行处理序列功能的硬件构造实现(在下面描述)。
图2是说明包含由DSP 106对输入图像信号流执行的白平衡控制处理的像素值校正处理的流程图。
在步骤S101，通过使用预设的光圈和快门速度在无闪光发射下拍摄一幅图像。在步骤S102，把在无闪光发射下拍摄的图像作为图像数据I1存储在存储器中。在步骤S103，通过类似于步骤S101的情况使用预设的光圈和快门速度，在闪光发射下拍摄一幅图像。在步骤S104，把在闪光发射下拍摄的图像作为图像数据I2存储在存储器中。
在步骤S105，通过类似于步骤S101的情况使用预设的光圈和快门速度，在无闪光发射下再次拍摄一幅图像。在步骤S106，把在无闪光发射下拍摄的图像作为图像数据I3存储在存储器中。
以连续摄像的形式例如，以1/100秒的间隔连续摄像执行步骤S101、步骤S103和步骤S105中的图像拍摄。把上述步骤中得到的图像通过像素值校正例如白平衡调节进行处理以生成最终调节图像，该最终调节图像是具有最终校正像素的图像。
假设存储在存储器中的图像I1、I2和I3是对于由于手的移动引起的模糊进行了校正的图像。换句话说，当由于手的移动引起的图像模糊发生在拍摄三幅图像I1、I2、I3时，在存储到存储器之前将图像模糊校正。换句话说，当拍摄的图像具有由于手的移动引起的图像模糊时，在步骤S101和S102之间，在步骤S103和S104之间，或在步骤S105和S106之间，由于手的移动引起的图像模糊得以校正并把该校正的图像存储在存储器中。因此，存储在存储器中的图像I1、I2和I3类似于使用固定在照相机三角架上的数字照相机连续拍摄出的图像。
已知的常规处理可用作对由于手的移动引起的图像模糊的校正。该处理包括，例如，使用加速度传感器检测移位并移动透镜的方法；通过使用成像元件来拍摄具有大于目标分辨率的分辨率的图像、读取适当的部分以使移位不会发生的方法；和不使用传感器只通过使用图像处理校正由于手的移动引起的图像模糊的方法。
在步骤S107，确定在步骤S101、步骤S103和步骤S105中拍摄三幅图像期间由对象本身所产生的图像模糊是否已经发生。通过比较三幅图像之中的两幅图像来确定由对象自身产生的图像模糊是否已经发生。例如，通过使用图像I1和I3，可以检测到运动。作为举例，说明一种方法，其中，在检测图像I1和I3之间的像素值的差值后，当该差值等于或大于阈值时，将该像素登记为运动部分。如果确定由对象自身产生的图像模糊没有发生(在步骤108中的否)，则处理进入步骤S112。如果确定由对象自身产生的图像模糊已经发生(在步骤108中的是)，则处理进入步骤S109。
在步骤S109，确定对步骤S107中检测的运动部分是否能执行用于适当的白平衡调节的校正。该确定使用一种基于在步骤S107中作为运动部分登记的像素数目与构成图像的像素的数目的比率的确定方法。例如，当作为运动部分登记的像素数目与构成图像的像素的数目的比率[ratioA]等于或大于预定的常量阈值[threshold]时，确定不能执行校正。相反，当比率[ratioA]小于阈值时，确定可以执行校正。
如果在步骤S109，确定不能执行校正，则处理进入步骤S113。如果在步骤S109，确定可以执行校正，则处理进入步骤S110。
在步骤S113，通过对在闪光发射下拍摄的图像I2执行白平衡控制，生成输出图像R并且处理结束。在白平衡控制中使用的参数是根据外部光分量设置的参数、根据闪光光线分量设置的参数、和基于外部光和闪光光线之间的中间分量设置的参数的其中之一。执行设置以上参数之一的白平衡控制。白平衡控制是一种常规地进行的方法。因此，省略它的详细描述。使用的参数以一个3×3的矩阵表示。该矩阵用于转换形成每一像素颜色的颜色分量。作为该3×3矩阵，使用在其中除了对角元素以外的元素都设为零的矩阵。
在步骤S110，处理执行包括基于多图像数据的白平衡控制的像素值校正。在步骤S110，只校正除在步骤S107中的运动部分检测中检测到的运动部分之外的像素值。在步骤S111，校正运动部分的像素值。可替换地，在步骤S110，对所有像素，执行包含白平衡控制的像素值校正，在步骤S111，只对作为运动部分的像素的执行校正。
在步骤S111作为运动部分的像素值的校正是通过例如将径向(radial)基函数(basis function)应用到其中的处理、将平滑滤波器应用到其中的处理或类似的处理来进行的。在其申请人与本发明的受让人相同的日本专利申请No.2003-312630中描述了这些处理的详细情况。
下面描述在各个步骤S110和S112中基于多图像数据的白平衡控制。
步骤S110和S112是相同的。换句话说，在步骤S112，当步骤S107在运动检测中没有检测到运动时，对全部图像执行像素值校正。在步骤S110，以相同的处理顺序执行除了步骤S107中检测到的运动部分之外的像素的值的校正，或者全部像素值的校正。下面将参照附图3描述各个步骤S110和S112的详细情况。
在步骤S201，检测在闪光发射下拍摄的图像I2和在无闪光发射下拍摄的图像I1之间的每一颜色分量(例如，每一R、G、和B通道(channel)中)的差以生成差值图像F(＝I2-I1)。把该差值图像F(＝I2-I1)作为闪光分量图像存储在存储器中。假定在无闪光发射下拍摄图像的步骤S101和闪光发射下拍摄图像的步骤S103期间内拍摄对象没有移动，则差值图像F(＝I2-I1)等效于下述这样拍摄的图像，即在完全没有外部光的情况下，只有闪光发射入射至拍摄对象并由拍摄对象反射的光入射到照相机的固态成像设备上，也就是说，为闪光分量图像。
在步骤S202，根据闪光发射的色温对差值图像F进行白平衡控制。换句话说，基于根据闪光分量的参数，对为闪光分量图像的差值图像F进行白平衡控制。此外，在闪光发射太亮或太暗时，执行级别(level)调整以便图像亮度最优，以此产生作为校正闪光分量图像的校正差值图像F′。
在步骤S203，根据外部光对在无闪光发射下拍摄的图像I1进行白平衡控制。换句话说，基于对应于外部光分量的参数，对在无闪光发射下拍摄的图像I1执行白平衡控制以产生校正的图像I1′。
由常规已知的白平衡控制执行该处理。例如，可以使用日本未审查专利申请公开No.2001-78202中所描述的技术。在日本未审查专利申请公开No.2001-78202中，基于在闪光发射下拍摄的图像I2和在无闪光发射下拍摄的图像I1之间的差值图像F和已知的光谱特征，找到拍摄对象的颜色分量数据和外部光光谱分布作为发光(lighting)分量数据。通过使用该发光分量数据来对闪光发射下拍摄的图像I1执行白平衡控制，产生校正的图像I1′。
在步骤S204，通过调节校正差值图像F′的强度(增益)而产生强度调节差值图像F″作为增益调节闪光分量图像，所述校正差值图像F′是通过在闪光发射太亮或太暗时执行校正以使最终的图像具有最优亮度而获得的。
用于产生强度调节差值图像F″的整个过程如下所述通过利用诸如基于校正差值图像F′、校正图像I1′和这些图像像素值的直方图的统计量和涉及对于组合图像″F′+Ii′″进行诸如伽马校正这样的非线性变换而获得的图像的统计量，找出校正差值图像F′的最优增益，强度调节差值图像F″作为具有调节了的亮度的增益调节闪光分量图像而产生。
在步骤S204执行的用于产生强度调节差值图像F″(增益调节闪光分量图像F″)的处理过程，将参照图4所示的流程在下面描述。
在步骤S301，基于已经进行过白平衡控制的校正差值图像F′生成闪光遮蔽Mf。闪光遮蔽Mf表示图像的一部分，在该部分中认为在接收闪光发射的条件下来拍摄对象的图像。在下面将描述用于生成闪光遮蔽Mf的特定方法的一个举例。
首先，在校正差值图像F′中，检测具有等于或大于预设阈值(Th1)的亮度的像素。计算所检测到的、具有等于或大于预设阈值(Th1)的亮度的像素的亮度的平均值。当所检测到的、组成校正差值图像F′的像素的亮度大于该计算的平均值时，就可以说部分校正差值图像F′将大大影响组合了外部光效果和闪光效果的最终图像。
关于对应于参照附图2描述的在步骤S107中检测到的拍摄对象运动的像素，有可能该运动以闪光分量的形式而出现。因此，把在步骤S107中检测到的像素从处于闪光遮蔽设定(setting)的像素排除。在图2中所示步骤S111中执行运动部分的像素值校正。
换句话说，由满足两个条件的像素区域构成的闪光遮蔽生成为闪光遮蔽Mf。这两个条件如下(a)具有大于预定阈值的亮度的、校正差值图像F′中的像素；和(b)不对应于拍摄对象本身的图像运动部分的像素。
在步骤S302及其后，通过分析对应于由满足条件(a)和(b)的像素区域组成的闪光遮蔽Mf的图像的部分，并计算校正差值图像F′的最优增益g，以下面形式找出增益调节差值图像F″F″＝gF′下面参照附图5、6、和7描述步骤S302及其后的步骤。
在步骤S302，计算校正差值图像F′和校正图像I1′中的闪光遮蔽Mf部分的平均亮度。
图5的部分(1)显示了频率分布图，表示校正图像I1′中闪光遮蔽Mf部分中亮度(像素值)的频率。在该图中，水平轴表示像素值，垂直轴表示相应的频率。例如，每一个像素值表示在0(最小值)和255(最大值)之间的一个亮度。虽然为了描述的简洁使用一幅图来描述，但是，例如，在RGB彩色图像的情况下，生成对应RGB通道的图像并对每一通道进行下面的处理。
形成校正图像I1′中闪光遮蔽Mf部分的像素亮度(像素值)分布在最小值例如0，到最大值例如255之间。校正图像I1′中闪光遮蔽Mf部分中亮度的平均值(此后称为“avg1”)用“AVERAGE(avg1)”表示。
图5的部分(2)显示了频率分布图，表示校正差值图像F′中闪光遮蔽Mf部分中亮度(像素值)的频率。形成校正差值图像F′中闪光遮蔽Mf部分的像素的亮度(像素值)的平均值用“AVERAGE(avgF)”表示。
在图4中所示的步骤S302，通过生成频率分布图，计算频率分布图中的平均值，即校正图像I1′中闪光遮蔽Mf部分中亮度(像素值)的平均值avg1，和校正差值图像F′中闪光遮蔽Mf部分中亮度(像素值)的平均值avgF。
在步骤S303，产生通过组合校正图像I1′和校正差值图像F′获得的组合图像Rtmp(＝I1′+F′)。组合图像Rtmp通过相加校正图像I1′的像素值和校正差值图像F′的相应像素值而生成。
图5的部分(3)显示了频率分布图，表示通过组合校正图像I1′和校正差值图像F′而得到的组合图像Rtmp(＝I1′+F′)中闪光遮蔽Mf部分的亮度(像素值)的频率。设置形成组合图像Rtmp(＝I1′+F′)中闪光遮蔽Mf部分的像素亮度(像素值)使其能完全移位到最大像素值。组合图像Rtmp(＝I1′+F′)中闪光遮蔽Mf部分中的亮度平均值用“AVERAGE(avg1+F)”表示。
形成从固态图像传感设备103输出的图像的像素的亮度与入射到固态图像传感设备103的光量具有线性关系。作为普通数字静态照相机输出的最终图像的图像是例如伽马校正这样的非线性变换，是对从固态成像传感设备输出的图像进行的。伽马校正是一种用于显示图像的精确亮度和颜色的精确色度的校正处理。当使用数字静态照相机拍摄一幅图像得到的像素无变化地输出时，在人眼观察时该像素可能变得不自然。为了解决这个问题，通过使用预定的伽马曲线，对输入像素值和输出像素值进行非线性变换。这称为“伽马校正”。
在后面将该非线性变换表示为“T”。在步骤S304，产生由Rtmp(＝I1′+F′)表示的图像，其中校正图像I1′和校正差值图像F′的组合图像Rtmp(＝I1′+F′)进行了非线性变换。
非线性变换图像Rtmp′(＝T(F′+I1′))表示通过对组合图像Rtmp(＝F′+I1′)的每一个像素的每一通道，例如每一RGB通道的像素值进行非线性变换T所得到的非线性变换图像。
图6是频率分布图，显示了非线性变换图像T(F′+I1′)中闪光遮蔽Mf部分的亮度(像素值)频率，其中非线性变换图像是通过对图5的第(3)部分所示的、校正图像I1′和校正差值图像F′的组合图像(F′+I1′)像素的每一通道的像素进行非线性变换T而得到的。设置形成非线性变换图像T(F′+I1′)中闪光遮蔽Mf部分的像素的亮度(像素值)使其完全能移位到最大像素值。
在步骤S305，从图6所示的频率分布图计算标准差。形成非线性变换图像T(F′+I1′)中闪光遮蔽Mf部分的像素值的平均值用“AVERAGE(avgrslt)”表示，如图6所示。此外，标准差表示为“stdrslt”。
如图6所示，在包含形成非线性变换图像T(F′+I1′)中闪光遮蔽Mf部分的像素值的频率分布图中，许多像素值分布在最大值，例如像素值255的附近。因此可以认为出现了曝光过度高亮区。曝光过度高亮区的像素由图6所示的曝光过度高亮区201表示。换句话说，伽马校正设置像素值为最大(最大亮度)，即饱和像素值。这一状态就是所谓的“曝光过度高亮状态(overexposed highlight state)”，其中像素值中的原始差值不能表示。
一幅理想的图像应是足够明亮的并且不处于曝光过度高亮状态。一幅由伽马校正产生的、如图6所示具有许多饱和像素值的图像，具有理想图像的特征。
因此，在本发明，将用于调节的增益g作为降低具有饱和值、并包含在非线性变换图像中的像素的数目的调节值来计算，其中该非线性变换图像是以基于校正图像I1′和校正差值图像F′的组合图像为基础所产生的，该校正图像I1′通过以基于外部光分量的参数执行白平衡控制而得到，及校正差值图像F′是通过基于闪光分量执行白平衡控制而作为闪光分量图像得到的。通过使用计算的增益g，使校正差值图像F′得到校正而生成强度调节闪光分量图像。
如上所述，在本发明中，通过以调节校正差值图像F′的增益g来对闪光发射的增益进行实际(virtual)调节，从而生成最终图像(最终调节图像)。
在步骤S306，生成一幅明亮并且不处于曝光过度高亮状态的图像作为最终调节图像。因此，通过利用图5的部分(1)所示校正图像I1′中闪光遮蔽Mf部分中的亮度平均值avg1、图5的部分(2)所示校正差值图像F′中闪光遮蔽Mf部分中的亮度平均值avgF、和图6中所示形成非线性变换图像T(F′+I1′)中闪光遮蔽Mf部分的像素的标准差stdrslt，计算出校正差值图像F′的最优增益g。在步骤S307，通过对校正差值图像F′的每一通道上的像素值乘以增益g，生成强度调节差值图像F″。换句话说，通过使用下述表达式得到强度调节差值图像F″F″＝gF′通常，当测量的像素值分布与正态分布一致时，大约68％的测量像素值处于“平均值”±“标准差”的范围里，大约95％的测量像素值处于“平均值”±“两倍标准差”的范围里。并且在像素值分布与正态分布不一致的情况下，也能发现相似的趋势。
因此，当如形成非线性变换图像T(F′+I1′)中闪光遮蔽Mf部分的像素的图6中的像素值直方图中所示的那样、许多曝光过度亮区出现时，在很多情况下，闪光遮蔽Mf部分中的亮度的平均值和标准差之和，即由图6所示的点A所表示的值大于最大像素值。
在步骤S306中校正差值图像F′的增益g的计算中，将增益g设置为使“平均值”±“k倍标准差”(k表示预定的固定阶次值，即1、1.5、2、......)的范围不大于最大像素值并表示足够的亮度，其中“平均值”±“k倍标准差”是从形成非线性变换图像T(F′+I1′)中闪光遮蔽Mf部分的像素的像素值直方图求得的。
表示没有曝光过度亮区或包含小块曝光过度亮区的理想图像可能由例如图7中所示。
通过将非线性变换图像T(gF′+I1′)中闪光遮蔽Mf部分的亮度的直方图设置为如图7所示的形式，并基于强度调节非线性变换图像T(gF′+I1′)生成最终的输出图像，可以得到没有曝光过度高亮区并且具有足够亮度的图像。
图7所示的直方图中的平均值用“avg′rslt”表示， 该直方图中的标准差用“std′rslt”表示。
由平均值和标准差之和表示的点A，表示图7中所示的小于最大值的像素值。平均值“avg′rslt”代表具有足够亮度的像素值。例如，平均值avg′rslt在像素值(亮度)上大于由“(最小值+最大值)/2”表示的中间像素值。
此处假设图7所示的直方图是关于强度调节非线性变换图像T(gF′+I1′)中闪光遮蔽Mf部分的亮度直方图。
在该实施例中，为了使强度调节非线性变换图像T(gF′+I1′)中闪光遮蔽Mf部分具有少量曝光过度高亮区并且具有足够亮度，调节增益g以便强度调节非线性变换图像T(gF′+I1′)中闪光遮蔽Mf部分中的亮度直方图(图7)的平均值avg′rslt等于从最大亮度值减去k倍标准差std′rslt所得到的值。
使用增益g生成的强度调节非线性变换图像T(gF′+I1′)中闪光遮蔽Mf部分是包含少量曝光过度高亮区和具有足够亮度的局部图像。
在计算出生成最优图像的增益g的情况下，当增益g不是太大或太小时，可以认为在非线性变换图像T(F′+I1′)中闪光遮蔽Mf部分的亮度的标准差与强度调节非线性变换图像T(gF′+I1′)中闪光遮蔽Mf部分的亮度标准差之间没有大的差别。假设图7所示的直方图，即强度调节非线性变换图像T(gF′+I1′)中闪光遮蔽Mf部分的亮度直方图中的标准差std′rslt在大小上等于图6所示的直方图，即在强度调节前的状态下的非线性变换图像T(F′+I1′)中闪光遮蔽Mf部分的亮度直方图中的标准差。换句话说，std′rslt＝stdrslt。
假设以“T(avg1+g×avgF)”表示的、通过对平均值“avg1”和平均值“avgF”的和“avg1+avgF”进行非线性变换T而计算出的、通过使用增益g得到的阶次值、等于由“fF′+I1′”所表示的最终强度调节非线性变换图像中闪光遮蔽Mf部分中的亮度平均值“avg′rslt”，其中平均值“avg1”是关于校正图像I1的图5的部分(1)中所示直方图中的平均值，而平均值“avgF”，是校正差值图像F′中闪光遮蔽Mf部分中亮度的平均值。换句话说，假设avg ′rslt＝T(avg1+g×avgF)。
换句话说，求得的强度调节非线性变换图像T(gF′+I1′)的平均值avg′rslt等于T(avg1+g×avgF)。当该值等于(max-k×stdrslt)时，设置了一幅对应于图7中所示直方图的图像。结果，形成了与包含少量曝光过度高亮区并具有足够亮度的图像一致的直方图。
换句话说，T(avg1+g×avgF)＝max-k×stdrslt(1)只需要计算满足表达式(1)的增益g。将通过转换表达式(1)得到的表达式(2)用作计算增益g的表达式。
g＝{T-1(max-k×stdrslt)-avg1}/avgF(2)这里T-1表示非线性变换T的逆变换.
在图4的步骤S306中，基于表达式(2)计算增益g作为用于闪光分量图像(校正差值图像F′)的增益调节值。如从表达式(2)理解的那样，可以基于下述每项计算增益ga)图5的部分(1)中所示校正图像I1′中闪光遮蔽Mf部分中的亮度的平均值avg1；b)校正差值图像F′中闪光遮蔽Mf部分中亮度的平均值avgF；c)形成非线性变换图像T(F′+I1′)中闪光遮蔽Mf部分的像素值的标准差stdrslt；和d)固定阶次值k。
固定阶次值k是一个预设值，例如k＝1或k＝1.5。
在步骤S307，通过对校正差值图像F′的每一像素的每一通道上的值乘以增益g，计算出强度调节差值图像F″。这可以使用下面的表达式表示F″＝gF′该计算的强度调节差值图像F″设置为在生成最终调节图像中使用的闪光分量图像。
在图3所示的步骤S204中执行已经描述的该处理。增益g的自动计算已经进行了描述。然而，使用者可以随意设置增益g以调节所需的闪光发射强度。
在结束步骤S204后，在步骤S205，通过组合强度调节差值图像F″和设置为闪光分量图像的图像I1′，产生白平衡控制图像R。换句话说，白平衡控制图像R生成为R＝I1′+F″。
以上的处理是图2所示的步骤S112和S110的详细处理过程。
当在步骤S107没有检测到运动时，白平衡控制图像R用作最终调节图像，其中白平衡控制图像通过组合作为闪光分量图像得到的强度调节差值图像F″和图像I1′而得到。这可用R＝I1′+F″表示。对最终调节图像执行非线性变换处理，例如伽马校正，并输出该处理过的图像。
当在步骤S107检测到运动时，得到在步骤S110中获得的由R＝I1′+F″表示的白平衡控制图像R。接着，在步骤S111，对运动部分执行像素值校正。步骤S111的运动部分像素值校正的执行是通过诸如在上述日本专利申请No.2003-312630中所描述的将径向基函数应用到其中的处理、或将平滑滤波器应用到其中的处理来进行的，该日本专利申请No.2003-312630的申请人与本发明的受让人相同。
当在步骤S107检测到运动时，在步骤S111，将其中运动部分中的像素值得到校正的图像用作为最终校正图像。
在步骤S110中的像素值校正中，对所有的形成图像的像素进行校正，而不管运动部分中的像素和其它部分中的像素之间的差别，并且在步骤S110，生成由R＝I1′+F″表示的白平衡控制图像R。接着，在步骤S111，可以只对步骤S107检测到的像素值(在运动部分中)进行特别的校正以校正白平衡控制图像R。特别地，可以使用一种方法，该方法接收在闪光发射下拍摄的图像I2的运动部分中的像素值，参考图像R中不运动部分的像素值，并组合图像以生成一幅最终的图像。
图8是显示根据本实施例执行处理过程的数字信号处理器(DSP)(对应于图1所示的DSP 106)的功能结构框图。
下面将对比图2所示的流程图来描述图8中所示的DSP的处理过程。
无闪光发射下拍摄的图像I1、在闪光发射下拍摄的图像I2和无闪光发射下拍摄的图像I3在步骤S101到S106分别存储在帧存储器301、302和303。作为存储图像的帧存储器，可以使用DSP的内置存储器或总线连接存储器(图1所示存储器112)。
在运动检测单元309中执行步骤S107的运动检测。运动检测是以基于无闪光发射下拍摄的图像I1和无闪光发射下拍摄的图像I3的差值数据为基础进行的检测处理。
基于多图像数据在步骤S110和S112的每一个中进行的白平衡控制是已经参照附图3和4进行描述了的处理。
基于无闪光发射下拍摄的图像I1和在闪光发射下拍摄的图像I2，由F＝I2-I1表示的差值图像数据在闪光分量图像计算部分330(图2，S201)的差值图像计算单元304中进行计算。接下来，通过根据基于白平衡控制单元307中的闪光分量设置的参数对差值图像数据F进行的白色平衡控制来生成作为闪光分量图像的校正差值图像F′(图3，S202)，所述差值图像数据F对应于只有闪光发射的照明条件下所拍摄的图像。
白平衡控制单元305根据基于在外部光估计单元306中所得到的外部光估计值设置的参数对无闪光发射下拍摄的图像I1进行白平衡控制(图3，S203)。
强度调节值计算单元321计算增益g，作为防止校正差值图像F′没有曝光过度高亮区或包含少量曝光过度高亮区的调节值。强度调节闪光分量图像计算单元322计算由F″＝gF′表示的强度调节闪光分量图像。该处理是图3中的步骤S203，即对应图4所示流程图的处理。
最终调节图像计算单元(像素值加法器)308把从白平衡控制单元305输出的校正图像I1′的像素值和从强度调节闪光分量图像计算单元322输出的强度调节差值图像F″的像素值相加(图3，S205)。
当所拍摄的图像不合运动部分时，具有在最终调节图像计算单元308中相加的像素值的图像数据，通过输出开关单元312作为白平衡控制图像输出，而不进行运动部分校正像素值计算单元310中的处理。图像数据输出到D/A转换器108(见图1)、用于执行编码的编解码器111等。
此外，当在步骤S309作为使用基于无闪光发射下拍摄的图像I1和无闪光发射下拍摄的图像I3的差值数据的运动检测的结果，检测到拍摄对象本身的运动部分时，在运动部分校正像素值计算单元310中，运动部分的像素值通过执行例如应用径向基函数的处理或使用平滑滤波器的处理这样的处理而得以校正，并将其中运动部分由校正的像素值替换的图像通过输出开关单元312输出。
白平衡控制单元311执行图2所示的流程图中的步骤113。换句话说，当确定不可能进行校正时，例如，尽管由运动检测单元309检测到运动部分，但相对于全部图像该运动部分的比率很高的情况下，通过输入在闪光发射下拍摄的图像I2并根据预定的参数进行白平衡控制，通过输出开关单元312输出所产生的图像。
尽管在图8所示的结构里，为了描述功能将处理单元分开显示，在实际操作中，该功能可通过在DSP中内置的处理器根据按照上述流程执行处理的程序进行。
已经参照特定实施例对本发明进行了充分的描述。然而，很明显的是，本领域技术人员可以改正或替换前面的实施例而不脱离本发明的要旨。换句话说，已经以例证的形式公开了本发明。因此，本发明不应解释为有限的意义(sense)。为了理解本发明的要点，应该考虑本发明所附的权利要求。
尽管在前面的实施例中，当拍摄对象在较暗的环境时，把发出光的照明设备用词语“闪光”描述，也可以把它称为“频闪”。因此它不限于闪光。可以将本发明应用到当拍摄对象在较暗的环境时发出光的普通的照明设备。
可以使用硬件、软件或两者的组合执行本说明书中所述的连续处理过程。在使用软件执行处理的情况下，可以通过把记录处理序列的程序安装在专用硬件组成的计算机的存储器中，或把该程序安装在能进行各种类型处理的多用途计算机中来执行处理。
例如，可以把程序记录到作为记录介质的硬盘或只读存储器(ROM)里。可替换地，可以把程序暂时或永久地存储(记录)在可移动记录介质中，例如软盘(flexible disk)、CD-ROM、磁光(magneto-optical)盘、数字通用盘(digitalversatile disk，DVD)、磁盘或半导体存储器。可以将这种类型的可移动记录介质作为所谓的“程序包(package)软件”提供。
可以把程序从以上的可移动记录介质安装到计算机。此外，可以将该程序通过无线电传送到计算机，或可以使用线路通过网络如互联网传送到计算机。计算机可以接收并以上面的方式将传输的程序安装在内置记录介质例如硬盘里。
本说明书中所述的处理步骤不仅仅可以根据说明书以时间序列方式执行，也可以根据执行步骤的装置的处理能力或根据需要以并行或分离的方式执行。在本说明书中，词语“系统”是多个装置的逻辑集合，而不限于一个将其中具有结构的装置放置在单一的外壳中的设备。
权利要求
1.一种图像处理方法，包括闪光分量图像计算步骤，用于基于无闪光发射下拍摄的第一图像数据和有闪光发射下拍摄的第二图像数据计算闪光分量图像数据；强度调节值计算步骤，用于为闪光分量图像数据计算强度调节值；强度调节闪光分量图像计算步骤，用于通过使用强度调节值计算强度调节闪光分量图像数据；以及最终调节图像生成步骤，用于基于第一图像数据和强度调节闪光分量图像数据而生成最终调节图像数据。
2.根据权利要求1的图像处理方法，其中所述闪光分量图像计算步骤包括计算表示第一图像数据和第二图像数据之间的差别的差值图像数据的步骤；和基于对应于闪光光线分量的参数对该差值图像数据执行白平衡控制的步骤；以及在所述强度调节值计算步骤中，为进行了白平衡控制的闪光分量图像数据计算强度调节值。
3.根据权利要求1的图像处理方法，其中，在所述最终调节图像生成步骤中，基于以下所述生成最终调节图像数据(a)通过基于对应于外部光分量的参数对第一图像数据执行白平衡控制而获得的白平衡控制第一图像数据；和(b)通过对闪光分量图像数据执行强度调节而获得的强度调节闪光分量图像数据，其中该闪光分量图像数据是通过基于对应于闪光光线分量的参数执行强度调节而获得的。
4.根据权利要求1的图像处理方法，其中在所述强度调节值计算步骤中，把强度调节值作为用于减少具有饱和值并包含在基于组合图像数据而产生的非线性变换图像中的像素的数目的调节值计算，该组合图像数据通过组合第一图像数据和闪光分量图像数据而产生，其中对第一图像数据基于对应于外部光分量的参数执行白平衡控制，对闪光分量图像数据基于对应于闪光光线分量的参数执行白平衡控制。
5.根据权利要求4的图像处理方法，其中用于非线性变换图像的非线性变换是伽马校正；以及在所述强度调节值计算步骤中，把强度调节值作为减少具有饱和值并包含在伽马校正图像中的像素的数目的调节值计算。
6.根据权利要求1的图像处理方法，其中所述强度调节值计算步骤包括从闪光分量图像数据产生由具有等于或大于预定阈值的值的像素组成的闪光遮蔽Mf的步骤，其中基于对应于闪光光线分量的参数对所述闪光分量图像数据执行白平衡控制；和通过使用下述表达式计算用于调节的增益g的增益计算步骤g＝{T-1(max-k×stdrslt)-avg1}/avgF其中T-1表示非线性变换T的逆变换；max表示最大输出像素值；k表示预定的阶次值；avg1表示第一图像数据的白平衡控制图像数据I1′的对应于闪光遮蔽Mf的部分中的亮度平均值；avgF表示基于闪光分量图像数据的白平衡控制图像数据F′的对应于闪光遮蔽Mf的部分中的亮度平均值；和stdrslt表示形成非线性变换图像数据T(F′+I1′)的对应于闪光遮蔽Mf的部分的像素值的标准差。
7.根据权利要求6的图像处理方法，其中在所述强度调节闪光分量图像计算步骤中，通过使用用于调节的增益g，基于下述表达式计算强度调节闪光分量图像数据F″F″＝gF′其中F′表示白平衡控制图像数据；和在所述最终调节图像生成步骤中，基于下述表达式计算最终调节图像数据RR＝I1+F″其中I1表示校正图像数据I1，F″表示强度调节闪光分量图像数据。
8.根据权利要求1的图像处理方法，还包括运动检测步骤，基于无闪光发射下拍摄的第一图像数据和第三图像数据执行运动检测；和对在运动检测步骤中检测到的运动部分执行像素值校正的步骤。
9.根据权利要求1的图像处理方法，还包括图像拍摄步骤，通过控制闪光发射执行拍摄包含第一图像数据和第二图像数据的多图像数据。
10.一种图像处理装置，包括闪光分量图像计算单元，用于基于无闪光发射下拍摄的第一图像数据和有闪光发射下拍摄的第二图像数据计算闪光分量图像数据；强度调节值计算单元，用于为闪光分量图像数据计算强度调节值；强度调节闪光分量图像计算单元，用于通过使用强度调节值来计算强度调节闪光分量图像数据；以及最终调节图像生成单元，用于基于第一图像数据和强度调节闪光分量图像数据用来生成最终调节图像数据。
11.根据权利要求10的图像处理装置，其中所述闪光分量图像计算单元包括差值图像计算单元，用于计算表示第一图像数据和第二图像数据之间差别的差值图像数据；和白平衡控制单元，用于基于对应于闪光光线分量的参数对该差值图像数据执行白平衡控制；并且所述强度调节值计算单元为闪光分量图像数据计算强度调节值，其中的闪光分量图像数据是对其进行了白平衡控制的闪光分量图像数据。
12.根据权利要求10的图像处理装置，其中所述最终调节图像生成单元基于以下所述生成最终调节图像数据(a)通过基于对应于外部光分量的参数对第一图像数据执行白平衡控制而获得的白平衡控制第一图像数据；和(b)通过对闪光分量图像数据执行强度调节而获得的强度调节闪光分量图像数据，其中的闪光分量图像数据是通过基于对应于闪光光线分量的参数执行强度调节而获得的闪光分量图像数据。
13.根据权利要求10的图像处理装置，其中所述强度调节值计算单元把强度调节值作为减少具有饱和值并包含在基于组合图像数据而产生的非线性变换图像中的像素的数目的调节值计算，该组合图像数据通过组合第一图像数据和闪光分量图像数据而产生，其中的第一图像数据是基于对应于外部光分量的参数对其执行白平衡控制的第一图像数据，闪光分量图像数据是基于对应于闪光光线分量的参数对其执行白平衡控制的闪光分量图像数据。
14.根据权利要求13的图像处理装置，其中用于非线性变换图像的非线性变换是伽马校正；并且所述强度调节值计算单元把强度调节值作为减少具有饱和值并包含在伽马校正图像中的像素的数目的调节值来计算。
15.根据权利要求10的图像处理装置，其中所述强度调节值计算单元从闪光分量图像数据产生由具有等于或大于预定阈值的值的像素组成的闪光遮蔽Mf，其中的闪光分量图像数据是基于对应于闪光光线分量的参数对其执行白平衡控制的闪光分量图像数据；以及所述强度调节值计算单元通过使用以下表达式计算用于调节的增益gg＝{T-1(max-k×stdrslt)-avg1}/avgF其中T-1表示非线性变换T的逆变换；max表示最大输出像素值；k表示预定的阶次值；avg1表示第一图像数据的白平衡控制图像数据I1′的对应于闪光遮蔽Mf的部分中的亮度平均值；avgF表示基于闪光分量图像数据的白平衡控制图像数据F′的对应于闪光遮蔽Mf的部分中的亮度平均值；以及stdrslt表示形成非线性变换图像数据T(F′+I1′)的对应于闪光遮蔽Mf的部分的像素值的标准差。
16.根据权利要求15的图像处理装置，其中所述强度调节闪光分量图像计算单元基于以下表达式通过使用用于调节的增益g计算强度调节闪光分量图像数据F″F″＝gF′其中F′表示白平衡控制图像；以及所述最终调节图像生成单元基于以下表达式计算最终调节图像数据RR＝I1+F″其中I1表示校正图像数据I1，F″表示强度调节闪光分量图像数据。
17.根据权利要求10的图像处理装置，还包括运动检测单元，用于基于无闪光发射下拍摄的第一图像数据和第三图像数据执行运动检测；和像素值校正单元，用于对由运动检测单元检测到的运动部分执行像素值校正。
18.根据权利要求10的图像处理装置，还包括图像拍摄单元，用于通过控制闪光发射执行拍摄包含第一图像数据和第二图像数据的多图像数据。
19.一种用于执行图像处理的计算机程序，该程序包括闪光分量图像计算步骤，用于基于无闪光发射下拍摄的第一图像数据和有闪光发射下拍摄的第二图像数据计算闪光分量图像数据；强度调节值计算步骤，用于为闪光分量图像数据计算强度调节值；强度调节闪光分量图像计算步骤，用于通过使用强度调节值计算强度调节闪光分量图像数据；以及最终调节图像生成步骤，用于基于第一图像数据和强度调节闪光分量图像数据而生成最终调节图像数据。
全文摘要
一种图像处理方法和装置进行下述处理基于无闪光发射下拍摄的第一图像和有闪光发射下拍摄的第二图像计算闪光分量图像数据，通过使用强度调节闪光分量图像生成最终调节图像，其中的强度调节闪光分量图像是通过对闪光分量图像数据执行强度调节而产生的强度调节闪光分量图像。该方法和装置可以生成高质量的图像，其中减少了非线性变换图像中的饱和像素，即曝光过度高亮区。
文档编号H04N5/235GK1645914SQ20051005187
公开日2005年7月27日 申请日期2005年1月24日 优先权日2004年1月23日
发明者山田类 申请人:索尼株式会社