专利名称：图像处理装置和图像处理方法
技术领域：
本发明涉及用于控制图像数据的白平衡的技术。
背景技术：
诸如数字照相机或数字摄像机的使用图像传感器的摄像装置具有用于调整通过拍摄获取的图像数据的色调的白平衡控制的功能。白平衡包括手动白平衡控制和自动白平衡控制。 手动白平衡控制预先拍摄白色被摄体的图像并计算白平衡系数，计算的白平衡系数应用于整个图像平面。自动白平衡控制自动检测拍摄的图像数据中的白色部分，并基于整个图像平面上各颜色分量的平均值计算白平衡系数，然后将计算的白平衡系数应用于整个图像平面。当与闪光灯光不同的光源包括在闪光灯发光的场景中的图像数据中时，传统的自动白平衡控制应用上述计算的白平衡系数以进行白平衡控制。因此，难以进行用于将各个光源调整至适当颜色的白平衡控制。例如，当包括诸如灯泡色光源的低色温光源作为闪光灯发光的场景中的环境光时，由于闪光灯光是高色温光源，因此，如果对闪光灯光调整白平衡，则白平衡对低色温光源就不协调。另一方面，当对低色温光源调整白平衡时，则白平衡对闪光灯光就不协调。此外，即使通过对两个光源的中间调整白平衡来进行白平衡控制，则白平衡对任何一个光源均不协调。使用闪光灯光照射的区域略带蓝色，使用低色温光源照射的区域略带红色。为了解决上述问题，日本专利第3540485号公报讨论了以下所述的技术。更具体地，在日本专利第3540485号公报中讨论的技术针对各任意被摄体区域，将闪光灯发光时拍摄的图像数据与闪光灯没有发光时拍摄的图像数据相比较，以获取数据的比率，然后根据比率的值确定闪光灯光的贡献水平。随后，通过根据确定的贡献水平选择通过使闪光灯发光而被曝光时的图像数据的各被摄体区域的白平衡控制值，来进行白平衡控制。然而，由于在白平衡控制值针对各被摄体区域发生变化之后进行显像处理，所以在日本专利第3540485号公报中讨论的技术可能无法适当地对白平衡控制值进行诸如颜色再现的其他控制。此外，闪光灯发光时拍摄的图像数据与闪光灯不发光时拍摄的图像数据之间存在获取定时的时间差。因此，根据日本专利第3540485号公报所讨论的技术，当被摄体移动或摄像装置移动时，由于照射区域和照射量可能被错误检测，所以色调变化可能出现在被摄体的边缘部分
发明内容
本发明旨在提供能够减小边缘部分的色调变化的图像处理装置。根据本发明的一方面，提供了一种图像处理装置，其包括校正值计算单元，其被配置为基于使用闪光灯拍摄的图像数据计算第一白平衡校正值，并基于不使用闪光灯拍摄的图像数据计算第二白平衡校正值；差计算单元，其被配置为计算所述第一白平衡校正值与所述第二白平衡校正值之间的色温差；移动量计算单元，其被配置为计算被摄体和所述图像处理装置中的至少一个的移动量；校正单元，其被配置为基于所述色温差和所述移动量中的至少一个校正所述第一白平衡校正值和所述第二白平衡校正值；显像单元，其被配置为基于由所述校正单元校正的所述第一白平衡校正值由所述使用闪光灯拍摄的图像数据对第一图像数据进行显像，并基于由所述校正单元校正的所述第二白平衡校正值由所述不使用闪光灯拍摄的图像数据对第二图像数据进行显像；分量计算单元，其被配置为基于所述不使用闪光灯拍摄的图像数据的亮度值和所述使用闪光灯拍摄的图像数据的亮度值，计算外部光的亮度分量和闪光灯光的亮度分量；合成比计算单元，其被配置为基于所述外 部光的亮度分量和所述闪光灯光的亮度分量计算所述第一图像数据和所述第二图像数据的合成比；以及合成单元，其被配置为根据所述合成比将所述第一图像数据与所述第二图像数据进行合成。通过以下参照附图对示例性实施例的详细描述，本发明的其他特征和方面将变得清楚。
包含在说明书中并构成说明书的一部分的附图例示了本发明的示例性实施例、特征和方面，并且与文字说明一起用来解释本发明的原理。图I例示了根据本发明的示例性实施例的摄像装置的配置。图2是例示用于计算闪光灯发光时的第一白平衡(WB)校正值的处理的流程图。图3例示了在检测白色时要使用的图。图4例示了以时间序列排列的拍摄控制项。图5例示了静止图像拍摄驱动模式的WB校正值和电子取景器(EVF)拍摄驱动模式的WB校正值。图6例示了用于考虑到场景的氛围计算第二 WB校正值以保留色调的方法。图7是例示用于合成图像数据的处理的流程图。图8例示了在对WB校正值进行校正时所参照的二维表。图9例示了对被摄体区域进行剪辑以计算照射率。图10例示了根据本发明的示例性实施例的摄像装置的另一配置。
具体实施例方式下面将参照附图详细描述本发明的各种示例性实施例、特征和方面。图I例示了根据本发明的示例性实施例的摄像装置的配置。在图I中，固态图像传感器101包括电荷耦合设备(CCD)传感器或互补金属氧化物半导体(CMOS)传感器，固态图像传感器101的表面覆盖有例如拜耳阵列的红色、绿色和蓝色(RGB)滤色器。固态图像传感器101能够进行彩色拍摄。中央处理单元(CPU) 114计算快门速度和光圈值以照亮全部图像数据，并且也计算聚焦镜头的驱动量以在聚焦区域中聚焦在被摄体上。CPU 114计算的曝光值(快门速度和光圈值)以及聚焦镜头的驱动量被输出至控制电路113。白平衡(以下简称“WB”)控制电路103基于在存储器102中存储的图像数据计算WB校正值，并使用计算的WB校正值对在存储器102中存储的图像数据进行WB校正。以下将详细描述WB控制电路103计算WB校正值的方法。颜色矩阵电路104通过应用颜色增益将WB控制电路103进行WB校正的图像数据转换为色差信号R-Y和B-Y，从而以最佳颜色再生图像数据。低通滤波器(以下简称为“LPF”)电路105对色差信号R-Y和B-Y的频带进行限制。色度抑制(CSUP)电路106抑制LPF电路105进行限制的图像数据的饱和部分中的伪色信号。另一方面，WB控制电路103进行WB校正的图像数据还被输出至生成亮度信号“Y”的亮度信号⑴生成电路111。边缘增强电路112对生成的亮度信号“Y”进行边缘增强处理。 从CSUP电路106输出的色差信号R-Y和B-Y以及从边缘增强电路112输出的亮度信号“Y”通过RGB转换电路107被转换为RGB信号，然后伽玛(Y )校正电路108对RGB信号进行灰度校正。对其进行灰度校正的RGB信号通过颜色-亮度转换电路109被转换为YUV信号，YUV信号被压缩电路110压缩，然后作为图像数据被记录在外部记录介质或内部记录介质中。接下来，将详细描述WB控制电路103进行的WB校正值的计算处理。首先，将参照图2所示的流程图，描述作为主曝光期间(闪光灯发光时)的WB校正值的第一 WB校正值(第一白平衡校正值)的计算处理。第一 WB校正值是基于在闪光灯发光时拍摄的图像数据(以下简称为“使用闪光灯的图像数据”)计算的校正值。在步骤S201中，WB控制电路103读取在存储器102中存储的使用闪光灯的图像数据，并且将使用闪光灯的图像数据分割为任意的“m”个块。在步骤S202中，WB控制电路103对各个块(I至“m”)的像素值进行相加和平均，计算颜色平均值(R[i]、G[i]和B[i])，然后使用以下公式计算颜色评估值(Cx[i]和Cy[i])Cx[i] = (R[i]-B[i])/Y[i] X1024Cy[i] = (R[i]+B[i]-2G[i])/Y[i] X1024其中Y[i] = (R[i]+2G[i]+B[i])/4。WB控制电路103使用包括图3所示的坐标轴的图检测白色。“x”坐标(Cx)的负方向表示对高色温被摄体的白色进行拍摄时的颜色评估值，其正方向表示对低色温被摄体的白色进行拍摄时的颜色评估值。此外，“y”坐标(Cy)表示光源的绿色分量水平。绿色分量水平在负方向越大，则包括的绿色分量越多。包括大量绿色分量的光源指荧光灯。在步骤S203中，WB控制电路103确定在步骤S202中计算的第i个块的颜色评估值(Cx[i]和Cy[i])是否包括在图3所示的预先设置的白色检测区域301中。由于使用作为已知光源的闪光灯光生成白色检测区域301，所以检测区域有限。当第i个块的颜色评估值(Cx[i]和Cy [i])包括在预先设置的白色检测区域301中时，处理进行到步骤S204。另一方面，当第i个块的颜色评估值(Cx[i]和Cy[i])没有包括在预先设置的白色检测区域301中时，处理跳过步骤S204并进行到步骤S205。当WB控制电路103确定第i个块为白色(步骤S203中“是”)，然后在步骤S204中，WB控制电路103对该块的颜色平均值(R[i]、G[i]和B[i])进行积分运算。在步骤S203和S204中进行的处理可以由以下公式表示
权利要求
1.一种图像处理装置，所述图像处理装置包括 校正值计算单元，其被配置为基于使用闪光灯拍摄的图像数据计算第一白平衡校正值，并基于不使用闪光灯拍摄的图像数据计算第二白平衡校正值； 差计算单元，其被配置为计算所述第一白平衡校正值与所述第二白平衡校正值之间的色温差； 移动量计算单元，其被配置为计算被摄体和所述图像处理装置中的至少一个的移动量; 校正单元，其被配置为基于所述色温差和所述移动量中的至少一个校正所述第一白平衡校正值和所述第二白平衡校正值； 显像单元，其被配置为基于由所述校正单元校正的所述第一白平衡校正值由所述使用闪光灯拍摄的图像数据对第一图像数据进行显像，并基于由所述校正单元校正的所述第二白平衡校正值由所述不使用闪光灯拍摄的图像数据对第二图像数据进行显像； 分量计算单元，其被配置为基于所述不使用闪光灯拍摄的图像数据的亮度值和所述使用闪光灯拍摄的图像数据的亮度值，计算外部光的亮度分量和闪光灯光的亮度分量； 合成比计算单元，其被配置为基于所述外部光的亮度分量和所述闪光灯光的亮度分量计算所述第一图像数据和所述第二图像数据的合成比；以及 合成单元，其被配置为根据所述合成比将所述第一图像数据与所述第二图像数据进行合成。
2.根据权利要求I所述的图像处理装置，其中，所述合成比计算单元基于各块中的所述外部光的亮度分量和所述闪光灯光的亮度分量计算各块的所述第一图像数据和所述第二图像数据的合成比。
3.根据权利要求2所述的图像处理装置，其中，所述合成比计算单元通过像素插值处理，基于各块的合成比计算各像素的合成比。
4.根据权利要求I所述的图像处理装置，其中，所述合成单元根据各块的亮度值控制是否对可适用的块进行合成处理。
5.根据权利要求I所述的图像处理装置，其中，所述校正值计算单元计算所述第二白平衡校正值以保留光源的任意色调。
6.根据权利要求I所述的图像处理装置，其中，所述移动量计算单元基于通过惯性传感器对所述图像处理装置的移动的检测结果、和基于所述使用闪光灯拍摄的图像数据和所述不使用闪光灯拍摄的图像数据对所述被摄体的移动的分析结果中的至少一个，计算所述图像处理装置和所述被摄体中的至少一个的移动量。
7.根据权利要求I所述的图像处理装置，其中，所述校正单元校正所述第一白平衡校正值和所述第二白平衡校正值以使二者相互更加接近，或在固定所述第一白平衡校正值和所述第二白平衡校正值中的一个的同时，校正所述第一白平衡校正值和所述第二白平衡校正值中的另一个，以使所述第一白平衡校正值和所述第二白平衡校正值中的所述另一个与所述第一白平衡校正值和所述第二白平衡校正值中的所述一个更加接近。
8.一种图像处理方法，所述图像处理方法包括 基于使用闪光灯拍摄的图像数据计算第一白平衡校正值，并基于不使用闪光灯拍摄的图像数据计算第二白平衡校正值；计算所述第一白平衡校正值与所述第二白平衡校正值之间的色温差； 计算被摄体和图像处理装置中的至少一个的移动量； 基于所述色温差和所述移动量中的至少一个校正所述第一白平衡校正值和所述第二白平衡校正值； 基于所校正的第一白平衡校正值由所述使用闪光灯拍摄的图像数据对第一图像数据进行显像，并基于所校正的第二白平衡校正值由所述不使用闪光灯拍摄的图像数据对第二图像数据进行显像； 基于所述不使用闪光灯拍摄的图像数据的亮度值和所述使用闪光灯拍摄的图像数据的亮度值，计算外部光的亮度分量和闪光灯光的亮度分量； 基于所述外部光的亮度分量和所述闪光灯光的亮度分量计算所述第一图像数据和所述第二图像数据的合成比；以及 根据所述合成比将所述第一图像数据与所述第二图像数据进行合成。
全文摘要
本发明提供一种图像处理装置和图像处理方法。该图像处理装置计算基于使用闪光灯的图像数据的第一白平衡(WB)校正值与基于不使用闪光灯的图像数据的第二WB校正值之间的色温差。该图像处理装置计算被摄体和该装置的移动量，并基于色温差和移动量校正第一和第二WB校正值。该图像处理装置基于校正的第一WB校正值由使用闪光灯的图像数据对第一图像数据进行显像，并基于校正的第二WB校正值由不使用闪光灯的图像数据对第二图像数据进行显像。该图像处理装置计算外部光的信号分量和闪光灯光的信号分量，并计算第一图像数据和第二图像数据的合成比，以将第一图像数据和第二图像数据进行合成。
文档编号H04N5/235GK102769761SQ20121013459
公开日2012年11月7日 申请日期2012年4月28日 优先权日2011年5月6日
发明者小川茂夫 申请人:佳能株式会社