专利名称：图像处理设备的制作方法
技术领域：
本发明涉及一种诸如数字照相机或数字摄像机等的摄像设备中的图像处理技术， 尤其涉及一种水中的白平衡控制技术。
背景技术：
从图像传感器输出的信号被A/D转换成数字信号，并且将图像分割成多个块。由 R(红色)、G(绿色)和B(蓝色)的色度信号构成块信号。使用例如等式⑴计算块的颜 色评价值Cx[i] = (R[i]-B[i])/Y[i] X1024Cy[i] = (R[i]+B[i]-2G[i])/Y[i] X1024...(1)(其中，Y[i]=R[i]+2G[i]+B[i])当颜色评价值Cx [i]和Cy[i]落在预先设置的白色检测范围内时，判断为该块是 白色的。计算落在白色检测范围内的颜色像素的积分值sumR、SumG和sumB以根据等式(2) 计算白平衡系数WBCo_R = sumYX 1024/sumRWBCo_G = sumYX 1024/sumGWBCo_B = sumYX 1024/sumB... (2)其中，sumY = (sumR+2 X sumG+sumB) /4当在水中拍摄图像时，光的长波长范围在水的光谱透过率的影响下容易衰减。R 光成分与G和B光成分的比率减小，并且图像变为带蓝色的。在水中，随着从水面到照相机 (被摄体)的距离(距离水面的深度)变长，从外部进入水的自然光的R颜色成分减少。因 此变得难以保持白平衡的跟踪性能。日本专利4144390号公开了一种技术，该技术用于在摄像之前设置白平衡调整中 使用的调整系数，并且基于由用于检测照相机所处的深度的深度指示器所检测到的深度信 息来控制不同的白平衡调整系数。然而，在日本专利4144390号所公开的传统技术中，用户必须拍摄预先准备的诸 如白色或灰色等的非彩色被摄体，这显得麻烦且不便。另外，照相机必须装配例如用于检测 水深的深度指示器，并且照相机成本增大
发明内容
作出了本发明以解决上述问题，并且本发明能够在无需向照相机装配任何特殊装 置的情况下适当调整白平衡。根据本发明的第一方面，提供一种图像处理设备，包括估计单元，用于根据通过 拍摄被摄体所获得的图像的颜色分布信息，估计所拍摄的被摄体所处的水深；以及白平衡 控制单元，用于根据由所述估计单元估计出的水深，沿着与黑体辐射轴不同的轴进行白平 衡控制。
根据本发明的第二方面，提供一种图像处理设备，包括估计单元，用于根据通过 拍摄被摄体所获得的图像的颜色分布信息，估计所拍摄的被摄体所处的水深；以及颜色增 益改变单元，用于根据由所述估计单元估计出的水深，改变颜色增益矩阵。通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
图1是示出根据本发明第一实施例的照相机的结构的框图；图2是示出用于计算第一 WB校正值的处理的流程图；图3A和3B是示出白色检测范围的图；图4是示出第一实施例中用于计算水下WB校正值的处理的流程图； 图5是示出水下颜色评价值分布的图；图6是示出水下WB处理的概念图；图7是示出与相关系数相对应的水下轴的设置的表；图8是示出根据颜色分布和黑体辐射轴之间的距离计算增益值的图；图9是示出第二实施例中用于计算水下WB校正值的处理的流程图；图10是示出根据深度混合WB系数所使用的比率的图；以及图11是示出第三实施例中用于计算水下WB校正值的处理的流程图。
具体实施例方式现参考
本发明的实施例。第一实施例图1是示出根据本发明第一实施例的照相机(摄像设备)的结构的框图。参考图 1，固态图像传感器101包括CXD传感器或CMOS传感器等，并且固态图像传感器101的表面 覆盖有Bayer阵列的R(红色)、G(绿色)和B (蓝色)颜色滤波器，以使得能够进行彩色摄像。CPU 114计算快门速度和光圈值以将整个图像调整成适当亮度，并且还计算拍摄 镜头中的调焦透镜的驱动量，以聚焦于对焦区域中存在的被摄体。将已由CPU 114计算出 的曝光值(快门速度和光圈值)以及调焦透镜驱动量发送给控制电路113。控制电路113 基于各个值控制曝光和调焦。WB(白平衡)控制单元103基于来自存储在存储器102中的 图像信号的信息计算WB校正值，并且通过使用所计算出的WB校正值对存储在存储器102 中的图像信号进行WB校正。注意，后面将说明WB控制单元103的详细结构和WB校正值计 算方法。颜色转换MTX (颜色转换矩阵)电路104通过将经过了 WB控制单元103的WB校 正的图像信号乘以颜色增益，将其转换成色差信号R-Y和B-Y，从而以最佳色彩再现该图像 信号。LPF (低通滤波器)电路105限制色差信号R-Y和B-Y的带宽。CSUP (色度抑制)电 路106抑制带宽受到LPF电路105限制的图像信号中饱和部分的伪色信号。Y(亮度信号) 生成电路111还接收经过了 WB控制单元103的WB校正的图像信号，并且生成亮度信号Y。 边缘增强电路112对所生成的亮度信号Y进行边缘增强处理。RGB转换电路107将从CSUP电路106输出的色差信号R-Y和B-Y及从边缘增强电路112输出的亮度信号Y转换成R、G和B信号。伽玛校正电路108对R、G和B信号进行色 调校正。颜色亮度转换电路109将由此得到的R、G和B信号转换成Y、U和V信号。JPEG 压缩电路110压缩Y、U和V信号。将压缩后的Y、U和V信号作为图像信号记录在外部或内 部记录介质上。将详细说明图1中的WB控制单元103计算WB校正值的方法。首先，参考图2说 明用于计算第一 WB校正值的方法。WB控制单元103读出存储在存储器102中的图像信号，并且将画面分割成任意m 个块(步骤S101)。WB控制单元103在块1 m的每一个中，针对各颜色相加并平均像素 值，以计算颜色平均值R[i]、G[i]和B[i]。然后，WB控制单元103使用等式(1)计算颜色 评价值Cx [i]和Cy[i](步骤S102)Cx[i] = (R[i]-B[i])/Y[i] X1024Cy[i] = (R[i]+B[i]-2G[i])/Y[i] X1024其中，Y[i]= R[i]+2G[i]+B[i]WB控制单元103判断在步骤S102计算出的第i块的颜色评价值Cx[i]和Cy[i] 是否落在图3A所示的预先设置的白色检测范围301内(步骤S103)。通过预先在不同光源下拍摄白色并且绘制计算出的颜色评价值，获得白色检测范
围301。可以针对摄像模式分别设置白色检测范围。图3A中的χ坐标Cx的负方向表示在
拍摄高色温被摄体的白色时所获得的颜色评价值。正方向表示在拍摄低色温被摄体的白色
时所获得的颜色评价值。y坐标Cy表示光源的绿色成分的程度。绿色成分在负方向上增
大，并且这意味着光源是荧光灯。水中的白色分布位于蓝色和绿色方向上。因此，设置白
色检测范围来检测蓝色和绿色方向(图3B中的302)。如果计算出的颜色评价值Cx[i]和
Cy [i]落在白色检测范围302内(步骤S103为“是”)，则WB控制单元103判断为该块是白
色的，并且对该块的颜色平均值R[i]、G[i]和B[i]进行积分(步骤S104)。如果步骤S103
为“否”，则WB控制单元103进入步骤S105，而不相加颜色平均值。可以通过等式(3)表示
步骤S103和S104中的处理 mSumR = Σ Sw [i] χ R[i]
i=0
m
SumG= ZSw[i]xG[i]."(3)
i=0
mSumB = Σ Sw[i] χ B[i]
i=0在等式(3)中，如果颜色评价值Cx[i]和Cy[i]落在白色检测范围(图3B中的 302)内，则将Sw[i]设置为1 ；否则，将其设置为0。通过该设置，基于步骤S103的判断，实 质上进行用于相加或不相加颜色平均值R[i]、G[i]和B[i]的处理。在步骤S105，WB控制单元103判断是否对所有块都进行了上述处理。如果剩余未 处理的块，则WB控制单元103返回到步骤S102以重复上述处理。如果处理了所有块，则WB 控制单元103进入步骤S106。在步骤S 106, WB控制单元103使用等式(4)，根据所获得的颜色平均值的积分值sumR、sumG 和 sumB 来计算第一 WB 校正值 WBCo 1_R、WBCo 1_G 和 WBCo 1_B WBCo 1_R = sumYX 1024/sumRWBCo 1_G = sumYX 1024/sumG... (4)WBCo 1_B = sumYX 1024/sumB 其中，sumY = (sumR+2 X sumG+sumB) /4接着参考图4的流程图和图5的概念图来说明计算第一 WB校正值之后的处理。在 步骤S202，WB控制单元103判断WB模式是否是水下模式。如果WB模式不是水下模式，则 WB控制单元103进入步骤S207，以将第一 WB校正值设置为最终的WB系数。如果WB模式是水下模式，则在步骤S203，WB控制单元103将所拍摄图像分割成η 块，并且在块1 η的每一个中，针对各颜色相加并平均像素值，从而计算颜色平均值R[i]、 G[i]和B[i]。然后，WB控制单元103计算颜色评价值Cx[i]和Cy[i]。如图5所示，颜色 评价值的分布在深度(水深)浅时如分布501那样，并且在深度深时如分布502那样。在 水中，随着从水面到(如果照相机靠近被摄体，则被看作照相机位置的)被摄体位置的距离 (距离水面的深度)变长，从外部进入水的自然光的R颜色成分减少，因而颜色评价值的分 布如图5所示。作为用于估计深度的方法，根据所拍摄图像的颜色分布信息计算线性近似 的相关性，并且根据该相关性估计深度。相关性表达式为
权利要求
1.一种图像处理设备，包括估计单元，用于根据通过拍摄被摄体所获得的图像的颜色分布信息，估计所拍摄的被 摄体所处的水深；以及白平衡控制单元，用于根据由所述估计单元估计出的水深，沿着与黑体辐射轴不同的 轴进行白平衡控制。
2.根据权利要求1所述的图像处理设备，其特征在于，所述估计单元对所拍摄图像的 颜色分布信息进行线性近似以获得相关系数，并且根据所述相关系数来估计水深。
3.根据权利要求1所述的图像处理设备，其特征在于，所述估计单元根据所拍摄图像 的颜色分布信息和黑体辐射轴之间的距离来估计水深。
4.根据权利要求1所述的图像处理设备，其特征在于，所述估计单元对所拍摄图像的 颜色分布信息进行椭圆近似，并且根据椭圆的长轴长度和短轴长度的比来估计水深。
5.根据权利要求1所述的图像处理设备，其特征在于，所述与黑体辐射轴不同的轴是 表示水中与水深相对应的白点轨迹的轴。
6.根据权利要求5所述的图像处理设备，其特征在于，所述表示水中与水深相对应的 白点轨迹的轴能够基于由所述估计单元所获得的水深信息而改变。
7.根据权利要求1所述的图像处理设备，其特征在于，所述白平衡控制单元将进行了 白色检测的白平衡系数映射在表示水中与水深相对应的白点轨迹的轴上。
8.根据权利要求1所述的图像处理设备，其特征在于，所述白平衡控制单元对进行了 白色检测的白平衡系数和根据所拍摄图像的颜色分布计算出的白平衡系数进行加权相加， 并且将通过加权相加而获得的白平衡系数映射在表示水中与水深相对应的白点轨迹的轴 上。
9.根据权利要求8所述的图像处理设备，其特征在于，所述白平衡控制单元基于由所 述估计单元所获得的水深信息，对进行了白色检测的白平衡系数和根据所拍摄图像的颜色 分布计算出的白平衡系数进行加权相加。
10.根据权利要求1所述的图像处理设备，其特征在于，当在所述图像中存在与高亮 度、低亮度和高饱和度中的至少一个相对应的区域时，所述估计单元从用于估计水深的计 算对象中排除该区域。
11.根据权利要求10所述的图像处理设备，其特征在于，所述高亮度的区域包括红色 信号、绿色信号和蓝色信号中的至少一个信号的值超过阈值的区域。
12.根据权利要求10所述的图像处理设备，其特征在于，所述低亮度的区域包括亮度 低于阈值的区域。
13.根据权利要求10所述的图像处理设备，其特征在于，所述高饱和度的区域是红色 信号和绿色信号中的至少一个信号的值与蓝色信号的值的比大于阈值的区域。
14.根据权利要求10所述的图像处理设备，其特征在于，当作为从用于估计水深的计 算对象中排除的区域的排除区域超过预定面积时，所述估计单元使用紧挨在所述排除区域 的面积超过所述预定面积之前所估计出的水深，或者对紧挨在所述排除区域的面积超过所 述预定面积之前所估计出的水深和新估计出的水深进行加权平均。
15.一种图像处理设备，包括估计单元，用于根据通过拍摄被摄体所获得的图像的颜色分布信息，估计所拍摄的被摄体所处的水深；以及 颜色增益改变单元，用于根据由所述估计单元估计出的水深，改变颜色增益矩阵。
全文摘要
一种图像处理设备，包括估计单元，用于根据通过拍摄被摄体所获得的图像的颜色分布信息，估计所拍摄被摄体所处的水深；以及白平衡控制单元，用于根据由所述估计单元估计出的水深，沿着不同于黑体辐射轴的轴进行白平衡控制。
文档编号H04N9/73GK102148933SQ20111003519
公开日2011年8月10日 申请日期2011年2月9日 优先权日2010年2月4日
发明者大内谦治, 高山将浩 申请人:佳能株式会社