专利名称：摄像设备及其控制方法、图像处理设备和方法
技术领域：
本发明涉及一种能够进行多重曝光拍摄的图像处理设备以及用于图像处理设备的控制方法。
背景技术：
传统上，已讨论了除单纯的相加以外还进行各种处理的多重曝光拍摄设备。例如，日本特开2003-69888号公报讨论了通过应用根据用于多重曝光拍摄的帧数的增益来实现相加平均处理的数字照相机。日本特开平11-225308号公报讨论了通过切换运算电路、除进行相加平均处理以外还比较要合成的两个图像的像素的亮度值从而生成合成图像的多重曝光拍摄设备。然而，日本特开2003-69888号公报中讨论的技术未如日本特开平11-225308号公报中讨论的那样比较亮度值以优化用于合成图像的多重曝光拍摄模式的处理。
发明内容
本发明的目的是提供一种进行适合于用于比较像素值以合成图像的多重曝光拍摄模式的处理的图像处理设备，以及一种用于图像处理设备的控制方法。根据本发明的一方面，摄像设备包括摄像单元，用于校正从摄像单元输出的图像信号的黑电平的第一校正单元，用于从黑电平已由第一校正单元校正的多个图像信号中选择要使用的像素以生成合成图像信号的合成单元，以及用于校正由合成单元生成的合成图像信号的黑电平的第二校正单元。根据本发明的其它方面，提供一种用于合成多个图像信号的图像处理设备，所述图像处理设备包括获取单元，用于获取所述多个图像信号；合成单元，用于从所述获取单元输出的所述多个图像信号中选择要使用的像素以生成合成图像信号；以及校正单元，用于校正由所述合成单元生成的合成图像信号的黑电平。根据本发明的其它方面，提供一种用于控制包括摄像单元、用于校正图像信号的黑电平的校正单元以及用于合成多个图像信号的合成单元的摄像设备的方法，所述方法包括校正从所述摄像单元输出的图像信号的黑电平；从已校正了黑电平的多个图像信号中选择要使用的像素以生成合成图像信号；以及校正所生成的合成图像信号的黑电平。根据本发明的其它方面，提供一种用于合成多个图像信号的图像处理方法，所述图像处理方法包括从所述多个图像信号中选择要使用的像素以生成合成图像信号；以及校正所生成的合成图像信号的黑电平。通过以下参考附图对典型实施例的详细说明，本发明的其它特征和方面将变得明显。
包含在说明书中并构成说明书的一部分的附图示出本发明的典型实施例、特征和方面，并和说明书一起用来解释本发明的原理。图IA是示出根据第一典型实施例的摄像设备的框图。图IB示出图像传感器的像素的拜耳阵列。图2示出根据第一典型实施例的多重曝光拍摄的流程。图3示意性地示出图像传感器中配置的像素阵列。图4示意性地示出在各个多重曝光拍摄模式中随机噪声的量。图5示出在尚未合成的原始数据上进行的处理的流程。图6示出根据第二典型实施例的多重曝光拍摄的流 程。图7示出根据第二典型实施例要对合成图像进行的光学黑(OB)箝位的条件。图8是示出用于合成原始数据的流程的框图。
具体实施例方式以下将参考附图详细说明本发明的各种典型实施例、特征和方面。图IA示出根据第一典型实施例的作为图像处理设备的例子的摄像设备10。当快门开关SW2(未示出)被按下时，已入射到摄像镜头100的光束通过光圈101，然后在图像传感器102上形成被摄体图像。图像传感器102将被摄体图像的光学图像转换成电信号以生成图像信号。图像传感器102具有如图IB中所示的R、Gl、G2和B的像素被规则配置的拜耳阵列的结构。从图像传感器102输出的模拟信号被模数(Α/D)转换器103转换成数字信号(以下称为“原始(RAW)数据”)并且暂时存储在存储器106中。图3示意性地示出图像传感器102中配置的像素阵列。如图3中所示，图像传感器102包括作为光电转换元件的光电二极管受到光的照射的有效像素区域200、以及利用铝薄膜对预定区域中的光电二极管遮光的光学黑区域(0B 区域)201。OB积分单元104将OB区域201中的像素值按照拜耳阵列的R、G1、G2和B中的各个进行积分，并且针对R、Gl、G2和B中的各个输出OB的平均值。由OB箝位单元105来进行OB箝位，在OB箝位中，从有效像素区域200的各像素的像素值中减去作为暗电平(黑电平)的、与各像素值的像素(R、GU G2、B)的颜色相对应的OB积分单元104的输出值。OB箝位处理能够防止例如由暗电流所引起的诸如浮色黑以及颜色偏移等问题的发生。存储器106存储原始数据以及由信号处理单元110处理后的图像数据。明暗校正单元107校正包括来自Α/D转换单元103的数字图像信号的原始数据的画面中的亮度水平，以对由摄像镜头100的特性以及图像传感器102的诸如像差等的特性所引起的明暗进行校正。白平衡(WB)处理单元108对从明暗校正单元107输出的图像数据进行用于将画面中的白基准调整为白色的WB处理。根据本典型实施例，明暗校正根据图像传感器102中的二维坐标位置对各个像素应用增益，并且WB处理对拜耳阵列的R、G1、G2以及B分别应用不同的增益。合成单元109根据各个多重曝光拍摄模式进行各类运算。根据本典型实施例，合成单元109根据包括相加模式、平均相加模式、亮保留模式以及暗保留模式的四种多重曝光拍摄模式分别进行各类运算。合成单元109进行如本典型实施例中以下所述的处理。信号处理单元110对原始数据以及由合成单元109合成后的原始数据上进行诸如颜色矩阵处理和伽马处理等的显像处理。记录单元111记录原始数据、由合成单元109合成后的原始数据、以及由信号处理单元110进行了显像处理的图像数据。控制单元112进行摄像设备10的总体控制。图2示出根据本典型实施例的多重曝光拍摄的流程，在上述根据本典型实施例的各种多重曝光拍摄模式(相加模式、相加平均模式、亮保留模式以及暗保留模式)中，该流程是共同的。在步骤SlOO中，摄像设备10经由用户的操作开始多重曝光拍摄，并且在步骤SlOl中，设置用于多重曝光拍摄的帧的数量“N”。在步骤S102中，控制单元112初始化用于控制要拍摄的帧的数量的变量“i”。在步骤S103中，用户按下快门开关SW2，然后在步骤S104中，摄像设备10对拍摄到的原始数据进行处理。将参考图5说明对拍摄到的原始数据的各帧进行的处理。在步骤S200中，当对原始数据的各帧的处理开始时，接着在步骤S201中，OB积分单元104计算拍摄到的原始数据的暗电平(计算黑电平)。在步骤S202中，基于计算出的暗电平，OB箝位单元105进行OB箝位、即第一校正。在步骤S203中，明暗校正单元107校正画面中的亮度明暗以及颜色明暗。在步骤S204中，WB处理单元108进行用于调整各个颜色成分的信号水平的WB处理。在步骤S205中，当对原始数据的各帧的处理完成时，接着在步骤S105中(图2)，控制单元112判断已拍摄的帧的数量是否达到“N”。在已拍摄的帧的数量达到“N”的情况下(步骤S105中为“否”)，处理进入步骤S107中的合成处理。在已拍摄的帧的数量未达到“N”的情况下(步骤S105中为“是”)，则在步骤S106中，控制单元112使用于控制要拍摄的帧的数量的变量“i”递增，并且重复在步骤S103以及S104中的处理直到已拍摄的帧的数量达到 “N”。将说明步骤S107中各个多重曝光拍摄模式中的合成处理。根据本典型实施例，包括相加、相加平均、亮保留以及暗保留的四种合成(混合)处理操作各自都能够生成合成图像。将尚未合成的各个图像的各个像素值定义为I_i(x，y) (i=l至N，“x”和“y”表示画面中的坐标)，并且将通过合成“N”个图像而获取到的图像的像素值定义为I(x，y)。像素值可以是从WB处理单元108输出的拜耳阵列中R、G1、G2以及B信号各自的值，或者可以是从R、G1、G2以及B信号组获得的亮度信号的值(亮度值)。此外，可以对拜耳阵列中的信号进行插值处理以使得各个像素中都存在R、G、B信号，并且可以计算各个像素的亮度值。用于计算亮度值的示例公式包括通过以Y=O. 3xR+0. 59xG+0. IlxB的方式对R、G、B信号加权平均来计算亮度值Y。在这样的定义下，相加模式由I (X，y) =1_1 (X，y) +I_2 (x, y) +··· +I_N (x, y)表示。对各个像素进行了用于将“N”个图像的像素值相加的处理的数据成为合成图像数据。相加平均模式由I (χ, y) = (I_l (χ, y)+I_2(x, y)+“*+I_N(x, y))/N 表示。对各个像素进行了用于平均“N”个图像的像素值的处理的数据成为合成图像数据。亮保留模式由I (χ, y)=max(I_l (x, y), Ι_2 (χ, y), ···，Ι_Ν (χ, y))表示。按各个像素选择出“N”个图像的像素值中的最大值的数据成为合成图像数据。暗保留模式由I (x, y)=min(I_l (x, y), Ι_2 (χ, y), ...，Ι_Ν (χ, y))表示。
按各个像素选择出“N”个图像的像素值中的最小值的数据成为合成图像数据。此夕卜，在亮保留模式或者暗保留模式中像素值如上所述作为亮度值的情况下，进行比较并且用于计算选择出的亮度值的R、G1、G2以及B信号的值被选择作为合成图像数据的各个像素的信号值。根据本典型实施例，在图3示出的有效像素区域200和OB区域201中都进行上述各个多重曝光拍摄模式中的合成处理。更具体地，作为已进行合成处理的合成图像，生成根据各个合成方法通过合成有效像素区域200的图像数据而获取的图像数据、以及根据各个合成方法通过合成OB区域201的图像数据而获取的图像数据。根据本典型实施例，将有效像素区域200以及OB区域201作为一个图像数据同时处理。然而，可以对有效像素区域200以及OB区域201中的各个分别进行合成处理。在步骤S107中，当合成处理完成时，接着在步骤S108中，控制单元112判断多重曝光拍摄模式。在该模式是相加模式或者相加平均模式的情况下(步骤S108中为“否”)，处理进入步骤S110。在该模式是亮保留模式或者暗保留模式的情况下(步骤S108中为“是”)，则在步骤S109中，OB积分单元104以及OB箝位单元105对合成后的原始数据进行
OB箝位，即第二校正。如上所述，根据本典型实施例，与作为要观看的图像数据的与有效像素区域200相对应的图像数据相似，也保持与OB区域201相对应的图像数据。对与OB区域201相对应的图像数据进行与在有效像素区域200上所进行的处理类似的、包括合成处理的图像处理。因此，与步骤S202中对图像数据的各帧进行的OB箝位处理相似，在步骤S109中，OB积分单元104计算合成图像的OB区域中像素的OB (暗电平)的平均值，然后OB箝位单元105对其进行OB箝位。在步骤SllO中，信号处理单元110进行显像处理，在步骤Slll中，记录单元111记录已进行显像处理的图像数据，然后在步骤S112中，摄像设备10完成多重曝光拍摄。以下将说明在步骤S108和S109中的处理根据多重曝光拍摄模式而变化的原因。图4示意性地示出在各个多重曝光拍摄模式中随机噪声的量。图4中的图(I)示出合成前的图像的随机噪声的量。随机噪声分布在以平均值Avel为中心上下方向上土 δ I的范围内。图4中的图(2)示出在相加模式和相加平均模式中随机噪声的量。在相加模式和相加平均模式中通过合成“N”个图像而获取的图像的随机噪声的变化减小到合成前的一个图像的l/sqrt(N)。然而，随机噪声的平均值Ave2不变(Avel=Ave2)。图4中的图(3)和(4)分别示出在亮保留模式和暗保留模式中随机噪声的量。在亮保留模式中，由于总是按各个像素选择更大的像素值，因此随机噪声的变化更小。然而，平均值Ave3比合成前的一个图像大(Avel〈Ave3)。另一方面，在暗保留模式中，由于总是按各个像素选择更小的像素值，因此随机噪声的平均值Ave4比合成前的一个图像小(Avel>Ave4)。将同样地说明暗电平。由于在合成原始数据前进行OB箝位，因此正确地校正了合成前的原始数据的暗电平。在相加模式和相加平均模式中，由于暗电平相对于合成前的原始数据的暗电平未改变，因此即使省略步骤S109中的OB箝位也没有问题。然而，在亮保留模式以及暗保留模式中，由于随机噪声引起原始数据合成后的暗电平发生变化，因此需要进行OB箝位以防止发生浮色黑或者阴影细节的丢失。
因此，通过步骤S109中进行的OB箝位，可以校正变化的暗电平，以使得合成后的图像能够具有想要的图像质量。图8示出根据本典型实施例的多重曝光拍摄中的数据流。由OB积分单元104以及OB箝位单元105对拍摄到的各个原始数据(原始数据I至N)在合成前进行OB箝位处理。此外，由明暗校正单元107进行明暗校正处理，并且由WB处理单元108进行WB处理。明暗校正单元107中使用的校正值根据诸如光圈101、图像传感器102的国际标准化组织(ISO)感光度、以及曝光时间等的拍摄条件而变化。如果对摄像设备10设置WB模式或者自动白平衡(AWB)设置，WB处理单元中使用的增益也根据被摄体而变化。因此，需要对各个原始数据进行OB箝位，以使得能够对各原始数据 进行适当的暗电平校正。由合成单元109对已完成到WB处理为止的图像数据(1_1到I_N)顺次地进行根据各个多重曝光拍摄模式的合成处理。更具体地，在相加模式中，满足以下等式 12 (X，y) =I_1 (x, y) +I_2 (x, y)，13 (x, y) =12 (x, y) +I_3 (x, y),...I (χ, y) =IN (χ, y) =IN-I (χ, y) +Ι_Ν (χ, y)此外，在相加平均模式中，满足以下等式12 (X，y) = (I_l (x, y) +I_2 (x, y)) /2，13 (x, y) =12 (x, y)/3+I_3 (x, y)/3,...I (x, y) =IN (x, y) =IN-I (χ, y) /Ν+Ι_Ν (χ, y) /N此外，在亮保留模式中，满足以下等式 12 (χ, y) =max (I_l (x, y), Ι_2 (χ, y)),13 (χ, y) =max (12 (χ, y), Ι_3 (χ, y)),...I (χ, y) =IN (χ, y) =max (ΙΝ—1 (χ, y), Ι_Ν (χ, y))此外，在暗保留模式中，满足以下等式12 (x, y) =min (I_l (x, y), Ι_2 (χ, y)),13 (χ, y) =min (12 (χ, y), Ι_3 (χ, y)),...I (χ, y) =IN (χ, y) =min (ΙΝ—1 (χ, y), Ι_Ν (χ, y))合成处理的方法不限于上述的方法。例如，如上述的等式那样，可以同时合成“N”个图像。在相加模式以及相加平均模式中，已完成从1_1到I_N的合成处理的图像数据(I (X，y)，合成后的原始数据)被作为合成后的输出图像输出到用于进行随后的显示和记录的各个单元。在亮保留模式以及暗保留模式中，如上所述，由OB积分单元104以及OB箝位单元105通过对合成后的原始数据进行OB箝位处理而获取的数据被作为合成后的输出图像输出到各个随后的单元。如上所述，根据本典型实施例，在进行用于从多个图像数据帧中选择像素以将其合成的合成处理的拍摄模式(亮保留以及暗保留)中，对合成后的原始数据进行OB箝位。通过该配置，能够减少由合成处理引起的诸如浮色黑以及阴影细节的丢失等的问题。根据本典型实施例，作为需要对合成后的图像信号进行OB箝位(用于校正黑电平的处理)的处理，说明在亮保留模式以及暗保留模式中的合成处理。然而，由于黑电平的偏移是由从多个图像信号中根据预定规则选择像素并且将其合成所引起的黑电平的随机性的损失而造成的，因此根据本典型实施例的合成图像的方法不限于上述方法。更具体地，如本典型实施例中所述进行用于校正如下信号的黑电平的处理是有效的，该信号是已进行从多个图像数据的帧中选择像素以将其合成的合成处理的合成图像信号。此外，根据本典型实施例，作为图像处理设备的例子，说明摄像设备的结构。然而，本发明不限于上述的摄像设备。只要图像处理设备在关于有效像素区域的信息与关于OB区域的信息相关联的状态下获取各个拍摄图像，图像处理设备就能够对合成前的各个图像进行OB箝位、进行本典型实施例中所述的合成处理、以及在合成图像上进行OB箝位。此外，根据本典型实施例，为校正各个图像信号以及合成图像信号的暗电平，使用
利用了图像信号中所设置的OB区域的值的OB箝位处理。然而，本发明不限于上述的OB箝位处理。本发明可以通过被称为“黑相减处理”的在已拍摄各图像信号之后以遮光的方式生成再次拍摄的暗图像信号、然后从各图像信号中减去暗图像信号来实现。在这种情况下，可以通过与各个图像信号相对应地减去暗图像信号来进行在原始数据合成前的暗电平校正。在亮保留模式以及暗保留模式中对合成后的图像信号进行的暗电平校正可以如下进行与根据本典型实施例的对OB区域进行的处理同样，通过对暗图像信号应用与对通常图像信号进行的处理同样的处理、根据同样的方法合成图像信号，然后从通常合成图像信号中减去获取到的合成后的暗图像信号。根据第一典型实施例，在合成原始数据后是否进行OB箝位只根据多重曝光拍摄模式来判断。根据第二典型实施例，还根据其它拍摄条件来判断。以下将参考图6说明第二典型实施例。到步骤S107为止，进行与第一典型实施例相同的处理。在步骤S301中对多重曝光拍摄模式进行判断后，在步骤S302中，控制单元112判断是否对合成后的原始数据进行OB箝位。在不需要OB箝位的情况下(步骤S302中为“否”)，处理进入步骤S110。在需要OB箝位的情况下(步骤S302中为“是”)，接着在步骤S303中，控制单元112进行OB箝位。以下参考图7详细说明步骤S302中的处理。图7是示出在进行拍摄时的ISO感光度、曝光时间Tv、图像传感器的温度Temp.与OB箝位处理的必要性之间的关系的表格。附图标记“ο”表示需要OB箝位的拍摄条件，并且附图标记“ X ”表示不需要OB箝位的拍摄条件。即使在用于多重曝光拍摄的“N”帧中只有一帧具有需要OB箝位的拍摄条件的情况下，也进行OB箝位。只有在“N”帧都不需要OB箝位的情况下，才不进行OB箝位。典型地，ISO感光度越高，曝光时间越长，以及图像传感器的温度越高，随机噪声就增加得越多。然而，由于预先估计了随机噪声的量，可以在摄像设备10的非易失性存储器(未示出)中存储图7中示出的表格。如上所述，根据本典型实施例，在进行用于从图像数据的多个帧中选择像素以将其合成的合成处理的拍摄模式(亮保留、暗保留)中，对合成后的原始数据进行OB箝位。通过该配置，能够减少由合成处理引起的诸如浮色黑以及阴影细节的丢失等的问题。此外，当进行拍摄时，根据ISO感光度、曝光时间Tv以及图像传感器的温度Temp.判断OB箝位处理的必要性，因此，能够仅在需要OB箝位时才进行OB箝位，从而以更高的速度进行处理。本发明的方面也可以通过系统或者设备的计算机(或者诸如CPU或MPU等的装置)读出并且执行存储器装置上记录的程序以进行上述实施例的功能而实现，以及通过方法实现，该方法的步骤由系统或者设备的计算机通过例如读出并且执行存储器装置上记录的程序以进行上述的实施例的功能而进行。为了该目的，将程序例如通过网络或者从用作存储器装置(例如，计算机可读的介质)的各种存储介质提供给计算机。尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的
典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功倉泛。
权利要求
1.一种摄像设备，包括 摄像单元； 第一校正单元，用于校正从所述摄像单元输出的图像信号的黑电平； 合成单元，用于从已由所述第一校正单元校正了黑电平的多个图像信号中选择要使用的像素以生成合成图像信号；以及 第二校正单元，用于校正由所述合成单元生成的合成图像信号的黑电平。
2.根据权利要求I所述的摄像设备，其特征在于，所述合成单元用于从已由所述第一校正单元校正了黑电平的多个图像信号中、按各像素选择具有高像素值的像素以生成所述合成图像信号。
3.根据权利要求I所述的摄像设备，其特征在于，所述合成单元用于从已由所述第一校正单元校正了黑电平的多个图像信号中、按各像素选择具有低像素值的像素以生成所述合成图像信号。
4.根据权利要求I所述的摄像设备，其特征在于，还包括处理单元，所述处理单元用于对已由所述第一校正单元校正了黑电平的多个图像信号进行白平衡校正以及明暗校正中的至少一个， 其中，所述合成单元用于根据由所述处理单元处理后的多个图像信号生成所述合成图像信号。
5.根据权利要求I所述的摄像设备，其特征在于，所述合成单元能够通过对已由所述第一校正单元校正了黑电平的多个图像信号按各像素进行相加或者相加平均来生成所述合成图像信号，并且所述第二校正单元不校正由所述合成单元生成的所述合成图像信号的黑电平。
6.根据权利要求I所述的摄像设备，其特征在于，还包括黑电平计算单元，所述黑电平计算单元用于根据所述摄像单元中包括的图像传感器上的预定遮光区域中的图像信号来计算黑电平， 其中，所述第一校正单元以及所述第二校正单元用于基于由所述黑电平计算单元计算出的黑电平来进行黑电平的校正。
7.根据权利要求I所述的摄像设备，其特征在于，还包括判断单元，所述判断单元根据用于经由所述合成单元合成所述多个图像信号的方法、当拍摄所述多个图像信号时使用的ISO感光度、曝光时间以及图像传感器中的至少一个，来判断是否由所述第二校正单元进行校正。
8.一种用于合成多个图像信号的图像处理设备，所述图像处理设备包括 获取单元，用于获取所述多个图像信号； 合成单元，用于从所述获取单元输出的所述多个图像信号中选择要使用的像素以生成合成图像信号；以及 校正单元，用于校正由所述合成单元生成的合成图像信号的黑电平。
9.根据权利要求8所述的图像处理设备，其特征在于，所述合成单元用于从所述多个图像信号中选择具有高像素值的像素以生成所述合成图像信号。
10.根据权利要求8所述的图像处理设备，其特征在于，所述合成单元用于从所述多个图像信号中选择具有低像素值的像素以生成所述合成图像信号。
11.根据权利要求8所述的图像处理设备，其特征在于，所述校正单元还用于校正已从所述获取单元输出并且尚未由所述合成单元合成的各个图像信号的黑电平。
12.根据权利要求8所述的图像处理设备，其特征在于，还包括黑电平计算单元，所述黑电平计算单元用于根据所述图像信号中进行了摄像的预定遮光区域中的图像信号来计算黑电平， 其中，所述校正单元用于基于由所述黑电平计算单元计算出的黑电平来进行黑电平的校正。
13.一种用于控制包括摄像单元、用于校正图像信号的黑电平的校正单元以及用于合成多个图像信号的合成单元的摄像设备的方法，所述方法包括 校正从所述摄像单元输出的图像信号的黑电平； 从已校正了黑电平的多个图像信号中选择要使用的像素以生成合成图像信号；以及 校正所生成的合成图像信号的黑电平。
14.一种用于合成多个图像信号的图像处理方法，所述图像处理方法包括 从所述多个图像信号中选择要使用的像素以生成合成图像信号；以及 校正所生成的合成图像信号的黑电平。
全文摘要
本发明涉及摄像设备及其控制方法、图像处理设备和方法。所述摄像设备包括摄像单元，用于校正从摄像单元输出的图像信号的黑电平的第一校正单元，用于从黑电平已由第一校正单元校正的多个图像信号中选择要使用的像素以生成合成图像信号的合成单元，以及用于校正由合成单元生成的合成图像信号的黑电平的第二校正单元。
文档编号H04N5/243GK102883108SQ20121024081
公开日2013年1月16日 申请日期2012年7月11日 优先权日2011年7月11日
发明者吉田明光 申请人:佳能株式会社