(本申请是申请日为2013年9月13日、申请号为201310418584.x、发明名称为“摄像设备及其控制方法”的申请的分案申请。)
本发明涉及一种摄像设备及其控制方法，该摄像设备执行多次拍摄操作以获得用于图像合成的多个图像数据。
背景技术：
诸如数字照相机的摄像设备在以手持方式拍摄夜景时，能以高感光度执行拍摄操作以抑制照相机抖动。在这种高感光度拍摄操作中，摄像设备经常遇到噪声增大的问题。日本特开2007-124292讨论一种对通过在使闪光灯发光时以低感光度执行拍摄操作而获取的图像数据和通过在不使闪光灯发光时以高感光度执行拍摄操作而获取的图像数据进行合成的技术。该技术包括逐像素地确定合成比率。通过在使闪光灯发光时执行拍摄操作而获取的图像数据的像素所具有的亮度值越大，通过在使闪光灯发光时执行拍摄操作而获取的图像数据的比率越高。
根据日本特开2007-124292讨论的技术，无法适当地设置在使闪光灯发光时执行拍摄操作的曝光条件和在不使闪光灯发光时执行拍摄操作的曝光条件而获得良好的合成图像。
技术实现要素：
本发明涉及一种摄像设备，该摄像设备能够对通过在使发光装置发光时执行拍摄操作而获取的图像数据和通过在不使发光装置发光时执行拍摄操作而获取的图像数据进行合成，从而获得良好的合成图像。
根据本发明的一方面，一种摄像设备，包括：摄像单元，用于拍摄被摄体的图像以输出图像数据；获取单元，用于获取与所述被摄体的亮度有关的信息；以及确定单元，用于基于所述获取单元所获取的与所述被摄体的亮度有关的信息，确定拍摄操作中要使用的曝光控制值，其中，所述摄像单元通过执行多次拍摄操作来获得用于图像合成处理的多个图像数据，其中所述多次拍摄操作包括使发光装置发光的情况下所执行的发光拍摄操作和不使所述发光装置发光的情况下所执行的非发光拍摄操作，以及所述确定单元基于所述获取单元所获取的与所述发光装置执行预备发光时的所述被摄体的亮度有关的信息，确定用于所述发光拍摄操作和所述非发光拍摄操作的曝光控制值。
根据本发明的另一方面，一种摄像设备的控制方法，所述摄像设备包括用于拍摄被摄体的图像以输出图像数据的摄像单元，所述控制方法包括：获取与所述被摄体的亮度有关的信息；基于所获取的与所述被摄体的亮度有关的信息，确定拍摄操作中要使用的曝光控制值；通过执行多次拍摄操作来获得要用于图像合成处理的多个图像数据，其中所述多次拍摄操作包括使发光装置发光的情况下所执行的发光拍摄操作和不使所述发光装置发光的情况下所执行的非发光拍摄操作；以及基于所获取的与所述发光装置执行预备发光时的所述被摄体的亮度有关的信息，确定用于所述发光拍摄操作和所述非发光拍摄操作的曝光控制值。
通过参考附图对典型实施例的说明，本发明的其他特征将显而易见。
附图说明
图1是示出根据示例性实施例的摄像设备的结构的框图。
图2是示出用于获得合成图像的各类处理的流程图。
图3是示出用于获得合成图像的各类处理的流程图。
图4a、4b和4c是示出在背景为夜景的肖像拍摄场景中获得的图像的图。图4a是示出通过在使发光装置发光时执行拍摄操作而获得的图像的图。图4b是示出通过在不使发光装置发光时执行拍摄操作而获得的图像的图。图4c是示出图4a和4b所示图像的合成图像的图。
图5是示出发光装置的预备发光的反射光量小时的主发光量的图。
图6是示出发光装置的预备发光的反射光量大时的主发光量的图。
图7是示出图像合成处理中的多个图像数据和各类处理之间的关系的图。
图8是示出与图像合成处理有关的处理的流程图。
具体实施方式
以下将参考附图详细描述本发明的各个示例性实施例、特征和方面。
图1是示出照相机100的结构的框图，照相机100是根据本发明的示例性实施例的摄像设备。
操作单元101包括开关和按钮，用户操作该操作单元101以向照相机100输入各种指示。操作单元101包括快门开关、模式拨盘和触摸传感器，快门开关用于输入开始拍摄准备操作的指示和开始拍摄操作的指示，模式拨盘用于从多种拍摄模式中选择期望的拍摄模式，触摸传感器设置在下述的显示单元115的前表面上。
控制单元102控制照相机100的整体操作。控制单元102根据来自于操作单元101的指示控制各个组件。
图像传感器103是电荷耦合器件(ccd)或者互补金属氧化半导体(cmos)传感器。图像传感器103接收通过透镜107和光量调节构件108入射的光，并输出与接收到的光量相对应的图像数据。
模拟数字(a/d)转换单元104对从图像传感器103输出的模拟图像数据执行采样、增益调节和a/d转换，并将所得的图像数据作为数字图像数据输出。a/d转换单元104的增益调节对应于改变拍摄感光度。
图像处理单元105对从a/d转换单元104输出的数字图像数据执行各种图像处理，并输出处理后的图像数据。
亮度计算单元106计算亮度值(bv值)，以基于从图像处理单元105输出的图像数据来获取关于被摄体亮度的信息。
透镜107是透镜单元，其包括诸如调焦透镜和变焦透镜等的多个透镜。
光量调节构件108是用于调节通过透镜107入射在图像传感器103上的光量的构件。光量调节构件108例如包括：用于改变开口直径以调节通过开口的光量的光圈、用于减小所通过的光量的光束衰减滤波器、以及用于在曝光状态和遮光状态之间切换图像传感器103的状态的快门。
存储器单元109临时存储从图像处理单元105输出的图像数据。如下所述，存储器单元109临时存储将用于图像合成处理的多个图像数据。
发光单元110通过使用氙管或发光二极管(led)作为光源，来利用辅助光照射被摄体。发光控制单元111基于用户的指示和/或亮度计算单元106计算出的亮度值对发光单元110执行发光控制。
编码单元112将图像处理单元105和/或图像合成单元116输出的图像数据的格式转换为诸如联合图像专家组(jpeg)等的格式。编码单元112向图像记录单元113输出所获得的图像数据。图像记录单元113执行用于将编码单元112输出的经过格式转换后的图像数据记录在照相机100的记录介质(未示出)中或者插入照相机100的外部记录介质上的处理。外部连接单元114用于以有线或无线方式连接照相机100和外部装置。编码单元112输出的经过格式转换后的图像数据可以通过外部连接单元114传输到外部装置中。
显示单元115包括液晶或有机电致发光(el)装置。显示单元115显示基于图像处理单元105输出的图像数据的图像。
图像合成单元116使用图像处理单元105输出的多个图像数据来执行图像合成处理，从而生成合成图像数据。
下面将描述背景为夜景的肖像拍摄场景中的图像合成处理。
图4a、4b和4c是示出背景为夜景的肖像拍摄场景中获得的图像的图。可以通过如下所述使拍摄感光度相对低并使发光单元110发光来执行拍摄操作，使得人物具有正确的亮度。将这种拍摄操作获取的图像数据称为发光图像数据。图4a示出基于发光图像数据的图像(以下称为发光图像)的示例。可以不使发光单元110发光并且使拍摄感光度比在使发光单元110发光时执行拍摄操作的情况的拍摄感光度高来执行拍摄操作。将这种拍摄操作所获取的图像数据称为非发光图像数据。图4b示出基于非发光图像数据的图像(以下称为非发光图像)的示例。图4c示出基于对发光图像数据和非发光图像数据进行合成而生成的合成图像数据的合成图像的示例。
为了获得如图4b所示的具有明亮背景的非发光图像，将拍摄感光度设置为高于在使发光单元110发光以执行拍摄操作时的拍摄感光度。与发光图像数据相比，较高的拍摄感光度增大了噪声对非发光图像数据的影响。然后，图像合成单元116对在不使发光单元110发光时执行多次拍摄操作所获取的多个非发光图像数据进行算术平均和合成。这样，图像合成单元116生成非发光合成图像数据。对多个非发光图像数据进行算术平均和合成，这能够降低噪声对非发光合成图像数据的影响。在获得诸如图4c所示的合成图像时，图像合成单元116可以使用前述的非发光合成图像数据而不是单个非发光图像数据来降低噪声对非发光图像数据的影响。有时，即使拍摄感光度较高，噪声影响也能维持在可接受的水平。在这种情况下，图像合成单元116不需要通过在不使发光单元110发光的情况下执行多次拍摄操作来获取多个非发光图像数据，或者图像合成单元116不需要生成非发光合成图像数据。图像合成单元116可以使用单个非发光图像数据以进行图像合成处理。
图像合成单元116基于所生成的非发光合成图像数据和发光图像数据来生成合成图像数据。对于人物区域，图像合成单元116优先使用发光图像数据。对于背景区域，图像合成单元116优先使用非发光合成图像数据。优先使用发光图像数据意味着图像合成单元116对较高比率的发光图像数据和较低比率的非发光合成图像数据进行合成。还包括仅使用发光图像数据而不使用非发光合成图像数据。
通过如上所述生成合成图像数据，图像合成单元116可以获得类似图4c所示的图像，其中背景和人物都是亮的并且噪声影响或照相机抖动少。
透镜控制单元117驱动透镜107，以基于用户指示和/或图像处理单元105输出的图像数据而进行焦点调节。
光量调节构件控制单元118基于用户指示和/或亮度计算单元106计算出的亮度值来控制光量调节构件108。
下面将描述与拍摄操作相关的操作。用户接通操作单元101中包括的电源开关。控制单元102检测到该接通，向构成照相机100的各组件供电。在供电至照相机100的组件的情况下，快门打开，光通过透镜107和光量调节构件108入射到图像传感器103上。然后，控制单元102使图像传感器103以预定周期输出模拟图像数据。
如果用户操作快门开关以输入开始拍摄准备操作的指示(开关sw1接通)，则控制单元102利用图像处理单元105输出的图像数据而开始拍摄准备操作。例如，拍摄准备操作包括焦点调节处理、曝光条件确定处理、以及发光单元110的发光判断处理。
在发光判断处理中，控制单元102可以判断为不需要发光(发光单元110将不发光)。在这种情况下，当用户操作快门开关以输入开始拍摄操作的指示(开关sw2接通)时，控制单元102进入主拍摄操作。在主拍摄操作中，控制单元102基于拍摄准备操作中执行的曝光条件确定处理的结果执行曝光控制。
控制单元102可以判断为需要发光(发光单元110将发光)。在这种情况下，控制单元102获取非发光图像数据(用于光量控制的非发光图像数据)，该非发光图像数据用于判断当开关sw2接通时发光单元110的发光量。然后，控制单元102使发光单元110执行预备发光，并获取预备发光图像数据。控制单元102将用于光量控制的非发光图像数据与预备发光图像数据进行比较，确定主拍摄操作所需的主发光量。在主拍摄操作中，控制单元102基于拍摄准备操作中执行的曝光条件确定处理的结果而执行曝光控制，并使发光单元110以上述确定的主发光量来发光。
下面参考附图2和3详细描述前述的获得合成图像的处理。图2和3是示出获得合成图像的各类处理的流程图。图2涉及用户先前操作了模式拨盘以选择图像合成拍摄模式的情况，其中在图像合成拍摄模式下，使用通过执行多次拍摄操作所获取的图像数据来执行图像合成处理。
用户接通操作单元101中包括的电源开关。在步骤s201，控制单元102打开快门以曝光图像传感器103。如果控制单元102在电源开关接通之后立即执行步骤s201，那么控制单元102设置预定的初始值作为曝光条件。从第二次开始，控制单元102基于下述的步骤s203中计算出的亮度值来设置曝光条件。
在步骤s202，控制单元102基于设定的曝光条件执行图像传感器103的电荷累积，然后使图像传感器103输出模拟图像数据。控制单元102由此获取图像数据。
在步骤s203，亮度计算单元106基于在步骤s202获取的图像数据计算亮度值(bv值)。亮度计算单元106可以使用传统方法计算亮度值。在此省略其详细描述。本示例性实施例涉及如下的情况：亮度计算单元106将图像数据分割成多个块，计算每个块内的亮度值，并且对所计算的各个块的亮度值进行平均以确定平均亮度值。平均亮度值用作步骤s203中的亮度值。
在步骤s204，控制单元102判断开关sw1是否接通。控制单元102和亮度计算单元106重复步骤s202至s204的处理，直到开关sw1接通为止。
在步骤s204，如果控制单元102判断为开关sw1接通(步骤s204为是)，那么在步骤s205，控制单元102基于步骤s203中计算的亮度值执行发光单元110的发光判断处理。
在步骤s205的发光判断处理中，如果判断为不需要发光(步骤s205为否)，那么在步骤s206，控制单元102基于步骤s203中计算出的亮度值来确定用于非发光拍摄操作(不使发光单元110发光时的拍摄操作)的曝光配置。具体而言，控制单元102确定包括用于非发光拍摄操作的光圈的光圈值av、与图像传感器103的电荷累积时间相对应的快门速度tv、以及拍摄感光度sv的曝光控制值。控制单元102可以使用传统方法确定曝光控制值。例如，可以预先存储关联亮度值和曝光控制值的程序图。根据存储的程序图，控制单元102可以基于步骤s203中计算的亮度值来确定曝光控制值。
在步骤s207，控制单元102判断开关sw2是否接通。如果控制单元102判断为开关sw2接通(步骤s207为是)，那么控制单元102前进至步骤s209。如果控制单元102判断为开关sw2没有接通(步骤s207为否)，那么在步骤s208，控制单元102判断开关sw1是否接通。如果控制单元102判断为开关sw1没有接通(步骤s208为否)，那么控制单元102前进至步骤s202。如果控制单元102判断为开关sw1接通(步骤s208为是)，那么控制单元102前进至步骤s207。
在步骤s209，控制单元102在步骤s206确定的曝光条件下连续执行多次(例如三次)非发光拍摄操作。
在步骤s210，图像合成单元116使用通过执行多次非发光拍摄操作所获取的多个非发光图像数据以执行图像合成处理。这样，图像合成单元116生成合成图像数据。
在步骤s205的发光判断处理中，如果判断为需要发光(步骤s205为是)，那么在图3的步骤s211中，控制单元102基于步骤s203中计算的亮度值来确定用于发光拍摄操作(使发光单元110发光时执行的拍摄操作)的曝光条件。具体而言，控制单元102确定包括用于发光拍摄操作的光圈的光圈值avf、与图像传感器103的电荷累积时间相对应的快门速度tvf、以及拍摄感光度svf的曝光控制值。
在步骤s212，控制单元102判断开关sw2是否接通。如果控制单元102判断为开关sw2接通(步骤s212为是)，那么控制单元102前进至步骤s214。如果控制单元102判断为开关sw2没有接通(步骤s212为否)，那么在步骤s213，控制单元102判断开关sw1是否接通。如果控制单元102判断为开关sw1没有接通(步骤s213为否)，那么控制单元102前进至步骤s202。如果控制单元102判断为开关sw1接通(步骤s213为是)，那么控制单元102前进至步骤s212。
在步骤s214，为了确定发光单元110的发光量，控制单元102连续执行非发光拍摄操作和发光拍摄操作，以获取用于光量控制的非发光图像数据和预备发光图像数据。本示例性实施例涉及如下的情况：控制单元102使用预定的曝光条件和预定的预备发光量来执行非发光拍摄操作和发光拍摄操作。用于非发光拍摄操作的曝光条件和用于发光拍摄操作的曝光条件是相同的。预备发光量远小于发光单元110的可控最大发光量。在步骤s214执行的非发光拍摄操作和发光拍摄操作中，控制单元102可以基于步骤s203计算的亮度值来设置曝光条件和预备发光量。
在步骤s215，控制单元102根据所获取的用于光量控制的非发光图像数据与预备发光图像数据之间的比较结果来计算预备发光的反射光量。具体而言，亮度计算单元106计算预备发光图像数据的亮度值和用于光量控制的非发光图像数据的亮度值，并且控制单元102计算亮度值之间的差。亮度值的差对应于预备发光的亮度值的增加量、即预备发光的反射光量。注意，亮度计算单元106可以将图像数据分割成多个块，并计算各个块的亮度值。当计算预备发光的反射光量时，控制单元102可以使用预备发光图像数据的亮度值相对于用于光量控制的非发光图像数据的亮度值的变化大于预定值的块的亮度值。例如，当预备发光图像数据的亮度值相对于用于光量控制的非发光图像数据的亮度值的变化大于预定量时，控制单元102可以分别计算预备发光图像数据和用于光量控制的非发光图像数据的这样的块的平均亮度值。然后，控制单元102可以计算所计算出的平均亮度值之间的差。在一些块中，亮度值可能在预备发光的情况下变化不大。如果控制单元102通过包括这样的块的亮度值来计算预备发光图像数据的平均亮度值，那么与仅根据亮度值在预备发光的情况下变化大的块的亮度值进行计算相比，平均亮度值变得较小。与使用仅根据亮度值在预备发光的情况下变化大的块的亮度值所计算出的平均亮度值时相比，上述方法减小了预备发光图像数据和用于光量控制的非发光图像数据的平均亮度值之间的差。在这种情况下，所计算出的预备发光的反射光量变得小于实际量。
如上所述，控制单元102基于亮度值在预备发光的情况下变化大的块的亮度值来计算预备发光的反射光量。结果，控制单元102可以精确地计算预备发光的反射光量。
在步骤s215，控制单元102基于所计算出的预备发光的反射光量来进一步确定步骤s211所确定的曝光条件下的主发光量。将参考图5和6描述预备发光的反射光量与主发光量之间的关系。图5是示出预备发光的反射光量小时的主发光量的图。图6是示出预备发光的反射光量大时的主发光量的图。执行用于计算预备发光的反射光量的拍摄操作的曝光条件可能与用于步骤s211确定的发光拍摄操作的曝光条件不同。在以下描述中，控制单元102考虑曝光条件之间的差异来计算主发光量。图5和6所示的亮度值是预备发光图像数据的亮度值相对于用于光量控制的非发光图像数据的亮度值的变化大于预定值的块的平均亮度值。
图5示出根据预备发光图像数据计算的亮度值小(预备发光的反射光量小)的情况。为了将主发光图像数据的亮度值设置为适当的亮度值，主发光量需要产生亮度的大幅增加。如上所述，预备发光量充分小于发光单元110的最大发光量。因此，通过使主发光量大于预备发光量，能够实现适当的亮度值的可能性高。
图6示出根据预备发光图像数据计算的亮度值大(预备发光的反射光量大)的情况。为了将主发光图像数据的亮度值设置为适当的亮度值，主发光量仅需产生亮度的较小增加。如果发光单元110能够发出将主发光图像数据的亮度值设置为适当亮度值所需的发光量的光，那就没问题。然而，将主发光图像数据的亮度值设置为适当亮度值所需的发光量有时可能小于发光单元110的可控制的最小发光量。在这种情况下，主发光图像数据的亮度值比适当的亮度值超过了发光量的增量。例如，在图4所示的背景为夜景的肖像拍摄场景中，人物可能过度曝光。
为了抑制被摄体的过度曝光并且获得没有不舒适感的良好的合成图像，控制单元102执行步骤s216以及后续步骤的处理。
在步骤s216，控制单元102判断步骤s215中计算的主发光量是否小于发光单元110的最小发光量。
如果步骤s215中计算的主发光量小于最小发光量(步骤s216为是)，那么在步骤s217，控制单元102确定用于发光拍摄操作的新的曝光条件。在步骤s217，控制单元102确定包括光圈值avf2、快门速度tvf2和拍摄感光度svf2的新的曝光控制值，使得与步骤s211中确定的曝光条件相比，新的曝光条件引起曝光不足。光圈值avf2、快门速度tvf2和拍摄感光度svf2不需要全都与步骤s211中确定的曝光控制值不同，但至少其中一个是不同的。在步骤s217，控制单元102基于步骤s211中确定的曝光控制值以及步骤s215中计算的主发光量和发光单元110的最小发光量之间的差来确定新的曝光控制值。例如，控制单元102确定曝光控制值，以使得预备发光图像数据的亮度值相对于用于光量控制的非发光图像数据的亮度值的变化大于预定值的块的平均亮度值在发光单元110发出发光量大于或等于最小发光量的光的情况下变为适当的亮度值。在确定新的曝光控制值时，控制单元102还确定发光单元110的新的主发光量。本示例性实施例涉及控制单元102将新的主发光量设置为最小发光量的情况。控制单元102使新的拍摄感光度svf2低于拍摄感光度svf，以使得当发光单元110发出最小发光量的光时，亮度值的变化大于预定量的块的平均亮度值变为适当的亮度值。
在步骤s218，控制单元102以步骤s217中确定的曝光条件和主发光量来执行发光拍摄操作。由于用于发光拍摄操作的新的曝光条件是基于预备发光图像数据和用于光量控制的非发光图像数据而确定的，因此可以抑制被摄体的过度曝光。
在步骤s219，控制单元102基于步骤s217中确定的曝光条件来确定用于非发光拍摄操作的曝光条件。如上所述，为了获取具有明亮背景的非发光图像，与用于发光拍摄操作的拍摄感光度相比，控制单元102使用于非发光拍摄操作的拍摄感光度增大。具体而言，控制单元102将用于非发光拍摄操作的拍摄感光度sv2设置得比用于发光拍摄操作的拍摄感光度svf2相对高。为了获得没有不舒适感的良好的合成图像，用于非发光拍摄操作的其他曝光控制值、即光圈值av2和快门速度tv2可以与用于发光拍摄操作的光圈值avf2和快门速度tvf2相同。控制单元102可以根据先前存储的程序图来确定包括拍摄感光度sv2的曝光控制值，使得非发光拍摄操作中的曝光比发光拍摄操作中的曝光更亮。本示例性实施例涉及控制单元102将光圈值av2设置为与光圈值avf2相同、将快门速度tv2设置为与快门速度tvf2相同、并且将拍摄感光度sv2设置为比拍摄感光度svf2高一级的情况。
控制单元102可以基于预备发光图像数据和用于光量控制的非发光图像数据之间的噪声差来确定用于非发光拍摄操作的拍摄感光度sv2和用于发光拍摄操作的拍摄感光度svf2之间的差。如果预备发光图像数据和用于光量控制的非发光图像数据之间的噪声差小，那么拍摄感光度sv2可以高两级以上。
如上所述，图像合成单元116可以合成多个非发光图像数据以生成非发光合成图像数据。这样，即使在增大的拍摄感光度的情况下执行非发光拍摄操作，也能减小噪声的影响。非发光图像数据的数量越多，越能够减小噪声的影响。因此，控制单元102可以根据非发光拍摄操作的次数来设置非发光拍摄操作和发光拍摄操作之间的曝光差。例如，与非发光拍摄操作的次数为第一次数相比，当非发光拍摄操作的次数为大于第一次数的第二次数时，控制单元102可增大曝光差。
在步骤s220，控制单元102在步骤s219确定的曝光条件下执行非发光拍摄操作。如上所述，控制单元102可以执行一次、两次或者更多次非发光拍摄操作。本示例性实施例涉及控制单元102连续执行三次非发光拍摄操作的情况。
控制单元102将连续执行一次发光拍摄操作和三次非发光拍摄操作所获得的一个发光图像数据和三个非发光图像数据临时存储在存储器单元109中。
在步骤s221，图像合成单元116通过利用临时存储在存储器单元109中的一个发光图像数据和三个非发光图像数据来执行图像合成处理。由此，图像合成单元116生成合成图像数据。下面将描述利用发光图像数据和非发光图像数据的图像合成处理。
如果步骤s215中计算的主发光量不小于最小发光量(步骤s216为否)，那么在步骤s222，控制单元102在步骤s211确定的曝光条件下以步骤s215中计算出的主发光量来执行发光拍摄操作。
在步骤s223，控制单元102基于步骤s211中确定的曝光条件来确定用于非发光拍摄操作的曝光条件。在步骤s223，如步骤s219那样，为了获得具有明亮背景的非发光图像，与用于发光拍摄操作的拍摄感光度相比，控制单元102使用于非发光拍摄操作的拍摄感光度增大。具体而言，控制单元102使用于非发光拍摄操作的拍摄感光度sv3比用于发光拍摄操作的拍摄感光度svf相对高。为了获得没有不舒适感的良好的合成图像，用于非发光拍摄操作的其他曝光控制值、即光圈值av3和快门速度tv3可以与用于发光拍摄操作的光圈值avf和快门速度tvf相同。控制单元102可以根据先前存储的程序图来确定包括拍摄感光度sv3的曝光控制值。本示例性实施例涉及控制单元102将光圈值av3设置为与光圈值avf相同、将快门速度tv3设置为与快门速度tvf相同、并且将拍摄感光度sv3设置为比拍摄感光度svf高一级的情况。
控制单元102可以基于发光图像数据与非发光图像数据之间的噪声差，确定用于非发光拍摄操作的拍摄感光度sv3和用于发光拍摄操作的拍摄感光度svf之间的差。如果发光图像数据与非发光图像数据之间的噪声差小，拍摄感光度sv3可以高两级以上。
在步骤s224，控制单元102在步骤s223确定的曝光条件下执行非发光拍摄操作。如上所述，控制单元102可以执行一次、两次或者更多次非发光拍摄操作。本示例性实施例涉及控制单元102连续执行三次非发光拍摄操作的情况。
控制单元102将连续执行一次发光拍摄操作和三次非发光拍摄操作所获得的一个发光图像数据和三个非发光图像数据临时存储在存储器单元109中。
在步骤s225，图像合成单元116利用临时存储在存储器单元109中的一个发光图像数据和三个非发光图像数据来执行图像合成处理。由此，图像合成单元116生成合成图像数据。
如上所述，控制单元102基于与在执行预备发光时的被摄体亮度有关的信息，确定用于发光拍摄操作的曝光条件和用于非发光拍摄操作的曝光条件。这可以抑制发光拍摄操作中的曝光过度和曝光不足。控制单元102可以适当地设置用于发光拍摄操作和用于非发光拍摄操作的曝光条件之间的差，从而可以获得良好的合成图像。
在步骤s205和s206，控制单元102基于步骤s203计算的亮度值执行处理。代替地，控制单元102可以在开关sw1接通之后获取图像数据。在这种情况下，控制单元102基于所获取的图像数据计算亮度值，并使用所计算出的亮度值进行处理。
在步骤s215，控制单元102根据用于光量控制的非发光图像数据与预备发光图像数据之间的比较结果来计算预备发光的反射光量。如果外部光的影响小，那么控制单元102可以仅根据预备发光图像数据来计算预备发光的反射光量。
在步骤s215，控制单元102使用预备发光图像数据的亮度值和用于光量控制的非发光图像数据的亮度值的变化大于预定量的块的平均亮度值。代替地，控制单元102可使用通过利用各个块的不同权重所计算出的加权平均亮度值。
在步骤s216，控制单元102将所计算出的主发光量与最小发光量进行比较。然而，控制单元102可以将所计算出的主发光量与最大发光量进行比较。假设所计算出的主发光量大于最大发光量。在这种情况下，与所计算出的主发光量小于最小发光量的情况相反，主发光图像数据的亮度值变得比适当亮度值小发光量的不足量。如果所计算出的主发光量大于最大发光量，那么控制单元102可以基于步骤s211中确定的曝光控制值、以及步骤s215中计算出的主发光量和发光单元110的最大发光量之间的差来确定新的曝光控制值。例如，控制单元102可以确定曝光控制值，使得预备发光图像数据的亮度值和非发光图像数据的亮度值的变化大于预定量的块的平均亮度值在发光单元110发出的发光量小于最大发光量的光时变为适当的亮度值。
在步骤s219，控制单元102基于步骤s217中确定的用于发光拍摄操作的曝光条件，确定用于非发光拍摄操作的曝光条件。但是，控制单元102可以基于步骤s211中确定的曝光条件、预备发光图像数据和用于光量控制的非发光图像数据来确定用于非发光拍摄操作的曝光条件。如果如上所述外部光的影响小，那么控制单元102可以基于步骤s211中确定的曝光条件和预备发光图像数据来确定用于非发光拍摄操作的曝光条件。
下面将参考附图7和8描述步骤s221和s225中执行的图像合成处理的示例。图7是示出多个图像数据和要在图像合成处理中执行的处理之间的关系的图。为了明确多个图像数据之间的差，图7示出对应于各个图像数据的图像。图8是示出与图像合成处理相关的处理的流程图。步骤s221和s225中执行的图像合成处理可以是除结合图7和8描述的方法以外的其他方法。基于发光图像数据和非发光图像数据获得合成图像的其他传统方法均适用。
在图像合成处理的步骤s801，图像处理单元105最初执行将发光图像数据(图7中的701)乘以均一增益量g(数字增益量)的处理(以下称为“数字增益处理”)。图像处理单元105将处理后的发光图像数据(图7中的705)临时存储在存储器单元109中。
控制单元102确定步骤s801中使用的增益量g，以补偿用于发光拍摄操作的拍摄感光度和用于非发光拍摄操作的拍摄感光度之间的差。控制单元102通过以下公式(1)确定增益量g：
g＝2^(用于发光拍摄操作的拍摄感光度和用于非发光拍摄操作的拍摄感光度之间的差)(1)
在本示例性实施例中，将用于发光拍摄操作的拍摄感光度设置为比用于非发光拍摄操作的拍摄感光度低一级。根据公式(1)，增益量g为2。由于发光单元110的发光，因而发光图像数据的人物区域具有适当的亮度值。在数字增益处理之后，人物区域的亮度值由此大于适当的亮度值。在数字增益处理之后，由于补偿了拍摄感光度的差，因而背景区域的亮度值与非发光图像数据的亮度值大致相等。
在步骤s802，图像处理单元105对临时存储在存储器单元109中的五个图像数据(图7中的701至705)中的每个执行显影处理。显影处理包括白平衡处理、用于将红、绿、蓝(rgb)拜耳阵列信号转换为三个rgb平面信号的颜色插值处理、伽玛校正处理、饱和度校正、以及色相校正。这样，图像处理单元105生成yuv(y：亮度信号，u：亮度信号与蓝色成分之间的差，v：亮度信号与红色成分之间的差)图像数据，并将yuv图像数据临时存储在存储器单元109中。在相同条件下对所有的图像数据应用显影处理有助于确定图像数据之间的差。这有助于后面要执行的发光图像数据与非发光图像数据的合成处理。注意，在步骤s802，临时存储在存储器单元109中的四个图像数据(图7中的701至704)无需经过显影处理。这些图像数据中的每一个可以在获取时单独经过显影处理。已经过显影处理的一个或多个图像数据可以省略步骤s802中的显影处理。
无论是针对发光图像数据还是非发光图像数据，图像处理单元105都在相同的条件下执行步骤s802的显影处理。例如，图像处理单元105在白平衡处理中使用白平衡校正系数。对于发光图像数据和非发光图像数据两者，图像处理单元105使用白平衡校正系数，使得发光图像数据中的辅助光变为非彩色。这使得主要被摄体，即人物获得正确的色调。注意，白平衡校正系数并不局限于此，并且可以使用任何系数。
在步骤s803中，图像处理单元105执行用于校正四个图像数据(图7中的702至705)之间出现的位置偏差的校正(以下称为“照相机抖动校正”)处理。图像处理单元105通过检测定位对象图像数据相对于定位基准图像数据的位置偏差量、并且根据检测到的位置偏差量而校正定位对象图像数据，来执行照相机抖动校正处理。
本示例性实施例涉及使用数字增益处理之后的发光图像数据作为定位基准图像数据、并且使用后续拍摄操作所获取的多个非发光图像数据作为定位对象图像数据的情况。
可以使用多个非发光图像数据中的一个作为定位基准图像数据，并且可以使用其他的非发光图像数据和发光图像数据作为定位对象图像数据。并非必须首先执行发光拍摄操作。首先执行发光拍摄操作有助于捕捉主要被摄体、即人物的拍照机会。
使用数字增益处理之后的发光图像数据而不是数字增益处理之前的发光图像数据，其原因在于定位基准图像数据和定位对象图像数据的亮度值之间的较小的差能提高定位精度。发光图像数据包括被发光单元110照明的一个或多个区域。由于这些区域相对于非发光图像数据的相同区域的亮度值的差大，因此这些区域可从位置偏差量的检测中排除。
在步骤s804，图像处理单元105逐像素计算步骤s801的数字增益处理之后的发光图像数据和步骤s803的照相机抖动校正处理之后的非发光图像数据的平均值。这样，图像处理单元105生成平均图像数据。
通过对多个图像数据进行平均，图像处理单元105可以在不改变背景亮度的情况下获得低噪声图像数据。本示例性实施例涉及图像处理单元105不仅对多个非发光图像数据进行平均、而且对数字增益处理之后的发光图像数据进行平均的情况。与仅对多个非发光图像数据进行平均时相比，不仅对多个非发光图像数据而且对数字增益处理之后的发光图像数据进行平均能够进一步提高降噪效果。
步骤s804中生成的平均图像数据(图7中的706)包括适当亮度的背景区域和不适当亮度的人物区域。
在步骤s805，图像处理单元105在发光图像数据中逐像素地计算发光单元110的照明的量(以下称为“照明量”)。在下文中该处理被称为照明量计算处理。
在步骤s805的照明量计算处理中，图像处理单元105初始地对数字增益处理之后的发光图像数据和照相机抖动校正处理之后的非发光图像数据应用低通滤波，以获得低频图像数据。应用低通滤波能减小噪声的影响，并且提高照明量的计算精度。要滤波的非发光图像数据可以是通过与发光拍摄操作最接近的非发光拍摄操作所获取的非发光图像数据。在这种情况下，主要被摄体、即人物的偏差的影响可以最小化。
图像处理单元105逐像素计算两个图像数据的亮度信号y之间的差(亮度差)。发光图像数据和非发光图像数据之间的亮度差的大小对应于照明量的大小。由于使用数字增益处理之后的发光图像数据，因而在没有被发光单元110照明的像素中，发光图像数据和非发光图像数据的亮度信号y通常彼此一致。像素的亮度差越大，照明量越大。
在本示例性实施例中，图像处理单元105根据两个图像数据之间的亮度差来计算照明量。图像处理单元105可以进一步基于色差u和v的差来计算照明量。
图像处理单元105将所计算出的每个像素的照明量存储在存储器单元109中。
在步骤s806，图像合成单元116以基于步骤s805中计算的每个像素的照明量的合成比率逐像素地对数字增益处理之前的发光图像数据(图7中的701)与步骤s804中生成的平均图像数据(图7中的706)进行合成。图像合成单元116基于以下公式(2)合成图像数据：
合成信号＝发光图像数据×k+平均图像数据×(1-k)(2)
其中k(0≤k≤1)是合成比率中的发光图像数据的比率。照明量越大，比率k的值越高。根据照明量，图像合成单元116可以阶梯式地而不是连续地改变比率k。如果照明量小于预定值，那么图像合成单元116可以根据照明量改变比率k，并且如果照明量大于或等于预定量，那么可以设定k＝1。
这样，图像合成单元116结束步骤s221和s225的图像合成处理。
通过执行如上所述的图像合成处理，图像处理单元105和图像合成单元116通过对在使发光单元110发光时执行拍摄操作所获取的图像数据与在不使发光单元110发光时执行拍摄操作所获取的图像数据进行合成，可以获得良好的合成图像。
以上描述了本发明的示例性实施例。本发明并不限于该实施例，还可以包括不背离本发明主旨、落入本发明范围内的其他设计。
例如，前述示例性实施例涉及照相机100使用内置的发光单元110执行发光拍摄操作的情况。但是，照相机100可以被配置为使用可拆卸地安装的发光装置来执行发光拍摄操作。
前述示例性实施例涉及用户预先选择图像合成拍摄模式的情况。照相机100可以具有基于被摄体的运动量和亮度确定照相场景的功能。在这种情况下，照相机100可以基于场景确定的结果自动选择图像合成拍摄模式。
前述示例性实施例涉及当电源开关接通时控制单元102开始曝光图像传感器103的情况。但是，控制单元102可以被配置为当输入开始拍摄操作的指示时开始曝光图像传感器103。在这种情况下，照相机100可包括不同于图像传感器103的测光传感器。控制单元102可以基于测光传感器的作为关于被摄体亮度的信息的测光结果来确定曝光条件，而不是基于从图像处理单元105输出的图像数据确定曝光条件。
前述示例性实施例涉及照相机100的图像合成单元116执行图像合成的情况。在其他可能配置中，照相机100可以执行多次拍摄操作，将获取的多个图像数据传输到外部设备，并且外部设备可以执行图像合成。
还可以通过以下方式实现本发明的实施例：系统或设备的计算机读出并执行记录在存储介质(例如非瞬态计算机可读存储介质)中的计算机可执行指令以执行本发明的上述的一个或多个实施例的功能，或者由系统或设备的计算机例如从存储介质中读出并执行计算机可执行指令以执行上述一个或多个实施例的功能而执行的方法。计算机可以包括一个或多个中央处理单元(cpu)、微处理单元(mpu)或者其他电路，并且可以包括独立计算机或独立计算机处理器的网络。计算机可执行指令可以通过例如网络或存储介质提供至计算机。存储介质可以包括例如一个或多个硬盘、随机存取存储器(ram)、只读存储器(rom)、分布式计算系统的存储器、光盘(例如致密型盘(cd)、数字多功能盘(dvd)、或蓝光光盘(bd)tm)、闪速存储装置、和存储卡等。
虽然参考示例性实施例对本发明进行了说明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求书的范围符合最宽的解释，以使其涵盖所有这种修改、等同结构及功能。