摄像设备及其控制方法
【技术领域】
[0001]本发明涉及一种摄像设备及其控制方法，尤其涉及一种使用具有的各像素均包括多个光电转换单元的图像传感器的摄像设备及其控制方法。
【背景技术】
[0002]已知这样一种图像传感器，该图像传感器包括的各像素均被配置成通过分开的光电转换单元接收穿过摄像光学系统的出射光瞳的不同部分区域的光束。这些像素用来获取具有视差的两个图像(以下称为A图像和B图像)的信号。可以通过获得A图像和B图像之间的相位差来进行基于相位差检测的焦点检测。此外，还可以基于A图像和B图像生成距离图像。
[0003]作为A图像和B图像的应用例子，已知下面一些技术:在该技术中，获得拍摄图像的各个小的区域中A图像和B图像之间的离焦量，并且应用根据离焦量的图像处理(日本特开2008-15754号)，并且在该技术中，获得并存储离焦量的分布(日本特开2009-124313
号)O
[0004]为了计算针对拍摄图像的各个小的区域的离焦量，图像传感器需要具有大量像素，其中各像素均包括多个光电转换单元，如图2A和2B所示。然而，可能存在下面的问题:尤其当如在拍摄运动图像时一样，拍摄间隔短时，计算离焦量的处理负荷增大使得难以进行离焦量的实时计算。
[0005]此外，为了更精确地获取各像素的离焦量和距离信息，可能需要高级图像处理。例如，作为A图像和B图像之间的相位差或者视差量，通常获得具有最高相关值的相位差(偏移量)，但是在被摄体具有周期性纹理的情况下，多个不同偏移量都具有高的相关值，并且因此可能难以计算校正值。此外，如果存在仅存在于A图像和B图像之一的区域，则不能获得相对于该区域的相位差或者视差量。
[0006]因此，当摄像设备需要进行这样庞大的计算时，使用这种摄像设备的处理能力难以在运动图像拍摄或者连拍时的进行实时处理。此外，可能存在下面的情况:由于电路规模等，用于执行复杂处理的硬件不能安装在摄像设备上。在这类情况下，摄像设备需要输出A图像和B图像的图像信号，从而使得外部设备来进行相位差或者视差量的计算、或者距离图像的生成等，或者摄像设备或者外部设备需要对于所存储的RAW数据执行相同的处理。
[0007]然而，当A图像和B图像的图像信号被输出至外部设备时，例如，当图像传感器的各像素获取A图像和B图像时，需要发送与像素数量的两倍相对应的数据量。此外，当存储该数据、以及然后对其进行图像处理时，还需要节省存储容量。因此，需要一种用于在使得能够进行视差量的计算的同时，减少要发送或者存储的数据量的技术。
【发明内容】
[0008]考虑到这一问题，做出本发明，并且本发明提供一种摄像设备和该摄像设备的控制方法，其中，该摄像设备包括能够获取视差图像的图像传感器，并且可以在使得能够进行视差量的计算的同时，减少发送或者存储的数据量。
[0009]根据本发明的一个方面，提供一种摄像设备，其包括:图像传感器，其设置有多个像素，其中，各像素包括多个光电转换单元，各光电转换单元生成光电信号；第一生成部件，用于基于通过各像素的所述多个光电转换单元所生成的所有光电信号来生成针对各像素的第一图像信号；第二生成部件，用于基于通过各像素的所述多个光电转换单元所生成的所有光电信号中的至少一个、而不是基于所述所有光电信号来生成针对各像素的第二图像信号；以及输出部件，用于输出所述第一图像信号和所述第二图像信号，其中，在同一时间段内，所述输出部件输出所述第二图像信号的次数少于输出所述第一图像信号的次数。
[0010]根据本发明的一个方面，提供一种摄像设备的控制方法，其中，所述摄像设备具有设置有多个像素的图像传感器，各像素包括多个光电转换单元，所述方法包括以下步骤:从各像素的所述多个光电转换单元获取光电信号；基于通过各像素的所述多个光电转换单元所生成的所有光电信号生成针对各像素的第一图像信号；基于通过各像素的所述多个光电转换单元所生成的所有光电信号中的至少一个、而不是基于所述所有光电信号来生成针对各像素的第二图像信号；以及输出所述第一图像信号和所述第二图像信号，其中，在同一时间段内，输出所述第二图像信号的次数少于输出所述第一图像信号的次数。
[0011]通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
【附图说明】
[0012]图1是示出根据本发明实施例的图像处理系统的结构的框图。
[0013]图2A和2B是示出根据第一实施例的视差量检测像素的结构和图像传感器的像素阵列的例子的图。
[0014]图3A和3B是示出第一实施例的数字照相机的操作的流程图。
[0015]图4A?4D是示意性示出第一实施例的图像信号发送单元的操作的图。
[0016]图5是示出第一实施例的图像信号发送单元的操作的流程图。
[0017]图6A和6B是示出图像信号发送单元通过图5的操作所输出的图像信号的例子的图。
[0018]图7是示出根据第一实施例使用从外部设备所接收到的距离信息的操作的流程图。
[0019]图8是第一实施例的记录后图像处理的流程图。
[0020]图9是示出根据第二实施例的视差量检测像素的结构的例子的图。
[0021]图1OA和1B是示出第二实施例的数字照相机的操作的流程图。
[0022]图1lA和IlB是示出通过第二实施例的图像信号发送单元所输出的图像信号的图。
[0023]图12A和12B是示出根据第三和第四实施例的图像信号发送单元的操作的流程图。
[0024]图13A和13B是示出根据第四实施例的图像信号发送单元的操作的图。
[0025]图14A?14C是示出根据第五实施例的图像信号发送单元的操作的图。
[0026]图15是示出根据第六实施例的图像处理系统的结构的框图。
[0027]图16A和16B是示出第六实施例的摄像设备和外部设备的操作的流程图。
【具体实施方式】
[0028]现根据附图，详细说明本发明的典型实施例。注意，下面说明将本发明应用于用作为摄像设备的例子的数字照相机的实施例，但是，本发明可应用于设置有照相机的任何电子装置。
[0029]第一实施例
[0030]图1是示出根据本实施例，构成图像处理系统的数字照相机和外部设备的功能结构的例子的框图。数字照相机120包括光学系统100、摄像单元101、图像信号生成单元102、视差量计算单元103、图像信号发送单元104、图像处理单元105、记录单元106、显示单元107和距离信息接收单元108。注意，在这些附图中，没有示出数字照相机通常所设置的、与本实施例不直接相关的结构。
[0031]控制单元110包括例如可编程处理器(MPU)，并且利用MPU执行存储在非易失性存储器中的程序来控制功能块，从而实现包括根据下面所述的实施例的操作的、数字照相机120的处理。例如，控制单元110包括诸如被用于执行这些程序的RAM等的易失性存储器。在非易失性存储器中，还存储各种类型的设置值和GUI数据等。
[0032]光学系统100是摄像光学系统，并且包括调焦透镜和光圈/快门等。控制单元110驱动调焦透镜来控制光学系统100的焦距、或者控制光圈/快门的开口大小或者开放/关闭操作。
[0033]摄像单元101包括将通过光学系统100在摄像面上所形成的被摄体图像光电转换成表示该被摄体图像的电信号(图像信号)的图像传感器。注意，“图像信号”是在单次拍摄时从各像素所获取的一组信号(像素信号)。图像信号生成单元102可以直接输出从摄像单元101所接收到的图像信号，或者输出通过组合多个图像信号所获得的图像信号。视差量计算单元103计算从图像信号生成单元102所接收到的多个图像信号之间的视差量。图像信号发送单元104接收来自图像信号生成单元102的图像信号和来自视差量计算单元103的与视差量有关的信息，并且可以选择所要输出的整个图像信号或者图像信号的一部分。
[0034]图像信号发送单元104至少包括有线通信接口和无线通信接口中的一个，并且将图像信号或者与视差量有关的信息输出至与数字照相机120或者记录单元106通信连接的外部设备150。外部设备150是诸如个人计算机或者云计算机等的具有比数字照相机120更高的处理能力的设备。
[0035]图像处理单元105对从图像信号生成单元102所接收到的图像信号或者使用记录单元106记录在存储装置或可拆卸记录介质中的图像信号应用预定图像处理。预定图像处理可以包括例如白平衡处理、诸如降噪处理、边缘增强处理和伽马处理等的显影处理、以及模糊处理等，但是还可以包括其它图像处理。
[0036]记录单元106根据控制单元110的控制，将通过图像处理单元105所显影的图像信号和通过图像信号发送单元104所输出的图像信号等记录在诸如硬盘或者半导体装置等的内置存储装置或者可拆卸记录介质中。此外，记录单元106可以根据控制单元110的控制读出所记录的图像信号。
[0037]显示单元107基于通过图像处理单元105所显影的图像信号或者记录在记录单元106中的图像信号进行显示。显示单元107还显示用户在其上向数字照相机120给出各种类型的指示和设置的UI。
[0038]距离信息接收单元108至少包括有线通信接口和无线通信接口中的一个，并且接收通过外部设备150所计算出的距离信息以将该距离信息和基于该距离信息的信息提供给控制单元110。
[0039]操作单元111是用户向数字照相机120给出包括拍摄准备指示和拍摄指示的各种类型的指示、或者用户进行各种类型的设置所使用的一组输入装置，包括按钮、开关和触摸面板等。
[0040]注意，除光学系统100、显示单元107和操作单元111以外的功能块中的至少一些还可以通过控制单元110使用软件来实现。此外，多个功能块还可以通过一个硬件来实现。
[0041]外部设备150可以是诸如通用计算机等的能够与数字照相机120通信的任意电子装置，并且经由发送/接收单元151可通信地连接至数字照相机120。MPU 152经由发送/接收单元151接收来自数字照相机120的图像信号等，使用预定方法计算距离信息，并且经由发送/接收单元151将距离信息发送给数字照相机120。注意，MPU 152包括RAM和R0M，并且用于与数字照相机120进行通信和用于执行用于计算距离信息的处理的程序存储在ROM中。当然，这些程序可以被从诸如硬盘驱动器等的存储装置读取到RAM中、并且被执行。
[0042]图2A示出本实施例的摄像单元101的能够获取视差图像的像素(视差检测像素)的结构的例子。该像素包括微透镜203和两个光电转换单元或者光接收元件204和205，其中，光接收元件204接收穿过出射光瞳区域201的光束，并且光接收元件205接收穿过出射光瞳区域202的光束。假定可以通过光接收元件204所获取的图像信号是A图像的图像信号，并且可以通过光接收元件205所获取的图像信号是B图像的图像信号，则A图像和B图像是视差图像。通过获得从多个像素所获取的A图像和B图像之间的相位差，可以进行基于相位差检测的焦点检测。此外，还可以基于A图像和B图像生成距离图像。
[0043]当如图2A所示，在水平方向上分割(配置)像素的光电转换单元时，可以获得A图像和B图像之间在水平方向上的视差量。如果每一像素均具有在垂直方向上被分割的光电转换单元，则可以获得A图像和B图像之间在垂直方向上的视差量。注意，图2A示出像素具有两个等分的光电转换单元的结构，但是像素还可以具有三个以上的分割光电转换单元。