摄像装置及其控制方法
【专利摘要】本发明提供一种摄像装置及其控制方法。所述摄像装置能够减小卷帘快门失真校正处理所需的边缘区域。所述摄像装置包括：采用卷帘快门方法的摄像单元；以及校正单元，其被配置为对由所述摄像单元拍摄的图像数据，进行用于减少卷帘快门失真的校正处理。所述校正单元相对于所述图像数据中的基准线的读出位置来调整其他线的读出位置，并且设置所述基准线，以减少所述基准线的读出位置与所述其他线的读出位置之间的偏移量。
【专利说明】摄像装置及其控制方法
【技术领域】
[0001]本发明涉及一种用于对拍摄图像数据进行针对由于卷帘快门方法而产生的失真的校正处理的技术。
【背景技术】
[0002]诸如摄像机及数字照相机等摄像装置的尺寸和重量一直在不断减小，这使得利用便携式摄像装置来拍摄图像数据的机会增加。近年来，互补金属氧化物半导体(CMOS)传感器已被用于此类摄像装置的图像传感器。这主要是因为CMOS传感器具有如下的优点，即这类传感器能够容易地实现成本降低以及像素数的增加，并且这类传感器的功耗低。
[0003]然而，将CMOS传感器用作图像传感器可能导致如下的结果，即除拍摄图像数据的振动之外，还由于照相机抖动或者被摄体的运动(或被摄体的抖动)而产生失真。当将电荷耦合器件(CXD)用作图像传感器时，则不会发生这种现象。
[0004]大部分CMOS传感器被配置为通过卷帘快门方法读出图像数据，在该方法中，逐个像素或逐条线地(通常在水平方向上，或者有时在垂直方向上)依次读出图像数据。根据这种卷帘快门方法，各像素或各条线被曝光不同的曝光时间段。然而，在逐个像素地依次读出图像数据的情况下，与线间的曝光开始时间差相比，在一条线中仅产生小到能够忽略的像素间曝光开始时间差。因此，在下面的描述中，将把逐个像素地读出图像数据，视为具有与逐条线地读出图像数据相同的问题。
[0005]当由卷帘快门型的传感器来拍摄图像数据时，如果在从画面中的顶线到底线的曝光时段中，被摄体运动或者照相机抖动，则由于各条扫描线的曝光时段的时间差，而导致该被摄体的图像发生变形，并且这表现为失真。在下文中，将这种失真称为卷帘快门失真。
[0006]对此，一种可能的解决方案是配设作为CXD的标准功能的全局快门功能。另一种可能的解决方案是提供多个电路，这些电路用于读出像素数据，从而并行地使用这些像素数据，或者将这些电路中的各个分配给图像数据中的各区域，由此加快读出操作，进而减小曝光时段之间的时间差。
[0007]然而，前一种解决方案需要像素数的数倍的晶体管，从而导致成本增加。此外，该提案由于妨碍了像素的开口率(aperture ratio)的增加，因此存在对图像质量本身产生不利影响的问题。因此，该解决方案的采用局限于一些被设计用于测量的摄像装置。另一方面，对于后一种解决方案，因为图像数据的像素数不断增加，所以为了提供足以减小曝光时段间的时间差的大量读出电路，导致成本增加。
[0008]因此，作为用于校正卷帘快门失真的方法，依赖于图像处理的校正成为主导。已提出了各种方法作为卷帘快门失真校正处理。例如，这些方法中的许多被配置为通过对图像数据进行几何变形，来实现卷帘快门失真校正处理，如在日本专利申请特开第2006-186481号公报中所讨论的。
[0009]另一方面，摄像装置包括检测摄影操作的传感器，所述摄影操作涉及诸如陀螺仪及加速度传感器等的摄像装置的旋转和移动。在图像分析中，利用分析技术在多个连续的图像数据之间，计算或估计摄影操作(自身运动)、全局运动以及被摄体的运动。在CVPR2010中提出的由Simon Baker等撰写的“去除卷帘快门摇晃”("Removing Rolling ShutterWobble^written by Simon Baker et.al.presented in CVPR2010)讨论了通过运动的多项式插值与图像数据之间的拟合处理来获取运动信息的方法。
[0010]简单的校正方法是如下的方法，即在仅着重于水平方向和垂直方向上的图像数据的平移运动的同时，进行卷帘快门失真校正处理。另一方面，复杂的校正方法是如下的方法，即根据诸如运动估计结构(structure From Motion, SFM)等的现有原理,而虑及所有类型的摄影操作以及被摄体的深度位置。另一种复杂的校正方法是如下的方法，即在区分被摄体的运动以估计或计算运动信息的同时，进行卷帘快门失真校正处理。以这种方式，卷帘快门失真校正处理通过考虑各条线的曝光时段的时间差，计算能够抵消该时间差的几何变形，并将该几何变形应用于图像数据，来进行能够减少卷帘快门失真的校正。
[0011]关于时间方向，也存在仅针对由如下运动产生的失真(一般被归类为切变(shear))的简单方法，所述运动作为一个帧中的曝光时段期间的运动，能够被认为具有恒定的方向 及大小。另一方面，还存在针对由在帧周期内方向及大小不恒定而是可变的运动产生的失真(被归类为摇晃(wobble)或果冻效果(jello effect))的方法。
[0012]此外，对于实际实施卷帘快门失真校正处理而言，存在各种各样可能的方法，诸如在摄像时进行卷帘快门失真校正处理的实时方法、在再现时或者对记录的图像数据进行卷帘快门失真校正处理的离线方法、以及在摄像装置以外的图像处理装置中进行卷帘快门失真校正处理的方法等。
[0013]上述方法中的任何方法均通过在具有不同曝光时段的线当中将单条线设置为基准线并且对图像数据进行几何变形，来进行卷帘快门失真校正处理，以消除由不同曝光时段期间产生的运动而导致的卷帘快门失真，就如同在与基准线相同的曝光时段期间对这些线进行了摄像一样，这一点在所有这些方法当中是共同的。
[0014]该卷帘快门失真校正处理要求将某一行确定为基准行，并计算其他行相对于该基准行的偏移量。已知的结构包括在考虑实时处理的情况下选择第一行作为基准行，以及选择图像数据中的中心行作为基准行，以减少图像数据总体的变形量。在这两者中的任何一种情况下，基准行均是固定的。
[0015]此外，用于抵消运动的几何变形还要求将边缘区域附加至输出图像数据的大小，以不生成不具有像素数据的区域，而不管采用哪种校正方法，都必须以比输出图像数据更大的大小进行摄像。
[0016]关于该边缘区域，如果同时进行电子照相机抖动校正，则用于该电子照相机抖动校正的边缘区域也应当被考虑在内。电子照相机抖动校正是如下的校正，即相对于在将边缘区域附加至图像数据的同时拍摄的图像数据，根据照相机抖动的程度来移动读出图像数据的位置。通过改变从传感器中读出图像数据的位置，从存储图像数据的缓冲器中剪切出输出图像数据，或者对存储在缓冲器中的图像数据进行几何变形，来实现照相机抖动校正。
[0017]然而，根据上述的常规卷帘快门失真校正处理，随着卷帘快门失真越大，需要更大的边缘区域来校正卷帘快门失真。另一方面，来自用户的增加图像数据的像素数的要求导致如下的趋势，即减少能够向用于卷帘快门失真校正处理的边缘区域分配的传感器像素的数量。在使防振功能更为动态化的趋向的影响下，在同时另外进行电子抖动校正的方法中，上述趋势更为显著。
[0018]因此，卷帘快门失真校正处理的一个目的是实现节省卷帘快门失真校正处理所需的边缘区域，同时使得甚至能够校正由更大的抖动产生的卷帘快门失真。尤其是，如果除了电子振动校正机构之外，还进行卷帘快门失真校正处理，则在这两者之间应当共享边缘区域。
[0019]因此，期望减小在卷帘快门失真校正处理期间所需的边缘区域。
【发明内容】
[0020]根据本发明的一个方面，提供一种摄像装置，该摄像装置包括:采用卷帘快门方法的摄像单元；以及校正单元，其被配置为对由所述摄像单元拍摄的图像数据进行用于减少卷帘快门失真的校正处理。所述校正单元相对于所述图像数据中的基准线的读出位置来调整其他线的读出位置，并且设置所述基准线，以减少所述基准线的读出位置与所述其他线的读出位置之间的偏移量。
[0021]通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
【专利附图】
【附图说明】
[0022]图1是例示根据本发明的第一示例性实施例的摄像装置的结构的框图。
[0023]图2例示了与输出图像数据的大小相对应的图像切出区域、边缘区域以及拍摄图像数据的整个区域(整个摄像区域)之间的关系。
[0024]图3A例示了由采用卷帘快门方法的摄像装置100拍摄的图像数据的帧间隔(frame interval)与各行的曝光时段之间的关系。图3B例示了当图3A中所示的图像数据被校正时的、帧间隔与各行的曝光时段之间的关系。
[0025]图4A例示了从作为运动信息计算单元102的偏航方向旋转传感器获取到的运动信息。图4B例示了当将第一行用作基准行时的卷帘快门失真校正处理。图4C例示了当将读出方向上的中心行用作基准行时的卷帘快门失真校正处理。
[0026]图5A例示了作为映射位置的采样目标的示例。图5B例示了基准行的选择产生的效果。
[0027]图6例示了当在对值域(range)施加限制的情况下确定基准行的同时进行卷帘快门失真校正处理时相对于帧进展的各个帧中的采样位置。
[0028]图7例示了根据本发明的第二示例性实施例的摄像装置的结构。
[0029]图8例示了两个帧之间的模板匹配。
[0030]图9例示了利用直方图来选择全局矢量的方法的示例。
[0031]图1OA例示了从作为运动信息计算单元702的偏航方向旋转传感器获取到的运动信息。图1OB例示了当将第一行用作基准行时的卷帘快门失真校正处理。图1OC例示了当将读出方向上的中心行用作基准行时的卷帘快门失真校正处理。图1OD例示了当将第一行用作基准行时的卷帘快门失真校正处理。图1OE例示了当将读出方向上的中心行用作基准行时的卷帘快门失真校正处理。图1OF例示了当将比图1OE中所示的中心行低图像高度的1/4大小的行用作基准行时的卷帘快门失真校正处理。
[0032]图11是例示根据本发明的第三示例性实施例的摄像装置的结构的框图。[0033]图12A例示了当对图像数据仅进行图像模糊校正处理时利用几何变形的校正处理。图12B例示了当对图像数据仅进行图像模糊校正处理时利用几何变形的校正处理，以及用于校正模糊和卷帘快门失真两者的处理。
[0034]图13例示了用于选择基准行的处理的示例。
【具体实施方式】
[0035]下面，将参照附图来详细描述本发明的各个示例性实施例、特征及方面。
[0036]首先，将描述本发明的第一示例性实施例。图1例示了根据本示例性实施例的摄像装置100的结构。如图1所示，摄像装置100包括图像输入单元101、运动信息计算单元102、卷帘快门失真校正量计算单元103、卷帘快门失真校正单元104，以及校正基准行确定单元105。
[0037]图像输入单元101输入通过对被摄体进行摄像而形成的图像数据(在下文中有时可以称为拍摄图像数据)。具体而言，图像输入单元101包括未例示的光学系统、图像传感器及图像处理电路。首先，由光学系统在图像传感器上形成被摄体的光学图像，并且通过图像传感器的光电转换操作，将该光学图像转换为电信号。接下来，由图像处理电路把被转换为了电信号的被摄体图像由模拟数据转换为数字数据，并且如果图像传感器是单板传感器，则该被摄体图像经受拜耳(Bayer)插值处理。然后，被摄体图像经受摄像系统的信号处理，包括孔径校正、伽玛校正及白平衡处理等，由此生成拍摄图像数据。在实际中，用于执行处理的图像处理电路被 配置为单个电路或多个部分电路。特别是，摄像系统的图像处理电路在实际中经常被划 分为两个部分，即处置模拟电信号的模拟前端，以及模拟-数字(AD)转换之后的数字后端。
[0038]图2例示了与输出图像数据的大小相对应的图像切出区域202、边缘区域203以及拍摄图像数据的整个区域(整个摄像区域)201之间的关系。如图2所示，从图像输入单元101输入的拍摄图像数据的整个区域(整个摄像区域)201对应于通过向与输出图像数据的大小相对应的图像切出区域202添加用于卷帘快门失真校正处理的边缘区域203而获取到的大小。
[0039]运动信息计算单元102检测摄像装置100的运动。运动信息计算单元102输出摄像装置100的运动信息，或是通过将摄像装置100的运动信息转换为图像数据的运动而生成的信息。通过安装在摄像装置100上并计算旋转及移动量的传感器(诸如陀螺仪、加速度传感器或磁传感器等)，来实现运动信息计算单元102。与跟帧速率或者图像数据中的各行的采样率相对应的采样间隔相比，运动信息计算单元102以更短的采样间隔来获取运动信息。通过下面的公式I，能够将运动信息表示为关于任意时间以及焦距信息之类的照相机参数的运动矢量。
【权利要求】
1.一种摄像装置，该摄像装置包括: 采用卷帘快门方法的摄像单元；以及 校正单元，其被配置为对所述摄像单元拍摄的图像数据进行用于减少卷帘快门失真的校正处理，该校正处理是通过相对于所述图像数据中的基准线的读出位置调整其他线的读出位置来进行的， 其中，所述校正单元在进行所述校正处理时，设置所述基准线，以减小所述基准线的读出位置与所述其他线的读出位置之间的偏移量。
2.根据权利要求1所述的摄像装置，该摄像装置还包括检测单元，该检测单元被配置为检测所述摄像装置的运动， 其中，所述校正单元基于所述检测单元检测到的所述摄像装置的运动，来调整所述其他线的读出位置。
3.根据权利要求1所述的摄像装置，其中，所述校正单元确定所述基准线，以使附加至用于所述校正处理的输出图像数据的大小的边缘区域最小化。
4.根据权利要求1所述的摄像装置，其中，所述校正单元以使得在所述其他线当中第一方向上的偏移量的最大值与第二方向上的偏移量的最大值之差被包含在预定范围内的方式，来确定所述基准线，所述第二方向与所述第一方向相反。
5.根据权利要求1所述的摄像装置，其中，所述校正单元从先前确定的基准线起的预定范围内的线中，新设置所述基准线。
6.根据权利要求1所述的摄像装置，其中，所述校正单元由第一图像数据，来计算用于相对于所述基准线的读出位置调整所述其他线的读出位置的校正量，并且在所述第一图像数据之后获取到的第二图像数据中，基于由所述第一图像数据计算出的所述校正量，相对于所述基准线的读出位置来调整所述其他线的读出位置。
7.根据权利要求2所述的摄像装置，其中，所述检测单元基于所述摄像装置的摄影操作或者图像数据的帧之间的运动矢量，来检测所述摄像装置的运动。
8.根据权利要求2所述的摄像装置，该摄像装置还包括模糊校正量计算单元，该模糊校正量计算单元被配置为基于所述检测单元检测到的所述摄像装置的运动，来计算用于消除所述摄像单元拍摄的图像数据的模糊的模糊校正量， 其中，所述校正单元基于由所述模糊校正量计算单元计算出的所述模糊校正量，对所述摄像单元拍摄的图像数据进行模糊校正处理。
9.一种摄像装置的控制方法，所述摄像装置包括采用卷帘快门方法的摄像单元，该控制方法包括以下步骤: 对所述摄像单元拍摄的图像数据进行用于减少卷帘快门失真的校正， 其中，所述校正包括相对于所述图像数据中的基准线的读出位置来调整其他线的读出位置，并且， 其中，所述校正还包括设置所述基准线，以减小所述基准线的读出位置与所述其他线的读出位置之间的偏移量。
【文档编号】H04N5/357GK103973999SQ201410040309
【公开日】2014年8月6日 申请日期:2014年1月27日 优先权日:2013年2月1日
【发明者】椿秀敏 申请人:佳能株式会社