摄像设备及其控制方法
【专利摘要】本发明涉及一种摄像设备及其控制方法。将与几何变形量相对应的偏移量与由于光学图像抖动校正所引起的光学构件的驱动量相加，以使得几何变形处理所需的参考区域的中心更接近摄像区域的中心。由此，几何变形处理所需的参考区域完全容纳在摄像区域内的可能性提高，并且通过组合光学图像抖动校正和几何变形处理来有效地校正由于摄像设备的运动所引起的图像的模糊。
【专利说明】摄像设备及其控制方法
【技术领域】
[0001 ] 本发明涉及一种摄像设备和用于控制该摄像设备的方法，尤其涉及用于抑制由于诸如照相机抖动等的摄像设备的运动所引起的图像抖动的图像抖动校正技术。
【背景技术】
[0002]传统上，已知有用于校正(减轻)由于摄像设备的运动所引起的所拍摄图像的模糊(图像抖动)的所谓的图像抖动校正功能，并且光学图像抖动校正和电子图像抖动校正是用于实现图像抖动校正功能的典型方法(例如，参见日本特开2011-145604)。光学图像抖动校正是用于基于所检测到的摄像设备的抖动量、通过使诸如移位透镜或图像传感器等的光学构件移动来抑制被摄体图像的运动的方法。另外，电子图像抖动校正是用于通过设置比可记录像素区域小的有效像素区域并且基于所检测到的摄像设备的抖动量使有效像素区域的位置偏移、来抑制被摄体图像的运动的方法。
[0003]另外，在由于摄像设备的运动所引起的所拍摄图像的模糊(图像抖动)中，除了利用日本特开2011-145604所述的图像抖动校正方法可校正的平行移动(平移方向)成分以夕卜,还可能包括由于摄像设备的转动(转动抖动)所引起的诸如横摆、俯仰和侧倾等的转动方向成分。此外，在日本特开2008-5084中公开了用于通过向所拍摄图像应用几何变形处理来校正由于抖动的转动方向成分所引起的图像抖动的技术。
[0004]例如，可考虑以下:在使用日本特开2011-145604所公开的图像抖动校正技术对由于抖动的平移方向成分所引起的图像抖动进行校正之后，使用日本特开2008-5084所公开的几何变形处理来对由于抖动的转动方向成分所引起的图像抖动进行校正。
[0005]在如日本特开2008-5084所公开的图像的几何变形处理中，需要参考其它像素值从而生成校正后的像素值。将由所参考的像素构成的区域称为参考区域。在所需的参考区域没有包括在摄像区域(所拍摄图像)中的情况下，无法正确地进行需要参考区域的校正，并且在一些情况下，校正后的图像的一部分缺失。
[0006]因此，在对经过了由于抖动的平移方向成分所引起的图像抖动的校正的图像进行几何变形处理的情况下，几何变形处理所需的参考区域可能没有包括在摄像区域(存储器中所保持的所拍摄图像的区域)中，并且校正后的图像的一部分可能缺失。
[0007]将参考图1lA和IlB来说明对经过了由于抖动的平移方向成分所引起的图像抖动的校正的图像进行几何变形处理的情况。
[0008]在图1lA中，整体区域1100是所拍摄图像整体(例如，摄像设备的存储器中所保持的所拍摄图像整体)的区域。参考区域1101是用于校正抖动的转动方向成分的几何变形处理所需的参考区域。另外，区域1102表示参考区域1101内的没有包括在所拍摄图像1100中的区域。区域1103表示外接参考区域1101的矩形区域。
[0009]在图1lB中，图像1104是使用参考区域1101来进行几何变形处理的图像。图1lA中的Pl表示被摄体图像的中心位置,并且图1lB中的P2表示通过利用几何变形处理对Pl的位置处的像素进行转换所获得的位置。P2位于几何变形之后的图像的中心(对角线相交的点)。
[0010]传统的光学图像抖动校正没有打算用于图像抖动校正之后的几何变形处理。由于该情况，已经与抖动的转动方向成分的大小无关地，以使被摄体图像和图像传感器的摄像区域维持预定的位置关系(例如，被摄体图像的中心和摄像区域的中心彼此相对应的状态)的方式进行了校正。然而，与对由于诸如倾斜等的抖动的转动方向成分而在被摄体图像中产生的失真进行校正所需的参考区域1101外接的矩形区域1103的中心与摄像区域的中心并非必须一致。因而，存在如下情况:在比记录大小大的摄像区域中摄像的情况下，用以通过几何变形处理来对由于抖动的转动方向成分所引起的图像抖动进行校正的能力不起作用。
[0011]例如，在图1lA的示例中，如果Pl沿着右上方向偏移，则参考区域1101(和矩形区域1103)完全容纳在所拍摄图像内，并且即使进行利用参考区域1101的几何变形处理，校正后的图像的任何部分也不会缺失。然而，在传统的光学图像抖动校正中，由于对光学构件进行控制以使得Pi的位置没有改变，因此存在参考区域1101没有完全容纳在所拍摄图像内的区域1102。
【发明内容】
[0012]本发明是考虑到传统技术的这些问题而作出的，并且本发明的目的是提供可以通过组合光学图像抖动校正和几何变形处理来有效地校正由于摄像设备的运动所引起的图像的模糊(图像抖动)的摄像设备和用于控制该摄像设备的方法。
[0013]根据本发明的方面，提供一种摄像设备，包括:检测部件，用于检测所述摄像设备的平移方向和转动方向上的运动；抖动校正部件，用于通过驱动光学构件，来减轻由于所述平移方向上的运动所引起的所拍摄图像的图像抖动；以及几何变形处理部件，用于通过对所述所拍摄图像应用几何变形处理，来校正由于所检测到的所述转动方向上的运动所引起的所述所拍摄图像的失真，其中，所述几何变形处理部件通过将利用对所述失真进行校正所需的所述所拍摄图像的参考区域的像素的几何变形处理应用于输出图像区域，来对所述输出图像区域中的所述失真进行校正，其中所述输出图像区域小于所述所拍摄图像的摄像区域，以及所述抖动校正部件基于以使与所述参考区域相对应的矩形区域的中心更接近所述摄像区域的中心的方式进行了校正的驱动量，来驱动所述光学构件。
[0014]根据本发明的另一方面，提供一种摄像设备的控制方法，包括以下步骤:检测步骤，用于检测所述摄像设备的平移方向和转动方向上的运动；抖动校正步骤，用于通过驱动光学构件，来减轻由于所述平移方向上的运动所引起的所拍摄图像的图像抖动；以及几何变形处理步骤，用于通过对所述所拍摄图像应用几何变形处理，来校正由于所检测到的所述转动方向上的运动所引起的所述所拍摄图像的失真，其中，在所述几何变形处理步骤中，通过将利用对所述失真进行校正所需的参考区域的像素的几何变形处理应用于输出图像区域，来对所述输出图像区域中的所述失真进行校正，其中所述输出图像区域小于所述所拍摄图像的摄像区域，以及在所述抖动校正步骤中，基于以使与所述参考区域相对应的矩形区域的中心更接近所述摄像区域的中心的方式进行了校正的驱动量，来驱动所述光学构件。
[0015]通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。【专利附图】
【附图说明】
[0016]图1是示出用作根据本发明第一实施例的图像处理设备的一个示例的数字照相机的功能结构示例的框图。
[0017]图2A?2C是示出图1中的几何变形处理单元的操作的示意图。
[0018]图3是示出图1中的几何变形量计算单元的结构示例的框图。
[0019]图4是示出图1中的参考区域计算单元的操作的示意图。
[0020]图5是示出图1中的调整量计算单元的结构示例的框图。
[0021]图6是示出图5中的移位透镜偏移量计算单元的操作的流程图。
[0022]图7是示出图5中的参考区域地址计算单元的操作的流程图。
[0023]图8A和SB是示出图5中的移位透镜偏移量计算单元和参考区域地址计算单元的操作的示意图。
[0024]图9是示出用作根据本发明第二实施例的图像处理设备的一个示例的数字照相机的功能结构示例的框图。
[0025]图10是示出图9中的偏移量预测单元的操作的示意图。
[0026]图1lA和IlB是示出传统技术的问题的示意图。
【具体实施方式】
[0027]现在将参考附图来详细说明本发明的典型实施例。
[0028]第一实施例
[0029]图1是示出用作根据本发明第一实施例的图像处理设备的一个示例的数字照相机的功能结构示例的框图。在本实施例中，尽管将说明用于实现光学图像抖动校正的光学构件是移位透镜的情况，但即使在使用使图像传感器移动的传感器移位方法的情况下，也同样可以执行本实施例。
[0030]光学系统100包括移位透镜113。移位透镜113在与光学系统100的光轴O不平行的方向(正交方向或转动中心在光轴上的转动方向)上可移动，从而减轻由于该设备的运动(抖动)的平移方向成分所引起的图像抖动。图像传感器101将经由光学系统100所形成的光学图像转换成图像信号。显影单元102对来自图像传感器101的图像信号进行诸如A/D转换、白平衡调整、颜色(亮度/色差信号)转换和Y校正等的显影处理。存储器103存储已由显影单元102进行了显影处理的图像信号。以下在本实施例中将利用存储在存储器103中的图像信号所表示的区域定义为摄像区域。摄像区域与所拍摄图像整体相对应。
[0031]本实施例基于通过对图像应用几何变形处理来校正由于设备的运动(抖动)的转动方向成分所引起的图像抖动这一假设。因此，摄像区域大于用作几何变形处理的对象的图像区域或要输出的图像区域(以下统称为输出图像区域)。
[0032]存储器控制器104根据所输入的地址来读取存储在存储器103中的图像信号，并且将这些图像信号输入至几何变形处理单元105。存储器控制器104例如向存储器103提供以下地址，其中这些地址用于从要读取的图像区域的最上(上端)的线起，从左端的像素向着右端的像素顺次读取图像信号。[0033]几何变形处理单元105使用来自以下所述的几何变形量计算单元110的几何变形量对所拍摄图像进行几何变形处理。在本实施例中将几何变形处理所需的图像区域定义为“参考区域”。
[0034]系统控制单元106控制数字照相机的整体操作，其中该整体操作包括光学系统100的焦距、光圈值和调焦距离、移位透镜的驱动、以及用于驱动图像传感器101的系统的控制。特别地，在控制移位透镜113的驱动的情况下，通过将从调整量计算单元112获得的移位透镜偏移量与根据从抖动检测单元107获得的角速度所确定的平移方向成分的校正量相加，来确定移位透镜113的驱动量。
[0035]检测与数字照相机的运动有关的信息的抖动检测单元107例如是角速度传感器。抖动检测单元107检测由于数字照相机的运动所引起的绕三个轴(X、Y和Z)(俯仰、横摆和侧倾)的角速度(抖动信息)。然后，抖动检测单元107将所检测到的抖动信息作为运动信息输出至几何变形参数生成单元108和系统控制单元106。
[0036]这里，如果将照相机的横摆方向、俯仰方向和侧倾方向上的抖动角度分别定义为α、β和Y、并且将光学系统的焦距定义为f，则可以按照如下确定平移移动量tx和ty、转动角度9、以及倾斜量vx和vy。
[0037]tx=f (tan a cos y /cos β +tan β sin y )
[0038]ty=f (-tan a sin y /cos β +tan β cos y )
[0039]Θ =- y
[0040]vx=-tan a /f
[0041]vy=-tan β / (fcos a )
[0042]可以通过对从抖动检测单元107获得的抖动的角速度进行积分来获得抖动角度
a、β 和 Y ο
[0043]因此，系统控制单元106可以根据从抖动检测单元107获得的抖动的角速度来确定图像抖动校正量(移位透镜113的驱动量和驱动方向)以校正平移移动量tx和ty。可以根据加速度传感器、运动矢量或者施加于用作光学图像抖动校正构件的移位透镜或图像传感器的速度来确定平移方向成分的校正量。
[0044]几何变形参数生成单元108根据来自抖动检测单元107的抖动信息(角速度)生成几何变形参数，以校正由于抖动的转动方向成分(上述的转动角度Θ、以及倾斜量vx和vy)所引起的所拍摄图像的失真。然后，几何变形参数生成单元108将几何变形参数输出至几何变形参数调整单元109。几何变形参数定义几何变形处理、例如本实施例中的调整大小和裁切处理以及投影转换处理。几何变形参数生成单元108生成针对几何变形处理的各个种类的参数，从而利用几何变形处理单元105可执行的多个几何变形处理的组合来校正由于抖动的转动方向成分所引起的所拍摄图像的失真。如以下所述，根据本实施例的几何变形处理单元105可以执行调整大小和裁切处理以及投影转换处理。
[0045]几何变形参数调整单元109基于来自调整量计算单元112的调整量来调整来自几何变形参数生成单元108的几何变形参数以减少几何变形量，并且将调整后的参数输出至几何变形量计算单元110。以下将说明几何变形参数调整单元109中所使用的具体调整方法。
[0046]几何变形量计算单元110根据来自几何变形参数调整单元109的几何变形参数来计算几何变形量，并且将该几何变形量输出至几何变形处理单元105和参考区域计算单元
111。
[0047]参考区域计算单元111使用来自几何变形量计算单元110的几何变形量来生成表示参考区域的第一参考区域地址，并且将这些第一参考区域地址输出至调整量计算单元112。参考区域是在进行无需考虑几何变形处理的光学图像抖动校正的情况下几何变形处理所需的图像区域。
[0048]调整量计算单元112通过使用来自参考区域计算单元111的第一参考区域地址来生成表示考虑到几何变形量的参考区域(在考虑到移位透镜的偏移量的情况下几何变形处理所需的图像区域)的第二参考区域地址。调整量计算单元112将第二参考区域地址输出至存储器控制器104。另外，调整量计算单元112生成考虑到几何变形量的移位透镜113的偏移量(要移动的量)，并且将该偏移量输出至系统控制单元106。
[0049]首先，将使用图2A~2C来说明几何变形处理单元105中的几何变形处理的详细内容。几何变形量与通过将关注像素位置中的几何变形量分离作为水平方向和垂直方向上的相位偏移成分所获得的相位偏移量相对应。
[0050]图2A的黑色像素表示关注像素S实际应当所处的相位。虚拟像素S'表示在摄像的情况下关注像素S由于抖动的影响而在水平方向上相位偏移了 Hp且在垂直方向上相位偏移了 Vp的位置。为了通过几何变形处理来校正抖动，可以确定虚拟像素S'的值以替换关注像素S的值。如图2B所示，可以通过使用位于虚拟像素S'附近的像素S1、s2、s3和s4的值对像素s1、s2、s3和s4与虚拟像素之间的距离cl、c2、c3和c4进行加权插值计算，来生成虚拟像素S,的值。如图2C所示，利用所生成的虚拟像素S,的值来替换关注像素S的值，由此关注像素S的几何变形处理结束。
[0051]接着，将参考图3来说明几何变形量计算单元110的详细内容。
[0052]几何变形量计算单元110将由于多个几何变形处理所引起的坐标转换合成为一个坐标转换，并且生成该结果作为水平方向和垂直方向上的相位偏移成分。
[0053]几何变形量计算单元110由与多个几何变形组件相对应的第一坐标计算单元301和第二坐标计算单元302、以及坐标移动矢量合成单元303构成。第一坐标计算单元301和第二坐标计算单元302根据从几何变形参数调整单元109输入的几何变形参数和几何变形处理之前的坐标，来计算坐标移动矢量和几何变形处理之后的坐标。
[0054]第一坐标计算单元301计算实现用作几何变形处理的调整大小和裁切处理的坐标。第二坐标计算单元302计算实现用作几何变形处理的投影转换的坐标。
[0055]第一坐标计算单元301根据几何变形处理之前的坐标(X，Y)以及调整大小和裁切处理参数Pr，来计算表示调整大小和裁切处理的坐标移动矢量(drX，dry)以及调整大小和裁切处理之后的坐标(Xr，Yr)。
[0056]在几何变形参数Pr由变倍率的倒数r、转换中心(XOr，YOr)和平移移动(c，d)构成的情况下，通过以下计算公式来计算坐标移动矢量(drx，dry)和处理之后的坐标(Xr, Yr)。
[0057]
【权利要求】
1.一种摄像设备，包括: 检测部件，用于检测所述摄像设备的平移方向和转动方向上的运动； 抖动校正部件，用于通过驱动光学构件，来减轻由于所述平移方向上的运动所引起的所拍摄图像的图像抖动；以及 几何变形处理部件，用于通过对所述所拍摄图像应用几何变形处理，来校正由于所检测到的所述转动方向上的运动所引起的所述所拍摄图像的失真， 其中，所述几何变形处理部件通过将利用对所述失真进行校正所需的所述所拍摄图像的参考区域的像素的几何变形处理应用于输出图像区域，来对所述输出图像区域中的所述失真进行校正，其中所述输出图像区域小于所述所拍摄图像的摄像区域，以及 所述抖动校正部件基于以使与所述参考区域相对应的矩形区域的中心更接近所述摄像区域的中心的方式进行了校正的驱动量，来驱动所述光学构件。
2.根据权利要求1所述的摄像设备，其中，还包括: 几何变形参数生成部件，用于根据所检测到的所述转动方向上的运动，来生成用于定义对所述所拍摄图像的所述失真进行校正所需的几何变形处理的几何变形参数； 参考区域计算部件，用于根据所述几何变形参数和与所述输出图像区域有关的位置信息来计算所述参考区域；以及 偏移量计算部件，用于计算使与所述参考区域相对应的矩形区域的中心和所述摄像区域的中心之间的差减小的偏移量， 其中，所述抖动校正部件通过应用所述偏移量来驱动所述光学构件。
3.根据权利要求2所述的摄像设备，其中，还包括: 几何变形参数调整部件，用于调整所述几何变形参数，以减少由于所述几何变形处理所引起的几何变形量， 其中，在判断为所述参考区域没有完全容纳在所述摄像区域内的情况下，所述几何变形参数调整部件调整所述几何变形参数，直到判断为所述参考区域完全容纳在所述摄像区域内为止。
4.根据权利要求2或3所述的摄像设备，其中，所述偏移量计算部件基于过去计算出的偏移量的时间变化来计算所预测的偏移量。
5.根据权利要求1所述的摄像设备，其中，所述光学构件是光学系统中所包括的移位透镜或图像传感器。
6.一种摄像设备的控制方法，包括以下步骤: 检测步骤，用于检测所述摄像设备的平移方向和转动方向上的运动； 抖动校正步骤，用于通过驱动光学构件，来减轻由于所述平移方向上的运动所引起的所拍摄图像的图像抖动；以及 几何变形处理步骤，用于通过对所述所拍摄图像应用几何变形处理，来校正由于所检测到的所述转动方向上的运动所引起的所述所拍摄图像的失真， 其中，在所述几何变形处理步骤中，通过将利用对所述失真进行校正所需的参考区域的像素的几何变形处理应用于输出图像区域，来对所述输出图像区域中的所述失真进行校正，其中所述输出图像区域小于所述所拍摄图像的摄像区域，以及 在所述抖动校正步骤中，基于以使与所述参考区域相对应的矩形区域的中心更接近所述摄像区 域的中心的方式进行了校正的驱动量，来驱动所述光学构件。
【文档编号】H04N5/232GK103997602SQ201410056445
【公开日】2014年8月20日 申请日期:2014年2月19日 优先权日:2013年2月19日
【发明者】高山和纪 申请人:佳能株式会社