摄像设备及其控制方法
【专利摘要】本发明涉及一种摄像设备及其控制方法。该摄像设备包括：抖动检测部件，用于检测所述摄像设备的抖动；平移分量校正量计算部件，用于基于所述抖动检测部件的输出，计算用于对由于所述抖动而在拍摄图像中生成的图像模糊的平移分量进行校正的第一校正量；透视分量校正量计算部件，用于基于所述第一校正量，计算用于对所述图像模糊的透视分量进行校正的第二校正量；以及校正部件，用于基于所述第一校正量和所述第二校正量来校正所述图像模糊。
【专利说明】摄像设备及其控制方法
【技术领域】
[0001]本发明涉及一种用于在摄像设备中使用使得图像变形的方法来校正由该摄像设备的抖动所导致的拍摄图像的模糊的技术。
【背景技术】
[0002]近年来，随着用于校正摄像设备的抖动的技术的发展，图像稳定功能变得普及，其中，该图像稳定功能不仅用于校正在用户处于静止状态时由照相机抖动所导致的拍摄图像的模糊，而且还用于校正在用户正行走时的拍摄中所生成的拍摄图像的模糊。当用户在行走中拍摄图像时，除水平方向和垂直方向上的拍摄图像的模糊以外，在拍摄图像中生成下面的模糊。例如，模糊包括由摄像设备围绕光轴转动所导致的拍摄图像的转动、以及在摄像设备相对于被摄体倾斜时所生成的拍摄图像呈梯形的失真。
[0003]作为用于校正在行走时的拍摄中所生成的拍摄图像的各种类型的模糊的方法，已知一种用于计算拍摄图像的图像变形量、并且使得图像变形以抵消该图像变形量的方法(参考日本特开2011-29735)。
[0004]在上述传统例子中，将由作用于摄像设备的抖动所导致的拍摄图像的变形量分解成包括平移分量(水平/垂直)、透视分量(水平/垂直)、放大/缩小分量、转动分量和剪切分量的变形分量。然后对于各分量进行滤波处理等，以计算投影变换矩阵(单应性矩阵)。然而，该方法存在以下问题。
[0005]也就是说，在上述传统例子中，由于对于变形分量各自计算校正量，因而计算量非常大并且处理复杂。此外，如果对于所有变形分量都进行校正，则最终可以输出的图像范围变小，结果导致图像质量劣化。
[0006]例如，图21示出在摄像设备围绕光轴转动时通过图像变形的图像稳定的例子。图21中的实线部分表示拍摄图像。为了校正围绕光轴的转动，围绕图像中心O转动拍摄图像。该转动操作产生图21所示的虚线图像。在这种情况下，如果输出图像具有与拍摄图像相同的范围，则图像在四个角处没有数据。因此，输出图像范围是图21所示的阴影区域。尽管图21示例示出对围绕光轴的转动的校正，但对于各变形分量，需要提供未能输出的图像区域(以下称为额外像素)。因此，图像范围变小，因而使得难以保持经过了图像稳定的视频的质量。
【发明内容】
[0007]本发明是考虑到上述问题而作出的，并且提供一种可以利用简单结构来最小化视频的质量劣化、并且获得良好的图像稳定效果的摄像设备。
[0008]根据本发明的第一方面，提供一种摄像设备，包括:抖动检测部件，用于检测所述摄像设备的抖动；平移分量校正量计算部件，用于基于所述抖动检测部件的输出，计算用于对由于所述抖动所引起的拍摄图像中的图像模糊的平移分量进行校正的第一校正量；透视分量校正量计算部件，用于基于所述第一校正量，计算用于对所述图像模糊的透视分量进行校正的第二校正量；以及校正部件，用于使用所述第一校正量和所述第二校正量来校正所述图像模糊。
[0009]根据本发明的第二方面，提供一种摄像设备，包括:抖动检测部件，用于检测所述摄像设备的抖动；平移分量校正量计算部件，用于计算用于对由于所述抖动而在拍摄图像中生成的图像模糊的平移分量进行校正的第一校正量；透视分量校正量计算部件，用于计算用于对所述图像模糊的透视分量进行校正的第二校正量；以及计算部件，用于在计算所述第一校正量和所述第二校正量之前，基于所述抖动检测部件的输出，计算对所述平移分量和所述透视分量进行计算所需的值。
[0010]根据本发明的第三方面，提供一种摄像设备，包括:抖动检测部件，用于检测所述摄像设备的抖动；光学校正量计算部件，用于基于所述抖动检测部件的输出，计算作为用于对由于所述抖动而在拍摄图像中生成的图像模糊的平移分量进行光学校正的校正量的光学校正量；光学校正部件，用于基于所述光学校正量，光学地校正由于所述抖动而在所述拍摄图像中生成的图像模糊；平移分量电子校正量计算部件，用于计算作为用于对由于所述抖动而在所述拍摄图像中生成的图像模糊的平移分量进行电子校正的校正量的电子校正量；透视分量校正量计算部件，用于基于所述光学校正量和所述电子校正量，计算用于对所述图像模糊的透视分量进行校正的透视校正量；以及校正部件，用于基于所述电子校正量和所述透视校正量，校正所述图像模糊。
[0011]根据本发明的第四方面，提供一种摄像设备的控制方法，所述控制方法包括以下步骤:检测所述摄像设备的抖动；基于检测到的所述抖动，计算用于对由于所述抖动而在拍摄图像中生成的图像模糊的平移分量进行校正的第一校正量；基于检测到的所述抖动，计算用于对所述图像模糊的透视分量进行校正的第二校正量；以及基于所述第一校正量和所述第二校正量，校正所述图像模糊，其中，使用所述第一校正量来计算所述第二校正量。
[0012]根据本发明的第五方面，提供一种摄像设备的控制方法，所述控制方法包括以下步骤:检测所述摄像设备的抖动；计算用于对由于所述抖动而在拍摄图像中生成的图像模糊的平移分量进行校正的第一校正量；计算用于对所述图像模糊的透视分量进行校正的第二校正量；以及在计算所述第一校正量和所述第二校正量之前，基于检测到的所述抖动，计算对所述平移分量和所述透视分量进行计算所需的值。
[0013]根据本发明的第六方面，提供一种摄像设备的控制方法，所述控制方法包括以下步骤:检测所述摄像设备的抖动；基于检测到的所述抖动，计算作为用于对由于所述抖动而在拍摄图像中生成的图像模糊的平移分量进行光学校正的校正量的光学校正量；使用所述光学校正量，光学地校正由于所述抖动而在所述拍摄图像中生成的图像模糊；计算作为用于对由于所述抖动而在所述拍摄图像中生成的图像模糊的平移分量进行电子校正的校正量的电子校正量；基于所述光学校正量和所述电子校正量，计算用于对所述图像模糊的透视分量进行校正的透视校正量；以及基于所述电子校正量和所述透视校正量，校正所述图像模糊。
[0014]通过以下参考附图对实施例的说明，本发明的其它特征将显而易见。
【专利附图】
【附图说明】
[0015]图1是示出作为根据本发明第一实施例的摄像设备的例子的摄像机的结构的例子的框图；
[0016]图2A和2B是用于说明针孔照相机模型的图；
[0017]图3是示出根据第一实施例的图像变形量计算单元的结构的例子的框图；
[0018]图4是示出作为根据第二实施例的摄像设备的例子的摄像机的结构的例子的框图；
[0019]图5是示出根据第二实施例的图像变形量计算单元的结构的例子的框图；
[0020]图6是示出根据第三实施例的图像变形量计算单元的结构的例子的框图；
[0021]图7是示出作为根据第四实施例的摄像设备的例子的摄像机的结构的例子的框图；
[0022]图8是示出根据第四实施例的图像变形量计算单元的结构的例子的框图；
[0023]图9是示出根据第五实施例的图像变形量计算单元的结构的例子的框图；
[0024]图10是示出根据第五实施例的图像变形量计算单元的结构的另一例子的框图；
[0025]图11是示出根据第六实施例的图像变形量计算单元的结构的例子的框图；
[0026]图12是示出根据第六实施例的图像变形量计算单元的结构的另一例子的框图；
[0027]图13是示出作为根据第七实施例的摄像设备的例子的摄像机的结构的例子的框图；
[0028]图14是示出根据第七实施例的图像变形量计算单元的结构的例子的框图；
[0029]图15是示出作为根据第八实施例的摄像设备的例子的摄像机的结构的例子的框图；
[0030]图16是示出根据第八实施例的图像变形量计算单元的结构的例子的框图；
[0031]图17是示出根据第八实施例的图像变形量计算单元的结构的另一例子的框图；
[0032]图18是示出根据第九实施例的图像变形量计算单元的结构的例子的框图；
[0033]图19A和19B是用于说明根据本发明的实施例的“抖动”的定义的图；
[0034]图20A?20F是用于说明根据本发明的实施例的“模糊”的定义的图；以及
[0035]图21是用于说明模糊校正的传统方法的问题的图。
【具体实施方式】
[0036]下面参考附图详细说明本发明的实施例。
[0037]首先说明实施例中所使用的术语的定义。在各实施例的说明中，“抖动”表示作用于摄像设备上的移动，并且“模糊”表示由作用于摄像设备上的抖动所导致的拍摄图像的变形。在这些实施例中，如图19A和19B所示，“抖动”通常用来指横摆、俯仰和滚动方向上的三个“转动抖动”和水平、垂直和光轴方向上的三个“平行抖动”(移位抖动)。另一方面，如图20A?20F所示，“模糊”通常表示包括平移分量(水平/垂直)、转动分量、透视分量(水平/垂直)、放大/缩小分量和剪切分量的变形分量。
[0038]第一实施例
[0039]图1是示出作为根据本发明第一实施例的摄像设备的例子的摄像机的结构的框图。下面详细说明图1所示的摄像设备100的组件和它们的操作的例子。
[0040]角速度传感器102将作用于摄像设备100上的抖动检测为角速度信号，并且将角速度信号提供给A/D转换器103。A/D转换器103将来自角速度传感器102的角速度信号转换成数字信号，并且将其作为角速度数据提供给μ COM(微处理器)101中的图像变形量计算单元200。
[0041]摄像光学系统120进行诸如变焦或调焦等的操作，并且在图像传感器123上形成被摄体图像。变焦编码器119检测摄像光学系统120中的变倍光学系统121的位置(变焦位置)，并且将其输出给μ C0M101中的图像变形量计算单元200。
[0042]图像变形量计算单元200使用角速度数据和变焦编码器119的输出来计算用于校正拍摄图像的模糊的图像变形量，并且将所计算出的图像变形量设置在图像变形单元127中。稍后将详细说明图像变形量计算单元200的处理。 [0043]图像传感器123将通过摄像光学系统120所形成的被摄体图像转换成作为拍摄图像信号的电信号，并且将其提供给信号处理单元124。信号处理单元124根据通过图像传感器123所获得的信号生成符合例如NTSC格式的视频信号，并且将其提供给图像存储器125。
[0044]图像变形单元127基于图像变形量计算单元200所计算出的图像变形量、通过使存储在图像存储器125中的图像变形来校正拍摄图像的模糊，并且将校正后的图像输出给记录控制单元128和显示控制单元130。显示控制单元130输出从图像变形单元127所提供的视频信号，并且使得显示装置131显示该图像。显示控制单元130驱动显示装置131。显示装置131通过IXD (液晶显示器)等显示该图像。
[0045]如果用于指示开始或结束记录所使用的操作单元(未示出)指示记录视频信号，则记录控制单元128将从图像变形单元127所提供的视频信号输出给记录介质129，并且使得记录介质129记录视频信号。记录介质129是诸如半导体存储器等的信息记录介质或者诸如硬盘等的磁性记录介质。
[0046]图像变形单元127使用诸如投影变换等的几何变换进行图像变形。更具体地，以(Χ0, Υ0)表示变形之前的图像(存储在图像存储器125中的图像)中的像素坐标(注意，将与摄像光学系统120的光轴相对应的拍摄图像的中心设置为原点)，并且以(XI，Yl)表示变形之后的图像(图像变形单元127的输出图像)中的像素坐标。在这种情况下，可以如下通过齐次坐标系表示图像变形。
[0047]
【权利要求】
1.一种摄像设备，包括: 抖动检测部件，用于检测所述摄像设备的抖动；
平移分量校正量计算部件，用于基于所述抖动检测部件的输出，计算用于对由于所述抖动所引起的拍摄图像中的图像模糊的平移分量进行校正的第一校正量； 透视分量校正量计算部件，用于基于所述第一校正量，计算用于对所述图像模糊的透视分量进行校正的第二校正量；以及 校正部件，用于使用所述第一校正量和所述第二校正量来校正所述图像模糊。
2.根据权利要求1所述的摄像设备，其中， 所述透视分量校正量计算部件通过将所述第一校正量除以所述摄像设备的光学摄像系统的焦距的平方来计算所述第二校正量。
3.一种摄像设备，包括: 抖动检测部件，用于检测所述摄像设备的抖动； 平移分量校正量计算部件，用于计算用于对由于所述抖动而在拍摄图像中生成的图像模糊的平移分量进行校正的第一校正量； 透视分量校正量计算部件，用于计算用于对所述图像模糊的透视分量进行校正的第二校正量；以及 计算部件，用于在计算所述第一校正量和所述第二校正量之前，基于所述抖动检测部件的输出，计算对所述平移分量和所述透视分量进行计算所需的值。
4.根据权利要求3所述的摄像设备，其中， 所述透视分量校正量计算部件通过将所述计算部件所计算出的值除以所述摄像设备的光学摄像系统的焦距来计算所述第二校正量。
5.一种摄像设备，包括: 抖动检测部件，用于检测所述摄像设备的抖动； 光学校正量计算部件，用于基于所述抖动检测部件的输出，计算作为用于对由于所述抖动而在拍摄图像中生成的图像模糊的平移分量进行光学校正的校正量的光学校正量；光学校正部件，用于基于所述光学校正量，光学地校正由于所述抖动而在所述拍摄图像中生成的图像模糊； 平移分量电子校正量计算部件，用于计算作为用于对由于所述抖动而在所述拍摄图像中生成的图像模糊的平移分量进行电子校正的校正量的电子校正量； 透视分量校正量计算部件，用于基于所述光学校正量和所述电子校正量，计算用于对所述图像模糊的透视分量进行校正的透视校正量；以及 校正部件，用于基于所述电子校正量和所述透视校正量，校正所述图像模糊。
6.根据权利要求5所述的摄像设备，其中， 所述透视分量校正量计算部件通过将如下的值除以所述摄像设备的光学摄像系统的焦距的平方来计算所述透视校正量，其中该值是通过将所述光学校正量转换成摄像面上的移动量所获得的值与所述电子校正量相加所获得的值。
7.一种摄像设备的控制方法，所述控制方法包括以下步骤: 检测所述摄像设备的抖动； 基于检测到的所述抖动，计算用于对由于所述抖动而在拍摄图像中生成的图像模糊的平移分量进行校正的第一校正量； 基于检测到的所述抖动，计算用于对所述图像模糊的透视分量进行校正的第二校正量；以及 基于所述第一校正量和所述第二校正量，校正所述图像模糊， 其中，使用所述第一校正量来计算所述第二校正量。
8.一种摄像设备的控制方法，所述控制方法包括以下步骤: 检测所述摄像设备的抖动； 计算用于对由于所述抖动而在拍摄图像中生成的图像模糊的平移分量进行校正的第一校正量； 计算用于对所述图像模糊的透视分量进行校正的第二校正量；以及在计算所述第一校正量和所述第二校正量之前，基于检测到的所述抖动，计算对所述平移分量和所述透视分量进行计算所需的值。
9.一种摄像设备的控制方法，所述控制方法包括以下步骤: 检测所述摄像设备的抖动； 基于检测到的所述抖动，计算作为用于对由于所述抖动而在拍摄图像中生成的图像模糊的平移分量进行光学 校正的校正量的光学校正量； 使用所述光学校正量，光学地校正由于所述抖动而在所述拍摄图像中生成的图像模糊； 计算作为用于对由于所述抖动而在所述拍摄图像中生成的图像模糊的平移分量进行电子校正的校正量的电子校正量； 基于所述光学校正量和所述电子校正量，计算用于对所述图像模糊的透视分量进行校正的透视校正量；以及 基于所述电子校正量和所述透视校正量，校正所述图像模糊。
【文档编号】H04N5/232GK103780833SQ201310499510
【公开日】2014年5月7日 申请日期:2013年10月22日 优先权日:2012年10月22日
【发明者】宫迫贤一, 渡边猛 申请人:佳能株式会社