摄像装置、像抖校正方法与流程

本发明涉及检测被摄体像的平移方向和旋转方向的像抖量并进行校正的摄像装置、像抖校正方法。

背景技术：

近年来，搭载了手抖校正功能的照相机普及，在手持拍摄中，即使没有特别注意，也能够拍摄没有像抖的良好的拍摄图像。

并且，存在能够根据拍摄用途更换摄影镜头的镜头更换式照相机。在这种照相机中，主要存在将上述手抖校正功能搭载在更换镜头中的情况和将上述手抖校正功能搭载在照相机主体中的情况这两种情况(但是，也可以搭载在双方)。

在更换镜头中搭载手抖校正功能的情况下，将检测对更换镜头(乃至与更换镜头一体连结的照相机主体)施加的运动的传感器搭载在更换镜头内，在抵消由于检测到的运动而产生的像抖的方向上，使摄影镜头组的一部分在与光轴正交的面上移动，由此校正像抖。

另一方面，在照相机主体中搭载手抖校正功能的情况下，将检测对照相机主体施加的运动的传感器搭载在照相机主体内，使摄像元件在抵消由于检测到的运动而产生的像抖的方向上移动，由此校正像抖。

并且，通过手持静止拍摄、全景拍摄、步行拍摄、来自汽车或火车等交通机关的拍摄等各种方法取得动态图像。而且，根据通过哪种方法进行拍摄，动态图像中产生的抖动的特性不同，所以，适合于抖动校正的校正范围和处理方法不同。

例如，与手持静止拍摄相比，步行拍摄的抖动角度较大，所以，关于适合于手持静止拍摄的校正范围，在步行拍摄中成为范围不足，很难取得抖动较少的动态图像。

作为着眼于这点的技术，例如在日本特开2014-206660号公报中记载了如下技术：作为具有能够进行抖动校正的镜头的照相机的控制的一例，根据由角速度传感器检测到的旋转抖动和由加速度传感器检测到的平移抖动判定是否处于步行状态，在处于步行状态时，与处于非步行状态时相比，扩大镜头的抖动校正范围。

在步行状态下，与手持静止拍摄等非步行状态相比，绕摄影镜头的光轴的抖动即滚动方向的旋转抖动较大。但是，在上述日本特开2014-206660号公报所记载的在镜头中搭载手抖校正功能的结构中，原理上无法对滚动方向的抖动进行校正。因此，步行状态下拍摄的动态图像成为由于绕光轴的旋转而在目标被摄体中产生摆动的、成帧不稳定的外观较差的影像。

技术实现要素：

本发明的目的在于提供能够改善步行状态下的包含滚动方向的抖动的校正性能并确保稳定的成帧的摄像装置、像抖校正方法。

简略地讲，本发明的某个方式的摄像装置的特征在于，上述摄像装置具有：摄影光学系统，其形成光学的被摄体像；摄像元件，其对上述被摄体像进行光电转换而生成摄像信号；像抖检测部，其检测成像面中的上述被摄体像的平移方向和旋转方向的像抖量；光学校正部，其使上述摄像元件在与上述摄影光学系统的光轴垂直的面内移动，对上述平移方向的像抖进行光学校正，并且，根据需要进一步对上述旋转方向的像抖进行光学校正；电子校正部，其进行切出根据上述摄像信号得到的图像数据的一部分而作为输出图像的电子校正；以及步行检测部，其检测摄像装置是处于步行状态还是处于非步行状态，其中，在上述步行检测部检测到处于上述步行状态的情况下，与上述步行检测部检测到处于上述非步行状态的情况相比，减小上述光学校正部的上述旋转方向的像抖的校正量，并且增大上述电子校正部的上述旋转方向的像抖的校正量。

本发明的某个方式的像抖校正方法的特征在于，上述像抖校正方法包含以下步骤：通过摄像元件对光学的被摄体像进行光电转换而生成摄像信号；检测成像面中的上述被摄体像的平移方向和旋转方向的像抖量；使上述摄像元件在与摄影光学系统的光轴垂直的面内移动，对上述平移方向的像抖进行光学校正，并且，根据需要进一步对上述旋转方向的像抖进行光学校正；进行切出根据上述摄像信号得到的图像数据的一部分而作为输出图像的电子校正；以及检测摄像装置是处于步行状态还是处于非步行状态，其中，在通过进行上述检测而检测到处于上述步行状态的情况下，与通过进行上述检测而检测到处于上述非步行状态的情况相比，减小进行上述光学校正时的上述旋转方向的像抖的校正量，并且增大进行上述电子校正时的上述旋转方向的像抖的校正量。

附图说明

图1是用于说明本发明的实施方式1的摄像装置中的旋转运动的方向的定义的立体图。

图2是示出上述实施方式1的摄像装置的结构的框图。

图3是示出上述实施方式1中的抖动校正微计算机的功能结构的框图。

图4是示出上述实施方式1中的偏航校正量计算部和俯仰校正量计算部的结构的一例的框图。

图5是示出上述实施方式1中的滚动校正量计算部的结构的一例的框图。

图6是示出上述实施方式1中、用于说明步行检测处理部的处理的滚动角速度的时间变化的例子的线图。

图7是示出上述实施方式1中的摄像元件驱动部的概略结构例的图。

图8是示出上述实施方式1中的系统控制器的功能结构的框图。

图9是示出上述实施方式1中的x/y校正量计算部的结构的一例的框图。

图10是示出上述实施方式1的摄像装置的手抖校正中的抖动校正微计算机的处理的流程图。

图11是示出上述实施方式1的摄像装置的手抖校正中的系统控制器的处理的流程图。

图12是示出上述实施方式1中、基于是否处于步行状态的电子校正和光学校正的区分使用以及所得到的效果的图表。

图13是示出上述实施方式1中、根据抖动的检测结果是否是处于步行状态而区分使用电子校正和光学校正的状况的线图。

图14是示出本发明的实施方式2中的抖动校正微计算机的功能结构的框图。

图15是示出上述实施方式2中的偏航校正量计算部和俯仰校正量计算部的结构的一例的框图。

图16是示出上述实施方式2中的系统控制器的功能结构的框图。

图17是示出上述实施方式2的摄像装置的手抖校正中的抖动校正微计算机的处理的流程图。

图18是示出上述实施方式2的摄像装置的手抖校正中的系统控制器的处理的流程图。

具体实施方式

下面，参照附图对本发明的实施方式进行说明。

[实施方式1]

图1～图13示出本发明的实施方式1，图1是用于说明摄像装置中的旋转运动的方向的定义的立体图。在本实施方式中，如图1中示出外观那样，摄像装置应用于照相机，所以，下面，将摄像装置适当称呼为照相机。

首先，参照图1，针对摄像装置定义坐标，进而定义旋转运动的方向。

照相机具有照相机主体1和更换镜头2。设使这种照相机成为标准拍摄姿态时的上下方向(沿着重力的方向)为y方向，为了便于说明，设上方向为y的+方向(因此，y的-方向为下方向)。

进而，设照相机的左右方向为x方向，从正面观察照相机，设右方向为x的+方向(因此，x的-方向为左方向)。

而且，设照相机的更换镜头2的光轴方向为z方向，设被摄体侧的方向为z的+方向(因此，z的-方向为像侧的方向)。

在这种坐标轴的定义中，设xy平面与后述摄像元件12(参照图2)的摄像面平行(即，摄像元件12的摄像面与光轴方向即z方向垂直)。

接着，针对照相机，设绕y方向的轴即y轴的旋转运动为偏航(yaw)方向的旋转运动、绕x方向的轴即x轴的旋转运动为俯仰(pitch)方向的旋转运动、绕z方向的轴即z轴的旋转运动为滚动(roll)方向的旋转运动，设图1所示的各箭头的方向为各旋转运动的+方向(因此，各旋转运动的-方向为各箭头的相反方向)。

但是，这里定义的各轴方向和绕各轴的旋转方向的正负依赖于安装在照相机上的加速度传感器或角速度传感器(后述)的方向，所以，不限于上述情况。

接着，图2是示出摄像装置的结构的框图。

如图2所示，作为摄像装置的照相机构成为例如经由镜头安装件3以能够拆装的方式连接照相机主体1和更换镜头2。

照相机主体1具有焦面快门11、摄像元件12、摄像元件驱动部13、系统控制器14、抖动校正微计算机15、角速度传感器16、操作部17。

更换镜头2具有摄影光学系统21和镜头控制单元(lcu)22。

镜头安装件3的一部分设置在照相机主体1上，另一部分设置在更换镜头2上，通过相互连结该一部分和另一部分，在照相机主体1上一体地固定更换镜头2。进而，在镜头安装件3上设置有电气端子，经由该电气端子，照相机主体1和更换镜头2能够以电气的方式进行通信。

另外，这里举出照相机主体1和更换镜头2能够拆装的单眼型照相机作为例子，但是，也可以是照相机主体与镜头一体化的紧凑型照相机等。

接着，对上述照相机主体1和更换镜头2的各部的更加详细的结构和作用进行说明。

首先，更换镜头2的各部的作用如下所述。

摄影光学系统21构成为具有镜头和光圈，使来自被摄体的光束在设置于摄像元件12的表面的摄像面上成像为光学的被摄体像。此时，在照相机产生抖动的情况下，摄像元件12中成像的被摄体像抖动。如后所述，根据角速度传感器16的输出检测该抖动，根据抖动校正微计算机15的控制，通过摄像元件驱动部13以光学方式进行校正，或者通过系统控制器14以电子方式进行校正。

lcu22经由镜头安装件3而与照相机主体1进行通信。例如，lcu22具有非易失地存储与更换镜头2有关的各种信息(例如更换镜头2的型号和制造编号、摄影光学系统21的光学特性等)的存储部，根据需要将信息通知给照相机主体1。并且，lcu22还进行摄影光学系统21的对焦的控制和光圈的控制，但是省略详细情况。

接着，对照相机主体1的各部的更加详细的结构和作用进行说明。

焦面快门11配置在摄影光学系统21成像的光学的被摄体像的光路上的摄像元件12的前表面，通过对快门帘进行开闭动作，对光束的通过时间进行控制，进而对摄像元件12的曝光时间进行控制。

因此，在焦面快门11为打开状态时，光学的被摄体像入射到摄像元件12的摄像面并成像，摄像元件12成为曝光状态。

摄像元件12在摄像面中对所成像的光学的被摄体像进行光电转换，生成摄像信号。接收来自系统控制器14的控制信号，读出由摄像元件12生成的摄像信号，输入到系统控制器14。

摄像元件驱动部13是如下的光学校正部：使摄像元件12在与摄影光学系统21的光轴垂直的面内移动，对平移方向的像抖进行光学校正，并且根据需要进一步对旋转方向的像抖进行光学校正。

即，摄像元件驱动部13根据来自抖动校正微计算机15的驱动指示，在与摄像面平行的面内的x方向、y方向和滚动方向(图7的θ方向)上驱动摄像元件12。这里，由于偏航方向的抖动而使摄像元件12在x方向上移动，所以，进行摄像元件12的x方向上的驱动，以使得对应于偏航方向的抖动。同样，由于俯仰方向的抖动而使摄像元件12在y方向上移动，所以，进行摄像元件12的y方向上的驱动，以使得对应于俯仰方向的抖动。

这样，在本实施方式中，通过在照相机主体1上设置具有抖动校正功能的摄像元件驱动部13，还能够对在更换镜头2中设置抖动校正功能的情况下无法校正的滚动方向的抖动进行校正。该摄像元件驱动部13的具体结构在后面参照图7进行详细说明。

系统控制器14是根据规定的处理程序对照相机整体进行总括控制的控制部。即，系统控制器14对照相机主体1内进行控制，并且，经由镜头安装件3的电气端子而与lcu22进行通信，对更换镜头2进行控制。

具体而言，系统控制器14根据来自操作部17的操作输入进行控制，除了上述动作以外，例如还进行以下动作。

系统控制器14将从摄像元件12读出的摄像信号转换为图像数据。并且，系统控制器14根据从摄像元件12读出的摄像信号生成亮度图像，根据亮度图像如后所述进行图案匹配。

进而，系统控制器14与抖动校正微计算机15进行通信，对抖动校正的开始和结束进行控制。而且，系统控制器14与抖动校正微计算机15进行通信，接收滚动校正量，进行滚动校正作为电子校正。

抖动校正微计算机15根据角速度传感器16的检测结果，计算摄像元件12的摄像面中产生的被摄体像的移动量，对摄像元件驱动部13进行驱动，以使摄像元件12在抵消被摄体像的移动量的方向上移动。该抖动校正微计算机15的内部的结构和作用在后面参照图3进行详细说明。

角速度传感器16固定设置在照相机中的照相机主体1上，是检测照相机主体1中产生的角速度的抖动检测部。该角速度传感器16具有偏航角速度传感器16a、俯仰角速度传感器16b、滚动角速度传感器16c。

偏航角速度传感器16a检测绕y轴的旋转的角速度，俯仰角速度传感器16b检测绕x轴的旋转的角速度，滚动角速度传感器16c检测绕z轴(光轴)的旋转的角速度。

这里，3个角速度传感器16a、16b、16c均使用相同功能的角速度传感器，但是，伴随作为旋转角速度的检测对象的轴的差异(是x轴、y轴还是z轴)，各自的安装方向不同。

操作部17包括按钮和开关等部件，用于供用户对照相机进行各种操作输入。通过该操作部17进行照相机的电源的接通/断开、静态图像拍摄的指示输入、动态图像拍摄的开始操作和结束操作等。来自该操作部17的操作输入被通知给系统控制器14。

接着，图3是示出抖动校正微计算机15的功能结构的框图。

作为处理功能部，抖动校正微计算机15具有模拟数字转换器(adc)151、角度校正量计算部152、驱动量计算部153、驱动器154、通信部155、步行检测处理部156、校正方式选择部157。

adc151将从角速度传感器16作为模拟信号输出的检测结果转换为数字值。具体而言，adc151具有将偏航角速度传感器16a的检测结果转换为数字值的第1adc151a、将俯仰角速度传感器16b的检测结果转换为数字值的第2adc151b、将滚动角速度传感器16c的检测结果转换为数字值的第3adc151c。

角度校正量计算部152根据从adc151输出的数字的角速度，计算偏航、俯仰、滚动的各旋转方向的校正量。具体而言，角度校正量计算部152具有根据adc151a的输出来计算偏航方向的校正量的偏航校正量计算部152a、根据adc151b的输出来计算俯仰方向的校正量的俯仰校正量计算部152b、根据adc151c的输出来计算滚动方向的校正量的滚动校正量计算部152c。各校正量计算部152a、152b、152c的内部的结构在后面参照图4和图5进行说明。

这里，角速度传感器16、adc151和角度校正量计算部152构成检测成像面中的被摄体像的平移方向和旋转方向的像抖量的像抖检测部。

驱动量计算部153根据从角度校正量计算部152输出的值，计算分别针对设置在摄像元件驱动部13内的后述x1驱动部131、x2驱动部132、y驱动部133(参照图7)的驱动量。

驱动器154将从驱动量计算部153输出的驱动量转换为针对摄像元件驱动部13内的各驱动部131、132、133的驱动信号并进行输出。具体而言，驱动器154具有将针对x1驱动部131的驱动量转换为驱动信号并进行输出的x1驱动器154a、将针对x2驱动部132的驱动量转换为驱动信号并进行输出的x2驱动器154b、将针对y驱动部133的驱动量转换为驱动信号并进行输出的y驱动器154c。

通信部155与系统控制器14进行通信，取得抖动校正的开始和结束等控制的指示，并且取得包含摄影光学系统21的焦距的光学特性。如后所述，在偏航校正量计算部152a、俯仰校正量计算部152b的处理等中使用这里取得的光学特性(参照图4)。并且，通信部155将下述说明的步行检测结果通知给系统控制器14。

步行检测处理部156是检测摄像装置是处于步行状态还是处于非步行状态的步行检测部。即，步行检测处理部156根据从adc151c输出的滚动方向的角速度，判定照相机当前是否处于步行状态，将判定结果输出到校正方式选择部157和通信部155。该步行检测处理部156的处理的详细情况在后面参照图6进行说明。

校正方式选择部157根据步行检测处理部156的判定结果，选择并决定由滚动校正量计算部152c计算出的校正量的通知目的地。

具体而言，在步行检测处理部156的判定结果为处于非步行状态的情况下，校正方式选择部157将由滚动校正量计算部152c计算出的校正量通知给驱动量计算部153。由此，在处于非步行状态的情况下，作为基于摄像元件驱动部13的光学校正来实施滚动方向的校正。

并且，在步行检测处理部156的判定结果为处于步行的情况下，校正方式选择部157将由滚动校正量计算部152c计算出的校正量经由通信部155通知给系统控制器14。由此，在处于步行状态的情况下，作为基于系统控制器14的电子校正来实施滚动方向的校正。该系统控制器14内的处理的详细情况在后面说明。

接着，图4是示出偏航校正量计算部152a和俯仰校正量计算部152b的结构的一例的框图。

如图4所示，偏航校正量计算部152a和俯仰校正量计算部152b具有乘法部1521和积分部1522。

在对偏航校正量计算部152a输入偏航角速度(或对俯仰校正量计算部152b输入俯仰角速度)后，乘法部1521通过乘以基于摄影光学系统21的光学特性的系数(具体而言，在设摄影光学系统21的焦距为f时，是依赖于焦距f的系数k(f))，计算摄像元件12的摄像面中产生的被摄体像的偏航方向(在俯仰校正量计算部152b的情况下为俯仰方向)的每个规定时间间隔的移动量。

这里，通过系统控制器14从lcu22定期取得摄影光学系统21的焦距f，将其通知给抖动校正微计算机15。因此，抖动校正微计算机15使用与取得图像数据时的焦距f对应的系数k(f)，通过乘法部1521进行乘法处理。

接着，积分部1522对乘法部1521计算出的每个规定时间间隔的移动量进行时间积分(具体而言为累积)，作为摄像元件驱动部13的驱动位置(偏航方向的校正量/俯仰方向的校正量)进行输出。

并且，图5是示出滚动校正量计算部152c的结构的一例的框图。

如图5所示，滚动校正量计算部152c具有积分部1522，但是，不具有偏航校正量计算部152a和俯仰校正量计算部152b那样的乘法部1521。

在对滚动校正量计算部152c输入滚动角速度后，积分部1522通过对所输入的滚动角速度进行时间积分，计算摄像元件12的摄像面中的滚动方向的旋转量(具体而言为旋转角度)。这样计算出的旋转量作为滚动校正量而从积分部1522进行输出。

接着，图6是示出用于说明步行检测处理部156的处理的滚动角速度的时间变化的例子的线图。

在一定期间ts以内滚动角速度交替超过+侧的角速度阈值和-侧的角速度阈值的情况下，步行检测处理部156判定为照相机处于步行状态，在不满足该条件的情况下，判定为处于非步行状态。

具体而言，在图6所示的例子中，在时刻ta，滚动角速度超过+侧的角速度阈值。并且，在时刻ta以后，滚动角速度首次超过-侧的角速度阈值的时刻是时刻tb。因此，步行检测处理部156判定时刻ta～时刻tb的时间间隔t1是否在一定期间ts以内。这里，判定为时间间隔t1在一定期间ts以内，所以，步行检测处理部156判定为照相机处于步行状态。

进而，在时刻tb以后，滚动角速度首次超过+侧的角速度阈值的时刻是时刻tc。因此，与上述同样，步行检测处理部156判定时刻tb～时刻tc的时间间隔t2是否在一定期间ts以内。这里，也判定为时间间隔t2在一定期间ts以内，所以，步行检测处理部156继续判定为照相机处于步行状态。

进而，步行检测处理部156在时刻tc以后，等待滚动角速度超过-侧的角速度阈值。在该图6所示的例子中，从时刻tc起在一定期间ts以内，滚动角速度未超过-侧的角速度阈值，所以，步行检测处理部156在从时刻tc起经过了一定期间ts的时间的时刻td，解除处于步行状态的判定(判定为不处于步行状态)。

通过进行这种处理，在滚动角速度示出图6所示的时间变化的情况下，步行检测处理部156在时刻tb～时刻td的期间内判定为照相机处于步行状态，在其他期间内判定为照相机处于非步行状态。

接着，图7是示出摄像元件驱动部13的概略结构例的图。该图7成为设z轴的-方向(从被摄体侧观察像侧的方向)为视线方向来观察摄像元件驱动部13时的图。

因此，在该图7中，示出与图1的x轴和y轴对应的方向，但是，纸面右方向是x轴的正方向，纸面上方向是y轴的正方向。并且，在图7中，示出表示绕z轴的滚动旋转量的角度θ，但是，该角度θ定义为绕顺时针方向是正方向(即绕逆时针方向是负方向)。

摄像元件驱动部13具有x1驱动部131、x2驱动部132、y驱动部133、固定部134、可动部135。

固定部134固定在构成摄像装置的照相机主体1上，将可动部135支承为能够移动。

可动部135一体地保持摄像元件12，如上所述，能够相对于固定部134在与摄像面平行的面(即，与摄影光学系统21的光轴垂直的面)内移动。

驱动部131、132、133通过对可动部135赋予驱动力，使固定部134移动，作为具体结构的一例，成为具有与可动部135一体配置的未图示的电磁线圈和配置在固定部134上的未图示的固定磁铁的电磁式直线马达(音圈马达等)。

而且，x1驱动部131的电磁线圈从上述抖动校正微计算机15内的x1驱动器154a供给驱动电压(驱动电流)作为上述驱动信号，x2驱动部132的电磁线圈从x2驱动器154b供给驱动电压(驱动电流)作为上述驱动信号，y驱动部133的电磁线圈从y驱动器154c供给驱动电压(驱动电流)作为上述驱动信号。

驱动部131、132、133的各电磁线圈在被供给驱动电压时，流过与驱动电压成比例的驱动电流，产生磁场。由电磁线圈产生的磁场与固定磁铁相互作用，在电磁线圈与固定磁铁之间产生与驱动电流成比例的驱动力。固定磁铁固定在固定部134上，所以，配置有电磁线圈的可动部135通过所产生的驱动力而移动。

而且，x1驱动部131配置成对可动部135的例如左上端部施加x轴方向的驱动力。并且，x2驱动部132配置成对可动部135的例如左下端部施加x轴方向的驱动力。进而，y驱动部133配置成对可动部135的例如上端中央部施加y轴方向的驱动力。这样，摄像元件驱动部13例如采用驱动台的机构，以使摄像元件12在与摄像面平行的面内移动。

在这种结构中，通过对y驱动部133的电磁线圈赋予驱动电压，摄像元件12在y方向上并进移动。

并且，通过对x1驱动部131的电磁线圈和x2驱动部132的电磁线圈赋予相同的驱动电压，x1驱动部131和x2驱动部132的移动量相同，摄像元件12在x方向上平移移动。

进而，通过对x1驱动部131的电磁线圈和x2驱动部132的电磁线圈赋予正负不同的驱动电压，x1驱动部131的移动量和x2驱动部132的移动量成为符号不同的值，摄像元件12旋转移动。

因此，更一般而言，通过对x1驱动部131的电磁线圈和x2驱动部132的电磁线圈赋予不同的驱动电压，x1驱动部131的移动量和x2驱动部132的移动量成为不同的值，摄像元件12在x方向上平移移动，并且旋转移动。

关于此时的摄像元件12的角度θ所示的旋转移动量，如果角度θ是微小值，则如下述式所示，成为与x2驱动部132的移动量mx2和x1驱动部131的移动量mx1之差成比例的值。

θ＝k·(mx2-mx1)

这里，k是比例系数，成为由x1驱动部131和x2驱动部132相对于可动部135的配置决定的常数。

这样，例如通过采用图7所示的机构，摄像元件驱动部13能够使摄像元件12在与摄像面并行的面内在x/y方向上平移移动、并且旋转移动。但是，图7所示的结构是一例，所以，也可以采用其他结构。

接着，图8是示出系统控制器14的功能结构的框图。另外，系统控制器14具有各种功能部，但是，这里，进行与图8所示的抖动电子校正相关联的功能部的说明，省略与其他功能部有关的说明。

如图8所示，系统控制器14具有亮度图像生成部141、存储器142、图案匹配部143、x/y校正量计算部144、校正量选择部146、图像处理部147。

亮度图像生成部141将从摄像元件12读出的摄像信号转换为亮度图像。

存储器142是保存由亮度图像生成部141生成的亮度图像的存储介质。这里，亮度图像被保存在存储器142内预先确保的能够保存多帧亮度图像的区域中。并且，存储器142还保存如后所述从图案匹配部143输出的向量信息。

图案匹配部143选择存储器142中保存的取得时刻不同的多帧亮度图像中的2帧(例如取得时刻连续的2帧)进行图案匹配，计算表示2帧的图像间的像移动量的向量信息，作为平移方向的抖动残余量进行输出。作为该图案匹配，可以适当使用公知技术。这样，从图案匹配部143输出的向量信息如上所述保存在存储器142中。

x/y校正量计算部144根据由图案匹配部143计算出的向量信息，分别计算x方向的校正量和y方向的校正量。

这里，图9是示出x/y校正量计算部144的结构的一例的框图。

在该图9所示的例子中，x/y校正量计算部144具有积分部1441。

而且，x/y校正量计算部144被输入由图案匹配部143计算出的向量信息后，通过积分部1441对所输入的向量进行时间积分(具体而言为累积)，将累积后的结果作为校正量输出到校正量选择部146。

这样，亮度图像生成部141、存储器142、图案匹配部143和x/y校正量计算部144构成如下的抖动残余量计算部，该抖动残余量计算部根据进行光学校正而取得的取得时刻不同的多个图像数据，计算光学校正后残存的平移方向的抖动残余量。

校正量选择部146根据从抖动校正微计算机15的通信部155接收的步行检测处理部156的判定结果，决定输出到图像处理部147的值。

具体而言，校正量选择部146在步行检测处理部156中的判定结果为处于非步行状态的情况下，将由x/y校正量计算部144计算出的校正量(平移方向的抖动残余量)输出到图像处理部147。因此，在处于非步行状态的情况下，通过电子校正部即图像处理部147对平移方向的抖动残余量进行校正。

并且，校正量选择部146在步行检测处理部156中的判定结果为处于步行状态的情况下，将从抖动校正微计算机15的通信部155接收的校正量(由滚动校正量计算部152c计算出的滚动校正量)输出到图像处理部147。

图像处理部147是电子校正部，该电子校正部进行切出图像数据的一部分而作为输出图像的电子校正。具体而言，图像处理部147根据从校正量选择部146接收的校正量，切出作为图像数据的一部分的切出区域，将所切出的图像作为输出图像。因此，图像处理部147在处于非步行状态的情况下，进行图像切出以使得对平移方向的抖动残余量进行校正，在处于步行状态的情况下，进行图像切出以使得对滚动方向的像抖进行校正。

接着，图10是示出摄像装置的手抖校正中的抖动校正微计算机15的处理的流程图。

在抖动校正处理开始后，步行检测处理部156根据由adc151c转换为数字值后的滚动角速度信息，如上所述进行步行检测处理，判定照相机是否处于步行状态(步骤s01)。

接着，偏航校正量计算部152a根据由adc151a转换为数字值后的偏航角速度信息，计算偏航方向的校正量(步骤s02)。

进而，俯仰校正量计算部152b根据由adc151b转换为数字值后的俯仰角速度信息，计算俯仰方向的校正量(步骤s03)。

然后，滚动校正量计算部152c根据由adc151c转换为数字值后的滚动角速度信息，计算滚动方向的校正量(步骤s04)。

然后，校正方式选择部157判定上述步骤s01中的处理结果是否是处于步行状态(步骤s05)。

这里，在判定为处于步行状态的情况下，驱动量计算部153根据通过步骤s02计算出的偏航校正量和通过步骤s03计算出的俯仰校正量，计算用于向摄像元件驱动部13指示的驱动量。这样计算出的驱动量经由驱动器154输出到摄像元件驱动部13(步骤s06)。

进而，校正方式选择部157经由通信部155向系统控制器14发送通过步骤s04计算出的滚动校正量(步骤s07)。

另一方面，在步骤s05中判定为处于非步行状态的情况下，校正方式选择部157将通过步骤s04计算出的滚动校正量输出到驱动量计算部153。由此，驱动量计算部153根据通过步骤s02计算出的偏航校正量、通过步骤s03计算出的俯仰校正量、通过步骤s04计算出的滚动校正量，来计算用于向摄像元件驱动部13指示的驱动量。这样计算出的驱动量经由驱动器154输出到摄像元件驱动部13(步骤s08)。

在进行了步骤s07或步骤s08的处理后，结束抖动校正微计算机15中的抖动校正处理。

接着，图11是示出摄像装置的手抖校正中的系统控制器14的处理的流程图。

在抖动校正处理开始后，校正量选择部146根据经由通信部155从抖动校正微计算机15内的步行检测处理部156取得的检测结果，判定是否处于步行状态(步骤s11)。

这里，在判定为处于步行状态的情况下，校正量选择部146还经由校正方式选择部157和通信部155取得由抖动校正微计算机15内的滚动校正量计算部152c计算出的滚动校正量(步骤s12)。

接着，图像处理部147根据步骤s12中取得的滚动校正量，针对图像数据进行图像切出，由此进行滚动校正(步骤s13)。

另一方面，在步骤s11中判定为处于非步行状态的情况下，图案匹配部143读出由亮度图像生成部141生成并保存在存储器142中的取得时刻不同的2帧的亮度图像，进行图案匹配，将作为图案匹配的结果而得到的向量信息保存在存储器142中(步骤s14)。

接着，x/y校正量计算部144根据从存储器142读出的向量信息计算x/y校正量(即x方向的校正量和y方向的校正量)(步骤s15)。

然后，图像处理部147根据计算出的x/y校正量，针对图像数据进行图像切出，由此进行x方向和y方向的抖动残余量的校正(x/y校正)(步骤s16)。

这样进行了步骤s13或步骤s16的处理后，结束系统控制器14中的抖动校正处理。

图12是示出基于是否处于步行状态的电子校正和光学校正的区分使用以及所得到的效果的图表，图13是示出根据抖动的检测结果是否是处于步行状态而区分使用电子校正和光学校正的状况的线图。

如上所述，在本实施方式中，根据基于滚动角速度的步行检测处理部156的检测结果是否是处于步行状态，区分使用电子校正和光学校正。

首先，在处于非步行状态的情况下，根据抖动校正微计算机15的控制对摄像元件驱动部13进行驱动，根据偏航角速度和俯仰角速度进行偏航方向和俯仰方向的光学抖动校正，并且根据滚动角速度进行滚动方向的光学抖动校正。进而，系统控制器14利用图案匹配来检测该光学校正后取得的图像中残存的抖动(所谓的抖动残余)，计算x/y校正量，针对图像数据进行图像切出，进行电子校正。

由此，在非步行状态下，进一步对进行了光学校正后的结果的抖动残余进行电子校正，所以，能够大致完全地抑制抖动。

另一方面，在处于步行状态的情况下，根据抖动校正微计算机15的控制对摄像元件驱动部13进行驱动，根据偏航角速度和俯仰角速度进行偏航方向和俯仰方向的光学抖动校正。但是，针对滚动方向的抖动，不应用光学校正。而且，关于该偏航方向和俯仰方向的光学校正后取得的图像中产生的滚动方向的抖动，系统控制器14根据从抖动校正微计算机15取得的滚动校正量针对图像数据进行图像切出，从而进行电子校正。此时，系统控制器14不进行x方向和y方向的抖动残余量的校正。

例如，在通过光学校正进行滚动校正后，如图7所示，在固定部134的四边框容许的可动范围内，四边的可动部135旋转，但是，关于旋转后的状态的可动部135，与未旋转的状态相比，固定部134的四边框内的x方向的可移动量和y方向的可移动量较小(这是因为，可动部135呈四边，所以，在旋转后的状态下，可动部135在x方向、y方向上占据的范围分别比可动部135的纵边的长度和横边的长度长)。

在步行时，与非步行时相比，偏航/俯仰/滚动全部方向的抖动较大，所以，当通过光学校正进行滚动校正时，容易到达光学校正的校正极限。该情况下，仅通过电子校正进行校正，但是，在电子校正中，虽然能够对通过曝光而得到的图像数据进行被摄体构图移动的校正，但是，无法对曝光中产生的像抖进行校正。因此，与光学校正相比，图像数据自身产生像抖，分辨率容易降低。因此，当从(光学校正+电子校正)的状态变化为仅电子校正的状态时，图像的分辨率的急剧变化表现在动态图像中，图像的质量降低。

并且，在步行时，特别是滚动方向的抖动较大，更容易到达光学校正的校正极限，所以，在光学校正后，与校正量不足的量相当的滚动方向的抖动容易残存在动态图像中，很难得到稳定的动态图像。

对此，根据本实施方式，在步行时，不在滚动方向上应用光学校正，所以，相应地，能够以更大的校正幅度进行偏航方向和俯仰方向的光学校正。因此，与非步行时相比，能够提高偏航方向和俯仰方向的光学校正性能。

进而，虽然在步行时滚动方向的抖动较大，但是，仅将电子校正应用于滚动方向的抖动校正，而不应用于x/y校正，所以，能够扩宽基于电子校正的滚动方向的校正范围，能够充分校正滚动方向的抖动。这样，能够得到稳定的动态图像。

另外，在上述中，在处于步行状态的情况下，将光学校正部的旋转方向的像抖的校正量设为0，通过电子校正部对旋转方向的像抖进行校正，在处于非步行状态的情况下，将电子校正部的旋转方向的像抖的校正量为0，通过光学校正部对旋转方向的像抖进行校正，但是不限于此。

即，在处于步行状态的情况下，与处于非步行状态的情况相比，也可以减小光学校正部的旋转方向的像抖的校正量，并且增大电子校正部的旋转方向的像抖的校正量。该情况下，由于减小光学校正部的旋转方向的像抖的校正量，所以，能够增大光学校正部的平移方向的像抖的校正量，能够改善步行时的平移方向的像抖的校正性能。而且，由于能够通过电子校正部对残存的旋转方向的像抖进行校正，所以，还能够有效减少旋转方向的像抖。

并且，在上述实施方式中，作为步行检测部的步行检测处理部156根据由像抖检测部检测到的旋转方向的像抖的程度(即从adc151c输出的滚动角速度信息)，检测是否处于步行状态，但是不限于此。例如，也可以设置独立的专用的步行检测处理部，还可以通过其他适当手段来检测是否处于步行状态。

根据这种实施方式1，检测是否处于步行状态，在处于步行状态的情况下，与处于非步行状态的情况相比，减小摄像元件驱动部13的旋转方向的像抖的光学校正量，并且增大系统控制器14的旋转方向的像抖的电子校正量，所以，能够改善步行状态下的包含滚动方向(图像的旋转方向)的抖动的校正性能，能够确保稳定的成帧(フレーミング)。

此时，在处于步行状态的情况下，将摄像元件驱动部13的旋转方向的像抖的校正量设为0，通过系统控制器14对旋转方向的像抖进行校正，在处于非步行状态的情况下，将系统控制器14的旋转方向的像抖的校正量设为0，通过摄像元件驱动部13对旋转方向的像抖进行校正，所以，能够最大限度地提高处于步行状态的情况下的平移方向的像抖校正性能。

滚动方向的抖动(旋转方向的像抖)与偏航方向和俯仰方向的抖动(由水平方向和垂直方向的平移引起的像抖)相比，1帧图像的曝光期间内的被摄体光学像的移动的影响较小，即，1帧的图像中产生的像抖较小。因此，关于旋转方向的像抖校正，即使不进行光学校正而仅进行电子校正，画质劣化也比较小。这样，仅通过电子校正，就能够良好地校正步行时的滚动方向的抖动。

并且，在处于非步行状态的情况下，根据进行光学校正而取得的取得时刻不同的多个图像数据，通过抖动残余量计算部计算光学校正后残存的平移方向的抖动残余量，通过系统控制器14对平移方向的抖动残余量进行电子校正，所以，能够大致完全地去除非步行时的抖动。

进而，在根据图案匹配的结果计算平移方向的抖动残余量的情况下，能够进行基于图像数据自身的准确判定。

而且，步行检测处理部156根据由角速度传感器16和抖动校正微计算机15检测到的旋转方向的像抖的程度，检测是处于步行状态还是处于非步行状态，所以，不需要额外设置专用的传感器等，能够进行与进行两脚步行的人的运动对应的步行检测。

[实施方式2]

图14～图18示出本发明的实施方式2，图14是示出抖动校正微计算机15的功能结构的框图。

在该实施方式2中，对与上述实施方式1相同的部分标注相同标号等并适当省略说明，主要仅对不同之处进行说明。

如后述图15所示，本实施方式的抖动校正微计算机15中的偏航校正量计算部152a和俯仰校正量计算部152b不仅分别计算输出到驱动量计算部153的偏航校正量和俯仰校正量，还分别计算偏航方向的抖动残余量和俯仰方向的抖动残余量。

然后，如图14所示，经由通信部155向系统控制器14发送由偏航校正量计算部152a和俯仰校正量计算部152b分别计算出的抖动残余量。

这里，图15是示出偏航校正量计算部152a和俯仰校正量计算部152b的结构的一例的框图。

如图15所示，偏航校正量计算部152a和俯仰校正量计算部152b具有乘法部1521、积分部1522、积分部1523、抵靠补偿系数乘法部1524、减法部1525。

在对偏航校正量计算部152a输入偏航角速度(或对俯仰校正量计算部152b输入俯仰角速度)后，如上所述，乘法部1521乘以基于摄影光学系统21的光学特性的系数(上述系数k(f))，计算摄像元件12的摄像面中产生的被摄体像的偏航方向(在俯仰校正量计算部152b的情况下为俯仰方向)的每个规定时间间隔的移动量。

由该乘法部1521计算出的移动量分别输入到积分部1522和积分部1523。

然后，积分部1522和积分部1523对每个规定时间间隔的移动量进行时间积分，作为摄像元件驱动部13的驱动位置(偏航方向的校正量/俯仰方向的校正量)进行输出。

另外，在图15所示的结构例中，独立设置积分部1522和积分部1523，但是，也可以将这些积分部1522、1523汇集成一个，从汇集后的积分部向抵靠补偿系数乘法部1524和减法部1525输出运算结果。

抵靠补偿系数乘法部1524是在接近摄像元件驱动部13的校正极限时抑制平移方向的光学校正功能的极限校正缓和部。例如，抵靠补偿系数乘法部1524在可动部135到达与固定部134抵靠的校正极限之前，对由角速度传感器16和抖动校正微计算机15检测到的平移方向的像抖量乘以用于抑制平移方向的光学校正功能的抵靠补偿系数。

具体而言，抵靠补偿系数乘法部1524对由积分部1523计算出的驱动位置(偏航方向的校正量/俯仰方向的校正量)乘以抵靠补偿系数。这里，在到达摄像元件驱动部13的光学校正的校正极限(即图7所示的可动部135与固定部134抵靠的位置)之前的接近该校正极限时，如果直接使用由积分部1523计算出的驱动位置，则有时可动部135与固定部134迅速抵靠。因此，抵靠补偿系数成为与由积分部1523计算出的驱动位置相比抑制可动部135的移动量的系数(例如，随着接近校正极限而使值降低的小于1的系数)。通过进行这种处理，可动部135在与固定部134抵靠的抵靠位置附近缓慢地接近固定部134。

这样，由抵靠补偿系数乘法部1524校正后的驱动位置(偏航方向的校正量/俯仰方向的校正量)作为校正量输出到驱动量计算部153。

并且，减法部1525是从平移方向的像抖量减去由摄像元件驱动部13校正后的平移方向的像抖量来计算抖动残余量的抖动残余量计算部。具体而言，减法部1525通过从由积分部1522计算出的驱动位置减去由抵靠补偿系数乘法部1524校正后的驱动位置，计算光学校正中残存的偏航方向和俯仰方向的抖动残余量。

如上所述，经由通信部155向系统控制器14发送这样计算出的抖动残余量。

接着，图16是示出系统控制器14的功能结构的框图。另外，在该图16中，与上述图8同样，也示出系统控制器14所具有的各种功能中的与抖动电子校正相关联的功能部。

如图16所示，系统控制器14具有图像处理部147。即，在本实施方式中，从抖动校正微计算机15接收与x/y校正量对应的抖动残余量，所以，不需要进行图案匹配来求出抖动残余量。因此，本实施方式的系统控制器14从图8所示的结构中删除亮度图像生成部141、存储器142、图案匹配部143、x/y校正量计算部144和校正量选择部146。

而且，系统控制器14使用接收到的偏航方向的抖动残余量作为x校正量，使用接收到的俯仰方向的抖动残余量作为y校正量，针对图像数据进行图像切出，由此进行偏航方向和俯仰方向的抖动残余量的校正。

接着，图17是示出摄像装置的手抖校正中的抖动校正微计算机15的处理的流程图。

开始进行该处理后，与图10所示的步骤s01～s05的处理同样进行步骤s21～s25的处理。

然后，在步骤s25中判定为处于步行状态的情况下，与图10所示的步骤s06和步骤s07的处理同样进行步骤s26和步骤s27的处理。

并且，在步骤s25中判定为处于非步行状态的情况下，与图10所示的步骤s08的处理同样进行步骤s28的处理。

接着，偏航校正量计算部152a和俯仰校正量计算部152b如上所述计算光学校正中的偏航方向和俯仰方向的抖动残余量(步骤s29)。

进而，经由通信部155向系统控制器14输出步骤s29中求出的抖动残余量(步骤s30)。

这样进行了步骤s27或步骤s30的处理后，结束抖动校正微计算机15中的抖动校正处理。

接着，图18是示出摄像装置的手抖校正中的系统控制器14的处理的流程图。

开始进行该处理后，与图11所示的步骤s11的处理同样进行步骤s31的处理。

在该步骤s31中判定为处于步行状态的情况下，与图11所示的步骤s12～s13的处理同样进行步骤s32～s33的处理。

并且，在步骤s31中判定为处于非步行状态的情况下，经由通信部155取得由抖动校正微计算机15内的偏航校正量计算部152a和俯仰校正量计算部152b计算出的偏航方向和俯仰方向的抖动残余量(步骤s34)。

然后，图像处理部147根据步骤s34中取得的抖动残余量，针对图像数据进行图像切出，由此对平移方向的抖动残余量进行校正(步骤s35)。

这样进行了步骤s33或步骤s35的处理后，结束系统控制器14中的抖动校正处理。

根据这种实施方式2，发挥与上述实施方式1大致相同的效果，并且，具有在接近摄像元件驱动部13的校正极限时抑制平移方向的光学校正功能的极限校正缓和部、以及从平移方向的像抖量减去由摄像元件驱动部13校正后的平移方向的像抖量来计算抖动残余量的抖动残余量计算部即减法部1525，在处于非步行状态的情况下，通过系统控制器14对平移方向的抖动残余量进行校正，所以，能够抑制从光学校正切换为电子校正时的不自然的像抖。

而且，不需要进行上述实施方式1中的图案匹配，所以，能够减轻运算处理的负荷并简化结构。进而，还能够良好地校正图案匹配中不容易检测的被摄体(例如逆光、低对比度、重复图案、动体等)。

并且，极限校正缓和部包括抵靠补偿系数乘法部1524，还抵靠补偿系数乘法部1524在到达可动部135与固定部134抵靠的校正极限之前，对由角速度传感器16和抖动校正微计算机15检测到的平移方向的像抖量乘以用于抑制平移方向的光学校正功能的抵靠补偿系数，所以，能够通过系数的乘法这样的简单处理来抑制接近校正极限时的平移方向的光学校正功能。

另外，上述各部也可以构成为电路。而且，任意的电路只要能够发挥同一功能即可，可以作为单一电路进行安装，也可以组合多个电路进行安装。进而，任意的电路不限于构成为用于发挥目标功能的专用电路，也可以构成为通过使通用电路执行处理程序来发挥目标功能。

并且，上述主要说明了摄像装置，但是，也可以是如上所述控制摄像装置的控制方法或进行与摄像装置相同的像抖校正的像抖校正方法，还可以是用于使计算机进行与摄像装置相同的处理的处理程序、记录该处理程序的计算机可读取的非暂时性的记录介质等。