图像稳定设备、光学设备和图像稳定方法与流程

本发明涉及图像稳定设备、光学设备和图像稳定方法。

背景技术：

传统上已知包括被配置为校正图像模糊的图像稳定设备(或者图像模糊校正设备)的光学设备。基于角速度传感器(陀螺仪传感器)的检测结果和通过分析图像帧之间的模糊而计算的运动矢量来获得校正量。

全景摄像还已知为一种复杂的摄像方法。全景摄像是用于通过平摇照相机而连续拍摄并对沿平摇方向连续拍摄的图像进行合成来生成具有宽视角的垂直或者水平取向的图像的技术。合成图像时的对准通常使用运动矢量，而针对无法计算出运动矢量时的场景使用来自陀螺仪传感器的输出。然后，来自陀螺仪传感器的输出，尤其是由陀螺仪传感器的偏移噪声所引起的积分误差会对对准精度产生不良影响。

专利文献1公开了一种被配置为使用运动矢量来计算安装在照相机侧的陀螺仪传感器的偏移噪声的图像稳定设备。专利文献2公开了一种被配置为以预定周期重置在全景摄像中对陀螺仪信号进行滤波的高通滤波器以防止用作该高通滤波器的电容器中的电荷饱和的摄像设备。

现有技术文献

专利文献

专利文献1：日本专利5663897

专利文献2：日本特开2010-220002

技术实现要素：

发明要解决的技术问题

专利文献1中所公开的图像稳定设备可以在针对可更换镜头没有设置图像稳定设备的情况下或者在针对可更换镜头设置了图像稳定设备但没有驱动该图像稳定设备的情况下，成功地计算陀螺仪传感器的偏移噪声。然而，在图像稳定设备被驱动的情况下，需要获取图像稳定设备的位置信号，并且无法精确计算出陀螺仪传感器的偏移噪声。

专利文献2针对陀螺仪信号使用高通滤波器并且在与滤波器的截止频率的周期更长的时间段的平摇中裁切平摇信号。

考虑前述问题，本发明的目的是提供可以精确地估计角速度传感器的偏移成分的图像稳定设备、光学设备和图像稳定方法。

用于解决问题的方案

根据本发明的一个方面的图像稳定设备包括第一获取器，用于获取角速度传感器的角速度数据；第二获取器，用于获取与被驱动以校正拍摄图像中的模糊的校正透镜的位置有关的数据；第三获取器，用于获取基于所述拍摄图像而计算出的运动矢量；以及估计器，用于基于所述角速度数据、与所述位置有关的数据和所述运动矢量来估计所述角速度传感器的偏移成分，其中，与所述位置有关的数据是基于所述角速度数据而生成的。

根据本发明的另一方面的图像稳定方法包括第一获取步骤，用于获取角速度传感器的角速度数据；第二获取步骤，用于获取与被驱动以校正拍摄图像中的模糊的校正透镜的位置有关的数据；第三获取步骤，用于获取基于所述拍摄图像而计算出的运动矢量；以及估计步骤，用于基于所述角速度数据、与所述位置有关的数据和所述运动矢量来估计所述角速度传感器的偏移成分，其中，与所述位置有关的数据是基于所述角速度数据而生成的。

发明的效果

本发明能够提供一种可以精确地估计角速度传感器的偏移成分的图像稳定设备、光学设备和图像稳定方法。

附图说明

图1是包括根据本发明的一个实施例的图像稳定设备的光学设备的框图。

图2是镜头系统控制器的框图。

图3是估计模型的说明图。

图4是照相机系统控制器的框图。

图5是估计器的框图。

具体实施方式

现在参考附图，将给出根据本发明的实施例的说明。在各附图中，相应的元件将由相同的附图标记指定，并且将省略其重复说明。

图1是作为包括根据本发明的一个实施例的图像稳定设备的说明性光学设备的镜头可更换型数字照相机(在下文中称为照相机)1的框图。照相机1包括可更换镜头100和照相机主体200。本实施例讨论了镜头可更换型数字照相机作为说明性光学设备，但是本发明不限于本实施例。例如，光学设备可以是镜头和照相机主体彼此一体化的摄像设备。

变焦单元101具有进行变焦的变焦透镜。变焦控制器102控制变焦单元101的驱动。光圈驱动控制器104控制光圈单元103的驱动。图像稳定单元105包括可移动以校正图像模糊的校正透镜。图像稳定控制器106控制图像稳定单元105的驱动。调焦单元107包括调焦透镜。调焦控制器108控制调焦单元107的驱动。操作单元109指示可更换镜头100的操作。手抖动检测器(照相机抖动检测器)110是诸如陀螺仪传感器等的角速度传感器，并检测与施加到可更换镜头100的手抖动量相对应的角速度数据。将角速度数据输出为电压。镜头系统控制器111控制整个可更换镜头100。镜头通信控制器112控制与照相机主体200的通信。

快门驱动控制器202驱动快门单元201。摄像单元203将由可更换镜头100形成的被摄体图像转换为电信号。拍摄信号处理器204将从摄像单元203输出的电信号转换为图像信号(拍摄图像)。图像信号处理器205根据用途来对从拍摄信号处理器204输出的图像信号进行处理。显示单元206基于从图像信号处理器205输出的信号来显示必要的图像。存储器(储存单元)207存储诸如图像信息等的各种数据。电源208根据用途向必要组件供给电力。操作单元209指示照相机主体200的操作。手抖动检测器210是诸如陀螺仪传感器等的角速度传感器，并检测与施加到照相机主体200的手抖动量相对应的角速度数据。运动矢量计算器211分析图像信号中的帧之间的模糊并计算运动矢量。运动矢量计算器211可以通过将图像划分为多个块并且通过根据针对各个块所计算的多个运动矢量计算完整运动矢量，来防止由图像噪声导致的运动矢量的错误计算以及移除手抖动以外的模糊成分。电子图像稳定控制器212通过切出图像来控制电子图像稳定。照相机系统控制器(图像稳定设备)213控制照相机主体200整体。照相机通信控制器214控制与可更换镜头100的通信。

现在给出照相机1使用操作单元109和209的操作的描述。操作单元109和209具有可以选择图像稳定模式的图像稳定开关。当图像稳定开关接通时，镜头系统控制器111和照相机系统控制器213分别向图像稳定控制器106和电子图像稳定控制器212指示图像稳定操作。图像稳定控制器106和电子图像稳定控制器212进行图像稳定操作，直到图像稳定开关被断开为止。

操作单元209包括被配置使得第一开关sw1和第二开关sw2根据按压量而顺次接通的快门释放按钮。本实施例在快门释放按钮被大致半按下时接通第一开关sw1，以及在快门释放按钮被完全按下时接通第二开关sw2。当第一开关sw1接通时，调焦控制器108驱动调焦单元107以进行调焦，并且光圈驱动控制器104驱动光圈单元103以设置合适的曝光量。当第二开关sw2接通时，获取拍摄图像并将拍摄图像存储在存储器207中。

操作单元209包括运动图像记录开关。当运动图像记录开关接通时，运动图像拍摄开始，并且在运动图像记录中再次接通该开关时，摄像结束。当在运动图像记录中接通第一开关sw1和第二开关sw2时，在运动图像记录中拍摄静止图像。

操作单元209包括可以选择再现模式的再现模式选择开关。在再现模式中，停止图像稳定操作。

图2是镜头系统控制器111的框图。a/d转换器301将从手抖动检测器110输出的角速度数据转换为数字数据。高通滤波器302截断角速度数据中的低频成分。积分器303对由低通滤波器主要通过伪积分截断了低频成分的角速度数据进行积分，并将角速度数据转换为角度数据。灵敏度乘法器304将角度数据转换为图像稳定单元105中的校正透镜的移位量(第一图像稳定量)。与焦距相对应的值用于灵敏度。

估计器310获取由手抖动检测器110检测到的角速度数据、图像稳定单元105中的校正透镜的位置数据和由运动矢量计算器211计算出的运动矢量。估计器310基于所获取到的数据来估计手抖动检测器110的偏移成分、灵敏度和各误差方差值。偏移单元305从自手抖动检测器110输出的角速度数据中移除估计器310所估计出的偏移成分。积分器306对由低通滤波器主要通过伪积分移除了偏移成分的角速度数据进行积分，并将角速度数据转换为角度数据。灵敏度乘法器307将角度数据转换为图像稳定单元105中的校正透镜的移位量(第二图像稳定量)。与焦距相对应的值用于灵敏度。从灵敏度乘法器307输出的移位量还反映手抖动检测器110的灵敏度调整的校正量，并且吸收灵敏度散射。使用从灵敏度乘法器307输出的移位量可以改善图像稳定性能。基于低频成分未被高通滤波器截断的角速度数据来计算从灵敏度乘法器307输出的移位量。基于从灵敏度乘法器307输出的移位量的图像稳定与基于从灵敏度乘法器304输出的移位量的图像稳定相比可以校正更低的频率成分中的图像模糊。

选择器308选择从各个灵敏度乘法器输出的移位量之一。在静止图像拍摄中，为了提高图像稳定性能，选择器308选择从灵敏度乘法器307输出的移位量，以及在非静止图像拍摄中，由于不是该情况，因此选择器308选择从灵敏度乘法器304输出的移位量。限制器309限制选择器308所选择的移位量以使得该移位量落入图像稳定单元105中的校正透镜的可移动范围内。

图像稳定控制器106包括a/d转换器106a、pid控制器106b和驱动器106c。位置检测器113检测图像稳定单元105中的校正透镜的位置并将该位置输出为电压。a/d转换器106a将从位置检测器113输出的数据转换为数字数据。pid控制器106b控制图像稳定单元105中的校正透镜的位置。驱动器106c将移位量转换为电压并向图像稳定单元105供给电流。

现在参考图3，将给出用于基于角速度数据、位置数据和运动矢量同时估计角速度传感器的偏移成分和灵敏度的方法的描述。图3是估计模型的说明图。

在向摄像设备施加角速度w的情况下，安装在摄像设备上的角速度传感器首先通过将角速度w乘以角速度传感器的灵敏度a来计算信号。接着，将具有个体散射的角速度传感器的偏移成分b添加至所计算的信号。偏移成分b添加至的信号中的高频成分被低通滤波器l(s)截止并被检测为角速度数据g，其中s是拉普拉斯变换中的复数。在图3中，低通滤波器l(s)被设置在角速度传感器中，但是低通滤波器l(s)也可以被设置在角速度传感器外部。角速度数据g通过图像稳定控制器i(s)而被转换为图像稳定角速度并被检测为位置信号(位置数据)h。

将施加至摄像设备的角速度w简单积分为整个摄像设备的真实抖动角度。该信号无法被检测。位置信号h被从整个摄像设备的抖动角度中减去并变为抖动残余角度，并且抖动角度的帧之间的差被检测为运动矢量v。

在图3中，通过下面的表达式(1)来表示从角速度w到运动矢量v的传递特性。

v＝w-sh(1)

在图3中，通过下面的表达式(2)来表示从角速度w到陀螺仪数据g的传递特性。

g＝l(s)(aw+b)(2)

通过从表达式(1)移除无法检测到的角速度w，可以通过下面的表达式(3)来表示表达式(2)。

g＝al(s)(sh+v)+l(s)b(3)

由于手抖动的频带通常为20hz以下且低通滤波器l(s)的截止频率主要是100hz，因此由于l(s)近似为1，因而可以通过下面的表达式(4)来表示表达式(3)。

g＝a(sh+v)+b(4)

尽管已经描述了连续系统，以下将解释离散系统。在假设y(k)是角速度数据g(k)、x(k)是项δh(k)+v(k)、以及(a(k),b(k))是估计参数θ(k)^t的离散系统中，通过下面的表达式(5)来表示表达式(4)。这里，a(k)是角速度传感器的灵敏度，b(k)是角速度传感器的偏移成分，以及k是离散时间。

y(k)＝g(k)，

x(k)＝δh(k)+v(k)…(5)

通过下面的表达式(6)来表示新变量z(k)。

根据表达式(4)至(6)，推导出下面的状态表达式(7)。

这里，ε是表示估计参数的波动成分的系统噪声参数，以及ω是观测噪声参数。

根据表达式(7)，可以根据角速度数据g(k)、位置信号h(k)和运动矢量v(k)来估计灵敏度a(k)和偏移成分b(k)，灵敏度a(k)和偏移成分b(k)是可以被表示为状态变量的估计参数。适当地设计系统噪声参数ε可以估计包括灵敏度a(k)和偏移成分b(k)的温度变动成分的灵敏度a(k)和偏移成分b(k)。

如上所述，在假设y是作为检测值的角速度数据g以及x是作为位置信号h和运动矢量v的总和的sh+v的情况下，表达式(4)变为如y＝ax+b的简单线性模型，并且可被基于检测值来确定斜率a和y截距b的问题所替换。斜率a是角速度传感器的灵敏度，以及y截距是角速度传感器的偏移成分。

照相机主体200中的手抖动检测器210用于照相机主体200中的图像合成的对准和照相机主体200的平摇的判断等。与手抖动检测器110类似地，针对手抖动检测器210，偏移误差和灵敏度误差成为问题。现在将描述估计手抖动检测器210的偏移成分和灵敏度的方法。

图4是照相机系统控制器213的框图。图4省略了估计器310。估计器405基于角速度数据、位置数据和运动矢量，通过上述估计处理来估计手抖动检测器210的偏移成分和灵敏度。由于在可更换镜头100中检测到位置数据，因而将所检测到的数据经由镜头通信控制器112和照相机通信控制器214通知给照相机主体200。因此，估计器405的估计处理受通信速度的影响。在由于其它通信的影响而无法以高速率接收位置数据的情况下，可以检测到低频位置数据而无法检测到高频位置数据。因此，本实施例使用手抖动检测器210以伪方式生成高频位置数据，将所生成的位置数据和实际检测到的低频位置数据进行合成，并生成图像稳定单元105中的校正透镜的伪位置数据。

a/d转换器401将从手抖动检测器210输出的角速度数据转换为数字数据。高通滤波器402截断角速度数据中的低频成分。积分器403将已经移除了低频成分的角速度数据转换为伪移位量(伪图像稳定量)。低通滤波器404截断位置数据中的高频成分。对积分器403的输出和低通滤波器404的输出进行合成，这样以伪方式生成图像稳定单元105中的校正透镜的位置数据。积分器406对移除了精确估计的偏移成分的角速度数据进行积分，并将其转换为角度信号。角度信号表示照相机主体200的移动角度，并用于照相机主体200的平摇判断和图像合成中的对准等。

现在参考图5，将描述估计器405的内部结构。图5是估计器405的框图。估计器405包括平均值计算器(第一获取器)501、图像稳定角速度计算器(第二获取器)502、单位转换器(第三获取器)503、低通滤波器504和505以及kalman(卡尔曼)滤波器(估计器)506。

估计器405中的估计处理以作为检测数据中的运动矢量的最低采样的30hz或者60hz进行采样。角速度数据和位置数据在各a/d转换器中以几khz进行采样，但是使用从拍摄信号处理器204所输出的曝光重心定时信号可以使得与运动矢量同步。

平均值计算器501从a/d转换器401获取角速度数据并计算角速度数据的曝光重心之间的帧间平均值。图像稳定角速度计算器502从积分器403和低通滤波器404获得图像稳定单元105中的校正透镜的伪位置数据，并根据该位置数据中的曝光重心之间的差来计算帧间图像稳定角速度。单位转换器503从运动矢量计算器211获取运动矢量并将运动矢量的单位转换为角速度。将从平均值计算器501输出的数据输入至低通滤波器504，并且将作为从图像稳定角速度计算器502输出的数据与从单位转换器503输出的数据的总和的数据输入至低通滤波器505。因此，可以减轻混叠。将从低通滤波器504和505输出的数据输入至kalman滤波器506。kalman滤波器506估计手抖动检测器210的偏移成分和灵敏度。kalman滤波器还计算表示估计结果的可靠性的估计误差方差值。

将使用kalman滤波器506来描述对估计参数θ进行估计的滤波。

首先，使用下面的表达式(8)来计算kalman增益。

接着，使用下面的表达式(9)来计算估计参数θ。

θ(k)＝θ(k-1)+k(k){y(k)-z^t(k)·θ(k-1)}…(9)

最后，使用下面的表达式(10)来计算估计误差方差值。

这里，k是离散时间(滤波步数)，k是kalman增益(1×2矩阵)，以及p是估计误差协方差矩阵(2×2矩阵)。此外，σω是角速度数据观测噪声方差(标量)，以及rε是考虑到估计参数θ的温度变化的系统参数(2×2矩阵)。估计误差协方差矩阵p的初始值可以被设置为预定值。设置过大的值可能使估计结果发散，由此需要根据观测噪声来调谐该参数。

角速度数据观测噪声方差σω可以使用角速度数据的观测噪声实际测量值，但是如表达式(8)和(10)中所示，角速度数据观测噪声方差σω越大，估计收敛越慢，以及角速度数据观测噪声方差σω越小，估计收敛越快。另一方面，角速度数据观测噪声方差σω越大，滤波器越稳定，以及角速度数据观测噪声方差σω越小，估计结果越可能发散。因此，可以考虑将角速度数据观测噪声方差σω作为用于确定滤波器的收敛速度的调谐参数。

估计误差方差值是表示预定时刻j的估计参数θ(j)从k＝0～j如何变化的指标，并且是与时刻j的估计参数θ的可靠性等效的值。

本实施例使用kalman滤波器来对估计参数θ进行估计，但是本发明并不限于本实施例。例如，可以使用逐次最小二乘法来对估计参数θ进行估计。然而，逐次最小二乘法不考虑观测噪声或系统噪声(估计参数变化成分)，并且滤波鲁棒性低。因此，逐次最小二乘法无法应对参数的温度变化，并且估计值会收敛到特定值。因此在实际设计中期望使用kalman滤波器。

本实施例对使用手抖动检测器210以伪方式生成的高频位置数据和实际检测到的低频位置数据进行合成，并生成图像稳定单元105中的校正透镜的伪位置数据。在通信速度足够高(位置数据的获取采样比运动矢量的生成速度快)的情况下，无需使用伪高频位置数据(来自积分器403的输出信号)。随着通信速度变得低于运动矢量的生成速度，可以降低高通滤波器402和低通滤波器404的截止频率，并且可以增大来自积分器403的输出信号相对于位置数据的比例。在一些情况下，来自积分器403的输出信号可以用作位置数据。

在作为手抖动的主频带的大约5hz至10hz的信号频带中，基于从手抖动检测器210输出的角速度数据以伪方式生成的位置数据约等于从可更换镜头100输出的位置数据。然而，在更低频侧，在照相机主体200正进行平摇时，用于防止图像稳定单元105的边缘接触的控制是可更换镜头100固有的，并且难以再现实际检测到的位置数据。根据本实施例，照相机系统控制器213用作被配置为基于来自手抖动检测器210或者运动矢量计算器211的输出信号来判断照相机主体200的平摇、并由此判断是否要更新估计器405的估计处理的判断器。更具体地，在从手抖动检测器210或者运动矢量计算器211输出的信号大于预定值并且输出时间段长于预定期间段的情况下，照相机系统控制器213判断为照相机主体200正在平摇。其间，照相机系统控制器213停止更新kalman滤波器506或者不使估计器405更新估计处理。另一方面，如果照相机系统控制器213判断为照相机主体200没有正在平摇，则照相机系统控制器213使得估计器405更新估计处理。由此，可以仅利用精度高的模型信号(表达式(5)中的x(k))来估计手抖动检测器210的偏移成分，并且可以提高估计精度。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。