专利名称：手抖动校正装置的制作方法
技术领域：
本发明涉及一种例如安装在摄像机或数码相机中的手抖动校正装置。
背景技术：
由于摄像机很多通过手持进行拍摄，因此摄像时很容易产生手抖动。因此，一般来说，摄像机中安装有用来校正手抖动的手抖动校正装置。
另外，摄像时通常进行平移操作(pan)(左右方向移动照相机的操作)以及俯仰操作(上下方向移动照相机的操作)。如果在平移操作时或俯仰操作时，通过手抖动校正装置进行校正，则会产生画面不向希望的方向移动的现象(以下称作粘滞(stick)现象)。
因此，为了降低平移操作或俯仰操作时所产生的粘滞现象，有人提出了检测出平移操作或俯仰操作，在平移操作或俯仰操作时，进行专用于平移操作或俯仰操作的校正控制的手抖动装置。
例如，特开平8-331430号公报中，对应于平移或俯仰操作的检测状态来衰减校正量、变动校正量的频率特性，通过这样来降低粘滞现象。
但是，由于很难正确判断是平移操作或俯仰操作还是手抖动，因此，即使有上述对策也会发生粘滞现象。特别是，在缩放倍率较低的光学广角端，即使在平移操作或俯仰操作时画面的移动量也比较小，因此，手抖动校正很容易起作用，粘滞现象变得非常显著。另外，光学广角端中，由于即使在平移操作或倾斜操作时画面的移动量也比较小，因此，如果在平移操作或俯仰操作的初期进行手抖动校正，则从进行手抖动校正的状态变为不进行手抖动校正时，图像的变化量增大。所以，光学广角端中，存在平移操作或俯仰操作时显著表现出不协调感这一问题。
发明内容
本发明的目的在于即使在很难检测出平移或俯仰状态的情况下，也能够消除光学广角端的显著平移操作或俯仰操作的不协调感。
本发明的第1手抖动校正装置的特征在于，具备缩放检测机构，其对与缩放倍率对应的值进行检测；晃动检测机构，其对图像的晃动进行检测；以及校正量生成机构，其根据由晃动检测机构所检测出的晃动量、由缩放检测机构检测出的与缩放倍率对应的值，生成作为用来校正图像的晃动的校正量的、对晃动频率的校正残留率特性可变的校正量，校正量生成机构，根据由缩放检测机构所检测出的与缩放倍率对应的值，变更对晃动频率的校正残留率特性。
上述校正量生成机构，例如可以变更对晃动频率的校正残留率特性，以使缩放倍率越大，对晃动的低频带的校正的程度就越强。
本发明的第2手抖动校正装置的特征在于，具备缩放检测机构，其对与缩放倍率对应的值进行检测；晃动检测机构，其对图像的晃动进行检测；状态判断机构，其对拍摄者有意的照相机运动所引起的晃动状态和手抖动状态进行判断；第1校正量生成机构，其在由状态判断机构判断为手抖动状态时，根据由晃动检测机构所检测出的晃动量，以及由缩放检测机构所检测出的与缩放倍率对应的值，生成作为用来校正图像的晃动的校正量的、对晃动频率的校正残留率特性可变的校正量；以及第2校正量生成机构，其在由状态判断机构判断为拍摄者有意的照相机运动所引起的晃动状态时，将用于校正图像的晃动的校正量，作为1帧前的校正量，第1校正量生成机构，根据由缩放检测机构所检测出的与缩放倍率对应的值，变更对晃动频率的校正残留率特性。
上述第1校正量生成机构，例如可以变更对晃动频率的校正残留率特性，以使缩放倍率越大，对晃动的低频带的校正的程度就越强。
上述状态判断机构，例如可以在满足以下任一个条件(a)、(b)、(c)时，判断为拍摄者有意的照相机运动所引起的晃动状态(a)由晃动检测机构所检测出的晃动方向为同一个方向的帧连续，且其连续次数为第1阈值以上；(b)由第1校正量生成机构所生成的校正量为校正范围的界限值以上的帧连续，且其连续次数为第2阈值以上；(c)由晃动检测机构所检测出的晃动方向为同一个方向的帧连续，且该在同一方向连续的晃动的积分值，为画角的第3阈值以上的比率。
上述状态判断机构的特征在于，例如具有阈值控制机构，其根据由缩放检测机构所检测出的与缩放倍率对应的值，来控制第1阈值、第2阈值、以及第3阈值。
上述阈值控制机构，例如可以控制第1阈值、第2阈值、以及第3阈值，使得缩放倍率越小，第1阈值、第2阈值以及第3阈值就越小。
图1为表示摄像机的电气构成的框图。
图2为表示运动检测电路的电气构成的框图。
图3为表示成像区域内所设定的多个运动矢量检测区域的模式图。
图4为表示在图3的各个运动矢量检测区域内的小区域内所设定的多个采样点，与一个代表点的模式图。
图5为表示帧存储器与剪切框之间的关系的模式图。
图6为摄像机向右平移时的帧存储器与剪切框之间的关系的模式图。
图7为表示积分矢量与剪切框之间的关系的模式图。
图8为用来说明手抖动校正范围的模式图。
图9为用来说明超出了手抖动校正范围的情况下的处理的模式图。
图10为表示基于衰减系数的晃动频率与校正残留率之间的关系的曲线图。
图11为表示对每一帧所进行的摄像机10的动作的流程图。
图12为表示图11的步骤S10的第1状态判断处理的顺序的流程图。
图13为表示图11的步骤S11的第2状态判断处理的顺序的流程图。
图14a、图14b以及图14c为表示光学广角端中，实际的状态从手抖动状态变化到平移状态的情况下的帧数与摄像机10的显示图像(构图)的移动量之间的关系的曲线图。
图15a以及图15b为表示光学长焦端中，实际的状态从手抖动状态变化到平移状态的情况下的帧数与摄像机10的显示图像(构图)的移动量之间的关系的曲线图。
具体实施例方式
下面对照附图对本发明的实施例进行说明。
图1表示摄像机的构成。
摄像机10中，包含有将来自镜头11所输入的被摄体(图中未显示)的光信号变换成电气信号的CCD那样的固体摄像元件12。来自固体摄像元件12的电气信号输入给照相机电路13。照相机电路13，公知包含有采样保持电路，对来自固体摄像元件12的电气信号进行采样保持。通过AGC来调整被采样保持的电气信号的电平，同时由同步信号添加电路来添加同步信号。这样，照相机电路13将来自固体摄像器件12的图像信号变换成模拟视频信号。
照相机电路13所输出的模拟视频信号，进一步通过A/D转换器14转换成数字视频信号。A/D转换器14所输出的数字视频信号提供给运动检测电路(晃动检测机构)18，同时，由存储器控制电路21写入到帧存储器15。
图2中显示了运动检测电路18的构成。
运动检测电路18，使用例如公知的代表点匹配法，检测出运动矢量。下面对代表点匹配法的概要进行说明。如图3所示，在各个帧的成像区域内，设置多个运动矢量检测区域E1～E4。各个运动矢量检测区域矢量E1～E4的大小相同。另外，各个运动矢量检测区域E1～E4进一步被分割成多个小区域e。本例中，各个运动矢量检测区域E1～E4被分隔成30个小区域e。各个小区域e例如由32像素×16行构成。之后，如图4所示，在各个小区域e中分别设定多个采样点S与1个代表点R。
当前帧中的小区域e内的各个采样点S的成像信号等级(level)(亮度等级)，与前帧中的对应的小区域e的代表点R的视频信号等级(亮度等级)之间的差(各个采样点中的相关值)，对每一个运动矢量检测区域E1～E4分别求出。之后，将各个运动矢量检测区域E1～E4中，运动矢量检测区域内的所有小区域e之间，相对代表点R的偏位相同的采样点S之间的相关值累积相加。因此，对每一个运动矢量检测区域E1～E4，求出与1个小区域e内的采样点S的数对应的数的相关累积值。
之后，在各个运动矢量检测区域E1～E4内，将相关累积值最小的点相对代表点R的偏位，也即相关性最高的点的偏位，作为该运动矢量检测区域E1～E4的运动矢量抽出。
运动检测电路18，包含有接收来自A/D转换器14的数字视频信号的输入端31，从该输入端31所输入的视频信号，通过滤波器32提供给代表点存储器33与减法电路34。滤波器32是一种数字低通滤波器，用来改善S/N比，通过较少的代表点来确保充足的检测精度。代表点存储器33，将图3中所示的各个运动矢量检测区域E1～E4的小区域e中的、代表点R的位置数据与亮度数据保存起来。
减法电路34，将各个运动矢量检测区域E1～E4的每一个小区域e中的、从代表点存储器33提供的前帧的代表点的亮度数据，与输入端31所提供的当前帧的采样点S的亮度数据相减，计算出其绝对值(各个采样点中的相关值)。将所求出的各个采样点中的相关值，提供给累积相加电路35。
累积相加电路35，将各个运动矢量检测区域E1～E4中的、运动矢量检测区域内的所有小区域中，相对代表点R的偏位相同的采样点之间的相关值累积相加。将相关累积值提供给运算电路36。
运算电路36，求出各个运动矢量检测区域E1～E4的相关累积值的平均值，同时，求出相关累积值最小的像素的位置数据。这样，每一个运动矢量检测区域E1～E4所得到的相关累积值的平均值，以及相关累积值的最小值与相关累积值最小的像素的位置数据，从输出端37提供给微型计算机20(参照图1)。
微型计算机20，根据运算电路36所输入的数据，计算出图像全体的运动矢量(以下简称为“全体运动矢量”)。首先，根据每一个运动矢量检测区域E1～E4的相关累积值最小的像素的位置数据，求出相关累积值最小的像素相对代表点的偏位，将该偏位作为该运动矢量检测区域E1～E4的运动矢量(部分运动矢量)。另外，为了提高部分运动矢量的检测精度，可以使用相关累积值最小的像素的周围4个像素的相关累积值，进行内插，通过这样来计算出相关累积值最小的像素的位置数据。
微型计算机20，对每一个运动矢量检测区域E1～E4，判断相关累积值的平均值除以相关累积值的最小值所得到的值是否大于一定的阈值，以及相关累积值的平均值是否为给定值以上，并判断出各个运动矢量检测区域E1～E4中所求出的部分运动矢量是否可信，也即判断各个运动矢量检测区域E1～E4是有效区域还是无效区域。某个运动矢量检测区域中，如果相关累积值的平均值除以相关累积值的最小值所得到的值大于一定的阈值，且相关累积值的平均值为给定值以上，则该运动矢量检测区域是有效区域。
具体地说，如下那样进行运动矢量检测区域是否为有效区域的判断。首先，在画面的对比度低时，由于亮度差小，因此相关累积值变小。例如在画面全体为白色时，相关累积值变小。这样的情况下，由于没有可靠性，因此在相关累积值的平均值≥给定值时有效。另外，给定值通过实验被决定。
另外，在运动矢量检测区域内有运动物体时，运动物体所占部分与未占部分的相关累积值不同，并且运动物体所占部分取各种相关累积值，其相关累积值一般为较大的值(相关度较低)。因此，在运动矢量检测区域内存在运动物体时，相关累积值的最小值变大的可靠性较高，有可能会误检测出相对运动矢量检测区域的运动矢量(部分运动矢量)。
如果误检测出部分运动矢量，则会误检测出全体运动矢量。但是，在相关累积值的平均值较大时，即使在相关累积值的最小值为某个程度的大小时也可信赖。另外，在相关累积值的平均值较小时，如果相关累积值的最小值不是非常小，就无法信赖。因此，具体地说，将满足(相关累积值的平均值)/(相关累积值的最小值)＞5的条件的运动矢量检测区域判断为有效区域，通过不使用不满足该条件的运动矢量检测区域的部分运动矢量，来防止误检测的弊端。
通过这两个条件，来判断各个运动矢量检测区域是否为有效区域。之后，求出判断为有效区域的运动矢量检测区域的部分运动矢量的平均值，将其作为帧之间的运动量也即全体运动矢量Vn。全体运动矢量Vn表示帧之间的运动量及其方向。微型计算机20，使用全体运动矢量Vn来求出积分矢量Sn。关于积分矢量Sn的求法将在后面说明。积分矢量Sn表示帧存储器15的中心到显示区域(剪切框)的中心之间的距离与方向。
手抖动校正中，通过改变帧存储器15内的显示区域的位置(图像剪切位置)来进行校正。图5中显示了帧存储器15与剪切框100之间的关系。将被帧存储器15内的剪切框100所包围的区域表示为摄像图像。剪切框100的初始位置，被设定在使其中心与帧存储器15的中心相一致的位置上。之后，对应于所检测出的运动矢量，使其位置移动。例如，在向右移动摄像机时的帧存储器15与剪切框100之间的关系如图6所示。如果向右移动摄像机，则被摄体向帧存储器内的左侧移动。这里，通过让剪切框100向着与摄像机的运动方向相反的方向，移动相当于摄像机的运动量，来消除所显示的图像(构图)的变化，抵消手抖动。
图7表示积分矢量Sn与剪切框100之间的关系。剪切框100的位置，在以帧存储器15的中心O为原点的XY坐标系中，通过剪切框100的中心的坐标Ot来获得。如果设当前帧的积分矢量为S，则从帧存储器15的中心O，向通过积分矢量S所表示的方向，移动通过积分矢量S所表示的距离的点，为剪切框100的中心Ot。
这里，手抖动校正的范围，如图8所示，为剪切框100位于帧存储器15的端部之间的范围。也即，积分矢量S的水平成分Sh、垂直成分Sv的范围分别为图8的Sh-min～Sh-max，Sv-min～Sv-max。
如图9所示，在摄像机大幅度运动，积分矢量S的水平成分Sh超出了校正范围的界限值的情况下，如果水平成分Sh小于Sh-min，则将水平成分Sh作为Sh-min(界限值)，如果水平成分Sh大于Sh-max，则将水平成分Sh作为Sh-max(界限值)。在积分矢量S的垂直成分Sv超出了校正范围的界限值的情况下也一样，如果垂直成分Sv小于Sv-min，则将垂直成分Sv作为Sv-min(界限值)，如果垂直成分Sv大于Sv-max，则将垂直成分Sv作为Sv-max(界限值)。
积分矢量Sn的计算方法，因“手抖动状态”或“平移或俯仰状态“而不同。这些状态由微型计算机20来进行判断。将表示是“手抖动状态”，还是“平移或俯仰状态”的数据，保存到微型计算机20的存储器(图中未示出)中。
在“手抖动状态”下，微型计算机20使用从焦距检测电路19所取得的35mm胶片(film)换算的透镜焦距F、预先设定的焦距的最小值Fmin与最大值Fmax、以及预先设定的积分矢量的衰减系数的最小值Kmin与最大值Kmax，按照下面的式(1)，求出衰减系数K。本实施例中，对于焦距38～280mm，衰减系数K为0.9～0.95。
K=Kmin+F-FminFmax-Fmin(Kmax-Kmin)...(1)]]>之后，使用所得到的衰减系数K，与上述前帧与当前帧之间的全体运动矢量Vn，以及前帧的积分矢量Sn-1，按照下面的式(2)，计算出当前帧的积分矢量Sn。
Sn＝K·Sn-1+Vn…(2)通过控制衰减系数K，能够改变校正手抖动的频率的特性。图10表示基于衰减系数K的晃动频率[Hz]与校正残留率[％]之间的关系。校正残留率被定义为校正后的晃动的振幅相对校正前的晃动的振幅的比率[％]。例如，在K＝1.0的情况下，表示完全校正了所检测出的运动。在K＝0.90的情况下，对2[Hz]晃动的校正约为50％，对对5[Hz]晃动的校正约为70％。也即，衰减系数K越小，对低频带的晃动的校正程度就越弱。
通过采用上述式(1)的计算式，越位于缩放倍率较小(焦距较小)的光学广角侧，衰减系数K就越小。因此，越位于光学广角侧，对低频带的晃动的校正程度就越弱，因此，例如即使在平移·俯仰状态的检测中失败的情况下，在平移·俯仰开始时的摄像机的运动的若干部分没有被校正而残留，因此减轻了粘滞感。另外，在缩放倍率较大(焦距较大)的光学长焦侧，衰减系数K变大，低频带侧的晃动也能够强有力地被校正，但平移·俯仰时的图像的运动，由于远大于光学广角侧，超过了瞬时校正范围，因此，粘滞感较少。反之，通过对低频带侧的晃动也进行强有力的校正，能够进行充分的手抖动校正。
“平移或俯仰状态”中，如下式(3)所示，微型计算机20，将微型计算机20的存储器中所保存的1个前帧的积分矢量Sn-1作为当前帧的积分矢量Sn。也即，意味着不进行手抖动校正。
Sn＝Sn-1…(3)从“手抖动状态”向“平移或俯仰状态”的转移，在满足以下任一个转移条件(a)、(b)、(c)的情况下进行。
(a)从“手抖动状态”向“平移或俯仰状态”的第1转移条件全体运动矢量Vn的方向为同一个方向的帧连续，且该连续次数(连续帧数)为阈值TH1以上。
具体地说，全体运动矢量Vn的垂直成分的方向(上或下)为同一个方向的帧连续，且该连续次数为阈值TH1以上，或全体运动矢量Vn的水平成分的方向(左或右)为同一个方向的帧连续，且该连续次数为阈值TH1以上。
(b)从“手抖动状态”向“平移或俯仰状态”的第2转移条件积分矢量Sn为校正范围的界限值以上的帧连续，其连续次数(连续帧数)为阈值TH2以上。
具体地说，积分矢量Sn的垂直成分为校正范围的界限值以上的帧连续，且其连续次数为阈值TH2以上，或积分矢量Sn的水平成分为校正范围的界限值以上的帧连续，且其连续次数为阈值TH2以上。
另外，如上所述，在积分成分Sn的垂直成分Sv超过了校正范围的界限值的情况下，如果垂直成分Sv小于Sv-min，则将垂直成分Sv作为Sv-min(界限值)，如果垂直成分Sv大于Sv-max，则将垂直成分Sv作为Sv-max(界限值)。另外，在积分矢量Sn的水平成分Sh超过了校正范围的界限值的情况下，如果水平成分Sh小于Sh-min，则将水平成分Sh作为Sh-min(界限值)，如果水平成分Sh大于Sh-max，则将水平成分Sh作为Sh-max(界限值)。
(c)从“手抖动状态”向“平移或俯仰状态”的第3转移条件全体运动矢量Vn的方向为同一个方向的帧连续，且该在同一方向连续的所有运动矢量Vn的积分值为画角(剪切框的图像尺寸)的阈值TH3以上的比率。
具体地说，全体运动矢量Vn的垂直成分的方向(上或下)为同一个方向的帧连续，且该在同一方向连续的所有运动矢量Vn的垂直成分的积分值，为剪切框的上下宽度的阈值TH3以上的比率，或者，全体运动矢量Vn的水平成分的方向(左或右)为同一个方向的帧连续，且该在同一方向连续的所有运动矢量Vn的水平成分的积分值，为剪切框的左右宽度的阈值TH3以上的比率。
上述(a)、(b)、(c)的判断阈值TH1、TH2、TH3，因上述当前的焦距而变化。具体地说，通过下面的式(4)进行计算。
TH=THmin+F-FminFmax-Fmin(THmax-THmin)...(4)]]>
上述式(4)中，F为当前的焦距，Fmin、Fmax为预设的焦距的最小、最大值，THmin、THmax为预设的阈值的最小、最大值。本实施例中，对各个判断条件，Fmin、Fmax、THmin、Thxmax使用以下值。
Fmin＝38mm，Fmax＝280mm(a)计算TH1时THmin＝20次，THmax＝30次(b)计算TH2时THmin＝5次，THmax＝10次(c)计算TH3时THmin＝15％，THmax＝20％例如，关于TH1，在长焦端的连续次数为30次，在广角端为20次，因此判断为平移或俯仰开始。为了缓和在广角侧的平移或俯仰判断，通过焦距使各个判断阈值可变，能够在粘滞感更加显著的广角侧，提高平移或俯仰检测灵敏度，降低粘滞感。
从“平移或俯仰状态”向“手抖动状态”的转移，在满足以下任一个转移条件(a)、(b)的情况下进行。
(a)从“平移或俯仰状态”向“手抖动状态”转移的第1转移条件全体运动矢量Vn为0.5像素以下的帧连续，且该连续次数(连续帧数)为10以上。
具体地说，全体运动矢量Vn的垂直成分为0.5像素以下的帧连续，且该连续次数为10以上，或全体运动矢量Vn的水平成分为0.5像素以下的帧连续，且该连续次数为10以上。
(b)从“平移或俯仰状态”向“手抖动状态”转移的第2转移条件全体运动矢量Vn的方向，为与从“手抖动状态”向“平移或俯仰状态”转移时的全体运动矢量Vn的方向相反的方向的帧连续，且该连续次数为10以上。
具体地说，全体运动矢量Vn的垂直成分的方向，为与从“手抖动状态”向“平移或俯仰状态”转移时的全体运动矢量Vn的垂直成分的方向相反的方向的帧连续，且该连续次数为10以上，或全体运动矢量Vn的水平成分的方向，为与从“手抖动状态”向“平移或俯仰状态”转移时的全体运动矢量Vn的水平成分的方向相反的方向的帧连续，且该连续次数为10以上。
这样所求出的积分矢量Sn提供给存储器控制电路21。存储器控制电路21中，根据所提供的积分矢量Sn，决定帧存储器15的读出开始地址，从该地址读出存储于帧存储器15中的数字视频信号。也即，存储器控制电路21，根据微型计算机20所计算出的积分矢量Sn，移动帧存储器15内的剪切框100。
由存储器控制电路21从帧存储器15中所读出的数字视频信号，发送给电子缩放电路16。电子缩放电路16，为了得到相当于帧存储器15的大小的视频信号，根据从帧存储器15所读出的数字视频信号，使用内插法来放大图像。从电子缩放电路16所输出的数字视频信号，发送给输出端17。
图11表示对每一帧所进行的摄像机10的动作。
Flag用作保存是“手抖动状态”还是“平移或俯仰状态”的标志位。在复位Flag(Flag＝0)的情况下，状态表示为“手抖动状态”，在置位Flag(Flag＝1)的情况下，状态表示为“平移或俯仰状态”。
首先复位Flag(Flag＝0)(步骤S1)。也即，作为初始状态，设定为“手抖动状态”。
每一个运动矢量检测区域E1～E4中，根据相关累积值最小的像素的位置数据，求出部分运动矢量(步骤S2)。
接下来，根据各个运动矢量检测区域E1～E4的相关累积值的平均值以及相关累积值的最小值，判断各个运动矢量检测区域E1～E4是有效区域还是无效区域(步骤S3)。之后，判断是否存在有效区域(步骤S4)。
在判断存在有效区域的情况下，将有效区域的部分运动矢量的平均值，作为全体运动矢量Vn(步骤S5)。之后进入步骤S7。在不存在有效区域的情况下，将全体运动矢量Vn设为0(步骤S6)。之后进行步骤S7。步骤S7中判断是否为Flag＝0。也即，判断是“手抖动状态”还是“平移或俯仰状态”。
在Flag＝0的情况下。也即现在的状态为“手抖动状态”的情况下，从焦距检测电路19取得35mm胶片换算的焦距，根据上述式(1)，计算出衰减系数K(步骤S8)。使用所计算出的K，根据上述式(2)，计算出积分矢量Sn(步骤S9)。之后，进行了第1状态判断处理之后(步骤S10)，进入步骤S13。关于第1状态判断处理，将在后面说明。
上述步骤S7中，在Flag＝1的情况下。也即现在的状态为“平移或俯仰状态”的情况下，根据上述式(3)，计算出积分矢量Sn(步骤S11)。
之后，进行了第2状态判断处理之后(步骤S12)，进入步骤S13。关于第2状态判断处理，将在后面说明。
步骤S13中，根据通过上述步骤S9或S11所计算出的积分矢量Sn，计算出剪切框的位置。之后结束本次的处理。
图12表示图11的步骤S10的第1状态判断处理的顺序。
首先，取得现在的35mm胶片换算的焦距F(步骤S21)。使用所取得的焦距F，根据上述式(4)，计算出平移或俯仰状态判断用阈值Th1、Th2、Th3(步骤S22)。
本例中，Th1、Th2、Th3分别根据下面的式(5)、(6)、(7)计算。
Th1＝20+10*(F-38)/(280-38) …(5)Th2＝5+5*(F-38)/(280-38) …(6)Th3＝15+5*(F-38)/(280-38)…(7)接下来，判断是否满足从“手抖动状态”向“平移或俯仰状态”的第1转移条件(步骤S23)。也即，判断是否满足全体运动矢量Vn的方向为同一个方向的帧连续，且该连续次数(连续帧数)为阈值TH1以上这一条件。在满足上述第1转移条件的情况下，判断为“平移或俯仰状态”，也即判断从“手抖动状态”转移到“平移或俯仰状态”，置位Flag(Flag＝1)(步骤S27)。之后，进入图11的步骤S13。
在不满足上述第1转移条件的情况下，判断是否满足从“手抖动状态”向“平移或俯仰状态”的第2转移条件(步骤S24)。也即，判断是否满足积分矢量Sn为校正范围的界限值以上的帧连续，其连续次数(连续帧数)为阈值TH2以上这一条件。在满足上述第2转移条件的情况下，判断为“平移或俯仰状态”，也即判断从“手抖动状态”转移到“平移或俯仰状态”，置位Flag(Flag＝1)(步骤S27)。之后，进入图11的步骤S13。
在不满足上述第2转移条件的情况下，判断是否满足从“手抖动状态”向“平移或俯仰状态”的第3转移条件(步骤S25)。也即，判断是否满足全体运动矢量Vn的方向为同一个方向的帧连续，且该在同一方向连续的所有运动矢量Vn的积分值，为画角(剪切框的图像尺寸)的阈值TH3[％]以上这一条件。在满足上述第3转移条件的情况下，判断为“平移或俯仰状态”，也即判断从“手抖动状态”转移到“平移或俯仰状态”，置位Flag(Flag＝1)(步骤S27)。之后，进入图11的步骤S13。
在不满足上述第3转移条件的情况下，判断为“手抖动状态”，复位Flag(Flag＝0)(步骤S26)。之后，进入图11的步骤S13。
图13表示图11的步骤S11的第2状态判断处理的顺序。
首先，判断是否满足从“平移或俯仰状态”向“手抖动状态”的第1转移条件(步骤S31)。也即，判断是否满足全体运动矢量Vn为0.5像素以下的帧连续，且该连续次数(连续帧数)为10以上这一条件。在满足上述第1转移条件的情况下，判断为“手抖动状态”，也即判断从“平移或俯仰状态”转移到“手抖动状态”，复位Flag(Flag＝0)(步骤S34)。之后，进入图11的步骤S13。
在不满足上述第1转移条件的情况下，判断是否满足从“平移或俯仰状态”向“手抖动状态”的第2转移条件(步骤S32)。也即，判断是否满足全体运动矢量Vn的方向，为与从“手抖动状态”转移到“平移或俯仰状态”时的全体运动矢量Vn的方向相反的方向的帧连续，且该连续次数为10以上这一条件。在满足上述第2转移条件的情况下，判断为“手抖动状态”，也即判断从“平移或俯仰状态”转移到“手抖动状态”，复位Flag(Flag＝0)(步骤S34)。之后，进入图11的步骤S13。
在不满足上述第2转移条件的情况下，判断为“平移或俯仰状态”，置位Flag(Flag＝1)(步骤S33)。之后，进入图11的步骤S13。
像这样进行动作的摄像机10中，以往在平移或俯仰操作时，粘滞感显著的光学广角侧，衰减系数K变小。因此，光学广角侧中，由于低频带的晃动的校正程度较弱，因此，即使例如在平移·俯仰状态的检测失败的情况下，在平移·俯仰操作开始时的摄像机的运动的若干部分没有被校正而残留，因此减轻了粘滞感。
另外，由于与焦距F对应来变更各个判断阈值TH1、TH2、TH3，使得越位于光学广角侧，就越容易判断为平移或俯仰状态，因此，提高了光学广角侧的平移或俯仰状态的检测灵敏度，在光学广角侧减轻了粘滞感。
因此，与以往相比，能够提高光学广角侧的操作性(降低一顿一顿的运动)，从而能够进行在所有的缩放区域中具有良好的操作性的手抖动校正。
图14a、图14b以及图14c表示在光学广角端，实际的状态从手抖动状态向平移状态变化的情况下的帧数与摄像机10的显示图像(构图)的移动量之间的关系。
图14a表示没有进行手抖动校正的情况下的构图的移动量，图14b通过现有技术(固定为衰减系数K＝0.95)进行手抖动校正的情况下的构图的移动量，图14c为通过本实施例(衰减系数0.9)进行手抖动校正的情况下的构图的移动量。
如期间T1所示，在实际的状态为手抖动状态的情况下，在摄像机10中也判断为“手抖动状态”，在现有技术(图14b)中通过K＝0.95，在本实施例(图14c)中通过K＝0.9，进行手抖动校正。本实施例(图14c)中，由于衰减系数K较小，因此校正残留率较高。
之后，如期间T2所示，如果实际的状态从手抖动状态向平移状态变化，则变化后起初也判断为“手抖动状态”，因此进行手抖动校正。之后，满足从“手抖动状态”向“平移或俯仰状态”的第1转移条件、第2转移条件或第3转移条件的中的任一个条件，摄像机10的判断结果从“手抖动状态”向“平移或俯仰状态”转移。其结果是，不进行手抖动校正，校正后的构图的运动，与不进行手抖动校正的情况相同。
在实际的状态从手抖动状态向平移状态变化之后，在从摄像机10的判断结果从“手抖动状态”向“平移或俯仰状态”转移的期间内，现有技术(图14b)中衰减系数K较大，由于强有力校正了甚至低频成分的晃动，因此，在平移操作开始时的平缓的上升几乎没有，粘滞现象变得显著，并且，向“平移或俯仰状态”转移之后，画面急剧变动这一现象变得显著。另外，本实施例(图14c)中衰减系数K较小，对低频成分的晃动的校正的程度较弱，因此，在平移操作开始时的平缓的上升还有若干残留，从而减轻了粘滞现象。
图15a以及图15b表示在光学长焦端，实际的状态从手抖动状态向平移状态变化的情况下的帧数与摄像机10的显示图像(构图)的移动量之间的关系。
图15a表示没有进行手抖动校正的情况下的构图的移动量，图15b表示通过现有技术以及本实施例(衰减系数K＝0.95)进行手抖动校正的情况下的构图的移动量。
如期间T1所示，在实际的状态为手抖动状态的情况下，如图15b所示，在现有技术与本实施例中，判断为“手抖动状态”，通过K＝0.95，进行手抖动校正。之后，如期间T2所示，如果实际的状态从手抖动状态向平移状态变化，则变化后起初也判断为“手抖动状态”，因此进行手抖动校正，之后，满足从“手抖动状态”向“平移或俯仰状态”的第1转移条件、第2转移条件或第3转移条件中的任一个条件，摄像机10的判断结果从“手抖动状态”向“平移或俯仰状态”转移。其结果是，不进行手抖动校正，校正后的构图的运动，与不进行手抖动校正的情况相同。
在实际的状态从手抖动状态向平移状态变化之后，立刻判断为“手抖动状态”，但显示画面的运动，光学长焦端远远大于光学广角端，瞬时超过了校正范围，因此，手抖动校正的效果消失，因此在光学长焦端的粘滞感非常少。
本实施例中，由于光学长焦侧也一样粘滞感较少，因此，能够以与现有技术一样大小的衰减系数来充分校正了甚至低频成分的晃动，在光学广角侧能够减小衰减系数，让平移或俯仰操作开始时的平缓的上升消失，通过这样能够降低粘滞感。
另外，运动矢量除了用代表点匹配法求出之外，例如也可以使用角速度传感器来求出。另外，手抖动校正除了控制图像存储器的剪切位置以外，例如还能够控制镜头角度、镜头位置或受光元件的位置。
权利要求
1.一种手抖动校正装置，其特征在于，具备缩放检测机构，其对与缩放倍率对应的值进行检测；晃动检测机构，其对图像的晃动进行检测；以及校正量生成机构，其根据由晃动检测机构所检测出的晃动量、和由缩放检测机构检测出的与缩放倍率对应的值，生成作为用来校正图像的晃动的校正量的、对晃动频率的校正残留率特性可变的校正量，校正量生成机构，根据由缩放检测机构所检测出的与缩放倍率对应的值，变更对晃动频率的校正残留率特性。
2.如权利要求1所述的手抖动校正装置，其特征在于校正量生成机构，变更对晃动频率的校正残留率特性，以使缩放倍率越大，对晃动的低频带的校正的程度就越强。
3.一种手抖动校正装置，其特征在于，具备缩放检测机构，其对与缩放倍率对应的值进行检测；晃动检测机构，其对图像的晃动进行检测；状态判断机构，其对拍摄者有意的照相机运动所引起的晃动状态和手抖动状态进行判断；第1校正量生成机构，其在由状态判断机构判断为手抖动状态时，根据由晃动检测机构所检测出的晃动量，以及由缩放检测机构所检测出的与缩放倍率对应的值，生成作为用来校正图像的晃动的校正量的、对晃动频率的校正残留率特性可变的校正量；以及第2校正量生成机构，其在由状态判断机构判断为拍摄者有意的照相机运动所引起的晃动状态时，将用于校正图像的晃动的校正量，作为1帧前的校正量，第1校正量生成机构，其根据由缩放检测机构所检测出的与缩放倍率对应的值，变更对晃动频率的校正残留率特性。
4.如权利要求3所述的手抖动校正装置，其特征在于第1校正量生成机构，变更对晃动频率的校正残留率特性，以使缩放倍率越大，对晃动的低频带的校正的程度就越强。
5.如权利要求3所述的手抖动校正装置，其特征在于状态判断机构，在满足以下任一个条件(a)、(b)、(c)时，判断为拍摄者有意的照相机运动所引起的晃动状态(a)由晃动检测机构所检测出的晃动方向为同一个方向的帧连续，且其连续次数为第1阈值以上；(b)由第1校正量生成机构所生成的校正量为校正范围的界限值以上的帧连续，且其连续次数为第2阈值以上；(c)由晃动检测机构所检测出的晃动方向为同一个方向的帧连续，且该在同一方向连续的晃动的积分值，为画角的第3阈值以上的比率。
6.如权利要求5所述的手抖动校正装置，其特征在于状态判断机构，具有阈值控制机构，其根据由缩放检测机构所检测出的与缩放倍率对应的值，来控制第1阈值、第2阈值、以及第3阈值。
7.如权利要求6所述的手抖动校正装置，其特征在于阈值控制机构，控制第1阈值、第2阈值、以及第3阈值，以使缩放倍率越小，第1阈值、第2阈值以及第3阈值就越小。
全文摘要
本发明涉及一种手抖动校正装置，具备缩放检测机构，其对与缩放倍率对应的值进行检测；晃动检测机构，其对图像的晃动进行检测；以及校正量生成机构，其根据由晃动检测机构所检测出的晃动量、和由缩放检测机构检测出的与缩放倍率对应的值，生成作为用来校正图像的晃动的校正量的、对晃动频率的校正残留率特性可变的校正量，其中，校正量生成机构，根据由缩放检测机构所检测出的与缩放倍率对应的值，变更对晃动频率的校正残留率特性。
文档编号H04N5/232GK1744671SQ200510096650
公开日2006年3月8日 申请日期2005年8月31日 优先权日2004年8月31日
发明者畑中晴雄, 千叶直树 申请人:三洋电机株式会社