专利名称：电子抖动校正装置以及电子抖动校正方法
技术领域：
本发明涉及能够有效校正手抖等引起的图像抖动的电子抖动校正装置及电子抖动校正方法，特别涉及如下的电子抖动校正装置以及电子抖动校正方法，校正以可容许抖动的曝光时间连续拍摄的多个图像的相互抖动，合成校正了抖动的图像。
背景技术：
以往已知在摄影装置中拍摄静态图像时，因摄影者的手抖的影响而在摄影图像上产生抖动的现象，为了防止该现象，采取了各种对策。例如，在日本特开平11-252445中公开了如下的摄像装置，从摄像元件连续读出多个图像，对该多个图像的相互抖动进行校正并合成，生成校正了抖动的图像。在该日本特开平11-252445中，在可容许抖动的曝光时间内以帧单位从摄像元件读出影像信号，当影像信号的信号电平大于预定值时，结束摄影动作。在此期间，检测图像的动向量，进行校正了抖动的重合处理，得到校正了抖动的图像。
日本特开平11-252445的抖动校正的方法中，在固定的分时曝光时间内影像信号的累计值大于预定值的时刻结束分时曝光，所以想要得到适当曝光时，必须将摄像次数求到小数点以下，以该次数进行摄像。即，将适当曝光时间设为Texp，将可容许抖动的分时曝光时间设为TLimit时，如果以分时曝光时间TLimit进行m＝Texp/TLimit次的分时摄像，校正这些分时摄像的图像的相互抖动，进行合成，则能够以适当的曝光电平得到没有抖动的图像。但是，可以想到曝光次数m大多都不为整数，该情况下，若将m的小数点以下设为k，则以TLimit的曝光时间进行(m-k)次摄影，以k×TLimit的曝光时间进行1次摄影，校正这些图像的相互抖动，进行合成(相加)。
但是，k非常小时，分时图像的信号电平低，S/N有可能变差。因此，抖动校正的精度有可能下降。
并且，在日本特开平11-252445的抖动校正的方法中，根据分时图像的信号以每帧检测动向量，进行影像信号的手抖校正，但是，各帧的影像信号与适当电平相比，大致为1/m，A/D转换器的量化噪声残留，所以即使在该状态下校正相互的抖动，S/N也变差，噪声多，难以取得准确的动向量。因此，抖动校正的精度有可能下降。
发明内容
本发明是鉴于上述情况而进行的，本发明的目的在于，提供一种电子抖动校正装置，所述电子抖动校正装置可进行高精度的抖动校正，从而不会出现分时图像的信号电平低的图像。并且，本发明的目的在于，提供一种电子抖动校正装置，其抑制A/D转换器的量化噪声，且抖动校正的精度高。
本发明的电子抖动校正装置，以分时曝光时间反复进行m(m为2以上的整数)次拍摄，将所拍摄的图像放大m倍，得到多张分时图像，由该多张分时图像生成校正了抖动的图像。此处，分时曝光时间是以m分割适当的曝光时间而得的，它是比可容许抖动的临界曝光时间还短的时间。
本发明的电子抖动校正装置的结构的一个例子可如下表现。电子抖动校正装置包括曝光时间运算部，其运算曝光时间；分时曝光时间运算部，其运算分时曝光时间，所述分时曝光时间比可容许抖动的预定的临界曝光时间还短，且为上述曝光时间的m(m为整数)分之一；分时摄像部，其以上述分时曝光时间进行多次分时摄像；第一放大部，其将上述分时摄像部所拍摄的图像放大m倍；抖动校正部，其对上述放大m倍的多张分时图像的相互抖动进行校正；以及图像合成部，其将利用上述抖动校正部校正了相互抖动的多张分时图像进行合成。
根据本发明，能够提供一种抖动校正精度高的电子抖动校正装置，所述电子抖动校正装置能够以可容许抖动的临界曝光时间进行摄像，并且将分时图像放大m倍，从而能够得到适当电平的图像数据。并且，本发明提供一种高精度的电子抖动校正装置，所述电子抖动校正装置通过将对分时摄像所得到的多张分时图像的抖动进行了校正的图像合成，能够得到校正了抖动并且改善了S/N的合成图像。
本发明也可以理解为电子抖动校正方法的发明。
参照下述的说明、权利要求以及附图，能够更容易地理解本发明的装置和方法的这些特征、方面和优点。
图1是示出应用了本发明的实施方式中的数字照相机的电系统的框图。
图2是示出本实施方式中的摄像元件1的结构的图。
图3是示出本实施方式中的增益控制放大器AMP的详细的框图。
图4是示出本实施方式中的数字照相机的动作的主流程图。
图5是示出本实施方式中的数字照相机的抖动图像校正和记录的动作的流程图。
图6是示出本实施方式中的数字照相机的抖动图像校正的子程序的动作的流程图。
图7是示出本实施方式中的数字照相机的摄影动作的时序图。
图8是示出本实施方式中的数字照相机的增益控制放大器AMP的变形例的框图。
图9是示出本实施方式中的数字照相机的增益控制放大器AMP中的输入信号、ISO(International Organization for Standardization)灵敏度和增益的关系的图。
具体实施例方式
下面，参照附图，使用数字照相机，详细说明优选的实施方式，所述数字照相机具有作为应用了本发明的电子摄像装置的功能。
图1是主要示出了本发明所涉及的数字照相机的电气结构的框图。在该数字照相机中具有二维固体摄像元件(下面适当简称为摄像元件)1、相关双采样电路(CDSCorrelated Double Sampling)2、增益控制放大器(AMP)3、A/D转换器4、定时信号产生器(TG)5、信号产生器(SG)6、CPU(Central Processing Unit)7。而且，上述数字照相机还具有信息处理部8、DRAM(动态随机存取存储器Dynamic Random AccessMemory)9、压缩解压缩部10、记录介质11、显示部12、变焦镜头13、编码器14、聚焦镜头15、聚焦镜头驱动系统16、光圈17、光圈驱动系统18、第一释放开关19a和第二释放开关19b、距离检测部20、以及操作部21。另外，变焦镜头13、编码器14、聚焦镜头15、聚焦镜头驱动系统16、光圈17、光圈驱动系统18构成摄影镜头22。
摄影镜头22内的变焦镜头13是用于设定焦距的光学系统。编码器14用于检测与变焦镜头13的焦距对应的位置信号，检测出的位置信号由CPU 7读取并转换成摄影镜头22的焦距。聚焦镜头15是用于使焦点对准被摄体的镜头，根据距离检测部20所检测出的被摄体距离，进行调节，使得焦点对准所希望的被摄体。聚焦镜头驱动系统16根据距离检测部20所检测出的被摄体距离信息从CPU 7接收指令，将摄影镜头22驱动到对焦位置。这作为所谓的自动聚焦控制，是公知的技术。
被摄体距离检测部20用于检测与到被摄体的距离相关的信息。被摄体距离检测部20使用高通滤波器等从DRAM 9中存储的1帧(1个画面)量的图像数据的亮度成分中提取高频成分，对所提取的高频成分的累计合成值进行计算等，从而计算出与高频带侧的轮廓成分等对应的AF评价值，根据该AF评价值，检测焦点。这些运算处理可以利用CPU 7执行。另外，除了上述的基于图像信号的高频成分的方法之外，被摄体距离检测部20还可以采用公知的相位差法或光投射法等各种检测方法。
配置在摄影镜头22内的光圈17是通过规定来自摄影镜头22的成像光束的通过范围来调整光量的光学光圈，是摄像光学系统的一部分。光圈17由光圈驱动系统18根据从CPU 7发出的控制信号驱动。相当于测光部的CPU 7根据DRAM 9中存储的图像数据进行曝光运算，光圈驱动系统18从CPU 7接收基于曝光运算结果的控制指令，驱动光圈17，变更开口径。这样的光圈控制作为所谓的AE(自动曝光)控制是已公知的。
透过了摄影镜头22的被摄体光束在摄像元件1上成像，该摄像元件1对成像的被摄体像进行光电转换，并作为模拟电信号输出。图2中示出摄像元件1的结构。该摄像元件1是周知的行间型CCD固体摄像元件。垂直传送CCD(VCDD)31与光电二极管33的列成套配置，VCDD 31与配置在摄像元件下部的水平传送CCD(HCCD)32连接。由光电二极管33进行了光电转换的信号电荷，通过电荷积蓄动作，积蓄在各个接合电容中。若积蓄期间(曝光期间)结束，则对传送栅极(TP)34施加偏移脉冲，这些电荷全部像素同时向相邻的VCCD 31偏移。若读出信号电荷，则光电二极管33再次处于偏置状态，可积蓄信号电荷。读出到VCCD31中的信号电荷与施加在VCCD 31的传送电极上的时钟脉冲同步地传送到下方。在传送到最下端的时刻，VCCD 31的信号电荷1行1行地发送给HCCD 32，依次传送到输出端。若读出了1个画面量的信号电荷，则VCCD 31处于空的状态，可再次读出光电二极管33中积蓄的下一个信号电荷。
摄像元件1采用周知的纵型溢出结构的CCD固体摄像元件。它是在n型基板(例如n型硅基板)的表面制作的p型扩散区域(p阱p-well)之中构成光电二极管(PD)33，利用p阱和n型基板之间的逆偏压VSUB，使p阱完全空乏化。通过对该VSUB施加高压脉冲，能够将光电二极管33中积蓄的电荷排出到基板侧。因此，通过控制该逆偏压VSUB，可以控制光电二极管33的电荷积蓄时间。另外，本实施方式中，作为摄像元件1采用了行间型CCD固体摄像元件，但无需限于此，例如，可以是帧行间转移型固体摄像元件，当然也可以是MOS(Metal OxideSemiconductor金属氧化物半导体)型固体摄像元件。
返回到图1，与摄像元件1连接的定时信号产生器(TG)5从CPU 7接收脉冲，供给用于驱动摄像元件1的传送脉冲，并且，还向后述的CDS2、A/D转换器4也供给各种脉冲。TG 5从CPU 7直接输入脉冲，并且，与信号产生器(SG)6连接。该SG 6根据CPU 7的控制生成同步信号，输出到TG 5。
与摄像元件1的输出连接的CDS 2根据TG 5所供给的采样保持脉冲驱动，对从摄像元件1输出的图像信号进行相关双采样等处理，除去复位噪声。与CDS 2的输出连接的增益控制放大器(AMP)3用于放大从CDS 2输出的模拟信号。该AMP 3的放大率设定为与ISO灵敏度Sv对应的放大率。即，AMP 3成为ISO灵敏度变更部。并且，当分时摄像的图像的数量未达到规定数量时，AMP 3的放大率还用于放大为补充该不足部分而合成的图像。更详细的说明将在后面叙述，若由于被摄体亮度低等情况，快门速度变慢，曝光时间延长，则受到手抖等影响，导致图像抖动。本实施方式中，以可容许抖动影响程度的临界曝光时间反复进行分时曝光，得到适当曝光，同时合成利用分时曝光得到的多个图像，除去抖动的影响。若进行分时曝光，则1帧的图像信号的电平低，所以利用AMP 3进行放大，以便补充该不足部分。
图3示出AMP 3的结构。用于除去复位噪声的CDS 2的输出与构成AMP 3的初级的放大率A1的放大器23连接，该放大器23的输出与放大率A2的放大器24连接，放大器24的输出与后述的A/D转换器4连接。放大率A1设定类似于补充分时曝光引起的曝光不足的值，并且，放大率A2设定与ISO灵敏度对应的放大率。
返回到图1，与AMP 3的输出连接的A/D转换器4是模拟数字转换部，其根据从定时信号产生器(TG)5供给的信号，将从AMP 3输出的模拟信号转换成数字信号。与该A/D转换器4的输出连接的信息处理部8处理从A/D转换器4输出的数字形式的像素信号，生成像素数据。该信息处理部8具有缓存8a，所述缓存8a用于临时存储摄像元件1所拍摄并由信息处理部8进行了处理的多个图像数据(分时图像数据)。
与信息处理部8的输出连接的DRAM 9用于临时存储从信息处理部8输出的图像数据，并且，临时存储从压缩解压缩部10输出的图像数据。另外，缓存8a也可以兼备DRAM 9的功能，相反，DRAM 9也可以兼备缓存8a的功能。与DRAM 9连接的压缩解压缩部10具有如下功能在将DRAM 9中临时存储的图像数据记录到记录介质11中时，以JPEG(联合图像专家组Joint Photographic Coding Experts Group)等压缩形式进行压缩处理，并且，对从记录介质11读出的压缩图像数据进行解压缩。
与压缩解压缩部10连接的记录介质11是用于记录压缩解压缩部10所压缩的图像数据的记录部。记录介质11是例如非易失性的记录介质，是xD图卡、紧凑式闪存、SD存储卡或存储棒等可改写的记录介质，记录介质11可以安装在照相机主体内。与上述的信息处理部8和DRAM 9连接的显示部12是显示从它们输出的图像数据的监视器。为了减少记录容量，在记录到记录介质11中时压缩图像数据，在显示部12上进行显示时，对压缩图像数据进行解压缩。
与CPU 7连接的第一释放开关19a和第二释放开关19b由自动复位型的二段开关构成。按下释放按钮(未图示)时，第一释放开关19a接通，进一步按下时，第二释放开关19b接通。即，将释放按钮按下一半时，第一释放开关19a接通，全按下时，第二释放开关19b接通。并且，第一释放开关19a用于输入摄影准备动作的指示，若第一释放开关19a接通，则进行测距动作和测光动作。另外，第二释放开关19b用于输入摄影动作的指示，若第二释放开关19b接通，则由摄像元件1进行摄像动作，根据上述的作用生成图像数据，对图像数据进行压缩之后，记录到记录介质11中。与CPU 7连接的操作部21是根据摄影者的操作设定摄影模式、快门速度值、光圈值等各种摄影条件的操作部。
如上所述，对CPU 7输入来自第一释放开关19a、第二释放开关19b、编码器14、操作部21等的信号，并由CPU 7向TG 5、SG 6等输出指令。并且，CPU 7向聚焦镜头驱动系统16、光圈驱动系统18、AMP 3、TG 5输出控制信号。而且，CPU 7与信息处理部8、DRAM9以及距离检测部20双向连接，控制包括它们的该数字照相机整体。具体地说，CPU 7进行上述的自动聚焦控制和AE控制，并且，根据来自第一释放开关19a和第二释放开关19b的指示取入静态图像的信号，进行摄像元件1的驱动控制。另外，CPU 7进行变更光圈17的开口的控制和摄像元件1的曝光时间控制等。此外，CPU 7根据操作部21的输出，设定该数字照相机的摄影模式，并设定与数字照相机相关的摄影条件。
接着，使用图4至图6中示出的流程图，说明本实施方式的数字照相机中的动作。这些流程图中的步骤根据CPU 7的控制执行。
若本数字照相机开始动作，则首先在步骤S101中，判断第一释放开关19a是否接通。判断的结果，第一释放开关19a为断开时，保持该待机状态，若第一释放开关19a接通，则进入步骤S102，运算抖动临界曝光时间TLimit。该抖动临界曝光时间TLimit是假设曝光开始起的抖动量达到容许临界的抖动量的时间。
对抖动临界曝光时间TLimit进行说明，35毫米胶片照相机使用纵24mm×横36mm(对角43.28mm)的所谓的Leica版帧(又称为双帧)尺寸的胶片。作为与该35毫米胶片照相机相关的长年的经验规则，已知将毫米单位的摄影镜头的焦距设为f时，抖动临界曝光时间TLimit如下。
TLimit1/f(秒)…(1)本实施方式中，在考虑数字照相机的摄像元件1的有效摄像区域内设定的摄影图框的大小的基础上，应用该经验规则。即，在一般的数字照相机中，显示与35毫米胶片照相机中的焦距相当的值，所以使用该35毫米照相机相当的焦距，在步骤S102中，运算编码器14所检测出的焦距f的倒数。另外，抖动临界曝光时间TLimit不必一定使用以1/f得到的值，只要使用不会实质地产生抖动的分时曝光时间即可。因此，抖动临界曝光时间TLimit只要是大概比根据上述式(1)得到的曝光时间短的时间即可。
接着，在步骤S103中，测定被摄体的明亮度。测光是监视从摄像元件1反复输出的图像信号的电平，运算被摄体的明亮度的过程。即，从摄像元件1读出的图像信号通过CDS 2进行处理、被增益控制放大器3放大、被A/D转换器4转换成数字值，经由信息处理部8临时存储到DRAM 9中。CPU 7从该DRAM 9中存储的图像数据之中，读出图像全体之中例如中央部附近的预定区域的图像数据，求出该电平的合成平均值，根据该合成平均值，运算被摄体的明亮度(Bv)。
测光结束时，接着，CPU 7利用顶点运算求出为得到适当曝光所需的快门速度(曝光时间)Texp，运算<Texp/TLimit>，存储到预定的存储器中(S104)。此处，<x>是将数字x的小数点以下进位的整数值，并且，Texp是通常摄影的曝光时间。<Texp/TLimit>的运算结果为将小数点以下进位的整数值m，[m]是指存储该整数值m的存储器。另外，顶点运算是用于运算曝光值的周知的运算，将快门速度、光圈、被摄体亮度、ISO灵敏度的顶点(apex)值分别设为Tv、Av、Bv、Sv时，能够根据如下的关系，运算各自的曝光参数。
Tv+Av＝Bv+Sv …(2)本实施方式中，<x>是将数字x的小数点以下进位的整数值，但<x>只要是整数值即可，也可以将小数点以下四舍五入或舍去，并且，也可以像后述的本实施方式的变形例那样，从预先确定的整数之中，选择附近的整数值。无论怎样，只要是<Texp/TLimit>的运算结果的值附近的整数值即可。并且，快门速度Texp是根据测光求出能够得到适当曝光的值，但不限于此，当然也可以是摄影者手动设定的快门速度。
接着，进入步骤S105，将曝光时间Texp除以整数值m，从而求出分时曝光时间ΔTexp，存储到预定的存储器中。这样，在本实施方式中，根据Texp/TLimit的运算结果，确定整数值m，通过曝光时间Texp除以该整数值m，求出分时曝光时间ΔTexp。因此，在1次摄像中，进行m次均匀的曝光时间ΔTexp的曝光。像这样各曝光的时间均匀，所以各曝光的S/N为恒定且实用的值。另一方面，若像现有技术那样将TLimit设为分时曝光时间，则需要进行1次与Texp和m×TLimit之差对应的尾数量的曝光，该曝光的时间短，所以存在S/N恶化的问题。本实施方式中，该问题得到改善。
接着，根据顶点运算，对光圈值进行运算(S106)。另外，式(2)的右边的被摄体亮度值是在步骤S103的测光中求出的值，并且，ISO灵敏度值是默认值或摄影者利用操作部21输入的值。因此，式(2)的左边的Tv和Av沿预定的程序行适当运算。
接着，判断第二释放开关19b是否接通(S107)。第二释放开关19b断开时，分支到J102，重复上述的步骤S102到步骤S106的处理，等待第二释放开关19b接通。该期间，若第一释放开关19a也为断开，则返回到步骤S101。
在步骤S107中，若第二释放开关19b接通，则进入步骤S108，开始摄像动作，首先进行光圈设定。此处，通过控制光圈驱动系统18，将处于开放状态的光圈17调节到步骤S106中求出的光圈值。然后，进入步骤S109，进行m次分时摄像。
对于该分时摄像，使用图7所示的时序图进行说明。若摄影触发信号(第二释放开关19b)的脉冲下降，则从定时信号产生器(TG)5向摄像元件1供给时钟信号CLK。接收时钟信号CLK，反复向基板施加高压脉冲VSUB，以便将构成摄像元件1的像素的光电二极管33中积蓄的电荷强制排出到半导体基板(衬底＝纵型溢出漏极VOFD)。若该高压脉冲VSUB的施加结束，则开始曝光。即，与高压脉冲VSUB的下降同步地开始由摄像元件1进行的曝光。
从高压脉冲VSUB的下降沿经过了在步骤S105中运算的分时摄像的曝光时间ΔTexp时，摄像元件1的光电二极管33中积蓄的电荷向垂直传送CCD(VCCD)31偏移，因此输出偏移脉冲TP。然后，与垂直同步信号VD取得同步，积蓄的电荷作为图像信号读出。高压脉冲VSUB再次与该图像信号的读出开始同步地上升，对摄像元件1施加预定期间。若高压脉冲VSUB的施加结束，则再次开始曝光，与下一个垂直同步信号VD取得同步，第二次读出分时摄像的图像。进行m次上述动作(例如10次)。由上述的说明可知，从开始读出到下一次开始读出的期间的时间即读出时间Tread减去了高压施加脉冲VSUB的施加时间Tsub的时间为分时摄像的曝光时间ΔTexp。
这样，从摄像元件1以分时方式读出的模拟分时图像信号在CDS 2中除去了复位噪声，利用增益控制放大器(AMP)3模拟放大。若将用于补充分时摄像的图像的曝光不足的放大率设为A1，将与ISO灵敏度Sv对应的放大率设为A2，则该AMP 3的放大率被设为A1×A2。此处，将通常摄影的曝光量设为E1，将分时摄像的曝光量设为E2时，A1＝E1/E2。更具体地说，以将用于得到适当曝光的曝光时间Texp等分割成m次的曝光时间Texp/m(＝Δtexp)进行m次的分时摄像时，各分时摄像中的放大率如下。
A1＝Texp/(Texp/m)＝m …(3)在图3所示的增益控制放大器(AMP)3中，分别构成放大率A1的放大器23和放大率A2的放大器24，并将放大器23和放大器24串联连接，所述放大器23根据分时摄像摄影次数m将CDS 2的输出信号放大m倍，所述放大器24以与ISO灵敏度对应的放大率放大CDS 2的输出信号。该这样的构成中，通过将放大器23和放大器24的放大率相乘，能够简单地制作任意的放大率。
通过A/D转换器4根据从定时信号产生器5供给的信号将增益控制放大器(AMP)3所放大的模拟图像信号转换成数字信号。信息处理部8对利用A/D转换器4转换成数字信号的图像信号进行预定的图像处理之后，将其存储到信息处理部内部的缓存8a中。
如上述说明，以曝光时间Texp的m分之一(m整数)的曝光时间进行分时摄像，利用增益控制放大器(AMP)3放大m倍，进行A/D转换，从而能够得到与通常摄影大致相同的适当电平的数字化的图像信号。然后，进行m次分时摄像，如后述那样对所得图像进行抖动校正，并合成(相加)，从而能够生成改善了S/N、校正了抖动的图像。由以上所述的内容可知，分时摄像的摄像次数不必一定是m次。分时摄像的摄像次数越多，相应地合成图像的S/N的改善越大。
并且，本实施方式中，以曝光时间Texp除以整数m得到的ΔTexp的分时曝光时间进行摄像，即作为可根据曝光时间Texp改变的分时曝光时间，重复进行m次摄像，从而能够得到适当曝光。并且，放大器的放大率也可以设定为整数倍，结构简单。
若分时摄像(S109)结束，则接着进入步骤S110，在抖动图像校正/记录的子程序中，进行校正了抖动的合成图像的生成处理和该合成图像存储到记录介质11中。使用图5和图6的流程图说明该子程序。首先，对缓存8a中存储的m次的分时曝光的图像相互进行抖动校正，以及为了从该进行了抖动校正的图像生成合成图像而进行抖动图像校正(S201)。
下面，对于该抖动图像校正的子程序，参照图6，说明在信息处理部8中进行的抖动图像校正的流程。
首先，作为初始设定，在存储与用于识别分割图像的ID相当的变量i的存储器[i]中存储0(S301)。接着，运算图像I(i)和图像I(i+1)的抖动Δ(i，i+1)(S302)。抖动Δ通过如下方式求出确定几点图像I(i)的特征，利用公知的动向量运算，求出与该特征点一致的图像I(i+1)的特征点的位置，求出对应的位置的相对偏移。另外，上述抖动Δ是向量。
接着，进入步骤S303，运算将抖动Δ累计的∑Δ(k，k+1)(其中，k＝0～i)的标量值|∑Δ(k，k+1)|，比较该值和预先确定的预定值α。比较的结果，不是|∑Δ(k，k+1)|＞α时，即抖动的累计值小于预定值，不是大抖动的情况下，可校正抖动。该情况下，进入步骤S304，增加存储器[i]的内容。接着，根据抖动Δ，校正图像I(i)和图像I(i+1)的抖动之后，将对应的像素的值相加(合成)(S305)。之后，在步骤S306中，比较i和m-1。m是在步骤S104中设定的分时摄像的次数、即由分时摄像得到的图像的数量，m-1是进行抖动校正处理的次数。判断的结果，不是i＝m-1时，分支到J301，返回到步骤S302，反复以上的处理，执行。判断的结果，若i＝m-1，则进入步骤S307，运算进行了抖动校正处理的图像的合成图像的平均值。由此，能够得到进行了抖动校正处理的图像。
另一方面，步骤S303中的判断结果，|∑Δ(k，k+1)|＞α时，判断为分时摄像期间中的全体的抖动量比可容许的值大、难以进行抖动校正，分支到J302，转移到步骤S307。该情况下，不进行抖动校正处理，所以成为抖动的图像。
若结束步骤S307的合成图像的平均化，则抖动图像校正的子程序结束，返回到图5所示的抖动图像校正/记录的子程序。在步骤S202中，提取有效区域。在信息处理部8中，对于以最初拍摄的分时图像为基准的抖动量在预先确定的预定以上的大小的分时图像，将其从合成处理对象中除外，使得所有的分时图像重复的区域进入到预先确定的有效区域内。然后，对于抖动量在预定内的分时图像，从所合成的图像之中提取根据最初拍摄的分时图像预先确定的区域内的图像。通过这样，预定以上的有效区域的提取处理变简单。
接着，进入步骤S203，有效区域的图像数据临时存储到DRAM 9中。然后，利用压缩解压缩部10将临时存储的图像数据压缩成JPEG等预定格式的图像数据。然后，在步骤S204中，压缩的图像数据被记录到记录介质11中，结束抖动图像校正/记录的子程序。
接着，说明本实施方式的增益控制放大器(AMP)3的变形例。本实施方式中的AMP 3通过将放大率A1的放大器23和放大率A2的放大器24分别串联连接，设定与分时摄像次数m对应的放大率A1和与ISO灵敏度对应的放大率A2，从而能够简单地得到任意的放大率。但是，在该结构中，电路结构复杂化，并且，放大器为2级连接，所以噪声有可能增加。放大器23的放大率A1和放大器24的放大率A2相互相关，A1×A2可以取得大致恒定的值，所以放大器23和放大器24是可以同时使用的。下面对该点进行详细说明。
通过将放大器24的放大率设为k倍，从而将ISO灵敏度设为k倍(＝logm/log2[级])时，快门速度为1/k倍(Texp/k秒)。因此，分时曝光次数m’为m’＝(Texp/k)/TLimit＝(Texp/TLimit)/k＝m/k(其中，Texp/TLimit与将ISO灵敏度设为k倍前的分时曝光的次数m相等)。
但是，分时图像的信号电平为适当电平的1/m’倍，所以为了将A/D转换器4的量化噪声抑制在与通常摄影相同的水平，优选将分时图像放大m’倍之后，进行A/D转换，转换成数字信号。然后，对上述进行了数字转换的多个分时图像的相互抖动进行校正，合成校正了抖动的多个分时图像之后，将该合成图像平均化，从而生成校正了抖动的合成图像。这样，分时图像的放大率的转换为m’/m＝1/k倍。而且，A/D转换前的图像信号的全体的放大率是将基于ISO灵敏度的放大率和分时图像的放大率相乘的值。
因此，变更ISO灵敏度前后的全体的放大率的变化等于将基于ISO灵敏度的变更的放大率的变化k倍和分时图像的放大率的变化1/k倍相乘的值即k×1/k＝1。这意味着即使改变ISO灵敏度，全体的放大率仍保持恒定，可以同时使用ISO灵敏度设定用的放大电路和用于放大分时图像的放大电路。
图8示出同时使用放大器23和放大器24的变形例。差动放大器26的非反转输入与CDS 2的输出连接，反转输入与模拟开关电路28的一端连接。模拟开关电路28具有n个模拟开关TG1、TG2、…、TGn，它们的各一端如前所述，与差动放大器26的反转输入连接，各另一端与串联连接的电阻Rn、R(n-1)、R(n-2)、…、R2、R1的各连接点连接。即，模拟开关TGn的另一端与电阻R1和电阻R2的连接点连接，模拟开关TG2的另一端与电阻R(n-1)和电阻Rn的连接点连接，模拟开关TG1的另一端与电阻Rn和差动放大器26的输出的连接点连接。另外，电阻R1的另一端接地，并且，差动放大器26的输出进一步与A/D转换器4连接。
模拟开关28的各控制端子与解码器27的输出连接。解码器27是将二进制的输入信号D1、D2、…、Dm转换成输出信号S1、S2、…、Sn用的解码器。该Sx(x＝1、2、3、…、n)为1(“H”电平)时，模拟开关TGx(x＝1、2、3、…、n)接通。将输入信号D1、D2、…、Dm转换成十进制的值设为例如x时，解码器27的输出信号S1、S2、…、Sn中，仅有输出信号Sx为1，其它输出信号为“0”。例如，若模拟开关TGn接通，则差动放大器26的输出Vout如下。
Vout＝Vin(Rn+R(n-1)+R(n-2)+…R2+R1)/R1作为一个例子，当m＝3、n＝8、R1＝100Ω、R3＝200Ω、R4＝400Ω、R5＝800Ω、R6＝1.6KΩ、R7＝3.2KΩ、R8＝6.4KΩ时，相对于输入信号D1、D2、D3，能够得到如图9的增益。
现在，假设如图9那样将增益和ISO灵敏度对应起来。若增益为32以上，则不与ISO灵敏度对应，这是因为根据分时摄像的次数m进行放大。用于补充分时摄像的图像的曝光不足的放大率A1在图9所记载的例子中，需要设定为以2倍数量变化的放大率。因此，在该例子中，分时次数设定为例如1、2、4、8的任意一个。具体地说，按照如下方式求出分时摄像的次数m。首先，将通常摄影的曝光时间设为Texp，运算将其除以抖动临界曝光时间TLimit的Texp/TLimit。接着，从1、2、4、8中选择大于Texp/TLimit的最小值。例如，Texp/TLimit＝2.55时，分时摄像次数m为4。因此，该情况下的差动放大器26的放大率A为4，所以ISO灵敏度向高ISO侧偏移2级。
在以上所述的变形例中，举出了以整数级选择ISO灵敏度的例子，通过适当选择电阻R1、R2、R3、…、Rn，可以设计成例如能够以1/3级步骤选择。并且，也可以设计成放大率A能够选择任意的整数值。
如上述说明，在本实施方式及其变形例中，能够以可容许抖动的临界曝光时间(ΔTexp)根据分时进行摄影，并且，利用AMP 3将从摄像元件1输出的分时图像放大m倍，从而能够得到适当电平的图像数据。并且，校正分时摄像所得到的多个分时图像的相互抖动，并将校正了抖动的图像合成(相加)，从而能够得到校正了抖动并改善了S/N的合成图像数据。
并且，将除以可容许抖动的临界曝光时间得到的值附近的整数值设为m时，将通常摄影中的曝光时间除以上述m的曝光时间设为分时曝光时间，从而能够以可容许抖动的最短曝光时间进行分时摄像。并且，分时曝光时间的整数倍可以设定为与通常的曝光时间相等的分时摄像时间。因此，通过将分时摄像的图像设为整数倍，能够得到与通常的摄影所得到的图像大致相同的适当电平的信号，因此放大器的设计变容易。
在本实施方式及其变形例中，CPU 7运算并设定曝光时间Texp，所以可以称为曝光时间运算部(或曝光时间设定部)；CPU 7运算分时曝光时间ΔTexp，所以可以称为分时曝光时间运算部；CPU 7进行抖动校正，所以可以称为抖动校正部；CPU 7生成消除了抖动的图像，所以可以称为图像生成部；CPU 7执行图像合成，所以可以称为图像合成部。并且，CPU 7所控制的摄像元件1进行分时摄像，所以可以称为分时摄像部。
以上说明的实施方式为将本发明应用到数字照相机的例子，作为数字照相机，可以应用到数字单反照相机或袖珍数字照相机等，也可以应用到内置了数字照相机的电子摄像装置中。
尽管上面描述并示出了本发明的优选实施方式，但是应该可以理解，在不脱离本发明的宗旨的范围内，可容易地对本发明实施各种变形和修改，所以本发明并不限于所描述和示出的具体实施方式
，可以在落入本发明的权利要求的范围内进行修改。
权利要求
1.一种电子抖动校正装置，该电子抖动校正装置生成由摄像元件连续进行分时摄像得到的多个分时图像的、进行了相互抖动校正的图像，该电子抖动校正装置的特征在于，所述电子抖动校正装置包括曝光时间运算部，其运算曝光时间；分时曝光时间运算部，其运算分时曝光时间，所述分时曝光时间比可容许抖动的预定的临界曝光时间还短，且为上述曝光时间的m分之一，其中，m为2以上的整数；分时摄像部，其以上述分时曝光时间进行多次分时摄像；第一放大部，其将上述分时摄像部所拍摄的图像信号放大m倍；抖动校正部，其对上述图像信号放大m倍的多张分时图像的相互抖动进行校正；以及图像合成部，其将利用上述抖动校正部校正了相互抖动的多张分时图像进行合成。
2.根据权利要求1所述的电子抖动校正装置，其特征在于，上述整数值m被设定为将上述曝光时间除以可容许抖动的临界曝光时间得到的值附近的整数值中的任意一个。
3.根据权利要求2所述的电子抖动校正装置，其特征在于，上述整数值m是将上述除算所得的值的小数点以下进位、舍去或四舍五入后得到的整数值。
4.根据权利要求1所述的电子抖动校正装置，其特征在于，上述电子抖动校正装置还具备ISO灵敏度设定部，其设定ISO灵敏度；以及第二放大部，其以与上述ISO灵敏度对应的放大率放大上述摄像元件所生成的图像信号。
5.根据权利要求4所述的电子抖动校正装置，其特征在于，上述电子抖动校正装置同时使用上述第一放大部和上述第二放大部。
6.一种电子抖动校正装置，该电子抖动校正装置生成由摄像元件连续进行分时摄像得到的多个分时图像的、进行了相互抖动校正的图像，该电子抖动校正装置的特征在于，所述电子抖动校正装置包括曝光时间设定部，其设定根据被摄体亮度运算出的可得到适当曝光的曝光时间，或者设定由摄影者手动输入的曝光时间；分时曝光时间运算部，其将上述曝光时间除以可容许抖动的临界曝光时间，然后将上述曝光时间除以接近该除算结果的整数值，从而运算分时曝光时间；分时摄像部，其以上述分时曝光时间进行多次的分时摄像；以及图像生成部，其根据该分时摄像部所拍摄的多个分时图像，生成消除了抖动的图像。
7.根据权利要求6所述的电子抖动校正装置，其特征在于，上述整数值是从预先确定的整数值之中选择的比上述除算值大的值。
8.根据权利要求6所述的电子抖动校正装置，其特征在于，上述图像生成部按照每个上述分时曝光时间求出上述消除了抖动的图像，将它们合成。
9.一种电子抖动校正装置，该电子抖动校正装置生成由摄像元件连续进行分时摄像得到的多个分时图像的、进行了相互抖动校正的图像，该电子抖动校正装置的特征在于，所述电子抖动校正装置包括曝光时间设定部，其设定根据被摄体亮度运算出的可得到适当曝光的曝光时间，或者设定由摄影者手动输入的曝光时间；分时曝光时间运算部，其运算分时曝光时间，所述分时曝光时间比可容许抖动的预定的临界曝光时间还短，且为上述曝光时间的m分之一，其中，m为2以上的整数；分时摄像部，其以上述分时曝光时间进行多次的分时摄像；第一放大部，其将上述分时摄像部所拍摄的图像信号放大m倍；以及图像生成部，其根据上述图像信号放大m倍的多张分时图像，生成消除了抖动的图像。
10.根据权利要求9所述的电子抖动校正装置，其特征在于，上述整数值m被设定为将上述曝光时间除以可容许抖动的临界曝光时间得到的值附近的整数值中的任意一个。
11.根据权利要求10所述的电子抖动校正装置，其特征在于，上述整数值m是将上述除算所得的值的小数点以下进位、舍去或四舍五入后得到的整数值。
12.根据权利要求9所述的电子抖动校正装置，其特征在于，上述电子抖动校正装置还具备ISO灵敏度设定部，其设定ISO灵敏度；以及第二放大部，其以与上述ISO灵敏度对应的放大率放大上述摄像元件所生成的图像信号。
13.根据权利要求12所述的电子抖动校正装置，其特征在于，上述电子抖动校正装置同时使用上述第一放大部和上述第二放大部。
14.一种电子抖动校正方法，所述电子抖动校正方法包括如下步骤运算适当的曝光时间；运算上述曝光时间除以整数m得到的分时曝光时间，所述分时曝光时间为比可容许抖动的临界曝光时间短的时间；以上述分时曝光时间进行多次分时摄像；将上述分时摄像所得到的图像信号放大m倍，得到多个放大了m倍的图像信号；以及使用上述多个图像信号放大了m倍的图像信号，生成校正了抖动的图像。
15.根据权利要求14所述的电子抖动校正方法，其特征在于，上述整数值m被设定为将上述曝光时间除以可容许抖动的临界曝光时间得到的值附近的整数值中的任意一个。
16.根据权利要求15所述的电子抖动校正方法，其特征在于，上述整数值m是将上述除算所得的值的小数点以下进位、舍去或四舍五入后得到的整数值。
全文摘要
本发明提供一种电子抖动校正装置以及电子抖动校正方法，其中，该电子抖动校正装置中，以分时曝光时间反复进行m次摄像，将所拍摄的图像放大m倍，得到多张分时图像，由该多张分时图像，生成校正了抖动的图像，其中，m为2以上的整数。此处，分时曝光时间是由适当的曝光时间除以m得到的，是比可容许抖动的临界曝光时间短的时间。
文档编号H04N5/353GK101035206SQ20071008616
公开日2007年9月12日 申请日期2007年3月5日 优先权日2006年3月10日
发明者山崎正文 申请人:奥林巴斯映像株式会社, 奥林巴斯株式会社