专利名称：相机抖动校正方法及其图像拍摄装置和存储介质的制作方法
技术领域：
本发明涉及一种具有相机抖动校正功能的图像拍摄装置、相机抖动校正方法和记录相机抖动校正处理的预处理程序的存储介质，更具体地，涉及一种具有相机抖动校正功能的图像拍摄装置、一种相机抖动校正方法和一种记录相机抖动校正处理的预处理程序的存储介质，其能够通过纠正相机抖动来避免图像质量下降。
背景技术：
例如，当使用内建于移动电话等之中的数字相机(图像拍摄装置)来拍照时，在曝光期间拿着移动电话的手的抖动对待提取的图像产生影响。为了抑制手部抖动的这种影响，对提取的图像采用相机抖动校正。
近来，数字相机，特别是安装在移动电话上的数字相机普及很快。用户对数字相机的性能和适用性的需求也在增加。
适应这种需求，在性能上，提高像素和缩放倍率有了显著进展，而在适用性上，减小尺寸和减轻重量也有了显著进展。
然而，这些性能/适用性的提高反过来很容易导致由于这种相机抖动而造成图像模糊。特别是对于安装在移动电话上的数字相机，由于总是随身携带，所以经常在例如光线很暗的地方拍照。但是经常不安装闪光灯。因此在这种情况下，与其它数字相机相比，很容易发生由于相机抖动而造成图像模糊。
已经提出一种光学图像校正方法和一种通过数字处理的图像校正方法，作为处理相机抖动的方法。
对于通常的数字相机，所述光学图像校正方法已经进入商业化；而对于安装在移动电话上的数字相机，所述通过数字处理的图像校正方法的商业化才刚刚开始。
作为其它的相机抖动校正方法，例如，公知的有专利参考文献1和2公开的方法。
专利参考文献1公开这样一种技术，即自动将快门速度和感光度(增益值)提高n倍，一次拍摄图像n帧，并且基于通过一系列成像获得的n条图像数据而获得相机抖动得到校正的图像数据。
专利参考文献2公开这样一种技术，即如果预计计算的适当曝光时间比相机抖动限制曝光时间长，则在比相机抖动限制曝光时间更短的曝光时间内拍摄多个图像。
专利参考文献3公开一种图像处理装置，用于校正图像拍摄装置所拍摄图像的相机抖动。这种图像处理装置包括连续图像拍摄单元，以指定时间间隔连续拍摄对象并获得多个图像；相机抖动检测单元，根据连续图像拍摄的定时(timing)来检测关于图像拍摄装置的相机抖动的相机抖动信息；以及相机抖动校正单元，基于与相机抖动检测单元检测的每一图像对应的相机抖动信息和连续图像拍摄单元拍摄的多个图像来校正所述多个图像之一的相机抖动。因此，图像拍摄装置可以以高精确性、高速度校正其相机抖动，拍摄拍摄者期望的情景。
在专利参考文献4公开的具有连续图像拍摄功能的电子相机中，相机抖动信息存储在RAM中，并且在将连续图像拍摄时获得的连续图像数据文件记录在存储卡上时，添加并记录相机抖动信息，所述相机抖动信息表示在连续图像拍摄时来自角速度传感器的对相机抖动状态的检测结果。当再现记录在存储卡上的连续图像时，基于添加的相机抖动信息来执行相机抖动校正。因此，具有相机抖动校正功能以保持高图像质量的电子相机不需要设置复杂的结构。
专利参考文献1日本专利申请No.2004-266648，“相机抖动校正设备和相机抖动校正程序”。
专利参考文献2日本专利申请No.2004-279514，“相机抖动补偿装置”。
专利参考文献3日本专利申请No.2002-247444，“图像处理器和记录图像处理程序的记录介质”。
专利参考文献4日本专利申请No.2000-299813，“电子图像拾取装置”。
发明内容
本发明的一个目的是提供一种具有相机抖动校正功能的图像拍摄装置及其相机抖动校正方法，其能够避免由于执行相机抖动校正和由于不执行相机抖动校正而产生的图像质量的降低。
本发明的另一个目的是提供一种具有相机抖动校正功能的图像拍摄装置及其相机抖动校正方法，其能够获得相机抖动影响得到抑制的、质量良好的图像。
在本发明的第一方案中，具有相机抖动校正功能的图像拍摄装置包括图像传感器，将指定曝光时间内从待拍摄对象接收的光转换为电荷，并输出光电转换数据；图像数据产生单元，基于光电转换数据产生图像数据；图像拍摄控制单元，根据图像拍摄指令将曝光控制信息输出至所述图像传感器，并提取一条或多条图像数据；以及校正单元，基于多条提取的图像数据产生一条校正了相机抖动的图像数据。
在本发明的第二方案中，具有相机抖动校正功能的图像拍摄装置即第一方案中的图像拍摄装置，并且还包括曝光控制单元，计算曝光时间和增益值作为曝光控制信息，所述增益值表示将光电转换数据放大多少倍；以及确定单元，确定计算的增益值是否等于或大于一预定阈值。如果确定增益值等于或大于该阈值，则图像拍摄控制单元提取一条图像数据。如果确定增益值小于该阈值，则图像拍摄控制单元提取用于相机抖动校正的多条图像数据。
在这种情况下，如果通过将多次图像拍摄中每一条图像数据的曝光时间相加所获得的总曝光时间等于一次图像拍摄的曝光时间，则基于多次图像拍摄所获得的多条图像数据(用于相机抖动校正)而得到的校正了相机抖动的图像数据的S/N比小于通过一次图像拍摄所获得的一条图像数据(用于正常图像拍摄)的S/N比。
在这种情况下，在图像质量降低的区域(高增益值的区域)中，与通过使用从多个连续图像获得的图像数据(校正了相机抖动)来抑制相机抖动的影响时相比，当使用一条图像数据时可获得在视觉上质量更好的图像，其中所述一条图像数据是在通过将多次图像拍摄的每一条图像数据的曝光时间相加所获得的曝光时间内通过一次图像拍摄而得到的，不采用任何处理。
特别地，通过在一范围附近指定增益值并降低作为其阈值，以及确定单元15根据计算的增益值是否等于或大于该阈值来确定是否连续拍摄(校正相机抖动)，可改善S/N比低(增益值高)的图像质量，从而避免由于相机抖动校正导致图像质量的降低，其中在所述范围附近，通过组合多个连续图像得到的图像的S/N比等于或小于图像质量容许限度。
在本发明的第三方案中，具有相机抖动校正功能的图像拍摄装置即第一方案的图像拍摄装置，并且还包括曝光控制单元，计算曝光时间和增益值作为曝光控制信息，所述增益值表示将光电转换数据放大多少倍；以及确定单元，确定设置的数字缩放倍率值是否等于或大于一预定阈值。如果确定数字缩放倍率值等于或大于该阈值，则图像拍摄控制单元提取用于正常图像拍摄的一条图像数据。如果确定数字缩放倍率值小于该阈值，则图像拍摄控制单元提取用于相机抖动校正的多条图像数据。
在这种情况下，当数字缩放倍率增加至大于某种程度时，有时候，由于根据该倍率对图像进行的放大处理，用于该图像中位置匹配的特征点的提取精度明显降低。因此，当通过对多次图像拍摄所获得的每一条图像数据进行重叠而获得校正了相机抖动的图像数据时，有时候，由于重叠使模糊扩展，结果校正的图像质量明显降低。
因此，在数字缩放倍率中设置阈值，如果设置的数字缩放倍率值等于或大于该阈值，则仅拍摄一次图像，并且不校正相机抖动。如果设置的数字缩放倍率值小于该阈值，则拍摄多次图像，并且校正相机抖动。因此，如果数字缩放倍率增加至大于某种程度，可避免将连续拍摄对象所获得的每一图像重叠所得到的组合后的图像质量明显降低。
在本发明的第四方案中，具有相机抖动校正功能的图像拍摄装置即第一方案的图像拍摄装置，并且还包括曝光控制单元，计算曝光时间和增益值，所述增益值表示将光电转换数据放大多少倍；曝光时间阈值获取单元，基于存储相对于数字缩放倍率值的容许曝光时间阈值的缩放倍率/曝光时间阈值存储单元来获得与设定的数字缩放倍率相应的曝光时间阈值；以及确定单元，确定计算的曝光时间是否等于或小于所获得的曝光时间阈值。如果确定计算的曝光时间等于或小于所获得的曝光时间阈值，则图像拍摄控制单元提取用于正常图像拍摄的一条图像数据。如果确定计算的曝光时间大于所获得的曝光时间阈值，则图像拍摄控制单元提取用于相机抖动校正的多条图像数据。
在这种情况下，通常，如果曝光时间较短，则由于相机抖动而在拍摄的图像上产生的模糊影响很小。然而，随着数字缩放倍率增加，由于相机抖动所造成的图像上的模糊也扩展了。如果数字缩放倍率的变化范围没有这么大，那么在此范围内，由于对多次图像拍摄所获得的多个图像重叠而造成的模糊没有明显扩展。
因此，如果数字缩放倍率值在由于将多个图像重叠而造成的模糊没有明显扩展的范围内变化，则通过由曝光时间阈值获取单元基于缩放倍率/曝光时间阈值存储单元而获得与指定数字缩放倍率值相应的曝光时间阈值，以及通过确定单元确定计算的曝光时间是否等于或小于所获得的曝光时间阈值，以在所述由于将多个图像重叠而造成的模糊没有明显扩展的范围内，根据数字缩放倍率的增加，通过尽可能校正相机抖动使得从图像消除模糊的影响，其中所述缩放倍率/曝光时间阈值存储单元相应使得用于保持图像质量的曝光时间阈值与数字缩放值成反比。因此，可避免由于增加数字缩放倍率导致在图像上模糊的扩展，以及由于没有进行相机抖动校正而导致图像质量的降低。
在本发明的第五方案中，具有相机抖动校正功能的图像拍摄装置即第一方案的图像拍摄装置，其中所述图像拍摄控制单元根据图像拍摄指令输出曝光控制信息至图像传感器，实施不校正相机抖动的正常图像拍摄和用于相机抖动校正的连续图像拍摄，并提取多条图像数据。所述图像拍摄装置还包括用户接口单元，用于选择和存储正常图像拍摄的图像数据和校正了相机抖动的由校正单元获得的图像数据两种数据或其中一种数据。
在这种情况下，在一次图像拍摄指令中，提取用于正常图像拍摄的图像数据和校正了相机抖动的图像数据。然后，选择用于正常图像拍摄的图像数据或校正了相机抖动的图像数据，或者以上两种图像数据，并由用户接口单元存储。因此，通过选择两种图像数据中相机抖动较少的图像数据，可获得相机抖动影响得到抑制的、高质量的图像数据。
在本发明的第六方案中，具有相机抖动校正功能的图像拍摄装置即第一方案的图像拍摄装置，其中所述图像拍摄控制单元根据图像拍摄指令输出曝光控制信息至图像传感器，实施不校正相机抖动的正常图像拍摄和用于相机抖动校正的连续图像拍摄，并提取多条图像数据。所述图像拍摄装置还包括边界提取单元，提取正常图像拍摄的图像数据和通过校正单元所获得的校正了相机抖动的图像数据各自的边界，其中所述边界是在每一图像中密度变化的分界线；以及存储单元，存储被提取边界的分辨率较高的图像数据。
同样，在这种情况下，在一次图像拍摄指令中，提取用于正常图像拍摄的图像数据和校正了相机抖动的图像数据。然后，在用于正常图像拍摄的图像和校正了相机抖动的两种图像数据中，将被提取边界的分辨率较高的图像数据存储在存储单元中。因此，可获得相机抖动影响得到抑制的、高质量的图像数据。
在本发明的第七方案中，具有相机抖动校正功能的图像拍摄装置即第一方案的图像拍摄装置，其中所述图像拍摄控制单元根据图像拍摄指令输出曝光控制信息至图像传感器，拍摄不校正相机抖动的正常图像和用于相机抖动校正的连续图像，并提取多条图像数据。该图像拍摄装置还包括S/N比计算单元，计算正常图像拍摄的图像数据和通过校正单元获得的校正了相机抖动的图像数据各自的S/N比，所述各S/N比是通过将必要信号电平除包含在信号中的噪音电平而获得的值；以及存储单元，存储计算的S/N比较高的图像数据。
同样，在这种情况下，在一次图像拍摄指令中，提取用于正常图像拍摄的图像数据和校正了相机抖动的图像数据。然后，在用于正常图像拍摄的图像和校正了相机抖动的两种图像数据中，S/N比较高的图像数据通过S/N比计算单元来存储，其中所述S/N比是通过将必要信号电平除包含在信号中的噪音电平来获得的值。因此，可获得相机抖动影响得到抑制的、高质量的图像数据。
根据本发明，在图像质量降低的区域(高增益值的区域)中，与通过使用连续图像拍摄的多条图像数据所获得的图像数据(校正了相机抖动)来抑制相机抖动影响相比，使用一条图像数据可以更好地改善S/N比较低的图像的质量，其中所述一条图像数据是在通过将连续图像拍摄的每一条图像数据的曝光时间相加所获得的曝光时间内得到的，不采用任何处理。
根据本发明，在数字缩放倍率增加至大于某种程度以及由于将多个图像重叠而产生的模糊明显扩展的范围内，可通过避免相机抖动校正来避免通过将连续图像拍摄的各图像重叠所获得的组合图像的质量在视觉上明显降低。
根据本发明，在由于将多个图像重叠而产生的模糊没有明显扩展的范围内，当数字缩放倍率增加时，可通过尽可能校正相机抖动从图像上消除模糊的影响。因此，可避免通过增加数字缩放倍率而产生的模糊的扩展。
根据本发明，可获得相机抖动影响得到抑制的、质量更好的图像数据。
图1是示出本发明第一、第二和第三优选实施例中共有的图像拍摄装置的结构框图；图2A示出图1中的图像拍摄控制单元在单次图像拍摄模式下的操作；图2B示出图1中的图像拍摄控制单元在连续图像拍摄模式下的操作；图3是示出由图1中的校正单元执行的相机抖动校正处理的概要流程图。
图4概念性地示出S/N比与增益值之间的关系。
图5是示出本发明第一优选实施例中通过图像拍摄装置执行的图像拍摄处理的流程图。
图6是示出本发明第二优选实施例中主要部分的结构框图。
图7示出缩放倍率/曝光时间阈值存储单元的数据结构(第一种)；图8是对应于图7中所示的缩放倍率/曝光时间阈值存储单元的曲线图，其中横轴表示数字缩放倍率，纵轴表示曝光时间；图9是示出本发明第三优选实施例中主要部分的结构框图；图10是示出本发明第三优选实施例中的确定处理的流程图；图11示出缩放倍率/曝光时间阈值存储单元的数据结构(第二种)；图12是对应于图11中所示的缩放倍率/曝光时间阈值存储单元的的曲线图，其中横轴表示数字缩放倍率，纵轴表示曝光时间；图13A和图13B说明在第四、第五和第六优选实施例中的曝光功能，其中为相机抖动校正而实施三次连续图像拍摄；图14是示出本发明第四、第五和第六优选实施例中共有的图像拍摄装置的结构框图；图15是第四优选实施例中包括从图像拍摄处理一直到所提取图像的存储处理的流程图；图16示出在第四优选实施例中的操作过程；
图17是第五优选实施例中包括从图像拍摄处理一直到所提取图像的存储处理的流程图；图18示出在第五优选实施例中的操作过程；图19是第六优选实施例中包括从图像拍摄处理一直到所提取图像的存储处理的流程图；图20示出在第六优选实施例中的操作过程；图21是示出第七优选实施例中涉及用于图像数据存储的存储器的各单元的框图；图22是第七优选实施例中包括从图像拍摄处理一直到所提取图像的存储处理的流程图；图23是示出第八优选实施例中涉及用于图像数据存储的存储器的各单元的框图；图24是第八优选实施例中包括从图像拍摄处理一直到所提取图像的存储处理的流程图；图25是第七和第八优选实施例的组合流程图；以及图26示出存储介质的实例。
具体实施例方式
以下参照附图详细描述本发明的优选实施例。
图1示出本发明第一、第二和第三优选实施例中共有的图像拍摄装置的结构框图。对于第一至第三优选实施例中的每一个，确定单元15用于确定的逻辑均不同。
在图1中，图像拍摄装置10包括镜头11，用于将来自拍摄目标(待拍摄对象)的光聚集在图像传感器12上；图像传感器12，其配置有光接收单元(图1中未示出)和信号输出单元(图1中也未示出)，所述光接收单元用于将通过镜头11从拍摄目标接收的光转换成电荷并进行存储，所述信号输出单元用于输出已存储的电荷作为光电转换数据；自动增益控制(AGC)电路16，用于控制从图像传感器12输出的光电转换数据的增益；模数转换器(ADC)17，用于将增益受控制的光电转换数据从模拟值转换为数字值；图像处理单元(又称为“图像信号处理器”(ISP))18，用于基于ADC 17的输出产生图像数据；曝光控制单元14，用于计算拍摄对象的曝光时间和增益值，其中曝光时间即用于存储电荷的时间，增益值表示将光电转换数据放大多少倍；确定单元15，用于确定计算的增益值是否等于或大于预定阈值；以及图像拍摄控制单元13，用于根据图像拍摄指令将包括计算的曝光控制信息(曝光时间和增益值)的控制信号输出至图像传感器12，并通过图像传感器12的图像拍摄处理(由光接收单元和信号输出单元进行)提取一条或多条图像数据。
如果确定单元15确定曝光控制单元14计算的增益值等于或大于阈值，则图像拍摄控制单元13通过图像传感器(光接收单元和信号输出单元)12提取一条图像数据。在这种情况下，如图1所示，基于表示确定单元15的确定结果的信号将开关21切换到上侧，从而将提取的图像数据输出至在随后阶段中用于图像数据存储的存储器(图1中未示出)，而不对该图像数据进行任何处理。
如果确定单元15确定曝光控制单元14计算的增益值小于阈值，则图像拍摄控制单元13通过图像传感器(光接收单元和信号输出单元)12提取多条图像数据。在这种情况下，基于表示确定单元15的确定结果的信号将开关21切换到图1中所示的相反一侧(下侧)，从而将(多条)提取的图像数据连续存储到存储器22中。然后，校正单元23基于存储在存储器22中的所述多条图像数据产生一条校正了相机抖动的图像数据，并将产生的图像数据(校正了相机抖动)输出至在随后阶段中用于图像数据存储的存储器(图1中未示出)。
在图像拍摄控制单元13、曝光控制单元14、确定单元15、图像处理单元18和校正单元23是通过程序来实现的情况下，用于实现图像拍摄控制单元13、曝光控制单元14、确定单元15、图像处理单元18的中央处理单元(CPU)与用于实现校正单元23(用于相机抖动校正)的CPU可以相同或者不同。
通过AGC电路16来放大图像传感器12输出的光电转换数据，通过ADC17将该光电转换数据从模拟值转换为数字值，然后将该光电转换数据输入至图像处理单元18。
所述图像处理单元18基于输入信号(又称为“原始数据)执行分色处理、用于在显示屏上线性表示亮度的伽马校正处理、用于在不考虑光源等温度的情况下表示白色的白平衡控制处理等。通过所述分色处理，输入的信号转换成要求的格式，例如YUV信号、RGB信号等。
曝光控制单元14计算的增益值G表示将图像传感器12输出的光电转换数据放大多少倍。特别地，如果通过AGC电路16将来自图像传感器12的光电转换数据放大G1倍，则通过图像处理单元18进一步将与该图像中的像素对应的数据放大G/G1倍，从而使该像素的像素分量放大所需的G倍。
在这种情况下，图像处理单元18产生与用户通过用户接口单元指定的数字缩放倍率相应的图像数据。
图2A和图2B分别示出图像拍摄控制单元13在单次和连续图像拍摄模式下的操作。
在单次图像拍摄模式下，图像拍摄控制单元13进行一次图像数据的提取。在图2A中，与每133msec发送的垂直同步信号(VSYNC信号)同步开始曝光(电荷的存储)。图2A示出曝光控制单元14将曝光时间设置为200msec的情况。
在连续图像拍摄模式下，图像拍摄控制单元13进行多次(次数n；n＝2，或大于2的整数)图像数据的提取。图2B示出n＝3的情况。在图2B中，也是与每133msec发送的垂直同步信号(VSYNC信号)同步开始曝光(电荷的存储)。
图2B示出曝光控制单元14将曝光时间设置为200msec的情况。在这种情况下，将曝光时间(200msec)除图像数据提取次数(三次)计算的值(66msec)作为每一条图像数据的曝光时间。在连续图像拍摄的情况下，校正单元23基于通过连续图像拍摄所获得的多条图像数据来执行相机抖动校正，并获得一条校正了相机抖动的图像数据。通常，如果连续图像拍摄获得的图像个数和曝光控制单元14计算的曝光时间分别是N和E，则在执行用于相机抖动校正的这种连续图像拍摄时，每一条图像数据的曝光时间给定为E/N。
有时，在单次和连续图像拍摄两种情况下使用相同的增益值；有时，将连续图像拍摄情况下的增益值设置为在单次图像拍摄情况下增益值的n倍(n＝连续图像拍摄次数)。
也可以使用除了VSYNC信号之外的信号来确定曝光开始定时。
如上所述，通过连续图像拍摄所获得的多条图像数据存储在图1所示的存储器22中，然后校正单元23基于存储在所述存储器22中的多条图像数据产生一条校正了相机抖动的图像数据。
图3示出由校正单元23执行的相机抖动校正处理的概要流程图。
在图3中，首先在步骤S101，在从存储器22获得的多条图像数据中对所述图像数据的位置进行匹配。在这种位置匹配中，计算在所述多条图像数据中的偏移量。例如，在获得三条图像数据的情况下，计算将三条图像数据中的第一图像数据相对于第二图像数据(基准图像数据)滑动多少，以及将第三图像数据相对于第二图像数据滑动多少，从而使相应的像素可彼此重叠。
然后，在步骤S102，通过基于位置匹配的结果来组合多条图像数据，以执行相机抖动校正处理(图像组合处理)。在这种图像组合处理中，例如，对于在所有图像数据中相应的各像素来说，这些像素的值被重叠，并且反映在组合后的图像数据中的像素中。对于仅存在于任一条图像数据中的像素来说，像素的值与待重叠数量相乘，并且反映在组合后的图像数据中的像素中。
以下说明当曝光控制单元14计算的增益值较大时，以及通过连续图像拍摄获得的多条图像数据被重叠时所引起的不便。
当组合N条图像数据时，该N条图像数据的每一像素具有随机噪音。因此，例如，当在所有图像中添加相应像素时，信号电平增加至每一条图像数据的信号电平的N倍。然而，平均噪音电平仅增加至每一条图像数据的噪音电平的N1/2倍。
如上所述，如果在通过连续图像拍摄提取N条图像数据时，通过将曝光控制单元14计算的曝光时间E乘以1/N来确定每一条图像数据的曝光时间，则表示每一图像的噪音的S/N比的值与每一条图像数据中的曝光时间成比例，特别地，其值为在曝光时间E内所获得的图像数据的S/N比的1/N倍。由于如上所述，噪音随机地附加在图像数据的每一像素上，所以在组合的图像数据中，S/N比为在曝光时间E内所获得的图像数据的S/N比的N1/2/N倍。由于N是2或更大的整数，所以所述值(N1/2/N)小于1。特别地，例如，如果通过将多次图像拍摄中每次图像数据的曝光时间相加而获得的曝光时间等于在一次图像拍摄中的曝光时间，则通过组合多次图像拍摄(连续图像拍摄)所获得的多条图像数据所得到的图像数据的S/N比小于通过一次图像拍摄所获得的一条图像数据的S/N比。
然而，由于相机抖动量与曝光时间成比例，所以即使使用连续图像拍摄的多个图像组合得到的图像的S/N比降低得更多，相机抖动的影响也很小。因此，有时用人眼看起来好像图像质量提高了。
在这种情况下，S/N比表示信号与噪音的比，也是用于评估声音和图像质量的指数。特别地，通过将必要的信号电平除包括在信号中的噪音电平来获得S/N比。其单位是dB(分贝)。通常，该值越高，噪音越低(质量高)。由于噪音的幅度不确定，所以噪音量级通过标准偏移来表示，并且经常将利用表达式“平均信号电平/噪音标准偏移”测量S/N比的方法作为简单的测量方法。
图4概念性地示出S/N比与增益值之间的关系。
当增益值增加时，包含在图像中的噪音增加。因此，在这种情况下，S/N比降低，图像质量降低。特别地，S/N比与增益值成反比。在图4中，需要注意的是，在纵轴上S/N比的箭头标志的方向是从较高值指向较低值。
在图4中，直线(1)表示增益值和图像数据的S/N比之间的关系，所述图像数据是使用对连续图像拍摄的多条图像数据进行组合而得到的，直线(2)表示增益值和一条图像数据的S/N比之间的关系，所述一条图像数据是在通过将连续图像拍摄的每一条图像数据的曝光时间相加所获得的曝光时间内得到的。与横轴(增益值)平行的直线(3)表示在使用人眼观看的情况下与图像质量的容许限度相应的S/N比。
例如，尽管在高S/N比区域中，如图4中箭头标志A所示，由于使用连续图像拍摄的多条图像数据所获得的图像而引起的图像质量的降低几乎不能从视觉上识别，但是在低S/N比区域中，如箭头标志B所示，这种图像质量的降低不能忽略。
结果，在箭头标志B标出的区域中(在图像质量降低的区域中，在增益值较高的区域中)，与通过使用连续图像拍摄(以抑制在校正了相机抖动的图像数据中相机抖动的影响)的多个图像所获得的校正了相机抖动的图像数据(直线(1)的实线部分)相比，可以从一条图像数据(直线(2)的实线部分)获得在视觉上质量更好的图像，其中所述一条图像数据是在通过将连续图像拍摄的每一条图像数据的曝光时间相加所获得的曝光时间内得到的，不采用任何处理。
特别地，通过在一范围附近指定增益值并降低作为其阈值，以及确定单元15基于计算的增益值是否等于或大于该阈值来确定是否连续拍摄(换句话说，校正相机抖动)，可改善S/N比低(增益值高)的图像质量，其中在所述范围附近，使用连续图像拍摄的多个图像组合得到的图像的S/N比(直线(1))等于或小于图像质量容许限度(直线(3))。
图5示出在此优选实施例中通过图像拍摄装置执行图像拍摄处理的流程图。由图像拍摄装置的用户按压快门按钮(图像拍摄按钮)作为触发来开始一系列处理。
在图5中，首先在步骤S201，在打开快门之后，曝光控制单元14在第一指定时间内基于测量的亮度信息计算曝光控制信息(曝光时间和增益值)。然后，在步骤S202，确定单元15确定计算的增益值是否等于或大于其阈值。
如果在步骤S202确定计算的增益值小于阈值，则在步骤S203，图像传感器12基于来自图像拍摄控制单元13的控制信号执行其图像拍摄处理。
在此优选实施例中，例如，尽管连续图像拍摄的次数N是基于一种表(在所述表中，对于曝光控制单元14计算的每一曝光时间，连续图像拍摄的次数N是对应的)来确定，但是也可以通过其它方法来确定。
图像拍摄控制单元13通过将计算的曝光时间E除连续图像拍摄的次数N来计算在连续图像拍摄过程中进行一次图像拍摄的曝光时间(E/N)。
关于增益值，存在两种情况，即在连续图像拍摄的情况下，图像拍摄控制单元13也使用曝光控制单元14计算的增益值，而不采用任何处理；以及在连续图像拍摄的情况下，使用通过将曝光控制单元14计算的增益值乘以图像拍摄次数N所获得的值。在使用由曝光控制单元14计算的增益值而不采用任何处理的情况下，当执行相机抖动校正时，图像处理单元18将多个图像的相应像素重叠，而不采用任何处理。然而，在将增益值与N相乘的情况下，当执行相机抖动校正时，将多个图像的相应像素重叠，然后将像素的重叠值除图像拍摄的次数N。
然后，在步骤S204，作为在步骤S203图像拍摄处理的结果，从图像传感器12将光电转换数据输入至图像处理单元18，图像处理单元18执行图像数据产生处理。
在步骤S205，在存储器22中存储步骤S204产生的图像数据。在步骤S206，确定图像拍摄是否完成。如果图像拍摄没有完成，则返回至步骤S203。如果图像拍摄完成，则中止所述一系列处理。
如果在步骤S202确定计算的增益值等于或大于阈值，则在步骤S207，图像传感器12基于图像处理控制单元13的控制信号执行图像拍摄处理。在这种情况下，执行一次图像拍摄，不校正相机抖动。图像拍摄控制单元13在控制信号中指示图像传感器12使用计算的曝光时间和增益值来执行一次图像拍摄，而不采用任何处理。
然后，在步骤S208，作为在步骤S207图像拍摄处理的结果，图像传感器12将光电转换数据输入至图像处理单元18。然后，图像处理单元18执行图像数据产生处理，并且将产生的图像数据输出至随后阶段。
接下来，描述本发明的第二优选实施例。尽管在第一实施例中基于增益值是否等于或大于其阈值来确定是否执行连续图像拍摄(以校正相机抖动)，但是在第二实施例中，确定由用户通过用户接口单元设置的数字缩放倍率是否等于或大于其阈值以及确定是否根据上述确定的结果来执行连续图像拍摄(以校正相机抖动)。
图6示出本发明第二优选实施例中主要部分的结构框图。
在图6中，在数字缩放倍率存储单元32中存储用户通过用户接口单元设置的数字缩放倍率。
当确定是否校正相机抖动时，图像拍摄控制单元30的确定单元31从数字缩放倍率存储单元32获得数字缩放倍率，并确定所获得的数字缩放倍率值是否等于或大于阈值。
在这种情况下，如果数字缩放倍率增加至大于某种程度，则由于根据该倍率对图像进行的放大处理而引起用于该图像中位置匹配的特征点的提取精度明显降低。然后，当对连续图像拍摄所获得的每一图像进行重叠(组合)时，通过这种操作扩展了由于重叠引起的模糊，并且组合后图像的质量明显降低(在视觉上)。在检测边界(轮廓)之后，可通过仅从边界提取容易区分的特征部分(例如，高密度点、端点、顶点、分支点和交叉点)来获得上述特征点，其中所述边界(轮廓)指的是在图像中密度变化的分界线。
在此第二优选实施例中，在数字缩放倍率中设置阈值。然后，如果设置的数字缩放倍率值等于或大于该阈值，则不执行连续图像拍摄(相机抖动校正)。如果设置的数字缩放倍率值小于该阈值，则执行连续图像拍摄(相机抖动校正)。因此，如果数字缩放倍率增加至大于某种程度，可避免将连续图像拍摄所获得的每一图像重叠所得到的组合图像质量的明显降低(在视觉上)。
接下来，描述本发明的第三优选实施例。
通常，当曝光时间较短时，在拍摄的图像上由于相机抖动而造成模糊的影响很小。然而，当数字缩放倍率增加时，由于相机抖动所造成的图像上的模糊也扩展了。如果数字缩放倍率的变化范围没有这么大，则与第二优选实施例不同的是，在该范围内，如同第二优选实施例中通过连续图像拍摄获得的多个图像的重叠所造成的模糊没有明显扩展。在该范围内，当数字缩放倍率增加时，优选地，尽可能通过校正相机抖动消除图像上模糊的影响。为了实现这个目的，如图7所示，在数字缩放倍率的变化范围没有这么大(在图7中的0-8)的情况下，提供一种表(缩放倍率/曝光时间阈值存储单元)，在该表中用于(在视觉上)保持图像质量更好或保持在一定水平上的曝光时间阈值(th)与数字缩放值(的范围)成反比例对应。图8是对应于图7中所示的缩放倍率/曝光时间阈值存储单元的曲线图，其中横轴表示数字缩放倍率，纵轴表示曝光时间。
在图7和图8中，将数字缩放倍率的上限设置为8倍。在图7和图8中，从图像拍摄装置收集数据，在所述图像拍摄装置中，将数字缩放值的范围(0-8)设置为，在此范围内，通过连续图像拍摄获得的多个图像的重叠所造成的模糊没有明显扩展。
特别地，在此第三实施例中，如图9所示，确定单元41基于缩放倍率/曝光时间阈值存储单元42(其中，曝光时间阈值与数字缩放倍率值(的范围)成反比例对应)来获得与特定数字缩放倍率值相应的曝光时间阈值，并确定由曝光控制单元14计算的曝光时间是否等于或小于所获得的曝光时间阈值。然后，根据确定结果，确定单元41确定是否实施连续图像拍摄(相机抖动校正)。
图10示出本发明第三优选实施例中的确定处理的流程图。通过以图10中所示的每一步骤来代替在图5中所示的步骤S202可获得在第三优选实施例中的图像拍摄处理的流程图。
在图10中，首先在步骤S301，确定单元41基于缩放倍率/曝光时间阈值存储单元42获得与设置的数字缩放倍率值(存储在数字缩放倍率存储单元32中的值)相应的曝光时间阈值。然后，在步骤S302，确定单元41确定由曝光控制单元14计算的曝光时间是否等于或小于所获得的曝光时间阈值。
如果在步骤S302确定计算的曝光时间等于或小于所获得的曝光时间阈值，则进行图5中所示的步骤S207。如果在步骤S302确定计算的曝光时间大于所获得的曝光时间阈值，则进行图5中所示的步骤S203。
如上所述，在此第三优选实施例中，如果数字缩放倍率的变化范围没有这么大，并且因此由于在相机抖动校正时图像的重叠所造成的模糊没有明显扩展，则当数字缩放倍率增加时，尽可能校正相机抖动，并从图像上消除模糊的影响。因此，可避免由于缩放倍率增加而造成的图像模糊的扩展。
第二和第三优选实施例的结构也可以组合。
在这种情况下，如图11所示，可提供这样一种表(缩放倍率/曝光时间阈值存储单元)，在这种表中，如果数字缩放倍率的变化范围没有这么大(图11中0-6)，则曝光时间阈值(th)与数字缩放值(的范围)成反比例对应，而如果数字缩放倍率的变化范围很大(图11中6-8)，则不需要相机抖动校正的曝光时间阈值(例如最大曝光时间m)与数字缩放值(的范围)对应(因为在这个很大的范围内，当相机抖动校正时，由于图像重叠而造成的模糊明显扩展，所以上述曝光时间阈值指定为不需要重叠)。图12是对应于图11中所示的缩放倍率/曝光时间阈值存储单元的的曲线图，其中横轴表示数字缩放倍率，纵轴表示曝光时间。
在图11和图12中，将数字缩放倍率的上限设置为8倍。在图11和图12中，从图像拍摄装置收集数据，在所述图像拍摄装置中，将数字缩放倍率值的范围(0-6)设置为，在此范围内，通过连续图像拍摄所获得的多个图像的重叠所产生的模糊没有明显扩展，并且将数字缩放值的范围(6-8)设置为，在此范围内，通过连续图像拍摄所获得的多个图像的重叠所产生的模糊扩展明显。
接下来，描述第四、第五和第六优选实施例。
在这些优选实施例中，实施单次图像拍摄(其中不校正相机抖动)和连续图像拍摄(其中校正相机抖动)，并提取多条图像数据(在单次图像拍摄和连续图像拍摄之间不存在顺序)。
图13A和图13B说明在第四、第五和第六优选实施例中的曝光功能，其中为相机抖动校正而实施三次连续图像拍摄。
在图13A中，在一次图像拍摄时，在一次正常曝光(其中不校正相机抖动)之后实施三次连续图像拍摄的曝光(其中校正相机抖动)。在图13B中，在一次图像拍摄时，在三次连续图像拍摄的曝光(其中校正相机抖动)之后实施一次正常曝光(其中不校正相机抖动)。
图14示出本发明第四、第五和第六优选实施例中所共有的图像拍摄装置的结构框图。
在图14中，由于图像拍摄装置50的镜头11、图像传感器12、AGC 16、ADC 17、图像处理单元18、存储器22和校正单元23与图1中所示的图像拍摄装置10相同，所以这里省略对它们的描述。
在图像拍摄装置50中，图像拍摄控制单元53根据图像拍摄指令将包括为拍摄目标而计算的曝光控制信息的控制信号输出至图像传感器12，并且通过图像传感器12的图像拍摄处理来提取多条图像数据(由上述光接收单元和信号输出来执行该处理)，而不是执行在第一至第三优选实施例中的确定处理。
开关21在例如正常曝光改变为图13A中所示的连续图像拍摄曝光时切换到下侧，在连续图像拍摄曝光改变为图13B中所示的正常曝光时切换到上侧。
通过正常曝光提取的一条图像数据以及通过连续图像拍摄曝光提取的多条图像数据获得的、校正了相机抖动的一条图像数据都存储在用于图像数据存储的存储器54中。
在每一优选实施例中描述用户接口单元55。
图15是第四优选实施例中包括从图像拍摄处理一直到所提取图像的存储处理的流程图。由在图14中所示的各单元来执行这一流程。
首先在步骤S401，图像拍摄控制单元53对于单次和连续图像拍摄进行设置(在单次图像拍摄和连续图像拍摄之间不存在顺序)。根据图像拍摄指令，图像拍摄控制单元53将包括为拍摄目标而计算的曝光控制信息的控制信号输出至图像传感器12。
然后，在步骤S402，通过图像传感器12的图像拍摄处理提取多条图像数据。特别地，图像传感器12将通过镜头11从拍摄目标接收的光转换成电荷并进行存储。然后，将存储的电荷输出至图像处理单元18作为光电转换数据。
在步骤S403，图像处理单元18产生(拍摄)图像数据。特别地，基于光电转换数据(又称为“输入信号”或“原始”数据)，图像处理单元18执行分色处理、用于在显示屏上线性表示亮度的伽马校正处理、用于在不考虑光源温度等情况下表示白色的白平衡控制处理。通过所述分色处理，将输入的信号转换成所需的格式，例如YUV信号、RGB信号等。
然后，在步骤S404，在用于图像数据存储的存储器54或存储器22中存储图像处理单元18产生的图像数据。特别地，在用于图像数据存储的存储器54中存储通过正常曝光提取的图像数据，在存储器22中存储通过用于连续图像拍摄曝光提取的图像数据。
例如，对于每一图像拍摄装置预定连续图像拍摄曝光次数。然后，在步骤S405，确定是否实施了将用于连续图像拍摄的连续曝光次数增加一次(相应于正常曝光)(图13A和13B中曝光总共四次)的图像拍摄。
如果在步骤S405确定没有实施将预定次数增加一次的图像拍摄，则返回至步骤S401。
如果在步骤S405确定执行实施了将预定次数增加一次的图像拍摄，则在步骤S406基于通过例如图3所示的用于连续图像拍摄的曝光提取的多条图像数据来执行相机抖动校正处理，并获得一条图像数据。然后在用于图像数据存储的存储器54中存储图像数据。
在步骤S407，根据用户通过用户接口单元55发出的切换指令，在图像显示单元(图14中未示出)上交替显示存储在用于图像数据存储的存储器54中的两条图像数据(正常拍摄图像数据和校正了相机抖动的图像数据)。
用户检查交替显示在图像显示单元上的图像数据，并通过用户接口单元55向期望的图像数据发出确定指令来存储他/她所期望的图像数据。
在步骤S408，用户接口单元55输入这一确定指令作为选择结果，在步骤S409，将所选择的图像数据输出至例如在以后阶段中的存储器(图14中未示出)作为待存储的图像数据。
图16示出在第四优选实施例中的操作过程。
如图16所示，例如，在移动电话中，首先通过按压相机按钮(图14中未示出)在其显示屏上显示拍摄目标(将该显示屏用作相机取景器)。
然后，通过按压快门按钮，取消相机取景器显示屏，并提取在那个时间点拍摄的目标作为图像数据。
通过按压“”按钮，如步骤S407所示，将图像显示单元上显示的图像数据切换至下一图像数据。
通过按压确定按钮，存储在图像显示单元上显示的图像数据。
如上所述，在此第四优选实施例中，通过用户接口单元55选择和存储正常拍摄的图像数据或者校正了相机抖动的图像，或者以上两种数据。因此，例如，通过选择相机抖动很小的图像数据，可获得质量良好的、相机抖动的影响得到抑制的图像数据。
图17是第五优选实施例中包括从图像拍摄处理一直到所提取图像的存储处理的流程图。由在图14中所示的各单元来执行这一流程。
由于步骤S401至S405与图15中所示的步骤相同，所以这里省略对它们的描述。
(如果在步骤S405确定实施了将预定次数增加一次的图像拍摄，)则在步骤S501，在图像显示单元(图14中未示出)上显示通过正常曝光提取的、存储在用于图像数据存储的存储器54中的图像数据。
用户检查显示在图像显示单元上的通过正常曝光提取的图像数据，并确定是否保存。例如，如果用户期望存储该图像数据，则该用户通过用户接口单元55发送确定指令来存储该图像数据。
如果用户通过用户接口单元55按压“↓”按钮，则确定应该校正相机抖动，如果按压“清除”按钮，则确定不应该校正相机抖动。
用户接口单元55基于被按压按钮的类型确定在步骤S502是否校正相机抖动。
如果用户接口单元55确定不应该校正相机抖动，则处理进行步骤S506。
如果用户接口单元55确定应该校正相机抖动，则在步骤S503，例如如图3所示，基于通过用于连续图像拍摄的曝光而提取的多条图像数据来执行相机抖动校正，并获得一条图像数据。然后，在用于图像数据存储的存储器54中存储该图像数据。
在步骤S504，根据用户通过用户接口单元55发出的切换指令，在图像显示单元(在图14中未示出)上交替显示存储在用于图像数据存储的存储器54中的两条图像数据(正常拍摄的图像数据和校正了相机抖动的图像数据)。
用户检查交替显示在图像显示单元上的图像数据，并通过用户接口单元55向期望的图像数据发送确定指令来存储他/她所期望的图像数据。
在步骤S505，用户接口单元55输入这一确定指令作为选择结果，然后进行步骤S506。
在步骤S506，用户接口单元55将在步骤S505所选择的图像数据或正常拍摄的图像数据输出至例如在以后阶段中的存储器(图14中未示出)作为待存储的图像数据。
图18示出在第五优选实施例中的操作过程。
如图18所示，例如，在移动电话中，首先通过按压相机按钮(图14中未示出)在其显示屏上显示拍摄目标(将该显示屏用作相机取景器)。
然后，通过按压快门按钮，取消相机取景器显示屏，并提取在那个时间点拍摄的目标作为图像数据。
如果在图像显示单元上仅可显示一条正常拍摄图像，则通过按压确定按钮来存储在该图像显示单元上显示的图像数据，以及通过按压“↓”按钮来校正相机抖动。通过按压“清除”按钮，确定不校正相机抖动。
如果在图像显示单元上可显示正常拍摄图像和校正了相机抖动图像的两个图像，则通过按压确定按钮来存储在图像显示单元上显示的图像，以及通过按压“”按钮，如步骤S504所示，将该图像显示单元上显示的图像数据切换至下一图像数据。
图19是第六优选实施例中包括从图像拍摄处理一直到所提取图像的存储处理的流程图。由在图14中所示的各单元来执行这一流程。
由于步骤S401至S405与图15中所示的步骤相同，所以这里省略对它们的描述。
(如果在步骤S405确定实施了将预定次数增加一次的图像拍摄，)则在步骤S601，在图像显示单元(图14中未示出)上显示通过正常曝光提取的、存储在用于图像数据存储的存储器54中的图像数据。
用户检查显示在图像显示单元上的通过正常曝光提取的图像数据，并确定是否保存。例如，如果用户期望存储该图像数据，则该用户通过用户接口单元55发送确定指令来存储该图像数据。
如果用户期望在该图像显示单元上也显示校正了相机抖动的图像数据，则该用户通过用户接口单元55按压“↓”按钮。尽管在第五优选实施例中，利用按压“↓”按钮作为触发来校正相机抖动，但是在第六实施例中，校正相机抖动与步骤S601在图像显示单元上显示正常拍摄图像同时进行。
在步骤S602，用户接口单元55确定按压“↓”按钮作为在图像显示单元上显示校正了相机抖动的图像数据的操作。这样，在步骤S603正常拍摄图像和校正了相机抖动的图像进入到这样一种状态，即根据用户通过用户接口单元55发出的切换指令(例如通过按压“”按钮)，在该图像显示单元上可交替显示这两个图像。
如果在这种状态下，用户检查在图像显示单元上交替显示的图像数据，并通过用户接口单元55发出存储期望的图像数据的确定指令，则存储该图像数据。
在步骤S604，用户接口单元55输入这一确定指令作为选择结果，在步骤S605，将所选择的图像数据输出至例如在随后阶段中的存储器(图14中未示出)作为待存储的图像数据。
图20示出在第六优选实施例中的操作过程。
如图20所示，例如，在移动电话中，首先通过按压相机按钮(图14中未示出)在其显示屏上显示拍摄目标(将该显示屏用作相机取景器)。
然后，通过按压快门按钮，取消相机取景器显示屏，并提取在那个时间点拍摄的目标作为图像数据。
如果在图像显示单元上仅可显示一条正常拍摄图像，则通过按压确定按钮来存储在该图像显示单元上显示的图像数据，以及通过按压“↓”按钮，正常拍摄图像和校正了相机抖动的图像进入这样一种状态，即在图像显示单元上可显示这两个图像，特别地，除了正常拍摄图像数据之外，还可以挑选校正了相机抖动的图像数据作为待存储的候选图像数据。
在图像显示单元上可显示正常拍摄图像和校正了相机抖动的图像这两个图像的状态下，通过按压确定按钮来存储在图像显示单元上显示的图像，以及通过按压“”按钮，如步骤S603所示，将该图像显示单元上显示的图像数据切换至下一图像数据。
接下来，描述第七和第八优选实施例。
在这些实施例中，如同在第四至第六实施例中，实施单次图像拍摄(其中不校正相机抖动)和连续图像拍摄(其中校正相机抖动)，并提取多条图像数据(在单次图像拍摄和连续图像拍摄之间不存在顺序)。
第七优选实施例包括特征点提取单元56，以取代用户接口单元55。第八优选实施例包括S/N比计算单元57，以取代用户接口单元55。
图21示出第七优选实施例中涉及用于图像数据存储的存储器的各单元的框图。
在图21中，在检测正常拍摄图像和校正了相机抖动的图像的边界(轮廓)之后，特征点提取单元56通过仅从边界提取容易区分的特征部分(例如，高密度点、端点、顶点、分支点和交叉点)来获得上述特征点，其中所述边界(轮廓)指的是在图像中密度变化的分界线，其中所述正常拍摄图像和校正了相机抖动的图像存储在用于图像数据存储的存储器54中。然后，该特征点提取单元56确定该特征点的分辨率是否高，并将具有较高分辨率的图像输出至例如在随后阶段中的存储器(图21中未示出)，例如用于图像数据存储的存储器54。
图22是第七优选实施例中包括从图像拍摄处理一直到所提取图像的存储处理的流程图。
由于步骤S401至S405与图15中所示的步骤相同，所以这里省略对它们的描述。
(如果在步骤S405确定实施了将预定次数增加一次的图像拍摄，)则在步骤S701，例如如图3所示，基于通过用于连续图像拍摄的连续曝光所提取的多条图像数据校正相机抖动，并获得一条图像数据。然后，在用于图像数据存储的存储器54中存储该图像数据。
在步骤S702，在检测正常拍摄图像和校正了相机抖动的图像的边界(轮廓)之后，特征点提取单元56通过仅从边界提取容易区分的特征部分(例如，高密度点、端点、顶点、分支点和交叉点)来获得上述特征点，其中所述边界(轮廓)指的是在图像中密度变化的分界线，其中所述正常拍摄图像和校正相机抖动图像存储在用于图像数据存储的存储器54中。然后，该特征点提取单元56确定该特征点的分辨率是否高，并在步骤S703将具有较高分辨率的图像输出至例如在随后阶段中的存储器(图21中未示出)，例如用于图像数据存储的存储器54。
如上所述，在此第七优选实施例中，通过一图像拍摄指令，提取正常拍摄图像数据和校正了相机抖动的图像数据。然后，特征点提取单元56存储在正常拍摄图像数据和校正了相机抖动的图像数据中特征点分辨率较高的一个图像数据。因此，可获得相机抖动影响得到抑制的、质量良好的图像数据。
尽管如上所述，在第七优选实施例中，从每一图像提取特征点，但是也可以仅检测边界。在这种情况下，确定该边界的分辨率是否高，并将具有较高分辨率的图像输出至例如在随后阶段中的存储器(图21中未示出)，例如用于图像数据存储的存储器54。
图23示出第八优选实施例中涉及用于图像数据存储的存储器的各单元的框图。
在图23中，S/N比计算单元57对于存储在用于图像数据存储的存储器54中的每个正常拍摄图像和校正了相机抖动的图像计算S/N比，即通过将必要信号电平除包含在信号中的噪音电平所获得的值，并将S/N比较高的图像数据输出至例如在随后阶段中的存储器(图23中未示出)，例如用于图像数据存储的存储器54。
图24是第八优选实施例中包括从图像拍摄处理一直到所提取图像的存储处理的流程图。
由于步骤S401至S405与图15中所示的步骤相同，所以这里省略对它们的描述。
(如果在步骤S405确定实施了将预定次数增加一次的图像拍摄，)则在步骤S801，例如如图3所示，基于通过用于连续图像拍摄的连续曝光所提取的多条图像数据校正相机抖动，并获得一条图像数据。然后，在用于图像数据存储的存储器54中存储该图像数据。
在步骤S802，S/N比计算单元57对于存储在用于图像数据存储的存储器54中的每个正常拍摄图像和校正了相机抖动的图像计算S/N比，即通过将必要信号电平除包含在信号中的噪音电平所获得的值。在步骤S803，S/N比计算单元57将S/N比较高的图像输出至例如在随后阶段中的存储器(图23中未示出)，例如用于图像数据存储的存储器54。
如上所述，在此第八优选实施例中，通过一个图像拍摄指令，提取正常拍摄图像数据和校正了相机抖动的图像数据。然后，S/N比计算单元57存储正常拍摄图像数据和校正了相机抖动的图像数据中S/N比较高的图像数据，S/N比即通过将必要信号电平除包含在信号中的噪音电平所获得的值。因此，可获得相机抖动得到抑制的、质量良好的图像数据。
图像拍摄装置也可包括特征点提取单元56和S/N比计算单元57两者。在这种情况下，用户通过配置在例如移动电话的内建了图像拍摄装置的装置上的开关或用户接口单元55的特征点提取来确定是否对模糊校正给予优先级。如果对模糊校正给予优先级，则执行第七优选实施例的处理。如果不对模糊校正给予优先级，则执行第八优选实施例的处理。
图25是第七和第八优选实施例的组合流程图。
由于步骤S401至S405与图15中所示的步骤相同，所以这里省略对它们的描述。
(如果在步骤S405确定实施了将预定次数增加一次的图像拍摄，)则在步骤S901，例如如图3所示，基于通过用于连续图像拍摄的连续曝光所提取的多条图像数据校正相机抖动，并获得一条图像数据。然后，在用于图像数据存储的存储器54中存储该图像数据。
在步骤S902，确定当前模式是否为“模糊校正优先模式”。
如果在步骤S902，确定当前模式为“模糊校正优先模式”，则在步骤S903，在检测正常拍摄图像和校正了相机抖动的图像的边界(轮廓)之后，特征点提取单元56通过仅从边界提取容易区分的特征部分(例如，高密度点、端点、顶点、分支点和交叉点)来获得上述特征点，其中所述边界(轮廓)指的是在图像中密度变化的分界线，其中所述正常拍摄图像和校正了相机抖动的图像存储在用于图像数据存储的存储器54中。然后，该特征点提取单元56确定该特征点的分辨率是否高，并在步骤S905将分辨率较高的图像输出至例如在随后阶段中的存储器(图21和23中未示出)，例如用于图像数据存储的存储器54。
如果在步骤S902，没有确定当前模式是“模糊校正优先模式”，则在步骤S904，S/N比计算单元57对于存储在用于图像数据存储的存储器54中的每个正常拍摄图像和校正了相机抖动的图像计算S/N比，即通过将必要信号电平除包含在信号中的噪音电平所获得的值。在步骤S905，S/N比计算单元57将S/N比较高的图像输出至例如在随后阶段中的存储器(图21和23中未示出)，例如用于图像数据存储的存储器54。
图26示出存储介质的实例。
可通过图像数据处理装置81来实现根据本发明的相机抖动校正处理以及用于确定待存储图像的确定处理的预处理。可从存储装置85将用于本发明的处理的程序和数据加载至图像数据处理装置81的存储器上并执行。或者，也可从便携式存储介质83将所述程序和数据加载至图像数据处理装置81的存储器上并执行。或者，也可从外部存储装置82通过网络86将所述程序和数据加载至图像数据处理装置81的存储器上并执行。
权利要求
1.一种具有相机抖动校正功能的图像拍摄装置，包括图像传感器，将指定曝光时间内从拍摄目标接收的光进行光电转换处理，并输出光电转换数据；图像数据产生单元，基于所述光电转换数据产生图像数据；图像拍摄控制单元，根据图像拍摄指令将曝光控制信息输出至所述图像传感器，并提取一条或多条图像数据；以及校正单元，基于多条提取的图像数据产生一条校正了相机抖动的图像数据。
2.根据权利要求1所述的具有相机抖动校正功能的图像拍摄装置，还包括曝光控制单元，计算曝光时间和增益值作为曝光控制信息，所述增益值表示将所述光电转换数据放大多少倍；以及确定单元，确定计算的增益值是否等于或大于一预定阈值，其中如果确定所述增益值等于或大于所述阈值，则所述图像拍摄控制单元提取一条图像数据，以及如果确定所述增益值小于所述阈值，则所述图像拍摄控制单元提取用于相机抖动校正的多条图像数据。
3.根据权利要求1所述的具有相机抖动校正功能的图像拍摄装置，还包括曝光控制单元，计算曝光时间和增益值作为曝光控制信息，所述增益值表示将所述光电转换数据放大多少倍；以及确定单元，确定设置的数字缩放倍率值是否等于或大于一预定阈值，其中如果确定所述数字缩放倍率值等于或大于所述阈值，则所述图像拍摄控制单元提取用于正常图像拍摄的一条图像数据，以及如果确定所述数字缩放倍率值小于所述阈值，则所述图像拍摄控制单元提取用于相机抖动校正的多条图像数据。
4.根据权利要求3所述的具有相机抖动校正功能的图像拍摄装置，其中所述阈值设置在所述数字缩放倍率范围起始位置的附近，在所述数字缩放倍率范围起始位置的附近，由于基于多条图像数据的相机抖动校正，特别是由于多个图像的重叠所导致的模糊明显扩展。
5.根据权利要求1所述的具有相机抖动校正功能的图像拍摄装置，还包括曝光控制单元，计算曝光时间和增益值，所述增益值表示将所述光电转换数据放大多少倍；曝光时间阈值获取单元，基于缩放倍率/曝光时间阈值存储单元来获得与设定的数字缩放倍率相应的曝光时间阈值，其中该缩放倍率/曝光时间阈值存储单元存储相对于数字缩放倍率值的容许曝光时间阈值；以及确定单元，确定计算的曝光时间是否等于或小于所获得的曝光时间阈值，其中如果确定计算的曝光时间等于或小于所获得的曝光时间阈值，则所述图像拍摄控制单元提取用于正常图像拍摄的一条图像数据，以及如果确定计算的曝光时间大于所获得的曝光时间阈值，则所述图像拍摄控制单元提取用于相机抖动校正的多条图像数据。
6.根据权利要求5所述的具有相机抖动校正功能的图像拍摄装置，其中在所述缩放倍率/曝光时间阈值存储单元中，各曝光时间阈值指定为与属于一范围内的数字缩放倍率值成反比例，在此范围内，由于基于多条图像数据的相机抖动校正，特别是由于多个图像的重叠所导致的模糊扩展不明显。
7.根据权利要求1所述的具有相机抖动校正功能的图像拍摄装置，其中所述图像拍摄控制单元根据图像拍摄指令输出曝光控制信息至所述图像传感器，实施不校正相机抖动的正常图像拍摄以及用于相机抖动校正的连续图像拍摄并提取多条图像数据；以及所述图像拍摄装置还包括用户接口单元，用于选择和存储正常图像拍摄的图像数据和校正了相机抖动的由所述校正单元获得的图像数据两种数据或其中一种数据。
8.根据权利要求1所述的具有相机抖动校正功能的图像拍摄装置，其中所述图像拍摄控制单元根据图像拍摄指令输出曝光控制信息至所述图像传感器，实施不校正相机抖动的正常图像拍摄以及用于相机抖动校正的连续图像拍摄并提取多条图像数据；以及所述图像拍摄装置还包括边界提取单元，提取通过正常图像拍摄的图像数据和校正了相机抖动的由所述校正单元获得的图像数据的边界，其中所述边界是在每一图像中密度变化的分界线；以及存储单元，存储被提取边界的分辨率较高的图像数据。
9.根据权利要求8所述的具有相机抖动校正功能的图像拍摄装置，还包括特征点提取单元，从提取的边界提取特征点，其中所述存储单元存储被提取特征点的分辨率较高的图像数据。
10.根据权利要求1所述的具有相机抖动校正功能的图像拍摄装置，其由所述图像拍摄控制单元根据图像拍摄指令输出曝光控制信息至所述图像传感器，实施不校正相机抖动的正常图像拍摄以及用于相机抖动校正的连续图像拍摄并提取多条图像数据；以及所述图像拍摄装置包括信噪比计算单元，计算信噪比，所述信噪比是通过对于正常图像拍摄的图像数据和校正了相机抖动的由所述校正单元获得的图像数据将必要信号电平除包含在信号中的噪音电平来获得的值；以及存储单元，存储计算的信噪比较高的图像数据。
11.一种相机抖动校正方法，包括使用光电传感器将指定曝光时间内从拍摄目标接收的光进行光电转换，并输出光电转换数据的步骤；基于所述光电转换数据产生图像数据的图像数据产生步骤；根据图像拍摄指令将曝光控制信息输出至所述图像传感器，并提取一条或多条图像数据的图像拍摄控制步骤；以及基于多条提取的图像数据产生一条校正了相机抖动的图像数据的校正步骤。
12.根据权利要求11所述的相机抖动校正方法，还包括计算曝光时间和增益值的曝光控制步骤，所述增益值表示将光电转换数据放大多少倍；以及确定计算的增益值是否等于或大于一预定阈值的确定步骤，其中如果确定所述增益值等于或大于所述阈值，则在所述图像拍摄控制步骤提取用于正常图像拍摄的一条图像数据，以及如果确定所述增益值小于所述阈值，则在所述图像拍摄控制步骤提取用于相机抖动校正的多条图像数据。
13.根据权利要求11所述的相机抖动校正方法，还包括计算曝光时间和增益值的曝光控制步骤，所述增益值表示将光电转换数据放大多少倍；以及确定设置的数字缩放倍率值是否等于或大于一预定阈值的确定步骤，其中如果确定所述数字缩放倍率值等于或大于所述阈值，则在所述图像拍摄控制步骤提取用于正常图像拍摄的一条图像数据，以及如果确定所述数字缩放倍率值小于所述阈值，则在所述图像拍摄控制步骤提取用于相机抖动校正的多条图像数据。
14.根据权利要求11所述的相机抖动校正方法，还包括计算曝光时间和增益值的曝光控制步骤，所述增益值表示将光电转换数据放大多少倍；基于缩放倍率/曝光时间阈值存储单元来获得与设定的数字缩放倍率相应的曝光时间阈值的曝光时间阈值获取步骤，其中该缩放倍率/曝光时间阈值存储单元存储相对于数字缩放倍率值的容许曝光时间阈值；以及确定计算的曝光时间是否等于或小于所获得的曝光时间阈值的确定步骤，其中如果确定计算的曝光时间等于或小于所获得的曝光时间阈值，则在所述图像拍摄控制步骤提取用于正常图像拍摄的一条图像数据，以及如果确定计算的曝光时间大于所获得的曝光时间阈值，则在所述图像拍摄控制步骤提取用于相机抖动校正的多条图像数据。
15.根据权利要求11所述的相机抖动校正方法，其中在所述图像拍摄控制步骤，通过根据图像拍摄指令输出曝光控制信息至图像传感器和实施不校正相机抖动的正常图像拍摄以及用于相机抖动校正的连续图像拍摄，来提取多条图像数据；所述相机抖动校正方法还包括提取正常拍摄图像数据和在校正步骤获得的校正了相机抖动的图像数据的边界的边界提取步骤，其中所述边界是在每一图像中密度变化的分界线；以及所述相机抖动校正方法还包括存储被提取边界的分辨率较高的图像数据的存储步骤。
16.根据权利要求11所述的相机抖动校正方法，其中在所述图像拍摄控制步骤，通过根据图像拍摄指令输出曝光控制信息至图像传感器和实施不校正相机抖动的正常图像拍摄以及用于相机抖动校正的连续图像拍摄，来提取多条图像数据；所述相机抖动校正方法还包括计算信噪比的信噪比计算步骤，所述信噪比是通过对于正常拍摄图像数据和在校正步骤获得的校正了相机抖动的图像数据将必要信号电平除包含在信号中的噪音电平来获得的值；以及所述相机抖动校正方法还包括存储计算的信噪比较高的图像数据的存储步骤。
17.一种存储介质，在该存储介质上记录一种预处理程序，该预处理程序使得用于处理图像数据的图像数据处理装置确定是否执行相机抖动校正，该预处理程序使得所述图像数据处理装置执行以下步骤获得曝光时间和增益值作为曝光控制信息的步骤，其中所述曝光时间为从图像拍摄目标接收光的时间，所述增益值表示将光电转换数据放大多少倍，所述光电转换数据是通过将从控制曝光的单元接收的光进行光电转换而获得的；将获得的曝光控制信息输出至用于执行图像拍摄处理的单元的图像拍摄指令步骤。
18.根据权利要求17所述的存储介质，其中该预处理程序还包括确定所获得的增益值是否等于或大于一预定阈值的确定步骤；如果确定所述增益值等于或大于所述阈值，则在所述图像拍摄控制步骤发送提取用于正常图像拍摄的一条图像数据的指令，以及如果确定所述增益值小于所述阈值，则在所述图像拍摄控制步骤发送提取用于产生校正了相机抖动的一条图像数据的多条图像数据的指令。
19.根据权利要求17所述的存储介质，其中该预处理程序还包括确定设置的数字缩放倍率值是否等于或大于一预定阈值的确定步骤；如果确定所述数字缩放倍率值等于或大于所述阈值，则在所述图像拍摄控制步骤发送提取用于正常图像拍摄的一条图像数据的指令，以及如果确定所述数字缩放倍率值小于所述阈值，则在所述图像拍摄控制步骤发送提取用于产生校正了相机抖动的一条图像数据的多条图像数据的指令。
20.根据权利要求17所述的存储介质，其中该预处理程序还包括基于缩放倍率/曝光时间阈值存储单元来获得与设定的数字缩放倍率相应的曝光时间阈值的曝光时间阈值获取步骤，其中该缩放倍率/曝光时间阈值存储单元存储相对于数字缩放倍率值的容许曝光时间阈值；以及确定获得的曝光时间是否等于或小于所获得的曝光时间阈值的确定步骤，如果确定所述曝光时间等于或小于所获得的曝光时间阈值，则在所述图像拍摄控制步骤发送提取用于正常图像拍摄的一条图像数据的指令，以及如果确定所述曝光时间大于所获得的曝光时间阈值，则在所述图像拍摄控制步骤发送提取用于产生校正了相机抖动的一条图像数据的多条图像数据的指令。
全文摘要
本发明提供一种具有相机抖动校正功能的图像拍摄装置，其能够避免由于执行相机抖动校正而产生的图像质量的降低。本发明的图像拍摄装置的图像拍摄控制单元可配置为基于确定单元的确定结果来选择提取用于正常图像拍摄的一条图像数据或者提取用于相机抖动校正的多条图像数据。所述图像拍摄控制单元还可配置为提取用于正常图像拍摄的一条图像数据和用于相机抖动校正的多条图像数据。
文档编号G03B7/00GK101060591SQ200610164668
公开日2007年10月24日 申请日期2006年12月15日 优先权日2006年4月18日
发明者中条薰, 若松隆, 中井丈裕, 泉泽映文, 川胜保博, 广濑正幸 申请人:富士通株式会社