专利名称：成像器件、产品组件以及半导体集成电路的制作方法
技术领域：
本发明涉及一种图像拾取装置，其可以获得校正振动运动所需的轨迹信息，还涉及一种包括图像拾取装置和其上记录有程序的记录介质的产品组件(package)，以及半导体集成电路。
背景技术：
作为一种校正照相机振动的图像的方法，已知有光学照相机振动校正方法以及电子振动运动校正方法(例如，参见下面的参考文件1)。
作为校正静态图像的照相机振动的技术，使用光学照相机振动校正方法的技术已经为人所知。
作为校正运动图像的照相机振动的技术，使用电子照相机振动校正方法的技术已经为人所知。这项技术不需要任何光学驱动部分。因此，可以减小装置的尺寸。
参考文件1日本专利公开出版物No.60-143330发明内容使用光学照相机振动校正方法对于拍摄静态图像而不降低图像质量是很有效的。然而，这项技术需要光学驱动部分。为此，就限制了该装置尺寸的减小。
使用电子照相机振动校正方法的技术不需要任何光学驱动部分。因此，可以减小该装置的尺寸。然而，曾经认为这种技术对于校正静态图像的相机振动是没有效果的。这是因为此技术仅在多帧之间执行校正，并且在原理上不可能对于包括单个帧的静态图像执行照相机振动校正。
本发明的目的在于提供一种图像拾取装置，其可以获得校正振动运动所需的轨迹信息，还提供一种包括图像拾取装置和具有程序记录其上的记录介质的产品组件，以及半导体集成电路。
本发明的一种图像拾取装置包括振动运动探测部分，用于探测图像拾取装置的振动运动并输出表示图像拾取装置振动运动的振动运动探测信号；成像部分，用于通过汇聚入射到图像拾取装置上的光来形成光学图像；图像拾取部分，用于将成像部分形成的光学图像转换成电子视频信息；以及轨迹计算部分，用于至少基于振动运动探测部分输出的振动运动探测信号，来获得表示图像拾取装置振动运动轨迹的轨迹信息。
该轨迹计算部分可以获得在预定时间周期内表示振动运动探测信号改变的信息，作为轨迹信息。
振动运动探测部分可以包括角速度传感器，且轨迹计算部分可以获得通过积分角速度传感器输出得到的角度信息，还可以获得表示在预定时间周期内角度信息改变的信息作为轨迹信息。
角速度传感器可以是振荡陀螺仪，其具有多个彼此不同的振荡频率。
该轨迹计算部分可以获得表示对图像拾取装置振动运动加权的轨迹的信息，作为轨迹信息。
该轨迹计算部分可以获得点扩散函数PSF作为轨迹信息。
该轨迹计算部分可以确定图像拾取装置的振动运动中时间上的改变量是否大于预定阈值，并可以依照确定的结果确定多个样本。
该图像拾取装置还可以包括输出部分，用于通过将轨迹信息添加到视频信息中来产生Exif格式的数据，并且用于输出Exif格式的数据。
该轨迹计算部分可以至少基于聚焦信息、变焦信息以及振动探测信号来获得轨迹信息。
该图像拾取装置还可以包括电子振动运动校正部分，用于对轨迹信息和视频信息执行计算处理，从而获得校正的视频信息，其中该校正的视频信息经受了振动运动校正。
电子振动运动校正部分可以确定振动运动探测信号是否大于预定阈值，并且在确定了振动运动探测信号大于预定阈值的时候，该电子振动运动校正部分可以不校正视频信息中的振动运动。
该计算处理可以包括傅立叶变换，反傅立叶变换或是使用二维滤波器的处理。
该轨迹信息可以包括轨迹函数h，该计算处理可以包括h的傅立叶变换计算，或是使用h的傅立叶变换的结果的计算，或者该计算处理可以包括反傅立叶变换的计算，其是h的傅立叶变换的逆，或是包括使用作为h的傅立叶变换的逆的反傅立叶变换结果的计算。
图像拾取装置还可以包括处理量计算部分，用于计算校正视频信息振动运动所需的计算处理量。
当计算处理量或振动运动量超过预定值的时候，在显示部分上作出表示超出情形的显示和/或从扬声器产生表示超出情形的声音。
在计算处理量超过预定值的时候，可以输出没有经受振动运动校正的视频信息，并且在计算处理量在预定范围内的时候，可以输出视频信息中经受了振动运动校正的校正视频信息。
在显示部分上显示视频信息之后的特定时间，可以在显示部分上显示校正的视频信息。
电子振动运动校正部分中振动运动校正的计算处理完成的时间可以被用作该特定时间。
该图像拾取装置还可以包括最大振动运动量计算部分，用于接收振动运动校正部分的校正视频信息，并用于计算每个方向振动运动的最大振动运动量；以及修剪(trimming)部分，用于依照最大振动运动量来修剪校正的视频信息，从而产生修剪的校正视频信息。
该图像拾取装置可以包括设定部分，用于设定第一修剪模式或第二修剪模式，其中在该第一修剪模式中，该修剪部分可以依照最大振动运动量来修剪校正的视频信息，从而产生第一修剪校正视频信息，并且在第二修剪模式中，修剪部分可以修剪第一修剪校正视频信息，使得像素的中心对应于第一修剪校正视频信息的中心像素，从而产生第二修剪校正视频信息，该中心像素为位于每个方向中视频信息中心上的像素。
图像拾取装置还可以包括机械振动运动校正部分，用于依照振动运动探测信号来机械地校正图像拾取装置的振动运动，从而获得校正的视频信息，该校正的视频信息经受了通过实际振动运动校正量对视频信息中振动运动的校正，其中该轨迹计算部分可以获得表示预定时间周期内该振动运动探测信号和该实际振动运动校正量之间差异的变化的信息，作为轨迹信息。
轨迹信息可以是Exif格式的。
机械振动运动校正部分可以依照振动运动探测信号机械地校正图像拾取装置的振动运动，从而获得第一校正视频信息，该第一校正视频信息经受了以第一振动运动校正量对视频信息中振动运动的校正，轨迹计算部分可以获得表示预定时间周期内剩余振动运动量的变化的信息，作为轨迹信息，该剩余振动运动量表示实际振动运动校正量和第一振动运动校正量之间的差异，且该图像拾取装置还可以包括电子振动运动校正部分，用于对轨迹信息和第一校正视频信息执行计算处理，从而获得第二校正视频信息，该第二校正视频信息经受了通过第二振动运动校正量对第一校正视频信息中振动运动的校正。
该计算处理可以包括傅立叶变换、反傅立叶变换或是使用二维滤波器的处理。
该轨迹信息可以包括轨迹函数h，且该计算处理可以包括h的傅立叶变换计算或是使用h的傅立叶变换结果的计算，或者该计算处理可以包括反傅立叶变换的计算，其是h的傅立叶变换的逆，或是包括使用作为h的傅立叶变换的逆的反傅立叶变换结果的计算。
该机械振动运动校正部分可以基于作为成像部分部件的透镜的位置信息，来计算该第一振动运动校正量。
该机械振动运动校正部分可以基于振动运动探测信号以及机械振动运动校正部分的振动运动控制特性，来计算第一振动运动校正量。
该振动运动探测部分可以包括第一振动运动探测部分，用于探测图像拾取装置振动运动中俯仰(pitch)方向上的振动运动和偏转(yaw)方向中的振动运动；以及第二振动运动探测部分，用于探测图像拾取装置振动运动中侧滚(roll)方向上的振动运动，该轨迹计算部分可以获得表示预定时间周期内第二振动运动探测部分输出的探测信号改变的信息，作为轨迹信息，且该图像拾取装置还可以包括机械振动运动校正部分，用于获得第一校正视频信息，该第一校正视频信息依照第一振动运动探测部分输出的探测信号经受了俯仰方向上的振动运动校正和偏转方向上振动运动的校正。
该图像拾取装置还可以包括用于将轨迹信息添加到校正的视频信息上以用于输出，或是用于将该轨迹信息记录到记录介质上的部分。
该轨迹信息可以是Exif格式或是类似于Exif格式的格式。
该图像拾取装置还可以包括电子振动运动校正部分，用于获得第二校正的视频信息，通过对侧滚方向上轨迹信息和第一校正视频信息执行计算处理，该信息经受了对第一校正视频信息中振动运动的校正。
该计算处理可以包括傅立叶变换、反傅立叶变换、或是使用二维滤波器的处理。
该轨迹信息可以包括轨迹函数h，且该计算处理可以包括h的傅立叶变换计算或是使用h的傅立叶变换结果的计算，或者该计算处理可以包括反傅立叶变换的计算，其是h的傅立叶变换的逆，或是包括使用作为h的傅立叶变换的逆的反傅立叶变换结果的计算。
本发明的方法包括接收包括轨迹信息和视频信息的图像信息，该轨迹信息表示图像拾取装置的振动运动轨迹；将该图像信息分离成轨迹信息和视频信息；并且获得校正的视频信息，通过对该轨迹信息和该视频信息进行计算处理，该校正的视频信息经过了该视频信息中振动运动的校正。
该轨迹信息可以是Exif格式的。
该计算处理可以包括傅立叶变换或是反傅立叶变换。
该轨迹信息可以是加权的轨迹或点扩散函数。
本发明的一种产品组件包括图像拾取装置和记录介质，其中该图像拾取装置包括振动运动探测部分，用于探测该图像拾取装置的振动运动，并用于输出表示该图像拾取装置的振动运动的振动运动探测信号；成像部分，用于通过汇聚入射到该图像拾取装置上的光来形成光学图像；图像拾取部分，用于将该成像部分形成的光学图像转换成电子视频信息；轨迹计算部分，用于至少基于该振动运动探测部分输出的振动运动探测信号，来获得表示图像拾取装置振动运动轨迹的轨迹信息；以及输出部分，用于将该轨迹信息添加到该视频信息中，以输出图像信息，并且该记录介质具有记录其上的程序，该程序用于使得计算机执行处理，该处理包括接收该图像信息；将该图像信息分离成轨迹信息和视频信息；并获得该校正的视频信息，其通过对该轨迹信息和该视频信息进行计算处理，经受了该视频信息中振动运动的校正。
该轨迹信息可以是Exif格式。
该计算信息可以包括傅立叶变换，反傅立叶变换或是使用二维滤波的处理。
该轨迹信息可以包括轨迹函数h，且该计算处理可以包括h的傅立叶变换计算或是使用h傅立叶变换结果的计算，或者该计算处理可以包括反傅立叶变换的计算，其是h的傅立叶变换的逆，或是包括使用作为h的傅立叶变换的逆的反傅立叶变换结果的计算。
该轨迹信息可以是加权的轨迹或点扩散函数。
本发明的一种产品组件包括图像拾取装置和记录介质，其中该图像拾取装置包括振动运动探测部分，用于探测该图像拾取装置的振动运动，并用于输出表示该图像拾取装置的振动运动的振动运动探测信号；成像部分，用于通过汇聚入射到图像拾取装置上的光来形成光学图像；图像拾取部分，用于将该成像部分形成的光学图像转换成电子视频信息；轨迹计算部分，用于至少基于该振动运动探测部分输出的振动运动探测信号，来获得表示图像拾取装置振动运动轨迹的轨迹信息；机械振动运动校正部分，用于依照振动运动探测信号来机械地校正图像拾取装置的振动运动，从而获得校正的视频信息，该校正的视频信息经受了通过实际振动运动校正量对视频信息中振动运动的校正，以及输出部分，用于将该轨迹信息添加到该视频信息中，以输出图像信息，该轨迹计算部分可以获得表示预定时间周期内该振动运动探测信号和该实际振动运动校正量之间差异的变化的信息，作为轨迹信息，并且该记录介质具有记录其上的程序，该程序用于使得计算机执行处理，该处理包括接收该图像信息；将该图像信息分离成轨迹信息和视频信息；并获得校正的视频信息，其通过对该轨迹信息和该视频信息进行计算处理，经受了该视频信息中振动运动的校正。
该轨迹信息可以是Exif格式。
该计算处理可以包括傅立叶变换，反傅立叶变换或是使用二维滤波的处理。
该轨迹信息可以是加权的轨迹或点扩散函数。
本发明的一种半导体集成电路包括轨迹计算部分，用于至少基于探测该图像拾取装置的振动运动的振动运动探测部分输出的振动运动探测信号，来获得表示图像拾取装置振动运动轨迹的轨迹信息。
该半导体集成电路还可以包括电子振动运动校正部分，用于获得校正的视频信息，其通过对该轨迹信息和该视频信息进行计算处理，经受了该视频信息中振动运动的校正。
该半导体集成电路还可以包括机械振动运动校正部分，用于依照振动运动探测信号来机械地校正图像拾取装置的振动运动，从而获得校正的视频信息，该校正的视频信息经受了通过实际振动运动量对视频信息中振动运动的校正，其中该轨迹计算部分可以获得表示预定时间周期内该振动运动探测信号和该实际振动运动校正量之间差异的变化的信息，作为轨迹信息。
该振动运动探测部分可以包括第一振动运动探测部分，用于探测图像拾取装置振动运动中俯仰方向上的振动运动和偏转方向中的振动运动；以及第二振动运动探测部分，用于探测图像拾取装置振动运动中侧滚方向上的振动运动，该轨迹计算部分可以获得表示预定时间周期内第二振动运动探测部分输出的探测信号改变的信息，作为轨迹信息，且该半导体集成电路还可以包括机械振动运动校正部分，用于获得第一校正视频信息，该信息依照第一振动运动探测部分输出的探测信号经受了俯仰方向上的振动运动校正和偏转方向上振动运动的校正。
依照本发明的图像拾取装置，可以获得校正振动运动所需的轨迹信息。可以将该轨迹信息输出到图像拾取装置之外的设备(例如，计算机)。以此配置，可以在图像拾取装置外部的设备(例如，计算机)，执行需要大量处理的振动运动校正。
用本发明的产品组件和半导体集成电路可以获得同样的效果。
附图简述
图1是示出本发明实施方式的图像拾取装置100的图；图2是示出振动运动探测部分15的结构的图；图3是示出本发明实施方式校正振动运动的操作的图；图4是示出本发明实施方式遮罩操作的图；图5是示出像素数目和帧频之间关系的图；图6是示出包括分成四个部分的像素区域的图像拾取部分5的结构的图；图7是示出本发明实施方式增加帧率的情况下操作的图；图8是示出本发明实施方式图像拾取处理(步骤50a到50f)的过程的流程图；图9是示出本发明实施方式图像拾取处理(步骤51a到51f)的过程的流程图；图10是示出本发明实施方式图像拾取处理(步骤52a到52t)的过程的流程图；图11是示出本发明实施方式的顺序计算处理的过程的流程图；图12是示出本发明实施方式的同时计算处理的过程的流程图；图13是流程图，示出依照拍摄图像位置中亮度和快门速度(曝光时间)而积分多个图像(分开的图像)来校正振动运动的处理的过程；图14是流程图，示出通过在平面内(in-plane)方向添加像素和在时间轴方向上添加像素而改变分辨率的处理的过程；图15是视图，示出依照本发明实施方式，通过设置比实际像素数目更大的像素数目而校正振动运动的原理；图16是示出在平面内方向添加像素的方法的图17是说明图像剪切位置移动的图；图18是视图，示出降低插值(reducing interpolation)原理、扩大插值(enlarging interpolation)原理和以高分辨率校正振动运动的原理；图19是流程图，示出对于振动运动探测失败的图像去除处理的过程；图20是示出本发明实施方式图像拾取装置200的结构的图；图21是示出图像拾取装置200包括的显示部分95的例子的图；图22是示出图像拾取装置200包括的显示部分95的另一个例子的图；图23是示出用于以摇拍(panning)方式或全景方式拍摄图片的边界指示器97的显示的图；图24是示出在帧内探测振动运动的探测点的图；图25是示出本发明实施方式图像拾取装置1的图；图26是示出本发明实施方式振动运动探测信号的采样的图；图27是示出本发明实施方式采集的图像的修剪和扩大的图；图28是示出本发明实施方式图像拾取处理过程(步骤127到127j)的流程图；图29是示出本发明实施方式图像拾取处理过程(步骤128a到128g)的流程图；图30是示出本发明实施方式图像拾取装置1的图；图31是示出本发明实施方式输出z方向轨迹数据的图像拾取装置的图；图32是示出本发明实施方式执行z方向振动运动校正的图像拾取装置的图；图33是示出本发明实施方式执行光学校正和数据处理校正的图像拾取装置的图；图34是示出本发明实施方式计算振动运动校正的图；图35是示出本发明实施方式图像拾取装置的组合，以及校正处理程序和执行校正处理的计算机的图；图36是示出本发明实施方式图像拾取装置中包括的校正量探测部分的结构的图。
2透镜部分4自动聚焦部分5图像拾取部分6变焦部分8子图像存储器9振动运动校正部分10显示切换部分11显示电路12显示部分13记录部分14记录介质15振动运动探测部分16第一存储器17第二存储器18计算部分20遮罩部分21振动运动校正控制部分22修剪(trimming)部分23像素转移部分24分辨率改变部分25快门按钮25a抽取控制部分26CPU27时钟控制部分28处理时钟供应部分29计算部分29a子计算部分30主图像存储器
32转移时钟供应部分36振动器37扬声器39亮度部分提取部分40帧率改变部分100图像拾取装置101角速度探测部分102采样电路103点104采样频率产生部分105数据压缩部分106图像拾取信息添加部分107Exif数据108校正图像输出部分109开关部分110输出数据产生部分111振动运动量测量部分112采集的图像113轨迹数据114外部存储介质115振动运动校正部分116处理量计算部分117快门118快门打开周期控制部分119快门按钮120图像存储器121反傅立叶变换部分122扩大部分(主要文字需要校正)123修剪部分125减小部分
126中心(修剪之后)126a中心(原始图像)127步骤(图28)128步骤(图29)129修剪的图像130处理状态指示器131标记(在校正处理期间)132显示部分12的显示屏幕133显示“等待”134轨迹标记135二维滤波器136积分器137汇聚调整部分140透镜驱动部分141振动运动校正控制部分142振动运动校正量计算部分143差异部分145警告部分146数据输出部分147输出图像148计算部分150计算机151记录介质152组件153校正处理程序155振动运动校正透镜156驱动马达157透镜位置探测部分158霍尔元件159振动运动校正量
160振动运动校正部分的控制频率特性161传递函数162振动运动校正量发明详述此后，本发明的实施方式将参照附图在下面进行描述。
1.图像拾取装置图1示出本发明实施方式的图像拾取装置100。
图像拾取装置100在预定曝光周期期间拍摄静止图像(即，静态图像)。该图像拾取装置100包括透镜部分2，用于接收从图像拾取装置100之外入射到图像拾取装置100上的光；自动对焦部分4，用于自动调整光3的对焦；变焦部分6，用于设置透镜部分2的变焦比；以及图像拾取部分5。在图像拾取部分5上形成光学图像。该图像拾取部分5输出表示形成的光学图像的数据。该图像拾取部分5是，例如，CCD或MOS型成像器件。来自透镜部分2的光3的聚焦由自动聚焦部分4自动调整。透镜部分2的变焦比由变焦部分6设置。在图像拾取部分5上形成光学图像7。
图像拾取装置100还包括显示切换部分10；显示电路11；显示部分12；记录部分13和记录介质14。当拍摄静态图像而没有校正表示静态图像的静态图像数据中任何振动运动的时候，从图像拾取部分5输出的输出图像直接发送到显示切换部分10。在显示静态图像的时候，从图像拾取部分5输出的输出数据由显示电路11显示在显示部分12上。在记录静态图像的时候，从图像拾取部分5输出的输出数据就通过记录部分13记录在记录介质14上。
图像拾取装置100还包括快门按钮25；子图像存储器8，用于存储数据；振动运动探测部分15，用于探测代表拍摄的静态图像的多个图像(帧)之间的振动运动量；振动运动校正部分9，用于依照探测的振动运动量，校正表示多个图像(帧)的多条图像信息；振动运动校正控制部分21；修剪部分22，控制为在纵向上去除振动运动；分辨率改变部分24，用于改变屏幕数据表示的图像的分辨率；抽取(decimation)控制部分25a；像素转移部分23；以及帧率改变部分40，用于依照振动运动量改变帧率。振动运动探测部分15包括计算部分18，用于计算输入到振动运动探测部分15的数据，第一存储器16以及第二存储器17。振动运动校正控制部分21，控制每个部件，以依照探测的振动运动量校正从图像拾取部分5输出的输出数据。
在校正表示静态图像的静态图像数据中的振动运动的同时(即，在振动运动校正模式设置为“开”)拍摄静态图像的时候，在快门按钮25被按下之前，从图像拾取部分5输出的输出数据在子图像存储器8中累积。图像拾取部分5输出的输出数据输入振动运动探测部分15。计算部分18计算输入到振动运动探测部分15中的多个输出数据(例如，第(n-1)个图像数据(即，先前屏幕数据)以及第n个图像数据(即，当前屏幕数据))，从而获得表示振动运动的振动运动信息。该振动运动信息是运动矢量19。在图像拾取装置100包括纵向振荡陀螺仪以及横向振荡陀螺仪的时候，还可以探测纵向的振动运动量以及横向的振动运动量。在此情况下，振动运动信息是纵向的振动运动量以及横向的振动运动量。
振动运动校正控制部分21控制修剪部分22和像素转移部分23，使得可以去除纵向的振动运动。振动运动校正控制部分21控制振动运动校正部分9，使得可以去除横向的振动运动。因此，可以校正在图像数据纵向中的振动运动和在图像数据中横向的振动运动。结果，可以获得经受振动运动校正的图像数据。
经受振动运动校正的图像数据经过显示切换部分10顺序输出到显示部分12。在显示部分12上，用户可以视觉上分辨出预定帧率的经受振动运动校正的连续图像。
在显示部分12上还可以显示对应于整个图像的一部分的图像，其中该整个图像由经受了振动运动校正的图像数据表示。因此，可以准确地执行对于对象的取景。在此情况下，通过分辨率改变部分24和抽取控制部分25a，分辨率被设置成低于拍摄静态图像的时候的分辨率。因此，可以增加帧率，由此增加每秒钟显示的帧的数目。因此，用户可以视觉上更平稳地分辨出对象图像。
记录部分13可以在记录介质14上记录具有高帧率的多个图像作为运动图像。
分辨率改变部分24依照例如亮度，振动运动量和变焦率中至少一个改变多个帧的分辨率。
图像拾取装置100还包括时钟控制部分27；转移时钟供应部分32；处理时钟供应部分28；以及CPU 26。在用户半按下快门按钮的时候，CPU 26提供指令给时钟控制部分27，使得处理时钟供应部分28开始时钟操作(例如，计算部分29等的时钟)或者增加时钟速度。
图像拾取装置100还包括主图像存储器30，用于存储经受振动运动校正的多个图像信息；计算部分29，用于基于存储在存储部分中的多个图像信息，产生表示静态图像的静态图像信息；以及子计算部分29a。将在后面提供计算部分29，主图像存储器30以及子计算部分29a的功能的详细描述。
图像拾取装置100还包括遮罩部分20以及亮度部分提取部分39。将在后面提供遮罩部分20以及亮度部分提取部分39的功能的详细描述。
图像拾取装置100还包括振动器36以及扬声器37。将在后面提供振动器36以及扬声器37的功能的详细描述。
图2示出振动运动探测部分15的结构。振动运动探测部分15包括计算部分18，第一存储器16和第二存储器17。
第一存储器16中，存储表示在时间t＝tn-1拍摄的图像Dn-1的图像数据。在第二存储器17中，存储表示在时间t＝tn拍摄的图像Dn的图像数据。基于表示两幅图像的数据(表示图像Dn-1和表示图像Dn的图像数据)，探测到两个图像数据(即，表示图像Dn-1和表示图像Dn的图像数据)间的振动运动量(例如，运动矢量(x1，y1))，并且输出表示振动运动量的数据。
2.校正振动运动的操作图3示出依照本发明实施方式校正振动运动的操作。该振动运动是由操作者的至少一只手造成的。
图像Dn＝1表示在时间n＝1的时候拍摄的图像，图像Dn＝2表示在时间n＝2的时候拍摄的图像，图像Dn＝3表示在时间n＝3的时候拍摄的图像，且图像Dn＝4表示在时间n＝4的时候拍摄的图像。
表示图像Dn＝1的图像数据存储在主存储器30中。
依照振动运动量M2(M2＝x0+x1，y0+y1))校正表示图像Dn＝2的图像数据。通过计算部分29，校正的图像数据被添加到存储在主存储器30中的，表示图像Dn＝1的图像数据上。表示相加结果的数据存储在主存储器30中。由于校正的图像数据被添加到表示图像Dn＝1的图像数据中，对象的静态部分就准确重叠。结果，增加了图像的SN比。
表示图像Dn＝3的图像数据依照振动运动量M3(M3＝x0+x1+x2，y0+y1+y2))而校正。通过计算部分29，校正的图像数据被添加到存储在主图像存储器30中的、表示相加结果的数据上。表示相加结果的数据存储在主图像存储器30中。
表示图像Dn＝4的图像数据依照振动运动量M4(M4＝x0+x1+x2+x3，y0+y1+y2+y3))而校正。通过计算部分29，将校正的图像数据添加到存储在主图像存储器30中的、表示相加结果的数据上。表示相加结果的数据存储在主图像存储器30中。
通过重复数据相加，表示几乎相同的图像的四个图像数据存储在主图像存储器30中，其中产生了表示静态图像的数据。在曝光周期期间快门100％打开的时候，就可以获得这样一副图像，其具有的亮度与在从时间n＝1到n＝4的周期内快门持续打开的时候获得的图像的亮度几乎一样。还可以对于每个屏幕校正振动运动。
通过依照振动运动(即，振动运动量)程度以及变焦率，适当设置参数，诸如快门打开时间(曝光时间)以及帧率，就可以电子校正振动运动而不降低S/N。在拍摄每幅图像的快门开时间缩短的时候，由于振动运动校正的图像恶化可以降低，但是也减少了光量。在此情况下，要拍摄的帧的数目应该增加。
在本发明的实施方式中，就可以通过增加转移时钟的频率以增加帧率或者通过降低分辨率以增加帧率而获得最佳帧率。结果可以获得具有较大应用范围的有益效果。
计算部分29执行的计算并不限于相加。例如，只要可以基于多个图像数据(帧信息)产生表示静态图像的数据，计算可以是积分。
3.遮罩操作图4示出依照本发明实施方式的遮罩操作。
图像Dn＝1表示在时间n＝1的时候拍摄的图像，图像Dn＝2表示在时间n＝2的时候拍摄的图像，图像Dn＝3表示在时间n＝3的时候拍摄的图像，且图像Dn＝4表示在时间n＝4的时候拍摄的图像。
在时间n＝1的时候闪光灯发射光。因此例如图35e所示的人比背景(例如，夜景)更亮。其中图35e所示的人被限定为明亮部分38a。明亮部分提取部分39从表示图像35e的数据提取表示明亮部分38a的数据，并基于提取的表示明亮部分的数据产生遮罩数据31。
在时间n＝2的时候，遮罩数据31切除表示图像Dn＝2的图像数据。通过删除明亮部分38b的图像以及校正振动运动而产生表示校正图像33a的数据。表示校正图像33a的数据被添加到表示图像35e的数据中，从而产生表示积分图像35a的数据。
在时间n＝3的时候，遮罩数据31切除表示图像Dn＝3的图像数据。通过删除明亮部分38c的图像以及校正振动运动而产生表示校正图像33b的数据。表示校正图像33b的数据被添加到表示积分图像35a的数据中，从而产生积分图像35b。
在时间n＝4的时候，遮罩数据31切除表示图像Dn＝4的图像数据。通过删除明亮部分38d的图像以及校正振动运动而产生表示校正图像33c的数据。表示校正图像33c的数据被添加到表示积分图像35b的数据中，从而产生表示积分图像35c的数据。
表示积分图像35c的数据被调整大小，从而产生表示积分图像35d的数据。
如上所述，通过从闪光灯发出的光变得明亮的、诸如人的明亮部分在时间n＝1的时候拍摄，以及图像中明亮部分之外区域的图像在n＝2，3，4的时候拍摄。当人在夜景中的图像等使用闪光灯以慢快门速度拍摄的时候，在慢快门速度周期期间曝光的人的脸部的图像就重叠到在闪光灯发光的时候人脸的图像上(双重曝光)，使得重叠图像模糊。然而，依照本发明实施方式的遮罩操作，振动运动的校正使得诸如人脸的明亮部分不经受双重曝光。结果，就可以清楚的拍摄明亮部分。
4.改变帧率图5示出像素数目和帧频之间的关系。
在图像拾取部分5(见图1)的分辨率由分辨率改变部分24(见图1)降低的时候，可以增加帧率(fps)。此外，在转移时钟速度由时钟控制部分27，处理时钟供应部分28和转移时钟供应部分32增加的时候，帧率(fps)可以增加。
在本发明的实施方式中，可以在为了振动运动校正的目的而拍摄图像的时候，通过增加转移时钟或减少分辨率而实际上增加帧率，由此消除特别是由电子振动运动校正而导致的余像(图像恶化)。在使用具有2,000,000个像素的常用图像拾取部分且帧率是近似7.5fps的时候，就保持了余像的影响。帧率应该高于或等于20fps。否则，很难消除特别是由电子振动运动校正而导致的余像。
图6示出包括分成四个部分的像素区域的图像拾取部分5的结构。
图像拾取部分5包括像素区域40。该像素区域40被分成四个像素区域(即，像素区域40a，像素区域40b，像素区域40c以及像素区域40d)。图像拾取部分5还包括分成四个部分的水平转移部分(即，水平转移部分41a，水平转移部分41b，水平转移部分41c，水平转移部分41d)以及分成四个部分的垂直转移部分(即，垂直转移部分42a，垂直转移部分42b，垂直转移部分42c，垂直转移部分42d)。因此，所需的搜索所有像素的时间减少到原先量的1/4，且帧率增加到其原始量的四倍。在使用具有2,100,000个像素的CCD型图像拾取器件且时钟速度是18MHz的情况下，帧率是30fps。结果，可以不观察到由于振动运动校正造成的图像恶化。图像拾取部分5可以分成横向的两个部分。
图7是示出在依照本发明实施方式的帧率增加的情况下的操作的图。
在曝光时间是1/4秒时，每1/8秒获得一帧。在此情况下，x方向的振动运动量通过∫0(xi+xi+1)dt≈((x1+x2)+(x3+x4))/2表示。
在曝光时间是1/2秒时，通过增加帧率，每1/16秒获得一帧。在此情况下，x方向的振动运动量通过(x1+x2+x3+x4+x5+x6+x7+x8)/8≈((x1+x2+x3+x4)/2+(x5+x6+x7+x8)/2)/4表示。
当曝光时间较长，将帧率增加以获得大量的帧。结果，可以详细探测振动运动的量，并且可以减少由于振动运动校正造成的图像恶化。
因此，根据本发明的图像拾取装置，可以在表示多帧的信息上校正振动运动，并产生表示静态图像的信息。因此，可以获得经受振动运动校正的静态图像。
如上所述，在标题为(1.图像拾取装置)到(4.改变帧率)的章节中，参照图1-7描述了本发明的一个示例性实施方式。
在图1-7示出的实施方式中，例如，振动运动探测部分15对应于“振动运动探测部分，用于探测代表已拍摄的静态图像的多个帧之间的振动运动量”，振动运动校正部分9对应于“振动运动校正部分，用于依照探测的振动运动量校正表示多帧的多帧信息”，主图像存储器30对应于“存储部分，用于存储经受该振动运动校正的多帧信息”，以及计算部分29，对应于“信息产生部分，用于基于存储部分中存储的多帧信息，产生表示静态图像的静态图像信息”。
然而，本发明的图像拾取装置并不限于图1-7示出的实施方式。图像拾取装置中包括的每个部件可以具有任意结构，只要图像拾取装置具有“振动运动探测部分，用于探测代表已拍摄的静态图像的多帧之间的振动运动量”、“振动运动校正部分，用于依照探测的振动运动量校正表示多帧的多帧信息”、“存储部分，用于存储经受该振动运动校正的多帧信息”、以及“信息产生部分，用于基于存储部分中存储的多帧信息，产生表示静态图像的静态图像信息”的每个功能。
5.图像拾取方法1图8示出依照本发明实施方式的图像拾取处理的过程(步骤50a到50f)。
图9示出依照本发明实施方式的图像拾取处理的过程(步骤51a到51y)。
图10示出依照本发明实施方式的图像拾取处理的过程(步骤52a到52t)。
参照图1和图8到10，本发明实施方式的图像拾取处理的过程将在下面逐步描述。
参照图8，将描述步骤50a到50f。
步骤50a操作者准备拍摄静态图像。
步骤50b在操作者半按下快门按钮的时候，CPU 26给时钟控制部分27提供指令，使得处理时钟供应部分28开始时钟操作或是在计算部分等中增加时钟速度。在处理时钟供应部分28开始时钟操作或是在计算部分29等中增加时钟速度的时候，处理前进到步骤50c。
步骤50c图像拾取部分5获得具有比设定分辨率更小分辨率的图像或是抽取的图像。基于表示第(n-1)图像的数据和表示第n图像的数据，产生表示第(n-1)图像和第n图像之间特定点或特定区域的位置差别的信息，从而获得振动运动信息(振动运动量)。
步骤50d在要拍摄静态图像的位置的亮度较低的情况下，确定振动运动信息(振动运动量)是否大于预定值，且设置分辨率是否大于或者等于固定值。如果振动运动信息大于预定值(是)，该处理前进至50e。如果振动运动信息小于或者等于预定值(否)，则处理前进至步骤50f。
步骤50e依照振动运动信息的值，将警告“小心振动运动”显示在显示部分12上。
步骤50f操作者确定是否他/她按下快门按钮。如果操作者按下快门按钮25(是)，则处理前进至步骤51a(参见图9)。如果操作者不按下快门按钮25(否)，重复步骤50f的处理。
参照图9，步骤51a到51y将在下面进行描述。
步骤51a确定快门速度(曝光时间)是否大于t1。例如，CPU 26确定是否快门速度(曝光时间)长于t1。
在变焦部分6的变焦比小于或是等于固定值的条件下，如果快门速度(曝光时间)短于或是等于t1(否)，则处理前进至步骤51b。如果快门速度(曝光时间)长于t1(是)，则处理前进至步骤51d。
步骤51b拍摄图像而不校正振动运动(不校正振动运动)。
步骤51c完成拍摄图像且处理结束。
步骤51d振动运动校正优先级开关调整为“开”。
步骤51e确定快门速度(曝光时间)是否长于t2。
如果快门速度(曝光时间)短于或是等于t2(否)，随后处理前进到步骤51f。如果快门速度(曝光时间)长于t2(是)，处理前进到步骤51h。
步骤51f确定振动运动是不是剧烈发生的，以及变焦比是不是大于或是等于固定值。
如果振动运动不是剧烈发生的且变焦比大于固定值(否)，则处理前进至步骤51g。如果振动运动是剧烈发生的且变焦比小于或是等于固定值(是)，则处理前进至步骤51i。
步骤51g处理进行到校正振动运动的程序(步骤51r)，而分辨率设置为预设的分辨率N0。
步骤51h确定设定的分辨率N0是否高于预定分辨率N1。
如果设定的分辨率N0低于或等于预定分辨率N1(否)，则处理前进至步骤51r。如果设定的分辨率N0高于预定分辨率N1(是)，则处理前进至步骤51i。
步骤51i像素转移部分23的转移时钟的速度由时钟控制部分27增加。因此，就增加了帧率。
步骤51j确定振动运动是否是剧烈发生的。
如果振动运动不是剧烈发生并且变焦比低于或是等于固定值，即，振动运动非常小(否)，则处理前进至步骤51k。如果振动运动是剧烈发生或变焦比大于固定值，即，振动运动一定程度上剧烈发生(是)，则处理前进至步骤51m。
步骤51k处理前进至步骤51r，而分辨率设置为预定分辨率N1。
步骤51m确定设定的分辨率是否高于预定分辨率N2，或是确定帧率是否小于预定值fn。
如果设定的分辨率低于或等于预定分辨率N2或是帧率高于或等于预定值fn(否)，则处理前进至步骤51r。
如果设定的分辨率高于预定分辨率N2或是帧率小于预定值fn(是)，则处理前进至步骤51n。
步骤51n处理前进至51p，为了设置分辨率为N2，其低于预定分辨率N1。
步骤51p通过分辨率改变部分24和抽取控制部分25a，从图像拾取部分5输出的像素被抽取，或是表示平面内方向上的多个像素的信息被互相相加，以产生表示一个像素的信息，由此减少像素的数量(即，降低分辨率)(分辨率被设置为N2)。
步骤51q作为将分辨率设置为分辨率N2的结果，其中N2低于预定分辨率N1，就增加了帧率最大速度的值。帧率得以增加。
步骤51r确定是否开始了输入图像到用于振动运动校正的程序中，以拍摄多帧(图像)到图像拾取装置100中。如果开始输入图像(是)，处理前进至步骤51y。
步骤51y基于曝光时间(即，快门时间)、光圈值和帧率，计算需要分开曝光(dividing exposure)的帧nlast总数。在剧烈发生振动运动的时候，对于每个静态图像的快门时间缩短。
步骤51sn设置为0(n＝0)。
步骤51tn增加1(n＝n+1)。
步骤51u拍摄第n图像，且来自图像拾取部分5的该第n静态图像存储在子存储器8之中(即，获得第n静态图像)。
步骤51v确定静态图像数据是否是第1静态图像数据。
如果静态图像数据是第1静态图像数据(是)，则处理前进至步骤51w。如果静态图像数据不是第1静态图像数据(否)，则处理前进至步骤52a(参见图10)。
步骤51w将图像拾取部分5的图像的部分切除以获得图像数据I1。
步骤51x图像数据I1存储在主存储器30中。
参照图10，将在下面描述步骤52a到52t。
步骤52a通过振动运动探测部分15计算第一图像数据和第二图像数据之间特定点的运动，以获得振动运动量Mn(参见图2)。
当表示第一图像D1，在t＝t1的时候拍摄的图像数据存储在振动运动探测部分15中包括的第一存储器16之中，且表示第二图像D2，在t＝t2的时候拍摄的图像数据存储在振动运动探测部分15中包括的第二存储器17之中，振动运动探测部分15基于表示两个图像的图像数据(即表示图像D1的图像数据和表示图像D2的图像数据)，探测图像D1和图像D2之间的振动运动量M1(例如，运动矢量(x1，y1))，并输出表示振动运动量的数据。
步骤52b确定振动运动量Mn的整数值是否大于或等于固定值。
如果振动运动量Mn的整数值大于或等于固定值(是)，则确定拍摄图像离开(get out)特定区域，且处理前进至步骤52c。如果振动运动量Mn的整数值小于固定值(否)，则处理前进至步骤52s。
步骤52c值“1”(一)被加到错误寄存器中存储的值上。第n图像不存储在主图像存储器30中，且处理前进至步骤52h。
步骤52s确定振动运动量Mn的整数值是否大于或等于另一固定值。如果振动运动量Mn的整数值大于或等于另一固定值，则值“1”(一)被加到第二错误寄存器中存储的值上。
步骤52d依照振动运动量Mn在纵向上从图像拾取部分5输出的图像数据中剪切出来的图像数据In，存储在子图像存储器8中。
步骤52e确定闪光灯是否设置为“开”。如果闪光灯设置为“开”(是)，则处理前进至步骤52f。如果闪光灯没有设置为“开”(否)，则处理前进至步骤52g。
步骤52f图像数据In预先被遮罩部分20遮罩(参见图4和3的遮罩操作)。
步骤52g从振动运动校正部分9获得经受横向振动运动校正和纵向振动运动校正的图像数据In。
例如，将图像数据In发送到计算部分29，且在主图像存储器30中存储的图像数据和图像数据In上执行计算(即，相加、积分)，且计算结果存回主图像存储器30。
步骤52h振动运动校正控制部分21确定n是不是等于nlast，(即，满足n＝nlast)，其中nlast表示n的最后一个值。
如果满足n＝nlast(是)，则处理前进至步骤52i。如果不满足n＝nlast(否)，则处理前进至步骤51t(参见图9)，以拍摄另一图像数据。
步骤52i由时钟控制部分27降低图像拾取部分5的转移时钟的频率。或者，可以停止图像拾取部分5的转移时钟，以降低功耗。
步骤52j确定存储在第二错误寄存器中的值是否大于或等于固定值。
如果存储在第二错误寄存器中的值小于固定值(否)，则处理前进至步骤52n。如果存储在第二错误寄存器中的值大于或等于固定值(是)，则处理前进至步骤52k。
步骤52k确定通过对积分图像调整大小是否可以将缺少部分消除(缺少部分的范围是否在缺少部分可以消除的范围内)。
例如，在校正图像33c中产生缺少部分34a(参见图4)。在此情况下，也在积分图像35c中产生缺少部分34b。因此，必须调整积分图像35c的大小以消除缺少部分34b。在此情况下，确定通过对积分图像35c调整大小是否可以将缺少部分34b消除(缺少部分34b的范围是否在缺少部分34b可以消除的范围内)。
如果可以消除缺少部分(是)，则处理前进至步骤52m。如果不可以消除缺少部分(否)，则处理前进至步骤52p。
步骤52m通过调整积分图像35c的大小消除缺少部分34b，从而获得不具有缺少部分的积分图像35d(参见图4)。
步骤52n表示积分图像35d的数据记录在记录介质14上。
步骤52p甚至执行了振动运动校正的时候，缺少部分也不能消除。因此，提示操作者校正振动运动失败。例如，具有含义“振动运动校正错误(在范围之外)”的声明显示在显示部分12(参见图1)上。此外，从扬声器37输出错误警告声音。此外，振动器36振动。
步骤52q确定主显示设置是否设置为“开”。
如果主显示设置被设置为“开”(是)，则处理前进至步骤52r。如果主显示设置没有设置为“开”(否)，则处理前进至步骤52t。
步骤52r存储在主图像存储器30中的，经受振动运动校正的积分图像，或是调整大小后的图像显示在显示部分12上。
步骤52t经受振动运动校正的图像记录在记录介质14上。当在预定时间经过之后，要拍摄经受振动运动校正的另一图像的时候，处理返回初始步骤50a(参见图8)。
因此，依照本发明的图像拾取方法，表示多帧的信息可以经受振动运动校正，且可以产生表示静态图像的信息。结果，可以获得经受振动运动校正的一个静态图像。
如上所述，在标题为(5.图像拾取方法1)的章节中，依照图1和图8到10描述本发明的示例性实施方式。
例如，在图8到10示出的实施方式中，步骤52a对应于“在表示拍摄的静态图像的多帧之间，探测振动运动量的步骤”，步骤52b到52g对应于“依照探测的振动运动量校正表示多帧的多帧信息的步骤”，步骤52g对应于“存储经受振动运动校正的多帧信息的步骤”，且步骤52g或52m对应于“基于存储在存储部分的多帧信息，产生表示静态图像的静态图像信息的步骤”。
然而，本发明的图像拾取方法并不限于图8到10所述的实施方式。图像拾取方法中包括的每个步骤可以以任意方式处理，只要图像拾取方法具有“在表示拍摄的静态图像的多帧之间，探测振动运动量”，“依照探测的振动运动量，校正表示多帧的多帧信息”，“存储经受振动运动校正的多帧信息”，以及“基于存储在存储部分的多帧信息，产生表示静态图像的静态图像信息”的功能。
例如，如参照图8到10所述，计算部分29顺序计算存储在主图像存储器30中多个图像数据(帧信息)中的每个，由此产生静态图像信息。或者，计算部分29可以同时计算存储在主图像存储器30中多个图像数据(帧信息)，由此产生静态图像信息。
6.图像拾取方法1(顺序计算)图11示出依照本发明实施方式的顺序计算处理的过程。在顺序计算处理的过程中，多个图像数据(帧信息)的每个被顺序计算以产生静态图像信息。
参照图1和11，将在下面逐步描述完成了拍摄图像准备之后所进行的顺序计算处理过程(从图9中步骤51s开始的处理)。
步骤10an设置为0(n＝0)。
步骤10bn增加1(n＝n+1)。
步骤10c拍摄第n图像，且第n图像存储在子存储器8中。
步骤10d第n图像经受振动运动校正，以获得经受过振动运动校正的图像Pn。
步骤10e计算部分29将表示经受过振动运动校正的图像Pn的数据乘以m(Pn×m)。
步骤10f计算部分29将表示图像Pn乘以m的数据加到存储在主图像存储器30中的图像数据上(∑i＝1n-1(Pi×m)+(Pn×m))。
步骤10g相加的结果存储在主图像存储器30中。
步骤10h确定是否n等于nlast(满足n＝nlast)，其中nlast表示n的最后一个值。
如果满足n＝nlast(是)，则处理前进至步骤10i。如果不满足n＝nlast(否)，则处理前进至步骤10b以拍摄另一图像数据。
步骤10i子计算部分将乘以m并顺序相加的图像数据乘以1/s，以产生表示静态图像的图像数据Px(Px=(Σi=1n(pi×m))/s).]]>步骤10j产生的图像数据Px输出到记录部分13。
在产生的图像数据Px输出到记录部分13之后，处理完成。
因此，依照顺序计算处理的过程，每个图像数据(帧信息)被顺序计算以产生静态图像信息。因此，可以缩短产生静态图像信息所需的时间。
此外，计算部分29将表示像素Pn乘以m的数据加到主图像存储器30中存储的图像数据上，且子计算部分29a将乘以m并顺序相加的图像数据乘以1/s，以产生表示静态图像的图像数据Px。通过设定m的值以及值s为任意值，就可以获得所需亮度的单个静止图像。
7.图像拾取方法1(同时计算)图12示出本发明实施方式的同时计算处理的过程。在同时计算处理的过程中，同时计算多个图像数据(帧信息)，由此产生静态图像信息。
参照图1和12，将逐步描述在完成准备拍摄图像之后的同时计算处理的过程(从图9的步骤51s开始的处理)。
步骤20an被设置为0(n＝0)。
步骤20bn增加1(n＝n+1)。
步骤20c拍摄第n图像。
步骤20d表示第n图像的数据存储在主图像存储器30中。
步骤20e计算部分29确定n是否等于nlast(满足n＝nlast)，其中nlast表示n的最后一个值。
如果满足n＝nlast(是)，则处理前进至步骤20f。如果不满足n＝nlast(否)，则处理前进至步骤20b，以拍摄另一图像数据。
步骤20f数目n的图像经受振动运动校正。经受振动运动校正的数目n图像的各个像素被积分以产生表示一个静态图像的图像数据Px。
步骤20g产生的图像数据Px输出到记录部分13。
在产生的图像数据Px输出到记录部分13之后，完成处理。
因此，依照同时计算处理的过程，同时计算多个图像数据(帧信息)以产生静态图像信息。因此，可以减少计算部分29的负载。
如标题为(6.图像拾取方法1(顺序计算))的章节所述，通过子计算部分29a就可以将图像数据适当地乘以m和1/s。因此，就可以获得具有所需亮度的单个静止图像。
8.图像拾取方法2图13示出依照快门速度(曝光时间)和拍摄图像的轨迹的亮度，通过积分多个图像(分开的图像)而校正振动运动的处理过程。
该处理过程将在下面逐步描述。
步骤99a分别设定分辨率、像素数目和分开的图像的数目。
步骤99b确定振动运动校正优先级开关是否被设置为“开”。
例如如果振动运动校正优先级开关没有被设置为“开”(否分辨率优先模式)，则处理前进至步骤80c(参见随后描述的图19)。如果振动运动校正优先级开关被设置为“开”(是振动运动校正优先模式)，则处理前进至步骤99c。
步骤99c确定拍摄图像的轨迹的亮度是否小于依照分辨率设置的预定值。
如果亮度小于预定值(是)，则步骤前进至步骤99f。如果亮度大于或等于预定值(否)，则步骤前进至步骤99d。
步骤99d确定是否快门打开时间(曝光时间)S大于依照分辨率设置的预定值。
如果快门打开时间S大于预定值(是)，处理前进至步骤99f。如果快门打开时间S小于或等于预定值(否)，处理前进至步骤99e。
步骤99e确定振动运动量是否大于预定值。
如果振动运动量大于预定值(是)，则处理前进至步骤99f。如果振动运动量小于或等于预定值(否)，则执行拍摄图像的正常处理(拍摄图像而不在时间轴方向上添加像素的处理)(步骤99m)。
步骤99f在振动运动不显著的时候，依照拍摄图像的位置的亮度、快门打开时间(曝光时间)和帧率中至少一个设置分辨率N1(阈值分辨率)。
在设置分辨率之后，处理前进至步骤99g。
步骤99g确定分辨率N1是否大于初始分辨率N0。
如果分辨率N1大于初始分辨率N0(是)，则执行拍摄图像的正常处理(拍摄图像而不在时间轴方向上添加像素的处理)(步骤99m)。如果分辨率N1小于或等于初始分辨率N0，则处理前进至步骤99h。
步骤99h将分辨率N1改变为分辨率N2，其小于初始分辨率N0。
步骤99i通过执行在水平方向添加像素(水平添加处理)和在垂直方向添加像素(垂直添加处理)中的至少一个，将分辨率设置为N2。水平添加处理和垂直添加处理的细节将在后面描述。
步骤99j增加帧率。
步骤99k以重叠的方式(时间轴、像素添加模式)执行多重曝光。随后，例如处理前进至步骤51y(参见图9)。
9.改变分辨率图14示出通过在平面内方向添加像素和在时间轴方向中添加像素而改变分辨率的处理过程。
参照附图14，将在下面逐步描述在平面内方向添加像素和在时间轴方向中添加像素而改变分辨率的处理过程。
步骤70a:在表示图像拾取元件中九个像素(像素60a到60i)的数据被添加到平面内方向，从而产生表示一个像素62的数据。
步骤70b设置虚拟地址，使得虚拟地址的数目大于实际地址的数目(通过增加实际地址的量而设置虚拟地址)。虚拟切除部分65依照用于校正振动运动的信息(振动运动信息)而设置。
步骤70c表示图像61的数据依照用于校正振动运动的信息而在虚拟地址上偏移。在此情况下，表示新像素66的数据基于表示原始像素62的数据和表示周围像素的数据而产生。
图15示出本发明实施方式的通过设置大于实际像素数目的像素数目，而校正振动运动的原理。振动运动校正的量具有像素的1/10的分辨率。为了精确执行校正，通过将像素62分成10个部分而产生虚拟像素67且将虚拟像素67偏移。
在虚拟像素67在虚拟空间上偏移之后，处理前进至步骤70d。
步骤70d切除图像。
步骤70e获得表示切除图像64的数据。丢弃表示突出部分68的数据。
步骤70f表示切除图像64的数据存储在主图像存储器30中。振动运动校正的量存储在主图像存储器30中。
步骤70g当输入表示新图像61a的数据的时候，执行同样的处理步骤70a到70d。
步骤70h基于振动运动校正量，获得表示切除图像64a的数据。
步骤70i通过在时间轴方向上添加(或积分)表示切除图像64的像素的数据和表示切除图像64a的像素的数据，获得表示合成图像71的数据。
步骤70j表示合成图像71的数据存储在主图像存储器30中。
步骤70k在输入表示新图像61b的数据的时候，执行同样的处理步骤70a到70e。获得表示切除图像64b的数据。
步骤70m通过在时间轴方向上添加表示合成图像71的像素的数据和表示切除图像64b的像素的数据，获得表示合成图像71a的数据。
步骤70n通过计算第一振动运动校正量69、第二振动运动校正量69a和第三振动运动校正量69b，而产生振动运动校正量72。其中三个图像以重叠方式添加的重叠区域73基于振动运动校正量72而从合成图像71a中指定出来。
步骤70p通过在表示重叠区域73的数据上执行变焦计算而执行扩大插值。结果，获得表示扩大图像74的数据。将在后面描述扩大插值和减少插值的细节。
获得经受振动运动校正的、表示静态图像74的数据，且完成处理。
在参照图14描述的实施方式中，积分了三个图像。然而，将积分的图像的数目并不限于三个。例如，曝光时间越长，积分的图像数目越多。通过积分大量的图像，就可以在黑暗的地方拍摄照片。
图16示出在平面内方向添加像素的方法。在平面内方向添加包括在垂直方向的添加和在水平方向的添加。
图16(a)示出在垂直方向添加的方法。当在垂直方向读取像素的时候，在R(红)(m，n+1)和R(m，n)上执行垂直添加处理，以产生R(m，n+1)+R(m，n)。
图16(b)示出在水平方向上添加的方法。在水平方向上将同样颜色的像素彼此相加。例如，在G(m，n+1)+G(m，n)和G(m+1，n+1)+G(m+1，n)上执行水平添加处理，以产生G(m，n+1)+G(m，n)+G(m+1，n+1)+G(m+1，n)。
如参照图16所述，可以通过在平面内方向执行添加而从表示四个像素的数据产生表示一个像素的数据。
如下所述，可以通过在平面内方向添加像素的处理中偏移图像的切除位置而更加准确的切除图像。
图17是描述图像切除位置偏移的图。
依照校正信号或从振动运动探测部分15(参见图1)输出的探测信号(振动运动信息)，添加切换部分102a添加切换部分102b在A模式103和B模式104之间切换添加模式。因此，在平面内方向添加像素的处理中(参见图16)，就可以通过将图像的切除位置偏移一个像素而更加准确地切除图像。
图18示出减少插值的原理、扩大插值的原理和以高分辨率校正振动运动的原理。图18(a)示出减少插值的原理。可以从原始(八个)像素获得多个(六个)像素作为减少插值的结果。图18(b)示出扩大插值的原理。可以从原始(六个)像素获得多个(八个)像素作为扩大插值的结果。图18(c)示出以高分辨率校正振动运动的原理。
10.去除振动运动探测失败的图像图19示出去除振动运动探测失败的图像的处理的过程。
参照图19，将在下面逐步描述去除振动运动探测失败的图像的处理过程。
步骤80a确定快门速度(曝光时间)是否长于t’。
如果快门速度(曝光时间)否长于t’(是)，则处理前进至步骤80b。
步骤80(b)确定振动运动是否剧烈发生。
如果振动运动没有剧烈发生(否)，则处理前进至步骤80c。如果振动运动剧烈发生(是)，则处理前进至步骤80d。
步骤80c在分辨率被设置为预设分辨率的同时拍摄图像。
步骤80d确定振动运动校正是否优先执行。如果执行振动运动校正的设置被设置为“开”(是)，则处理前进至步骤80e。如果执行振动运动校正的设置没有被设置为“开”(否)，则处理前进至步骤80c。
步骤80e显示振动运动校正模式。
步骤80f确定曝光时间是否设置为t1＜t＜t2。
如果曝光时间t被设置为t1＜t＜t2(是)，则处理前进至步骤81d。随后在平面内方向添加像素(步骤81d)，则曝光时间t被设置为t＜t1(步骤81e)且开始拍摄图像(步骤81f)。
如果曝光时间t没有被设置为t1＜t＜t2(否)，则处理前进至步骤80g，其中确定曝光时间是否被设置为t2＜t＜t3。如果曝光时间t没有被设置为t2＜t＜t3(否)，则处理停止(步骤81g)。如果曝光时间t设置为t2＜t＜t3(是)，则处理前进至步骤80h。
步骤80h执行在平面内方向中添加像素的设置。
步骤80i曝光时间t被设置为t＜t2且获得用于振动运动校正的像素数目P。
步骤80j开始拍摄图像。R被设置为0(R＝0)。
步骤80kn被设置为0(n＝0)。
步骤80mn增加1(n＝n+1)。
步骤80n第n图像中的像素被添加到平面内方向中。
步骤80p探测振动运动。
步骤80q确定振动运动是否成功探测到。
如果探测振动运动失败(否)，R＝R+1(步骤80r)且确定是否满足R＜R0(R是否小于设定值R0)。如果不满足R＜R0(否)，则处理停止(步骤80t)。如果满足R＜R0(是)，则改变运动矢量探测点和运动矢量探测数量中至少一个(步骤80v)，且处理前进至步骤80k以从开始再次执行校正处理。
如果振动运动探测成功(是)，则处理前进至步骤80u。
步骤80u校正的图像存储在主图像存储器30中。
步骤80w确定n是否等于p(是否满足n＝p)。
如果不满足n＝p(否)，则处理前进至步骤80m。如果满足n＝p(是)，则确定完成了为了校正振动运动而拍摄所有图像的处理(全部分开的图像)。随后，处理前进至步骤80x。
步骤80x存储在主图像存储器30中的校正图像在时间轴方向上被相加或积分。
步骤80y产生表示一个图像的数据。
步骤80z在产生的表示一个图像的数据上执行诸如抽取的处理，且将结果显示在显示部分12上。
步骤81a操作者确定图像存储开关是否设置为“开”。
步骤81b在表示图像的图像数据上执行压缩处理(例如，JPEG等)，以减少图像数据的量。
步骤81c将图像数据记录在记录介质14上(例如，IC卡)。
依照本发明实施方式，如参照图19所述，可以防止添加(积分)振动运动探测失败的校正图像数据。例如，在难以探测失败的情况下，诸如探测在时间轴方向上添加(积分)像素失败，就可以获得经受振动运动校正的图像。此外，可以从下一个图像到振动运动探测失败的图像，在时间轴方向上开始积分。因此，时间的使用更加有效。
11.振动运动校正量的显示图20示出依照本发明实施方式的图像拾取装置200的结构。
图像拾取装置200可以以类似于图像拾取装置100的方式显示振动运动校正的量。图像拾取装置200包括振动运动量计算部分92，轨迹计算部分91，显示部分95，扬声器97，振动器98，CPU 99，振荡陀螺仪101a以及振荡陀螺仪101b。
振动运动量计算部分92(振动运动探测部分15参见图1)计算振动运动量，并经由显示电路输出该振动运动量到显示部分95。轨迹计算部分91计算不能由振动运动校正完全校正的振动运动的轨迹，并经由显示电路输出该位置到显示部分95。
CPU 99确定该振动运动量是否大于预定值。如果该振动运动量大于预定值，则其指示显示部分95、扬声器97和振动器98中至少一个输出确定结果。
显示部分95依照来自CPU 99的指令，显示确定结果。扬声器97依照来自CPU 99的指令，产生警告声音。振动器依照来自CPU 99的指令振动。
图21示出图像拾取装置200中包括的显示部分95的例子。
在显示部分95中，振动运动量由指示器93、93a、93b和93c显示。通过视觉观察显示器，拍摄图像的人可以识别出振动运动量和振动运动方向。通过识别振动运动量和振动运动方向，拍摄者可以改变固定相机的方法。结果，可以通过人的操作获得比平时包括更少振动运动的静态图像。
图22示出图像拾取装置200中包括的显示部分95的另一个例子。
在显示部分95中，显示出振动运动不能被振动运动校正完全校正的位置，诸如位置94b和位置94d。通过视觉观察该显示器，拍摄图像的人可以在拍摄图像之后识别静态图像经受振动运动的程度。振动运动校正的失败可以通过照相机上一个小显示部分确定。因此，拍摄者可以检查振动运动校正的失败。在影片(filming)模式中(例如，摇拍或全景观看)，就可以仅检查纵向的振动运动。
在显示部分95中，如果振动运动量(x，y)大于预定值(x0，y0)((x＞x0，或y＞y0)或(x＞x0，且y＞y0))，则可以显示警告。此外，扬声器可以输出警告声音。例如依照变焦比设定预定值(x0，y0)。
此外，在显示部分95中，如果振动运动量(x，y)小于预定值(x0，y0)((x＜x0，或y＜y0)或(x＜x0，且y＜y0))，则可以显示消息(例如“OK”)。此外，扬声器可以输出声音。例如依照变焦比设定预定值(x0，y0)。
图23示出以摇拍方式或全景方式拍摄图片的时候边界指示器97的显示。
图23(a)示出待拍摄的场景，将该场景分成三个帧。
图23(b)示出帧98a。图23(c)示出帧98b。图23(d)示出帧98c。图23(e)示出帧98d。
在图23(a)示出的场景在向右的方向以全景方式拍摄的时候，探测点96a、96b和96c中的探测点96a(参见图23(b))被在帧中移动并到达帧98b的左端(参见图23(c))，其中这些点是用于振动运动校正的运动矢量探测的表示点。此时，用于探测运动的振动运动探测部分15探测到屏幕向右偏移L1，且指示图23(b)中帧右端边界的边界指示器97a显示在距离帧右端L1的位置上(参见图23(c))。
类似的，振动运动探测部分15探测到屏幕向右偏移L2，且边界指示器97b显示在距离帧右端L2的位置上(参见图23(d))。
类似的，边界指示器97c显示在图23(e)中屏幕的左端。在此情况下，拍摄的人可以知道当前位置到达了将拍摄下一图像的下一位置。如果需要，可以从扬声器37(见图1)输出声音警告，由此提示该人此声音警告。此时，通过按下快门按钮，拍摄的人可以拍摄几乎完美的全景形式的图像。
对于在屏幕上设置多个探测点，并从探测点的运动矢量确定拍摄图像的人的运动作为帧的运动，从而描述了本方法。
在此方法中，摇拍探测由用于校正振动运动的振动运动探测部分执行。然而，如图20所示，在探测振动运动的图像拾取装置中，通过使用振荡陀螺仪101a和振荡陀螺仪101b，还可以通过振荡陀螺仪探测拍摄者的摇拍旋转角度，并依照变焦探测部分的变焦比对于一帧获得在横向摇拍所需的旋转角度θ0。
在图23(b)示出的状态中，在右端显示边界指示器97。在此状态下，拍摄者拍摄全景图像中第一帧图像。下面，在拍摄者在向右的方向通过旋转角θ0执行照相机的摇拍(即，旋转)的时候，拍摄者可以知道照相机的当前位置到达了该拍摄者可以拍摄全景图像中第二帧图像的位置。
当旋转角度到达旋转角度θ0的时候，边界指示器97c显示在左端(参见图23(e))。此时，经由扬声器或显示器提示拍摄者旋转角到达旋转角θ0。作为拍摄者在此时按下快门按钮的结果，就可以获得在横向准确的全景图像。
通过在显示部分12上显示除了横向之外的垂直方向上的边界指示器99a和99b，就可以使得拍摄者容易获得在两个方向上都准确的全景图像(参见图23(b))。在此情况下，通过使用显示屏幕上的箭头显示准确的摇拍方向，拍摄者就可以仅在箭头指出的方向上引导照相机，从而容易拍摄全景模式的图像。总之，由于拍摄者在拍摄图像的时候手持照相机，该拍摄者不能准确确定图像拍摄的方向。然而，通过使用照相机的振动运动校正功能，自动调整屏幕的左、右、上和下端，就可以很准确地以全景方式拍摄图像。
甚至在屏幕的左、右、上和下端使用照相机的振动运动校正功能自动调整的时候，在实际采集的全景场景以及可以采集到的最理想全景场景间会发生错误。通过额外的将该错误记录在表示拍摄图像的状态属性的属性数据(Exif等)中，就可以在将多个图像合成为单个全景图像的时候，更加准确地对准屏幕的左、右、上和下端。这是因为可以根据错误信息修改错误。
上面描述的功能还可以在振动运动探测方法是电子探测方法的时候，以类似方式实现。
图24示出在帧内探测振动运动的探测点。在振动运动探测经常失败或帧率比较低的时候，可以通过改变帧98内探测点96的各自位置，或是增加帧98内探测点96的数目，从而增加振动运动探测的成功率。
因此，依照本发明的图像拾取装置，拍摄图像的人可以识别振动运动的程度。通过识别振动运动的程度，拍摄者可以改变固定照相机的方法。结果，可以获得这样一种静态图像，其具有的振动运动少于通常被人的操作所观察到的振动运动。
如上所述，在题目为(11.振动运动量的显示)的章节中，参照图1和图20到23描述了本发明的示例性实施方式。
例如，在图1和图20到23示出的实施方式中，振动运动探测部分15(振动运动量计算部分92)对应于“用于探测表示拍摄的静态图像的多帧之间的振动运动量的振动运动量探测部分”，CPU 99对应于“用于确定振动运动量是否大于预定值的确定部分”，且显示部分95，扬声器97和振动器98对应于“输出确定结果的输出部分”。
然而，本发明的图像拾取装置不限于图1和图20到23所示的实施方式。图像拾取装置中包括的每个部件可以具有任意结构，只要该图像拾取装置具有下列每个功能“用于探测表示拍摄的静态图像的多帧之间的振动运动量的振动运动量探测部分”，“用于确定振动运动量是否大于预定值的确定部分”和“输出确定结果的输出部分”。
12.轨迹计算部分的操作本发明的轨迹计算部分91的操作将参考图25在下面详细描述。
手移动造成的图像拾取装置(照相机)1的振动运动通过例如角速度探测部分101a和101b进行探测。角速度探测部分101a和101b输出表示图像拾取装置1的振动运动的振动运动探测信号。
角速度探测部分101a和101b例如可以是角速度传感器。该角速度传感器例如可以是分别具有多个彼此不同的振动频率的振动运动陀螺仪。
角速度探测部分101a和101b输出的振动运动探测信号以采样频率产生部分104产生的采样频率fs由采样电路102进行采样。结果，表示角速度的模拟数据被转换成数字数据。
因此，角速度探测部分101a和101b用作振动运动探测部分，用于探测图像拾取装置1的振动运动，并用于输出表示图像拾取装置1的振动运动的振动运动探测信号。然而应该注意，角速度探测部分101a和101b仅仅是振动运动探测部分的例子。振动运动探测部分可以具有任意配置，只要其具有探测图像拾取装置1振动运动的功能和输出表示图像拾取装置1振动运动的振动运动探测信号的功能。
轨迹计算部分91至少基于振动运动探测部分(例如角速度探测部分101a和101b)输出的振动运动探测信号，来获得表示图像拾取装置1的振动运动轨迹的轨迹信息。例如，该轨迹计算部分91可以获得表示预定时间周期内振动运动探测信号改变的信息，作为轨迹信息。例如，在振动运动探测部分包括角速度传感器的情况下，轨迹计算部分91可以通过积分角速度传感器的输出获得角度信息，并可以获得表示预定时间周期内角度信息改变的信息，作为轨迹信息。
振动运动校正部分115用作电子振动运动校正部分，用于对图像拾取部分5输出、并存储在图像存储器120中的图像信息和轨迹信息执行计算处理，从而获得经受了振动运动校正的校正图像信息。
代替电子振动运动校正部分，还可以提供一种机械振动运动校正部分，用于依照振动运动探测部分(例如角速度探测部分101a和101b)输出的振动运动探测信号来机械地校正图像拾取装置1的振动运动，从而获得校正的图像信息，该校正的图像信息经受了通过实际振动运动校正量的振动运动校正。在这种情况下，该轨迹计算部分91获得例如表示预定时间周期内该振动运动探测信号和该实际振动运动校正量之间差异的变化的信息，作为轨迹信息。
或者，除了机械振动运动校正部分之外，还可以提供一种电子振动运动校正部分，其中该机械振动运动校正部分获得第一校正图像信息，该信息经受了通过第一振动运动校正量对图像信息中振动运动的校正，该电子振动运动校正部分获得第二校正图像信息，该信息经受了通过第二振动运动校正量对第一校正图像信息中振动运动的校正。在这种情况下，例如轨迹计算部分91获得表示预定时间段内剩余振动运动量改变的信息，作为轨迹信息，该剩余振动运动量表示实际振动运动校正量和第一振动运动校正量之间的差异。
可以在单个半导体芯片上集成图25和图30到图33所示图像拾取装置1的部分配置或整个配置。例如，还可以在单个半导体芯片(半导体集成电路)上集成轨迹计算部分91、振动运动校正部分115(电子振动运动校正部分)、和振动运动校正控制部分141(机械振动运动校正部分)中至少一个。
12.1最优采样和压缩图26(a)示出这样一种情况，其中以正常均匀的时间间隔(即，预定采样频率fs)获得全部样本。当变焦部分6的变焦比较大或是在照相机振动运动较大的时间段内，即在角速度探测部分101a和101b的输出值中时间上的改变量较大的时间段中，如图26(b)中点103a和103b所示，以采样频率的两倍频率，即以2fs更加精细地执行采样处理。相反地，如点103c和103d所示，在时间上的改变量较小的时间段内，以采样频率一半的频率，即以fs/2更加粗略地执行采样处理。在正常的时间段内，如点103e所示，用频率fs以标准的方式执行采样处理。
如图26(b)所示，采样频率产生部分104产生的采样频率依照变焦比、角速度量、或是角速度改变量有多大来改变。以此配置，可以执行最优采样。结果，可以获得轨迹振动运动校正所需的轨迹数据，而不用增加信息量。在将轨迹数据113记录在外部存储介质105上的情况下，可以使得存储的数据量最小。此外，没有必要对于整个时间段增加采样频率，由此就降低了功耗。
对于另一种方法，通过轨迹计算部分91的内部处理，可以将采样频率设置为最高速度，并通过采样振动运动探测量来执行数字转换，其中样本的数量可以依照振动运动的改变量而增加或降低。以此方法，就可以压缩轨迹数据。
12.2添加图像拾取信息图像压缩部分105压缩轨迹计算部分91输出的轨迹数据。该压缩方法与上述压缩方法一样。图像拾取信息添加部分106将表示图像拾取信息的文件格式的数据，诸如Exif数据107，添加到数据压缩部分105所压缩的轨迹数据中。输出数据产生部分110通过添加图像拾取信息添加部分106输出的数据到图像P或图像数据P’来产生输出数据，该图像P经受该振动运动校正，从校正图像输出部分108输出，该图像数据P’没有经受过振动运动校正，直接从开关部分109输出。
振动运动量测量部分111测量振动运动量并产生控制信号，来依照测量的振动运动量切换开关部分109。轨迹计算部分91包括处理量计算部分116，用于计算振动运动校正部分115中的处理量并且用于依照计算的处理量来产生切换开关部分109的控制信号。
依照来自振动运动量测量部分111的控制信号和来自处理量计算部分116的控制信号中的至少一个，开关部分109在从图像拾取部分5输出图像数据到振动运动校正部分115和从图像拾取部分5输出图像数据到输出数据产生部分110之间切换。
在振动运动测量部分111测量的振动运动量大于预定量的情况下，振动运动量测量部分111切换开关部分109，使得来自图像拾取部分5的图像数据绕过振动运动校正部分115，直接输出到输出数据产生部分110。例如，在处理量计算部分116计算的振动运动校正部分115中的处理量大于预定处理量的情况下(即，在振动运动校正部分115中处理量超过振动运动校正部分115的处理能力的情况下)，该处理量计算部分116切换开关部分109，使得来自图像拾取部分5的图像数据绕过振动运动校正部分115，直接输出到输出数据产生部分110。在此情况下，输出数据产生部分110通过添加图像拾取信息添加部分106输出的数据(例如，Exif数据107，其包括用于振动运动的轨迹数据113，诸如点扩散函数(PSF)等)到图像P’，来产生输出数据，其中图像P’没有经受振动运动校正并从开关部分109输出。
在来自图像拾取部分5的图像数据输出到振动运动校正部分115的情况下，输出数据产生部分110通过添加图像拾取信息添加部分106输出的数据(例如，Exif数据107，其包括振动运动轨迹数据113，诸如点扩散函数(PSF)等)到图像P，来产生输出数据，其中图像P经受振动运动校正并从校正图像输出部分108输出。
通过输出数据输出部分，将输出数据记录到外部存储介质114上。记录的图像数据和对于振动运动的轨迹数据113可以在个人计算机中处理，该计算机设置在照相机1之外，并且具有较高处理能力。结果，甚至在图像数据具有较大振动运动量且校正处理量较大的时候，也可以执行振动运动校正处理的后处理(post-pocessing)。
将参照图25描述图像拾取装置(照相机)1的操作。
入射到照相机1的光穿过透镜部分2、变焦部分2a、以及汇聚部分2b，从而在图像拾取部分5上形成图像。在按下快门按钮119的时候，快门117被快门打开周期控制部分118临时关闭，并且随后在图像拾取处理开始的时候再次打开。在完成曝光的时候，快门117再次关闭。在获得图像拾取数据的时候，快门再次打开。图像拾取数据临时存储在图像存储器120中。开关部分109按照上述执行切换。
假设照相机有限的处理能力表示为h1，而数据处理方法的有限处理能力表示为h2。在振动运动量h满足h1＜h＜h2的情况下，照相机中包括的振动运动校正部分115不能处理该数据。因此，将数据直接发送到输出数据产生部分110。在满足h2＜h的情况下，甚至在使用高速CPU的时候也不能校正该振动运动。因此，将图像数据发送到输出数据产生部分110，并且将表示“再次拍摄图像”的警告声音或是警告显示从警告部分145发送到扬声器37或发送到显示部分12。因此，就可以通过操作者再次拍摄图像而减少由于振动运动导致的失败。
振动运动可校正量由h1表示。在满足h1＜h的情况下，可以在照相机内执行校正处理。因此，将图像数据发送到振动运动校正部分115。在振动运动校正部分115中，使用对于振动运动的加权轨迹数据113和其中有振动运动的图像P’，作为反傅立叶变换部分121执行的反傅立叶变换的结果而获得经受了振动运动校正的图像P。
最大振动运动量计算部分122基于拾取的图像112、112a以及112b，来计算x方向上最大振动运动量x1和x2，以及y方向上最大振动运动量y1和y2(参见图27(b))。
修剪部分123基于x方向上最大振动运动量x1和x2，以及y方向上最大振动运动量y1和y2，通过以x1、x2、y1和y2的尺寸来修剪拾取图像112的周围部分，来产生修剪的图像129(参见图27(c))。修剪的图像129中的像素数目小于拾取图像112中的像素数目。
扩大部分122执行扩大处理，从而将图像扩大到预定像素数目(图27(d))。
图27(a)所示的原始图像112的中心126a不与图27(c)所示修剪的图像129的中心126一致。在图27(c)所示例子中，将中心偏移(x3，y3)。在操作者设置开关以选择原始图像112的中心126a的情况下，修剪的图像129被转换成修剪图像129a(图27(e))，使得图27(a)所示原始图像112的中心126a与图27(e)所示修剪图像129a的中心126a一致。图27(e)所示的修剪图像129a被扩大，从而成为图27(d)所示的输出图像147。结果，获得的校正图像具有与原始图像112的中心126a一致的中心126b。
以此方式经受振动运动校正的图像经过校正图像输出部分108被发送到输出数据产生部分110。还将其发送到开关部分124。
开关部分124在将没有经受振动运动校正的图像P’输出到缩小部分125、以及将从校正图像输出部分108输出的、经受了振动运动校正的图像P输出到缩小部分125之间进行切换。
缩小部分125通过减小从开关部分124输出的图像P’或图像P的像素数目，来缩小图像P’或图像P，并在显示部分12上显示缩小的图像P’或缩小的图像P。可以以这样一种方式显示轨迹显示部分126产生的振动运动轨迹，即在显示部分12上使得轨迹与图像P’或图像P重叠。
例如，开关部分124的操作使得在采集图像之后立即在显示部分12上显示缩小的图像P’，并且在采集了图像以及完成振动运动校正之后经过预定时间段的时候，在显示部分12上显示缩小的图像P。以此配置，就可以使得操作者在采集图像之后立即观看采集的图像。没有这种切换，就使得操作者在数秒期间直到完成振动运动校正的时候不可以观看采集的图像。
12.3显示图像的方法将参照图28和29描述显示图像的过程。
在步骤127中，显示第n幅图像。在步骤127a中，采集第n幅图像。在步骤127b中，处理量计算部分116计算执行振动运动校正计算所需的时间tp。在tp超过表示处理可行的基准值的情况下，处理前进至步骤127c，其中发布表示“再次拍摄图像”的警告。在步骤127a中，操作者再次拍摄图像，且处理前进至步骤127b。在振动运动量小于或等于所限定的值的时候，处理前进至步骤127d。在采集图像显示开关为ON的情况下，该处理前进至步骤127k，其中将振动运动校正前的采集图像和采集图像时间段期间发生的振动运动的轨迹129显示在显示部分12上。此时，还显示处理状态指示器130。通过将处理状态指示器130的全刻度(full scale)表示为tf，处理状态指示器130显示从校正处理开始经过的时间段，其中tf是处理量计算部分116获得的估计处理周期。在处理开始之后，立即显示如参考标记130表示的处理状态指示器，并且在接近处理结束的时候，如参考标记130a所示而显示指示器。因此，对于用户就可以知道将需要多少时间完成处理。以此配置，可以满足用户的愿望，即用户想要知道直到处理结束需要多长时间。
在步骤127m中，当完成了振动运动校正的时候，步骤127n中，通过图25所示的开关部分124，没有经过振动运动校正的图像P’被切换成经受了振动运动校正的图像P，并且在显示部分12上显示切换的图像。
在步骤127e，在振动运动轨迹显示开关为OFF的情况下，将在步骤127f显示具有振动运动的图像。在此情况下，不显示振动运动轨迹。步骤127g和127h与上述步骤127m和127n是一样的，并且因此将省略其描述。在步骤127i中，来自图像拾取部分的图像被缩小部分125缩小，且在显示部分12上显示缩小的图像。在步骤127j中，图像拾取装置准备好采集下一图像。
回头参照步骤127d，在采集屏幕显示开关为OFF的情况下，处理前进至图29中的步骤128a。在步骤128a中，显示图像拾取部分中的第n幅图像。在步骤128b中，在按下快门按钮的时候，采集图像。在步骤128c，开始第n幅图像中振动运动的校正。在步骤128d，表示“第n幅图像中振动运动校正被执行”的标记131a显示在显示屏幕132j上。在步骤128e中，图像拾取部分中第(n+1)幅图像显示在显示屏幕132j上，并且还显示处理状态指示器130b。在步骤128f中，在第n幅图像中振动运动校正尚未完成的情况下采集第(n+1)幅图像的时候，在步骤128g中，就检查图像存储器120是否还有可用的空间。在图像存储器120中没有可用空间的情况下，在步骤128h中显示表示“等待”的标记133，如显示屏幕132k所示，从而用户停止采集下一幅图像。在步骤128g中图像存储器120中有可用空间的情况下，处理前进到步骤128j，其中振动运动的轨迹数据存储在图像存储器120中。在步骤128k中，显示表示“第(n+1)幅图像中振动运动的校正在被执行”的标记131b和第(n+2)幅图像，如显示屏幕132m所示。在步骤128m中，当对于第n幅图像的校正处理完成的时候，在步骤128n中，表示“第n幅图像的振动运动校正在被执行”的标记131a如显示屏幕132n所示被消除。在步骤128p中，当对于第(n+1)幅图像的校正处理完成的时候，在步骤128q中，表示“第(n+1)幅图像的振动运动校正被执行”的标记131b如显示屏幕132p所示被消除。随后，图像拾取装置准备好采集第(n+2)幅图像。
为了使得图25所示振动运动校正部分115适当地执行校正处理，重要的是用于振动运动的轨迹信息应该准确。通过追踪轨迹数据的路径，来自诸如振荡陀螺仪的角速度探测部分101a和101b的数据通过积分器136积分，从而获得积分角度θ。从变焦部分6获得变焦比信息，且从汇聚调整部分137获得聚焦数据。计算焦距f，且获得f×tanθ，并且执行轨迹计算。如参照图26(b)所述，可以通过依照角度θ的变化改变采样数量，来准确获得数据。最优选的是将轨迹信息转换成函数。
在振动运动校正部分115中，通过将具有振动运动的图像P’施加到对轨迹函数执行反傅立叶变换而获得的函数上，就使用此轨迹数据获得校正的原始图像P。此计算可以使用二维滤波器137来执行。依照本发明的方法，就可以通过使用振荡陀螺仪等准确地获得振动运动的轨迹数据。结果，就可以精确地校正振动运动。在没有在照相机1内执行振动运动校正的时候，将通过对振动运动的轨迹信息添加到诸如Exif数据的采集数据而得到的图像数据输出。如图35所示，照相机1的组件152包含图像拾取装置1和诸如CD-ROM的记录介质151。振动运动校正处理程序153记录在记录介质151中。用户将记录介质151安装到计算机150中，使得校正处理程序从记录介质151安装到计算机150。从照相机1获得采集图像数据和包括振动运动轨迹信息的Exif数据，使得计算这些数据以校正振动运动中。应该注意，在此情况下，图像采集信息的格式不限于Exif格式。可以通过使用任何其他图像采集信息的格式来实现类似的效果。
通过处理量计算部分116来估计振动运动校正所需的时间周期。因此，可以预先确定是否可以在照相机本身内执行该处理。结果，可以在显示部分上显示校正处理所需的时间，并通过显示处理进度的程度，来改进对于用户的界面。
12.4振动运动校正之后剩余振动运动的轨迹参照图30，将描述在包括沿两个轴(例如，x轴和y轴)执行光学校正处理等的振动运动校正部分的照相机内，在振动运动校正之后输出诸如Exif数据的剩余振动运动的方法。
依照在图30中探测的振动运动数据，振动运动校正控制部分141输出振动运动校正信号。透镜驱动部分140在x方向和y方向驱动校正透镜2c，从而校正振动运动。
实际上，此控制系统具有频率响应特性。因此，没有完全校正振动运动，且振动运动校正后剩余振动运动还存在。此外，在使用公知光学校正方法或公知CCD驱动方法的时候，可以仅在x方向和y方向上执行校正，且不可以在z方向(侧滚方向)上执行校正。为了计算校正振动运动后的剩余振动运动，就要求振动运动校正量计算部分142从透镜驱动部分140获得实际校正量，并随后将实际校正量输入到差异部分143中包括的差异部分143a和143b。该角速度探测部分101包括对于z方向(侧滚方向)的角速度探测部分101c。角速度探测部分101获得的x方向的分量和y方向的分量输入到差异部分143。
对于x方向和y方向，振动运动校正后剩余的振动运动可以使用表达式“(实际振动运动量)-(实际振动运动校正量)＝振动运动校正后剩余振动运动”来计算。通过将x和y方向的剩余振动运动和z方向的角度信息输入到轨迹计算部分144，就获得了x和y方向上剩余振动运动的轨迹信息。来自z方向的角速度探测部分101c的数据被积分而不计算差异，并且将其发送到轨迹计算部分91，从而获得轨迹信息。该轨迹信息113以这样一种方式在显示部分12上显示，即使得轨迹信息113覆盖在采集的图像上。同时，将轨迹信息发送到数据压缩部分105，从而将数据压缩。通过图像拾取信息添加部分106将压缩的数据添加到图像数据，以产生输出数据作为Exif数据107。通过数据输出部分146，产生的输出数据被记录到诸如IC卡的外部存储介质114上。
Exif数据包括x和y方向上振动运动校正后的剩余振动运动以及z方向上振动运动的轨迹信息。因此，使用轨迹信息113、图像数据和轨迹信息，通过计算机执行反傅立叶变换，可以在三个方向上即x、y和z(偏转、俯仰和侧滚)轴上通过数据处理来校正振动运动。在光学校正处理中，呈现出频率响应特性。振动运动在正常图像尺寸的情况下不是很明显，但是在大尺寸的图像中就比较明显。根据上述方法的后处理，几乎可以完全校正振动运动。这是很显著的效果。
在半导体的处理能力变高的时候，就可以通过照相机1内的软件在x，y和z方向上实施振动运动校正。然而，由于需要更高的计算处理能力，因此暂时在照相机内执行对三个轴的振动运动校正还不太现实。随着时间过程，可以考虑一些可行的方法。第一种方法包括在照相机内计算振动运动的轨迹数据x，y和z并将轨迹数据作为Exif文件输出，使得通过数据处理在外部计算机中执行校正处理(参见图30)。第二种方法包括在具有校正光学振动运动的功能的照相机内，使用振动运动校正控制部分141在x和y方向上执行光学校正处理，通过使用轨迹计算部分144计算z方向(侧滚方向)中的轨迹数据，并将轨迹数据作为Exif数据107附加在图像数据上(参见图31)。考虑到在z方向执行光学校正处理的困难，通过外部计算机内软件在z方向执行振动运动校正，就可以执行z方向的振动运动校正而不增加照相机零件的数量。因此，就可以沿着所有的三个轴执行振动运动校正。
第三方法包括在x和y方向执行光学校正处理，通过使用轨迹计算部分144，基于角速度探测部分101c输出的数据，计算z方向(侧滚方向)的轨迹数据，通过使用振动运动校正部分115执行z方向上的振动运动校正，其中振动运动校正部分115包括反傅立叶变换部分121或傅立叶变换部分，从而将得到的数据记录在外部存储介质114上(参见图32)。在本说明书中，描述了反傅立叶变换部分的使用。然而，不用说，通过使用傅立叶变换部分可以获得类似的效果。由于通过变焦而扩大，所以x和y方向的振动运动可以导致强烈的运动。相反地，z方向(侧滚方向)上的振动运动导致和缓的运动并且更加稳定。因此，可以通过使用具有较低处理能力的CPU，在z方向上执行振动运动校正。对于第三种方法，通过数据处理仅执行z方向振动运动的校正是现实的。
第四种方法包括在x和y方向上执行光学校正处理，计算不能校正的剩余振动运动的轨迹数据，并将轨迹数据作为Exif数据添加到采集的图像中(参见图30)。在这种情况下，较高频带中的振动运动分量通过光学校正处理消除，且振动运动校正后剩余振动运动的轨迹数据仅对应于较低频带中振动运动分量。结果，通过计算处理就可以更容易地执行振动运动的校正。
第五种方法关于通过照相机内的数据处理来执行所有的振动运动校正(参见图25)。然而，不能通过数据处理校正剧烈的振动运动。因此，优选通过使用振动运动校正控制部分141在x和y方向中执行光学校正处理等，以类似于上面参照图30所述的方式通过使用差异部分143来计算剩余的振动运动，通过使用轨迹计算部分91计算剩余振动运动的轨迹数据，通过使用振动运动校正部分115，使用轨迹数据和经受了x和y方向中的光学校正处理的图像数据，通过数据处理校正x，y和z方向中的振动运动(参见图33)。结果，可以在照相机内在所有三个轴上执行振动运动校正。根据此方法，通过光学校正处理就消除了高频带中振动运动的分量。结果，就可以更容易地通过数据处理执行剩余振动运动的校正。此外，就可以实现z方向(侧滚方向)中振动运动的校正，而通过使用光学校正处理很难实现上述校正。
这里，将描述校正振动运动校正的计算。如图34所示，假设用i表示原始图像，用h表示振动运动的轨迹信息的轨迹功能。经受了振动运动的图像i’，用i卷积h来表示(即，i*h＝i’)。在将傅立叶变换用于每个项的时候，获得I×H＝I’。因此，I＝I’/H，被定义为C。当将反傅立叶变换用于每个项的时候，i等于反傅立叶变换(C)，且i还等于反傅立叶变换(I’/H)(参见图34所示的表达式(4))。由于i等于i’卷积(反傅立叶变换(I/H))(即，i＝i’*(反傅立叶变换(I/H)))，假设反傅立叶变换(I/H)被定义为h’，就获得i＝i’卷积h’(即，i＝i’*h’)。在每次执行这种计算的时候，就需要较长时间来执行计算，并且变得较难采集采集下面的图像。这是因为例如数字照相机的用于静止图像的图像拾取装置中包括的计算器的处理能力较低。为了避免变为不能采集下面的图像，就提供了图像存储器120。采集的图像顺序输入到图像存储器120中，其中存储了多幅采集图像。然而，对于操作者并不优选的是该操作者较长时间不能检查采集的图像。为了解决这个问题，如上面实施方式所述，在采集图像的时候，将没有经受振动运动校正的采集图像显示在显示部分12上。这就使得操作者可以粗略地检查采集的图像。在显示采集图像之后经过了预定时间时，尤其是在完成了振动运动校正计算的时候，将经过振动运动校正的校正图像显示在显示部分12上。因此，就可以使得操作者在采集第n幅图像之后立即检查第n幅采集的图像，并且随后就可以检查经过振动运动校正的校正的第n幅图像。因此，操作者可以以无缝的方式不受任何打断地通过视觉来检查采集的图像。在对第n幅图像校正的计算完成之前，采集第(n+1)幅图像和此后的图像的情况下，将第(n+1)幅图像和之后的图像存储到图像存储器120中，如图25等所示，且将最近采集的第(n+1)幅图像和之后的图像在显示部分上逐个显示。
这里，将描述缩短执行计算所需时间的方法。如图34的表达式(3)和(4)所示，需要傅立叶变换的计算以重建原始图像。然而，为了在数字照相机内执行傅立叶变换的计算，需要极大地增加计算速度。可能需要很多年才能实现这种CPU。为此原因，如图34的表达式(6)所示，预先准备反傅立叶变换h’，其中反傅立叶变换h’是PSF(点扩散函数)h的傅立叶变换H的逆，其中PSF h是轨迹信息的加权轨迹。此h’依照振动运动来选择。在计算部分148中，执行h’和经受振动运动的图像i’的卷积，从而获得原始图像i。通过预先准备h’，就可以减少计算处理所需的时间。因此，可以将计算电路合并到图像拾取装置中。
这里，将描述探测振动运动校正量的方法。如图36(a)所示，通过驱动马达156驱动振动运动校正透镜155。在振动运动校正透镜155附近设置霍尔元件158作为透镜位置探测部分157，使得磁性地探测振动运动校正透镜155的位置，且随后获得振动运动校正量159。作为另一种方法，如图36(b)所示，预先计算振动运动校正部分的控制频率特性160或传递函数161。通过向此系统输入振动运动量，就可以通过电的方式计算振动运动校正量162。在此情况下，由于可以通过仅使用电路计算振动运动校正量，而不使用机械系统，所以可以减少成本和简化配置。
在将多个振荡陀螺仪用于探测振动运动的情况下，优选通过振动运动校正特性的频带将各个振荡陀螺仪的频率彼此分开。在此情况下，可以更稳定地探测振动运动。
将描述图35所示的组件152的使用的优点。在通过数据处理执行振动运动校正的情况下，对于照相机的每个透镜改变振动运动的轨迹函数。因此，图34所示的H和h’变化。对于第一种方法，可以从照相机与采集图像一起输出H和h’作为Exif数据。此方法具有较高程度的确定性，但是附加到每个图像上的Exif数据的量较大，并且包括很多浪费。对于第二种方法，对于每个照相机特定的、关于轨迹函数的信息H和h’被记录在记录介质151上，该记录介质与照相机装在一起。在此情况下，可以将对于每个照相机特定的轨迹信息H和h’记录到外部计算机上。因此，当计算机执行振动运动校正的时候，就可以没有失败地执行最优振动运动校正。
如上所述，本发明通过使用优选实施方式来例示。然而，本发明不应仅基于上述实施方式来解释。应该理解，本发明的范围应该仅基于权利要求来解释。还可以理解，本领域技术人员基于来自本发明详细优选实施方式描述的公知知识和对本发明的说明，可以实现技术的相等范围。此外，可以理解本说明书中引用的任何专利、任何专利申请和任何文献，应该通过与在说明书中所具体描述的内容一样的方式在本说明书中通过参考的方式结合。
产业应用本发明用于提供一种图像拾取装置，该图像拾取装置其可以获得振动运动校正所需的轨迹信息，以及提供一种产品组件，其包括图像拾取装置和具有程序记录其上的记录介质，以及半导体集成电路等。轨迹信息可以输出到图像拾取装置之外的设备(例如，计算机)。以此配置，可以执行振动运动校正，这需要在图像拾取装置外部的设备(例如，计算机)中大量的处理。
权利要求
1.一种图像拾取装置，包括振动运动探测部分，用于探测图像拾取装置的振动运动并输出表示所述图像拾取装置的振动运动的振动运动探测信号；成像部分，用于通过汇聚入射到所述图像拾取装置上的光来形成光学图像；图像拾取部分，用于将所述成像部分形成的光学图像转换成电视频信息；以及轨迹计算部分，用于至少基于所述振动运动探测部分输出的振动运动探测信号，来获得表示所述图像拾取装置振动运动轨迹的轨迹信息。
2.根据权利要求1的图像拾取装置，其中所述轨迹计算部分获得表示在预定时间周期内所述振动运动探测信号改变的信息，作为所述轨迹信息。
3.根据权利要求1的图像拾取装置，其中所述振动运动探测部分包括角速度传感器，以及所述轨迹计算部分获得通过积分所述角速度传感器的输出而得到的角度信息，还获得表示在预定时间周期内所述角度信息改变的信息作为所述轨迹信息。
4.根据权利要求3的图像拾取装置，其中所述角速度传感器是振荡陀螺仪，所述振荡陀螺仪具有多个彼此不同的振荡频率。
5.根据权利要求1的图像拾取装置，其中所述轨迹计算部分获得表示对所述图像拾取装置的振动运动进行加权的轨迹的信息，作为所述轨迹信息。
6.根据权利要求1的图像拾取装置，其中所述轨迹计算部分获得点扩散函数PSF作为所述轨迹信息。
7.根据权利要求5的图像拾取装置，其中所述轨迹计算部分确定所述图像拾取装置的振动运动中时间上的改变量是否大于预定阈值，并依照所确定的结果确定多个样本。
8.根据权利要求1的图像拾取装置，还包括输出部分，用于通过将所述轨迹信息添加到所述视频信息中来产生Exif格式的数据，并且用于以Exif格式输出所述数据。
9.根据权利要求1的图像拾取装置，其中所述轨迹计算部分至少基于聚焦信息、变焦信息以及所述振动运动探测信号来获得所述轨迹信息。
10.根据权利要求1的图像拾取装置，还包括电子振动运动校正部分，用于对所述轨迹信息和所述视频信息执行计算处理，从而获得经受了所述振动运动校正的校正视频信息。
11.根据权利要求10的图像拾取装置，其中所述电子振动运动校正部分确定所述振动运动探测信号是否大于预定阈值，并且在确定了所述振动运动探测信号大于所述预定阈值的时候，所述电子振动运动校正部分不校正所述视频信息中的振动运动。
12.根据权利要求10的图像拾取装置，其中所述计算处理包括傅立叶变换、反傅立叶变换、或是使用二维滤波器的处理。
13.根据权利要求10的图像拾取装置，其中所述轨迹信息包括轨迹函数h，并且所述计算处理包括h的傅立叶变换的计算，或是使用所述h的傅立叶变换结果的计算，或者所述计算处理包括反傅立叶变换的计算，其是所述h的傅立叶变换的逆，或是包括使用作为所述h的傅立叶变换逆的反傅立叶变换结果的计算。
14.根据权利要求10的图像拾取装置，还包括处理量计算部分，用于计算校正所述视频信息中振动运动所需的计算处理量。
15.根据权利要求14的图像拾取装置，其中当所述计算处理量或振动运动量超过预定值的时候，在显示部分上作出表示超出情形的显示和/或从扬声器产生表示超出情形的声音。
16.根据权利要求14的图像拾取装置，其中在所述计算处理量超过预定值的时候，输出没有经受所述振动运动校正的视频信息，并且在所述计算处理量在预定范围内的时候，输出所述视频信息中经受了所述振动运动校正的校正视频信息。
17.根据权利要求10的图像拾取装置，其中在显示部分上显示所述视频信息之后的特定时间，在所述显示部分上显示所述校正的视频信息。
18.根据权利要求17的图像拾取装置，其中所述电子振动运动校正部分中振动运动校正的计算处理完成的时间被用作所述特定时间。
19.根据权利要求10的图像拾取装置，还包括最大振动运动量计算部分，用于接收来自所述振动运动校正部分的校正的视频信息，并用于计算每个方向上振动运动的最大振动运动量；以及修剪部分，用于依照所述最大振动运动量来修剪所述校正的视频信息，从而产生修剪的校正视频信息。
20.根据权利要求19的图像拾取装置，还包括设定部分，用于设定第一修剪模式或第二修剪模式，其中在所述第一修剪模式中，所述修剪部分依照所述最大振动运动量来修剪所述校正的视频信息，从而产生第一修剪的校正视频信息，并且在所述第二修剪模式中，所述修剪部分修剪所述第一修剪的校正视频信息，使像素中心对应于所述第一修剪的校正视频信息的中心像素，从而产生第二修剪的校正视频信息，所述中心像素为位于每个方向中所述视频信息中心上的像素。
21.根据权利要求1的图像拾取装置，还包括机械振动运动校正部分，用于依照所述振动运动探测信号来机械地校正所述图像拾取装置的振动运动，从而获得校正的视频信息，所述校正的视频信息经受了通过实际振动运动校正量对所述视频信息中振动运动的校正，其中所述轨迹计算部分获得表示预定时间周期内所述振动运动探测信号和所述实际振动运动校正量之间差异的变化的信息，作为所述轨迹信息。
22.根据权利要求21的图像拾取装置，其中所述轨迹信息是Exif格式的。
23.根据权利要求21的图像拾取装置，其中所述机械振动运动校正部分依照所述振动运动探测信号机械地校正所述图像拾取装置的振动运动，从而获得第一校正视频信息，所述第一校正视频信息经受了通过第一振动运动校正量对所述视频信息中振动运动的校正，所述轨迹计算部分获得表示预定时间周期内剩余振动运动量变化的信息，作为所述轨迹信息，所述剩余振动运动量表示所述实际振动运动校正量和所述第一振动运动校正量之间的差异，并且所述图像拾取装置还包括电子振动运动校正部分，用于对所述轨迹信息和所述第一校正视频信息执行计算处理，从而获得第二校正视频信息，所述第二校正视频信息经受了通过第二振动运动校正量对所述第一校正视频信息中振动运动的校正。
24.根据权利要求23的图像拾取装置，其中所述计算处理包括傅立叶变换、反傅立叶变换或是使用二维滤波器的处理。
25.根据权利要求23的图像拾取装置，其中所述轨迹信息包括轨迹函数h，并且所述计算处理包括h的傅立叶变换的计算或是使用h的傅立叶变换结果的计算，或者所述计算处理包括反傅立叶变换的计算，其是h的傅立叶变换的逆，或是包括使用作为h的傅立叶变换的逆的反傅立叶变换结果的计算。
26.根据权利要求21的图像拾取装置，其中所述机械振动运动校正部分基于作为所述成像部分的部件的透镜的位置信息，来计算所述第一振动运动校正量。
27.根据权利要求21的图像拾取装置，其中所述机械振动运动校正部分基于所述振动运动探测信号以及所述机械振动运动校正部分的振动运动控制特性，来计算所述第一振动运动校正量。
28.根据权利要求1的图像拾取装置，其中所述振动运动探测部分包括第一振动运动探测部分，用于探测所述图像拾取装置振动运动中俯仰方向上的振动运动和偏转方向上的振动运动；以及第二振动运动探测部分，用于探测所述图像拾取装置振动运动中侧滚方向上的振动运动，所述轨迹计算部分获得表示预定时间周期内所述第二振动运动探测部分输出的探测信号的改变的信息，作为所述轨迹信息，并且所述图像拾取装置还包括机械振动运动校正部分，用于获得第一校正视频信息，所述第一校正视频信息依照所述第一振动运动探测部分输出的探测信号经受了所述俯仰方向上的振动运动校正和所述偏转方向上振动运动的校正。
29.根据权利要求28的图像拾取装置，还包括用于将所述轨迹信息添加到所述校正的视频信息上以用于输出、或将所述轨迹信息记录到记录介质上的部分。
30.根据权利要求29的图像拾取装置，其中所述轨迹信息是Exif格式或是类似于Exif格式的格式。
31.根据权利要求28的图像拾取装置，还包括电子振动运动校正部分，用于获得第二校正视频信息，通过对所述侧滚方向上轨迹信息和所述第一校正视频信息执行计算处理，所述第二校正视频信息经受了对所述第一校正视频信息中振动运动的校正。
32.根据权利要求31的图像拾取装置，其中所述计算处理包括傅立叶变换、反傅立叶变换、或是使用二维滤波器的处理。
33.根据权利要求31的图像拾取装置，其中所述轨迹信息包括轨迹函数h，并且所述计算处理包括h的傅立叶变换的计算或是使用h的傅立叶变换结果的计算，或者所述计算处理包括反傅立叶变换的计算，其是h的傅立叶变换的逆，或是包括使用作为h的傅立叶变换逆的反傅立叶变换结果的计算。
34.一种包括图像拾取装置和记录介质的产品组件，其中所述图像拾取装置包括振动运动探测部分，用于探测所述图像拾取装置的振动运动，并用于输出表示所述图像拾取装置振动运动的振动运动探测信号；成像部分，用于通过汇聚入射到所述图像拾取装置上的光来形成光学图像；图像拾取部分，用于将所述成像部分形成的光学图像转换成电视频信息；轨迹计算部分，用于至少基于所述振动运动探测部分输出的振动运动探测信号，来获得表示所述图像拾取装置振动运动轨迹的轨迹信息；以及输出部分，用于将所述轨迹信息添加到所述视频信息中，以输出图像信息，并且所述记录介质具有记录其中的程序，所述程序用于使得计算机执行处理，所述处理包括接收所述图像信息；将所述图像信息分离成所述轨迹信息和所述视频信息；并且获得校正的视频信息，其通过对所述轨迹信息和所述视频信息进行计算处理，经受了对所述视频信息中振动运动的校正。
35.根据权利要求34的产品组件，其中所述轨迹信息是Exif格式的。
36.根据权利要求34的产品组件，其中所述计算处理包括傅立叶变换、反傅立叶变换或是使用二维滤波的处理。
37.根据权利要求34的产品组件，其中所述轨迹信息包括轨迹函数h，并且所述计算处理包括h的傅立叶变换的计算或是使用h的傅立叶变换结果的计算，或者所述计算处理包括反傅立叶变换的计算，其是h的傅立叶变换的逆，或是包括使用作为h的傅立叶变换逆的反傅立叶变换结果的计算。
38.根据权利要求34的产品组件，其中所述轨迹信息是加权的轨迹或点扩散函数。
39.一种包括图像拾取装置和记录介质的产品组件，其中所述图像拾取装置包括振动运动探测部分，用于探测所述图像拾取装置的振动运动，并用于输出表示所述图像拾取装置振动运动的振动运动探测信号；成像部分，用于通过汇聚入射到所述图像拾取装置上的光来形成光学图像；图像拾取部分，用于将所述成像部分形成的光学图像转换成电视频信息；轨迹计算部分，用于至少基于所述振动运动探测部分输出的振动运动探测信号，来获得表示所述图像拾取装置振动运动轨迹的轨迹信息；机械振动运动校正部分，用于依照所述振动运动探测信号来机械地校正所述图像拾取装置的振动运动，从而获得校正的视频信息，所述校正的视频信息经受了通过实际振动运动校正量对所述视频信息中振动运动的校正，以及输出部分，用于将所述轨迹信息添加到所述视频信息中，以输出图像信息，所述轨迹计算部分获得表示预定时间周期内所述振动运动探测信号和所述实际振动运动校正量之间差异的变化的信息，作为所述轨迹信息，并且所述记录介质具有记录其中的程序，所述程序用于使得计算机执行处理，所述处理包括接收所述图像信息；将所述图像信息分离成所述轨迹信息和所述视频信息；并且获得校正的视频信息，其通过对所述轨迹信息和所述视频信息进行计算处理，经受了对所述视频信息中振动运动的校正。
40.根据权利要求39的产品组件，其中所述轨迹信息是Exif格式。
41.根据权利要求39的产品组件，其中所述计算处理包括傅立叶变换，反傅立叶变换或是使用二维滤波的处理。
42.根据权利要求39的产品组件，其中所述轨迹信息是加权的轨迹或点扩散函数。
43.一种半导体集成电路，包括轨迹计算部分，用于至少基于探测图像拾取装置振动运动的振动运动探测部分输出的振动运动探测信号，来获得表示所述图像拾取装置振动运动轨迹的轨迹信息。
44.根据权利要求43的半导体集成电路，还包括电子振动运动校正部分，用于获得校正的视频信息，所述校正的视频信息通过对所述轨迹信息和所述视频信息进行计算处理，经受了对所述视频信息中振动运动的校正。
45.根据权利要求43的半导体集成电路，还包括机械振动运动校正部分，用于依照所述振动运动探测信号来机械地校正所述图像拾取装置的振动运动，从而获得校正的视频信息，所述校正的视频信息经受了通过实际振动运动量对所述视频信息中振动运动的校正，其中所述轨迹计算部分获得表示预定时间周期内所述振动运动探测信号和所述实际振动运动校正量之间差异的变化的信息，作为所述轨迹信息。
46.根据权利要求43的半导体集成电路，其中所述振动运动探测部分包括第一振动运动探测部分，用于探测所述图像拾取装置振动运动中俯仰方向上的振动运动和偏转方向上的振动运动；以及第二振动运动探测部分，用于探测所述图像拾取装置振动运动中侧滚方向上的振动运动，所述轨迹计算部分获得表示预定时间周期内所述第二振动运动探测部分输出的探测信号的改变的信息，作为所述轨迹信息，并且所述半导体集成电路还包括机械振动运动校正部分，用于获得第一校正视频信息，所述第一校正视频信息依照所述第一振动运动探测部分输出的探测信号经受了所述俯仰方向上的振动运动校正和所述偏转方向上振动运动的校正。
全文摘要
本发明的图像拾取装置(1)包括振动运动探测部分(101a和101b)，用于探测图像拾取装置(1)的振动运动并输出表示所述图像拾取装置(1)的振动运动的振动运动探测信号；成像部分(2，2a和2b)，用于通过汇聚入射到所述图像拾取装置(1)上的光来形成光学图像；图像拾取部分(5)，用于将所述成像部分(2，2a和2b)形成的光学图像转换成电视频信息；以及轨迹计算部分(91)，用于至少基于所述振动运动探测部分(101a和101b)输出的振动运动探测信号，来获得表示所述图像拾取装置(1)振动运动轨迹的轨迹信息。
文档编号G03B5/00GK1922865SQ20048004214
公开日2007年2月28日 申请日期2004年12月24日 优先权日2003年12月26日
发明者大岛光昭 申请人:松下电器产业株式会社