专利名称：图像传感设备和及其控制方法
技术领域：
本发明涉及一种图像传感设备，例如数字照相机。
背景技术：
当拍摄对象以高速运动时，拍摄者通常利用高速快门来执行拍摄，以获取无模糊的对象图像，或者在跟随对象的运动而摇动照相机的同时执行拍摄。当使用高速快门时，由于降低了对图像传感设备曝光的时间，因此减少了对象的模糊。但是，在此情况下，所有对象都是在无模糊情况下被进行图像传感的，因此获得的图像缺乏真实感。另一方面，当在摇动照相机以跟随对象的运动的情况下执行拍摄，以获得真实感时，获得了这样一幅图像，在这幅图像中减少了对象的模糊，但却使得背景模糊了(具有跟踪拍摄效果的图像)。但是，由于照相机摇动的速度与对象运动的速度之间的差异，以及照相机在不同于对象的运动方向的方向上颤动，无法完全防止对象的模糊。
此外，当在夜间拍摄时以获得汽车尾灯等流动的图像时，以三角架等固定照相机，并且延长的时段中执行曝光，可获得只有运动对象在流动的图像(具有延续效果的图像)。但是，当由于不能使用三角架而无法固定照相机时，由于照相机颤动，使得整幅图像都模糊了。
已知作为用于校正这种模糊的方法的一种光学防颤系统，其通过用激光陀螺仪等检测加速度、角加速度、角速度、角位移等，根据检测的结果适当的执行校正处理，并且驱动校正光学设备以拍摄光轴偏离中心，来执行图像模糊校正。此外，已知一种在不导致照相机颤动的曝光时间中多次执行图像传感，以及在校正图像移位的同时多次图像传感获得的图像的合成，以便通过长时间曝光图像传感获得图像(合成图像)的方法(例如，日本专利申请公布5-7336号)。
最近，与氯化银小型照相机相比，提倡了数字照相机的尺寸缩小。特别地，具有SXGA类图像传感设备的照相机的尺寸被缩到如此之小，以使得它能够被包括在移动电子设备(例如蜂窝电话)中。
当上述光学防颤系统被包含在照相机中，要求进一步缩小模糊校正光学设备的尺寸，或者要求缩小诸如激光陀螺仪这样的颤动检测单元的尺寸。
但是，模糊校正光学设备的尺寸缩小受到了限制，因为它支持校正透镜，并且以高精确度驱动该透镜。此外，由于大多数目前使用的颤动检测单元利用惯性力，当这种颤动检测单元的尺寸被缩小时，其检测灵敏度被降低了，并且具有高精确度的模糊校正无法被执行。
另外，作为施加到照相机的模糊，围绕预定轴的角模糊和由照相机的平行颤动引起的移位模糊被检测。角模糊可通过光学防颤系统来校正，但是，移位模糊无法被轻而易举地校正。特别地，当照相机的尺寸被缩小时，移位模糊被增大了。
另一方面，在以上日本专利申请公布5-7336号中公开的防颤方法中，由于采用不导致一幅图像中的模糊的高速快门，因此不能通过重复图像传感并执行获得图像的合成，来获得上述跟踪拍摄效果或延续效果。
发明内容
因此，本发明的一个目的是克服上述缺陷。例如，本发明的一个目的是提供一种小型图像传感设备，其能够提供具有跟踪拍摄效果和/或延续效果的图像。
根据本发明的一个方面，一种图像传感设备包括检测装置，用于检测多个图像的运动信息；选择装置，用于选择一个对象；图像移动装置，用于基于由所述检测装置所检测到的运动信息，在一个平面坐标中在所述多个图像上执行位置转换；以及插值装置，用于基于由所述检测装置所检测到的运动信息在所述多个图像间执行插值，其中所述设备执行图像合成，以便通过所述图像移动装置使所述选择装置所选择的对象图像对应起来，并且通过所述插值装置在所述多个图像之间关于除由所述选择装置所选择的对象外的另一个对象执行插值。
根据本发明的另一个方面，一种图像传感设备包括检测装置，用于检测多个图像的运动信息；选择装置，用于选择一个对象；图像移动装置，用于基于由所述检测装置所检测到的运动信息在一个平面坐标中在所述多个图像上执行位置转换；以及插值装置，用于基于由所述检测装置所检测到的运动信息在所述多个图像间执行插值，其中所述设备执行图像合成，以便通过所述图像移动装置使除所述选择装置所选择的对象图像外的另一个对象对应起来，并且通过所述插值装置在所述多个图像之间关于由所述选择装置所选择的对象执行插值。
根据本发明的另一个方面，一种图像传感设备包括检测装置，用于检测多个图像的运动信息；选择装置，用于选择一个对象；图像移动装置，用于基于由所述检测装置所检测到的运动信息在一个平面坐标中在所述多个图像上执行位置转换；插值装置，用于基于由所述检测装置所检测到的运动信息在所述多个图像间执行插值；以及选择装置，用于选择以下两种模式之一第一模式，以执行图像合成，以便通过所述图像移动装置使由所述选择装置所选择的对象图像对应起来，并且通过所述插值装置在所述多个图像之间关于除由所述选择装置所选择的对象外的另一个对象执行插值，以及第二模式，以执行图像合成，以便通过所述图像移动装置使除由所述选择装置所选择的对象图像外的另一个对象对应起来，并且通过所述插值装置在所述多个图像之间关于由所述选择装置所选择的对象执行插值。
根据本发明的另一个方面，一种控制方法，用于一种图像传感设备，该图像传感设备包括检测装置，用于检测多个图像的运动信息；选择装置，用于选择一个对象；图像移动装置，用于基于由所述检测装置所检测到的运动信息在一个平面坐标中在所述多个图像上执行位置转换；以及插值装置，用于基于由所述检测装置所检测到的运动信息在所述多个图像间执行插值，所述方法用于执行图像合成，以便通过所述图像移动装置使由所述选择装置所选择的对象图像对应起来，并且通过所述插值装置在所述多个图像之间关于除由所述选择装置所选择的对象外的另一个对象执行插值。
根据本发明的另一个方面，一种控制方法，用于一种图像传感设备，该图像设备包括检测装置，用于检测多个图像的运动信息；选择装置，用于选择一个对象；图像移动装置，用于基于由所述检测装置所检测到的运动信息在一个平面坐标中在所述多个图像上执行位置转换；以及插值装置，用于基于由所述检测装置所检测到的运动信息在所述多个图像间执行插值，所述方法用于执行图像合成，以便通过所述图像移动装置使除由所述选择装置所选择的对象图像外的另一个对象对应起来，并且通过所述插值装置在所述多个图像之间关于由所述选择装置所选择的对象执行插值。
根据本发明的另一个方面，一种控制方法，用于一种图像传感设备，该图像传感设备包括检测装置，用于检测多个图像的运动信息；选择装置，用于选择一个对象；图像移动装置，用于基于由所述检测装置所检测到的运动信息在一个平面坐标中在所述多个图像上执行位置转换；以及插值装置，用于基于由所述检测装置所检测到的运动信息在所述多个图像间执行插值，所述方法包括一个选择步骤，用于选择以下两种模式之一第一模式，以执行图像合成，以便通过所述图像移动装置使由所述选择装置所选择的对象图像对应起来，并且通过所述插值装置在所述多个图像之间关于除由所述选择装置所选择的对象外的另一个对象执行插值，以及第二模式，以执行图像合成，以便通过所述图像移动装置使除由所述选择装置所选择的对象外的另一个对象图像对应起来，并且通过所述插值装置在所述多个图像之间关于由所述选择装置所选择的对象执行插值。
结合附图，从以下描述中可看出本发明的其他特征和优点，附图中类似的附图标记在其所有图中表示相同或类似的部件。
被包含进来并构成说明书的一部分的附图，示出本发明的实施例，并且与描述一起，帮助说明本发明的原理。
图1是示出的根据本发明的第一实施例的图像传感设备的构造的一个示例的框图；图2是示出根据本发明的第一实施例的对象选择的说明图；图3A和3B是示出根据本发明的第一实施例的选中的对象的位置坐标的说明图；图4示出根据本发明的第一实施例的坐标变换之后的合成图像；图5是根据本发明的第一实施例在除主对象外的对象上进行的图像插值的说明图；图6是根据本发明的第一实施例的最终合成图像；图7是示出根据本发明的第一实施例的图像传感处理的流程图；图8是根据本发明的第二实施例的对象选择的说明图；图9A和9B是示出根据本发明的第二实施例的选中的对象的位置坐标的说明图；图10是根据本发明的第二实施例的坐标变换之后的合成图像；图11是根据本发明的第二实施例在除主对象外的对象上进行的图像插值的说明图；以及图12是根据本发明的第二实施例的最终合成图像。
具体实施例方式
现将根据附图详细描述本发明的优选实施例。
注意以下实施例仅示出本发明的实施方式示例，并且可根据本发明所应用到的设备的构造或各种情况来适当纠正或更改。本发明不限于以下实施例。
此外，本发明的目的也可通过以下方式来实现向系统或设备提供保存用于执行稍后将描述的图像传感设备的功能的软件程序代码的存储介质(或记录介质)，从该存储介质中读取该程序代码，并通过该系统或设备的计算机(例如CPU、MPU)来执行该程序。
图1是示出一个数字照相机的构造作为根据本发明的第一实施例的图像传感设备的一个示例框图。注意根据第一实施例的图像传感设备可被实现成数字视频照相机、具有照相机的蜂窝电话、具有照相机的计算机等以及数字照相机。
从图像传感透镜11入射的光束(图像传感光)被光圈13a控制光量，然后被传递经过快门12a，并在图像传感单元17中形成图像。图像传感单元17利用诸如CMOS图像传感器或CCD图像传感器这样的图像传感设备，将接收到的光转换成图像信号。
拍摄透镜11具有多个光学透镜组。这些透镜组中一部分或全部通过来自AF驱动电机14a的驱动力在光轴10上移动，并且在预定的聚焦位置处停止，从而聚焦调整被执行。AF驱动电机14a是根据来自聚焦驱动器14b的驱动信号而被驱动的。
另外，拍摄透镜11的光学透镜组的一部分通过来自变焦驱动电机15a的驱动力在光轴10上移动，并且在预定的变焦位置处停止，从而更改拍摄视角。变焦驱动电机15a是根据来自变焦驱动器15b的驱动信号而被驱动的。
光圈13a具有多个光圈叶片。这些光圈叶片通过来自13b的驱动力操作，并且在光经过开口时，更改开口面积(光圈直径)。快门12a具有多个快门叶片。这些快门叶片在光经过开口时，通过来自快门驱动器12b的驱动力打开/关闭开口，从而控制光束进入图像传感单元17。
聚焦驱动器14b、变焦驱动器15b、光圈驱动器13b和快门驱动器12b被图像传感控制器18控制。
图像传感控制器18输入来自快门按钮12c、光圈操作单元13c、变焦操作单元15c、防颤效果操作单元120和对象选择器121的操作信号。图像传感控制器18根据数字照相机的图像传感状态，将操作信号提供给聚焦驱动器14b、变焦驱动器15b、光圈驱动器13b、快门驱动器12b，从而设置图像传感状况，并执行图像传感。注意快门按钮12c具有第一松开开关(SW1)，它在被半压下时被打开，以及第二松开开关(SW2)，它在被全压下时被打开。
注意光圈操作单元13c不是必需的，因为一般而言光圈13a的开口直径是在图像传感时在数字照相机一方自动设置的。但是，为拍摄者提供了光圈操作单元13c，以便任意设置图像传感状况。
图像传感控制器18根据在稍后将描述的图像处理器111中输入的数字图像信号而执行对象的亮度测量(光度测量)，并且根据光度测量的结果确定光圈13a的光圈直径，以及快门12a的闭合时间(曝光时间)。此外，图像传感控制器18在驱动聚焦驱动器14b的同时，根据来自图像处理器111的输出，获得拍摄透镜11的聚焦位置。
从图像传感单元17输出的图像信号被A/D转换器110转换成数字图像信号，并被输入到图像处理器111中。图像处理器111生成对应于从来自A/D转换器110的数字图像信号获得的图像的图像数据。
由图像处理器111生成的图像数据经由图像选择器112被输入到显示单元117和记录单元118。显示单元117在诸如液晶显示器这样的显示设备上显示图像数据。记录单元118压缩图像数据，并在诸如存储卡这样的记录介质上存储数据。
在上述操作中，当要求无照相机颤动的跟踪拍摄效果时，拍摄者操作防颤效果操作单元120，以将防颤系统设置成“跟踪拍摄”设置，以执行以下操作。
首先，当拍摄者半压下快门按钮12c时，图像传感预备操作(聚焦调整操作、光度测定操作等)被启动。快门12a的闭合时间(曝光时间)和光圈13a的光圈直径被根据由光度测定操作获得的光度测定值而设置。曝光时间被划分成多个短曝光时间，图像传感被重复多次，重复次数是所划分的曝光时间的数目。当曝光时间被划分成多个短曝光时间时，各幅图像是在曝光不足的状态中获得的，但是，在这些图像中，照相机颤动的影响被减小了。
然后在图像传感之后，通过多幅图像的合成，产生合成图像，从而改进曝光。
但是，当多幅图像被获得时，即使在由多次图像传感获得的各幅图像中没有照相机颤动的影响，由于连续图像传感期间的照相机颤动，在图像之间，合成也可能被轻微移位。当这些图像的合成被执行时，相应于各幅图像之间的合成移位，合成图像被弄得模糊。
在本实施例中，连续图像传感中从图像传感单元17输出的多个图像信号被A/D转换器110转换成数字图像信号，并且经历由图像处理器111进行的预定图像处理。
另一方面，当操作防颤效果操作单元120以指示图像传感控制器18将防颤系统设置为“跟踪拍摄”设置时，用对象选择器121预先选择主对象在屏幕上的显示位置。只要对象选择器具有交叉键、选择按钮和输入键，就能在屏幕上自由选择显示位置。在此例中，图像屏幕上的中央部分已被对象选择器121预先选择。此外，对象选择器121进行的对象选择可通过在图像传感后从多幅图像中的至少一幅中选择主对象来执行。
例如，如图2所示，当帧121a的中央部分处的行驶在道路122a上的车辆将要被摄取，并且拍摄将在数字照相机被摇动的同时被执行时，框125被对象选择器121拖动，从而选择范围被指定。
然后来自图像处理器111的图像数据经由图像选择器112输入到存储器113中。
存储器113保存由连续图像传感获得的多幅图像。
移位检测器114在对象选择器121选中的框内，抽取存储器113中存储的图像中的屏幕特征点，并且获取该特征点在图像传感屏幕中的位置坐标。
例如，在其中车辆123b在帧121b中行驶在道路122b的图3A和3B中，拍摄者尝试在与车辆123b的行驶方向相同的方向上以与车辆123b的速度相同的速度执行拍摄。但是，摇动数字照相机的速度可能与车辆123b的速度不同，或者照相机可能在与车辆123b的行驶方向不同的方向上颤动。多次图像传感的结果是，在帧121c的情况中，相对于帧121b的图像合成，图像合成可能被移位。
移位检测器114通过边缘检测抽取高辉度(high-luminance)点，即位于由对象选择器121选择的框125内的车辆123b的窗户126b的边缘127b，作为特征点，然后将特征点127b与帧121c中的特征点127c相比较，并校正差异(坐标转换)。
在图3A和3B中，通过如箭头128所示，将帧121b的特征点127b移动到帧121c的特征点127c上，帧121c经历坐标转换。
在此例中，在由连续图像传感获得的多幅图像中的第一图像帧121b和第二图像帧121c之间，获得特征点的变化。此外，对于随后的图像，以类似的方式获得特征点的变化。
注意可安排成选择多个点作为特征点，并且获得这些点的运动矢量的平均值或最小标量值，作为特征点的变化。
经历由坐标转换器115进行的坐标转换的各幅图像被输出到图像合成单元116，并且合成图像通过这些图像的合成而产生，如图4所示。
如上所述，在图4的合成图像中，主对象显现为车辆123d，在各幅图像中，该主对象的坐标被坐标转换对应起来。另一方面，由于摇动了数字照相机，并且以快门速度执行了图像传感以减小照相机颤动的影响，背景中作为除主对象外的其他对象的树，在合成图像中离散地显现为单独的树129b和129c，其中在各幅图像中，除主对象外的其他对象的坐标不彼此对应。接下来，将参考图5描述离散合成的对象即树129b和129c的合成，该合成使得树在流动。
在图5中，帧121b中没有对象选择框125的特征点被抽取。从对象选择框125外的对象中，一般具有较高辉度、色调、色质和亮度的树129b的边缘130b、131b和132b，被边缘检测作为特征点抽取出来，并被存储。然后背景中的对象，即树129b，被根据由边缘检测获得的辉度、色调、色质和亮度级别而抽取出来。然后，与先前存储的点具有相同特征级别的点被从帧121c的整个屏幕中抽取出来(130c、131c和132c)。通过用直线连接各帧之间的边缘，获得边缘轨迹，并且预测树129b的运动量和方向。边缘130b和130c之间的轨迹由箭头133指示；边缘131b和131c之间的轨迹由箭头134指示；边缘135b和135c之间的轨迹由箭头135指示。然后沿具有相同辉度、色调、色质和亮度的轨迹执行图像插值，从而可进行图像拖动，以便树129b流动到树129c，如图6所示。注意当树129b被拖动到树129c时，作为主对象的车辆123d未被插值，从而可防止它被背景覆盖。可确定作为主对象的车辆123b的范围，因为尚未通过车辆123b中的边缘检测检测到作为相同边缘的多个边缘(各帧中的对象已经彼此对应)。
由图像合成单元116产生的合成图像数据经由图像选择器112输入到显示单元117和记录单元118中。显示单元117在诸如液晶显示器这样的显示设备上显示图像数据。记录单元118压缩图像数据，并将数据存储到诸如存储卡这样的记录介质上。
图7是示出根据第一实施例的数字照相机中的图像传感处理的流程图。当数字照相机的电源被打开时，流程开始。
在步骤S1001中，照相机处于待用状态，直到快门按钮12c被半压下。当第一松开开关(SW1)被打开时，过程前进到步骤S1002。
在步骤S1002中，由图像传感单元17执行图像传感。图像传感控制器18驱动AF驱动电机14a，以便在光轴方向上移动拍摄透镜11，同时根据来自图像处理器111的输出检测图像对比度。
当获得最高对比度时，停止拍摄透镜11的驱动，从而将图像传感光学系统设置为聚焦状态(通过爬山方法进行的AF)。注意聚焦调整可通过相位差检测来执行。
另外，此时，图像传感控制器18根据来自图像传感单元17的输出获得对象的亮度。
在步骤S1003中，确定拍摄者是否将防颤效果操作单元120设置成了“跟踪拍摄”设置。当防颤效果操作单元120处于“跟踪拍摄”设置中时，过程前进到步骤S1004，否则，过程前进到步骤S1018。
接下来，将描述防颤效果操作单元120被设置成“跟踪拍摄”设置的情况下的流程。
在步骤S1004中，根据图像传感状况，例如步骤S1002中获得的对象的亮度，获得图像传感的次数以及各次图像传感的曝光时间。
图像传感状况包括1对象亮度2图像传感光学系统的焦距3图像传感光学系统的亮度(光圈值)以及4图像传感设备的灵敏度例如，假定图像传感单元17的灵敏度为ISO 100，为了测量对象的亮度(光度测量)，并根据光度测量的结果执行适当的曝光，光圈13a被完全打开(例如，f4.0)，并且快门12a的闭合时间，即曝光时间，被设置为1/50秒。
当图像传感光学系统的焦距等于35毫米胶卷的100毫米时，由于照相机颤动，曝光时间为1/50秒的图像传感可能引起图像模糊。为了防止照相机颤动，将曝光时间设置为1/100秒，并且执行图像传感两次。
另一方面，当图像传感光学系统的焦距是400毫米时，将曝光时间设置为1/500秒并执行图像传感10次，以防止照相机颤动。
通过这种方式，根据图像传感状况确定多次图像传感时的曝光时间，并根据图像传感状况设置图像传感的次数。
在同一个对象被多次进行图像传感时，各次图像传感的曝光状况最好尽可能接近适当的曝光，以便通过图像传感单元17用精确的信息执行图像传感。
为了此目的，当对象较暗或者拍摄透镜的光圈被变窄并且透镜的亮度较低时，或者当图像传感单元17的灵敏度较低时，即使在多次图像传感中，各次图像传感的曝光时间也被尽可能加长，以获得有效的曝光状况。
注意如果曝光时间太长，则照相机颤动的影响出现在图像表面。因此，如上所述，当图像传感光学系统的焦距等于35毫米胶卷的100毫米时，曝光时间被设置为1/100秒，这对应于约1/100毫米(焦距)。
另外，控制图像传感的次数，以便补偿曝光不足。
当焦距较长时，曝光时间被进一步缩短，以便防止由于照相机颤动引起的图像质量下降，并且图像传感次数被增大，以补偿曝光不足。
通过这种方式，在多次图像传感中，当对象或拍摄透镜较暗时，曝光时间较长。当图像传感单元17的灵敏度较低时，曝光时间较长。此外，当透镜的焦距较长时，曝光时间较短。
当对象或拍摄透镜较暗时，连续图像传感的图像传感次数被增大。当图像传感设备的灵敏度较低时，图像传感的次数被增大，此外，当透镜的焦距较长时，图像传感的次数被增大。
在完成以上计算后，防颤模式(多次图像传感模式)的设置被显示在显示单元117上，并且同时，图像传感的次数被显示在显示单元117上，供拍摄者查看。
在步骤S1005中，确定快门按钮12c是否已被全压下。当快门按钮12c已被全压下时，第二松开开关(SW2)被打开。
在步骤S1006中，获得的图像被临时存储在存储器113中。
重复步骤S1006，直到在步骤S1007中确定已完成所有图像传感。
当已完成所有图像传感时，过程前进到步骤S1008。
在步骤S1008中，移位检测器114抽取从由对象选择器121预先设置的对象选择框(例如图3A和3B中的框125)中的图像(例如图3A和3B中的车辆123b)中特征图像(特征点)，并获得该图像的坐标。
在步骤S1009中，坐标转换器115执行各幅图像的坐标转换。注意只有在第一帧图像(第一图像)上不执行坐标转换。即，坐标转换时，第一图像被用作参考图像。
在所有第二和后续的图像上执行步骤S1008中的特征点抽取和步骤S1009中的坐标转换，并且当在步骤S1010确定已完成所有图像的坐标转换时，过程前进到步骤S1011。
在步骤S1011中，移位检测器114从对象选择器121预先设置的对象选择框(例如图5中框125)外的图像(例如图5中的树129b)中抽取特征图像(特征点)，并获得该图像的坐标。此时，存储被抽取的点的辉度、色调、色质和亮度。具有相同特征的点是作为一个群组抽取的，从而树129b的图像被抽取。移位检测器114从第二图像群组(图5中的帧121c)中抽取与存储的点具有相同特征的点，并获得树129b的图像的轨迹。
在步骤S1012中，沿步骤S1011中计算的轨迹，利用各点的辉度、色调、色质和亮度执行图像插值，从而生成一幅图像，在该图像中树129b流动到图5中的树129c。
重复步骤S1011中的特征点抽取以及步骤S1012中的图像插值，直到已处理了所有的第二和后续的图像。当在步骤S1013中确定已完成所有图像的坐标转换时，过程前进到步骤S1014。
在步骤S1014中，执行第一图像以及坐标转换后的第二图像群组的各图像的合成。
图像合成是通过取各图像的相应坐标值的平均值来执行的，并且图像中的随机噪声可通过取平均值来减小。这样，具有减小了的噪声的图像受到增益控制，以增大增益级别，以便优化曝光。
在步骤S1015中，在合成图像中，由于合成移位引起的各幅图像不重叠的区域(图5中的区域140)被剪切掉，并且图像受到扩散插值，以获得初始帧尺寸。
在步骤S016中，由图像处理器111生成的图像数据或由图像合成单元116产生的合成图像数据被显示在显示单元117上。
在步骤S1017中，由图像处理器111生成的图像数据或由图像合成单元116产生的合成图像数据被存储在诸如存储卡这样的记录介质上。
在步骤S1018中，过程返回开始。
注意当在步骤S1018中，快门按钮12c仍被半压下并且开关SW1处于打开状态时，过程再次前进到步骤S1001到S1004。
此外，当在步骤S1018中，快门按钮12c已被全压下并且开关SW2处于打开状态时，过程不返回开始，而在步骤S1017中待用。
接下来，将描述在步骤S1003中，防颤效果操作单元120处于关闭状态的情况下的流程。
在步骤S1003中，如果确定防颤效果操作单元120处于关闭状态，则过程前进到步骤S1020。
在步骤S1020中，过程从步骤S1001前进到步骤S1020，直到快门按钮12c被全压下，并且开关SW2被打开。
在步骤S1021中，过程待用，直到正常图像传感(一次曝光中有效的曝光状况下的正常图像传感模式)完成。在曝光完成时，过程前进到步骤S1016。
在步骤S1016中，由图像处理器111生成的图像数据或由图像合成单元116产生的合成图像数据被显示在显示单元117上。
在步骤S1017中，由图像处理器111生成的图像数据或由图像合成单元116产生的合成图像数据被存储在诸如存储卡这样的记录介质上。
在步骤S1018中，过程返回开始。
根据本发明的第一实施例，通过在摇动照相机的同时，在不导致图像模糊的曝光时间中多次执行图像传感，然后执行图像合成，以便在校正由多次图像传感获得的图像中除主对象外的其他对象的运动轨迹的同时消除主对象的移位，可获得具有跟踪拍摄效果并且没有由于照相机颤动引起的模糊的图像。
在第一实施例中，通过移位检测器114抽取由对象选择器121所设置的对象选择框内的对象的特征点，并且执行图像合成，并且在框外的对象上执行插值处理以便其流动(“跟踪拍摄”效果拍摄，以获得主对象停止而背景流动的图像)。
在第二实施例中，通过移位检测器114抽取由对象选择器121所设置的对象选择框外的对象的特征点，并且执行图像合成，并且在框内的对象上执行插值处理以便其流动(“延续”效果拍摄，以获得主对象流动而背景停止的图像)。
根据第二实施例的数字照相机具有与根据第一实施例的相同的。在本实施例中，将描述用于获得不同于第一实施例中的“跟踪拍摄”效果的“延续”效果。
在具有与第一实施例相同的单元的图像传感设备中，为了在无照相机颤动的情况下获得延续效果，拍摄者设置防颤效果操作单元120，以将防颤系统设置为“延续”设置，以执行以下操作。
首先，当拍摄者半压下快门按钮12c时，图像传感预备操作(聚焦调整操作、光度测定操作等)被启动。快门12a的闭合时间(曝光时间)和光圈13a的光圈直径被根据由光度测定操作获得的光度测定值而设置。曝光时间被划分成多个短曝光时间，图像传感被重复多次，重复次数是所划分的曝光时间的数目。当曝光时间被划分成多个短曝光时间时，各幅图像是在曝光不足的状态中获得的，但是，在这些图像中，照相机颤动的影响被减小了。
然后在图像传感之后，通过多幅图像的合成，产生合成图像，从而改进曝光。
但是，当多幅图像被获得时，即使在由多次图像传感获得的各幅图像中没有照相机颤动的影响，由于连续图像传感期间的照相机颤动，在图像之间，合成也可能被轻微移位。当这些图像的合成被执行时，相应于各幅图像之间的合成移位，合成图像被弄得模糊。
在本实施例中，连续图像传感中从图像传感单元17输出的多个图像信号被A/D转换器110转换成数字图像信号，并且经历由图像处理器111进行的预定图像处理。
另一方面，当操作防颤效果操作单元120以指示图像传感控制器18将防颤系统设置为“延续”设置时，用对象选择器121预先选择主对象在屏幕上的显示位置。只要对象选择器具有交叉键、选择按钮和输入键，就能在屏幕上自由选择显示位置。在此例中，图像屏幕上的中央部分已被对象选择器121预先选择。此外，对象选择器121进行的对象选择可通过在图像传感后从多幅图像中的至少一幅中选择主对象来执行。
例如，当将要通过定点拍摄来摄取帧141a的屏幕的下半部分的行驶在道路142a上的车辆以获得延续效果时，框145被对象选择器121拖动，从而选择范围被指定。
然后来自图像处理器111的图像数据被经由图像选择器112输入到存储器113中。
存储器113保存由连续图像传感获得的多幅图像。
移位检测器114在由对象选择器121选中的框内，抽取存储器113中存储的图像中的屏幕特征点，并且获取特征点在图像传感屏幕中的位置坐标。
例如，当拍摄者在数字照相机无法用三角架等来固定的环境中，执行定点拍摄，以摄取如图9A和9B所示的其中车辆143b在帧141b中行驶在道路142b上的屏幕时，拍摄者尝试在不颤动数字照相机的情况下执行图像传感。但是，手持状态中的多次图像传感可能产生帧141c中的情况，与帧141b相比，该帧图像的合成被移位。
移位检测器114通过边缘检测抽取高辉度点，即位于由对象选择器121选择的框145外的房屋144b中的窗户146b的边缘147b，作为特征点，然后将特征点147b与帧141c中的特征点147c相比较，并校正差异(坐标转换)。
在图9A和9B中，通过如箭头148所示，将帧141b的特征点147b移动到帧141c的特征点147c上，帧141c经历坐标转换。
在此例中，在由连续图像传感获得的多幅图像中的第一图像帧141b和第二图像帧141c之间，获得特征点的变化。此外，对于随后的图像，以类似的方式获得特征点的变化。
注意可安排成选择多个点作为特征点，并且获得这些点的运动矢量的平均值或最小标量值，作为特征点的变化。
经历由坐标转换器115进行的坐标转换的各幅图像被输出到图像合成单元116，并且合成图像通过这些图像的合成而产生，如图10所示。
如上所述，作为不是主对象的对象显现为合成图像中的房屋144，在各幅图像中，该对象的坐标被坐标转换对应起来。另一方面，由于以减小照相机颤动影响的快门速度执行了图像传感，并且运动中的对象(车辆)在图像屏幕上，作为主对象的车辆，在合成图像中离散地显现为单独的车辆143b和143c，其中在各幅图像中，主对象的坐标不彼此对应。接下来，将参考图11描述离散的合成对象即车辆143b和143c的合成，该合成使得车辆移动。
首先，抽取帧141b中的对象选择框145b中内的特征点，这些特征点用在从图像144b和144c生成合成图像时。在对象选择框145b内，一般具有较高辉度、色调、色质和亮度的窗户边缘150b和车辆143b的尾灯151b以及另一特征点(未示出)，被边缘检测作为特征点抽取出来，并被存储。然后主对象，即车辆143b，被根据由边缘检测获得的辉度、色调、色质和亮度级别而抽取出来。然后，与先前存储的点具有相同特征级别的点被从帧141c的整个屏幕中抽取出来(150c和151c)。通过用直线连接各帧之间的边缘，获得边缘轨迹，并且预测车辆143b的运动量和方向。边缘150b和150c之间的轨迹由箭头153指示；边缘151b和151c之间的轨迹由箭头154指示。然后沿具有相同辉度、色调、色质和亮度的轨迹执行图像插值，从而可进行图像拖动，以便车辆143b流动到车辆143c，如图12所示。
由图像合成单元116产生的合成图像数据经由图像选择器112输入到显示单元117和记录单元118中。显示单元117在诸如液晶显示器这样的显示设备上显示图像数据。记录单元118压缩图像数据，并将数据存储到诸如存储卡这样的记录介质上。
将下来，将参考图7描述根据本实施例的数字照相机中的图像传感处理。
示出根据本实施例的数字照相机中的图像传感处理的流程图与图7所示的相同，但是不同之处在于各幅图像中对象选择器121所选择的对象选择框(例如图9A和9B中的框145b)外的对象(在第一实施例中是对象选择框内的对象)被对应起来，而对象选择框内的对象(在第一实施例中是对象选择框外的对象)被插值，以便对象流动。使对象对应起来的图像合成和获得其中对象流动的图像的插值与第一实施例中描述的相同。
在步骤S1001中，当第一松开开关(SW1)被打开时，过程前进到步骤S1002。
在步骤S1002中，由图像传感单元17执行图像传感。图像传感控制器18驱动AF驱动电机14a，以便在光轴方向上移动拍摄透镜11，同时根据来自图像处理器111的输出检测图像对比度。
当获得最高对比度时，停止拍摄透镜11的驱动，从而将图像传感光学系统设置为聚焦状态(通过爬山方法进行的AF)。注意聚焦调整可通过相位差检测来执行。
另外，此时，图像传感控制器18根据来自图像传感单元17的输出获得对象的亮度。
在步骤S1003中，确定拍摄者是否将防颤效果操作单元120设置成了“延续”设置。当防颤效果操作单元120被设置成“延续”设置时，过程前进到步骤S1004，否则，过程前进到步骤S1018。
接下来，将描述防颤效果操作单元120被设置成“延续”设置的情况下的流程。
在步骤S1004中，根据图像传感状况，例如步骤S1002中获得的对象的亮度，获得图像传感的次数以及各次图像传感的曝光时间。
图像传感状况包括1对象亮度2图像传感光学系统的焦距3图像传感光学系统的亮度(光圈值)以及4图像传感设备的灵敏度例如，假定图像传感单元17的灵敏度为ISO 100，为了测量对象的亮度(光度测量)，并根据光度测量的结果执行适当的曝光，光圈13a被完全打开(例如，f2.8)，并且快门12a的闭合时间，即曝光时间，被设置为1/50秒。
当图像传感光学系统的焦距等于35毫米胶卷的100毫米时，由于照相机颤动，曝光时间为1/50秒的图像传感可能引起图像模糊。为了防止照相机颤动，将曝光时间设置为1/100秒，并且执行图像传感两次。
另一方面，当图像传感光学系统的焦距是400毫米时，将曝光时间设置为1/500秒并执行图像传感10次，以防止照相机颤动。
通过这种方式，根据图像传感状况确定多次图像传感时的曝光时间，并根据图像传感状况设置图像传感的次数。
在相同对象被多次进行图像传感时，各次图像传感的曝光状况最好尽可能接近适当的曝光，以便通过图像传感单元17用精确的信息执行图像传感。
为了此目的，当对象较暗或者拍摄透镜的光圈被变窄并且透镜的亮度较低时，或者当图像传感单元17的灵敏度较低时，即使在多次图像传感中，各次图像传感的曝光时间也被尽可能加长，以获得有效的曝光状况。
注意如果曝光时间太长，则照相机颤动的影响出现在图像表面。因此，如上所述，当图像传感光学系统的焦距等于35毫米胶卷的100毫米时，曝光时间被设置为1/100秒，这对应于约1/100毫米(焦距)。
另外，控制图像传感的次数，以便补偿曝光不足。
当焦距较长时，曝光时间被进一步缩短，以便防止由于照相机颤动引起的图像质量下降，并且图像传感次数被增大，以补偿曝光不足。
通过这种方式，在多次图像传感中，当对象或拍摄透镜较暗时，曝光时间较长。当图像传感单元17的灵敏度较低时，曝光时间较长。此外，当透镜的焦距较长时，曝光时间较短。
当对象或拍摄透镜较暗时，连续图像传感的图像传感次数被增大。当图像传感设备的灵敏度较低时，图像传感的次数被增大，此外，当透镜的焦距较长时，图像传感的次数被增大。
在完成以上计算后，防颤模式(多次图像传感模式)的设置被显示在数字照相机的取景器中提供的显示器上，或作为数字照相机的扩展单元的液晶显示器上，并且同时，图像传感的次数被显示在显示单元117上，供拍摄者查看。
在步骤S1005中，确定快门按钮12c是否已被全压下。当快门按钮12c已被全压下时，第二松开开关(SW2)被打开。在此情况下，过程前进到步骤S1006。
在步骤S1006中，获得的图像被临时存储在存储器113中。
重复步骤S1006，直到在步骤S1007中确定已完成所有图像传感。
当已完成所有图像传感时，过程前进到步骤S1008。
在步骤S1008中，移位检测器114抽取从由对象选择器121预先设置的对象选择框(例如图9A和9B中的框145)外的图像(例如图9A和9B中的房屋144b)中特征图像(特征点)，并获得图像的坐标。
在步骤S1009中，坐标转换器115执行各幅图像的坐标转换。注意只有在第一帧图像(第一图像)上不执行坐标转换。即，坐标转换时，第一图像被用作参考图像。
在所有第二和后续的图像上执行步骤S1008中的特征点抽取和步骤S1009中的坐标转换，并且当在步骤S1010确定已完成所有图像的坐标转换时，过程前进到步骤S1011。
在步骤S1011中，移位检测器114从所获得的第一幅图像(第一图像(图11中的帧141b))中的由对象选择器121预先设置的对象选择框(例如图11中框145)中的图像(例如图11中的车辆143b)中抽取特征图像(特征点)，并获得该图像的坐标。此时，存储被抽取的点的辉度、色调、色质和亮度。具有相同特征的点是作为一个群组抽取的，从而车辆143b的图像被抽取。移位检测器114从第二图像群组(第二图像)(图11中的帧141c)中抽取与存储的点具有相同特征的点，并获得车辆143b的图像的轨迹。
在步骤S1012中，沿步骤S1011中计算的轨迹，利用各点的辉度、色调、色质和亮度执行图像插值，从而生成一幅图像，在该图像中车辆143b流动到图11中的树143c。
重复步骤S1011中的特征点抽取以及步骤S1012中的图像插值，直到已处理了所有的第二和后续的图像。当在步骤S1013中确定已完成所有图像的坐标转换时，过程前进到步骤S1014。
在步骤S1014中，执行第一图像以及坐标转换后的第二图像群组的各图像的合成。
图像合成是通过取各图像的相应坐标值的平均值来执行的，并且图像中的随机噪声可通过取平均值来减小。这样，具有减小了的噪声的图像经历增益控制，以增大增益级别，以便优化曝光。
在步骤S1015中，在合成图像中，由于合成移位引起的各幅图像不重叠的区域(图11中的区域160)被剪切掉，并且图像受到扩散插值，以获得初始帧尺寸。
在步骤S1016中，由图像处理器111生成的图像数据或由图像合成单元116产生的合成图像数据被显示在显示单元117上。
在步骤S1017中，由图像处理器111生成的图像数据或由图像合成单元116产生的合成图像数据被存储在诸如存储卡这样的记录介质上。
在步骤S1018中，过程返回开始。
注意当在步骤S1018中，快门按钮12c仍被半压下并且开关SW1处于打开状态时，过程再次前进到步骤S1001到S1004。
此外，当在步骤S1018中，快门按钮12c已被全压下并且开关SW2处于打开状态时，过程不返回开始，而在步骤S1017中待用。
接下来，将描述在步骤S1003中，防颤效果操作单元120处于关闭状态的情况下的流程。
在步骤S1003中，如果确定防颤效果操作单元120处于关闭状态，则过程前进到步骤S1020。
在步骤S1020中，确定快门按钮12c是否已被全压下。当快门按钮12c已被全压下时，第二松开开关(SW2)被打开。在此情况下，过程前进到步骤S1021。
在步骤S1021中，过程待用，直到正常图像传感(一次曝光中有效的曝光状况下的正常图像传感模式)完成。在曝光完成时，过程前进到步骤S1016。
在步骤S1016中，由图像处理器111生成的图像数据或由图像合成单元116产生的合成图像数据被显示在显示单元117上。
在步骤S1017中，由图像处理器111生成的图像数据或由图像合成单元116产生的合成图像数据被存储在诸如存储卡这样的记录介质上。
在步骤S1018中，过程返回开始。
根据第二实施例，通过在不导致照相机颤动的曝光时间中多次执行图像传感，然后执行图像合成以便在校正由多次图像传感获得的图像中的主对象的运动轨迹的同时，消除除主对象外的其他对象的移位，可获得具有延续效果的图像以及没有由于照相机颤动而引起的模糊的图像。
本发明不限于以上实施例，可在本发明的精神和范围内做出各种变化和修改。因此，为了评估本发明的范围的公开，做出以下权利要求。
权利要求
1.一种图像传感设备，包括检测装置，用于检测多个图像的运动信息；选择装置，用于选择一个对象；图像移动装置，用于基于由所述检测装置所检测到的运动信息在一个平面坐标中在所述多个图像上执行位置转换；以及插值装置，用于基于由所述检测装置所检测到的运动信息在所述多个图像间执行插值，其中所述设备执行图像合成，以便通过所述图像移动装置使由所述选择装置所选择的对象图像对应起来，并且通过所述插值装置在所述多个图像之间关于除由所述选择装置所选择的对象外的另一个对象执行插值。
2.一种图像传感设备，包括检测装置，用于检测多个图像的运动信息；选择装置，用于选择一个对象；图像移动装置，用于基于由所述检测装置所检测到的运动信息在一个平面坐标中在所述多个图像上执行位置转换；以及插值装置，用于基于由所述检测装置所检测到的运动信息在所述多个图像间执行插值，其中所述设备执行图像合成，以便通过所述图像移动装置使除由所述选择装置所选择的对象图像外的另一个对象对应起来，并且通过所述插值装置在所述多个图像之间关于由所述选择装置所选择的对象执行插值。
3.一种图像传感设备，包括检测装置，用于检测多个图像的运动信息；选择装置，用于选择一个对象；图像移动装置，用于基于由所述检测装置所检测到的运动信息在一个平面坐标中在所述多个图像上执行位置转换；插值装置，用于基于由所述检测装置所检测到的运动信息在所述多个图像间执行插值；以及选择装置，用于选择以下两种模式之一第一模式，以执行图像合成，以便通过所述图像移动装置使由所述选择装置所选择的对象图像对应起来，并且通过所述插值装置在所述多个图像之间关于除由所述选择装置所选择的对象外的另一个对象执行插值，以及第二模式，以执行图像合成，以便通过所述图像移动装置使除由所述选择装置所选择的对象图像外的另一个对象对应起来，并且通过所述插值装置在所述多个图像之间关于由所述选择装置所选择的对象执行插值。
4.一种控制方法，用于一种图像传感设备，该图像传感设备包括检测装置，用于检测多个图像的运动信息；选择装置，用于选择一个对象；图像移动装置，用于基于由所述检测装置所检测到的运动信息在一个平面坐标中在所述多个图像上执行位置转换；以及插值装置，用于基于由所述检测装置所检测到的运动信息在所述多个图像间执行插值，所述方法用于执行图像合成，以便通过所述图像移动装置使由所述选择装置所选择的对象图像对应起来，并且通过所述插值装置在所述多个图像之间关于除由所述选择装置所选择的对象外的另一个对象执行插值。
5.一种控制方法，用于一种图像传感设备，该图像传感设备包括检测装置，用于检测多个图像的运动信息；选择装置，用于选择一个对象；图像移动装置，用于基于由所述检测装置所检测到的运动信息在一个平面坐标中在所述多个图像上执行位置转换；以及插值装置，用于基于由所述检测装置所检测到的运动信息在所述多个图像间执行插值，所述方法用于执行图像合成，以便通过所述图像移动装置使除由所述选择装置所选择的对象图像外的另一个对象对应起来，并且通过所述插值装置在所述多个图像之间关于由所述选择装置所选择的对象执行插值。
6.一种控制方法，用于一种图像传感设备，该图像传感设备包括检测装置，用于检测多个图像的运动信息；选择装置，用于选择一个对象；图像移动装置，用于基于由所述检测装置所检测到的运动信息在一个平面坐标中在所述多个图像上执行位置转换；以及插值装置，用于基于由所述检测装置所检测到的运动信息在所述多个图像间执行插值，所述方法包括一个选择步骤，用于选择以下两种模式之一第一模式，以执行图像合成，以便通过所述图像移动装置使由所述选择装置所选择的对象图像对应起来，并且通过所述插值装置在所述多个图像之间关于除由所述选择装置所选择的对象外的另一个对象执行插值，以及第二模式，以执行图像合成，以便通过所述图像移动装置使除由所述选择装置所选择的对象外的另一个对象图像对应起来，并且通过所述插值装置在所述多个图像之间关于由所述选择装置所选择的对象执行插值。
全文摘要
一种图像传感设备包括一个检测单元，用于检测多幅图像的运动信息；一个选择单元，用于选择对象；一个图像移动单元；用于根据由该检测单元检测到的运动信息在平面坐标中在多幅图像上执行位置转换；以及一个插值单元，用于根据由该检测单元检测到的运动信息在多幅图像间执行插值。该设备执行图像合成，以便通过该图像移动单元将由该选择单元选中的对象图像对应起来，并且通过该插值单元对除了由该选择单元选中的对象外的其他对象在多幅图像间执行插值。
文档编号H04N5/232GK1750601SQ20051010398
公开日2006年3月22日 申请日期2005年9月16日 优先权日2004年9月17日
发明者池田刚 申请人:佳能株式会社