成像设备、图像处理方法及图像处理程序的制作方法

专利名称：成像设备、图像处理方法及图像处理程序的制作方法
技术领域：
本发明涉及成像设备，诸如数字静态相机。本发明特别地涉及具有流动拍摄(flow shooting)功能的成像设备、用于处理流动拍摄的图像的图像处理方法以及用于处理流动 拍摄的图像的图像处理程序。
背景技术：
传统上公知了被称为流动拍摄的摄影技术。在该技术中，在摇摄相机r跟踪诸如
图10A中所示的汽车这样的移动对象D的移动的同时执行摄影。因此，获得了如图10B的 左侧中所示的给出速度感的图像P，其中，移动对象D(汽车)表现为静止的，而在曝光期间
背景t(树木)表现为与相机r的移动量相对应地进行流动。然而，摇摄相机r跟踪移动
主体D的移动是困难的摄影技术，并且会产生很多失败。在失败的情况下，获得了如图10B 的右侧所示的图像P，其中，背景T表现为流动的而移动对象D是模糊的。
美国专利申请公开No. 20060007327公开了一种促进流动拍摄的技术。在该技术 中，在摇摄相机l'的同时执行连续摄影，以获得如图11A中所示的多个帧图像P1到P4。从 多个获得的帧图像P1到P4中选择基准帧图像(例如，帧图像P2)。在帧图像P1、P3和P4 上执行定位处理，使得移动对象D1、D3和D4中的位置匹配基准帧图像P2内的移动对象D2 的位置。此后，合成多个帧图像Pl到P4，以获得图像C，其中，即使稍微地移位移动对象D 的移动和相机1'的移动，移动对象D也被描绘为静止对象。 在美国专利申请公开No. 20060007327中所公开的技术中，移动对象D被描绘为最 终获得的图像C中的静止对象。然而，在如图11A中的在图像P内从左侧到右侧(水平方 向)排列背景T，并且移动对象D从图11A的图像P内的背景到前景(foreground)(即，在 朝着相机l'的方向上)移动的情况下，定位将在帧图像P1到P4的背景到前景方向上造成 模糊，如图11B中所示。存在下述情况，其中，该模糊将造成背景T的流动变得不连续，如图 11A中所示。该不连续性是由于相机1'的摇摄方向和移动对象D的移动方向不完全匹配而 导致的。在背景T不连续的情况下，图像C似乎不自然地流动，并且可能丢失速度感。
鉴于该问题，已经在日本未审查的专利公开No. 2007-074031中提出了一种用于 获得流动拍摄的效果的技术。在该技术中，多个帧图像Pl到P4的每一个被划分成移动对 象D部分和背景T部分。然后，在多个帧图像Pl到P4中仅定位移动对象部分D，并且仅合 成该移动对象部分D。根据在移动对象D的移动矢量和背景T的移动矢量之间的矢量差的 方向和量来在背景T部分上执行涂刷处理，以生成插值图像。此后，将插值图像与合成的移 动对象部分D合成。 然而，为了以在日本未审查的专利公开No. 2007-074031中所提出的技术来生成 插值图像，存在需要的处理时间和存储器容量将增加的可能性。

发明内容
鉴于前述情况，已经开发了本发明。本发明的目标在于提供使得能够有效地获得流动拍摄的图像而无需增加处理时间或需要的存储器容量的成像设备、图像处理方法以及 图像处理程序。
本发明的一种成像设备的特征在于，包括 成像装置，该成像装置用于通过对被摄体进行成像来获得图像； 成像控制装置，该成像控制装置用于控制该成像装置来顺序地获得多个图像； 基准图像选择装置，该基准图像选择装置用于从多个图像中选择单个基准图像； 移动对象区域指定装置，该移动对象区域指定装置用于在对应图像内指定移动对
象区域，该对应图像是除了由基准图像选择装置选择的基准图像之外的多个图像； 定位装置，该定位装置用于在已经通过流动拍摄成像了多个图像的情况下相对于
基准图像来定位多个对应图像，执行该定位使得在由移动对象区域指定装置指定的移动对
象区域处的定位量大于在非移动对象区域处的定位量；以及 合成装置，该合成装置用于将已经由定位装置定位的多个对应图像与基准图像合 成。 在本说明书中，当执行定位使得在基准图像内的预定区域和对应图像内的预定区 域基本上匹配时，表达"定位量"为值100 (% )。相反地，当不在对应图像内移动预定区域以 匹配基准图像内的预定区域来执行定位时，表达"定位量"为值0(% )。注意，当移位对应 图像内的预定的区域以匹配基准图像内的预定区域时，与移位量相对应的百分比称为"定 在本说明书中，表达"移动对象区域"指其中来自由成像元件成像的图像的各区域 的描绘了相对于成像元件移动的被摄体的区域。注意，移动对象区域可以是仅包括移动对 象的区域，或者可以是包围移动对象的预定大小的区域。另外，表达"非移动对象区域"指 在除了移动对象区域以外的图像内的成像的区域。 另外，表达"顺序地获得多个图像"指通常通过执行多个曝光操作来获得可以通过 单个曝光操作获得的图像。 本发明的成像装置可以采用下述构造，其中，移动对象区域是图像内的预定区域。
优选地，本发明的成像设备进一步包括 特征点检测装置，该特征点检测装置用于检测基准图像内的特征点；以及
对应点检测装置，该对应点检测装置用于检测对应图像内的对应点，该对应点与 由特征点检测装置检测到的特征点相对应。在该情况下，移动对象区域指定装置基于由特 征点检测装置检测的特征点和由对应点检测装置检测的对应点来指定移动对象区域。
本发明的成像装置可以采用下述构造，其中，由定位装置执行的对于除了移动对 象之外的图像的区域的定位量为0。
本发明的图像处理方法的特征在于，包括下述步骤
通过流动拍摄获得多个图像；
从多个获得的图像中选择基准图像； 在对应图像内指定移动对象区域，该对应图像是除了选择的基准图像之外的多个 图像； 相对于基准图像来定位多个对应图像，执行该定位使得在指定的移动对象区域处 的定位量大于在非移动对象区域处的定位量；以及
将已经由定位装置定位的多个对应图像与基准图像合成。
优选地，本发明的图像处理方法进一步包括下述步骤
检测基准图像内的特征点；以及 检测与由特征点检测装置检测的特征点相对应的对应图像内的对应点。在该情况 下，基于检测的特征点和检测的对应点来指定移动对象区域。 本发明的图像处理方法可以以下述方式来执行，使得对于除了移动对象区域之外 的图像的区域以0的定位量来执行定位。
本发明的图像处理程序的特征在于，使得计算机执行下述过程
通过流动拍摄获得多个图像；
从多个获得的图像中选择基准图像； 在除了选择的基准图像之外的多个图像的对应图像内指定移动对象区域； 相对于基准图像来定位多个对应图像，执行该定位使得在指定的移动对象区域处
的定位量大于在非移动对象区域处的定位量；以及 将已经由定位装置定位的多个对应图像与基准图像合成。 优选地，本发明的图像处理程序进一步使得计算机执行下述过程 检测基准图像内的特征点；以及 检测与由特征点检测装置检测的特征点相对应的对应图像内的对应点。在该情况 下，基于检测的特征点和检测的对应点来指定移动对象区域。 本发明的图像处理程序可以使得计算机以下述方式来执行各过程，S卩，使得对于 除了移动对象区域之外的图像的区域以0的定位量来执行定位。 注意，可以提供在计算机可读介质上记录的本发明的程序。本领域的技术人员公 知的是，计算机可读介质不限于任何特定类型的器件，并且包括但不限于其中可以存储和 /或传输计算机指令的软盘、CD、 RAM、 ROM、硬盘、磁带和因特网下载。通过网络或通过无线 传输装置来传输计算机指令也在本发明的范围内。另外，计算机指令包括但不限于源、对 象和可执行代码，并且可以以任何语言，包括高级语言、汇编语言和机器语言。
在本发明的成像装置、图像处理方法和图像处理程序中，获得了通过流动拍摄成 像的多个图像。然后，从获得多个图像中选择基准图像。此后，在对应图像内指定移动对象 区域，该对应图像是除了基准图像之外的多个图像。接下来，相对于基准图像来定位多个对 应图像，使得在移动对象区域处的定位量大于在非移动对象区域处的定位量。最后，将已经 定位的多个对应图像与基准图像合成。移动对象区域和除了移动对象区域之外的区域被分 离和定位。因此，没有必要生成插值图像，并且避免了用于生成插值图像的处理时间以及用 于存储插值图像的存储器。因此，可以获得有效的流动拍摄的图像，而无需增加处理时间或 需要的存储器容量。


图1是图示应用了根据本发明的实施例的成像设备的数字相机的外观的立体前 视图。 图2是图示应用了根据本发明的实施例的成像设备的数字相机的外观的立体后 视图。
图3是图示应用了根据本发明的实施例的成像设备的数字相机的内部结构的示 意性框图。 图4是图示由图3的数字相机执行的成像处理的步骤的流程图。 图5是图示图4的成像处理的原理的图集。 图6是用于解释通过其指定移动对象区域的方法的图集。 图7是用于解释扭曲渐变效果处理(warping process)的图集。 图8是图示预定区域的示例的图。 图9是图示应用了本发明的另一个实施例的图像处理方法的图像处理的步骤的 流程图。 图10A是用于解释流动拍摄的图。 图IOB是图示成功成像的流动拍摄的图像和不成功成像的流动拍摄的图像的图集。 图11A是用于解释用于获得流动拍摄的图像的传统方法的图。 图11B是用于解释传统的流动拍摄的图像的问题的图。
具体实施例方式
下文中，将参考附图来描述本发明的实施例。图l和图2是图示应用了根据本发 明的实施例的成像设备的数字相机1的外观的立体图。如图1和图2中所示，在数字相机 1的上部设置快门释放按钮2、电源按钮3和变焦杆4。 快门释放按钮2具有可以通过以两步按下来控制两种类型的操作的结构。例如， 在利用AE(自动曝光)功能和AF(自动聚焦)功能的摄影操作期间，当轻轻按下(也称为 "半按")快门释放按钮3时数字相机1设置最佳曝光和最佳焦点。如果在该状态下用力地 按下(也称为"全按")快门释放按钮3，则数字相机1用设置的条件来开始曝光，然后将与 单个帧相对应的通过曝光获得的图像数据记录在记录介质34中。 在数字相机的后表面上设置诸如LCD这样的监视器5、用于设置摄影模式等的模 式转盘6以及各种操作按钮8。注意，在本实施例中，其中执行摄影的摄影模式和其中记录 在记录介质34中的图像由监视器5来重现的回放模式可设置为操作模式。另外，其中执行 正常摄影的摄影模式和其中通过流动拍摄执行摄影的流动拍摄模式可设置为摄影模式。
接下来，将描述数字相机1的内部结构。图3是图示应用了根据本发明的实施例 的成像设备的数字相机1的内部结构的示意性框图。如图3中所示，应用了根据实施例的 成像设备的数字相机1被装备有成像系统(成像装置)。 成像系统(成像装置)9被装备有成像透镜10，该成像透镜10由用于对被摄体聚 焦的聚焦透镜10a和用于实现变焦功能的变焦透镜10b组成。由分别由马达和马达驱动器 组成的聚焦透镜驱动部11和变焦透镜驱动部12来驱动聚焦透镜10a和变焦透镜10b，以便 于可以在其光轴方向上移动。聚焦透镜驱动部11基于从稍后要描述的AF处理部28输出 的命令来驱动聚焦透镜10a。响应变焦杆4的操作，变焦透镜驱动部12基于从CPU 22输出 的命令来控制变焦透镜10b的驱动。 光圈14由多个光圈叶片组成。由诸如步进马达这样的小型马达来实现光圈驱动 部15。光圈驱动部15根据从AE处理部29输出的光圈值数据来调整光圈叶片的位置，使得
7光圈大小变得适合于摄影目的的大小。 快门16是机械快门，并且是由快门驱动部17来驱动的。快门驱动部17根据当按 下快门释放按钮2时所生成的信号并且还根据从AE处理部29输出的快门速度数据来控制 快门16的打开和关闭。 在快门16后设置成像元件18。在本实施例中，采用CMOS型的成像元件18。成像 元件18具有其中二维地排列多个光接收元件的光电转换表面。已经通过包括成像透镜10 的光学系统的光被聚焦到光电转换表面上，并且进行光电转换。在光电转换表面的前面设 置用于将光聚焦到每个像素上的微透镜阵列以及其中以规则方式排列的R、G和B滤光器的 彩色滤光器阵列。成像元件18与由成像元件控制部19提供的读出信号同步地逐个像素地 输出为每个像素积累的电荷作为模拟图像信号。注意，针对每个像素开始电荷积累直到读 出电荷之间的时间量，即，电子快门的快门速度，是由成像元件控制部19提供的电子快门 驱动信号来确定的。稍后要描述由AE处理部29来设置曝光时间。另外，由成像元件控制 部分19来设置成像元件18的增益，使得可以获得预定大小的模拟图像信号。
从成像元件18读出的模拟图像信号被输入到AFE 20 (模拟前端)。AFE 20由下述 组成用于从模拟图像信号中移除噪声的相关双采样(CDS)电路；用于调整模拟图像信号 的增益的自动增益控制器(AGC);以及用于将模拟图像信号转换成数字图像数据的A/D转 换器(ADC)。将模拟信号转换成的数字图像数据是具有针对每个像素的RGB浓度值的RAW 数据。 定时生成器21生成定时信号(同步信号)。将定时信号输入到快门驱动部17、成 像元件控制部19和AFE 20，以同步快门释放按钮2的操作、快门16的打开和关闭、从成像 元件18的每行或每像素读出电荷以及通过AFE 20执行的处理。 CPU 22(成像控制装置)根据来自快门释放按钮2、操作按钮8以及诸如AE处理 部29这样的处理部的每一个的信号来控制数字相机1的每个部件。注意，在本实施例中， 在将正常摄影模式设置为摄影模式的情况下，CPU 22使得成像系统9来执行读出与快门释 放按钮2的单个全按相对应的单个曝光操作中由成像元件18获得的电荷。另一方面，在 将流动拍摄模式设置为摄影模式的情况下，CPU 22使得在曝光时段期间多次执行电荷的读 出，而不是单个读出操作，以执行所谓的连续成像，并且获得与在每个读出操作期间所读出 的电荷相对应的多个图像。注意，如稍后将描述的，合成多个图像来生成合成图像。还注意， 在流动拍摄模式中，AE处理部29基于快门速度(即，基于初始图像设置的曝光时间(指定 为TO))来设置曝光时间之间(S卩，电荷读出操作之间)的间隔(指定为T)以及读出操作 的数目n。 在以正常摄影模式摄影进行的摄影期间，根据由AE处理部29设置的快门速度来 打开快门16，在与快门速度相对应的曝光时间T0中曝光成像元件18，并且执行单个电荷读 出操作。另一方面，在以流动拍摄模式进行的摄影期间，从按下快门释放按钮2直到完成设 置数目n的电荷读出操作中将快门16保持在打开状态。在该时间期间，执行其中以设置的 曝光时间T的间隔从成像元件重复地读出电荷的连续成像，以获得多个图像。
例如，在曝光时间T0在不执行分割的摄影操作的情况下(在正常摄影期间)是 1/4秒并且曝光时间Tl在要执行分割的摄影操作(在流动拍摄期间)的情况下为1/16秒 的情况下，在流动拍摄模式中以1/16秒的曝光时间Tl执行4个曝光操作，以获得4个帧图像。 注意，在流动拍摄模式中，获得多个帧图像，如图IOA中所示，在数字相机的位置 保持不变的同时连续成像该多个帧图像，并且用户移动相机所面对的角度，以匹配移动对 象D(汽车)的移动，S卩，摇摄相机。 数字相机1还被装备有闪光灯24，用于在摄影期间当必要时发光。由闪光灯发光 控制部23来控制闪光灯24的发光。 另外，数字相机1被装备有用于将从AFE 20输出的图像数据经由数据总线42传 送到其它处理部的图像输入控制器25以及用于临时地存储从图像输入控制器25传送的图 像数据的帧存储器26。 帧存储器26是用作用于在图像数据上进行各种类型的数字图像处理(信号处 理)的工作区的存储器，并且例如由与预定周期的总线时钟信号同步地执行数据传送的 SDRAM(同步动态随机访问存储器)组成。 显示器控制器部27用于在监视器5上将存储在帧存储器26中的图像数据显示为 透镜直录图像(through the lens image)，并且以回放模式显示存储在记录介质34中的图 像数据。注意，当选择摄影模式时，由成像系统9与定时生成器21生成的同步信号同步地 以预定间隔来连续地获得该透镜直录图像。 AF处理部28和AE处理部29基于初始的图像来确定摄影条件。当CPU 22检测到 由半按下的快门释放按钮2生成的半按信号时，通过成像元件18获得初始图像，并且该初 始图像是存储在帧存储器26中的图像。 AF处理部28基于初始图像来检测聚焦透镜10a的聚焦位置。例如，其中利用在聚
焦状态中图像的对比度值增加的特性的TTL方法可以适用于检测聚焦位置。 AE处理部29基于初始图像来测量被摄体的亮度，并且基于该亮度确定诸如光圈
值、快门速度等这样的曝光条件(AE处理)。特定地，AE处理部29以8X8的形式将初始图
像分割成64个光测量区域，然后基于每个区域的亮度和存储在稍后要描述的内部存储器
35中的程序框图来设置快门速度和光圈值。 AWB处理部30在摄影期间自动地调整白平衡(AWB处理)。 图像处理部31对最终图像的图像数据执行诸如灰度校正、锐度校正和色校正这 样的图像质量提高处理。图像处理部31还执行YC处理以将RAW数据转换成YC数据，该YC 数据包括作为亮度信号的Y数据、作为蓝色色差信号的Cb数据以及作为红色色差信号的Cr 数据。最终图像是基于在从成像元件18输入模拟图像数据之后经由AFE 20和图像输入控 制器25而存储在帧存储器26中的图像数据的图像。 压縮/解压縮部32对已经经过由图像处理部31执行的图像提高处理等的图像数
据执行成为诸如JPEG这样的格式的压縮处理，并且该压縮/解压縮部32生成图像文件。基
于Exif格式将诸如摄影的日期和时间这样的附带信息作为标签添加到图像文件。 介质控制部33访问图像文件，并且执行从记录介质34读取图像文件以及向记录
介质34写入图像文件，该介质控制部33被可移除地安装在介质槽(未示出)中。 记录介质34是能够存储各种类型的数据的记录介质，并且是由磁记录介质、光记
录介质、半导体存储器等构成的。 内部存储器35已经在其中存储了在数字相机l中设置的各种常数、查找表、由CPU22执行的程序等。 基准图像选择部36 (基准图像选择装置)从由成像系统9以流动拍摄模式顺序获 得的多个帧图像中选择单个基准图像。 特征点检测部37 (特征点检测装置)从由基准图像选择部36选择的基准图像内 检测多个特征点。特征点是呈现如被摄体的角部、图像图案等这样的特性的点，并且是基于 像素信号等的梯度数据来提取的。可以利用Moravec方法、Harris方法、Shi-Tomai方法 等来检测特征点。在本发明中，只要可以提取到特征点，就不具体限制用于检测特征点的方法。 对应点检测部38 (对应点检测装置)通过在多个对应图像中跟踪由特征点检测部 37提取的特征点已经移动到的位置来检测多个对应图像内的对应点，该多个对应图像是除 了由基准图像选择部36选择的基准图像之外的多个图像。对应点是具有与特征点匹配的 特性的点。可以利用KLT跟踪器方法、块匹配方法等来检测对应点。在本发明中，没有具体 限制用于检测对应点的检测方法。 移动对象区域指定部39 (移动对象区域指定装置)指定多个对应图像的每一个内 的移动对象区域，该多个对应图像是除了由基准图像选择部36选择的基准图像之外的多 个图像。注意，稍后将详细描述用于指定移动对象区域的方法。 在通过流动拍摄获得多个图像的情况下，定位部40 (定位装置)相对于基准图像 来对多个对应图像的每一个进行定位。本发明的特性特征在于，执行定位使得在由移动对 象区域指定部39指定的移动对象区域处的定位量大于在非移动对象区域处的定位量。注 意，稍后将详细描述通过其执行定位的方法。 合成部41 (合成装置)将已经由定位部40定位的多个对应图像与基准图像进行 合成，以生成合成的图像。注意，可以通过加多个图像中的对应像素的像素值、或者通过计 算多个图像中的对应的像素的像素值的平均值来执行多个图像的合成。稍后将详细描述通 过其来合成图像的方法。 数据总线42被连接到处理部、帧存储器26、 CPU 22等的每一个，并且用于传送图 像数据和各种命令。如下述构造数字相机l。 接下来，将描述本发明的数字相机1的操作。图4是图示由数字相机1执行的成 像处理的步骤的流程图。图5是图示图4的成像处理的原理的图集。图6是用于解释通过 其来指定移动对象区域的方法的图集。图7是用于解释扭曲渐变效果处理的图集。图8是 图示预定区域的示例的图。 参考图4的流程图，在具有上述构造的数字相机1中，首先，CPU22判断摄影模式是 否被设置成流动拍摄模式(步骤S 1)。在设置了流动拍摄模式的情况下(步骤S1 :是)， CPU 22判断是否完全按下了快门释放按钮2(步骤S2)。在没有完全按下快门释放按钮2 的情况下(步骤S2 :否)，重复步骤S2的处理。 另一方面，在完全按下了快门释放按钮2的情况下(步骤S2 :是)，CPU 22使得成 像系统9顺序地获得多个帧图像，S卩，CPU 22使得成像系统9执行连续成像(步骤S3)。
通过在水平方向上摇摄数字相机1的用户来执行流动摄影，以便于跟踪是移动对 象的汽车D的移动。因此，在水平方向上摇摄数字相机1的同时获得通过连续成像获得的 多个帧图像(参考图IOA)。
例如，如图5中所示，如果整个曝光时间是1/4秒，并且以1/16秒的曝光时间来摄 影4个帧图像Pl至ljP4，则由于用户在水平方向上摇摄数字相机l而导致不是移动对象的背 景中的树木T1到T4在水平方向上移动。另一方面，汽车D1到D4以很小的增量接近数字 相机l，并且因此，背景树木Tl到T4以及汽车D1到D4中的位置关系在图像的深度方向上 变得有位移。 另外，因为帧图像Pl到P4的每一个的曝光时间都是1/16秒，因此与在背景树木 Tl到T4中的曝光时间相对应地生成在水平方向上的模糊。另一方面，由于摇摄数字相机 l，所以在汽车Dl到D4中水平方向上的模糊很小。 在数字相机1通过连续成像获得多个帧图像Pl到P4 (步骤S3)之后，基准图像选
择部36从多个帧图像Pl到P4中选择单个基准帧图像(下文中，称为"基准图像")(步骤
S4)。在本实施例中，帧图像P2被选择为基准图像，如图5中所示。然而，没有具体限制用
于选择基准图像的方法，并且帧图像的任何一个都可以被选择为基准图像。 在选择基准图像P2 (步骤S4)之后，特征点检测部37从选择的基准图像内检测特
征点(步骤S5)。接下来，对应点检测部38在多个对应帧图像(下文中，称为"对应图像")
P1、P3和P4，即，除了基准图像P2之外的多个帧图像内检测对应点(步骤S6)。 通过跟踪基准图像P2的特征点在对应图像P1、P3和P4内已经移动到的位置来检
测对应点，如图5中所示。跟踪结果可以被表达为移动矢量，如图5的从上开始的第二步骤
中所示。移动矢量箭头的开始点指示特征点，并且箭头的终点指示对应点。 在检测对应点(步骤S6)之后，移动对象区域指定部39指定移动对象区域(步骤
57) 。在本实施例中，通过采用对应点的检测结果来指定移动对象区域。如前所述，在执行 流动拍摄的情况下，用户摇摄数字相机1来跟踪是移动对象的汽车D。因此，存在具有在图 像的中心附近的短移动矢量的区域是移动对象区域的高度可能性。另外，存在具有在水平 方向上很长的移动矢量的区域是非移动对象区域的高度可能性。因此，可以判断，具有例如 小于或等于预定阈值的水平分量的移动矢量是移动对象区域的特征点。 当指定移动对象区域的特征点时，在特征点周围的预定矩形范围被设置为移动对 象区域，以生成移动对象区域的掩模图像，如图6中所示。在空间方向上执行平滑处理，以 使得掩模图像的边界平滑，并且将该平滑的区域指定为移动对象区域，如图5的从上开始 的第三步骤中所示。注意，在本实施例中，参考图6如上述执行移动对象区域的指定。然而， 已经提出了用于使用对应点检测结果来指定移动对象区域的很多方法，并且可以采用除了 上述之外的公知的方法。 在如上述指定移动对象区域(步骤S7)之后，定位部40执行对应点的校正(步骤
58) 。执行对应点的校正使得指定的移动对象区域内的移动矢量保持不变，并且对除了移动 对象区域之外的非移动对象区域，具有0移动分量的移动矢量被设置在预定的格子点处， 如图5从上开始的第四步骤中所示。 注意，如果格子点之间的空隙被设置得很小，则图7中所示的三角形分割所引起 的三角形的每一个都变得更小。因此，可以使横跨移动对象区域和非移动对象区域之间 的边界的三角形更小，并且可以减小由于扭曲渐变效果而导致的移动对象区域的周边的畸 变。然而，在该该情况下，要处理的三角形的数目增加，并且较长的处理时间量变得有必要。 因此，考虑到图像质量和处理时间之间的关系，格子点之间间距被构造成可以由用户适当设置。 然后，如图7中所示，在对应图像P1、P3和P4中，校正的对应点数据，S卩，校正的移 动矢量被指定成移动对象区域的移动矢量的终点处的特征点。对于基准图像P2，在移动对 象区域内的移动矢量的开始点被指定为特征点。帧图像P1到P4的每一个被分割成在其顶 点处具有特征点的三角形。这时，设置该三角形使得帧图像Pl到P4的每一个中的对应特 征点被定位在相同三角形的相同顶点处。注意，如公知的方法，诸如德洛内(Dela皿ay)三 角分割法，可以用于将图像分割成三角形。 接下来，定位部40执行扭曲渐变效果处理，其中，通过以三角形为单位执行仿射 变换(affine transformation)来使图像变形(步骤S9)。扭曲渐变效果是下述处理，通过 该处理来对对应图像P1、P3和P4执行几何转换，使得其中的移动对象区域的坐标值匹配基 准图像P2的移动对象区域内的特征点的坐标值。扭曲渐变效果处理可以由类似于公知的 变形处理的处理来执行。由下面的公式(1)来表达以三角形为单位的仿射变换。
<formula>formula see original document page 12</formula>
将三角形的三个顶点的坐标(xi，yi) = (x' i，y' i)(其中，i = 1，2，3)代入以上 公式(1)，并且求解6个联立方程，以获得6个参数a、 b、 c、 d、 s和t。所有三角形内的点， 即，每个像素，基于计算的参数来进行仿射变换以使图像变形，并且扭曲渐变效果处理被完 成。 已经如上述进行了扭曲渐变效果处理的对应图像Pl、 P3和P4内的移动对象区域 基本上匹配基准图像P2中的移动对象区域，而不改变非移动对象区域。S卩，诸如树木T1、 T3和T4的非移动对象区域的背景位置不从在定位步骤之前的对应图像Pl、 P3和P4内的 树木Tl、 T3和T4的位置改变，如图5从上开始的第五步骤中所示。即，对于背景的定位量 是0。另一方面，使是图像内的移动对象区域的汽车D1、D3和D4的位置基本上与基准图像 P2内的汽车D2的位置匹配。即，对于移动对象区域的定位量是100%。
以该方式来定位对应图像P1、P3和P4，使得针对移动对象区域的定位量大于针对 非移动对象区域的定位量。注意，在本实施例中，对于非移动对象区域的定位量是O，S卩，不 执行对于这些区域的定位。因此，可以省略诸如三角形分割等的处理。通过省略这样的处 理，可以縮短处理时间。 在完成移动对象区域的定位(步骤S8和S9)之后，合成部41通过将已经由定位 部40定位的对应图像P1、P3和P4重叠到基准图像P2上来生成合成图像C(步骤S10)。因 此，可以获得给出自然速度感的图像，其中，作为移动对象的汽车D被描绘成静止的，而作 为非移动对象的诸如树木T的背景在摇摄方向(即，水平方向)上流动，如图5的最后步骤 中所示。 同时，在CPU 22判断了在步骤S1没有设置流动拍摄模式，并且设置了正常摄影模 式(步骤Sl :否)的情况下，数字相机1执行其中通过单个曝光操作来执行成像的正常摄 影，以获得单组图像数据(步骤S13)。 此后，压縮/解压縮处理部32从合成图像C或通过正常摄影获得图像数据中生成 图像文件(步骤S11)，介质控制部33将图像文件记录在记录介质34中(步骤S12)，并且该处理结束。 如上所述，本实施例的数字相机1通过流动拍摄获得多个图像PI到P4。然后，从 获得的多个图像P1到P4中选择基准图像P2。此后，在对应图像P1、P3和P4内指定移动对 象区域，该对应图像P1、P3和P4是除了基准图像P2之外的多个图像P1到P4。接下来，相 对于基准图像P2来定位多个对应图像Pl、 P3和P4，使得在移动对象区域处的定位量大于 在非移动对象区域处的定位量。最后，将已经定位的多个对应图像P1、P3和P4与基准图像 P2合成。移动对象区域和除了移动对象区域之外的区域被分离和定位。因此，没有必要生 成插值图像，并且避免了用于生成插值图像的处理时间和用于存储插值图像的存储器。因 此，可以获得有效流动拍摄的图像，而无需增加处理时间或需要的存储器容量。
注意，在本实施例中，対于非移动对象区域的定位量被设置成0。然而，本发明不限 于这样的构造，并且可以在水平方向(数字相机1的摇摄方向)上校正图5的第二步骤中 所示的关于非移动对象区域的移动矢量的数据。通过在水平方向上校正关于非移动对象区 域的移动的数据，并且执行定位处理使得对于非移动对象区域的定位量小于针对移动对象 区域的定位量，可以改变合成图像C内的背景的流动的外观。S卩，可以改变合成图像C内的 汽车D的速度感的程度。 另外，在本实施例中，移动对象区域指定部39通过采用对应点检测结果来指定移 动对象区域。替代地，例如，提前设置的区域A可以被指定为移动对象区域，如图8中所示。 在该情况下，在用户执行流动拍摄的同时，在透镜直录图像内显示区域A，并且用户可以在 摇摄相机1的同时执行流动拍摄，使得在显示的区域A内描绘移动对象D。
接下来，将描述根据本发明的另一个实施例的图像处理方法。图9是图示应用了 根据本发明的实施例的图像处理方法的图像处理的步骤的流程图。注意，与图4中所示的 那些相同的图9中所示的图像处理的步骤用相同的步骤编号来表示，并且将仅给出关于不 同步骤的详细描述。 本发明的图像处理方法是使得计算机用作基准图像选择部36、特征点检测部37、 对应点检测部38、移动对象区域指定部39、定位部40和合成部41的图像处理方法。如图 9中所示，首先，判断输入计算机的多个图像文件的图像数据是否是已经通过流动拍摄获得 的那些(步骤S20)。 在该多组图像数据表示已经通过流动拍摄获得的图像的情况下(步骤S20 :是)， 获得该多组输入图像数据(步骤S21)。在多组图像数据不表示已经通过流动拍摄获得的图 像的情况下(步骤S20 :否)，重复步骤S20的处理，直到输入表示已经通过流动拍摄获得的 图像的多组图像数据。这里，可以基于附于图像文件的标签信息来判断图像数据表示是已 经通过流动拍摄还是通过正常摄影获得的图像。 如上述获得已经由数字相机等通过流动拍摄顺序获得的多个图像。然后，执行与 由先前实施例的数字相机1执行的那些相同的图像处理，并且可以获得与通过数字相机1 获得的那些相同的有利效果。 已经描述了根据本发明的实施例的数字相机1和图像处理方法。另外，使得计算 机用作基准图像选择部36、特征点检测部37、对应点检测部38、移动对象区域指定部39、定 位部40和合成部41来执行图9中所示的处理的程序也是本发明的实施例。另外，将这样 的程序存储在其中的计算机可读介质也是本发明的实施例。
本发明的成像设备、图像处理方法和图像处理程序不限于以上实施例。只要各种 改变和修改不脱离本发明的精神和范围，就可以应用该各种改变和修改。
权利要求
一种成像设备，包括成像装置，所述成像装置用于通过对被摄体进行成像来获得图像；成像控制装置，所述成像控制装置用于控制所述成像装置来顺序地获得多个图像；基准图像选择装置，所述基准图像选择装置用于从所述多个图像中选择单个基准图像；移动对象区域指定装置，所述移动对象区域指定装置用于在对应图像内指定移动对象区域，所述对应图像是除了由所述基准图像选择装置选择的所述基准图像之外的多个图像；定位装置，所述定位装置用于在已经通过流动拍摄成像了所述多个图像的情况下，相对于所述基准图像来定位所述多个对应图像，执行所述定位使得在由所述移动对象区域指定装置指定的所述移动对象区域处的定位量大于在非移动对象区域处的定位量；以及合成装置，所述合成装置用于将已经通过所述定位装置定位的所述多个对应图像与所述基准图像合成。
2. 根据权利要求1所述的成像设备，其中所述移动对象区域是所述图像内的预定区域。
3. 根据权利要求1和权利要求2的任何一个所述的成像设备，进一步包括特征点检测装置，所述特征点检测装置用于检测所述基准图像内的特征点；以及对应点检测装置，所述对应点检测装置用于检测与由所述特征点检测装置检测的所述特征点相对应的在所述对应图像内的对应点；并且其中所述移动对象区域指定装置基于由所述特征点检测装置检测的所述特征点以及由所述对应点检测装置检测的所述对应点来指定所述移动对象区域。
4 根据权利要求1和权利要求2的任何一个所述的成像设备，其中对于除了所述移动对象区域之外的所述图像的区域，由所述定位装置执行的定位量是0。
5. 根据权利要求3所述的成像设备，其中对于除了所述移动对象区域之外的所述图像的区域，由所述定位装置执行的定位量是0。
6. —种由计算机执行的图像处理方法，包括下述步骤通过流动拍摄获得多个图像；从所述多个获得的图像中选择基准图像；在对应图像内指定移动对象区域，所述对应图像是除了所选择的基准图像之外的多个图像；相对于所述基准图像来定位所述多个对应图像，执行所述定位使得在所指定的移动对象区域处的定位量大于在非移动对象区域处的定位量；以及将已经由所述定位装置定位的所述多个对应图像与所述基准图像合成。
7. 根据权利要求6所述的图像处理方法，进一步包括下述步骤检测所述基准图像内的特征点；以及检测与由所述特征点检测装置检测的特征点相对应的在所述对应图像内的对应点；并且其中基于检测的特征点和检测的对应点来指定所述移动对象区域。
8.根据权利要求6和权利要求7的任何一个所述的图像处理方法，其中执行所述定位使得对于除了所述移动对象区域之外的所述图像的区域的定位量为O。
全文摘要
本发明提供了一种成像设备、图像处理方法及图像处理程序。本发明的目的在于有效地获得流动拍摄的图像，而不增加处理时间或需要的存储器容量。本发明的构成方式如下所述。通过流动拍摄来连续地获得多个图像P1到P4。从获得的图像P1到P4中选择基准图像P2。在除了选择的基准图像P2之外的对应图像P1、P3和P4中指定移动对象区域。相对于基准图像P2来定位多个对应图像P1、P3和P4，使得在移动对象区域处的定位量大于在非移动对象区域处的定位量。将已经定位的多个对应图像P1、P3和P4与基准图像P2合成，以获得合成图像C。
文档编号H04N5/232GK101795355SQ20101000297
公开日2010年8月4日 申请日期2010年1月15日 优先权日2009年1月15日
发明者大石诚, 田中康一, 田丸雅也 申请人:富士胶片株式会社