图像处理装置、图像处理方法以及程序与流程

本发明涉及图像处理装置、图像处理方法及其程序，更具体地涉及可以方便地进行慢快门拍摄的图像处理装置、图像处理方法及其程序。

背景技术：

尽管可以进行慢快门拍摄，其中通过减慢快门速度将光的轨迹、水流和物体的运动记录下来，但是为了避免在曝光期间变模糊，需要使用三脚架等来固定诸如相机等摄像装置。因此，由于搬运和设置三脚架的负担、构图的限制等等，用户需要花费时间和精力。

在这方面，例如，专利文献1提出了一种连续拍摄具有短曝光时间的图像并且合成这些图像以获得准慢快门效果的方法。但是，在该方法中，当快门关闭时，不能捕获到物体的移动，于是，合成的图像不自然。

专利文献1：日本专利申请特开号：2012-83848

技术实现要素：

本发明解决的问题

如上所述，容易地进行慢快门拍摄的方法还尚未建立，并且要求该方法在近几年内尽快建立起来。

本发明是针对上述情形作出的，并且目的是使得慢快门拍摄能够容易地进行。

解决问题的手段

根据本发明的实施方式，提供了一种图像处理装置，其包括：掩模生成单元，其用于基于与多个连续拍摄的具有不同曝光时间的图像中的长曝光图像的特定方向相关的信息而生成合成掩模；以及图像合成单元，其用于使用由所述掩模生成单元所生成的合成掩模而合成所述多个图像。

根据本发明的实施方式，提供了一种图像处理方法，其包括：通过图像处理装置基于与多个连续拍摄的具有不同曝光时间的图像中的长曝光图像的特定方向相关的信息而生成合成掩模；以及通过所述图像处理装置使用所生成的所述合成掩模合成多个图像。

根据本发明的实施方式，提供了一种使得计算机实现以下功能的程序，所述功能如下：掩模生成单元，其用于基于与多个连续拍摄的具有不同曝光时间的图像中的长曝光图像的特定方向相关的信息而生成合成掩模；以及图像合成单元，其用于使用由所述掩模生成单元所生成的所述合成掩模而合成所述多个图像。

在本发明的实施方式中，基于与多个连续拍摄的具有不同曝光时间的图像中的长曝光图像的特定方向相关的信息而生成合成掩模。然后，使用所生成的合成掩模合成多个图像。

发明效果

根据本发明，可以执行慢快门拍摄，更具体地，根据本发明，可以容易地执行慢快门拍摄。

应当注意，上述效果不一定是受限制的，并且可以获得本文所述的任何效果。

附图说明

图1是示出应用本发明的摄像装置的结构示例的方框图。

图2是示出摄像装置的功能结构示例的方框图。

图3是示出掩模生成单元的结构示例的方框图。

图4是解释标签图的图。

图5是示出掩模生成单元的结构示例的方框图。

图6是解释标签图的图。

图7是示出掩模生成单元的结构示例的方框图。

图8是示出色相直方图的图。

图9是用于解释更新区域设定的图。

图10是用于解释在慢快门模式下的拍摄处理的流程图。

图11是用于解释掩模生成处理的流程图。

图12是用于解释标签图更新处理的流程图。

图13是示出用于选择对象移动方向的UI的示例的图。

图14是用于解释通过本发明获得的图像的示例的图。

图15是用于解释再现处理的流程图。

图16是示出摄像装置的另一个功能结构示例的方框图。

图17是用于解释在慢快门模式下的拍摄处理的流程图。

图18是示出计算机的结构示例的方框图。

具体实施方式

下面，将要描述实施本发明的各种配置(下称实施例)。应当注意，说明书将要按照如下顺序给出。

0.一般概述

1.第一实施例(摄像装置)

2.第二实施例(计算机)

<0.一般概述>

(本发明的一般概述)

在没有诸如三脚架等固定装置的情况下，慢快门拍摄易于受由于相机本体的扰动造成的背景或者除了对象之外的移动物体的扰动的影响。这样的扰动同样地影响整个图像，但是从人的眼睛来看，对于本来认为是静止的包括背景、人等的区域的影响看起来大于对于用户期望在慢快门模式下拍摄的诸如对于光轨迹、水流和物体的移动等的对象(下面简称为对象)的影响。

在这方面，在本发明中，拍摄具有不同曝光时间的多个图像(下面，在这些图像中，具有最长曝光时间的图像将要称为长曝光图像，而其他图像将要称为短曝光图像)，从长曝光图像中检测对象，并且生成合成掩模。然后，基于合成掩模，长曝光图像用于以慢快门表达的区域，而短曝光图像用于不包括对象的背景区域，并且合成图像。应当注意，在用于合成的图像中，和具有最短曝光时间的图像相比，具有更长曝光时间的图像可以用于长曝光图像。

因此，用户可以进行慢快门拍摄，同时，在没有诸如三脚架等固定装置的情况下相机本体的扰动被抑制。换言之，通过慢快门拍摄可以获得高质量图像(下面也称为慢快门图像)。

下面，将要具体描述上述的本发明。

<1.第一实施例>

(应用本发明的摄像装置的结构示例)

图1是示出应用本发明的图像处理装置的摄像装置的实施例的方框图。应当注意，图1所示的各个单元各自可以由电路构成。

作为拍摄系统，如图1所示的摄像装置11包括诸如镜头的光学系统21、镜头驱动单元22、摄像器件23、AFE(Analog Front End，模拟前端)单元24、显影处理单元25、分辨率转换单元26、编码解码单元27、定位单元28、掩模生成单元29以及图像合成处理单元30。摄像装置11还包括总线31、RAM(随机存取存储器)32、CPU(中央处理单元)33、GPU(图形处理单元)34、各种传感器35、其中插入有可移除记录介质41的图像记录/读取驱动器36以及显示器37。

应当注意，在AFE单元24～图像合成处理单元30以及RAM32～显示器37的范围内的单元经由总线31相互连接。

而且，AFE单元24、显影处理单元25、分辨率转换单元26以及编码解码单元27由能够连续地拍摄两张以上图像的数字信号处理LSI(大规模集成)构成。而且，尽管图1图示了拍摄系统和处理系统集成的示例，这些系统可以相互独立设置。

由光学系统21所拍摄的光聚集在摄像器件23上，并且作为图像信号输出至AFE单元24。

AFE单元24由诸如放大器、A/D转换器和滤波器等半导体芯片构成。AFE单元24调整来自于摄像器件23的图像信号、将该信号转换成数字数据并且将该数据提供至显影处理单元25。

显影处理单元25对来自于AFE单元24的图像数据执行诸如去马赛克处理的信号处理。在执行了慢快门功能的同时，显影处理单元25将已经进行过信号处理的图像数据提供给定位单元28。在执行除了慢快门功能以外的功能的同时，显影处理单元25将已经进行了信号处理的图像数据提供给分辨率转换单元26。

分辨率转换单元26将对来自于显影处理单元25或者图像合成处理单元30的图像数据的分辨率进行转换，然后将该数据提供给编码解码单元27。

为了记录来自于分辨率转换单元26的图像数据，编码解码单元27对于图像数据执行编码处理，并且将已经过编码处理的编码数据例如提供给驱动器36。编码解码单元27也对从驱动器36读出的编码数据进行解码，并且将该解码图像数据提供给定位单元28。

定位单元28对来自于显影处理单元25或者编码解码单元27的多个图像进行定位，并且将已定位的图像数据提供至掩模生成单元29以及图像合成处理单元30。

在由定位单元28定位的多个图像中，掩模生成单元29使用长秒(长)曝光图像以生成合成掩模，并且将生成的合成掩模提供至图像合成处理单元30。

图像合成处理单元30使用来自于掩模生成单元29的合成掩模以合成来自于定位单元28的已定位图像数据，于是生成慢快门图像。所生成的慢快门图像例如被提供给分辨率转换单元26。所生成的慢快门图像还可以提供给编码解码单元27或者驱动器36。

RAM 32临时地存储程序和数据。CPU33例如经由总线31将存储在可移除记录介质41或者存储单元(未示出)中的程序装载在RAM32中并且执行，以实施预定的处理。CPU33例如控制镜头驱动单元22和光学系统21以实施拍摄处理、图像处理以及UI等的显示处理。

GPU34实施显示3D图像所必要的计算处理。各种传感器35例如包括对于例如照相机功能必要的距离测量传感器、亮度传感器等。

驱动器36将来自于编码解码单元27的编编码数据记录在可移除记录介质41上，或者从可移除记录介质读出编码数据，并且将该数据提供给编码解码单元27。可移除记录介质41包括磁盘、光盘、磁光盘、半导体存储器等等。

显示器37由LCD(液晶显示器)等构成，并且显示来自于各个单元的数据和图像。

(摄像装置的功能性结构示例)

图2示出摄像装置的功能结构示例。应当注意，图2示出了最小结构示例。

如图2所示，摄像装置11的结构包括定位单元28、掩模生成单元29以及图像合成单元30。

输入至定位单元28的是长曝光图像51以及已经过显影处理单元25的信号处理的短曝光图像52。由于假定了摄像装置11没被三脚架固定的情形，需要在已拍摄图像之间进行定位。

应当注意，短曝光图像52可以是多个图像或者单个图像。在多个图像的情况下，高质量的图像例如可以通过在改变曝光量的同时拍摄图像来使用。而且，在夜景的情况下，通过叠加短曝光图像可以降低噪声。

定位单元28定位输入图像。定位方法的示例包括使用模块匹配的方法以及通过检测未来点来计算单应矩阵(homography matrix)的方法。

定位单元28将已定位的长曝光图像51和短曝光图像52提供给图像合成处理单元30。定位单元28也将已定位的长曝光图像51提供给掩模生成单元29。

使用已定位的长曝光图像51，掩模生成单元29生成用于合成长曝光图像51和短曝光图像52的掩模53(下称为合成掩模)。掩模生成单元29将所生成的合成掩模53提供给图像合成处理单元30。合成掩模53表示将要以慢快门拍摄的对象区域以及除了对象区域以外的区域。

基于从掩模生成单元29所提供的合成掩模53，图像合成单元30合成已定位的长曝光图像51和短曝光图像52，并且获得输出图像54。例如，长曝光图像51和短曝光图像52被α混合。此时，通过逐步地改变合成掩模53的边界附近的混合比，可以使得边界模糊。

(掩模生成单元的结构示例)

图3是示出掩模生成单元的结构示例的方框图。

掩模生成单元29包括图像梯度提取单元71、初始标签图生成单元72、前景提取单元73以及标签图更新单元74。

已定位的长曝光图像61作为输入图像被输入至图像梯度提取单元71。当在长曝光图像的拍摄过程中存在移动的对象时，图像梯度提取单元71提取在表示对象的移动方向的对象移动方向上的图像梯度分量。长曝光图像61易于被照相机的扰动、手的扰动等等而变模糊。因此，即使存在与除了对象的区域中的对象相同方向的梯度，其强度被弱化，因此变得易于提取对象区域。

应当注意，作为提取梯度的方法，可以获取相邻像素之间的差异，或者可以将梯度计算为如“NavneetDslaletal.,“Histogras of Oriented Gradients for Human Detection”,Proc.CVPR,pp.886-893,2005”(下称为专利文献1)中所述的每个局部区域的梯度直方图。

图像梯度提取单元71将所提取的图像的梯度提取结果62提供给初始标签图生成单元72。

基于来自于图像梯度提取单元71的梯度提取结果62，初始标签图生成单元72生成初始标签图63。当每个像素或者每个局部区域的特定方向的梯度强度小于预设的阈值时，初始标签图生成单元72将那个像素或者局部区域分配为背景确定区域，并且当每个像素或者局部区域的特定方向的梯度强度等于或者大于阈值时，初始标签图生成单元72将那个像素或者局部区域分配为对象侧未确定区域。基于该结果，初始标签图生成单元72生成初始标签图63。初始标签图生成单元72将长曝光图像61和所生成的初始标签图63提供给前景提取单元73。

基于来自于初始标签图生成单元72或者标签图更新单元74的标签图63，前景提取单元73从长曝光图像61提取前景，并且生成合成掩模53。此外，为了基于初始标签图63提高通过提取前景而生成的合成掩模53的对象检测精度，前景提取单元73重复地提取前景指定的次数。当不满足指定的次数时，前景提取单元73将长曝光图像61和所生成的合成掩模53提供给标签图更新单元74。当满足指定的次数时，前景提取单元73将合成掩模53输出至图像合成处理单元30。

标签图更新单元74使用合成掩模53和长曝光图像61更新标签图63。标签图更新单元74将已更新的标签图63提供给前景提取单元73。

应当注意，在前景提取单元73中，应用前景提取算法以在像素单元中指定对象区域。前景提取算法包括“CarstenRother et atl.,“GrabCut-Interactive Foreground Extraction using Iterated Graph Cuts,”Trans.ACM GRAPH,pp.309-314,2004”(下称为非专利文献2),“Yuri Boykov,et al.,“Fast Approximate Energy Minimization via Graph Cuts,”Trans.PAMI,1999”(下称为非专利文献3)等等。

为了提取前景，如图4所示的标签图63是必须的。通常，用户另外地创建标签图，并且提供它，但是在本发明中，初始标签图生成单元72和标签图更新单元74仅仅基于长曝光图像61的对象移动方向生成并且更新标签图63。

在本发明中，在如图4所示的长曝光图像的对象移动方向上分配4种标签，其包括背景确定区域、背景侧未确定区域、对象侧未确定区域以及对象区域。

(初始标签图生成单元的结构示例)

图5是示出初始标签图生成单元的结构示例的方框图。

在如图5所示的示例中，初始标签图生成单元72的结构包括标签判断处理单元81。

标签判断处理单元81使用长曝光图像61和对象移动方向分配标签。具体地，如图6所示，当每个像素或者每个局部区域的对象移动方向梯度强度小于预设阈值Θ时，标签判断处理单元81将该像素或者局部区域分配给背景确定区域的标签，并且当每个像素或者每个局部区域的对象移动方向梯度强度等于或者大于阈值Θ时，标签判断处理单元81将该像素或者局部区域分配给对象侧未确定区域的标签。在初始标签图生成单元72中，如上所述生成标签图63。

(标签图更新单元的结构示例)

图7是示出标签图更新单元的结构示例的方框图。

在图7所示的示例中，标签图更新单元74的结构包括前景代表色确定处理单元91、更新区域设置处理单元92以及标签判断处理单元93。

使用长曝光图像61以及合成掩模53，前景代表色确定处理单元91在合成掩模53的前景区域中计算颜色直方图，并且确定代表色。前景代表色确定处理单元91将长曝光图像61、合成掩模53和代表色提供给更新区域设置处理单元92。代表色可以是最频繁出现的颜色成分量，或者是以某个频率等级以上出现的颜色成分。

在如图8所示的示例中，示出了合成掩模53的前景区域中的色相直方图。应当注意，尽管在图8的情况下使用色相，可以使用亮度或者其他特定通道。

更新区域设置处理单元92设置标签图的更新区域。具体地，如图9所示，更新区域设置处理单元92将通过在纵向上和横向上扩大前景区域的边界矩形指定的比例而获得的区域设置为更新区域。更新区域设置处理单元92将长曝光图像61、合成掩模53、代表色和更新区域提供给标签判断处理单元93。

标签判断处理单元93基于合成掩模53、代表色和更新区域更新长曝光图像61的标签图63。

(拍摄处理的示例)

接下来，将要参照图10的流程图描述慢快门模式的摄像装置11的拍摄处理。例如，假定在摄像装置11中，本发明的方法设置为慢快门模式，并且用户现在已经选择了该模式。

例如，在步骤S21中，摄像装置11的CPU33基于用户的操作在曝光期间设置对象移动方向(即特定方向)。例如，当拍摄在屏幕上向下降落的瀑布时，垂直方向设置为对象移动方向。应当注意，可以基于图像分析等等自动地设置对象移动方向，而无须用户操作。例如，在作为图像分析的结果的图像中具有最大面积的图像梯度分量的方向设置为对象移动方向。

接下来，在步骤S22中，CPU33基于用户的操作执行曝光设置，曝光设置包括长曝光图像和短曝光图像的曝光时间、孔距和ISO。这些设置值可以通过用户手动地设置，或者可以基于检测值自动地设置。

在步骤S23中，基于诸如释放快门等的用户操作，CPU33连续地拍摄图像。因此，由光学系统21所拍摄的光聚集在摄像器件23上，并且作为图像信号输出至AFE单元24。AFE单元24调整来自于摄像器件23的图像信号、将该信号转换成数字数据并且将该数据提供至显影处理单元25。

在步骤S24中，显影处理单元25对来自于AFE单元24的图像数据执行诸如去马赛克处理的相机信号处理，并且将经过相机信号处理的图像数据提供至定位单元28。

在步骤S25中，定位单元28对来自于显影处理单元25的多个图像进行定位，并且将已定位的图像数据提供至掩模生成单元29以及图像合成处理单元30。

在步骤S26中，掩模生成单元29使用已定位的长曝光图像以实施掩模生成处理。下面参照图11描述掩模生成处理的细节。通过掩模生成处理，生成合成掩模53，并且将其提供至图像合成处理单元30。

在步骤S27中，图像合成处理单元30使用合成掩模53电荷长曝光图像以及短曝光图像以实施图像合成处理并且生成慢快门图像。所生成的慢快门图像被提供至分辨率变换单元26。

在步骤S28中，分辨率变换单元26、编码解码单元27和驱动器36实施媒体记录。具体地，慢快门图像的分辨率被分辨率变换单元26所变换，该图像被编码解码单元27编码，并且编码数据被提供至驱动器36。驱动器36将编码数据记录在可移除记录介质41上。

应当注意，尽管在图10所示的示例中的步骤S21中选择对象移动方向，但是，选择对象移动方向的时刻可以是从步骤S21～S25的任何时刻，只要该时刻是在掩模生成之前。

(掩模生成处理的示例)

下面，将要参照图11的流程图描述掩模生成处理。

在步骤S51中，图像梯度提取单元71从长曝光图像61中提取对象移动方向图像梯度。图像梯度提取单元71将所提取的图像的梯度提取结果62提供给初始标签图生成单元72。

在步骤S52中，初始标签图生成单元72基于来企业图像梯度提取单元71的梯度提取结果62生成初始标签图63。具体地，如图6所示，当每个像素或者每个局部区域的特定对象移动方向梯度强度小于预设阈值Θ时，标签判断处理单元72将该像素或者局部区域分配给背景确定区域，并且当每个像素或者局部区域的特定方向梯度强度等于或者大于阈值Θ时，标签判断处理单元81将该像素或者局部区域分配给对象侧未确定区域。基于该结果，初始标签图生成单元72生成初始标签图63。初始标签图生成单元72将长曝光图像61和所生成的初始标签图63提供给前景提取单元73。

在步骤S53，基于来自于初始标签图生成单元72或者标签图更新单元74的标签图63，前景提取单元73从长曝光图像61提取前景，并且生成合成掩模53。

在步骤S54中，前景提取单元73判断前景是否被提取了指定的次数，并且当判断出前景已被提取了指定的次数时，将长曝光图像61和所生成的合成掩模53提供至标签图更新单元74。此后，处理前进到步骤S55。

在步骤S55中，标签图更新单元74使用合成掩模53和长曝光图像61更新标签图63。下面参照图12描述标签图更新处理的细节。标签图被标签图更新处理所更新，并且将已更新的标签图63提供给前景提取单元73。此后，处理前进到步骤S53。

当在步骤S54判断出前景已被提取了指定的次数，处理前进到步骤S56。在步骤S56，前景提取单元73将合成掩模53输出至图像合成处理单元30。

(标签图更新处理的示例)

下面，将要参照图12的流程图描述标签图更新处理。

在步骤S71，使用长曝光图像61以及合成掩模53，前景代表色确定处理单元91在合成掩模53的前景区域中计算颜色直方图，并且确定代表色。然后，前景代表色确定处理单元91将长曝光图像61、合成掩模53和代表色提供给更新区域设置处理单元92。

在步骤S72，如上参照图9所述，更新区域设置处理单元92设置标签图63的更新区域。更新区域设置处理单元92将长曝光图像61、合成掩模53、代表色和更新区域提供给标签判断处理单元93。

应当注意，随后的步骤S74～S81是由像素单元中的标签判断处理单元93所执行的处理。

在步骤S74中，标签判断处理单元93输入长曝光图像61的像素(x,y)。在步骤S74，标签判断处理单元93判断输入像素(x,y)是否位于更新区域内。当在步骤S74中判断出输入像素(x,y)位于更新区域之外，处理前进到步骤S75。在步骤S75，标签判断处理单元93将输入像素(x,y)分配给背景确定区域。此后，处理前进到步骤S81。

当在步骤S74中判断出输入像素(x,y)位于更新区域之内时，处理前进到步骤S76。在步骤S76，标签判断处理单元93判断输入像素(x,y)是否是代表色。当在步骤S76中判断出输入像素(x,y)不是代表色时，处理前进到步骤S77。在步骤S77，标签判断处理单元93将输入像素(x,y)分配给背景侧未确定区域。此后，处理前进到步骤S81。

当在步骤S76中判断出输入像素(x,y)是代表色时，处理前进到步骤S78。在步骤S78，标签判断处理单元93判断输入像素(x,y)是否是合成掩模53中的前景。

当在步骤S78中判断出输入像素(x,y)不是合成掩模53中的前景时，处理前进到步骤S79。在步骤S79，标签判断处理单元93将输入像素(x,y)分配给对象侧未确定区域中。此后，处理前进到步骤S81。

当在步骤S78中判断出输入像素(x,y)是合成掩模53中的前景时，处理前进到步骤S80。在步骤S80，标签判断处理单元93将输入像素(x,y)分配给对象区域。此后，处理前进到步骤S81。

在步骤S81中，标签判断处理单元93判断处理是否针对所有像素已完成。当在步骤S81中判断出处理没有针对所有像素完成，处理返回到步骤S73，并且重复随后的步骤。当在步骤S81中判断出处理已经针对所有像素已经完成，标签更新处理结束，并且处理返回至图11的步骤S55。

(对象移动方向选择UI)

图13A～13C是用于选择对象移动方向的UI的示例的图。应当注意，在改变曝光时间的同时已被拍摄的多个图像之一(优选的是长曝光图像)显示在如图13A～13C中所示的屏幕上。这是因为当选择诸如对象移动方向的特定方向时，在观察长曝光图像的同时可以更容易地选择方向。

如图13A所示，当在图10的步骤S21中选择如上所述的对象移动方向时，在使用可以进行触摸屏操作的显示器的情况下，用户可以通过在对象移动方向上滑动手指的操作选择对象移动方向。

或者，如图13B所示，可以显示(呈现)几个方向备选项，以提示用户选择期望的方向。在如图13B所示的示例中，可以呈现4个方向。

或者，如图13C所示，可以采用检测值、场景分析等等，以使得设置框架之后，并且用户移动框架或者图像，使得将要拍摄的流(对象)的图像适配于基于用户操作的框架，CPU33基于该框架中的像素梯度方向判断对象移动方向。

通过上述结构，本发明产生如下效果。

(图像的示例)

图14是用于解释通过本发明获得的图像的示例的图。

这里，使用两个图像(长曝光图像51和短曝光图像52)给出说明。应当注意，在摄像装置11中，在垂直方向上设定对象移动方向，并且前景被提取的次数被设置为两次。

在长曝光图像51中，如慢快门所期望的，水流被表现为瀑布。但是，因为手的扰动的影响，图像整体上给出一个模糊的印象。另一方面，当人在连续拍摄的短曝光图像52中清楚地出现在左手侧时，瀑布的流动被停止。

图像梯度提取单元71从长曝光图像51中提取在对象移动方向上的图像梯度分量，并且获得长曝光图像51的梯度提取结果62。在梯度提取结果62中，梯度的方向和大小例如由箭头表示。

通过初始标签图生成单元72基于梯度提取结果62对垂直方向的梯度实施阈值判断以获得初始标签图63。通过针对初始标签图63提取前景，获得合成掩模53。

而且，使用合成掩模53和长曝光图像51，标签图63被更新以生成标签图63’。通过进一步从标签图63’提取前景，获得合成掩模53’。

通过使用本发明如上所述所生成的合成掩模53’，长曝光图像51和短曝光图像52被合成以最终以慢快门拍摄获得输出图像54。

在输出图像54中，通过使用从长曝光图像51中所生成的合成掩模53’，可以获得背景区域是静态并且只有瀑布下落的图像。而且，尽管因为人在曝光期间的运动，长曝光图像51给出一个模糊的印象，根据本发明，通过用短曝光图像52替换除了流动对象之外的图像，只有将要被拍摄的流动对象可以制作为流动，并且其他动态物体被制作为静态。因此，例如，可以在困难的构图中进行拍摄，例如拍摄具有流动或者移动对象的纪念照片。

本发明还可以适用于以慢快门拍摄在特定方向上移动的物理对象的情况，诸如在游乐园中的车或者旋转木马中。

应当注意，上面已经给出了摄像装置11的拍摄处理的示例的说明。但是，当再现长曝光图像和短曝光图像连续地曝光和记录的图像时，也可以实施本发明的处理。

(再现处理的示例)

接着，在参照图15的流程图的同时，将要描述在慢快门模式下通过摄像装置11所实施的再现处理。例如，假设在摄像装置11中，长曝光图像和短曝光图像连续地曝光，并且被记录在可移除记录介质41等等上。

例如，在步骤S91中，基于用户操作，摄像装置11的CPU33控制驱动器36以读取记录在可移除记录介质41上的图像(长曝光图像51和短曝光图像52)。驱动器36从可移除记录介质41读出编码数据，并且将该数据提供至编码解码单元27。编码解码单元27也对从驱动器36读出的编码数据进行解码，并且将作为解码结果获得的图像数据提供给定位单元28。

在步骤S92中，定位单元28在来自于编码解码单元27的多个图像之间进行定位，并且将已定位的图像数据提供至掩模生成单元29以及图像合成处理单元30。

例如，在步骤S93中，基于用户操作，CPU33在曝光期间设定对象移动方向。例如，当拍摄从屏幕的顶部向下降落的瀑布时，垂直方向设定为对象移动方向。

在步骤S94中，掩模生成单元29使用已定位的长曝光图像实施掩模生成处理。掩模生成处理的细节和如上参照图11所述的那些处理一样，所以省略其描述。合成掩模53通过掩模生成处理生成，并且被提供至图像合成处理单元30。

在步骤S95中，使用合成掩模53、长曝光图像以及短曝光图像，图像合成处理单元30实施合成处理，并且生成慢快门图像。所生成的慢快门图像被提供至分辨率变换单元26。

在步骤S96中，分辨率变换单元26、编码解码单元27和驱动器36实施媒体记录。具体地，慢快门图像的分辨率被分辨率变换单元26所变换，该图像被编码解码单元27编码，并且编码数据被提供至驱动器36。驱动器36将编码数据记录在可移除记录介质41上。

如上所述，当连续拍摄的长曝光图像和短曝光图像被提前记录，在再现过程中可以实施本发明的处理。

(摄像装置的另一个功能性结构示例)

图16是示出摄像装置的另一个功能结构示例。

如图16所示的摄像装置11和图2所示的摄像装置的相同之处在于，它包括定位单元28、掩模生成单元29以及图像合成单元30。图16所示的摄像装置11和图2所示的摄像装置的不同之处在于，在掩模生成单元29之前加入图像缩小处理单元111。

定位单元28将已定位的长曝光图像51和短曝光图像52提供至图像合成处理单元30。定位单元28也将已定位的长曝光图像51提供至图像缩小处理单元111。

图像缩小处理单元111缩小已定位的长曝光图像51的大小，并且将已缩小的长曝光图像51提供至掩模生成单元29。

掩模生成单元29使用定位以后已被缩小的长曝光图像51生成合成掩模53。

(拍摄处理的示例)

接着，在参照图17的流程图的同时，将要描述在慢快门模式下通过摄像装置11所实施的拍摄处理。应当注意，图17的步骤S111～S115和步骤S117～S119基本上类似于图10的步骤S21～S28。因此，将要省略其描述。

在步骤S115之后，定位单元28将已定位的长曝光图像51提供至图像缩小处理单元111。

在步骤S116中，图像缩小处理单元111缩小已定位的长曝光图像51的大小，并且将已缩小的长曝光图像51提供至掩模生成单元29。

在步骤S117中，掩模生成单元29使用定位以后已被缩小的长曝光图像51实施掩模生成处理。

如上所述，通过使用用于生成掩模的已缩小图像，可以提高处理速度。

如上所述的处理序列可以通过硬件或者软件来执行。当通过软件执行该处理序列时，构成该软件的程序被安装在计算机中。这里所使用的计算机包括集成有专用硬件的计算机以及能够通过安装各种程序执行各种功能的通用个人计算机。

<2.第二实施例>

(计算机的结构示例)

图18示出了通过执行程序执行如上所述的程序序列的硬件的结构示例。具体地，图18示出了摄像系统和处理系统彼此独立的情况的结构示例。

在计算机201中，输入单元211、输出单元212、CPU(中央处理单元)213、GPU(图像处理单元)214、通信单元215和RAM216相互经由总线217连接。

另外连接至总线217的是存储单元218和驱动器219。

输入单元211由键盘、鼠标、麦克风等等构成。输出单元212由显示器、扬声器等等构成。GPU214实施用于显示3D图像的计算处理。通信单元215由网络接口等等构成。存储单元218由硬盘、非易失性存储器等等构成。驱动器219驱动诸如磁盘、光盘、磁光盘和半导体存储器等可移除记录介质220。

在如上所述结构的计算机中，例如，CPU213经由总线217将存储在存储单元218中的程序装载到RAM216中并且执行。结果，实施如上所述的处理序列。

例如，存储单元218存储定位程序221、掩模生成程序222、图像生成程序223、UI程序224以及相机通信程序225。

定位程序221基本上执行与如图1实施的存储单元218一样的处理。掩模生成程序222基本上执行与如图1实施的掩模生成单元29一样的处理。掩模生成程序223基本上执行与如图1所示的图像合成处理单元30一样的处理。UI程序224执行与UI相关的显示控制。相机通信程序225与摄像系统的装置(未示出)通信。

将要被计算机(CPU213)执行的程序可以通过记录在可移除记录介质220上而例如作为封装介质提供。或者，可以经由有线或者无线传输介质而提供程序，所述传输介质例如是局域网、因特网以及数字卫星广播。

在计算机中，通过将可移除记录介质220装载在驱动器219中，程序可以经由总线217安装在存储单元218中。或者，程序可以经由有线或者无线传输介质被通信单元215接收，并且安装在存储单元218中。或者，程序可以提前安装在ROM(未示出)或者存储单元218中。

应当注意，将要由计算机执行的程序可以是按照说明书给出说明的顺序、以时间序列执行处理的程序，或者是并行或者在调用时的必要时刻等执行处理的程序。

如上所述，本发明不限于图像处理装置，并且也可以适用于摄像装置、服务器等等。

应当注意，在本说明书中，描述处理序列的步骤不仅包括按照声称的顺序以时间序列实施的处理，而且包括并行或者独立实施、但是不必以时间序列处理的处理。

例如，本发明可以具有云计算机构，其经由网络通过多个装置独立地并且合作地处理一个功能。

本发明的实施例不限于上述实施例，并且在不背离本发明的宗旨的情况下作出各种变化。

而且，上述流程图的步骤可以分配给多个装置并且由多个装置执行，而不是由单个装置执行这些步骤。

而且，当单个步骤包括多个处理，单个步骤中包括的多个处理可以分配给多个装置，并且由多个装置执行，而不是由单个装置执行该处理。

而且，描述为单个装置(或者处理单元)的结构可以分割开，以构造为多个装置(或者处理单元)。相反地，描述为多个装置(或者处理单元)的结构可以结合，以构造为单个装置(或者处理单元)。而且，除了上述结构之外的结构当然可以添加到每个装置的结构(或者每个处理单元)。而且，只要作为整个系统的结构和操作实质上相同，特定装置(或者处理单元)的一部分结构可以包括在另一个装置(或者另一个处理单元)的结构中。换言之，本发明的实施例不限于上述实施例，并且可以在不背离本发明的宗旨的情况下作出各种变化。

到此为止，本发明的优选实施例已经参照附图进行了具体说明。但是，本发明不限于那些实施例。本领域的技术人员应当理解，根据设计要求以及其他因素，可以进行各种变化、组合、次组合以及替换，这些都在所附权利要求书及其等同物的范围内。

应当注意，本发明可以具有如下结构。

(1)一种图像处理装置，其包括：

掩模生成单元，其用于基于与多个连续拍摄的具有不同曝光时间的图像中的长曝光图像的特定方向相关的信息而生成合成掩模；以及

图像合成单元，其用于使用由所述掩模生成单元所生成的合成掩模而合成所述多个图像。

(2)根据(1)所述的图像处理装置，

其中，与所述长曝光图像的特定方向相关的所述信息是基于所述长曝光图像中的对象移动方向设置的。

(3)根据(1)或(2)所述的图像处理装置，

其中，所述掩模生成单元包括：

标签图生成单元，其用于基于在所述特定方向上的所述长曝光图像的梯度强度来生成所述合成掩模的初始标签图，以及

前景提取单元，其用于基于由所述标签图生成单元所生成的所述初始标签图来提取前景，并且生成所述合成掩模。

(4)根据(3)所述的图像处理装置，其中，

所述掩模生成单元还包括：标签图更新单元，其用于基于所述合成掩模的所述前景中的代表色和更新区域中的至少一个更新所述初始标签图，并且

所述前景提取单元基于由所述标签图更新单元所更新的标签图来提取所述前景，并且生成所述合成掩模。

(5)根据(1)至(4)中任一项所述的图像处理装置，其还包括：

显示控制单元，其用于控制用于设置所述长曝光图像的特定方向的UI(用户接口)的显示器。

(6)根据(5)所述的图像处理装置，

其中，所述多个图像之一显示在屏幕上。

(7)根据(6)所述的图像处理装置，

其中，所述多个图像之一是长曝光图像。

(8)根据(5)所述的图像处理装置，

其中，所述显示控制单元基于在多个图像中的对象移动方向上的用户指令而控制用于设定所述长曝光图像的特定方向的所述UI的显示器。

(9)根据(5)所述的图像处理装置，

其中，所述显示控制单元基于在多个图像中的对象移动方向备选项中的用户选择而控制用于设置长曝光图像的特定方向的所述UI的显示器。

(10)根据(5)所述的图像处理装置，

其中，所述显示控制单元通过显示用于检测在所述多个图像中的对象移动方向的区域而控制用于设置所述长曝光图像的特定方向的所述UI的显示器。

(11)根据(1)至(10)中任一项所述的图像处理装置，其还包括：

定位单元，其用于定位多个图像，

其中，

所述掩模生成单元基于由所述定位单元所定位的长曝光图像的梯度信息生成合成掩模，以及

所述图像合成单元使用由所述掩模生成单元所生成的所述合成掩模而合成由所述定位单元所定位的所述多个图像。

(12)一种图像处理方法，其包括：

通过图像处理装置基于与多个连续拍摄的具有不同曝光时间的图像中的长曝光图像的特定方向相关的信息而生成合成掩模；以及

通过所述图像处理装置使用所生成的所述合成掩模合成多个图像。

(13)一种程序，其使得计算机实现以下功能：

掩模生成单元，其用于基于与多个连续拍摄的具有不同曝光时间的图像中的长曝光图像的特定方向相关的信息而生成合成掩模；以及

图像合成单元，其用于使用由所述掩模生成单元所生成的所述合成掩模而合成所述多个图像。

参考标记列表

11 摄像装置

21 光学系统

22 驱动单元

23 摄像器件

24 AFE单元

25 显影处理单元

26 分辨率变换单元

27 编码解码单元

28 定位单元

29 掩模生成单元

30 图像合成处理单元

31 总线

32 RAM

33 CPU

34 GPU

35 各种传感器

36 驱动器

37 显示器

41 可移除记录介质

51 长曝光图像

52 短曝光图像

53 合成掩模

54 输出图像

61 长曝光图像

62 梯度提取结果

63 标签图

71 图像梯度提取单元

72 初始标签图生成单元

73 前景提取单元

74 标签图更新单元

81 标签判断处理单元

91 前景代表色确定处理单元

92 更新区域设置处理单元

93 标签判断处理单元

111 图像缩小处理单元

201 计算机

221 定位程序

222 掩模生成程序

223 图像生成程序

224 UI程序

225 相机通信程序。