本发明涉及一种对被摄体进行摄像并生成该被摄体的图像数据的摄像装置、图像处理装置、摄像方法及存储介质。
背景技术：
近年来，公知如下的技术：在数码相机等摄像装置中，从连续拍摄的多个图像的各个图像中提取被摄体的图像，对提取的被摄体的图像按时间顺序进行合成，合成到背景图像，从而取得拍到了被摄体的移动轨迹的合成图像(见专利文献1)。
在先技术文献
专利文献
专利文献1:日本特开2004-56359号公报
技术实现要素：
发明要解决的问题
然而，在上述的专利文献1中具有如下问题：由于仅在背景图像中按时间顺序对被摄体的图像进行合成，因此不能得到反映了用户所期望的被摄体的位置和状态的合成图像。
本发明是鉴于上述问题而完成的，其目的在于提供一种能够取得反映了用户所期望的被摄体的位置和状态的合成图像的摄像装置、图像处理装置、摄像方法及程序。
用于解决问题的手段
为了解决上述问题，达成目的，本发明的摄像装置的特征在于，具有：摄像部，其连续地进行拍摄，依次生成图像数据；合成部，其对所述摄像部生成的多个所述图像数据进行合成来生成合成图像数据；显示部，其显示与所述合成部生成的所述合成图像数据对应的合成图像；操作部，其受理在所述显示部显示的所述合成图像中所合成的多个所述图像数据中要保留在所述合成图像中的所述图像数据的操作；以及控制部，其使所述合成部对根据所述操作部的操作而选择的2个以上的所述图像数据进行合成，生成新的所述合成图像数据。
此外，本发明的图像处理装置的特征在于，具有：合成部，其对多个图像数据进行合成来生成合成图像数据；以及控制部，其使所述合成部对如下的2个以上的所述图像数据进行合成，生成新的所述合成图像数据，上述2个以上的所述图像数据是根据操作部的操作，从显示装置所显示的、与所述合成部生成的所述合成图像数据对应的合成图像中所合成的多个所述图像数据中选择的。
另外，本发明的由摄像装置执行的摄像方法，其中，所述摄像装置具有：摄像部，其连续地进行拍摄，依次生成图像数据；以及合成部，其对所述摄像部生成的多个所述图像数据进行合成来生成合成图像数据，其特征在于，该摄像方法包括如下步骤：显示步骤，显示与所述合成部生成的所述合成图像数据对应的合成图像；操作步骤，受理在所述显示步骤中显示的所述合成图像中所合成的多个所述图像数据中，要保留在所述合成图像中的所述图像数据的操作；以及控制步骤，使所述合成部对根据所述操作步骤的操作而选择的2个以上的所述图像数据进行合成，生成新的所述合成图像数据。
此外，本发明的计算机可读取的存储介质，其存储了使摄像装置执行如下步骤的程序，其中，所述摄像装置具有：摄像部，其连续地进行拍摄，依次生成图像数据；以及合成部，其对所述摄像部生成的多个所述图像数据进行合成来生成合成图像数据，显示步骤，显示与所述合成部生成的所述合成图像数据对应的合成图像；操作步骤，受理在所述显示步骤中显示的所述合成图像中所合成的多个所述图像数据中，要保留在所述合成图像中的所述图像数据的操作；以及控制步骤，使所述合成部对根据所述操作步骤的操作而选择的2个以上的所述图像数据进行合成，生成新的所述合成图像数据。
发明效果
根据本发明，具有能够反映用户所期望的被摄体的位置和状态这样的效果。
附图说明
图1是示出本发明的实施方式1的摄像装置的功能结构的框图。
图2是示出本发明的实施方式1的摄像装置所执行的处理的概要的流程图。
图3是示出图2的取舍选择模式处理的概要的流程图。
图4是示出本发明的实施方式1的摄像装置的摄像部连续地依次生成的图像数据的图。
图5是示出本发明的实施方式1的摄像装置的显示部沿时间序列依次显示的图像的一例的图。
图6是示出本发明的实施方式1的摄像装置的显示部所显示的合成图像的一例的图。
图7是示出图2的再现处理的概要的流程图。
图8是示出本发明的实施方式2的摄像装置所执行的取舍选择模式处理的概要的流程图。
图9是示出本发明的实施方式2的摄像装置所执行的再现处理的概要的流程图。
图10是示出图9的慢动作动态图像再现处理的概要的流程图。
图11是示出图9的合成图像再现处理的概要的流程图。
图12a是示出本发明的实施方式2的摄像装置的显示部所显示的合成图像的一例的图。
图12b是示出本发明的实施方式2的摄像装置的显示部所显示的合成图像的一例的图。
图12c是示出本发明的实施方式2的摄像装置的显示部所显示的合成图像的一例的图。
图12d是示出本发明的实施方式2的摄像装置的显示部所显示的合成图像的一例的图。
图12e是示出本发明的实施方式2的摄像装置的显示部所显示的合成图像的一例的图。
图13a是示出本发明的实施方式2的摄像装置的显示部所显示的其它的合成图像的一例的图。
图13b是示出本发明的实施方式2的摄像装置的显示部所显示的其它的合成图像的一例的图。
图13c是示出本发明的实施方式2的摄像装置的显示部所显示的其它的合成图像的一例的图。
图13d是示出本发明的实施方式2的摄像装置的显示部所显示的其它的合成图像的一例的图。
图14是示出本发明的实施方式2的变形例的摄像装置的功能结构的框图。
图15是示出本发明的实施方式2的变形例的摄像装置所执行的合成图像再现处理的概要的流程图。
图16是示出使用本发明的实施方式2的变形例的摄像装置进行拍摄时的状况下的图。
图17a是示出本发明的实施方式2的变形例的摄像装置的显示部所显示的合成图像的一例的图。
图17b是示出本发明的实施方式2的变形例的摄像装置的显示部所显示的合成图像的一例的图。
图17c是示出本发明的实施方式2的变形例的摄像装置的显示部所显示的合成图像的一例的图。
图17d是示出本发明的实施方式2的变形例的摄像装置的显示部所显示的合成图像的一例的图。
图17e是示出本发明的实施方式2的变形例的摄像装置的显示部所显示的合成图像的一例的图。
图18是示出本发明的实施方式3的摄像装置的功能结构的框图。
图19是示出本发明的实施方式3的摄像装置所执行的取舍选择模式处理的概要的流程图。
图20是示出用户使用摄像装置一边跟踪向规定方向移动的被摄体一边进行拍摄的状况下的图。
图21是示出本发明的实施方式3的摄像装置的合成部所合成的合成图像的一例的图。
图22是示出本发明的实施方式3的摄像装置的合成部所合成的合成图像的一例的图。
图23是示出本发明的实施方式3的摄像装置的合成部所合成的其它的合成图像的一例的图。
图24是示出本发明的实施方式3的摄像装置的合成部所合成的其它的合成图像的一例的图。
图25是示意性示出本发明的实施方式3的摄像装置所记录的图像文件的一例的图。
标号说明：
1，1a，1b···摄像装置；2···摄像部；3···声音输入输出部；4···姿势检测部；5···时钟；6···显示部；7···触摸面板；8···操作部；9···临时记录部；10···记录部；11···通信部；12，12a，12b···控制部；101···程序记录部；102···图像数据记录部；121···帧率变更部；122···检测部；123···第1判定部；124···提取部；125···合成部；126···显示控制部；127···摄像控制部；128···记录控制部；129···计算部；130···第2判定部；131···第3判定部；132···生成部。
具体实施方式
下面，参照附图，对用于实施本发明的方式(以下称为“实施方式”)进行说明。另外，不是通过以下的实施方式来限定本发明。进而，在附图的记载中，对相同的部分赋予相同的标号来进行说明。另外，在下面的说明中，作为摄像装置，以能够连续地拍摄图像数据的数字静物照相机(digitalstillcamera)为例进行说明，但除了数字静物照相机之外，也可以应用于摄录机、数字视频摄像机(digitalvideocamera)、具有摄像功能的便携电话和平板型终端、监控摄像机、具有拍摄功能的ic记录器、内窥镜以及视频显微镜等显微镜。
(实施方式1)
〔摄像装置的结构〕
图1是示出本发明的实施方式1的摄像装置的功能结构的框图。图1所示的摄像装置1具有摄像部2、声音输入输出部3、姿势检测部4、时钟5、显示部6、触摸面板7、操作部8、临时记录部9、记录部10、通信部11以及控制部12。
摄像部2在控制部12的控制下对规定的视野区域进行摄像，生成图像数据并向控制部12输出。此外，摄像部2在控制部12的控制下对规定的视野区域连续地进行摄像，生成时间上连续的多个图像数据。另外，摄像部2在控制部12的控制下根据规定的帧率(例如，240fps、120fps、60fps、30fps、24fps)对规定的视野区域连续地进行摄像，生成时间上连续的动态图像数据。摄像部2构成为使用对规定的视野区域进行成像的光学系统、接收光学系统所成像的光学像并进行光电转换从而生成图像数据的ccd(chargecoupleddevice,电荷耦合器件)或cmos(complementarymetaloxidesemiconductor，互补金属氧化物半导体)等摄像元件、对光学系统所会聚的光的入射量进行控制从而进行曝光调整的光圈、将摄像元件的状态切换为曝光状态或遮光状态的快门、以及对摄像元件所生成的模拟图像数据实施降噪处理和增益放大处理等的模拟处理并进行a/d转换的信号处理部等。
声音输入输出部3取得音频数据并向控制部12输出，并且向外部输出从控制部12输入的音频数据。声音输入输出部3构成为使用取得音频数据的麦克风、对麦克风所取得的音频数据进行a/d转换的a/d转换部、对从控制部12输入的数字音频数据进行d/a转换的d/a转换部、向外部输出d/a转换部所转换的模拟音频数据的扬声器等。
姿势检测部4对与摄像装置1相关的姿勢和手抖动进行检测，向控制部12输出检测出的检测结果。姿势检测部4构成为使用对在摄像装置1中产生的加速度进行检测的加速度传感器以及对摄像装置1的角度、角速度和角加速度进行检测的陀螺仪传感器等。另外，可以在姿势检测部4的结构中增加基于gps等的位置检测传感器或方位传感器等，从而对与包含摄像装置1的位置或摄像方向的方位在内的姿勢相关的姿势信息进行检测。
除了计时功能以外，时钟5还生成与在摄像部2中拍摄的图像的日期和时间有关的日期和时间信息，向控制部12输出该日期和时间信息。
显示部6在控制部12的控制下显示与摄像部2生成的图像数据对应的图像、与摄像部2生成的动态图像数据对应的动态图像、或与摄像装置1相关的各种信息。此外，显示部6再现显示与记录部10记录的图像数据对应的图像和与动态图像数据对应的动态图像。显示部6构成为使用液晶或有机el(electroluminescence，电致发光)等显示面板。
触摸面板7重叠设置在显示部6的显示区域，受理与来自外部的物体所接触的接触位置(触摸位置)相应的信号的输入，将该信号输出到控制部12等。
操作部8受理与摄像装置1的各种操作相关的信号的输入，将受理的信号输出到控制部12等。操作部8构成为至少使用受理指示静态图像拍摄的准备的第一释放信号和指示拍摄的第二释放信号的输入的释放开关、受理对摄像部指示动态图像拍摄的开始的开始信号和对摄像部指示动态图像拍摄的结束的结束信号的输入的动态图像开关、受理摄像装置1的各种操作信号的输入的十字开关、以及受理确定由十字开关选择的设定等的指示信号的输入的确定开关等。
临时记录部9经由控制部12暂时记录摄像部2生成的图像数据和动态图像数据、以及摄像装置1的处理中的各种数据。临时记录部9构成为使用sdram(synchronousdynamicrandomaccessmemory，同步动态随机存取存储器)等存储器。
记录部10具有记录摄像装置1所执行的各种程序的程序记录部101、以及记录摄像部2生成的图像数据和动态图像数据的图像数据记录部102。例如，记录部10构成为使用flash存储器、能够相对于摄像装置1装卸自如的存储卡等的记录介质。
通信部11在控制部12的控制下按照规定的无线通信标准与外部设备进行双向通信，从而发送图像数据和动态图像数据等信息，并且接收从外部设备发送的指示摄像装置1的各种动作的指示信号，并向控制部12输出。在此，规定的无线通信标准是ieee802.11a、ieee802.11b、ieee802.11n、ieee802.11g、ieee802.11ac、bluetooth(注册商标)以及红外线通信标准等。另外，在本实施方式1中，能够应用任意的无线通信标准。
控制部12集中控制构成摄像装置1的各部分。此外，控制部12针对从摄像部2输入的图像数据或动态图像数据，进行各种处理并输出到显示部6、临时记录部9以及记录部10中的任意方。控制部12构成为使用例如cpu(centralprocessingunit，中央处理器)、fpga(fieldprogrammablegatearray，现场可编程门阵列)以及asic(applicationspecificintegratedcircuit，专用集成电路)等通用处理器。另外，在本实施方式1中，控制部12作为图像处理装置发挥功能。
在此，对控制部12的详细结构进行说明。控制部12具有帧率变更部121、检测部122、第1判定部123、提取部124、合成部125、显示控制部126、摄像控制部127以及记录控制部128。
帧率变更部121变更摄像部2所进行摄像的图像数据的帧率。例如，帧率变更部121将摄像部2的帧率从120fps变更为240fps。
检测部122检测与摄像部2生成的图像数据对应的图像中所包含的被摄体。例如，检测部12针对图像使用公知的模式匹配(patternmatching)技术来检测在连续的图像或动态图像内移动的被摄体。另外，除模式匹配之外，检测部122还可以根据运动矢量或特征量来检测图像中所包含的被摄体。
第1判定部123根据时间上处于前后的图像来判断由检测部122检测出的被摄体是否具有从摄像装置向进深方向移动的进深成分。在此，进深方向是指摄像部2的光轴方向。此外，进深成分还包含从摄像装置起以进深方向为基准的倾斜方向的成分。
提取部124从与摄像部2生成的图像数据对应的图像中提取检测部122检测出的被摄体的区域，生成被摄体图像数据。
合成部125在后述的摄像控制部127的控制下，对摄像部2生成的多个图像数据进行合成来生成合成图像数据。具体来说，在对规定张数的图像数据进行合成时，合成部125针对各图像数据乘以规定张数分之一倍的系数来合成各图像数据。例如，在合成3张图像数据时，合成部125对各图像数据乘以1/3之后，对各图像数据进行合成从而生成合成图像数据。
显示控制部126控制显示部6的显示形态。具体来说，显示控制部126将与摄像部2生成的图像数据对应的图像重叠在合成部125生成的合成图像上，并使显示部6进行显示。此外，显示控制部126使显示部6按照规定的显示帧率以慢动作显示在临时记录部9中记录的多个图像数据。例如，在按照120fps生成在临时记录部9中记录的多个图像数据的情况下，显示控制部126进行控制以使显示部6按照15fps进行显示。
摄像控制部127控制摄像部2。此外，摄像控制部127使合成部125对根据操作部8的取舍选择操作而选择的2个以上的图像数据进行合成，生成新的合成图像数据。另外，在本实施方式1中，摄像控制部127作为控制部发挥功能。
记录控制部128使临时记录部9记录由摄像部2生成的图像数据，并且使图像数据记录部102进行记录。
〔摄像装置的处理〕
其次，对摄像装置1所执行的处理进行说明。图2是示出摄像装置1所执行的处理的概要的流程图。
首先，如图2所示，在摄像装置1被设定为拍摄模式的情况下(步骤s101：是)，显示控制部126使显示部6依次显示与摄像部2连续生成的图像数据对应的实时取景图像(步骤s102)。在该情况下，对于摄像部2连续生成的图像数据，在临时记录部9中暂时记录一定的帧数(例如60fps或30fps)或规定的数据容量(例如，相当于1秒期间的数据容量)。
接着，在摄像装置1被设定为取舍选择模式的情况下(步骤s103：是)，摄像装置1执行取舍选择模式处理，在该取舍选择模式处理中，使在临时记录部9中记录的多个图像数据沿时间序列按顺序慢速显示于显示部6，并根据用户的取舍选择操作依次合成被摄体的图像来生成能够掌握被摄体的移动轨迹的合成图像数据(步骤s104)。另外，对于取舍选择模式处理的详细，进行后述。
然后，在从操作部8输入了指示结束的指示信号的情况下(步骤s105：是)，摄像装置1结束本处理。与此相对，在未从操作部8输入指示结束的指示信号的情况下(步骤s105：否)，摄像装置1返回上述的步骤s101。
在步骤s103中，在摄像装置1未被设定为取舍选择模式的情况下(步骤s103：否)，摄像装置1进入步骤s106。
接着，摄像控制部127判断是否从操作部8输入了指示静态图像拍摄的指示信号(步骤s106)。具体来说，摄像控制部127判断是否从操作部8输入了指示静态图像拍摄的第二释放信号。另外，除来自操作部8的第二释放信号之外，控制部12还可以判断是否从触摸面板7输入了基于触摸的指示静态图像拍摄的信号。在摄像控制部127判断为从操作部8输入了指示静态图像拍摄的指示信号的情况下(步骤s106：是)，摄像装置1进入后述的步骤s107。与此相对，在摄像控制部127判断为未从操作部8输入指示静态图像拍摄的指示信号的情况下(步骤s106：否)，摄像装置1返回后述的步骤s105。
在步骤s107中，摄像控制部127使摄像部2执行静态图像拍摄。
接着，记录控制部128将摄像部2通过静态图像拍摄而生成的图像数据按照规定的格式记录在图像数据记录部102中(步骤s108)。在该情况下，显示控制部126可以使与摄像部2通过静态图像拍摄而生成的图像数据对应的图像在显示部6中显示规定时间(例如，3秒)。在步骤s108之后，摄像装置1进入步骤s105。
在步骤s101中，在摄像装置1未被设定为拍摄模式的情况下(步骤s101：否)，摄像装置1进入步骤s109。
接着，在摄像装置1被设定为再现模式的情况下(步骤s109：是)，摄像装置1执行再现显示在图像数据记录部102中记录的图像数据的再现处理(步骤s110)。另外，对于再现处理的详细，进行后述。在步骤s110之后，摄像装置1进入步骤s105。
在步骤s109中，在摄像装置1未被设定为再现模式的情况下(步骤s109：否)，摄像装置1进入步骤s105。
〔取舍选择模式处理〕
其次，对上述图2的步骤s104的取舍选择模式处理的详细进行说明。图3是示出取舍选择模式处理的详细的流程图。
如图3所示，首先，摄像控制部127判断是否从操作部8输入了指示拍摄的指示信号(步骤s201)。具体来说，摄像控制部127判断是否从操作部8输入了指示拍摄准备的第一释放信号。当然，除第一释放信号之外，摄像控制部127还可以判断是否从操作部8输入了指示拍摄的指示信号(例如，第二释放信号)或从触摸面板7输入了指示拍摄的指示信号。进而，针对触摸面板7可以单单只是触摸操作。在摄像控制部127判断为从操作部8输入了指示拍摄的指示信号的情况下(步骤s201：是)，摄像装置1进入后述的步骤s202。与此相对，在摄像控制部127判断为未从操作部8输入指示拍摄的指示信号的情况下(步骤s201：否)，摄像装置1返回上述的图2的主程序。
在步骤s202中，记录控制部128使摄像部2生成的图像数据依次记录于临时记录部9。具体来说，如图4所示，记录控制部128使摄像部2连续生成的多个图像数据(例如，图4所示的图像p1～p6)依次记录于临时记录部9。在该情况下，帧率变更部121可以将摄像部2生成图像数据的帧率变更为高速的帧率(例如，60fps→120fps)。
接着，显示控制部126使在临时记录部9中按顺序记录的图像数据沿着时间序列以慢动作显示于显示部6(步骤s203)。具体来说，当在临时记录部9中记录有规定时间或规定帧数的由摄像部2按照规定的帧率生成的图像数据时，显示控制部126使显示部6以慢动作进行显示，以摄像部2的帧率的大于1的整数分之一倍的帧率进行显示。例如，当在临时记录部9中记录有2秒以上的由摄像部2按照120fps生成的图像数据时，显示控制部126使显示部6进行显示，以按照15fps进行显示(以8倍的慢动作进行显示)。此外，显示控制部126可以根据操作部8的操作适当变更以慢动作进行显示的速度。在该情况下，控制部12可以将声音输入输出部3捕获的音频数据与从声音输入输出部3以慢动作显示的图像结合，慢速再现音频数据。
接着，摄像控制部127判断针对显示部6以慢动作显示的图像，是否从操作部8或触摸面板7具有最初的确定指示(步骤s204)。具体来说，摄像控制部127判断是否从操作部8输入了指示拍摄的第二释放信号或者从触摸面板7输入了触摸信号。在摄像控制部127判断为针对显示部6以慢动作显示的图像从操作部8或触摸面板7具有最初的确定指示的情况下(步骤s204：是)，摄像装置1进入后述的步骤s205。与此相对，在摄像控制部127判断为针对显示部6以慢动作显示的图像从操作部8或触摸面板7没有最初的确定指示的情况下(步骤s204：否)，摄像装置1返回上述的步骤s203。
在步骤s205中，摄像控制部127使合成部125根据在具有最初的确定指示的时刻之前或者在具有最初的确定指示的时刻在临时记录部9中记录的图像数据来生成背景数据。具体来说，如图5所示，当在显示部6显示图像p10的时机从操作部8或触摸面板7具有确定指示的情况下，例如，摄像控制部127使合成部125将比如图4所示的图像p1靠前的图像数据生成为背景数据。另外，合成部125也可以在图5所示的具有最初的确定指示的时刻将临时记录部9中记录的图像数据(例如，图4所示的图像p1)生成为背景数据。
接着，检测部122从在临时记录部9中记录的下一帧的图像数据中检测被摄体(步骤s206)。具体来说，检测部122从图4所示的图像p1中检测被摄体o1。在该情况下，检测部122可以使用在时间上处于前后的图像数据来检测被摄体o1，也可以使用规定的模板来检测被摄体o1，还可以使用运动矢量来检测被摄体o1，还可以检测具有规定的特征量的区域作为被摄体。另外，在图4中，检测部122将1只鸟检测为被摄体o1，但是也可以是多个。当然，检测部122可以检测存在运动的运动物体作为被摄体，也可以使用预先学习的模型来检测存在运动的被摄体。
然后，提取部124从图像数据中提取由检测部122检测出的被摄体的区域，从而生成被摄体图像数据(步骤s207)。具体来说，提取部124提取检测部122从图像p1中检测出的被摄体o1的区域，从而生成被摄体图像数据。
接着，摄像控制部127使合成部125将由提取部124所生成的被摄体图像数据合成到在步骤s205中生成的背景数据上而生成合成图像数据(步骤s208)。具体来说，摄像控制部127使合成部125生成将背景数据与由提取部124所生成的被摄体图像数据合成而得到的合成图像数据(例如，图5所示的合成图像p10)。
然后，检测部122从在临时记录部9中记录的下一帧的图像数据中检测被摄体(步骤s209)。具体来说，检测部122从图4所示的图像p2中检测被摄体o1。
接着，提取部124从图像数据中提取由检测部122检测出的被摄体的区域，从而生成被摄体图像数据(步骤s210)。
然后，显示控制部126将与提取部124生成的被摄体图像数据对应的被摄体图像重叠到与合成部125生成的合成图像数据对应的合成图像上，使显示部6以慢动作进行显示(步骤s211)。具体来说，如图5所示，显示控制部126使显示部6以慢动作显示将被摄体图像o1重叠到合成图像p10上而得到的图像p11。在该情况下，显示控制部126为了使合成图像p10与被摄体图像o1的比率成为规定的比例，例如1：1，对合成图像p10的合成图像数据与被摄体图像o1的被摄体图像数据分别乘以系数1/2，从而使显示部6进行显示。当然，显示控制部126可以适当变更合成图像p10与被摄体图像o1的比率，例如成为4：6，对合成图像p10的合成图像数据乘以系数0.4，并对被摄体图像o1的被摄体图像数据乘以系数0.6，从而使显示部6进行显示。
接着，在从操作部8或触摸面板7针对显示部6以慢动作显示的动态图像具有确定指示的情况下(步骤s212：是)，摄像装置1进入后述的步骤s213。与此相对，在从操作部8或触摸面板7针对显示部6以慢动作显示的动态图像没有确定指示的情况下(步骤s212：否)，摄像装置1进入后述的步骤s221。
在步骤s213中，第1判定部123判定与在临时记录部9中记录的最新的帧的图像数据对应的图像内的被摄体是否正在远离摄像装置1。具体来说，第1判定部123根据时间上相邻的前一帧的图像数据与最新的帧的图像数据，使用检测部122检测出的被摄体的区域、被摄体的运动矢量以及从摄像装置1到被摄体的距离中的任意的1个以上的信息，来判定被摄体是否正在远离摄像装置1。例如，最新的帧的被摄体的距离大于前一帧的被摄体的距离的情况下，第1判定部123判定为被摄体正在远离摄像装置1。在此，被摄体正在远离摄像装置1是指被摄体向进深方向(还包括摄像装置1的光轴方向和倾斜方向)移动。在由第1判定部123判定为被摄体正在远离摄像装置1的情况下(步骤s213：是)，摄像装置1进入后述的步骤s214。与此相对，在由第1判定部123判定为被摄体未远离摄像装置1的情况下(步骤s213：否)，摄像装置1进入后述的步骤s218。
在步骤s214中，检测部122从合成图像中检测被摄体。具体来说，检测部122从显示部6在显示的合成图像、例如图5所示的合成图像p11中检测被摄体o1。
接着，提取部124提取检测部122从合成图像中检测出的被摄体的区域，从而生成被摄体图像数据(步骤s215)。
然后，摄像控制部127使合成部125对最新的图像数据与提取部124生成的被摄体图像数据进行合成，并更新合成图像数据(步骤s216)。由此，即使在被摄体相对于摄像装置1向进深方向移动了的情况下，能够将最新的图像数据作为背景数据来更新依次合成的背景，因此能够使被摄体的轨迹成为自然的状态。此时，摄像控制部127使合成部125以与最新的图像数据相乘的系数比与被摄体图像数据相乘的系数高的方式进行合成。例如，摄像控制部127将与最新的图像数据相乘的系数设为0.7，将与被摄体图像数据相乘的系数设为0.3，从而使合成部125生成合成图像数据并更新。由此，越是远离摄像装置1的被摄体在合成图像上越被强调对比度，因此能够明确向进深方向移动的被摄体的轨迹。
接着，显示控制部126使显示部6以慢动作显示与合成部125更新后的合成图像数据对应的合成图像(步骤s217)。在步骤s217之后，摄像装置1进入后述的步骤s221。
在步骤s218中，检测部122从与在临时记录部9中记录的最新的图像数据对应的最新图像中检测被摄体。例如，从如图4所示的图像p3中检测被摄体o1。
接着，提取部124提取检测部122从最新图像中检测出的被摄体的区域，从而生成被摄体图像数据(步骤s219)。
然后，摄像控制部127使合成部125对合成图像数据与提取部124生成的被摄体图像数据进行合成，更新与合成图像数据对应的合成图像(步骤s220)。具体来说，如图5所示，摄像控制部127使合成部125对合成图像数据与被摄体图像数据进行合成，更新为合成图像p12。在该情况下，如图5所示，在从操作部8或触摸面板7具有确定指示时，在步骤s220之后，摄像装置1进入后述的步骤s217。
在步骤s221中，控制部12判断在临时记录部9中记录的图像数据是否已经全部结束(步骤s221)。在控制部12判断为在临时记录部9中记录的图像数据已经全部结束的情况下(步骤s221：是)，摄像装置1进入后述的步骤s222。与此相对，在控制部12判断为在临时记录部9中记录的图像数据未全部结束的情况下(步骤s221：否)，摄像装置1返回上述的步骤s209。在该情况下，如图5所示，如图5的合成图像p13～合成图像p15所示，显示控制部126将提取部124依次从图像p4～图像p6的各个图像中提取由检测部122检测出的被摄体o1而生成的被摄体图像数据合成到合成图像数据，并使显示部6以慢动作进行显示。此时，摄像控制部127根据来自操作部8或触摸面板7的确定指示，使合成部125对被摄体图像与合成图像进行合成，从而生成图5所示的合成图像p13、合成图像p15以及合成图像p16。由此，用户能够得到拍到反映了期望的位置和状态的被摄体o1的轨迹的合成图像。另外，除了在临时记录部9中记录的图像数据全部结束之外，控制部12还可以判断是否达到在临时记录部9中能够记录图像数据的容量，从而判断是否结束取舍选择模式。当然，控制部12也可以根据操作部8或触摸面板7的操作判断是否结束取舍选择模式。
在步骤s222中，显示控制部126使显示部6显示与合成部125生成的最新的合成图像数据对应的合成图像。具体来说，如图6所示，显示控制部126使显示部6显示与合成部125生成的最新的合成图像数据对应的合成图像p20。
接着，记录控制部128将合成部125生成的最新的合成图像数据记录在图像数据记录部102中(步骤s223)。在步骤s223之后，摄像装置1返回图2的主程序。
〔再现处理〕
其次，对上述图2的步骤s110的再现处理的详细进行说明。图7是示出摄像装置1所执行的再现处理的概要的流程图。
如图7所示，首先，显示控制部126使显示部6一览显示与在图像数据记录部102中记录的多个图像数据对应的多个缩略图像(步骤s301)。
接着，在经由操作部8或触摸面板7从显示部6一览显示的多个缩略图像中选择了图像的情况下(步骤s302：是)，显示控制部126通过显示部6再现显示所选择的图像的图像数据(步骤s303)。
然后，在从操作部8输入了指示再现结束的指示信号的情况下(步骤s304：是)，摄像装置1返回图2的主程序。与此相对，在未从操作部8输入指示再现的结束的指示信号的情况下(步骤s304：否)，摄像装置1进入后述的步骤s305。
在步骤s305中，在经由操作部8或触摸面板7输入了指示切换显示部6显示的图像的指示信号的情况下(步骤s305：是)，显示控制部126将显示部6显示的图像切换至与操作相应的图像，并使显示部6进行显示(步骤s306)。在步骤s306之后，摄像装置1返回上述的步骤s304。
在步骤s305中，在未经由操作部8或触摸面板7输入指示切换显示部6显示的图像的指示信号的情况下(步骤s305：否)，摄像装置1返回上述的步骤s304。
在步骤s302中，在未经由操作部8或触摸面板7从显示部6一览显示的多个图像中选择图像的情况下(步骤s302：否)，摄像装置1进入步骤s307。
接着，在从操作部8输入了指示再现结束的指示信号的情况下(步骤s307：是)，摄像装置1返回上述的图2的主程序。与此相对，在未从操作部8输入指示再现结束的指示信号的情况下(步骤s307：否)，摄像装置1返回上述的步骤s301。
根据以上说明的本发明的实施方式1，摄像控制部127使合成部125对根据操作部8的取舍选择操作而选择的2个以上的图像数据进行合成，生成新的合成图像数据，因此能够取得反映了用户所期望的被摄体的位置和状态的合成图像。
此外，根据本发明的实施方式1，显示控制部126在每当摄像部2生成图像数据时，将重叠在显示部6显示的合成图像上的图像更新为最新图像，并使显示部6进行显示，因此能够直观地掌握用户所期望的被摄体的位置和状态。
此外，根据本发明的实施方式1，显示控制部126使显示部6按照摄像部2的帧率的大于1的整数分之一倍的帧率以慢动作显示合成图像和最新图像，因此能够容易地在用户所期望的位置将被摄体合成为合成图像。
另外，根据本发明的实施方式1，在从操作部8输入了指示信号的情况下，摄像控制部127使合成部125将与由摄像部2生成的最新的图像数据对应的最新图像合成到合成图像上，更新合成图像数据，因此能够容易将用户的意志反映到合成图像中。
此外，根据本发明的实施方式1，摄像控制部127使合成部125将与由提取部124生成的被摄体图像数据对应的被摄体图像合成到合成图像上，更新合成图像数据，因此能够得到仅被摄体移动的轨迹的合成图像数据。
另外，根据本发明的实施方式1，在由第1判定部123判定为被摄体从摄像装置1在进深上远离的情况下，摄像控制部127使合成部125对最新图像与提取部124从合成图像中提取出的被摄体图像进行合成，更新合成图像数据，因此即使是向进深方向移动的被摄体，也能够得到移动的被摄体的轨迹流畅的合成图像。
(实施方式2)
其次，对本发明的实施方式2进行说明。本实施方式2具有与上述实施方式1的摄像装置1相同的结构，摄像装置所执行的取舍选择模式处理以及再现处理不同。具体来说，在上述实施方式1中，在拍摄过程中选择合成到合成图像上的被摄体的位置和状态，但在本实施方式2中，在拍摄后选择合成到合成图像上的被摄体的位置和状态。在下面的说明中，对本实施方式2的摄像装置所执行的取舍选择模式处理和再现处理进行说明。此外，对与上述实施方式1的摄像装置1相同的结构赋予相同的标号，省略说明。
〔取舍选择模式处理〕
图8是示出本实施方式2的摄像装置1所执行的取舍选择模式处理的概要的流程图。
如图8所示，首先，控制部12判断是否从操作部8或触摸面板7输入了指示拍摄的指示信号(步骤s401)。在控制部12判断为从操作部8或触摸面板7输入了指示拍摄的指示信号的情况下(步骤s401：是)，摄像装置1进入后述的步骤s402。与此相对，在控制部12判断为未从操作部8或触摸面板7输入指示拍摄的指示信号的情况下(步骤s401：否)，摄像装置1返回上述的图2的主程序。
在步骤s402中，记录控制部128使临时记录部9依次记录摄像部2生成的图像数据。
接着，控制部12判断是否从操作部8或触摸面板7输入了确定指示(步骤s403)。在控制部12判断为从操作部8或触摸面板7输入了确定指示的情况下(步骤s403：是)，摄像装置1进入后述的步骤s404。与此相对，在控制部12判断为未从操作部8或触摸面板7输入确定指示的情况下(步骤s403：否)，摄像装置1进入上述的步骤s402。
在步骤s404中，记录控制部128将在临时记录部9中记录的规定帧数(例如30帧)的图像数据记录在记录部10的图像数据记录部102中，并将摄像部2生成的图像数据依次记录在记录部10中。
接着，控制部12判定是否从操作部8或触摸面板7输入了结束拍摄的指示信号(步骤s405)。在控制部12判定为从操作部8或触摸面板7输入了指示结束的指示信号的情况下(步骤s405：是)，摄像装置1进入后述的步骤s406。与此相对，在控制部12判定为未从操作部8或触摸面板7输入指示结束的指示信号的情况下(步骤s405：否)，摄像装置1返回上述的步骤s404。
在步骤s406中，合成部125根据在记录部10的图像数据记录部102中记录的多个图像数据，生成慢动作动态图像数据和合成图像数据。具体来说，在生成合成图像数据时，合成部125针对在图像数据记录部102中记录的多个图像数据乘以规定的系数(例如，张数分之一)，从而依次合成各图像数据来生成合成图像数据。例如，在图像数据的数量为10的情况下，合成部125对各图像数据乘以0.1，从而生成合成图像数据。此外，在生成慢动作动态图像数据的情况下，合成部125对在图像数据记录部102中记录的多个图像数据变更帧率，以通过规定帧率(例如240fps)进行显示，从而生成慢动作动态图像数据。在步骤s406之后，摄像装置1返回上述的图2的主程序。
〔再现处理〕
其次，对本实施方式2的摄像装置1所执行的再现处理进行说明。图9是示出本实施方式2的摄像装置1所执行的再现处理的概要的流程。
如图9所示，首先，显示控制部126使显示部6一览显示与在图像数据记录部102中记录的多个图像数据对应的多个缩略图像和与多个动态图像数据对应的多个缩略图像(步骤s501)。
接着，在经由操作部8或触摸面板7从显示部6一览显示的多个缩略图像中选择了慢动作动态图像的情况下(步骤s502：是)，摄像装置1执行一边再现慢动作动态图像一边根据用户的操作生成拍出了被摄体的轨迹的合成图像数据的慢动作动态图像再现处理(步骤s503)。另外，对慢动作动态图像再现处理的详细，进行后述。在该情况下，控制部12使由声音输入输出部3捕获的音频数据从声音输入输出部3与以慢动作显示的动态图像匹配而进行慢速再现。在步骤s503之后，摄像装置1进入步骤s504。
接着，在经由操作部8或触摸面板7输入了切换显示部6显示的图像的指示信号的情况下(步骤s504：是)，摄像装置1返回上述的步骤s502。与此相对，在未经由操作部8或触摸面板7输入切换显示部6显示的图像的指示信号的情况下(步骤s504：否)，摄像装置1进入后述的步骤s505。
在步骤s505中，在从操作部8输入了指示再现结束的指示信号的情况下(步骤s505：是)，摄像装置1返回上述的图2的主程序。与此相对，在未从操作部8输入指示再现结束的指示信号的情况下(步骤s505：否)，摄像装置1返回上述的步骤s501。
在步骤s502中，在未经由操作部8或触摸面板7从显示部6一览显示的多个缩略图像中选择慢动作动态图像的情况下(步骤s502：否)，摄像装置1进入步骤s506。
接着，在从显示部6一览显示的多个缩略图像中选择了合成图像的情况下(步骤s506：是)，摄像装置1执行一边通过显示部6再现合成图像数据一边根据用户的操作进行在合成图像数据中所包含的图像数据的位置确定和删除的合成图像再现处理(步骤s507)。另外，对于合成图像再现处理的详细内容，进行后述。在步骤s507之后，摄像装置1进入步骤s504。
在步骤s506中，在未从显示部6一览显示的多个缩略图像中选择合成图像的情况下(步骤s506：否)，摄像装置1进入步骤s508。
接着，在从显示部6一览显示的多个缩略图像中选择了图像的情况下(步骤s508：是)，显示控制部126通过显示部6再现显示所选择的图像的图像数据(步骤s509)。在步骤s509之后，摄像装置1进入步骤s504。
在步骤s508中，在未从显示部6一览显示的多个缩略图像中选择图像的情况下(步骤s508：否)，摄像装置1进入步骤s505。
〔慢动作动态图像再现处理〕
其次，对上述的图9的步骤s503中说明的慢动作动态图像再现处理的详细进行说明。图10是示出慢动作动态图像再现处理的概要的流程图。
如图10所示，首先，显示控制部126通过显示部6再现显示与慢动作动态图像数据对应的慢动作动态图像(步骤s601)。
接着，在针对触摸面板7存在触摸的情况下(步骤s602：是)，摄像装置1进入后述的步骤s604。与此相对，在针对触摸面板7不存在触摸的情况下(步骤s602：否)，摄像装置1进入后述的步骤s603。
在步骤s603中，在慢动作动态图像的再现已经结束的情况下(步骤s603：是)，摄像装置1返回图9的再现处理的子程序。与此相对，在慢动作动态图像的再现未结束的情况下(步骤s603：否)，摄像装置1返回上述的步骤s602。
步骤s604～步骤s610分别与上述图3的步骤s205～步骤s211对应。
在步骤s611中，在存在经由触摸面板7针对显示部6以慢动作显示的动态图像的触摸的情况下(步骤s611：是)，摄像装置1进入后述的步骤s612。与此相对，在不存在经由触摸面板7针对显示部6以慢动作显示的动态图像的触摸的情况下(步骤s611：否)，摄像装置1进入后述的步骤s620。
步骤s612～步骤s619分别与上述图3的步骤s213～步骤s217对应。在步骤s619之后，摄像装置1进入步骤s616。
接着，在慢动作动态图像的再现已经结束的情况下(步骤s620：是)，摄像装置1进入后述的步骤s621。与此相对，在慢动作动态图像的再现未结束的情况下(步骤s620：否)，摄像装置1返回上述步骤s608。
步骤s621和步骤s622分别与上述图3的步骤s222和步骤s223对应。在步骤s622之后，摄像装置1返回图9的再现处理的子程序。
〔合成图像再现处理〕
其次，对上述图9的步骤s507中说明的合成图像再现处理的详细进行说明。图11是示出合成图像再现处理的概要的流程图。
如图11所示，首先，显示控制部126使显示部6显示与在合成图像中所包含的各帧的配置相应的引导(步骤s701)。具体来说，如图12a所示，显示控制部126使显示部6显示与合成图像p30中所包含的各帧的配置相应的引导g1～g6和合成图像p30。另外，显示控制部126使显示部6在与由检测部122检测出的被摄体的位置对应的位置显示作为帧信息发挥功能的引导g1～g6。由此，用户能够直观地掌握与被摄体相应的帧。
接着，控制部12判断是否经由触摸面板7或操作部8选择了显示部6显示的多个引导中的任意引导(步骤s702)。例如，如图12b所示，控制部12判断用户u1是否经由触摸面板7从显示部6显示的多个引导中选择了引导g2。在控制部12判断为经由触摸面板7或操作部8选择了显示部6显示的多个引导中的任意引导的情况下(步骤s702：是)，摄像装置1进入后述的步骤s703。与此相对，在判断为未经由触摸面板7或操作部8选择显示部6显示的多个引导的任意引导的情况下(步骤s702：否)，摄像装置1进入后述的步骤s709。
在步骤s703中，当删除与经由触摸面板7或操作部8选择的引导对应的帧的图像数据时(步骤s703：是)，合成部125删除与经由触摸面板7或操作部8选择的引导对应的帧的图像数据(步骤s704)。具体来说，如图12c～图12e所示，在用户u1一边经由触摸面板7触摸引导g2一边向显示部6的显示区域外移动的情况下，合成部125从合成图像数据中删除与引导g2对应的帧的图像数据，从而更新为与合成图像数据对应的合成图像p31。由此，用户通过选择期望的引导来进行操作，从而能够将期望的帧的图像数据生成为合成图像数据。
接着，显示控制部126更新显示部6显示的合成图像(步骤s705)。在步骤s705之后，摄像装置1进入后述的步骤s709。
在步骤s703中，在不删除与经由触摸面板7或操作部8选择的引导对应的帧的图像数据的情况下(步骤s703：否)，摄像装置1进入后述的步骤s706。
接着，当根据经由触摸面板7或操作部8选择的引导的操作而更换合成图像中的帧的位置时(步骤s706：是)，合成部125根据经由触摸面板7或操作部8选择的引导的操作来更换帧的位置(步骤s707)。
然后，显示控制部126将显示部6显示的合成图像更新为与由合成部125更换了帧的位置后的合成图像数据对应的合成图像(步骤s708)。
接着，在从触摸面板7或操作部8输入了结束针对合成图像的编辑工作的指示信号的情况下(步骤s709：是)，摄像装置1进入后述的步骤s710。与此相对，在未经由触摸面板7或操作部8输入结束针对合成图像的编辑工作的指示信号的情况下(步骤s709：否)，摄像装置1返回上述的步骤s701。
在步骤s710中，在合成图像存在变更的情况下(步骤s710：是)，记录控制部128将与存在变更的合成图像对应的合成图像数据记录在图像数据记录部102中(步骤s711)。在步骤s711之后，摄像装置1返回上述图9的再现处理的子程序。
在步骤s710中，在合成图像不存在变更的情况下(步骤s710：否)，摄像装置1返回上述图9的再现处理的子程序。
在步骤s706中，当不根据经由触摸面板7或操作部8选择的引导的操作而更换帧的位置时(步骤s706：否)，摄像装置1进入步骤s709。
根据以上说明的本发明的实施方式2，具有与上述实施方式1相同的效果，能够取得反映了用户所期望的主被摄体的位置和状态的合成图像。
此外，根据本发明的实施方式2，显示控制部126将表示由合成部125生成的合成图像中所包含的多个图像数据的各自的帧号的多个帧信息作为引导信息重叠在合成图像上，并使显示部6进行显示，因此用户能够直观地掌握期望的帧。
另外，根据本发明的实施方式2，摄像控制部127使合成部125对根据操作部8或触摸面板7对作为帧信息的引导的取舍选择而选择的2个以上的图像数据进行合成，来生成合成图像数据，因此能够取得反映了用户所期望的主被摄体的位置和状态的合成图像。
此外，在本发明的实施方式2中，虽然示控制部126使显示部6显示了与合成图像p30中所包含的各帧的配置相应的引导g1～g6和合成图像p30，但也可以适当变更引导的显示方法。例如，如图13a所示，显示控制部126可以将合成图像p40中所包含的各帧的被摄体与引导g1～g6关联起来的信息重叠到合成图像p40上并使显示部6进行显示。由此，用户u1可以仅通过触摸并操作期望的引导(图13b→图13c→图13d)就能够生成从合成图像p40中仅保留期望的被摄体的合成图像p41。
(实施方式2的变形例)
其次，对本发明的实施方式2的变形例进行说明。本实施方式2的变形例与上述实施方式2的摄像装置1的结构不同，在此基础上，所执行的合成图像再现处理也不同。具体来说，上述实施方式2根据合成图像中所包含的各帧的被摄体的位置来显示引导，但在本实施方式2的变形例中，根据合成图像中所包含的各帧的被摄体的距离和位置来显示引导。在下面的说明中，在对本实施方式2的变形例的摄像装置的结构进行说明之后，对本实施方式2的变形例的摄像装置所执行的合成图像再现处理的详细进行说明。另外，对与上述实施方式2的摄像装置1相同的结构赋予相同的标号，省略说明。
〔摄像装置的结构〕
图14是示出本发明的实施方式2的变形例的摄像装置的功能结构的框图。代替上述实施方式2的摄像装置1的控制部12，图14所示的摄像装置1a具有控制部12a。
控制部12a统括地控制构成摄像装置1a的各部分。控制部12a构成为使用cpu、fpga以及asic等通用处理器。在上述实施方式2的控制部12的结构的基础上，控制部12a还具有计算部129。
计算部129计算从摄像装置1a到检测部122检测出的各帧的被摄体的距离。具体来说，计算部129根据在时间上处于前后的图像数据，对检测部122检测出的被摄体的距离进行检测。另外，计算部129除了使用在时间上处于前后的图像数据之外，还可以使用公知的技术来计算从摄像装置1a到被摄体的距离。计算部129还可以使用帧间差分法等，按照合成图像中所包含的每个帧计算从摄像装置1a到被摄体的距离。
〔合成图像再现处理〕
其次，对摄像装置1a所执行的合成图像再现处理进行说明。图15是示出摄像装置1a所执行的合成图像再现处理的概要的流程图。此外，在下面的说明中，如图16所示，对生成合成部125将摄像装置1a对在规定的周路上移动的被摄体o10进行摄像而生成的多个图像数据(例如，6帧)进行合成得到的合成图像数据的情况进行说明。
如图15所示，首先，计算部129计算合成部125在上述图16的状况下生成的合成图像中所包含的各帧的被摄体的距离(步骤s801)。
接着，显示控制部126根据计算部129计算出的各帧的被摄体的距离使显示部6显示引导(步骤s802)。具体来说，如图17a所示，显示控制部126根据计算部129计算出的各帧的被摄体的距离将引导g1～g6重叠到合成图像p50上，并使显示部6进行显示。在该情况下，如图16所示，由于越是最开始的帧中所包含的被摄体，通过计算部129计算出的与摄像装置1a的距离越近，因此显示控制部126使显示部6在下侧的显示区域显示与最开始的3帧对应的引导g1～g3，并且，在上侧的显示区域显示与后半部分的3帧对应的引导g4～g6。进而，显示控制部126使显示部6在反映了各帧的被摄体的位置关系的状态下显示引导g1～g6。由此，用户能够直观地掌握合成图像p50的各帧中所包含的被摄体的距离以及位置关系。
步骤s803～步骤s806分别与上述图11的步骤s702～步骤s705对应。
在步骤s807中，当根据经由触摸面板7或操作部8选择的引导的操作而更换合成图像中的帧的位置时(步骤s807：是)，合成部125根据经由触摸面板7或操作部8选择的引导的操作来更换帧的位置(步骤s808)。具体来说，如图17b所示，在用户u1经由触摸面板7选择引导g5，并在引导g1与引导g2之间插入了引导g5的情况下(图17b→图17c→图17d→图17e)，合成部125更换合成图像中的帧的位置。由此，用户能够得到使被摄体移动到期望的位置后的合成图像p51。
接着，显示控制部126将显示部6显示的合成图像更新为与由合成部125更换了帧的位置之后的合成图像数据对应的合成图像(步骤s809)。
步骤s810～步骤s812分别与上述步骤s709～步骤s711对应。在步骤s812之后，摄像装置1a返回上述的图9的再现处理的子程序。
根据以上说明的本发明的实施方式2的变形例，具有与上述实施方式1同样的效果，能够取得反映了用户所期望的主被摄体的位置和状态的合成图像。
此外，根据本发明的实施方式2的变形例，显示控制部126使显示部6在反映了各帧的被摄体的位置关系的状态下显示引导作为帧信息，用户能够直观地掌握合成图像的各帧中所包含的被摄体的距离以及位置关系。
(实施方式3)
接着，对本发明的实施方式3进行说明。对于本实施方式3的摄像装置，在与上述的实施方式1的摄像装置1的结构不同的基础上，摄像装置所执行的取舍选择模式处理也不同。具体来说，在上述实施方式1中，摄像装置1的摄像区域(视野区域)被固定，但是在本实施方式3中，用户根据被摄体的移动来使摄像装置移动，从而使摄像装置的摄像区域以追随被摄体的方式移动。在下面的说明中，在说明本实施方式3的摄像装置的结构之后，对本实施方式3的摄像装置所执行的取舍选择模式处理进行说明。另外，对与上述实施方式1的摄像装置1相同的结构赋予相同的标号，省略说明。
〔摄像装置的结构〕
图18是示出本发明的实施方式3的摄像装置的功能结构的框图。代替上述实施方式1的摄像装置1的控制部12，图18所示的摄像装置1b具有控制部12b。
控制部12b统括地控制构成摄像装置1b的各部分。控制部12b构成为使用cpu、fpga和asic等的通用处理器。在上述的实施方式1的控制部12的结构的基础上，控制部12b还具有第2判定部130、第3判定部131以及生成部132。
第2判定部130根据时间上处于前后的图像数据，判定摄像部2的摄像区域是否变化。
第3判定部131判定最新图像的摄像区域与合成图像的摄像区域是否重叠。
在通过第3判定部131判定为最新图像的摄像区域与合成图像的摄像区域不重叠的情况下，生成部132生成对最新图像的摄像区域与合成图像的摄像区域之间的区域进行插值的插值图像。
〔取舍选择模式处理〕
接着，对摄像装置1b所执行的取舍选择模式处理进行说明。图19是示出摄像装置1b所执行的取舍选择模式处理的概要的流程图。图20是示出用户使用摄像装置1b对向规定方向移动的被摄体o1一边进行跟踪一边进行拍摄的状况下的图。另外，在下面的说明中，在图20所示的状况下，对摄像装置1b执行取舍选择模式处理的情况进行说明。
如图19所示，首先，控制部12b判断是否从操作部8或触摸面板7输入了指示拍摄的指示信号(步骤s901)。当控制部12b判断为从操作部8或触摸面板7输入了指示拍摄的指示信号的情况下(步骤s901：是)，摄像装置1b进入后述的步骤s902。与此相对，在控制部12b判断为未从操作部8或触摸面板7输入指示拍摄的指示信号的情况下(步骤s901：否)，摄像装置1b返回上述图2的主程序。
在步骤s902中，记录控制部128使临时记录部9依次记录摄像部2生成的图像数据。
接着，显示控制部126使显示部6以慢动作显示在临时记录部9中记录的多个图像数据(步骤s903)。
然后，当在临时记录部9中记录的多个图像数据中具有待合成的帧时(步骤s904：是)，第2判定部130比较时间上处于前后的2个帧(步骤s905)。具体来说，第2判定部130通过比较时间上处于前后的2个帧，从而判定摄像部2的摄像区域是否变化。
接着，合成部125根据第2判定部130的判定结果，将在时间上处于前后的2个帧中在周边部彼此一致的部分重叠来生成合成图像数据(步骤s906)。例如，如图21所示，合成部125将在与时间上处于前后的多个帧f1～f3的图像数据对应的图像中在周边部彼此一致的部分重叠来生成合成图像数据。在该情况下，如图22所示，在将具有规定大小的图像p60的规定位置设为原点q1(0.0)时，合成部125计算分别使各帧f1～f3重叠后的部分的坐标q2～q3(像素坐标)。另外，在图22中，将图像p60的水平方向设为x，将垂直方向设为y。
然后，记录控制部128将合成部125生成的合成图像数据临时记录在临时记录部9中(步骤s907)。
接着，在经由操作部8或触摸面板7输入了结束拍摄的指示信号的情况下(步骤s908：是)，摄像装置1b进入后述的步骤s909。与此相对，在未经由操作部8或触摸面板7输入结束拍摄的指示信号的情况下(步骤s908：否)，摄像装置1b返回上述的步骤s904。
在步骤s909中，显示控制部126使显示部6显示与在临时记录部9中临时记录的合成图像数据对应的合成图像。
然后，在经由操作部8或触摸面板7针对构成显示部6显示的合成图像的各帧的图像数据进行了进行取舍选择的取舍选择操作的情况下(步骤s910：是)，合成部125从合成图像中删除与经由操作部8或触摸面板7进行的取舍选择操作相应的帧的图像数据(步骤s911)。在步骤s910之后，摄像装置1b进入后述的步骤s912。
在步骤s910中，在未经由操作部8或触摸面板7针对构成显示部6显示的合成图像的各帧的图像数据进行进行取舍选择的取舍选择操作的情况下(步骤s910：否)，摄像装置1b进入后述的步骤s912。
接着，在经由操作部8或触摸面板7针对显示部6显示的合成图像输入了指示追加背景的背景追加拍摄的指示信号的情况下(步骤s912：是)，摄像控制部127使摄像部2执行拍摄(步骤s913)。
然后，合成部125将摄像部2生成的图像数据追加到合成图像数据中进行合成(步骤s914)。在该情况下，第3判定部131判定摄像部2生成的最新图像的摄像区域与合成图像的摄像区域是否重叠，在由第3判定部131判定为摄像部2生成的最新图像的摄像区域与合成图像的摄像区域不重叠的情况下，生成部132使用摄像部2生成的图像数据生成对最新图像的摄像区域与合成图像的摄像区域的区域进行插值的插值图像，合成部125生成使用生成部132生成的插值图像对最新图像与合成图像的不重叠区域进行插值得到的合成图像数据。例如，如图23所示，在由第3判定部131判定为合成图像p61中所包含的帧f1的图像的摄像区域与帧f3的图像的摄像区域不重叠的情况下，如图24所示，合成部125对生成部132使用图像数据生成的插值图像f10进行合成从而生成合成图像p62。由此，能够得到摄像区域不间断的自然的合成图像。
接着，显示控制部126使显示部6显示与合成部125追加的合成图像数据对应的合成图像(步骤s915)。
然后，在经由操作部8或触摸面板7输入了结束的指示信号的情况下(步骤s916：是)，记录控制部128将合成部125生成的合成图像数据记录在图像数据记录部102中(步骤s917)。在该情况下，如图25所示，记录控制部128将图像文件d1记录在图像数据记录部102中，该图像文件d1是将合成部125生成的合成图像数据d1、生成合成图像数据时的摄像装置1b的拍摄参数d2、摄像装置1b的拍摄地点d3、生成合成图像数据时的时间d4以及包括合成各帧的图像数据的合成位置的坐标的合成时信息d5关联起来而得到的。在步骤s917之后，摄像装置1b返回图2的主程序。
在步骤s912中，在未经由操作部8或触摸面板7针对显示部6显示的合成图像输入指示追加背景的背景追加拍摄的指示信号的情况下(步骤s912：否)，摄像装置1b进入步骤s915。
在步骤s916中，在未经由操作部8或触摸面板7输入结束的指示信号的情况下(步骤s916：否)，摄像装置1b返回上述的步骤s909。
根据以上说明的本发明的实施方式3，能够取得反映了用户所期望的主被摄体的位置和状态的合成图像。
此外，根据本发明的实施方式3，合成部125根据第2判定部130的判定结果，将在时间上处于前后的2个帧中在周边部彼此一致的部分重叠来生成合成图像数据，因此能够生成扩大了摄像部2的摄像区域的合成图像。
另外，根据本发明的实施方式3，在由第3判定部131判定为摄像部2生成的最新图像的摄像区域与合成图像的摄像区域不重叠的情况下，生成部132使用摄像部2生成的图像数据生成对最新图像的摄像区域与合成图像的摄像区域之间的区域进行插值的插值图像，合成部125生成使用由生成部132生成的插值图像对最新图像与合成图像的不重叠的区域进行插值得到的合成图像数据，因此能够得到摄像区域不间断的自然的合成图像。
(其它实施方式)
此外，除数字静物摄影机之外，本发明的摄像装置还可以应用于数码摄像机、具有摄像功能的平板式便携式设备等电子设备以及显示与通过内窥镜和显微镜进行摄像得到的医疗用、产业用领域的图像数据对应的图像的显示装置等。
另外，本发明的摄像装置执行的程序以可安装的形式或可执行的形式的文件数据被记录在cd-rom、软盘(fd)、cd－r、dvd(digitalversatiledisk)、usb介质、闪存等计算机可读取的记录介质中来提供。
此外，本发明的摄像装置执行的程序可以构成为通过存储在与因特网等网络连接的计算机上，并经由网络下载来提供。进而，可以构成为经由因特网等的网络来提供或分配本发明的摄像装置执行的程序。
在本说明书的流程图的说明中，使用“首先”、“然后”、“接着”等表现明示了步骤间的处理的前后关系，但是，实施上述实施方式所需要的处理的顺序不由这些表现唯一确定。即，能够在不矛盾的范围内对本说明书中记载的流程图中的处理的顺序进行变更。
由此，本发明可以包含未在此记载的各种各样的实施方式，能够在根据权利要求书所确定的技术思想的范围内进行各种设计变更等。