摄像装置、摄像方法及摄像程序与流程

1.本发明涉及一种拍摄动态图像的摄像装置、摄像方法及摄像程序。


背景技术：

2.涉及一种用于拍摄动态图像的技术，例如专利文献1中，记载有根据摄像的帧速率的变化来控制滤光片的透射率的摄像装置。
3.以往技术文献
4.专利文献
5.专利文献1：国际公开第2015/151813号


技术实现要素：

6.本发明的技术所涉及的一个实施方式提供一种对于有移动的被摄体能够容易获取良好画质的慢动作动态图像的摄像装置、摄像方法及摄像程序。
7.用于解决技术课题的手段
8.本发明的第1方式所涉及的摄像装置为具备光学系统、成像元件及处理器的摄像装置，其中，处理器进行如下处理：检测处理，根据从成像元件输出的图像信号来检测被摄体的移动；帧速率控制，根据检测到的移动，提高从成像元件输出的动态图像的帧速率；曝光控制处理，根据提高帧速率，将动态图像的每1帧的曝光时间的比例保持为恒定；及减光控制处理，根据曝光控制处理，改变光学系统的减光程度。
9.第2方式所涉及的摄像装置在第1方式中，处理器根据移动，计算开始改变帧速率及曝光时间的第1时刻及将帧速率及曝光时间设为目标值的第2时刻，从第1时刻到第2时刻为止提高帧速率，从第1时刻到第2时刻为止缩短曝光时间。
10.第3方式所涉及的摄像装置在第2方式中，处理器在帧速率控制中，根据检测到的移动，计算多个被摄体的距离成为阈值以下的时刻作为第2时刻。
11.第4方式所涉及的摄像装置在第3方式中，处理器根据多个被摄体的相对速度来设定帧速率及曝光时间的变化率。
12.第5方式所涉及的摄像装置在第2至第4方式中的任一项中，处理器对帧速率及曝光时间设定目标值。
13.第6方式所涉及的摄像装置在第2至第5方式中的任一项中，处理器在经过第2时刻之后，将帧速率、曝光时间及减光程度返回到开始帧速率控制、曝光控制处理及减光控制处理之前的值。
14.第7方式所涉及的摄像装置在第1至第6方式中的任一项中，处理器进行如下处理：帧速率越高，则使比特率越高，并拍摄第1时刻以后的提高的帧速率的动态图像即第1动态图像。
15.第8方式所涉及的摄像装置在第7方式中，处理器对于第1动态图像，将每1帧的曝光时间设定为帧间隔的一半以上。
16.第9方式所涉及的摄像装置在第7或第8方式中，处理器使第1动态图像以与开始帧速率控制之前相同的初始帧速率显示在显示装置上。
17.第10方式所涉及的摄像装置在第9方式中，处理器间隔剔除第1动态图像的帧而生成具有初始帧速率的第2动态图像，并使第1动态图像及第2动态图像以初始帧速率显示在显示装置上。
18.第11方式所涉及的摄像装置在第1至第10方式中的任一项中，处理器输出催促用户设定帧速率、曝光时间、减光元件的减光程度、光圈、灵敏度及比特率中至少1个的信息。
19.第12方式所涉及的摄像装置在第1至第11方式中的任一项中，光学系统具备光圈程度可变的光圈机构，处理器与缩短曝光时间对应地使光圈机构的光圈程度向释放侧变化。
20.本发明的第13方式所涉及的摄像方法为基于具备光学系统、成像元件及处理器的摄像装置的摄像方法，其中，处理器所进行的处理包括：检测工序，根据从成像元件输出的图像信号来检测被摄体的移动；帧速率控制工序，根据检测到的移动，连续提高从成像元件输出的动态图像的帧速率；曝光控制工序，根据提高帧速率，连续缩短动态图像的每1帧的曝光时间；及减光控制工序，根据曝光时间的控制，改变光学系统的减光程度。另外，对于第13方式所涉及的摄像方法，也可以进一步包含与第2至第12相同的结构。
21.本发明的第14方式所涉及的摄像程序使计算机执行第13方式所涉及的摄像方法。作为本发明的方式，也能够举出记录有这种程序的计算机可读取的代码的非临时性记录介质。
附图说明
22.图1是表示第1实施方式所涉及的摄像装置的概略结构的图。
23.图2是表示图像处理装置的功能结构的图。
24.图3是表示第1实施方式所涉及的摄像方法的处理的流程图。
25.图4是表示第1实施方式所涉及的摄像方法的处理的流程图(接着图3)。
26.图5是表示基于被摄体的移动的事件时刻的计算的状态的图。
27.图6是表示帧速率等的控制状态的图。
28.图7是表示光圈的控制状态的图。
29.图8是表示帧速率等的控制状态的另一图。
30.图9是表示基于被摄体的相对速度的帧速率的控制状态的图。
31.图10是表示由移动的被摄体和静止的被摄体引起的事件的发生的图。
32.图11是表示变形例6的处理的流程图。
33.图12是表示同时显示第1动态图像和第2动态图像的状态的图。
34.图13是第2实施方式所涉及的智能手机的外观图。
35.图14是表示智能手机的概略结构的图。
具体实施方式
36.本发明所涉及的摄像装置、摄像方法及摄像程序的一个实施方式如下。说明中，根据需要参考附图。
37.＜第1实施方式＞
38.＜摄像装置的整体结构＞
39.图1是表示第1实施方式所涉及的相机100(摄像装置、光学系统)的概略结构的图。相机100由可更换镜头200(光学系统)及摄像装置主体300(摄像装置主体)构成，通过包含后述的变焦透镜220，聚焦透镜240的摄影透镜，使被摄体图像(光学图像)成像在成像元件310上。可更换镜头200和摄像装置主体300能够经由未图示的卡口而进行安装及卸下。另外，第1实施方式中，对相机100具备可更换镜头200的情况进行说明，但本发明中，透镜装置(光学系统)可以固定在相机主体。
40.＜可更换镜头的结构＞
41.可更换镜头200具备减光元件210、变焦透镜220、光圈230、聚焦透镜240及透镜驱动部250。透镜驱动部250根据来自图像处理装置340(图2的透镜驱动控制部360；处理器)的指令来进退驱动变焦透镜220、聚焦透镜240而进行变焦(光学变焦)调整、聚焦调整。变焦调整及聚焦调整除了根据来自图像处理装置340的指令进行以外，也可以根据由用户进行的变焦操作、聚焦操作(未图示的变焦环、聚焦环的转动等)来进行。并且，透镜驱动部250根据来自图像处理装置340(透镜驱动控制部360)的指令来改变减光元件210(减光元件、减光滤光片、光学系统)的减光程度。而且，透镜驱动部250根据来自图像处理装置340的指令来控制光圈230(光圈机构)，并调整曝光。另一方面，变焦透镜220及聚焦透镜240的位置、光圈230的开放度等信息被输入到图像处理装置340。另外，可更换镜头200具有光轴l。
42.＜减光元件及光圈的结构＞
43.减光元件210例如由可变nd滤光片(nd：neutral density(中性密度))构成，并能够改变减光程度。减光程度例如能够通过重叠在旋转方向上减光程度不同的多个nd滤光片并使其相对旋转而进行变更。或者，也可以使用电致变色元件构成减光元件，通过改变施加的电压来改变减光程度。并且，也可以使用液晶显示元件构成减光元件，通过变更液晶的透射率来改变减光程度。光圈230(光圈机构)由能够移动和/或旋转的叶片状部件或板状部件构成，并能够改变光圈程度。也可以使用液晶显示元件构成光圈程度可变的光圈。另外，图1中对减光元件210及光圈230设置在可更换镜头200的方式进行说明，但减光元件和/或光圈也可以设置在摄像装置主体300侧。
44.＜摄像装置主体的结构＞
45.摄像装置主体300具备成像元件310(成像元件)、afe320(afe：analog front end(模拟前端))、a/d转换器330(a/d：analog to digital(模拟到数字))及图像处理装置340(处理器、条件设定部、检测处理部、帧速率控制部、曝光控制处理部、摄影部、减光控制处理部、光圈控制部、显示控制部、信息输出部、透镜驱动控制部)。并且，摄像装置主体300具备操作部370、记录装置380(记录装置)、显示器390(显示装置)及扬声器395。摄像装置主体300也可以具有用于遮蔽透射成像元件310的光的快门(未图示)。另外，快门可以是机械快门也可以是电子快门。在电子快门的情况下，通过图像处理装置340控制成像元件310的电荷累积期间，由此能够调节曝光时间(快门速度)。
46.成像元件310具备以矩阵状排列有多个受光元件的受光面。并且，透射减光元件210(减光元件、减光滤光片、光学系统)、变焦透镜220(光学系统)、光圈230(光圈机构、光学系统)及聚焦透镜240(光学系统)的被摄体光成像在成像元件310的受光面上，通过各受光
元件转换为电信号。在成像元件310的受光面上设置有r(红)，g(绿)或b(蓝)的滤色器，能够根据各颜色的信号来获取被摄体的彩色图像。另外，作为成像元件310，能够使用cmos(complementary metal-oxide semiconductor：互补型金属氧化物半导体)、ccd(charge-coupled device：电荷耦合元件)等各种光电转换元件。afe320进行从成像元件310输出的模拟图像信号的噪声去除、放大等，a/d转换器330将读取的模拟图像信号转换为具有灰度宽度的数字图像信号。
47.另外，在成像元件310为cmos的情况下，afe320及a/d转换器330大多包含在成像元件310。作为使用cmos的例子，将从成像元件310输出的模拟图像信号通过内置于成像元件310的a/d转换器330转换为数字图像信号。之后，通过内置于成像元件310的数字处理部(未图示)，进行数字相关双采样、数字增益处理、校正处理等而转换为数字图像信号。
48.＜图像处理装置的结构＞
49.图2是表示图像处理装置340(处理器)的功能结构的图。图像处理装置340具备条件设定部342、检测处理部344、帧速率控制部346、曝光控制处理部348、摄影部350、减光控制处理部352、光圈控制部354、显示控制部356、信息输出部358及透镜驱动控制部360。图像处理装置340根据从a/d转换器330输入的数字图像信号，进行动态图像的拍摄(摄影)及文件生成、静止图像的拍摄(摄影)及静止图像文件生成等处理。使用了图像处理装置340的处理的详细内容将在后面进行叙述。
50.图像处理装置340的功能能够使用各种处理器(processor)来实现。各种处理器中，例如包括执行软件(程序)来实现各种功能的通用的处理器即cpu(central processing unit：中央处理器)。并且，上述的各种处理器中，包括专门用于图像处理的处理器即gpu(graphics processing unit：图形处理器)。并且，上述的各种处理器中，还包括fpga(field programmable gate array：现场可编程门阵列)等制造后能够变更电路结构的处理器即可编程逻辑器件(programmable logic device：pld)。而且，asic(application specific integrated circuit：专用集成电路)等具有为了执行特定处理而专门设计的电路结构的处理器即专用电路等也包括在上述的各种处理器中。
51.另外，图像处理装置340的各功能可以由1个处理器来实现，也可以由多个处理器来实现。并且，1个处理器可以对应于多个功能。而且，图像处理装置340的各功能可以由电路来实现，并且也可以由电路来实现各功能的一部分，其余由处理器来实现。
52.上述的处理器或电路执行软件(程序)时，将执行的软件的处理器(计算机)可读取的代码存储在rom(read only memory：只读存储)等非临时性记录介质中。并且，处理器参考该软件。存储在非临时性记录介质的软件包含用于执行本发明所涉及的摄像方法的摄像程序(使摄像装置进行动作的程序)。也可以在各种磁光记录装置、半导体存储器等非临时性记录介质中记录代码，而不是记录在rom中。使用软件进行处理时，例如ram(random access memory：随机存取存储器)用作临时性存储区域，并且也能够参考例如存储在未图示的eeprom(electronically erasable and programmable read only memory：电可擦除可编程只读存储器)中的数据。
53.图像处理装置340除了上述各部以外具备rom362(非临时性记录介质、存储器)。rom362中记录有图像的拍摄、记录、显示等所需的程序(包含用于执行本发明所涉及的摄像方法的程序)的可由计算机(例如，构成图像处理装置340的各种处理器)读取的代码。并且，
图像处理装置340具备作为临时性存储区域及工作区域的ram364(存储器)。
54.＜操作部＞
55.操作部370具有未图示的释放按钮、操作用按钮(例如十字按钮、quick(快捷)按钮、ok按钮等)、转盘、开关等，用户能够进行摄影模式设定、摄影条件的设定、动态图像摄影指示、静止图像摄影指示等各种操作。并且，图像处理装置340能够接受这些用户的指示。另外，由触摸面板型器件构成显示器390(显示装置)，并可以用作操作部。
56.＜记录装置＞
57.记录装置380(记录装置)由各种磁光记录介质、半导体存储器等非临时性记录介质及其控制电路构成，并保存动态图像(第1动态图像、第2动态图像、普通动态图像等)、静止图像等。作为记录介质，能够使用相对于摄像装置主体300能够进行装卸的类型。可以将所拍摄的图像(动态图像、静止图像)例如通过有线和/或无线通信发送并保存到外部的(除记录装置380以外的)记录介质或记录装置中。
58.＜显示器及扬声器＞
59.显示器390(显示装置)例如由触摸面板型液晶显示面板构成，能够显示动态图像(普通动态图像、慢动作动态图像)、静止图像、给用户的消息(例如，催促用户设定帧速率、曝光时间、减光元件的减光度、光圈、灵敏度及比特率中的至少1个的信息)等。显示器390能够配置在摄像装置主体300的背面侧、顶面侧等。该消息可以从扬声器395输出语音。另外，相机100可以具备光学式和/或电子式取景器。
60.＜慢动作摄影中的课题及本技术发明的方法＞
61.一般而言，作为动态图像的曝光时间，帧速率的一半以上的曝光时间被认为是适当的(例：如果是60fps(frame per second：每秒帧数)的动态图像，则1/120sec以上的曝光时间)，若曝光时间比这还短，则发生被摄体的移动不顺畅的间歇性的现象(所谓“断断续续感”)，可以说作为动态图像是不适合的。为了在保持适当曝光的状态下延长曝光时间，可以考虑降低灵敏度或缩小光圈，但灵敏度存在降低的界限，若缩小光圈，则景深产生变化，因此有可能成为与摄影者的意图不同的动态图像。因此，电影拍摄用等的高价的摄像装置中，具备如下功能：通过利用内置的nd滤光片等降低光量，能够将灵敏度及光圈的条件保持为恒定的状态下延长曝光时间。
62.并且，已知有拍摄时以高于通常帧速率的帧速率(高帧速率)进行摄影，播放时以通常帧速率播放的称为“慢动作摄影”的功能(例：以240fps进行摄影，以60fps播放，由此成为4倍慢动作)。以下，将利用该功能进行摄影的动态图像称为“慢动作动态图像”。
63.由于在慢动作摄影中成为高帧速率，因此根据先前记载的一般的摄影方法，需要以高速快门(短曝光时间)进行摄影(如果是240fps，则1/480sec以上的曝光时间)。若从通常帧速率下以适当的曝光进行摄影的状态切换到慢动作摄影以使感觉不到断断续续感，则需要与切换到高帧速率对应地大幅改变曝光时间。但是，由于nd滤光片的减光度无法在瞬间(短时间)改变，因此切换能够在瞬间(短时间)变更的灵敏度而进行对应，但是通过切换灵敏度，有可能导致“粗糙感”(图像中的粒状的噪声的有无、程度、模式等)产生变化。在运动等的摄影中，由于无法重新拍摄，因此在知道这一点的基础上进行利用，但能够重新拍摄的电影拍摄等中，粗糙感产生变化是一个问题，因此利用nd滤光片调整光量并使灵敏度一致，一般分别拍摄通常帧速率部分和高帧速率部分。
64.但是，这种多次拍摄需要时间或精力，如运动等那样被摄体中存在移动的情况下，无法进行对应。如此，现有技术对于有移动的被摄体无法容易获取良好画质的慢动作动态图像。
65.因此，本技术发明人等提出作为从通常帧速率切换到慢动作摄影时的有效的功能，逐渐变慢的(一边提高帧速率一边拍摄动态图像，并以恒定速率显示所拍摄的动态图像)方法。具体而言，详细内容如以下所说明，根据被摄体的移动逐渐(连续地或阶段性地，以下相同)提高动态图像的帧速率，并根据帧速率的变化来缩短曝光时间。此时，根据伴随帧速率变化的曝光时间的变化，为了维持适当曝光而逐渐改变减光元件的减光度(nd滤光片的浓度)。由此，根据被摄体的移动，能够进行向慢动作摄影的切换，以在最有效的时刻(例如，事件发生的时刻)使效果最大，对于有移动的被摄体能够容易获取良好画质的慢动作动态图像。
66.＜摄像方法的处理＞
67.图3、4是表示第1实施方式所涉及的摄像方法的处理的流程图。
68.＜摄影条件的设定＞
69.条件设定部342(处理器)设定动态图像的摄影条件(步骤s100：设定处理、设定工序)。作为步骤s100中设定的摄影条件，例如能够举出动态图像的帧速率、每1帧的曝光时间、光圈、减光程度等的初始值和/或目标值、从开始改变帧速率、曝光时间、减光程度到设为目标值为止的时间(第1期间)。条件设定部342可以根据经由操作部370或显示器390的用户的操作来设定摄影条件，也可以设定预先确定的摄影条件。
70.＜普通动态图像的摄影＞
71.在有摄影指示的情况下(步骤s110中为“是”)，摄影部350(处理器)开始动态图像(普通动态图像)的摄影及记录(步骤s120)。在该时点，帧速率及曝光时间保持初始值。
72.＜基于移动的事件发生时刻的计算＞
73.检测处理部344(处理器)例如根据帧之间的差分(移动矢量)，检测被摄体的移动(步骤s130：检测处理、检测工序)。在检测到移动的情况下(步骤s130中为“是”)，检测处理部344根据移动来计算事件发生的时刻。
74.图5是表示基于被摄体的移动的事件时刻的计算的状态的图。该图的(a)部分表示在相机100的视野500中映现出球502和球棒504的状态，该图的(b)部分表示球502和球棒504移动的状态。“事件”例如能够设为多个被摄体碰撞、从相机100观察时重叠、距离成为阈值以下(预先确定的值以下)的状态等，在图5的情况下，检测处理部344例如将球502和球棒504碰撞作为“事件”而计算该时刻。另外，也存在击球员打空的(球502和球棒504未碰撞)情况，因此不仅是距离为零(碰撞)的情况，也可以将距离成为大于零的阈值以下的情况作为“事件”而计算该时刻。
75.＜控制计划的设定＞
76.图像处理装置340(帧速率控制部346及曝光控制处理部348；处理器)根据从被摄体的移动计算出的事件的发生时刻，设定帧速率及曝光的控制计划(步骤s150：帧速率控制、曝光控制处理、帧控制工序、曝光控制工序)。具体而言，帧速率控制部346及曝光控制处理部348设定包含开始改变帧速率及曝光时间的第1时刻及将帧速率及曝光时间设为目标值的第2时刻的控制计划(步骤s150：控制计划设定、控制计划设定工序)。例如在图5的情况
下，帧速率控制部346能够将球502和球棒504碰撞的瞬间(事件的发生时刻)设为第2时刻，将从第2时刻提前与第1期间相当的时间的时刻设为第1时刻而进行计算。例如，帧速率控制部346及曝光控制处理部348能够设定如“由于预测3秒后(第2时刻)发生事件，因此在从第2时刻提前2秒(第1期间)的1秒后(第1时刻)开始帧速率及曝光时间的控制，并在3秒后(第2时刻)设为目标值”的控制计划。另外，在多次预测事件的发生的情况下，可以将任意事件设为第2时刻。
77.帧速率控制部346也可以将从球502和球棒504碰撞的瞬间(事件的发生)起经过了确定的时间的时刻设为第2时刻而进行计算。另外，帧速率控制部346可以接受计算第1时刻时用户(步骤s100中)指定的“第1期间”的值，也可以使用预先确定的值。
78.＜帧速率及曝光时间的控制＞
79.图像处理装置340(处理器)若成为第1时刻(步骤s160中为“是”)，则开始帧速率及曝光时间的控制。图6是表示帧速率等的控制状态的图。该图的(a)部分是表示帧速率的控制状态的图，该图的(b)部分是表示曝光时间的控制状态的图。
80.帧速率控制部346(处理器)从时刻t1(第1时刻)到时刻t2(第2时刻)连续提高从成像元件310输出的动态图像的帧速率(步骤s170：帧速率控制、帧速率控制工序)。图6的(a)部分所示的例子中，帧速率控制部346(处理器)将动态图像的帧速率从60fps(frame per second(每秒帧数)；初始帧速率)改变至240fps(目标值)。另外，δt(＝t2-t1)相当于“第1期间”。
81.并且，曝光控制处理部348(处理器)根据提高帧速率，从时刻t1(第1时刻)到时刻t2(第2时刻)，连续缩短动态图像的每1帧的曝光时间(步骤s180：曝光控制处理、曝光控制工序)。在时刻t1，曝光时间为1/120sec(初始曝光时间、tv值(time value：时间值)为6.91)，在时刻t2，曝光时间为1/480sec(目标值、tv值为8.91)。另外，曝光控制处理部348(处理器)优选将每1帧的曝光时间设定为帧间隔的一半以上。通过这种设定，能够防止或减少在所拍摄的动态图像中被摄体的移动不顺畅的间歇性的现象(所谓“断断续续感”)。图6所示的例子中，曝光时间为帧间隔的一半，帧间隔与每1帧的曝光时间的比例(比率)保持为恒定。
82.＜减光度的控制＞
83.通过上述的帧速率及曝光时间的控制，可获得播放时逐渐变慢的动态图像(第1动态图像、慢动作动态图像)。但是，若只是根据帧速率改变曝光时间(图6的(a)部分及(b)部分所示的控制)，则由于曝光时间变短，因此导致所获得的图像不断变暗。预先以1/480s针对曝光进行了摄影，从而防止曝光的变化，但这会在60fps时产生“断断续续感”。此外，可以考虑根据曝光时间的变化来改变灵敏度，但通过灵敏度产生变化而s/n产生变化，从而导致“粗糙感”(图像中的粒状的噪声的有无、程度、模式等)产生变化。因此，如图6的(c)部分那样，减光控制处理部352(处理器)及透镜驱动控制部360(处理器)能够根据曝光时间的变化连续变更减光元件210的浓度(减光度)(步骤s190：减光度控制处理、减光度控制工序)。例如，将在时刻t1为16的nd值(减光程度)在时刻t2降低为4。通过这种减光度的控制，能够拍摄将亮度及粗糙感保持为恒定的同时逐渐变慢的动态图像。另外，帧速率、曝光时间及减光程度可以阶段性地进行改变，而不是连续地进行改变。
84.＜第1动态图像的记录及显示＞
85.摄影部350(处理器)在进行了上述控制的帧速率、曝光时间及减光度下拍摄动态图像(第1动态图像、慢动作动态图像)，并记录在记录装置380中。“第1动态图像”是指在第1时刻以后提高帧速率，缩短曝光时间，改变减光程度而拍摄的动态图像。此时，摄影部350在动态图像文件的标题等中记录“帧速率为60fps的动态图像”。显示控制部356能够使拍摄到的动态图像以所记录的帧速率播放显示在显示器390上(步骤s200：第1摄影、第1显示、第1摄影工序、第1显示工序)，由此获得慢动作动态图像的效果。另外，第1动态图像、第2动态图像(后述)及普通动态图像能够记录在相同的动态图像文件中。
86.并且，摄影部350及显示控制部356可以使如此获取的动态图像实时显示在显示器390上(步骤s200：第1摄影、第1显示、第1摄影工序、第1显示工序)。在实时显示动态图像的情况下，摄影部350及显示控制部356在获取普通动态图像的期间(不进行帧速率等的控制的期间)使普通动态图像显示在显示器390上。并且，在获取第1动态图像的期间(进行帧速率等的控制的期间)，摄影部350及显示控制部356可以间隔剔除第1动态图像的帧而生成具有初始帧速率(与普通动态图像相同的帧速率等)的第2动态图像，并使第2动态图像实时显示在显示器390上(第2摄影、第2显示、第2摄影工序、第2显示工序)。通过这种实时显示，用户能够在显示器390中捕捉被摄体。另外，关于同时显示第1动态图像和第2动态图像的方式，在后述的变形例6中进行说明。
87.图像处理装置340(处理器；摄影部350等)继续第1动态图像的摄影及记录，直至控制结束时刻(步骤s210；图6的例子中，作为第2时刻的时刻t2)。
88.＜向初始帧速率等的恢复＞
89.经过控制结束时刻(第2时刻)之后(步骤s210中为“是”)，帧速率控制部346及曝光控制处理部348将帧速率及曝光时间返回到开始帧速率控制及曝光控制处理之前的值(步骤s220：帧速率控制、帧速率控制工序、曝光控制处理、曝光控制工序)。并且，减光控制处理部352也将减光度返回到原始值。另外，返回到原始值可以在经过时刻t2之后立刻进行，也可以从时刻t2经过确定的时间之后进行。也可以根据用户的操作等在步骤s100中设定复原的时刻。并且，图像处理装置340(处理器)在成为控制对象的摄影条件还有其他的情况下，复原该条件。由此，所拍摄的动态图像成为普通动态图像。
90.图像处理装置340(处理器)重复上述的处理，直到存在摄影结束的指示(例如，按下未图示的释放按钮等)为止(步骤s230中变成“是”为止)。
91.＜慢动作动态图像的显示＞
92.显示控制部356(处理器)能够使所拍摄的动态图像(普通动态图像及作为慢动作动态图像的第1动态图像)以初始帧速率(与开始帧速率控制之前相同的帧速率)显示在显示器390和/或外部的显示装置上。由此，用户对于有移动的被摄体能够收看良好画质的慢动作动态图像(朝向事件的发生逐渐变慢的动态图像)。
93.如以上所说明，第1实施方式所涉及的相机100中，根据被摄体的移动，朝向碰撞等事件改变帧速率以逐渐变慢，与此对应地改变曝光时间，从而能够有效地演出该事件。并且，通过根据曝光时间的变化来改变减光元件的减光程度(可变nd滤光片的浓度等)，能够在不牺牲帧速率变更前的断断续续感或伴随帧速率变更的粗糙感的变化的情况下变更帧速率及曝光时间。如此，根据第1实施方式所涉及的相机100，对于有移动的被摄体，能够容易获取良好画质的慢动作动态图像。
94.＜变形例1：控制光圈的方式＞
95.上述的第1实施方式中，除了帧速率及曝光时间的控制以外，还控制减光元件210的减光度(可变nd滤光片浓度)，但可以代替减光度，或者除了减光度以外还控制光圈。例如如图6的(b)部分所示那样控制曝光时间的情况下，光圈控制部354(处理器)与从时刻t1(第1时刻)到时刻t2(第2时刻)为止缩短曝光时间对应地，如图7(表示光圈的控制状态的图)所示，能够使光圈230(光圈机构)的光圈程度向释放侧(图7的例子中将f值从16到4)产生变化(光圈控制处理、光圈控制工序)。在控制光圈的情况下，由于随着动态图像变慢(帧速率上升)而景深也逐渐变浅，因此能够更加提高事件的演出性。另外，关于对减光度和光圈中的哪一个进行控制，能够根据用户的操作来确定(例如，步骤s100中设定)。
96.＜变形例2：将曝光时间及减光度固定一定期间的方式＞
97.图8是表示帧速率等的控制状态的另一图。如上所述，在普通动态图像中，一般将“帧速率分之1”(帧间隔)的一半或者其以上设为曝光时间，但变形例2中，在变更帧速率时，固定值直到曝光时间成为“其以上不能确保曝光时间的帧速率分之1”为止，以后根据帧速率设定“帧速率分之1”的曝光时间。伴随于此，减光元件的浓度变更时刻及变化量也根据曝光时间的变化而改变。
98.具体而言，如图8的(a)部分所示那样控制帧速率的情况下，若曝光时间保持初始曝光时间(1/120sec)，则时刻t1a以后不能确保“帧速率分之1”的曝光时间。因此，如该图的(b)部分所示，曝光控制处理部348以在时刻t1a(第1时刻)以后曝光时间成为“帧速率分之1”的方式进行控制(缩短曝光时间；曝光控制处理、曝光控制工序)。
99.并且，如图8的(c)部分所示，减光控制处理部352根据曝光时间的控制，从时刻t1a到时刻t2，降低减光元件210的减光程度(减光控制处理、减光控制工序)。该图所示的例子中，减光程度以nd值计从16降低至8，与图6所示的控制方式相比，抑制了nd值的降低幅度。由此，能够抑制减光元件210(可变nd滤光片)的偏差的影响。
100.＜变形例3：设定根据被摄体的相对速度的变化率的方式＞
101.若拍摄已知被摄体的速度的场景，则摄影者也能够提前设定，但在速度不明时，或者速度不一致的情况下，难以进行恰好的设定。并且，未必能够重新拍摄几次。即使提前设定了帧速率的变化量，若被摄体的速度过快，则也认为被摄体进入视场角时已经过了变更帧速率的时机。
102.因此，变形例3中，通过根据被摄体的速度来调整帧速率的每单位时间的变化量，从而能够应用与被摄体刚好碰撞的(或者，距离成为阈值以下)时刻对应而变慢的效果。
103.图9是表示基于被摄体的相对速度的帧速率的控制状态的图。该图所示的方式中，帧速率控制部346根据由检测处理部344检测到的被摄体的相对速度确定帧速率的每单位时间的变化量。具体而言，被摄体的相对速度越快，越增大帧速率的变化率(每单位时间的变化量)。例如，被摄体的相对速度大于图6所示的控制方式(从时刻t1到时刻t2，从60fps变化至240fps；由图9中的虚线表示)的情况下，帧速率控制部346从时刻t1到时刻t1b(比时刻t2靠前)沿着图9中的实线改变帧速率。在该情况下，帧速率的变化率大于图6的方式。另外，也可以根据被摄体的相对速度，使帧速率的变化率小于图6的方式。如此，在根据被摄体的相对速度来控制帧速率的情况下，优选曝光时间或减光度、光圈等也根据帧速率进行控制。
104.＜变形例4：根据帧速率设定比特率的方式＞
105.若通过上述的慢动作动态图像的摄影而帧速率上升，则每1秒的帧数增加。在该状况下，若保持比特率设定(mbps)，则导致1帧中使用的数据量减少，好不容易以慢动作播放的场景中，画质会变差。因此，变形例4中，根据帧速率来改变压缩率。具体而言，摄影部350在帧速率越高时越提高比特率(作为压缩率越降低)，以使播放时的比特率恒定，从而拍摄动态图像(第1动态图像)。由此解决画质下降的问题，能够维持慢动作场景的画质而获取良好画质的慢动作动态图像。
106.＜变形例5：一部分被摄体静止时的控制＞
107.图5，6等中，对多个被摄体均移动的情况进行了说明，但根据本发明，在一部分被摄体静止的情况下，也能够拍摄慢动作动态图像。图10是表示由移动的被摄体和静止的被摄体引起的事件的发生的图。在图10所示的例子中，如该图的(a)部分所示，运动员530正朝向静止的终点540奔跑。并且，如该图的(b)部分所示，经过时间，运动员530靠近终点540，或者通过终点540(多个被摄体的距离成为阈值以下)。将通过该终点的时刻作为“事件”进行帧速率等的控制，从而与上述的方式相同地，用户对于有移动的被摄体(运动员530)，能够容易获取良好画质的慢动作动态图像。另外，如图10的例子，在包含静止的被摄体(终点540)而拍摄慢动作动态图像的情况下，优选根据经由操作部370或显示器390等的用户的操作，预先指定该静止的被摄体。
108.＜变形例6：同时显示第1动态图像和第2动态图像的方式＞
109.拍摄慢动作动态图像时，如上所述通过将动态图像实时显示在显示器390(显示装置)上，从而用户能够捕捉被摄体。但是，即使拍摄如上所述改变帧速率等而缓慢变化的动态图像(第1动态图像)，若拍摄完成后不尝试播放，则无法验证效果。因此，变形例6中，除了普通动态图像及第2动态图像的实时显示以外，同时显示第1动态图像(反映慢动作效果而拍摄的动态图像)。
110.图11是表示变形例6的处理的流程图。该图的流程图中，对与图3、4的流程图相同的处理赋予相同的步骤编号，并省略详细的说明。
111.摄影部350(处理器)判断是否为获取第2动态图像的时刻(步骤s202：第2摄影、第2摄影工序)。例如，若第1动态图像的帧速率成为初始帧速率的2倍，则2帧中间隔剔除1帧而设为第2动态图像的帧，若第1动态图像的帧速率成为初始帧速率的3倍，则3帧中间隔剔除2帧而设为第2动态图像的帧。随着第1动态图像的帧速率上升，间隔剔除率也上升。摄影部350将第2动态图像记录在记录装置380中，显示控制部356使第2动态图像显示在显示器390上(步骤s204：第2摄影、第2摄影工序)。
112.图12是表示同时显示第1动态图像和第2动态图像的状态的图。该图的(a)部分中，显示器390的显示区域中，在第2动态图像显示区域510中设置有第1动态图像显示区域520。该部分为开始帧速率的控制的状态(第1时刻的状态)，没有第1动态图像与第2动态图像的差。相对于此，图12的(b)部分及(c)部分表示帧速率上升而第1动态图像与第2动态图像的差扩大的状态。通过这种显示，用户能够在第2动态图像中捕捉被摄体，并且能够确认第1动态图像(慢动作动态图像)的状态。
113.另外，在图12的例子中，在第2动态图像显示区域510中设置第1动态图像显示区域520，但与此相反，也可以在第1动态图像显示区域520中设置第2动态图像显示区域510。并且，显示控制部356也可以使第1动态图像和第2动态图像显示在不同的显示区域，或者显示
在不同的显示装置。
114.＜变形例7：对用户的推荐＞
115.信息输出部358(处理器)可以根据所设定的摄影条件及想要摄影的场景的状况(亮度、被摄体的移动等)，向显示器390、扬声器395等输出催促用户设定帧速率、曝光时间、减光元件的减光程度、光圈、灵敏度及比特率中的至少1个的信息。
116.例如，摄影场景明亮，在帧速率的切换之前用户所设定的曝光中无法使减光元件210(可变nd滤光片)进一步变暗从而导致曝光过度的状况下，信息输出部358能够输出催促外置nd滤光片的信息。并且，在相同的状况下，信息输出部358能够输出催促缩小光圈230的信息、或催促缩短曝光时间的信息。通过根据这种信息设定光圈或曝光时间，用户即使在明亮的场景下也能够以适当曝光进行摄影。
117.相反，在摄影场景较暗的情况下，信息输出部358能够输出催促提高灵敏度的信息、或催促打开光圈的信息、或催促降低控制后的帧速率的最快值(目标值)(即，播放时的慢动作程度变弱)的信息。通过根据这种信息的设定，用户即使在较暗的场景下也能够以适当曝光进行摄影。
118.信息输出部358能够在设定摄影条件时(步骤s100)或摄影指示时(步骤s110中为“是”)等时刻输出这种信息。
119.另外，输出这种信息时，信息输出部358也可以将“通过根据信息的操作或设定，有可能拍摄与摄影意图不同的动态图像”的注意一并输出到显示器390、扬声器395等。例如，能够输出表示通过光圈的变更来改变景深、或通过曝光时间的变更来改变“断断续续感”、或通过灵敏度的变更来改变“粗糙感”的信息。通过这种输出，能够扩大“优先进行适当曝光下的摄影”、“优先使景深等按照意图进行”等用户的选择范围。
120.＜第2实施方式＞
121.第1实施方式中，对作为数码相机的相机100进行了说明，但摄像装置的结构并不限定于此。作为本发明的其他摄像装置，例如，能够设为内置型或外置型pc用相机(pc：personal computer(个人计算机))或者如以下所说明的具有摄影功能的便携式终端装置。
122.作为本发明的摄像装置的一实施方式的便携式终端装置，例如，可举出移动电话或智能手机、pda(personal digital assistants：个人数字助理)、便携式游戏机、智能手表。以下，以智能手机为例，一边参考附图，一边进行详细说明。
123.图13是第2实施方式所涉及的智能手机1(摄像装置、摄像装置主体)的外观图。该图的(a)部分为主视图，(b)部分为后视图。图13所示的智能手机1具有平板状的框体2，在框体2的一侧面上具备作为显示部的显示面板21(显示装置)和作为输入部的操作面板22(操作部)成为一体的显示输入部20。并且，框体2具备扬声器31(扬声器)、麦克风32、操作部40(操作部)、相机部41、42(摄像装置)、闪光灯43。另外，框体2的结构并不限定于此，例如，可以采用显示部和输入部独立的结构，也可以采用具有折叠结构或滑动机构的结构。
124.图14为表示智能手机1的概略结构的图。如图14所示，智能手机1具备无线通信部11、显示输入部20、通话部30、操作部40、相机部41、42、闪光灯43、存储部50、外部输入输出部60、gps接收部70(gps：global positioning system(全球定位系统))、动作传感器部80、电源部90。并且，智能手机1具备主控制部101(处理器)。并且，作为智能手机1的主要功能，具备经由基站装置和移动通信网进行移动无线通信的无线通信功能。
125.无线通信部11根据主控制部101的指示，对收纳在移动通信网的基站装置进行无线通信。使用这种无线通信，进行语音数据、图像数据等各种文件数据、电子邮件数据等的收发或者web(网络)数据或流数据等的接收。
126.显示输入部20是所谓的触摸面板，并且具备显示面板21及操作面板22，所述触摸面板通过主控制部101的控制来显示图像(静止图像和/或动态图像)或字符信息等而视觉性地向用户传递信息，并且检测用户对所显示的信息的操作。
127.显示面板21中，lcd(liquid crystal display：液晶显示器)、oled(organic light-emitting diode：有机电致发光二极管)等用作显示器件。操作面板22是以能够视觉辨认显示在显示面板21的显示面上的图像的方式载置，并检测由用户的手指或笔等导体操作的1个或多个坐标的器件。若由用户的手指或笔等导体操作这种器件，则操作面板22将因操作而产生的检测信号输出到主控制部101。接着，主控制部101根据接收到的检测信号，检测显示面板21上的操作位置(坐标)。
128.如图13所示，作为本发明的摄像装置的一实施方式例示的智能手机1的显示面板21和操作面板22一体构成显示输入部20，但配置成操作面板22完全覆盖显示面板21。在采用这种配置的情况下，操作面板22可以具备对于显示面板21外的区域也检测用户操作的功能。换言之，操作面板22可以具备针对与显示面板21重叠的重叠部分的检测区域(以下，称为显示区域)及针对除此以外的不与显示面板21重叠的外缘部分的检测区域(以下，称为非显示区域)。
129.通话部30具备扬声器31或麦克风32，能够将通过麦克风32输入的用户的语音转换为可由主控制部101处理的语音数据并输出到主控制部101，能够对通过无线通信部11或外部输入输出部60接收到的音频数据进行解码而从扬声器31输出。并且，如图13所示，例如能够将扬声器31搭载在与设置有显示输入部20的面相同的面上，且能够将麦克风32搭载在框体2的侧面。
130.操作部40是使用了键开关等的硬件键，是接受来自用户的指示的器件。例如如图13所示，操作部40搭载在智能手机1的框体2的侧面上，且是若用手指等按下则开启，若松开手指则通过弹簧等的复原力而成为关闭状态的按钮式开关。
131.存储部50(记录装置)存储主控制部101的控制程序和控制数据、应用软件、将通信对象的名称和电话号码等建立对应关联的地址数据、所收发的电子邮件的数据、通过web浏览下载的web数据和已下载的内容数据，并且临时存储流数据等。并且，存储部50由智能手机内置的内部存储部51和装卸自如且具有外部存储器插槽的外部存储部52构成。另外，构成存储部50的各个内部存储部51和外部存储部52使用公知的存储介质来实现。
132.外部输入输出部60发挥与连结于智能手机1的所有外部设备的接口的作用。智能手机1经由外部输入输出部60通过通信等直接或间接地与其他外部设备连接。作为通信等的手段，例如能够举出通用串行总线(usb：universal serial bus)、ieee1394、网络(例如互联网、无线lan)。此外，作为通信等的手段，能够举出蓝牙(bluetooth)(注册商标)、rfid(radio frequency identification：射频识别)、红外线通信(infrared data association：irda)(注册商标)等。而且，作为通信等的手段，也能够举出uwb(ultra wide band：超宽带)(注册商标)、紫蜂(zigbee)(注册商标)等。
133.作为与智能手机1连结的外部设备，例如能够举出有线/无线头戴式耳机、有线/无
线外部充电器、有线/无线数据端口。并且，作为外部设备，也能够举出经由卡插槽连接的存储卡(memory card)或sim(subcriber identity module card：用户识别模块卡)/uim(user identity module card：用户身份模块卡)卡。并且，经由音频及视频i/o(input/output：输入/输出)端子连接的外部音频及视频设备、无线连接的外部音频及视频设备、有线/无线连接的智能手机、有线/无线连接的pda、有线/无线连接的个人计算机、耳机等外部设备也能够连结。外部输入输出部60能够将从这种外部设备接收到传送的数据传递至智能手机1内部的各构成要件、或将智能手机1内部的数据传送至外部设备。
134.动作传感器部80例如具备3轴加速度传感器或倾斜传感器等，根据主控制部101的指示，检测智能手机1的物理移动。通过检测智能手机1的物理移动，可检测智能手机1的移动方向或加速度、姿势。这种检测结果被输出到主控制部101。电源部90根据主控制部101的指示，向智能手机1的各部供给积蓄在电池(未图示)中的电力。
135.主控制部101具备微处理器，根据存储部50所存储的控制程序或控制数据进行动作，统一控制包含相机部41的智能手机1的各部。并且，主控制部101为了通过无线通信部11进行语音通信或数据通信，具备控制通信系统的各部的移动通信控制功能及应用处理功能。
136.并且，主控制部101具备根据接收数据或所下载的流数据等图像数据(静止图像或动态图像的数据)而在显示输入部20显示影像等的图像处理功能。图像处理功能是指主控制部101对图像数据进行解码，对这种解码结果实施图像处理并将图像显示于显示输入部20的功能。
137.相机部41、42是使用cmos或ccd等成像元件进行电子摄影的数码相机(摄像装置)。并且，相机部41、42能够通过主控制部101的控制，将通过拍摄获得的图像数据(动态图像、静止图像)转换成例如mpeg或jpeg等压缩的图像数据，并记录于存储部50，或能够通过外部输入输出部60和无线通信部11输出。并且，相机部41、42还能够通过主控制部101的控制，进行慢动作动态图像(第1动态图像，第2动态图像)的摄影。图13，14所示的智能手机1中，也能够使用相机部41、42中的一个来进行摄影，也能够同时使用相机部41、42来进行摄影。使用相机部42的情况下，能够使用闪光灯43。另外，相机部41、42与第1实施方式所涉及的相机100相同地具备减光度可变的减光元件(图13、14中未图示)。减光元件(nd滤光片等)可以是外置型。可以还具备光圈程度可变的光圈机构。
138.并且，相机部41、42能够利用于智能手机1的各种功能。例如，智能手机1能够在显示面板21显示由相机部41、42获取的图像。并且，智能手机1能够利用相机部41、42的图像作为操作面板22的操作输入之一。并且，gps接收部70根据来自gps卫星st1，st2，
……
，stn的定位信息来检测位置时，智能手机1也能够参考来自相机部41、42的图像而检测位置。而且，智能手机1还能够参考来自相机部41、42的图像，不使用3轴加速度传感器或者与3轴加速度传感器同时使用而判断智能手机1的相机部41的光轴方向，或者判断当前的使用环境。当然，智能手机1还能够在应用软件内利用来自相机部41、42的图像。此外，智能手机1也能够在静止图像或动态图像的图像数据中添加通过gps接收部70获取的位置信息、通过麦克风32获取的语音信息(也可以通过主控制部等进行语音文本转换而成为文本信息)、通过动作传感器部80获取的姿势信息等并记录在存储部50中。并且，智能手机1也能够通过外部输入输出部60或无线通信部11输出这些静止图像或动态图像的图像数据。
139.在上述结构的智能手机1中，也与第1实施方式所涉及的相机100相同地，能够执行本发明所涉及的摄像方法的处理(被摄体的移动的检测、第1动态图像及第2动态图像的摄影、帧速率及曝光时间的控制、减光度或光圈程度的控制等)。具体而言，智能手机1中主要由相机部41、42及主控制部101能够执行第1实施方式中由图像处理装置340(图2所示的各部)执行的处理(包含图3、4、11的流程图的处理)。此外，第1实施方式中的操作部370、记录装置380、显示器390、扬声器395的功能能够在智能手机1中分别通过操作部40、存储部50及操作面板22、显示面板21及操作面板22、扬声器31来实现。
140.由此，第2实施方式所涉及的智能手机1中，也能够获得与第1实施方式所涉及的相机100相同的效果(能够容易获取良好的画质的慢动作动态图像)。
141.以上对本发明的实施方式进行了说明，但本发明并不限定于上述的方式，在不脱离本发明的精神的范围内能够进行各种变形。
142.符号说明
143.1-智能手机，2-框体，11-无线通信部，20-显示输入部，21-显示面板，22-操作面板，30-通话部，31-扬声器，32-麦克风，40-操作部，41-相机部，42-相机部，43-闪光灯，50-存储部，51-内部存储部，52-外部存储部，60-外部输入输出部，70-gps接收部，80-动作传感器部，90-电源部，100-相机，101-主控制部，200-可更换镜头，210-减光元件，220-变焦透镜，230-光圈，240-聚焦透镜，250-透镜驱动部，300-摄像装置主体，310-成像元件，320-afe，330-a/d转换器，340-图像处理装置，342-条件设定部，344-检测处理部，346-帧速率控制部，348-曝光控制处理部，350-摄影部，352-减光控制处理部，354-光圈控制部，356-显示控制部，358-信息输出部，360-透镜驱动控制部，362-rom，364-ram，370-操作部，380-记录装置，390-显示器，395-扬声器，500-视野，502-球，504-球棒，510-第2动态图像显示区域，520-第1动态图像显示区域，530-运动员，540-终点，l-光轴，s100～s230-摄像方法的各步骤，st1-gps卫星，st2-gps卫星。