专利名称：摄像装置及其摄像方法
技术领域：
本发明涉及可以连续拍摄的摄像装置及其摄像方法的改良。
背景技术：
一般，在可以连续拍摄的照相机中，在按动释放按钮的期间持续切断快门，此间拍摄的图像被全部记录为独立的图像。并且，该记录的图像显示在安装于照相机的显示装置上，由用户可以进行确认。
另外，本申请的申请人对例如配备了在相同画面上排列显示多个静态图像的多画面显示功能的照相机进行了申请(参照日本特开2001-86405号公报)。该照相机从划分拍摄进行期间得到的区段中选择合适区段，并以等间隔显示。
在具有上述的多画面显示功能的照相机中，例如图9A所示，所拍摄的图像按照帧1a～1g的顺序暂且记录在外部存储器中。并且，利用再生模式一次性读出记录在存储器中的图像并进行加工，进行图9B所示的多画面显示。
另外，以前已经知道检测图像数据中的人脸部分的技术。日本特开2004-157923公开了使用了这种人脸检测技术的人物识别装置的一例。
但是，在上述的日本特开2001-86405号公报记载的照相机中，连续拍摄的速度越快，所记录的图像数量越多，所以占去很多存储器的容量。因此，有时马上就出现容量超出，不能进行下一次拍摄。并且，在从外部存储器向显示装置读出图像时也需要时间等，所以寻找真正需要的帧比较困难。
发明内容
本发明就是鉴于上述问题而提出的，其目的在于，提供一种摄像装置及其摄像方法，其在可以连续拍摄的照相机中，不需要消耗不必要的存储，即可显示合适定时的多画面。
本发明涉及一种可以连续拍摄的摄像装置。本发明的摄像装置依次记录连续拍摄的图像数据，在显示部上显示从该记录的图像数据选择的图像数据。在该选择中，大致等分图像数据的与摄影时间相关的数据(摄影时刻和摄影顺序等)，选择对应于该大致等分的摄影时间位置的图像数据。
因此，与摄影时间相关的数据中相互均等隔开的多个图像被选择并显示。为此，从摄影图像数据整体观看时，可以选择显示没有偏离地分散的图像数据。
例如，也可以构成为如果用户满意所显示的图像，则将所显示的图像记录在可以装卸的存储器等中，使图像记录长久化。并且，还可以构成为如果不满意所显示的图像，进行定时抖动(timing shift)并再次选择图像数据。
并且，也可以构成为在图像选择中，把人脸位于规定位置的情况用作部分条件。
以下列举本申请的摄像装置的结构的一例。可以连续拍摄的摄像装置包括拍摄被摄体像而生成图像信号的摄像部；根据上述图像信号生成图像数据的图像处理部；依次记录上述图像数据的第1记录部；测定与摄影时间相关联的数据的测定部；大致等分与上述摄影时间相关联的数据的分割部；选择记录在上述第1存储器中的图像数据中、对应于上述大致等分的摄影时间位置的图像数据的图像选择部；以及显示上述选择的图像数据的显示部。
根据本发明，可以提供一种摄像装置及其摄像方法，其在可以连续拍摄的照相机中，不需要消耗不必要的存储，即可显示合适定时的多画面。
本发明的上述及其他目的、特征和优点，根据表示作为本发明示例的优选实施方式的附图及以下相关说明将更加明确。
图1是表示本发明的一实施方式涉及的照相机的基本结构的方框图。
图2A表示多画面显示的示例，是表示分割为四部分的画面示例的图。
图2B表示多画面显示的示例，是表示分割为九部分的画面示例的图。
图3A-3C是用于说明被摄体的动作的图。
图4A-4D是用于说明连续拍摄时的定时抖动的图。
图5是用于说明本发明的一实施方式涉及的照相机的动作的流程图。
图6A-6B是用于说明被摄体的人脸图像检测的示例的图。
图7A-7C是用于说明利用了人脸图像检测技术时的多画面显示的图。
图8是说明通过人脸图像检测进行图像选择的动作的流程图。
图9A-9B是用于说明以往的多画面显示功能的图。
具体实施例方式
以下，参照
本发明的实施方式。
图1是表示作为本发明的一实施方式涉及的摄像装置的照相机的基本结构的方框图。该照相机构成为具有主CPU(以下表述为MPU)11；多个开关11a、11b、11c；图像处理部12；摄影位置检测部13；计时部14；ROM 15；模拟前端部(AFE，analog front end)18；RAM 19；存储器20；显示部21；摄像元件22；摄影镜头23。
在图1中，MPU 11由微控制器等构成，根据开关11a、11b、11c的状态检测用户进行的各种操作。MPU 11也具有后面叙述的作为分割部和时间位置变更部的功能。另外，MPU 11按照上述开关11a、11b、11c的检测结果和存储在记录介质即ROM 15内的程序，有序地控制后面叙述的各个模块，执行摄影和再生的程序。另外，开关11a～11c作为进行电源的接通、断开的电源开关(11a)、释放开关(11b)、后面叙述的摄影和再生及其他模式切换用的开关(11c)，输入用户的操作。
在上述MPU 11上连接着图像处理部12、摄影位置检测部13、计时部14和ROM 15。在上述图像处理部12中进行颜色校正和信号压缩等处理。并且，在图像处理部12内部具有用于变更图像处理时的校正的切换模块12a。
上述摄影位置检测部13可以根据使用了卫星的全球定位系统(GPS)等检测摄影位置并记录。并且，作为测定部的计时部14除可以记录摄影时间外，也用于计数曝光时间、测定规定的定时间隔时。另外，ROM 15存储有该照相机的MPU 11执行的各种程序和与该照相机相关的各种调整值。
在上述图像处理部12还连接着模拟前端部18、RAM 19、存储器20和显示部21。并且，在模拟前端部18连接着在摄影时形成从摄影镜头23入射的被摄体25的像的摄像元件22。该摄像元件22是利用CCD和CMOS传感器等构成的摄像部，用于对上述被摄体的像进行光电转换并形成图像信号。
在上述模拟前端部18中进行所转换的图像信号的读出和A/D转换。并且，在该模拟前端部18被转换的数字图像信号被输入图像处理部12。并且，通过图像处理部12进行各种图像处理，并生成图像数据。并且，把该图像数据记录在第2记录部即可自由装卸的存储器20中。此处，记录在存储器20中的图像数据，根据照相机的设定被压缩为合适的数据量并记录。作为本发明之特征的被合成的多个画面也以最终形式存储在该存储器20中。此时，为了进行各种计算，在第1记录部即RAM 19中存储有合适数据。在本发明中，运动图像(连续拍摄)的结果也先存储于此。
显示部21由LCD等构成。并且，通过利用该显示部21逐个地再生显示来自摄像元件22的信号，使用户确认被摄体25的状态，从而进行构图确定。另外，后面叙述的多画面选择也是观看着显示部21来进行的。并且，按照用户对开关11c的操作，读出存储器20内的图像数据并通过图像处理部12形成为显示数据显示在显示部21上，由此进行再生显示。
在这种结构中，在用户操作开关11a～11c时，其状态被MPU 11检测，按照存储在ROM 15中的程序，各个模块被有序地控制，并执行拍摄和再生的程序。
在摄影时，从摄影镜头23入射的被摄体25的像，被摄像元件22取入并转换为电气信号，通过模拟前端部18将数字图像信号输入图像处理部12。并且，通过该图像处理部12进行颜色校正和图像压缩等处理后，其结果数据被记录在存储器20中，结束拍摄。
在本实施方式中公开了以下技术，进行连续地拍摄多个图像的连续拍摄并记录，从由此得到的庞大的图像数据中(例如，假设每秒获取30帧，则5秒钟生成150张的图像数据)，只选择合适图像。该技术例如图2A和图2B所示，在一个画面30内显示(多画面显示)几个连续拍摄的结果，例如在将钢琴家的动作和表情变化保留为照片时使用。
此处，假设如图3A所示，要构成以被摄体32即钢琴家为主的图像31a。但是，例如在钢琴家剧烈动作时，即使想要主要构成如图3A所示的图像，但如图3B所示的图像31b所示，有时人脸32a被钢琴33的琴体33a遮挡而看不到。或者，如图3C所示的图像31c所示，被摄体32的人脸32a偏向旁边。
这样，选择以最佳位置拍摄被摄体32的定时的做法，在以往是很困难的。
对此，在本实施方式中，不仅单纯地拍摄连续的图像，也可以保存包括最合适的定时的图像的连续拍摄图像。
即，如图4A所示，在显示部21上分割显示连续拍摄的图像(帧40a～401)中图像A、B、C、D的四个帧40a、40d、40g、40k。在该分割中，作为分割部的MPU 11大致均等地分割连续拍摄的图像组的摄影时间的相关数据。并且，作为图像选择部的MPU 11选择对应于上述被大致等分的摄影时间位置的图像数据。并且，上述选择的图像数据被显示在显示部21上。在该分割显示中未能获得所设定定时的图像时，按照用户的操作抖动定时，分割显示图4B所示的其他四个帧。即，图像A’、B’、C’、D’的四个帧40b、40e、40h、40l显示于显示部21。变更与该摄影开始时间位置相关联的数据的定时抖动，通过作为开始时间位置变更部的MPU 11进行。
下面，参照图5的流程图说明该照相机的动作。另外，该照相机的动作主要根据MPU 11的控制进行。
在本程序开始后，首先在步骤S1判定照相机的设定模式。此处，在用户操作照相机设定为再生模式时，转入步骤S23，在显示部21显示此前刚刚拍摄记录的图像。并且，在步骤S24判定用户是否想看其他图像。此处，在观看其他图像时，转入步骤S25并切换显示图像后，转入上述步骤S24。并且，在上述步骤S24不需要切换时，转入步骤S26，该图像显示于显示部21。
然后，在步骤S27判断显示处理结束。此处，在不结束显示时转入上述步骤S24，在结束显示时，本程序结束。
另一方面，在上述步骤S1选择了再生模式以外的模式时，转入步骤S2，判定释放开关的状态。此处，如果释放开关未被接通，则转入后述的步骤S17。对此，如果释放开关被接通，则转入步骤S3以后的摄影模式。
该摄影模式以连续拍摄为前提，首先在步骤S3为了计数摄影时间，通过计时部14开始定时器计时。然后，在步骤S4开始连续拍摄。该摄影结果在步骤S5被依次记录在RAM 19中。
此处，在步骤S6，比较在上述步骤S3开始的定时器计时的结果T与预先设定的计数值TMAX。该TMAX是表示长秒时(帧数较大时)的阈值的值，是进行连续拍摄使得RAM 19的容量用尽时的值。因此，该阈值TMAX可根据基于RAM 19的容量的帧数来调整。并且，该阈值TMAX可以改变也可以固定。
并且，在该步骤S6，在定时器计时值T未达到阈值TMAX时转入步骤S10，再次判断在上述步骤S2被接通的释放开关的状态。此处，如果释放开关仍保持接通状态，则还可以进行连续拍摄，所以转入上述步骤S4，重复以后的处理动作。另外，在上述步骤S10，如果释放开关被切断(连续拍摄结束)，则转入步骤S11，求出T的值作为定时器结果。
另一方面，在上述步骤S6，在定时器计时值T达到阈值TMAX时转入步骤S7。此时属于RAM 19的容量在进行连续拍摄期间已用尽的情况。因此，该情况时，转入步骤S7，强制执行释放结束处理。然后，在步骤S8通知显示部21等释放结束，并在步骤S9将阈值TMAX作为定时器结果T。
即，在步骤S6中执行连续拍摄动作直到RAM 19的容量用尽，或者在步骤S10中执行连续拍摄动作直到释放开关被切断。
并且，在步骤S12中，进行显示部21的画面分割的判断。此处，如果选择了图2A所示的分割为四部分的画面，则转入步骤S13，如果选择了图2B所示的分割为九部分的画面，则转入步骤S14。这些分割显示的切换操作根据用户的设定进行。
在步骤S13中，按照将上述计时值T分割四部分后的定时获得的照片显示于显示部21(参照图2A)。并且，在步骤S14中，按照将上述计时值T分割九部分后的定时获得的照片显示于显示部21(参照图2B)。
然后，在步骤S15判断RAM 19的存储容量。此处，在RAM 19存满图像时，转入步骤S16，通过在显示部21的显示等对用户进行报警。对此，在RAM 19的存储容量有富余时，由于仍处于可以连续拍摄的状态，所以转入上述步骤S2，重复以后的处理动作。
在上述步骤S16进行了报警后、或者在上述步骤S2没有进行释放操作的情况下，转入步骤S17判断有无未处理数据。这是第1记录部即RAM19内是否存在未记录在第2记录部即存储器20中的其他连续拍摄到的图像数据的判断。其结果，如果所有对应于连续拍摄的图像数据的图像数据已记录在存储器20中、并且没有未处理数据，则转入上述步骤S2，重复以后的处理动作。另一方面，在有未处理数据时则转入步骤S18，通过连续拍摄获得的照片以图2A或图2B所示的形式显示于显示部21中。
并且，在上述步骤S18显示的照片，在步骤S19进行是否含有用户满意的结果的判断。该判断通过用户对开关11c等的切换控制通知MPU11。此处，在不包含满意的照片时，转入步骤S20进行定时抖动。然后，转入上述步骤S18，再次在显示部21显示通过连续拍摄获得的照片。
例如，在步骤S18最先显示的照片是图4A中的帧40a、40d、40g、40k的图像A、B、C、D时，如图4C所示显示在画面30上。并且，在步骤S20进行定时抖动后，第2次在步骤S18显示的照片如图4D所示，在画面30上显示图4B中的帧40b、40e、40h、401的图像A’、B’、C’、D’。即，该情况时，从图4A所示的图像A、B、C、D逐帧地移动，显示图4B所示的图像A’、B’、C’、D’。由此，可以获得包含最佳定时的图像的连续拍摄照片。
但是，在显示于画面30的照片中包含最终帧时，例如可以只显示能够显示的帧的图像，或者与上述定时无关，也可以与最终帧同时依次显示最终帧前一个的帧、前两个的帧、……。
另外，此处以分割四部分显示为例，但在分割九部分或分割九部分以上时也相同。
这样，直到在步骤S19判断为有用户满意的照片，显示定时抖动后的图像。
并且，在步骤S19判断为有用户满意的照片时，转入步骤S21。其结果，即在画面30上分割显示的照片的图像数据，通过图像处理部12被压缩后记录在存储器20中。由此，由于存储器20是非易失性的，所以例如即使从照相机上卸下电池时，也能够使画面30上分割显示的照片的图像数据成为存储的图像数据。并且，在步骤S22，与记录的图像数据相关的连续拍摄的图像数据被从RAM 19删除，然后转入上述步骤S17。在转入步骤S17时没有未处理数据时，转入步骤S2，准备下一次的连续拍摄。
另外，在连续拍摄中，在短秒时(记录在RAM 19中的帧数小于显示画面的分割数时)，例如帧数正好是画面显示的分割数时，相应地显示该数量部分。并且，在小于画面显示的分割数时，显示所得到的帧数部分。另外，不限于此，也可以按照在步骤S13和S14处理的定时(T/4、T/9)显示。
下面，说明最先分割显示的图像数据、及显示定时抖动结果的第2次以后分割显示的图像数据的选择方法的相关变形。
近年来，分析图像来判定人的人脸位置的技术已经广为人知。这是根据人的眼睛和鼻子的影子形状等在图像内检测规定图形的部位的技术。利用这种人脸图像检测的技术，例如图6A所示，在画面30内设置检测框45，可以从连续拍摄结果中选择被摄体即人的人脸被控制在该位置时的照片。例如图6B所示，作为被摄体32的钢琴家的人脸32a被控制在检测框45内。该人脸检测通过在图像处理部12内设置人脸检测部12b来执行。
即，如图7A所示，在上述实施方式中，如图2A所示，只能单纯地排列显示连续拍摄结果和以规定间隔(此处为每3帧)选择的图像(帧50a、50d、50g、50α)。但是，根据本实施方式的变形，首先按图7B所示选择所检测的人脸图像的帧(50e)，然后如图7C所示，该被选择的帧50e前后的图像(帧50c、50g)被选中，可以进行使用户更加喜欢的构图优先的多画面显示。
由此，可以进行由最佳定时的图像、和使感觉到其动作的前后图像构成的多画面显示。
图8是说明通过该人脸图像检测进行图像选择的动作的流程图。另外，该图像选择的动作主要根据MPU 11的控制来进行。
在本程序开始后，首先在步骤S31，按照图7B所示检测人脸图像。然后在步骤S32，对该检测的帧(规定位置)检索而判定是否能够获得人脸图像。该检索由作为检索部的MPU 11进行。
此处，在人脸图像的检索成功时，转入步骤S33，在时间轴上位于通过上述步骤S31检测的帧之前和之后的帧被选择(参照图7C)。该选择由作为选择部的MPU 11进行。然后转入步骤S35，构成图2A、图2B所示的多画面并显示。
另一方面，在上述步骤S32的人脸图像检索失败时，转入步骤S34，图7A所示的等分后的图像被选择。并且，转入步骤S35，构成由定时被等分后的图像形成的多画面并显示。
由此，即使用户不进行图5所示流程图中的步骤S20的定时抖动的操作，也能够在照相机侧首先检测人脸图像，然后显示包括所检测的人脸图像的前后图像，所以能够自动选定有效的多画面。
这样，根据本实施方式，可以使连续拍摄的间隔和显示帧数具有变化，能够记录最佳定时的图像，而且不需要不必要的存储器消耗。
另外，显示于显示部21的多画面显示只说明了分割为四部分或分割为九部分的情况，但当然不限于此。并且，在所检测的人脸图像的帧(50e)之后选择的帧也不限于前后帧。
如上所述，根据本实施方式，可以提供一种照相机，其能够在最佳定时记录图像，能够利用合适的多画面显示用户想要记录保留的帧的图像及其前后的图像。由此，用户可以专心于拍摄，可以不断集中于新的图像拍摄，而且不会消耗必要程度以上的存储器。
如上所述，本实施方式的摄像装置依次记录连续拍摄的图像数据，将从该记录的图像数据中选择的图像数据显示于显示部。在该选择中，大致均等地分割图像数据的与摄影时间相关的数据(摄影时刻和摄影顺序等)，选择对应于该大致等分的摄影时间位置的图像数据。从而，选择并显示在摄影时间的相关数据中相互相隔等距离的多个图像。因此，从摄影图像数据整体观看时，可以选择显示没有偏离地分散的图像数据。
以上，说明了本发明的实施方式，但本发明除上述实施方式以外，也可以在不脱离本发明宗旨的范围内进行各种变形。
另外，根据本发明的上述实施方式可以获得以下所述的结构。
即，(1)一种具有连续拍摄功能的照相机，其特征在于，具有检测摄影图像内的人脸位置的人脸检测部；检索上述人脸位置为规定位置时的图像的检索部；以及根据上述连续拍摄结果，显示上述检索的图像及其前后的图像的多画面显示部。
(2)一种具有连续拍摄功能的照相机，其特征在于，具有检测摄影图像内的人脸位置的人脸检测部；从连续拍摄的图像中检索通过上述人脸检测部检测到人脸的图像的检索部；选择通过上述检索部检索的图像和该检索的图像前后的图像的选择部；以及显示通过上述选择部选择的多个图像的显示部。
虽然此处示出和描述本发明的考虑过的优选实施方式，但当然可以在不脱离本发明的精神的范围内容易地进行各种修改和更改。因此，本发明不限于所要求的描述和实施例，但可构建含盖所有的落到权利要求范围内的实施方式。
权利要求
1.一种可以连续拍摄的摄像装置，该摄像装置包括拍摄被摄体像而生成图像信号的摄像部；根据上述图像信号生成图像数据的图像处理部；依次将上述图像数据记录在第1存储器中的第1记录部；以及测定与摄影时间相关联的数据的测定部，该摄像装置的特征在于，上述摄像装置还包括均分与上述摄影时间相关联的数据的分割部；选择记录在上述第1存储器中的图像数据中、对应于上述均分的摄影时间位置的图像数据的图像选择部；以及显示上述选择的图像数据的显示部。
2.根据权利要求1所述的摄像装置，其中，从判断为摄影开始的时间或帧到判断为摄影结束的时间或帧测定与上述摄影时间相关联的数据。
3.根据权利要求1所述的摄像装置，其中，该摄像装置还包括第2记录部，该第2记录部记录与通过上述图像选择部选择的图像数据相关的数据。
4.根据权利要求1所述的摄像装置，其中，该摄像装置还包括开始时间位置变更部，该开始时间位置变更部变更与上述摄影时间相关联的数据中、与摄影开始时间位置相关联的数据，该摄像装置通过上述图像选择部再次选择变更后的与摄影时间相关联的数据，作为对应于上述等分的摄影时间位置的图像数据。
5.根据权利要求1所述的摄像装置，其中，上述分割部按照规定的图像数分割上述摄影时间，使其成为相等的间隔。
6.根据权利要求1所述的摄像装置，其中，通过上述测定部进行的摄影时间的测定开始，可以以比分割为上述相等的间隔的时间短的时间间隔进行变更。
7.根据权利要求1所述的摄像装置，其中，该摄像装置还包括从摄影图像检测人脸位置的人脸检测部，上述分割部在将上述摄影时间分割为相等的间隔时，通过上述人脸检测部选择人脸位置在规定位置时的图像作为分割位置。
8.一种可以连续拍摄的摄像装置的摄像方法，上述摄像方法包括以下步骤拍摄被摄体像而生成图像信号；根据上述生成的图像信号生成图像数据；依次将上述生成的图像数据记录在第1存储器中；测定摄影时间；将上述测定的上述摄影时间分割为相等的间隔，选择记录在上述第1存储器中的图像数据中、对应于上述分割的时间位置的图像数据；以及显示上述选择的图像数据。
9.一种可以连续拍摄的摄像装置的摄像方法，该摄像方法包括以下步骤将连续拍摄的图像组的数据存储在RAM中；从上述RAM选择多个图像；将上述选择的多个图像显示在显示器上；以及接收基于上述显示器的显示的用户输入，该摄像方法的特征在于，根据上述用户输入，选择执行以下步骤中的一种(1)将显示在上述显示器上的多个图像数据记录在非易失性的可自由装卸的存储器中，(2)选择与上述选择而显示于显示器的多个图像不同的多个图像并显示在显示器上。
10.根据权利要求9所述的摄像方法，其中，通过根据摄像时间数据等分上述连续拍摄的图像组，从上述RAM选择多个图像。
11.根据权利要求9所述的摄像方法，其中，从上述RAM选择多个图像包括选择人脸被拍摄于规定位置的图像。
全文摘要
本发明提供一种摄像装置及其摄像方法，其中，摄像装置可以进行连续拍摄，依次记录连续拍摄的图像数据，在显示部上显示从该记录的图像数据中选择的图像数据。在该选择中，大致等分图像数据的与摄影时间相关的数据，选择对应于该大致等分的摄影时间位置的图像数据。
文档编号H04N5/76GK1968356SQ20061014653
公开日2007年5月23日 申请日期2006年11月15日 优先权日2005年11月15日
发明者铃木猛士, 野中修 申请人:奥林巴斯映像株式会社