专利名称：处理运动图像数据的运动图像处理装置及运动图像处理方法
技术领域：
本发明涉及能够调整运动图像数据的再现速度的运动图像处理装置、以及运动图像处理方法。
背景技术：
在现有技术中，能够将摄像帧速率切换为与通常摄像对应的规定的摄像帧速率或比该摄像帧速率高速的摄像帧速率的摄像装置被熟知(例如，参照JP特开2010-87778号公报)。若以低速的再现帧速率对由该摄像装置以高速的摄像帧速率拍摄到的运动图像进行再现，贝1J看起来成为以慢动作(slow motion)拍摄的运动图像。但是，在以与通常摄像对应的规定的摄像帧速率进行运动图像的摄像的过程中， 为了拍摄想要以慢动作来再现的镜头(scene)而进行切换摄像帧速率的操作是很繁杂的。 而且，即使通过该操作来切换摄像帧速率，也存在如下问题想要以该慢动作来再现的镜头的前后的镜头也将以与慢动作对应的摄像帧速率被拍摄。期望即使在运动图像数据的摄影记录时用户不进行特别的操作，也能获得能够部分慢速再现的运动图像数据。
发明内容
本发明的I个形态，是一种运动图像处理装置，其特征在于，具备取得部，其取得以规定的摄像帧速率拍摄到的被摄体的运动图像数据；确定部，其对由该取得部取得的所述运动图像数据实施规定的解析处理，并在构成该运动图像数据的多个帧图像内，确定由作为慢速再现的对象的多个帧图像构成的慢速再现帧部分；和处理部，其对构成所述运动图像数据的多个帧图像中、由所述确定部确定的所述慢速再现帧部分以外的规定数量的帧图像，以规定的比例进行抽除处理。此外，本发明的另一形态，是一种运动图像处理方法，其使用了运动图像处理装置，所述运动图像处理方法的特征在于，包含如下步骤取得以规定的摄像帧速率拍摄到的被摄体的运动图像数据的步骤；对取得的所述运动图像数据实施规定的解析处理，来在构成该运动图像数据的多个帧图像内，确定由作为慢速再现的对象的多个帧图像构成的慢速再现帧部分的步骤；和对构成所述运动图像数据的多个帧图像中、确定的所述慢速再现帧部分以外的规定数量的帧图像，以规定的比例进行抽除处理的步骤。
图I是表示应用了本发明的实施方式I的摄像装置的概略构成的框图。
图2是表示由图I的摄像装置进行的运动图像数据生成处理所涉及的动作的一例的流程图。图3A B是用于说明图2的运动图像数据生成处理的图。图4是表示运动图像数据生成处理的变形例所涉及的动作的一例的流程图。
具体实施例方式以下，针对本发明，利用附图来对具体方式进行说明。但是，发明的范围不限定于图示例。图I是表示应用了本发明的一实施方式的摄像装置100的概略构成的框图。本实施方式的摄像装置100对运动图像数据D实施规定的解析处理，来在构成该运动图像数据D的多个帧图像f、...内，确定由作为慢速再现的对象的多个帧图像 f、...构成的慢速再现帧部分S，并对该慢速再现帧部分S以外的规定数量的帧图像f，以规定的比例进行抽除处理。具体来说，如图I所示，摄像装置100具备透镜部I、电子摄像部2、单元电路部3、 摄像控制部4、图像生成部5、图像处理部6、显示控制部7、显示部8、记录介质控制部9、操作输入部10、缓冲存储器11、程序存储器12、中央控制部13等。此外，摄像控制部4、图像生成部5、图像处理部6、显示控制部7、记录介质控制部
9、缓冲存储器11、程序存储器12、中央控制部13通过总线线路14而连接。透镜部1，虽省略图示，但例如具有变焦透镜、聚焦透镜、光圈等，对通过了这些透镜的被摄体的光学像进行成像。电子摄像部2配置于透镜部I的光轴上。此外，电子摄像部2例如由CXD (Charge Coupled Device)或 CMOS (Complementary Metal-oxide Semiconductor)等图像传感器构成，按照每个规定的周期将通过了透镜部I的各种透镜的光学像变换为二维的图像信号 (RGB图像数据)，并输出到单元电路部3。单元电路部3,虽省略图示，但例如具备Q)S(Correlated Double SamplingJl^ 关双米样电路)、AGC(Auto Gain Control :增益调整放大器)、ADC(Analog to Digital Converter :模拟/数字变换器)等。该单元电路部3通过⑶S按照与摄像巾贞速率相应的每个规定的周期来保持与从电子摄像部2输出而被输入的被摄体的光学像相应的模拟的图像信号，并通过AGC将该图像信号放大后，通过ADC来将放大后的图像信号变换为数字的图像信号。然后，单元电路部3将数字的图像信号发送到图像生成部5。摄像控制部4对透镜部I、电子摄像部2、单元电路部3等的动作进行控制。S卩、摄像控制部4，例如具备电动机等驱动源、和对该驱动源进行驱动的驱动器等 (全部省略图示)，使透镜部I的变焦透镜和聚焦透镜在光轴方向上驱动。此外，摄像控制部4例如具备进行透镜部I的光圈的扩径或缩径的光圈驱动部(图示略)，根据曝光调整条件来进行光圈的扩径或缩径。此外，摄像控制部4,例如具备TG(Timing Generator,定时脉冲发生器)、对电子摄像部2进行驱动的驱动器等(全部省略图示)，根据驱动帧速率和摄像条件(例如，曝光时间等)，通过TG以及驱动器来对电子摄像部2的动作定时进行控制。 此外，摄像控制部4按照摄像帧速率来对单元电路部3的动作定时进行控制。图像生成部5根据从单元电路部3发送来的数字的图像信号来生成数字值的亮度信号Y以及色差信号Cb、Cr (YUV数据)。具体来说，图像生成部5按照与摄像帧速率相应的每个规定的周期(例如，1/240 秒等)，用彩色处理电路(color process circuit)(图示略)来对从单元电路部3发送来的各帧图像f的数字的图像数据分别进行包括像素插值处理以及Y校正处理在内的彩色处理，之后生成数字值的亮度信号Y以及色差信号Cb、Cr (YUV数据)。然后，图像生成部5 将生成的亮度色差信号的图像数据输出到摄像控制部4以及图像处理部6。在此，作为拍摄运动图像时的摄像帧速率而例示的240fps是一个例子，并不限定于此，可以适当地任意变更。图像处理部6具备图像取得部6a、帧确定部6b、和抽除处理部6c。图像取得部6a取得被摄体的运动图像数据D。具体来说，图像取得部6a取得由图像生成部5生成的图像数据(YUV数据)，即、由图像生成部5根据在拍摄被摄体的运动图像时，按照与摄像帧速率相应的每个规定的周期 (例如，1/240秒等)从单元电路部3发送来的数字的图像信号而生成的各帧图像f的图像数据(运动图像数据D)。在此，运动图像数据D的摄像帧速率比由显示部8对运动图像数据进行再现时所设定的规定的再现帧速率高速，即、各帧图像的摄像周期比与再现帧速率对应的各帧图像的切换(再现)周期短。在此，图像取得部6a构成了取得由以规定的摄像帧速率拍摄到的多个帧图像 f、...构成的被摄体的运动图像数据D的取得单元(取得部)。帧确定部6b在构成运动图像数据D的多个帧图像f、...内，确定慢速再现帧部分S。S卩、帧确定部6b具备对由图像取得部6a取得的运动图像数据D实施规定的解析处理的解析处理部bl，并基于该解析处理部bl的解析结果来确定慢速再现帧部分S。解析处理部bl进行用于检测在构成运动图像数据D的多个帧图像f、...中的被摄体的状态变化的规定的解析处理。具体来说，解析处理部bl针对多个帧图像f、...的每一个，计算在相邻的帧图像f (例如，摄像定时是前一个的帧图像f等)之间对应的各像素的差分。然后，解析处理部bl针对多个帧图像f、...的每一个，基于算出的各像素的差分来进行规定的运算，从而生成代表各帧图像f的差分值。在此，代表各帧图像f的差分值可以列举，例如、各像素的差分的最大值、中央值、 平均值等。另外，上述的解析处理是一个例子，而并非限定于此，只要是能够检测多个帧图像 f>. · ·中的被摄体的状态变化的处理方法,则可以适当地任意地变更。例如,解析处理部bl 也可以基于多个帧图像f、...的亮度值，来检测被摄体的明亮度的变化，作为该多个帧图像f、...中的被摄体的状态变化。帧确定部6b基于解析处理部bl的解析结果，在构成运动图像数据D的多个帧图像f、...内，将被摄体的状态变化成为规定的大小以上的帧图像f确定为慢速再现帧部分S。具体来说，帧确定部6b首先基于由解析处理部bl生成的代表各帧图像f的差分值，来确定最小差分值，并针对各帧图像f的差分值来计算相对于最小差分值的比例。然
6后，帧确定部6b在多个帧图像f、...内，将具有相对于最小差分值的比例为规定大小(例如，2倍等)以上的差分值的帧图像f确定为作为慢速再现对象的慢速再现帧部分S。在此，慢速再现帧部分S是指，由使运动图像的看上去的再现速度比实际时间慢 (慢动作)的帧图像f构成的部分，是由在对运动图像数据进行再现时再现各帧图像的间隔比进行运动图像摄影时记录各帧图像的间隔长的帧图像f构成的部分。例如，如图3(a)所示，在以规定的摄像帧速率(例如，240fps等)拍摄了棒球的击球姿势而得到的多张(例如，40张等)帧图像f、...所构成的运动图像数据D的情况下，挥棒开始时的帧图像Π具有最小差分值。然后，实际开始球棒的挥棒后，每隔规定时间的被摄体的状态变化(动作)变大。在此情况下，与球棒挥棒开始以后相对应的帧图像f2相对于最小差分值的比例(最小差分比)成为规定的大小(例如，2倍等)以上(参照图3(b))， 将该帧图像f2确定为慢速再现帧部分S。像这样，帧确定部6b构成了对由图像取得部6a取得的运动图像数据D实施规定的解析处理，在构成该运动图像数据D的多个帧图像f、...内，确定由作为慢速再现对象的多个帧图像f、...构成的慢速再现帧部分S的确定单元(确定部)。抽除处理部6c对构成运动图像数据D的多个帧图像f、...中、慢速再现帧部分S 以外的规定数量的帧图像f，以规定的比例进行抽除处理。S卩、抽除处理部6c针对慢速再现帧部分S以外的规定数量的帧图像f，在以各帧图像的切换(再现)周期比与规定的摄像帧速率相对应的各帧图像的摄像周期短(低速) 的规定的再现帧速率进行再现的情况下，按照使其再现时间与实际时间相对应的方式进行抽除处理。具体来说，抽除处理部6c，在慢速再现帧部分S以外的规定数量的帧图像f中， 即、以规定的摄像帧速率(例如，240fps等)拍摄到的多个帧图像f、...中，根据规定的再现帧速率(例如，30fps)，对成为处理对象的帧图像f，以与摄像帧速率和再现帧速率的比相应的规定的比例(例如，1/8)进行抽除来确定。例如，如图3(a)所示，对于挥棒开始时和挥棒结束时(图示略)的规定数量的帧图像Π，由于每隔规定时间的被摄体的状态变化 (动作)较小，因此在该规定数量的帧图像Π中，根据规定的再现帧速率，对作为处理对象的帧图像fl以规定的比例进行抽除来确定。由此，对于慢速再现帧部分S以外的规定数量的帧图像f，以规定的再现帧速率 (例如，30fps)进行再现时的再现时间与以规定的摄像帧速率(例如，240fps等)对该规定数量的帧图像f进行摄像时的实际时间相对应。另外，抽除处理部6c对于慢速再现帧部分S的帧图像f不进行抽除处理，对于慢速再现帧部分S以外的规定数量的帧图像f，按照使以规定的再现帧速率再现时的再现时间与实际时间相对应的方式进行抽除处理，由此，能够更自然且有效地控制再现速度，但抽除的有无和抽除率的控制是一个例子，并非限定于此，可以适当地任意变更。即、只要至少按照慢速再现帧部分S的再现速度比慢速再现帧部分S以外的帧部分的再现速度慢的方式来决定抽除的有无和抽除率即可，也可以以比对慢速再现帧部分S以外的帧图像进行抽除时的比例低的比例来对慢速再现帧部分S进行抽除处理，或者按照慢速再现帧部分S以外的帧部分的再现时间与实际时间不同的方式来决定抽除率。例如，抽除处理部6c也可以对慢速再现帧部分S或慢速再现帧部分S以外的规定数量的帧图像f，按照规定的解析处理的结果动作越大(快)的帧图像f抽除比例越小的方式来控制抽除率。具体来说，例如，抽除处理部6c基于由帧确定部6b的解析处理部bl生成的代表各帧图像f的差分值(例如，各像素的差分的最大值)，来确定各帧图像f的动作的大小，并按照动作越大的帧图像f抽除比例越小的方式来控制抽除率。像这样，抽除处理部6c构成了对构成运动图像数据D的多个帧图像f、...中的、 由帧确定部6b确定的慢速再现帧部分S以外的规定数量的帧图像f，以规定的比例进行抽除处理的处理单元(处理部)。此外，图像处理部6具备编码部和解码部等(全部省略图示)。编码部通过规定的编码方式(例如，Motion-JPEG方式等)来对由图像生成部5生成的图像数据(YUV数据)进行压缩/编码。即、编码部通过规定的编码方式来对由抽除处理部6c进行抽除处理后的运动图像数据D进行压缩/编码。解码部例如在对记录在记录介质M中的已编码的图像数据进行再现时，以与该编码方式相对应的解码方式来对从记录介质控制部9读出的已编码的图像数据进行解码。显示控制部7进行读出暂时存储在缓冲存储器11中的显示用的图像数据并使其显示于显示部8的控制。具体来说,显示控制部7具备VRAM (Video Random Access Memory,视频随机存取存储器)、VRAM控制器、数字视频编码器等。并且，数字视频编码器经由VRAM控制器以规定的再现帧速率(例如，30fps)从VRAM中读出从缓冲存储器11中读出而存储在VRAM(图示略)中的构成运动图像的多个帧图像f、...的亮度信号Y以及色差信号Cb、Cr，并基于这些数据来产生视频信号并输出到显示部8。在此，在再现帧速率被固定于规定的值的情况下，运动图像的看起来的再现速度根据运动图像数据D的帧图像f的每秒的输入帧数而可变。即、例如，若输入摄像间隔与再现间隔一致的帧图像f，则看起来成为与实际时间相对应的通常的再现速度，另一方面，若输入摄像间隔比再现间隔短的帧图像f，则看起来成为比实际时间慢的慢动作的再现速度。显示部8例如是液晶显示面板，基于来自显示控制部7的视频信号来将由电子摄像部2拍摄到的图像等显示在显示画面中。具体来说，显示部8在静止图像拍摄模式和运动图像拍摄模式下，对由电子摄像部2以及摄像控制部4通过被摄体的摄像而生成的多个帧图像f、...，以规定的帧速率依次进行更新，同时显示实时取景图像。此外，显示部8作为运动图像显示记录中的多个帧图像f、...，或者作为静止图像显示被记录的图像(记录浏览(rec view)图像)。记录介质控制部9构成为记录介质M能够自由装卸,对从安装的记录介质M读出数据和向记录介质M写入数据进行控制。S卩、记录介质控制部9将由图像处理部6的编码部(图示略)以规定的压缩形式 (例如，Motion-JPEG形式等)编码后的记录用的图像数据记录在记录介质M中。另外，记录介质M例如由非挥发性存储器(闪存)等构成，但这是一个例子，并非限定于此，能够适当地任意变更。操作输入部10用于进行该摄像装置100的规定操作。具体来说，操作输入部10 具备与被摄体的摄影指示有关的、能够进行半按以及全按操作的快门按钮；与摄像模式和功能等的选择指示有关的选择决定用按钮；与变焦量的调整指示有关的变焦按钮(全部省略图示)等，根据这些按钮的操作来将规定的操作信号输出到中央控制部13。
缓冲存储器11除了作为暂时保存图像数据等的缓冲器之外，也作为中央控制部 13的工作存储器等来使用。在程序存储器12中保存有与该摄像装置100的功能有关的各种程序和数据。中央控制部13对摄像装置100的各部进行控制。具体来说，中央控制部13具备对摄像装置100的各部进行控制的CPU(图示略)，按照各种处理程序(图示略)来进行各种控制动作。接下来，参照图2以及图3来对摄像装置100所进行的运动图像数据生成处理进行说明。图2是表示运动图像数据生成处理所涉及的动作的一例的流程图。此外，图3是用于说明运动图像数据生成处理的图。另外，以下的运动图像数据生成处理，基于用户所进行的操作输入部10的选择决定用按钮的规定操作，在被指示了从多个摄像模式中选择运动图像数据D的生成模式的情况下、或在拍摄被摄体的运动图像后自动地被执行。如图2所示，首先，图像处理部6的图像取得部6a取得由以规定的摄像帧速率拍摄到的多个帧图像f、...构成的已记录的运动图像数据D(步骤SI)。具体来说，图像取得部6a在摄像控制部4的控制下，取得通过透镜部I、电子摄像部2、单元电路部3以规定的摄像帧速率(例如，240fps等)而拍摄，并通过图像生成部5 而生成的各帧图像f的图像数据(YUV数据)。即、取得通过图像生成部5根据按照与摄像帧速率相应的每个规定的周期(例如，1/240秒等)从单元电路部3发送来的数字的图像信号而生成、并通过编码部而被压缩/编码并记录在记录介质M中的运动图像数据D，并通过解码部对该取得的运动图像数据D进行解压/解码，由此取得构成该运动图像数据D的各帧图像f的图像数据。接下来，帧确定部6b的解析处理部bl对构成运动图像数据D的多个帧图像 f>...进行规定的解析处理(步骤S2)。具体来说，解析处理部bl针对多个帧图像f、...的每一个，计算与相邻的帧图像 f (例如，前一个摄像定时的帧图像f等)之间对应的各像素的差分，并基于算出的各像素的差分来进行规定的运算，从而生成代表各帧图像f的差分值。接着，帧确定部6b基于解析处理部bl的解析结果，来确定慢速再现帧部分S (步骤 S3)。具体来说，帧确定部6b基于由解析处理部bl生成的代表各帧图像f的差分值，来计算相对于最小差分值的比例，并在多个帧图像f、...内，将具有相对于最小差分值的比例(最小差分比)为规定的大小(例如，2倍等)以上的差分值的帧图像f (例如，挥棒开始后，上半身的动作变大后的帧图像f等；参照图3(a))确定为慢速再现帧部分S。接下来，抽除处理部6c对构成运动图像数据D的多个帧图像f、...中的、慢速再现帧部分S以外的规定数量的帧图像f，按照使得以规定的再现帧速率再现时的再现时间与实际时间相对应的方式来进行抽除处理(步骤S4)。具体来说，抽除处理部6c，在慢速再现帧部分S以外的规定数量的帧图像f(例如， 挥棒开始时和挥棒结束时的规定数量的帧图像f等)中，根据规定的再现帧速率(例如， 30fps)对成为处理对象的帧图像f以与摄像帧速率和再现帧速率的比相应的规定的比例(例如，1/8)进行抽除来确定。之后，图像处理部6的编码部，在通过规定的编码方式对由抽除处理部6c进行的抽除处理后的运动图像数据D进行压缩/编码之后，将其传送到记录介质控制部9，记录介质控制部9将该运动图像数据D再次记录在记录介质M中(步骤S5)。也可以使用户能够选择该再记录是覆盖原来的运动图像数据D来进行保存，还是保存为新建的运动图像数据。由此，运动图像数据生成处理结束。另外，解析处理部bl所进行的解析处理、帧确定部6b所进行的确定处理、抽除处理部6c所进行的抽除处理、图像处理部6所进行的压缩/编码处理、以及向记录介质M的再记录处理，既可以在对运动图像数据D所包含的所有的帧图像f进行解压/解码之后进行，也可以一边对运动图像数据D所包含的各帧图像f依次进行解压一边依次进行解析处理、确定处理、抽除处理、压缩/编码处理、再记录处理。此外，这些一系列的处理也可以与运动图像数据D的再现显示并行地执行。在不并行地进行运动图像数据D的再现显示的情况下，各帧图像f的处理的顺序不需要从最前面开始进行，是任意的。如上所述，根据实施方式I的摄像装置100，在进行运动图像数据的摄影记录时， 以比对该运动图像数据进行再现时设定的规定的再现帧速率高速的规定的摄像帧速率来对运动图像数据的整体进行记录，从而在得到无论是该运动图像数据的哪个部分都能够不降低再现帧速率(维持流畅的影像)地进行慢速再现(相对于实际时间以慢动作进行再现)的形态的运动图像数据D之后，对该运动图像数据D实施规定的解析处理，在构成该运动图像数据D的多个帧图像f、...内，确定成为慢速再现的对象的慢速再现帧部分S，并对该慢速再现帧部分S以外的规定数量的帧图像f，以规定的比例进行抽除处理。因此，即使用户在拍摄运动图像时不进行摄像帧速率的切换操作等，也能够得到被编辑为能够部分慢速再现的形态的运动图像数据，而且，即使在预先使摄像帧速率高速地进行了摄影记录的情况下，也能够实现最终需要的运动图像数据的数据量的削减。特别是，对于慢速再现帧部分S，按照即使不进行抽除处理，也能够以合适的慢速再现速度进行慢速再现的方式，来设定再现时的帧速率和摄影时的摄像帧速率的比，对于慢速再现帧部分S以外的规定数量的帧图像f，按照使以规定的再现帧速率进行再现时的再现时间，与以规定的摄像帧速率对该规定数量的帧图像f进行拍摄时的实际时间相对应的方式进行抽除，由此不仅能够高效地削减运动图像数据D的数据量，而且能够减轻对运动图像数据D进行再现时的视觉上的不协调感。此外，被编辑为能够部分慢速再现的形态后的运动图像数据，覆盖原来的运动图像数据D来进行保存，或者保存为新建的运动图像数据，因此在对编辑后的运动图像数据进行再现时，不需要再次进行解析处理和抽除处理等，即使在不具有本摄像装置100这样的功能的其他的一般运动图像再现装置中，对上述编辑后的运动图像数据进行再现的情况下,也能够同样地使其部分慢速再现。此外，在构成运动图像数据D的多个帧图像f、...中，将这些帧图像f、...中的被摄体的状态变化为规定的大小以上的帧图像f确定为慢速再现帧部分S。具体来说，将构成运动图像数据D的多个帧图像f、...间的具有相对于差分最小值的比例为规定大小以上的差分的帧图像f确定为慢速再现帧部分S，因此能够考虑到多个帧图像f、...中的被摄体的状态变化，恰当地确定应以低速的再现帧速率进行再现的慢速再现帧部分S。
此外，也可以不明确地区分慢速再现帧部分S和慢速再现帧部分S以外的帧部分， 即、不区分不进行抽除处理的帧部分、和以再现速度与实际时间相对应的抽除率来进行抽除处理的帧部分，而对构成运动图像数据D的各帧图像，确定慢速再现的程度，并根据该慢速再现的程度来使帧图像f的抽除比例多阶段地变化。S卩、对于慢速再现帧部分S和慢速再现帧部分S以外的帧图像f，按照动作越大的帧图像f抽除比例越小的方式来多阶段地控制抽除率，由此能够生成考虑了被摄体的动作的变化的运动图像数据D。具体来说，例如，在被摄体的动作断续地变化，或者被摄体的动作流畅地变动等情况下，能够减轻通过不进行对慢速再现帧部分S的抽除处理，或者对慢速再现帧部分S以外的帧图像f一律以规定的比例进行抽除处理而生成的运动图像的再现时的视觉上的不协调感。另外，本发明不限定于上述实施方式，在不脱离本发明的主旨的范围内，可以进行各种改良以及设计的变更。以下，对摄像装置100的变形例进行说明。<变形例1>该变形例I的摄像装置100，在构成运动图像数据D的多个帧图像f、...中，基于各帧图像f中动作最大的部分的动作的大小，来确定慢速再现帧部分S。S卩、帧确定部6b的解析处理部bl，作为规定的解析处理，在计算出构成运动图像数据D的多个帧图像f、...的每一个中特征较高的规定数量的块区域(特征点)的动作向量之后，进行确定这些动作向量中动作最大的块区域的处理。然后，解析处理部bl将确定的块区域的动作向量确定为各帧图像f的动作的大小。特征较高的块区域的提取，例如，在图3所示的球棒挥棒的例子中，通过轮廓提取处理或图像识别处理等来提取帧图像内的人脸部分、球棒部分、球部分等。此外，也可以预先由用户选择性地指定“球棒部分”等对象部分。帧确定部6b，在多个帧图像f、...内，将动作的大小为规定大小以上的帧图像f 确定为慢速再现帧部分S。具体来说，帧确定部6b计算出由解析处理确定的各帧图像f的动作向量的大小中的最大值和最小值，并在这些最大值和最小值间根据最大值将规定比例 (例如，10%程度)设定为阈值。然后，帧确定部6b，在多个帧图像f、...中，将具有阈值以下的动作向量的帧图像f连续规定时间以上的部分确定为慢速再现帧部分S。接下来，参照图4，对该变形例所涉及的运动图像数据生成处理进行说明。如图4所示，首先，图像处理部6的图像取得部6a与上述实施方式同样地取得由以规定的摄像帧速率拍摄到的多个帧图像f、...构成的运动图像数据D(步骤SI)。接下来，帧确定部6b的解析处理部bl对构成运动图像数据D的多个帧图像 f>...进行规定的解析处理(步骤S21)。具体来说,解析处理部bl对多个巾贞图像f、...的每一个计算出特征较高的规定数量的块区域(特征点)的动作向量。之后，解析处理部bl确定算出的动作向量中动作最大的块区域，并将确定的块区域的动作向量确定为各帧图像f的动作的大小。接着,巾贞确定部6b基于解析处理部bl的解析结果,计算出各巾贞图像f的动作向量的大小中的最大值和最小值(步骤S22)，之后，在这些最大值和最小值间根据最大值将规定比例(例如，10%程度)的值设定为慢速再现帧部分S的判定用的相对阈值(步骤S23)。
然后,巾贞确定部6b在多个巾贞图像f、...中，确定具有慢速再现巾贞部分S的判定用阈值以下的动作向量的帧图像f，将对该帧图像f连续拍摄规定时间以上的部分确定为慢速再现帧部分S (步骤S24)。接着，抽除处理部6c与上述实施方式同样地，对构成运动图像数据D的多个帧图像f、. · ·中的、慢速再现帧部分S以外的规定数量的帧图像f，按照使得以规定的再现帧速率进行再现时的再现时间与实际时间像对应的方式进行抽除处理(步骤S4)。之后，图像处理部6的编码部与上述实施方式同样地，在通过规定的编码方式对由抽除处理部6c进行抽除处理后的运动图像数据D进行压缩/编码之后，将其传送到记录介质控制部9，记录介质控制部9将该运动图像数据D记录在记录介质M中(步骤S5)。由此，运动图像数据生成处理结束。因此，根据该变形例I的摄像装置100，在构成运动图像数据D的多个帧图像 f、...的每一个中检测动作最大的部分，在构成运动图像数据D的多个帧图像f、...内，将检测出的动作最大的部分的动作的大小为规定的大小以上的帧图像f确定为慢速再现帧部分S，因此能够考虑到各帧图像f内的特征部分的动作，来恰当地确定应以低速的再现帧速率进行再现的慢速再现帧部分S。〈变形例2>在上述实施方式中，为了能够在摄影记录后任意指定进行慢速再现的部分，而无条件地以高速的摄像帧速率对运动图像数据进行记录，但若在摄影前已经知道不需要进行部分慢速再现，则没有必要以高速的摄像帧速率进行摄像。因此，设置记录通常的运动图像数据的第I运动图像记录模式和记录与部分慢速再现相对应的运动图像数据的第2运动图像记录模式，使得在开始运动图像摄影前能够由用户基于操作输入部10的规定操作来选择并设定任意一种模式。并且，在设定了第2运动图像记录模式的情况下，中央控制部13自动地设定比再现帧速率高速的摄像帧速率来记录运动图像数据，并且自动地对该记录的运动图像数据执行在上述实施方式中进行的慢速再现帧部分S的确定处理、和对慢速再现帧部分S以外进行抽除的抽除处理。另一方面，在设定了第I运动图像记录模式的情况下，中央控制部13在以与再现帧速率相同的摄像帧速率记录了运动图像数据之后，不自动执行在上述实施方式中进行的慢速再现帧部分S的确定处理、和对慢速再现帧部分S以外进行抽除的抽除处理。因此，根据本变形例2的摄像装置100，仅通过根据部分慢速再现的必要性来进行模式选择，就能够自动地设定高速的摄像帧速率，因此能够容易地得到能够进行部分慢速再现的运动图像数据，并且能够防止在不需要进行部分慢速再现的情况下也记录包含无用的帧的运动图像数据从而压迫存储器容量。另外，上述实施方式以及变形例I、2中的慢速再现帧部分S的确定方法是一例，并非限定于此，能够适当地任意变更。S卩、在上述实施方式中，使得慢速再现帧部分S的确定方法，以各帧图像f的差分值相对于最小差分值的比例为基准来进行，但例如，也可以以各帧图像f的差分值相对于最大差分值的比例为基准，将具有相对于最大差分值的比例为规定的大小以下的差分值的帧图像f确定为慢速再现帧部分S。
此外，在上述变形例I中，在确定慢速再现帧部分S时，基于动作向量的大小的最大值和最小值，来设定慢速再现帧部分S的判定用的相对阈值，但例如，也可以以动作向量的大小的最大值以及最小值中的、任意一个值为基准，来设定慢速再现帧部分S的判定用的绝对阈值。此外，在上述实施方式中，抽除处理部6c也可以基于慢速再现帧部分S以外的规定数量的帧图像f，来生成以规定的再现帧速率被再现的一个代表帧图像f。即、抽除处理部6c基于规定数量的帧图像f的各像素的像素值来进行规定的运算，生成具有代表规定数量的帧图像f 的像素值(例如，平均值或中央值等)的代表帧图像。由此，对于慢速再现帧部分S以外的规定数量的帧图像f，通过以规定的再现帧速率来再现代表帧图像，能够使被摄体的动作平滑，能够减轻对运动图像数据D进行再现时的视觉上的不协调感。并且，在上述实施方式中作为运动图像处理装置而例示的摄像装置100的构成是一个例子，并非限定于此，只要为至少具备取得单元(取得部)、确定单元(确定部)、处理单元(处理部)的构成则可以适当地任意变更。而且，在上述实施方式中，采用了通过在中央控制部13的控制下，由图像取得部 6a、帧确定部6b、抽除处理部6c进行驱动，而实现了取得单元、确定单元、处理单元的功能的构成，但并非限定于此，也可以采用通过由中央控制部13的CPU执行规定的程序等来实现的构成。S卩、在存储程序的程序存储器12中，预先存储包含取得处理例行程序、确定处理例行程序、抽除处理例行程序的程序。并且，也可以通过取得处理例行程序，使中央控制部 13的CPU发挥取得以规定的摄像帧速率拍摄到的被摄体的运动图像数据D的取得单元的功能。此外，也可以通过确定处理例行程序，使中央控制部13的CPU发挥对由取得单元取得的所述运动图像数据D实施规定的解析处理，并在构成该运动图像数据D的多个帧图像 f、...内，确定由作为慢速再现的对象的多个帧图像f、...构成的慢速再现帧部分S的确定单元的功能。此外，也可以通过抽除处理例行程序，使中央控制部13的CPU发挥对构成运动图像数据D的多个帧图像f、...中的、由确定单元确定的慢速再现帧部分S以外的规定数量的帧图像f，以规定的比例进行抽除处理的处理单元的功能。并且，作为保存了用于执行上述各处理的程序的计算机可读取的介质，除了 ROM、 硬盘等之外，也可以应用闪存等非挥发性存储器、CD-ROM等可移动型记录介质。此外，作为经由规定的通信线路来提供程序数据的介质，也可以应用载波(carrier wave)。而且，本次公开的实施方式，应当认为在所有的点上均为例示，而不是限制性的描述。本发明的范围，由权利要求书而非上述说明而示出，旨在包含与权利要求书均等的含意以及范围内的所有的变更。以下，附记在本申请最初的权利要求书中记载的发明。S卩、摄像装置采用了如下结构，具备取得部，其取得以规定的摄像帧速率拍摄到的被摄体的运动图像数据；确定部，其对由该取得部取得的所述运动图像数据实施规定的解析处理，并在构成该运动图像数据的多个帧图像内，确定由作为慢速再现的对象的多个帧图像构成的慢速再现帧部分；和处理部，其对构成所述运动图像数据的多个帧图像中、由所述确定部确定的所述慢速再现帧部分以外的规定数量的帧图像，以规定的比例进行抽除处理。此外，也可以还具备记录部，所述记录部记录被压缩/编码后的运动图像数据， 所述取得部取得记录在所述记录部中的运动图像数据，所述确定部对通过对由所述取得部取得的所述运动图像数据进行解压/解码而得到的多个帧图像实施规定的解析处理，来确定由作为慢速再现的对象的多个帧图像构成的慢速再现帧部分，所述处理部对进行了所述抽除处理后的运动图像数据再次进行压缩/编码并记录在所述记录部中。此外，也可以所述取得部还取得以比对运动图像数据进行再现时设定的规定的再现帧速率高速的规定的摄像帧速率拍摄到的被摄体的运动图像数据，所述处理部，作为所述抽除处理，还按照使以所述再现帧速率进行再现时的再现时间与实际时间相对应的方式，以与所述摄像帧速率和所述再现帧速率的比相应的比例，对由所述确定部确定的所述慢速再现帧部分以外的规定数量的帧图像进行抽除。此外，也可以所述处理部还对由所述确定部确定的所述慢速再现帧部分的帧图像不进行抽除，或者，以比对所述慢速再现帧部分以外的帧图像进行抽除时的比例低的比例进行抽除。此外，也可以所述确定部还通过所述规定的解析处理来检测构成所述运动图像数据的多个帧图像中的被摄体的状态变化，并在构成该运动图像数据的多个帧图像内，将检测出的被摄体的状态变化为规定的大小以上的帧图像确定为所述慢速再现帧部分。此外，也可以所述确定部还通过所述规定的解析处理来确定各帧图像内的特征部分，并将该确定的特征部分的状态变化为规定的大小以上的帧图像确定为所述慢速再现中贞部分。此外，也可以所述确定部还按照所述确定的特征部分的状态变化的大小越大的帧图像部分，慢速再现的程度越强的方式，来多阶段地确定慢速再现的程度，所述处理部按照由所述确定部确定的慢速再现的程度越强则抽除率越小的方式，来多阶段地改变抽除率。此外，也可以所述确定部还通过所述规定的解析处理来计算构成所述运动图像数据的多个帧图像间的差分，并在构成所述运动图像数据的多个帧图像内，将具有相对于计算出的差分最小值的比例为规定的大小以上的差分的帧图像确定为所述慢速再现帧部分。此外，也可以所述确定部还通过所述规定的解析处理来在构成所述运动图像数据的多个帧图像的每一个中检测动作最大的部分，并在构成所述运动图像数据的多个帧图像内，将检测出的动作最大的部分的动作大小为规定的大小以上的帧图像确定为所述慢速再现帧部分。此外，也可以所述确定部还对构成该运动图像数据的各帧图像确定慢速再现的程度，所述处理部还根据由所述确定部确定的慢速再现的程度来改变对帧图像进行抽除的比例。此外，也可以所述处理部还按照根据所述规定的解析处理的结果，动作越大的帧图像抽除比例越小的方式，来对构成所述运动图像数据的多个帧图像中、由所述确定部确定的所述慢速再现帧部分的帧图像控制抽除率。此外，也可以所述处理部还通过所述抽除处理，基于由所述确定部确定的所述慢速再现帧部分以外的规定数量的帧图像，来生成以所述再现帧速率被再现的一个代表帧图像。此外，也可以还具备模式设定部，其选择性地设定记录通常的运动图像数据的第 I运动图像记录模式、和记录与部分慢速再现相对应的运动图像数据的第2运动图像记录模式的任意一种；和控制部，其在通过该模式设定部设定了所述第2运动图像记录模式的情况下，控制为自动地设定比所述规定的再现帧速率高速的摄像帧速率来记录运动图像数据，并且由所述取得部取得该记录的运动图像数据来自动地执行所述确定部以及所述处理部的处理；在通过所述模式设定部设定了所述第I运动图像记录模式的情况下，控制为在以与所述规定的再现帧速率相同的摄像帧速率记录了运动图像数据之后，不自动地执行所述确定部以及所述处理部的处理。此外，使用了运动图像处理装置的运动图像处理方法，采用了包含如下步骤的构成取得以规定的摄像帧速率拍摄到的被摄体的运动图像数据的步骤；对取得的所述运动图像数据实施规定的解析处理，来在构成该运动图像数据的多个帧图像内，确定由作为慢速再现的对象的多个帧图像构成的慢速再现帧部分的步骤；和对构成所述运动图像数据的多个帧图像中、确定的所述慢速再现帧部分以外的规定数量的帧图像，以规定的比例进行抽除处理的步骤。
权利要求
1.一种运动图像处理装置，其特征在于，具备取得部，其取得以规定的摄像帧速率拍摄到的被摄体的运动图像数据；确定部，其对由该取得部取得的所述运动图像数据实施规定的解析处理，并在构成该运动图像数据的多个帧图像内，确定由作为慢速再现的对象的多个帧图像构成的慢速再现中贞部分；和处理部，其对构成所述运动图像数据的多个帧图像中、由所述确定部确定的所述慢速再现帧部分以外的规定数量的帧图像，以规定的比例进行抽除处理。
2.根据权利要求I所述的运动图像处理装置，其特征在于，还具备记录部，所述记录部记录被压缩/编码后的运动图像数据，所述取得部取得记录在所述记录部中的运动图像数据，所述确定部对通过对由所述取得部取得的所述运动图像数据进行解压/解码而得到的多个帧图像实施规定的解析处理，来确定由作为慢速再现的对象的多个帧图像构成的慢速再现帧部分，所述处理部对进行了所述抽除处理后的运动图像数据再次进行压缩/编码并记录在所述记录部中。
3.根据权利要求I或2所述的运动图像处理装置，其特征在于，所述取得部还取得以比对运动图像数据进行再现时设定的规定的再现帧速率高速的规定的摄像帧速率拍摄到的被摄体的运动图像数据，所述处理部，作为所述抽除处理，还按照使以所述再现帧速率进行再现时的再现时间与实际时间相对应的方式，以与所述摄像帧速率和所述再现帧速率的比相应的比例，对由所述确定部确定的所述慢速再现帧部分以外的规定数量的帧图像进行抽除。
4.根据权利要求I或2所述的运动图像处理装置，其特征在于，所述处理部还对由所述确定部确定的所述慢速再现帧部分的帧图像不进行抽除，或者，以比对所述慢速再现帧部分以外的帧图像进行抽除时的比例低的比例进行抽除。
5.根据权利要求I或2所述的运动图像处理装置，其特征在于，所述确定部还通过所述规定的解析处理来检测构成所述运动图像数据的多个帧图像中的被摄体的状态变化，并在构成该运动图像数据的多个帧图像内，将检测出的被摄体的状态变化为规定的大小以上的帧图像确定为所述慢速再现帧部分。
6.根据权利要求5所述的运动图像处理装置，其特征在于，所述确定部还通过所述规定的解析处理来确定各帧图像内的特征部分，并将该确定的特征部分的状态变化为规定的大小以上的帧图像确定为所述慢速再现帧部分。
7.根据权利要求6所述的运动图像处理装置，其特征在于，所述确定部还按照所述确定的特征部分的状态变化的大小越大的帧图像部分，慢速再现的程度越强的方式，来多阶段地确定慢速再现的程度，所述处理部按照由所述确定部确定的慢速再现的程度越强则抽除率越小的方式，来多阶段地改变抽除率。
8.根据权利要求5所述的运动图像处理装置，其特征在于，所述确定部还通过所述规定的解析处理来计算构成所述运动图像数据的多个帧图像间的差分，并在构成所述运动图像数据的多个帧图像内，将具有相对于计算出的差分最小值的比例为规定的大小以上的差分的帧图像确定为所述慢速再现帧部分。
9.根据权利要求5所述的运动图像处理装置，其特征在于，所述确定部还通过所述规定的解析处理来在构成所述运动图像数据的多个帧图像的每一个中检测动作最大的部分，并在构成所述运动图像数据的多个帧图像内，将检测出的动作最大的部分的动作大小为规定的大小以上的帧图像确定为所述慢速再现帧部分。
10.根据权利要求I或2所述的运动图像处理装置，其特征在于，所述确定部还对构成该运动图像数据的各帧图像确定慢速再现的程度，所述处理部还根据由所述确定部确定的慢速再现的程度来改变对帧图像进行抽除的比例。
11.根据权利要求10所述的运动图像处理装置，其特征在于，所述处理部还按照根据所述规定的解析处理的结果，动作越大的帧图像抽除比例越小的方式，来对构成所述运动图像数据的多个帧图像中、由所述确定部确定的所述慢速再现帧部分的帧图像控制抽除率。
12.根据权利要求I或2所述的运动图像处理装置，其特征在于，所述处理部还通过所述抽除处理，基于由所述确定部确定的所述慢速再现帧部分以外的规定数量的帧图像，来生成以所述再现帧速率被再现的一个代表帧图像。
13.根据权利要求I或2所述的运动图像处理装置，其特征在于，还具备模式设定部，其选择性地设定记录通常的运动图像数据的第I运动图像记录模式、和记录与部分慢速再现相对应的运动图像数据的第2运动图像记录模式的任意一种；和控制部，其在通过该模式设定部设定了所述第2运动图像记录模式的情况下，控制为自动地设定比所述规定的再现帧速率高速的摄像帧速率来记录运动图像数据，并且由所述取得部取得该记录的运动图像数据来自动地执行所述确定部以及所述处理部的处理；在通过所述模式设定部设定了所述第I运动图像记录模式的情况下，控制为在以与所述规定的再现帧速率相同的摄像帧速率记录了运动图像数据之后，不自动地执行所述确定部以及所述处理部的处理。
14.一种运动图像处理方法，使用了运动图像处理装置，所述运动图像处理方法的特征在于，包含如下步骤取得以规定的摄像帧速率拍摄到的被摄体的运动图像数据的步骤；对取得的所述运动图像数据实施规定的解析处理，来在构成该运动图像数据的多个帧图像内，确定由作为慢速再现的对象的多个帧图像构成的慢速再现帧部分的步骤；和对构成所述运动图像数据的多个帧图像中、确定的所述慢速再现帧部分以外的规定数量的帧图像，以规定的比例进行抽除处理的步骤。
全文摘要
本发明的摄像装置(100)具备帧确定部(6b)，其对运动图像数据实施规定的解析处理，在构成该运动图像数据的多个帧图像内，确定由作为慢速再现的对象的多个帧图像构成的慢速再现帧部分；和抽除处理部(6c)，其以规定的比例，对构成运动图像数据的多个帧图像中、确定的慢速再现帧部分以外的规定数量的帧图像进行抽除处理。由此，即使用户在运动图像数据的摄影记录时不进行特别的操作，也可得到能够部分慢速再现的运动图像数据。
文档编号H04N5/783GK102611865SQ20121000173
公开日2012年7月25日 申请日期2012年1月5日 优先权日2011年1月20日
发明者大谷大辅 申请人:卡西欧计算机株式会社