专利名称：图像处理装置以及图像处理方法
技术领域：
本发明涉及一种处理运动图像(moving images)的图像处理装置和图像处理方法。
背景技术：
例如，在专利文献1(日本特开2008-182374号公报)中，记载了在再现的静止图像上，基于拍摄时存储的主被摄体的位置轨迹信息，将主被摄体像以位置轨迹信息表示的 时间序列顺序依次重叠显示的技术。然而，专利文献1中所记载的技术中，在静止图像上依次重叠显示的主被摄体像， 是从静止图像整体所切割出的一部分的静止图像。因此，专利文献1中所记载的技术，有无 法显示随着主被摄体的位置移动的被摄体自身的运动的问题。
发明内容
本发明目的在于，通过处理从实时取景图像所获得的运动图像，使得被摄体自身 的一部分的运动得以表示。为达到上述目的，本发明的一种方式为一种图像处理装置，其特征在于，包括被摄体运动信息生成单元，检测将运动图 像的画面区域分割而成的多个分割块各自当中的被摄体的运动，生成指定所述被摄体有运 动的所述分割块和该分割块中的所述被摄体的运动的被摄体运动信息；静止图像获取单 元，获取静止图像；静止图像处理单元，利用所述被摄体运动信息生成单元所生成的所述被 摄体运动信息，在所述静止图像获取单元所获取的所述静止图像上，根据所述被摄体运动 信息所指定的所述被摄体的运动，使所述被摄体运动信息所指定的所述分割块所对应的静 止图像块的画像移动。为达到上述目的，本发明的一种方式为一种图像处理方法，其特征在于，包括被摄体运动信息生成步骤，检测将运动图 像的画面区域分割而成的多个分割块各自当中的被摄体的运动，生成指定所述被摄体有运 动的所述分割块和该分割块中的所述被摄体的运动的被摄体运动信息；静止图像获取步 骤，获取静止图像；静止图像处理步骤，利用所述被摄体运动信息生成步骤所生成的所述被 摄体运动信息，在所述静止图像获取步骤所获取的所述静止图像上，根据所述被摄体运动 信息所指定的所述被摄体的运动，使所述被摄体运动信息所指定的所述分割块所对应的静 止图像块的画像移动。根据本发明，目的在于，通过处理从实时取景图像所获得的运动图像(moving images)，使得被摄体自身的一部分的运动得以表示。
图1是表示本发明的一实施方式所涉及的图像处理装置的各部分的关系的模块图。图2是表示本发明的一实施方式所涉及的图像处理装置的硬件构造图。图3是表示本发明的一实施方式所涉及的图像处理装置所进行的拍摄处理的流程图。图4是用于说明本发明的一实施方式所涉及的图像处理装置所进行的图像处理 的表示运动图像的视图。图5是表示本发明的一实施方式所涉及的图像处理装置所生成的被摄体运动信 息的一个例子的视图。图6是表示本发明的一实施方式所涉及的图像处理装置所生成的多个被摄体运 动信息(最终数据)的一个例子的视图。图7是表示本发明的一实施方式所涉及的图像处理装置所进行的再现处理的流 程图。图8表示用于说明本发明的一实施方式所涉及的图像处理装置所进行的静止图 像块的画像移动的视图。
具体实施例方式以下对本发明的一实施方式，参照附图进行说明。此外，本发明不限于下面的实施 方式和附图。在不改变本发明的要点的范围内，可以对下面的实施方式和附图追加变更，是 理所当然的。此外，本发明中，“运动图像”，也包括被摄体的运动为不连续的静止图像的集合。本实施方式所涉及的图像处理装置1为数码相机。此外，本发明所涉及的图像处 理装置，除数码相机之外，也可以通过计算机等其它装置而实现。如图1，图像处理装置1包括控制部10、拍摄部20、显示部30、输入部40和存储 部50。控制部10控制拍摄部20和显示部30。另外，控制部10将拍摄部20所拍摄的图 像作为实时取景图像，在显示部30上显示。另外，控制部10将基于存储部50中记录的图 像数据的图像，在显示部30上显示。另外，控制部10基于来自输入部40的操作信号，控制 拍摄部20和显示部30。另外，控制部10，具有被摄体运动信息生成部10A、静止图像获取部 IOB和静止图像处理部10C。控制部10所具有的所述各部分，进行后述的图像处理。拍摄部20基于控制部10的控制，对被摄体(拍摄部拍摄的对象)进行拍摄。显 示部30基于控制部10的控制，显示图像。输入部40将根据用户输入操作的操作信号，发 送至控制部10。存储部50存储图像数据和被摄体运动信息等各种数据。接下来，对图像处理装置1的硬件构造进行说明。如图2，图像处理装置1具有 CPU(中央处理器)11、透镜驱动部21、拍摄透镜22、光圈兼快门23、拍摄元件24、单元电路 25、驱动器26、TG(定时发生器)27、显示器31、按键输入装置41、存储器51、RAM(随机存取 存储器)52、快闪存储器53和总线90。此处，图1的控制部10是由根据图像处理程序进行处理的CPUll所构成的。图1 的拍摄部20，是由透镜驱动部21、拍摄透镜22、光圈兼快门23、拍摄元件24、单元电路25、 驱动器26和TG27所构成的。图1的显示部30是由显示器31所构成的。图1的输入部40是由按键输入装置41所构成的。图1的存储部50，是由存储器51、RAM52，和快闪存储器53所构成的。拍摄透镜22，是由对焦透镜和变焦透镜等构成的透镜组所组成的。构成透镜组的 多个透镜，各自与透镜驱动部21相连接。透镜驱动部21，由使对焦透镜和变焦透镜分别在光轴方向移动的电动机(图中未 示)、和基于从CPUll送来的控制信号分别使对焦电动机和变焦电动机驱动的电动机驱动 器(图中未示)所构成。光圈兼快门23包括驱动电路(图中未示)，该驱动电路基于从CPUl 1送来的控制 信号，使光圈兼快门23工作。该光圈兼快门23，发挥光圈和快门的功能。光圈是指控制从 拍摄透镜22进入的光量的装置；快门是指控制拍摄元件24的光照时间的装置。此处，拍摄 元件24的光照时间(曝光时间)，根据快门开关的速度(快门速度)而变化。另外，拍摄元 件24的曝光时间，根据所述光圈和快门速度而变化。拍摄元件24，例如由CXD (电荷耦合器件)图像传感器或是CMOS (互补型金属氧化 物半导体)图像传感器等而构成。拍摄元件24被驱动器26扫描驱动，每隔一定的周期，将 被摄体画像的RGB值的各色光强经光电转换作为拍摄信号输出至单元电路25。该单元电路 25和驱动器26的工作定时，通过TG27由CPUll而控制。此外，拍摄元件24具有拜耳排列 的彩色滤光片，也具有电子快门的功能。该电子快门的快门速度，通过驱动器26和TG27由 CPUll而控制。单元电路25与TG27相连接。单元电路25，由对拍摄元件24输出的拍摄信号进行 相关双采样并保持的CDS (相关双采样)电路、对采样之后的拍摄信号进行自动增益调整的 AGC(自动增益控制)电路、和将自动增益调整之后的模拟拍摄信号变换为数字信号的A/D 变换器所构成。拍摄元件24的拍摄信号，经单元电路25作为数字信号发送至CPU11。CPUll具有对单元电路25发来的数字信号(图像原始数据)，进行伽马校正、插值 处理、白平衡处理、直方图生成处理和亮度色差信号(YUV数据)的生成处理等图像处理的 功能。这样CPUll就是控制图像处理装置各部分的单片微机。尤其是，本实施方式中，CPUll 进行后述的图像处理。存储器51中，存放控制CPUll的各部分所必需的控制程序、使得CPUll进行后述 的图像处理的图像处理程序、和必要的数据。控制程序和图像处理程序在RAM52中展开。 CPUll根据在RAM52中展开的控制程序和图像处理程序而工作。尤其是，CPUll根据图像处 理程序进行后述的图像处理。RAM52由DRAM (动态随机存取存储器)或是SRAM (静态随机存取存储器)等构成。 RAM52作为临时存储由拍摄元件24拍摄之后送到CPUll的图像数据的缓冲存储器而使用。 另外，在RAM52中，展开控制程序和图像处理程序。另外，RAM52也作为CPUll的工作存储 器而使用。显示器31包括例如彩色IXD (液晶显示器)及其驱动电路。显示器31基于CPUll 的控制，在拍摄待机状态时，将由拍摄元件24所拍摄的被摄体作为实时取景图像而显示。 记录图像的再现时，显示器31基于CPUll的控制，显示由快闪存储器53中存储的图像数据 所生成的图像。快闪存储器53，是预先保存由拍摄元件24拍摄的图像的图像数据、和被摄体运动信息等的存储介质。按键输入装置41，包括可半按和全按两阶段操作的快门按钮、模式切换按键、十字 按键、变焦按键、和菜单按键等多个操作按键。根据用户的按键操作，将操作信号向CPUll 输出。总线90是传输与总线90相连接的各部分之间的交互数据的传输线路。此外，图1和图2的构成要素是一个图像处理装置1所具有的物件。然而，所述构 成要素的至少一部分的功能，也可以设置在图像处理装置1的外部。例如，显示部30 (显示 器31)也可以是设置在图像处理装置1的外部的物件(例如，计算机的显示器)。另外，存 储部50(存储器51、RAM52和快闪存储器53)的存储区域的至少一部分也可以由外部的装 置(例如服务器)所具有。另外，拍摄部20也可以是设置于图像处理装置1的外部的物件 (例如，相机(图像处理装置1为计算机的情况下)等)。图像处理程序，也可以通过因特网等通信线路下载至计算机。这样的情况下，该计 算机就成为了图像处理装置1。另外，图像处理程序，也可以与OS(操作系统)协同工作，使 CPUll进行后述的处理。另外，图像处理程序也可以记录于各种计算机可读存储介质(例 如，RAM、ROM、⑶-R、DVD-R、硬盘、或是快闪存储器)。图像处理程序是计算机可读程序，记录 该程序的存储介质，成为计算机程序产品。接下来，对本实施方式所涉及的图像处理装置1所进行的图像处理方法中的拍摄 处理，参照图3 6进行说明。此外，该拍摄处理，以图像处理装置1的用户(操作者)利 用输入部40进行规定操作时为契机而开始。例如，由用户操作输入部40 (例如，模式切换 按键)，在图像处理装置1设定静止图像拍摄模式，由此该处理开始。该拍摄处理是图像处 理装置1的控制部IO(CPUll)所进行的，而下面的说明中，则是控制部10所具有的被摄体 运动信息生成部10A、和静止图像获取部IOB进行处理，以下说明。另外，该拍摄处理，根据 用户对输入部40的操作，也有中途结束的情况。被摄体运动信息生成部10A，开始将实时取景图像在显示部30上显示(步骤 S101)。具体而言，被摄体运动信息生成部10A，使得拍摄部20开始对被摄体的拍摄处理。 然后，根据依次拍摄的帧图像的原始数据(图像原始数据)生成亮度色差信号的帧图像数 据。然后，生成的亮度色差信号的帧图像数据存储在缓冲存储器(RAM52)中。然后，将根据 存储的被摄体的帧图像数据所生成的图像在显示部30上显示。该处理时的帧频设为，例如 30fps (帧 / 秒)。被摄体运动信息生成部10A，设定n = 0和χ = 0的同时，进行消去本图像处理所 用的后述的中间数据等的初始化(步骤S102)。此处，η为指定帧图像的顺序的数值，χ为 指定后述的运动信息中所包括的共同运动方向的反转次数的数值。被摄体运动信息生成部10Α，判断输入部40所具有的快门按钮是否处于半按的状 态(S103)。当输入部40所具有的快门按钮由用户半按时，输入部40将该半按所对应的操 作信号向被摄体运动情报生成部IOA输出。被摄体运动信息生成部IOA在该操作信号被送 到时，判断快门按钮处于半按状态。被摄体运动信息生成部IOA判断快门按钮处于半按状态的时候(步骤S103 是)，进入步骤S104的处理。另外，被摄体运动信息生成部IOA判断快门按钮不是处于半按状态 (例如，未被半按，或是半按解除)的时候(步骤103 否)，回到步骤S102的处理。这样，被摄体运动信息生成部IOA待机，直到由用户将快门按钮半按为止。另外，被摄体运动信息生成部IOA在半按在步骤S104至步骤S118之间解除的时候，回到本拍摄处理的开始状态 (步骤 S102)。被摄体运动信息生成部10A，判断上述步骤SlOl中说明的帧图像数据是否生成 (步骤S104)。被摄体运动信息生成部10A，在帧图像数据生成了的情况下(步骤S104 是)， 进入步骤S105。另外，被摄体运动信息生成部10A，在帧图像数据还未生成的情况下(步骤 S104:否)，返回步骤S104。这样，被摄体运动信息生成部IOA待机，直到帧图像数据生成为止。被摄体运动信息生成部10A，令η = η+1，将第η号的帧图像数据作为中间数据，保 存(记录)于存储部50(工作存储器(RAM52))(步骤S 105)。这样，在快门在被半按的状 态下，每当经过上述的帧频，第1、第2、...第n-2、第n-1、第η的帧时期(帧图像数据生成 的时期)依此顺序到来。这样，第1、第2、...第n-2、第n-1、第η的帧时期中生成的帧图 像数据，分别成为第1号、第2号、...第n-2号、第n-1号、第η号的帧图像数据。换言之， 第η个帧时期到来时，就记录第η号的帧图像数据。此外，被摄体运动信息生成部10Α，将第 η号的帧图像数据依次保存在存储部50中，而此时，也可以将第n-2号的帧图像数据删除。 由此，可实现处理的高效化。第η号的帧图像数据的图像，在例如显示在显示部30上。被摄体运动信息生成部10Α，判断η是否是2以上(步骤S106)。换言之，被摄体 运动信息生成部10Α，判断存储部50中是否保存了 2个以上的帧图像数据(第2号之后的 帧图像有无生成)。被摄体运动信息生成部10Α，在η不足2的情况下(步骤S106 否)，由于无法进 行后述的帧图像数据比较，返回步骤S103。被摄体运动信息生成部10Α，在η为2以上的情 况下(步骤S106 是)，由于能够进行后述的帧图像数据比较，所以进入步骤S107。被摄体运动信息生成部10Α，将在存储部50中保存的第n-1号的帧图像数据，与 第η号的帧图像数据作比较，生成第η号的被摄体运动信息Vi (η)(步骤S107)。该处理的 具体例子参照图4至5进行说明。此外，为了容易理解，利用帧图像数据的图像(帧图像) 对上述处理进行说明，被摄体运动信息生成部10Α，将与此对应的处理，在数据的基础上利 用帧图像数据进行。如图4，帧图像被分割为150个(数值可恰当决定。)分割块100。此外，图4的分 割块100内的数字，是用于指定分割块100的位置的数字(例如，1的话，是第1号分割块 100)，而不是构成帧图像的数字(即被摄体的一部分)。此处，被摄体的一部分的竹叶的集合110和111，由于风等的影响，分别同样左右 往复运动(参照图4的虚线箭头)。将第n-1号和第η号的帧图像相比较，由于分割块100 内的被摄体，也就是竹叶(例如，第22和23号的分割块100)是左右运动的，所以分割块 100内的竹叶(被摄体)成为运动的。另外，例如第1号的分割块100的被摄体成为不动 的。此处，将第n-1号和第η号的帧图像相比较，指定各分割块100内的被摄体运动信息。 该运动信息可由公知的方法算出。作为公知的方法，有例如光流法。另外，作为运动信息的 例子例如有运动矢量。这样得到的运动信息的集合，成为被摄体运动信息Vi (η)(参照图5)。此处，被摄 体运动信息Vi (η)是对指定各分割块100的信息、各分割块100的运动信息分别建立关联而得到的信息。指定各分割块100的信息，是图5中的Vl (η)至V150(n)。此处Vi (η)的i， 是分割块的号码。例如，Vl(n)由于i = 1，表示第1号的分割块。指定各分割块100的信 息，只要是能指定各分割块的信息就可以，例如，也可以是指定与分割块的位置对应的号码 的信息。另外，运动信息例如是在帧图像的横向为χ轴、帧图像的纵向为y轴时(参照图4 的坐标轴)在χ方向和y方向上画像有多少移动的信息。换言之，运动信息例如是可以指 定在分割块100内的被摄体的运动方向和被摄体移动距离的信息。例如，图5中表示了运 动信息是x = 10、y = l的状态。此外，χ和y的数值为像素的数目。此外，与χ方向180 度的相反的方向上，χ的值成为负数。另外，与y方向180度的相反的方向上，y的值成为负 数。如图5，第22号的分割块100中，V22(n)中表示χ = 10、y = 1，也就是第22号的分割 块100中的被摄体为，χ方向上只移动了 10个像素、y方向上只移动了 1个像素。此外，运 动信息也可以表示被摄体不动的情况。这样的情况下，表示为χ = 0、y = 0(例如参照图5 的 Vl (η))。被摄体运动信息生成部10Α，将被摄体运动信息Vi (η)作为中间数据，保存于存储 部50 (工作存储器(RAM52))。这样，被摄体运动信息生成部10Α，将存储部50中保存的第 η-1号的帧图像数据，与第η号的帧图像数据相比较，按照每块，生成并记录第η号的被摄 体运动信息Vi (η)，该第η号的被摄体运动信息Vi (η)用来指定运动信息，该运动信息用来 指定各分割块100中的被摄体的运动。此外，指定被摄体的运动，是指除了将被摄体的运动 唯一指定以外，还包括将被摄体的运动指定在某个范围的情况。例如，被摄体在χ = 0. 6 L4、y = 0.6 1.4的范围内运动的情况下，该运动信息设为χ = Uy = 1。这样，也可以 将被摄体的运动指定在某个范围。被摄体运动信息生成部10A，基于被摄体运动信息Vi (η)，将指定被摄体运动的共 同方向的共同运动方向D(n)作为中间数据生成，保存于存储部50(工作存储器(RAM52)) (步骤S108)。所谓共同运动方向，是指分割块100各自的运动信息中所包括的被摄体的运 动方向(可从上述χ和y的值指定)当中，指定的最为共同的被摄体的运动方向。此外，运 动方向为共同，是指运动方向相互完全一致，或是相互在规定范围内(例如，士5度)的情 况。将相互在规定范围内(例如，士5度)的方向作为共同方向的情况下，例如，将其规定 范围的中心方向作为共同方向。将相互在规定范围内(例如，士5度)的方向作为共同方 向的情况下，例如，将360度分割为36份，指定分割的各自范围(10度的范围)中的运动方 向的数目，将最多的运动方向所属的范围的中心方向作为共同的方向。通过被摄体运动信 息生成部IOA生成共同运动方向，可以指定被摄体的至少一部分在图像整体中，主要向哪 个方向移动。尤其本实施方式，适用于拍摄由于风等，被摄体的一部分(尤其是多个部分) 大体由共同的运动而往复运动的情况。被摄体运动信息生成部10A，判断是否η彡3 (步骤S109)。在η不足3的情况下 (步骤S109 否)，被摄体运动信息生成部IOA返回步骤S103的处理。在η为3以上的情 况下(步骤S109 是)，被摄体运动信息生成部10Α，进入步骤S110。这样，被摄体运动信息 生成部IOA反复步骤S103至S109，直到获得3个以上的帧图像数据为止。如果可以获得3 个以上的帧图像数据，就可以判别后述的共同运动方向的反转。被摄体运动信息生成部10Α，将第η号的D(n)，与第η-1号的D(n-l)相比较(步骤S110)。具体而言，被摄体运动信息生成部10A，将存储部50中保存的D(η)与D(n_l)各自所指定的方向作比较。被摄体运动信息生成部10A，判断第η号的D(n)所指定的方向，与第n_l号的 D(n-l)所指定的方向相比是否反转(步骤S111)。例如，被摄体运动信息生成部10A，判断 D(η)所指定的方向，与D(n-l)所指定的方向是否是相反的方向。如果相反，则反转D(n)； 如果不相反，则不反转D(n)。此外，相反的方向，是指除了与D(n-l)所指定的方向成180度 相反的方向之外，也可以是以180度相反的方向为中心的规定范围内的方向(例如从中心 方向起5度的范围内的方向)。被摄体运动信息生成部IOA判断第η号的D (η)所指定的方 向反转的情况下(步骤Slll 是)，进入步骤S112，设定χ = χ+1。由此，对共同运动方向的 反转次数进行计数。另外，被摄体运动信息生成部10Α，判断第η号的D (η)所指定的方向没 有反转的情况下(步骤Slll 否)，进入步骤S113。这样，被摄体运动信息生成部10Α，根据 共同运动方向的反转数，可以对被摄体中的至少一部分的主要部分在图像整体中有几次反 转进行计数。被摄体运动信息生成部10Α，判断是否是χ≥1 (步骤Sl13)。χ = 1的时候，是从快门被半按时起、共同运动信息所指定的方向第一次反转的时候。此时，被摄体从往复运动 的中心到了位移最大之处。从该位移最大的时候起，通过捕捉被摄体的往复运动，可以得知 往复运动的周期。另外，由此，也可以高效捕捉被摄体的往复运动。被摄体运动信息生成部10Α，判断χ≥1的情况下(步骤S113 是)，在第η号的 被摄体运动信息Vi (η)(从所有的分割块100指定的运动信息的集合)当中，仅仅将与共同 运动信息Vm(n)类似的运动信息保存在存储部50 (工作存储器(RAM52))(步骤S114)。换 言之，步骤S114中，被摄体运动信息生成部10A，仅仅对与共同运动信息Vm(η)类似的运动 信息所指定的分割块100，将指定的运动信息照原样保存于存储部50。另一方面，步骤S114 中，被摄体运动信息生成部10Α，对与共同运动信息Vm(η)不类似的运动信息所指定的分割 块100，不将指定的运动信息照原样保存于存储部50，而作为运动信息，将χ = 0，y = 0保 存于存储部50。此处，共同运动信息Vm(η)，是指例如第η号的被摄体运动信息Vi (η)中， 方向和大小(可以由上述的χ和y的值指定)相互一致的运动信息之中，一致数目最多的 运动信息。另外，所谓的与共同运动信息Vm(n)类似的运动信息，是指在第η号的被摄体运 动信息Vi(n)当中，其方向为共同运动信息Vm(n)的方向的规定范围内(例如，士5度)，且 其大小为共同运动信息Vm(n)的大小的规定范围之内(例如，士5%)的运动信息。这样， 指定与共同运动信息相类似的运动信息(对于共同运动信息在规定范围内的运动信息(与 往复运动所对应的运动信息))的被摄体运动信息Vi (η)，作为最终数据被记录。此外，反复进行的步骤S114中，被摄体运动信息生成部10Α，将被摄体运动信息 Vi (η)，按时间序列，也就是说，η的值的顺序在存储部50中保存。另外，被摄体运动信息生 成部10Α，在不是χ ^ 1的时候(步骤S113 否)，以在捕捉被摄体的往复运动的时期还未 到来，进入步骤Sl 18。被摄体运动信息生成部10Α，判断是否χ≥3 (步骤Sl 15)。被摄体运动信息生成 部10Α，判断χ ^ 3的情况下(步骤Sl 15 是)，将作为最终数据记录的最小的η所对应的被 摄体运动信息Vi(n)从存储部50中删除(步骤S116)。另外，被摄体运动信息生成部10A， 在判断为不是χ彡3的情况下(步骤S115 否)，进入步骤S118。这样，通过将在χ≥1之 后起χ ≥3之前的η所对应的被摄体运动信息Vi (η)作为最终数据记录于存储部50，可获得一个周期的η (帧数)所对应的被摄体运动信息Vi (η)。另外，对于χ≥3之后的η，通过将最小的η所对应的被摄体运动信息Vi (η)从存储部50中删除，可以获得最新的一个周期 的被摄体运动信息。这样，可以高效地获得一周期的被摄体运动信息。被摄体运动信息生成部10Α，将处理结束的意思的显示在显示部30上显示。这样， 被摄体运动信息生成部10Α，通知用户第一图像处理已结束的意思(S117)。也就是说，被摄 体运动信息生成部10Α，通知用户可以再现在静止图像上附加了往复运动的图像的意思。被摄体运动信息生成部10Α，判断输入部40所具有的快门按钮是否全按(S118)。 在输入部40所具有的快门被用户全按时，输入部40将该全按所对应的操作信号向被摄体 运动信息生成部IOA输出。被摄体运动信息生成部IOA在该操作信号被送到时，判断为快 门按钮被全按。被摄体运动信息生成部IOA在判断被全按时(步骤S118 是)，进入步骤 Sligo另外，被摄体运动信息生成部IOA在判断为未被全按时(步骤S118:否)，返回步骤 S103。这样，被摄体运动信息生成部IOA重复上述处理，直到用户拍摄静止图像。被摄体运动信息生成部IOA在判断为被全按时(步骤S118 是)，静止图像获取部 10Β，获取来自被摄体运动信息生成部IOA的第η号的帧图像数据，该数据作为最终数据的 静止图像(静止图像数据)，保存于存储部50 (工作存储器(RAM52))(步骤S119)。然后， 被摄体运动信息生成部10A，将存储部50中保存的静止图像数据(拍摄部所获取的静止图 像)与存储部中作为最终数据保存的时间序列顺序的被摄体运动信息Vi (η)相关联，作为 最终数据记录于存储部50 (快闪存储器53)。如图6，时间序列顺序的多个被摄体运动信息，由从η = min开始到η = max为止 的被摄体运动信息的集合构成。此处，η = min的被摄体运动信息，是指作为最终数据的多 个被摄体运动信息Vi (η)中最旧的(η的值为最小)，n = max的被摄体运动信息，是指最新 的(η的值为最大)。接下来，对本实施方式所涉及的图像处理装置1所进行的图像处理方法当中的再 现处理，参照图7至8进行说明。此外，该再现图像处理，以图像处理装置1的操作者使用 输入部40进行规定的操作时作为契机而开始。例如，用户操作输入部40 (例如，模式切换 按键等)在图像处理装置设定规定的静止图像的再现时，该处理开始。此时，控制部10根 据存储部50中作为最终数据记录的静止图像数据生成静止图像，在显示部30上显示。此 夕卜，该再现处理由图像处理装置1的控制部IO(CPUll)进行，而下面的说明中，是以静止图 像处理部IOC进行处理，下面进行说明。另外，该再现处理，根据用户对输入部40的操作， 也有中途结束的情况。静止图像处理部10C，设定η = min,开始η的计数(步骤S201)。静止图像处理部10C，从存储部50中，获取根据所述静止图像数据而记录的被摄 体运动信息当中η所对应的被摄体运动信息，指定该被摄体运动信息当中大于0的值的运 动信息(例如，χ或y的至少一个不是0的运动信息)(步骤S202)。例如，图6中，η = min 的情况下，指定V22(n)和V23(n)的运动信息。此外，被摄体运动信息，也可以从存储部50 的RAM52中多个地读出，也可以从步骤S202至S204的每次处理一个一个读出。静止图像处理部10C，指定所述的η所对应的被摄体运动信息当中大于0的值的 运动信息所对应的分割块100(步骤S203)。例如，图6中，η = min的情况下，指定V22 (η) 和V23(n)等所对应的分割块100。
静止图像处理部10C，将在步骤S203中所指定的各分割块100所对应的各静止图 像块在静止图像上指定，该指定的各静止图像块内的画像按照原样，根据步骤S202中所指 定的各运动信息而移动。例如，图6中，η = min的情况下，仅仅将V22 (η)和V23 (η)等所 对应的各分割块100各自对应(例如位置和形状相同)的各静止图像块的画像，以V22 (η) 和V23(n)等的各运动信息所指定的移动方向和移动距离(例如，χ方向上10个像素，y方 向上1个像素)，在显示部30上显示的静止图像上移动。对于该静止图像块的画像的移动，参照图8进行更为详细的说明。图8的各静止 图像块200A至2001，与分割块100 (参照图4)有着相同的形状，位置也是相同的位置。静 止图像块200E(实施了影线的块)内的画像，基于所述运动信息，例如图8那样移动。此外， 此处是一个静止图像块200E在移动，而即使是多个静止图像块的移动，移动的原理也是相 同的。如图8，静止图像块200E的画像201 (实施了影线的区域)移动时，会形成空白区 域202 (涂满黑色的区域)。因此，需要将空白区域202用一些画像填补。静止图像处理部10C，例如通过以下的方法，将空白区域202填充。首先，指定空白 区域202所邻接的静止图像块200D、200F、和200H的各像素数据(例如亮度色差值)。接 下来，算出移动后的画像201的像素数据、静止图像块200D的像素数据、200F的像素数据、 和200H的像素数据的平均值(例如亮度色差值)。将算出的平均值作为该空白区域202的 像素数据。静止图像处理部IOC这样填充空白区域202。静止图像处理部10C，判断是否是η = max(步骤S205)。如果n = max(步骤 S205 是)，根据一周期的被摄体的运动信息，进行静止图像块的画像的移动，所以进入步 骤S206。由此，在显示部30上所显示的静止图像的被摄体的至少一部分就在静止图像上作 了一次往复运动。另外，静止图像处理部10C，在η = maX不成立时(步骤S205 否)，设η =η+1 (步骤S207)，返回步骤S202。由此，就有显示部30上显示的静止图像的被摄体的至 少一部分，在静止图像上作1次往复运动为止，进行静止图像上的再现。静止图像处理部10C，设定η = min (步骤S206)，判断根据对输入部40具有的规 定的操作按键的操作有无再现结束的指示(步骤S208)。用户使用输入部40操作再现结 束时，输入部40向静止图像处理部IOC输出再现结束所对应的操作信号。静止图像处理部 10C，在该操作信号送到时，判断为有再现结束的指示。静止图像处理部10C，在判断为有再 现结束的指示时(步骤S208:是)，结束再现处理。另外，静止图像处理部10C，在判断为没 有再现结束的指示时(步骤S208:否)，重复上述再现处理。由此，静止图像的被摄体的至 少一部分会往复运动多次。上述说明的处理(例如参照上述的步骤S107、S114、S116等)，是被摄体运动信息生成部IOA所进行的检测分割运动图像(moving images)的图像区域而成的多个分割块 100的各自当中的被摄体的运动，生成用来指定被摄体中有运动的分割块100和此分割块 100中的运动信息的被摄体运动信息的处理的一例。此外，被摄体运动信息，可以是例如指 定被摄体中有运动的分割块100和此分割块100中的被摄体的运动的信息。也可以是，例 如由指定分割块100的分割块指定信息(例如，取得图5的V22(n)等的分割块100的位置 等的数据)，和运动指定信息(例如，表示χ = 10,y = 1的数据)所组成的数据。另外，上 述所说明的处理(例如参照步骤S119)，是静止图像获取单元IOB所进行的获取静止图像的处理的一个例子。另外，上述所说明的处理(例如参照步骤S202 204等)，是静止图像处 理单元IOC所进行的，利用被摄体运动信息生成单元IOA所生成的被摄体运动信息，在静止 图像获取单元IOB获取的静止图像上，使得被摄体运动信息所指定的分割块100所对应的 静止图像块的画像201，根据被摄体运动信息所指定的被摄体的运动而移动的处理的一个 例子。此外，上述实施方式中，静止图像处理单元10C，在显示部30上显示静止图像进行处 理，而该处理也可以不在显示部30上表示而在数据上进行。此外，使得静止图像块的画像201，根据被摄体运动信息所指定的被摄体的运动而 移动，是指使画像201以与被摄体运动信息所指定的被摄体的运动相同的运动而移动，或 是虽不同但在规定的范围内按规定的方法而移动。上述内容中，使画像201作与被摄体运 动信息所指定的被摄体的运动相同的运动。另外，上述实施方式中，静止图像是在最后获取的，然而也可以在拍摄处理的最初 获取静止图像。换言之，静止图像获取手段IOB所获取的静止图像(静止图像数据)，也可 以是n= 1时的帧图像(数据)。这样的情况下，被摄体运动信息从η = 1开始依次作为最 终数据记录至存储部50。另外，这样的情况下，也可以不检测被摄体的往复运动。也可以生 成规定期间的η个被摄体运动信息Vi (η)，在静止图像上，根据生成的η个被摄体运动信息 Vi (η)所指定的运动信息，将静止图像块内的画像移动。如本说明的本实施方式(也适当包括上述说明的变形例，下同)中，生成指定被摄 体中有运动的分割块100和此分割块100中的运动信息的被摄体运动信息，在静止图像上， 使得被摄体运动信息所指定的分割块100所对应的静止图像块的画像201，根据被摄体运 动信息所指定的被摄体的运动而移动。由此，本实施方式所涉及的图像处理装置1，即使被 摄体在相同的位置上持续不动，也可以仅用一幅静止图像，将成为被摄体的一部分的少数 区域的运动再现。另外，由于仅用一幅静止图像数据，就可以表示被摄体的至少一部分的运 动，所以在表示被摄体的运动的时候，就不需要由多个静止图像数据所构成的数据量大的 运动图像数据。其结果，可以抑制图像数据的数据量的同时，还可以获得能够显示自身一部 分在相同位置不动的被摄体的运动的图像。另外，可以将运动图像(moving images)处理 为可以只表示被摄体的一部分的运动。另外，可以提供由于使得静止图像块内的画像整体 移动而给予新的印象的图像。进一步地，可以再现各自分离的多个区域的被摄体的运动。另外，本实施方式中，拍摄处理中生成被摄体运动信息的时候，仅仅将与共同运动信息Vm(η)类似的运动信息保存至存储部50中，对于与共同运动信息Vm(η)不类似的运动 信息所指定的分割块100，作为运动信息，将χ = 0、y = 0保存入存储部50。由此，只有拍 摄处理时与共同运动信息Vm(η)类似的运动信息所指定的分割块100中被拍的被摄体(例 如，图4所示竹叶的运动)的运动，才在再现处理时在静止图像上表示。因此，与共同运动 信息Vm(η)有很大差异的运动信息所指定的分割块100中被拍的被摄体(例如，图中未示， 与图4所示的竹叶的运动相比，以非常快的速度直线移动的汽车)的运动，在再现处理时在 静止图像上不作表示。由此，在再现处理中，只要作周期性往复运动的被摄体(上述的竹叶 等)的运动信息，与共同运动信息类似，就只将此被摄体的周期性的往复运动在静止图像 上反复再现，而不作周期性的往复运动的被摄体(上述的汽车等)的运动则不被再现。其 结果是，可以避免带给用户在拍摄处理时不作周期性运动的被摄体，在再现处理时的静止 图像上作周期性运动的不协调感。
另外，也可以在拍摄处理中生成被摄体运动信息的时候，将在所有分割块100中 指定的运动信息按照原样保存至存储部50，在再现处理开始之后，确认所有的分割块100 的各自的运动信息在一个周期的往复运动(Vi(min) Vi (max))中有无反转，将运动信息 没有反转的分割块100的运动信息，变为χ = 0、y = 0，也就是运动信息的大小变为0。这 样的话，即使是拍摄处理时有运动的分割块中所拍的被摄体，例如该被摄体不是作周期性 往复运动，而是直线移动的情况下，在再现处理时，该直线移动的被摄体(例如，上述的汽 车等)的运动也不会被再现。由此，可以避免带给用户在拍摄处理时不作周期性运动的被 摄体，在再现处理时的静止图像上作周期性运动的不协调感。此处，确认分割块100的各 自的运动信息在一周期的往复运动中是否有反转的方法，在分割块100的各自当中，依次 确认在时间序列上邻接的运动信息所表示的各自的方向，在该时间序列上邻接的运动信息 所表示的各自的方向，如果相反的话，将反转在时间序列上邻接的运动信息；如果不相反的 话，则不反转在时间序列上邻接的运动信息。此外，相反的方向，是指除了在时间序列上邻 接的运动信息各自所表示的方向相互180°相反之外，也可以是以在时间序列上邻接的运 动信息所表示的各自方向相互180°相反的方向为中心的规定的范围内的方向(例如从中 心方向5度范围内的方向)。如以上例子所述，被摄体运动信息生成部10A，检测分割运动图像(moving images)而成的多个分割块100的各自当中的被摄体的运动，基于运动信息检测运动图像 (moving images)的被摄体的往复运动，生成多个与检测到的所述往复运动的周期(一个 周期的)对应的且指定与往复运动所对应的运动信息(例如，也可以是上述的类似的运动 信息，或是上述共同运动信息，或是其他的运动信息)的被摄体运动信息，静止图像处理部 10C，也可以只使用所述被摄体运动信息生成部IOA所生成的多个被摄体运动信息当中的 对应于往复运动的运动信息，在静止图像获取单元所获取的静止图像上，根据运动信息所 指定的所述被摄体的运动，使得静止图像块的画像作移动。另外，上述说明的处理(例如，参照上述步骤S107、SllU S114和S116等)，是被摄体运动信息生成部IOA进行的检测将运动图像(movingimages)的画面区域分割而成的 多个分割块的各自当中的被摄体的运动，基于运动信息而检测运动图像(moving images) 的被摄体的往复运动，而生成多个与检测到的往复运动的周期对应的被摄体运动信息的处 理的一个例子。此外，所谓的周期，是指半周期的整数倍的周期。“生成多个与往复运动的 周期对应的被摄体运动信息”是指，例如生成多个关于所述周期内的被摄体的运动的被摄 体运动信息。此外，上述实施方式中，周期为一个周期，而在为半个周期的情况下，也可以在 步骤S115中判断是否χ > 2。就这样，在周期改变的情况下，例如，只要改变步骤S115中的 χ的值即可。另外，上述说明的处理(例如，参照上述步骤S202至S206、和S207等)，是静 止图像获取单元IOC进行的，利用被摄体运动信息生成单元IOA所生成的多个被摄体运动 信息，在静止图像上，根据运动信息使得静止图像块的画像依次移动的处理的一个例子。此 夕卜，在往复运动的周期为半个周期的倍数的情况下，在再现处理中，则两次以上进行例如步 骤S202至S207。另外，在第偶数次的处理中，将运动信息反转，使得静止图像块的画像201 移动。由此，可以进行合适的往复运动。由此，本实施方式中，通过检测并利用往复运动，可 以更加高效地表示被摄体的往复运动。上述说明的处理(例如，步骤S111)，是利用在运动信息中包括的被摄体的运动方向的反转来检测往复运动的处理的一个例子。这样，本实施方式中，可以更加高效地检测往 复运动。另外，上述说明的处理(例如，参照步骤Sl 14至步骤S116等)，是所述被摄体运动 信息生成单元IOA进行的、生成多个从与所述拍摄部拍摄所述静止图像的时期起追溯的往 复运动的周期对应的所述被摄体运动信息的处理的一个例子。由这样的处理，可以显示被 摄体的最新的往复运动。这对于往复运动为衰减的运动的情况有效。此外，作为运动图像(moving images)之外的例子，也可以利用被摄体的运动为不连续的静止图像的集合进行上述处理。另外，运动图像(movingimages)也可以是事先拍 摄、保存好的。
权利要求
一种图像处理装置，其特征在于，包括被摄体运动信息生成单元，检测将运动图像的画面区域分割而成的多个分割块各自当中的被摄体的运动，生成指定所述被摄体有运动的所述分割块和该分割块中的所述被摄体的运动的被摄体运动信息；静止图像获取单元，获取静止图像；和静止图像处理单元，利用所述被摄体运动信息生成单元所生成的所述被摄体运动信息，在所述静止图像获取单元所获取的所述静止图像上，根据所述被摄体运动信息所指定的所述被摄体的运动，使所述被摄体运动信息所指定的所述分割块所对应的静止图像块的画像移动。
2.根据权利要求1所述的图像处理装置，其特征在于所述被摄体运动信息，是在每一个所述分割块，使指定所述被摄体的运动的运动信息 相关联。
3.根据权利要求1所述的图像处理装置，其特征在于所述被摄体运动信息生成单元，检测将所述运动图像的画面区域分割而成的多个分 割块各自当中的被摄体的运动，基于所述运动信息而检测所述运动图像的被摄体的往复运 动，而生成多个与检测到的所述往复运动的周期对应的所述被摄体运动信息；所述静止图像处理单元，利用所述被摄体运动信息生成单元所生成的多个所述被摄体 运动信息，在所述静止图像上，根据所述运动信息依次使所述静止图像块的画像移动。
4.根据权利要求3所述的图像处理装置，其特征在于利用所述运动信息中所包括的被摄体的运动方向的反转，而检测所述往复运动。
5.根据权利要求3所述的图像处理装置，其特征在于进一步包括拍摄部；所述静止图像，是由所述拍摄部所拍摄的；所述被摄体运动信息生成单元，生成多个与从所述拍摄部拍摄所述静止图像的时期起 追溯的往复运动的周期对应的所述被摄体运动信息。
6.根据权利要求1所述的图像处理装置，其特征在于进一步包括拍摄部；所述运动图像和所述静止图像，是所述拍摄部所拍摄的；
7.根据权利要求1所述的图像处理装置，其特征在于进一步包括显示部；所述静止图像处理单元，使所述显示部显示所述静止图像，在所述显示部上所显示的 所述静止图像上，使所述静止图像块的画像移动。
8.根据权利要求1所述的图像处理装置，其特征在于所述被摄体运动信息生成单元，检测将所述运动图像的画面区域分割而成的多个分 割块各自当中的被摄体的运动，基于所述运动信息而检测所述运动图像的被摄体的往复运 动，生成多个与检测到的所述往复运动的周期对应的且指定与所述往复运动对应的所述运 动信息的所述被摄体运动信息；所述静止图像处理单元，仅利用所述被摄体运动信息生成单元所生成的多个所述被摄 体运动信息当中的所述往复运动所对应的所述运动信息，在所述静止图像获取单元所获取的所述静止图像上，根据所述运动信息所指定的所述被摄体的运动，使所述静止图像块的 画像移动。
9. 一种图像处理方法，其特征在于，包括被摄体运动信息生成步骤，检测将运动图像的画面区域分割而成的多个分割块各自当 中的被摄体的运动，生成指定所述被摄体有运动的所述分割块和该分割块中的所述被摄体 的运动的被摄体运动信息；静止图像获取步骤，获取静止图像；和静止图像处理步骤，利用所述被摄体运动信息生成步骤所生成的所述被摄体运动信 息，在所述静止图像获取步骤所获取的所述静止图像上，根据所述被摄体运动信息所指定 的所述被摄体的运动，使所述被摄体运动信息所指定的所述分割块所对应的静止图像块的 画像移动。
全文摘要
一种图像处理装置，包括被摄体运动信息生成单元，检测将运动图像的画面区域分割而成的多个分割块各自当中的被摄体的运动，生成指定所述被摄体有运动的所述分割块和该分割块中的所述被摄体的运动的被摄体运动信息；静止图像获取单元，获取静止图像；和静止图像处理单元，利用所述被摄体运动信息生成单元所生成的所述被摄体运动信息，在所述静止图像获取单元所获取的所述静止图像上，根据所述被摄体运动信息所指定的所述被摄体的运动，使所述被摄体运动信息所指定的所述分割块所对应的静止图像块的画像移动。
文档编号H04N5/14GK101841654SQ20101013022
公开日2010年9月22日 申请日期2010年3月5日 优先权日2009年3月6日
发明者牧野哲司 申请人:卡西欧计算机株式会社