动态图像生成装置和动态图像生成方法

专利名称：动态图像生成装置和动态图像生成方法
技术领域：
本发明涉及生成动态图像的动态图像生成装置和动态图像生成方法。
背景技术：
在动态图像摄影中存在进行摇摄的情况，摇摄是在使照相机的摄影方向上下左右 地摇摆的同时进行摄影。在摇摄时，有时会因使照相机摇摆时的手的运动等而导致照相机 发生晃动。因此，用户难以进行期望的摄影。为了防止照相机的晃动，还考虑到将照相机 安装在三脚架或电动云台等上进行摇摄。然而，三脚架及云台不便于用户携带。并且，在 使用三脚架或云台等的情况下，虽然抑制了照相机的晃动，但是，由于三脚架或云台的摩擦 阻力的原因，从而用户很难以能获得平稳的摇摄效果的速度或加速度来改变照相机的摄影 方向。为了解决这样的课题，提出了日本特开2006-115323号公报的方式。在日本特开 2006-115323号公报中，在一边进行摇摄一边拍摄动态图像时，根据照相机的实际摇摄速 度与基准摇摄速度之间的比较结果，将取得的动态图像的摇摄速度校正为接近基准摇摄速 度。这里，在日本特开2006-115323号公报等的现有摇摄中，用户需要在实际操作中 一边使照相机的摄影方向在上下左右方向上摇摆一边进行摄影。这样的照相机操作有可能 使用户感到不便。

发明内容
本发明的目的在于，提供可通过简单的操作来获得流畅的摇摄效果的动态图像生 成装置和动态图像生成方法。在本发明的第1方式中，提供了一种动态图像生成装置，该动态图像生成装置具 有显示图像的图像显示部；部分图像确定部，其确定与显示在所述图像显示部上的所述 图像中的多个点分别对应的预定范围的部分图像；部分图像切取部，其从由所述部分图像 确定部确定的多个部分图像中的任意2个部分图像之间切取多个部分图像；以及动态图像 生成部，其根据由所述部分图像确定部确定的多个部分图像、和由所述部分图像切取部切 取出的多个部分图像，生成动态图像。在本发明的第2方式中，提供了一种动态图像生成方法，该动态图像生成方法包 括以下步骤由部分图像确定部确定与显示在图像显示部上的图像中的多个点分别对应的 预定范围的部分图像；由部分图像切取部从由所述部分图像确定部确定的多个部分图像中 的任意2个部分图像之间切取多个部分图像；以及由动态图像生成部根据由所述部分图像 确定部确定的多个部分图像以及由所述部分图像切取部切取出的多个部分图像，生成动态 图像。


图1是示出作为本发明各实施方式的动态图像生成装置的一例的数字照相机的3结构的图。图2A、图2B、图2C是用于说明本发明第1实施方式的动态图像生成装置的动作概 要的图。图3是示出在本发明第1实施方式中、由摄像部获得的摄影图像与实际记录到记 录部内的图像之间的关系的图。图4是示出本发明第1实施方式的照相机的动态图像生成方法的流程的流程图。图5是示出速度V判定处理的流程图。图6是示出剪裁范围确定处理的流程图。图7A、图7B是示出剪裁范围的图。图8是示出在本发明第2实施方式中、由摄像部获得的摄影图像与实际记录到记 录部内的图像之间的关系的图。图9是示出本发明第2实施方式的照相机的动态图像生成方法的流程的流程图。图10是示出本发明第2实施方式的照相机的动态图像再现方法的流程的流程图。图11是示出表情变化量的时间变化与再现的脸部图像之间的关系的图。图12A、图12B、图12C、图12D是用于说明本发明第3实施方式的动态图像生成装 置的动作概要的图。图13是示出在本发明第3实施方式中获得的迁移图像的结构的图。图14是示出本发明第3实施方式的照相机的动态图像生成方法的流程的流程图。图15A、图15B是用于说明本发明第4实施方式的动态图像生成装置的动作概要的 图。图16是示出本发明第4实施方式的照相机的动态图像生成方法的流程的流程图。
具体实施例方式下面，参照附图来说明本发明的实施方式。[第1实施方式]首先，说明本发明的第1实施方式。图1是示出作为本发明各实施方式的动态图 像生成装置的一例的数字照相机(以下简记为照相机)的结构的图。图1所示的照相机 100具有控制部101、摄像部102、脸部检测部103、图像显示部105、区域指定部106、操作 部107、记录部108、以及时钟部109。控制部101是统一控制照相机100的各模块的动作的控制电路。控制部101根据 用户对区域指定部106或操作部107的操作，进行摄像部102、脸部检测部103、图像显示部 105等的动作控制。另外，控制部101具有表情判别部201、剪裁控制部202、手指滑动判别部203、以 及图像处理部204。表情判别部201根据脸部检测部103检测出的脸部图像来判别被摄体的表情。剪 裁控制部202将动态图像摄影时由摄像部102获得的图像的预定范围确定为剪裁范围，切 取出所确定的剪裁范围内的部分图像。手指滑动判别部203判别区域指定部106中的手指 滑动操作的有无和手指滑动速度(方向和速度)。由剪裁控制部202和手指滑动判别部203 实现作为部分图像确定部的功能和作为部分图像切取部的功能。图像处理部204进行针对4由摄像部102获得的图像的图像处理。该图像处理例如包括针对由摄像部102获得的图像 的颜色校正处理、灰度校正处理、压缩处理(静态图像压缩或动态图像压缩)、针对压缩后 的图像的解压缩处理等。并且，图像处理部204具有用于记录后述的剪裁范围的位置等各 种数据的临时记录部2041。临时记录部2041例如由RAM构成。摄像部102具有镜头、光圈、摄像元件等。摄像部102根据控制部101的控制来拍 摄被摄体，取得被摄体的图像。这样的摄像部102与控制部101 —起具有作为动态图像生 成部的功能。脸部检测部103检测由摄像部102获得的图像中的脸部(脸部图像)。脸部 检测部103通过从图像中检测例如眼、鼻、口等的脸部内的部分的阴影来检测脸部图像。脸 部检测部103的脸部检测结果被用于摄像部102中的镜头的焦点调节等。如上所述，表情判别部201根据脸部检测部103检测出的脸部图像来判别被摄体 的表情。该表情判别部201具有脸部部分与表情之间的关系数据作为数据库，通过将脸部 检测部103检测出的脸部图像的各脸部部分与数据库进行对照来判别表情。图像显示部105例如是设于照相机100背面的液晶显示器(IXD)或有机电致发光 显示器(OELD)等显示部。图像显示部105在控制部101的控制下显示由摄像部102获得 的图像等各种图像。区域指定部106例如是与图像显示部105 —体地构成的触摸面板，是用于指定图 像显示部105的显示画面上的任意点的操作部。该区域指定部106检测用户的手指等对图 像显示部105的显示画面的接触，将与检测位置对应的信号输出到控制部101。控制部101 通过识别来自区域指定部106的信号，来识别对图像显示部105的显示画面上的哪个点进 行了接触。另外，在区域指定部106的被用户手指等接触的点连续变化的情况下，控制部 101的手指滑动判别部203判别为进行了手指滑动操作，进而判别该手指滑动速度(方向和 速度)。操作部107是区域指定部106以外的各种操作部。该操作部107包括电源按钮、 释放按钮、变焦开关、模式转盘(mode dial)等。电源按钮是用于指示照相机100的电源的 接通或断开的操作部。释放按钮是用于指示照相机100的摄影(取得记录用图像)的操作 部。变焦开关是用于指示摄像部102的镜头的变焦驱动的操作部。模式转盘是用于将照相 机的动作模式切换到摄影模式(静态图像、动态图像)或再现模式的操作部。记录部108记录由控制部101获得的记录用图像。记录部108例如是在照相机 100上拆装自如的存储卡。时钟部109计测摄影日期等各种时间。下面，说明作为本发明第1实施方式的动态图像生成装置的一例的照相机100的 动作。在本实施方式中，可通过简单的操作来获得具有流畅的摇摄效果的动态图像。当照相机100的动态图像摄影开始时，进行摄像部102的连续摄像，通过该连续摄 像获得的动态图像被显示在图像显示部105上并被记录到记录部108内。这里，在用户的 手指301接触到图像显示部105的显示画面上的任意点的情况下，由脸部检测部103检测 该点附近的脸部图像。当进行了脸部检测部103的脸部检测时，脸部图像的位置被记录到 临时记录部2041内。并且，在该期间内仍继续摄像部102的连续摄像，在随着该连续摄像 而显示在图像显示部105上的动态图像内的由用户指定的点附近的脸部图像上，重叠地显 示图2A所示的表示剪裁范围的框10 。然后，在用户的手指301接触到图像显示部105的显示画面上的其他点的情况下，脸部检测部103检测该点附近的脸部图像。当进行了脸部检测部103的脸部检测时，脸部 图像的位置被记录到临时记录部2041内。并且，在该期间内仍继续摄像部102的连续摄 像，在随着该连续摄像而显示在图像显示部105上的动态图像内的由用户指定的点附近的 脸部图像上，重叠地显示图2B所示的表示剪裁范围的框10恥。然后，用户如图2C所示那样使手指301在显示画面上朝任意方向A滑动。由此， 进行剪裁摄影，生成具有用户期望的摇摄效果的动态图像。这里，对剪裁摄影进行说明。图3是示出在第1实施方式中、由摄像部102获得的 摄影图像与实际记录到记录部108内的图像之间的关系的图。如图3所示，从动态图像摄 影开始的定时Tl到剪裁摄影开始前(进行手指滑动操作前)的定时T3，由摄像部102获得 的摄影图像的整体被记录到记录部108内。在图3中，在定时Tl和定时T3进行了点的指 定，分别指定的点的附近的脸部图像的位置被记录到临时记录部2041内。从进行了手指滑动操作的定时T4起，开始剪裁摄影。在剪裁摄影中，首先，在定时 T4，在由摄像部102获得的摄影图像中，切取与由用户指定的第1个点的脸部图像(框10 内的脸部图像)对应的部分图像。该切取出的部分图像被放大到与此前记录到记录部108 内的摄影图像相同的尺寸而被记录到记录部108内。在下一定时T5，切取从框10 的位 置朝A方向迁移了预定距离的位置的部分图像。该切取出的部分图像也被放大到与整体图 像相同的尺寸而被记录到记录部108内。此后以同样的方式，在使切取位置朝A方向依次 迁移预定距离的同时，切取部分图像，切取出的部分图像被放大地记录到记录部108内。然 后，在框10 的位置的部分图像被切取出且被记录到记录部108内的定时T8，结束剪裁摄 影。其结果，在第1实施方式中最终记录到记录部108内的动态图像是由以下图像合 并而成的在进行手指滑动操作前的定时(在图3中是定时Tl T3)的期间内由摄像部 102获得的整体图像；根据第1个点的指定而确定的部分图像(框10 内的脸部图像)；通 过剪裁摄影而依次获得的部分图像组(称为迁移图像)；以及根据第2个点的指定而确定 的部分图像(框10 内的脸部图像)。这里，在从定时T4到定时T8的期间内记录到记录 部108内的图像是这样的图像该图像好像是在从框10 的位置朝向框10 的位置的方 向(进行了手指滑动操作的方向)上使照相机100进行摇摄摄影而成的。与通常的摇摄不 同，在取得这些图像的期间内，照相机100未发生移动。因此，能够生成具有比通常的摇摄 更流畅的摇摄效果的动态图像。图4是示出本发明第1实施方式的照相机100的动态图像生成方法的流程的流程 图。图4的动作是在由用户指示了执行动态图像摄影的时点(例如在动态图像摄影模式中 由用户按下了释放按钮的时点)开始的。当动态图像摄影开始时，控制部101使摄像部102的动作开始。然后，控制部101 对由摄像部102取得的摄影图像整体实施图像处理，然后，将通过图像处理而获得的图像 记录到记录部108内(步骤S101)。并且，与开始动态图像摄影相伴，使时钟部109开始计 时。在记录摄影图像后，控制部101根据区域指定部106的输出，判定用户是否在图像 显示部105的显示画面上执行了位置指定(步骤S102)。在步骤S102的判定中，在进行了 位置指定的情况下，控制部101使用脸部检测部103来检测由用户指定的位置附近的脸部图像。然后，控制部101判别由脸部检测部103检测出的脸部图像的中心位置(XI，Yl)和 大小。这里，中心位置(X1，Y1)例如是将脸部图像视为圆形时的中心位置。该位置(Χ1，Υ1) 例如是将图像显示部105的显示画面的左上端的点设定为(0，0)时的相对位置。另外，大 小是指将脸部图像设为圆形时的直径。在计算出中心位置(XI，Υ1)和大小后，控制部101 根据脸部图像的大小来设定剪裁范围的大小。该剪裁范围的大小是按照如下方式计算的， 即剪裁范围比脸部图像的大小大且其纵横比例如与图像显示部105的显示画面的纵横比 相等。在计算出中心位置和剪裁范围后，控制部101将中心位置(XI，Υ1)和剪裁范围的大 小(例如长边长度Dl)记录到临时记录部2041内。另外，控制部101将表示剪裁范围的矩 形状的框10 显示在图像显示部105的显示画面上的位置(XI，Yl)处(步骤S103)。接着，控制部101根据区域指定部106的输出，判定用户是否在图像显示部105的 显示画面上进行了位置指定(步骤S104)。在步骤S104的判定中，在进行了位置指定的情 况下，控制部101使脸部检测部103检测由用户指定的位置附近的脸部图像。然后，控制部 101判别由脸部检测部103检测出的脸部图像的中心位置(X2，Y》和大小。在计算出中心 位置和剪裁范围后，控制部101将中心位置(Χ2，Υ2)和剪裁范围的大小(例如长边长度D2) 记录到临时记录部2041内。另外，控制部101将表示剪裁范围的矩形状的框10 显示在 图像显示部105的显示画面上的位置(X2，Y2)处(步骤S105)。然后，控制部101判定是否已指定了 2个点的位置(步骤S106)。在步骤S106的 判定中，在并非已指定了 2个点的位置的情况下，控制部101根据时钟部109的计时结果， 判定是否经过了预定时间(3秒左右)(步骤S107)。在步骤S107的判定中，在经过了预定 时间的情况下，控制部101清除临时记录部2041中的记录内容(步骤S108)。然后，处理返 回到步骤S101，控制部101继续画面整体的动态图像摄影。另一方面，在步骤S107的判定 中，在未经过预定时间的情况下，跳过步骤S108的处理，处理返回到步骤S101。另外，在步骤S106的判定中，在已指定了 2个点的位置的情况下，控制部101判定 是否开始了用户的手指滑动操作(步骤S109)。这里，手指滑动操作是否开始是通过判定 在已指定2个点的状态下用户的手指等是否接触到图像显示部105的显示画面来判定的。 即，在检测出用户的手指等的接触的情况下，判定为开始了手指滑动操作。在步骤S109的 判定中，在未开始手指滑动操作的情况下，处理转移到步骤S107。另一方面，在步骤S109的 判定中，在开始了手指滑动操作的情况下，控制部101进行用于判定手指滑动速度V的速度 V判定处理(步骤Sl 10)。这里，参照图5来说明速度V判定处理。在速度V判定处理中，在已指定了 2个点 的状态下用户的手指等接触到图像显示部105的显示画面的情况下，控制部101将该接触 位置Pl判别为手指滑动操作的开始位置(步骤S201)。另外，在将手指滑动方向仅设为X方 向的情况下，仅判别Pl的X坐标即可。然后，控制部101判定是否经过了预定时间At(0.5 秒左右)(步骤S202)。在步骤S202的判定中，在尚未经过预定时间At的情况下，控制部 101进行步骤S202的判定，同时待机。另外，在步骤S202的判定中，在经过了预定时间At的情况下，控制部101将该时 点下的接触位置P2判别为手指滑动操作的结束位置(步骤S20;3)。然后，根据Pl的位置、 P2的位置以及At，按照下式来计算手指滑动速度V (步骤S204)。V = (P2-Pl)/At(式 1)7
另外，上式中的V的标号表示手指滑动方向。这里，返回图4继续进行说明。在速度V判定处理后，控制部101判定手指滑动方 向是否是从Xl朝向X2的方向(在图2C的例子中是A方向)(步骤S111)。在步骤Slll的 判定中，在手指滑动方向是从Xl朝向X2的方向的情况下，控制部101将表示剪裁摄影中的 部分图像的切取起始点的参数(Xm，Ym)设定为(X1，Y1)(步骤S112)。而且，控制部101将 表示剪裁摄影中的部分图像的切取结束点的参数( , )设定为(X2，Y2)(步骤S113)。并 且，在步骤Slll的判定中，在手指滑动方向是从Χ2朝向Xl的方向的情况下，控制部101将 表示剪裁摄影中的部分图像的切取开始位置的参数(Xm，Ym)设定为(X2，Y2)(步骤S114)。 然后，控制部101将表示剪裁摄影中的部分图像的切取结束位置的参数OCn，Yn)设定为 (XI，Yl)(步骤 S115)。这里，步骤Slll 步骤S115的处理是假设手指滑动操作的轨迹为沿着X方向的 直线时的处理。实际上，手指滑动方向可以是与图像显示部105的显示画面平行的任意方 向。在后述的第3实施方式中将说明将手指滑动方向设为任意时的处理。在设定了表示部分图像的切取起始点和切取结束点的参数后，控制部101进行用 于将部分图像的切取范围确定为剪裁范围的剪裁范围确定处理(步骤S116)。参照图6来说明剪裁范围确定处理。在图6中，控制部101根据下式来确定用于 确定切取位置的增量的参数ΔΧ、八￥(步骤3301)。Δ X = (Xn-Xm) /NΔ Y = (Yn-Ym) /N(式 2)其中，N是与切取位置的分辨率相当的值。该N可根据由用户指定的2点间的距离 或摄像部102的帧速率而变化。并且，N也可以设为固定值。这里，为简化说明，假设N = 10。在确定Δ X、Δ Y后，控制部101在用于设定表示部分图像的切取位置的参数(Xk， Yk)的寄存器等内设定初始位置(Xm，Ym)(步骤S302)。控制部101根据下式来确定用于确定剪裁范围的增量的参数AD(步骤S303)。AD= (D2-D1)/N(式 3)其中，N使用与(式2)的N相同的值。在确定了 AD后，控制部101将初始值Dl 设定为表示剪裁框的长边长度的参数Dk (步骤S304)。控制部101将中心位置为(Xk，Yk)且长边长度为Dk的矩形范围作为剪裁范围而 记录到临时记录部2041内(步骤S305)。控制部101判定所设定的(Xk，Yk)是否已变为 (Xn, Yn)(步骤 S306)。在S306的判定中判定为(Xk, Yk)未变为(Xn, Yn)时，控制部101将(Xk+ΔX, Yk+Δ Y)设定为新的(Xk，Yk)(步骤S307)。并且，将(Dk+AD)设定为新的(Dk)(步骤S308)。 然后，处理返回到步骤S305。另外，在步骤S306的判定中，在位置0(k，Yk)变为了( !, ) 的情况下，控制部101结束图6的处理。这样，有N个剪裁范围的信息被记录到临时记录部 2041 内。图7A是示出通过剪裁范围确定处理而确定的剪裁范围的例子的图。剪裁范围确 定处理的结果为，如图7A所示，与框10 对应的剪裁范围是中心位置为(XI，Yl)且长边 长度为Dl的矩形区域。并且，如图7A所示，与框10 对应的剪裁范围是中心位置为(X2，Y2)且长边长度为D2的矩形区域。并且，框10 和框10 这2个点之间的剪裁范围的位 置和大小可通过利用了框10 和框105b的位置和大小的线性插值来求取。即，在框10 和框10 这2个点之间的剪裁范围中，分别形成了中心位置在X方向上依次错开Δ X且在 Y方向上依次错开ΔΥ、同时长边长度依次变化AD的矩形区域。另外，在图6的处理中，是使剪裁范围的长边长度以依次增大AD的方式从Dl变 到D2。与此相对，例如也可以如图7Β所示，在手指滑动操作前设定剪裁范围的大小。例如 可采用这样的方式当检测出手指301在B方向上张开以放大图像显示部105的显示画面 上显示的框10 和框10 中的一方(在图7B中是框105a)的这样的操作时，根据放大后 的框1051a与放大前的框10 之间的放大率来确定与框1051a对应的剪裁范围的大小和 与框1051b对应的剪裁范围的大小。在该情况下，例如，将Dl设为放大后的框1051a的长 边长度，将D2设为使放大前的框10 的长边长度与放大后的框1051a的长边长度之比乘 以放大前的框10 的长边长度而得的长度。以下，返回图4继续进行说明。在确定了各部分图像的剪裁范围后，控制部101使 剪裁摄影开始(步骤S117)。在该剪裁摄影中，每隔预定时间At，将剪裁范围的位置和大 小依次变更为在剪裁范围确定处理中分别确定的剪裁范围的位置和大小，同时从由摄像部 102获得的图像中切取属于剪裁范围的部分图像，并将其记录到记录部108内。这里，预定 时间At根据手指滑动速度V来确定。例如，At根据下式来确定。At= (X2-X1) /V(式 4)在剪裁摄影开始后，控制部101判定是否响应于用户的操作而指示了动态图像摄 影的结束(步骤S118)。作为该动态图像摄影的结束指示，例如可想到释放按钮的按下操作 等。在步骤S118的判定中，在指示了动态图像摄影结束的情况下，控制部101结束图4的 处理。另一方面，在步骤S118的判定中，在未指示动态图像摄影结束的情况下，控制部101 判定用户是否进行了反向滑动操作(步骤S119)。这里，反向滑动操作是指朝与步骤S109 中的手指滑动操作相反方向的手指滑动操作。在步骤S119的判定中，在未进行反向滑动操 作的情况下，处理返回到步骤S118，控制部101再次判定是否进行了动态图像摄影的结束 指示。另一方面，在步骤S119的判定中，在进行了反向滑动操作的情况下，处理返回到步骤 S101。由此，从响应于剪裁摄影而仅记录由摄像部102获得的图像中的一部分的状态恢复 到记录由摄像部102获得的图像整体的状态。如上所述，根据第1实施方式，能够在不使照相机100自身进行摇摄的情况下，利 用仅使手指等在图像显示部105的显示画面上移动这样的简单操作，来生成与摇摄相同效 果的动态图像。并且，由于无需使照相机100自身进行摇摄，因而还能获得流畅的摇摄效^ ο这里，在第1实施方式中，由于并不是使照相机100自身进行摇摄，因而在剪裁摄 影的时点只能在摄像部102取得的范围的图像内进行剪裁摄影。因此，例如也可采用这样 的方式预先设定剪裁摄影用的模式作为动态图像摄影的模式之一，在设定了剪裁摄影用 的动态图像摄影模式的情况下，相比于通常的动态图像摄影模式，能够预先取得视场角更 宽的图像。这样的处理可通过使摄像部102具有变焦镜头并将该变焦镜头驱动到广角侧来 实现。[第2实施方式]
下面说明本发明的第2实施方式。在第1实施方式中，在进行了点的指定之后，在 进一步进行手指滑动操作之前不执行剪裁摄影。因此，难以通过剪裁摄影来捕捉从进行了 点的指定的时点起到进行手指滑动操作的期间内的被摄体的表情。而第2实施方式中，可 通过剪裁摄影来捕捉从指定了点的时点起的被摄体的表情。另外，照相机100的结构与在 第1实施方式中所说明的结构相同，因而省略说明。图8是示出在第2实施方式中、由摄像部102获得的摄影图像与实际记录到记录 部108内的图像之间的关系的图。在图8的例子中，在动态图像摄影开始的定时Tl进行第 1个点的指定。在该时点指定的点的附近的脸部图像(框10 内的脸部图像)被记录到临 时记录部2041内。之后，在进行手指滑动操作之前，框10 内的脸部图像被记录到临时记 录部2041内。然后，在图8的例子中，在定时T3进行第2个点的指定。在该时点指定的点的附 近的脸部图像(框10 内的脸部图像)也被记录到临时记录部2041内。之后，在进行手 指滑动操作之前，框10 内的脸部图像也被记录到临时记录部2041内。从进行了手指滑动操作的定时T4起开始剪裁摄影。该剪裁摄影与第1实施方式 相同。但是，在第2实施方式中，最终记录到记录部108内的动态图像是是由以下图像合并 而成的在进行手指滑动操作前的定时(在图8中是定时Tl T3)的期间内由摄像部102 获得的整个图像；在进行了第1个点的指定的定时(在图8中是定时Tl)被确定并依次获 得的部分图像(框10 内的脸部图像)；从进行了手指滑动操作的定时起依次获得的部分 图像组(迁移图像)；以及在进行了第2个点的指定的定时(在图8中是定时T3)被确定 并依次获得的部分图像(框10 内的脸部图像)。图9是示出本发明第2实施方式的照相机100的动态图像生成方法的流程的流程 图。另外，图9与图4大致相同。因此，在图9中，对与图4相同的步骤标注与图4相同的 步骤编号而省略说明。即，图9与图4的不同之处仅在于追加了步骤S1031和步骤S1051， 步骤S1031是将在步骤S103中检测出的位置的脸部图像记录到临时记录部2041内，步骤 S1051是将在步骤S105中检测出的位置的脸部图像记录到临时记录部2041内。图10是示出第2实施方式的方法中的动态图像再现方法的流程的流程图。在再 现如图8所示那样记录的动态图像时，控制部101从记录部108中读出该动态图像并进行 解压缩处理。然后，将解压缩后的动态图像依次显示在图像显示部105上。此时，首先，控 制部101将与定时Tl对应的整个图像显示在图像显示部105的显示画面上(步骤S501)。 在显示整个图像后，控制部101判定接下来显示的图像是否是与第1个点的位置对应的脸 部图像(步骤S5(^)。在步骤S502的判定中，在接下来显示的图像不是与第1个点的位置 对应的脸部图像的情况下，处理转移到步骤S512。另外，在步骤S502的判定中，在接下来显示的图像是与第1个点的位置对应的脸 部图像的情况下，控制部101将与该第1个点的位置对应的脸部图像显示在图像显示部105 的显示画面上(步骤S503)。然后，控制部101判定在与第1个点的位置对应的脸部图像 中，相对于本次显示的脸部图像的表情，接下来应显示的脸部图像的表情变化量是否较大 (步骤S504)。另外，这里的表情变化量，是指例如眼、鼻、口等各个脸部部分的像素数据相 对于前一个脸部图像的变化的合计量。在步骤S504的判定中，在与之前显示的脸部图像相 比、接下来的脸部图像的表情变化量较大的情况下，处理返回到步骤S503，控制部101将该接下来的脸部图像显示在图像显示部105的显示画面上。另一方面，在步骤S504的判定 中，在与之前显示的脸部图像相比、接下来的脸部图像的表情变化较小的情况下，结束与第 1个点的位置对应的脸部图像的显示。在该情况下，处理转移到步骤S505。S卩，当将图11 的纵轴中的表情1表示为与第1个点的位置对应的表情变化量在时间上的变化时，控制部 101使得仅显示从进行了第1个点的指定的定时Tpl起获得的脸部图像中的、在表情1的变 化量大的期间Tfl内获得的脸部图像。在结束了与第1个点的位置对应的脸部图像的显示后，控制部101判定在手指滑 动前的定时获得的与第2个点的位置对应的脸部图像中是否存在表情变化量大的脸部图 像(步骤S5(^)。在步骤S505的判定中，在手指滑动前的定时获得的与第2个点的位置对 应的脸部图像中存在表情变化量大的脸部图像的情况下，控制部101将迁移图像依次显示 在图像显示部105的显示画面上(步骤S506)，然后，将在手指滑动前的定时获得的与第2 个点的位置对应的脸部图像中、表情变化量大的脸部图像显示在图像显示部105的显示画 面上(步骤S507)。然后，控制部101判定在手指滑动前的定时获得的与第2个点的位置 对应的脸部图像中、相对于本次显示的脸部图像的表情，接下来应显示的脸部图像的表情 变化量是否较大(步骤S508)。在步骤S508的判定中，在相对于之前显示的脸部图像、接 下来的脸部图像的表情变化量较大的情况下，处理返回到步骤S507。在该情况下，控制部 101将接下来的脸部图像显示在图像显示部105的显示画面上。另一方面，在步骤S508的 判定中，在相对于之前显示的脸部图像、接下来的脸部图像的表情变化较小的情况下，结束 与第2个点的位置对应的脸部图像的显示。在该情况下，处理转移到步骤S512。S卩，当将图 11的纵轴中的表情2表示为与第2个点的位置对应的表情变化量在时间上的变化时，控制 部101使得仅显示在从指定了第2个点的定时Tp2到进行了手指滑动操作的定时Ts的期 间内获得的脸部图像中的、在表情2的变化量大的期间Tf2内获得的脸部图像。另外，在步骤S505的判定中，在手指滑动前的定时获得的与第2个点的位置对应 的脸部图像中不存在表情变化量大的脸部图像的情况下，控制部101将迁移图像依次显示 在图像显示部105的显示画面上(步骤S509)，然后，将在手指滑动后的定时获得的与第2 个点的位置对应的脸部图像中、表情变化量大的脸部图像显示在图像显示部105的显示画 面上(步骤S510)。然后，控制部101判定在手指滑动后的定时获得的与第2个点的位置对 应的脸部图像中、相对于本次显示的脸部图像的表情、接下来应显示的脸部图像的表情变 化量是否较大(步骤S511)。在步骤S511的判定中，在相对于之前显示的脸部图像、接下 来的脸部图像的表情变化量较大的情况下，处理返回到步骤S510。在该情况下，控制部101 将接下来的脸部图像显示在图像显示部105的显示画面上。另一方面，在步骤S511的判定 中，在相对于之前显示的脸部图像、接下来的脸部图像的表情变化较小的情况下，结束与第 2个点的位置对应的脸部图像的显示。在该情况下，处理转移到步骤S512。S卩，当将图11 的纵轴中的表情2表示为与第2个点的位置对应的表情变化量在时间上的变化时，控制部 101使得仅显示进行了手指滑动操作的定时Ts以后获得的脸部图像中的、在表情2的变化 量大的期间内获得的脸部图像。在步骤S502的判定中、在接下来显示的图像不是与第1个点的位置对应的脸部图 像的情况下，或者在步骤S508、S511之后，控制部101判定是否结束动态图像的再现(步骤 S512)。在步骤S512的判定中，在继续动态图像的再现的情况下，处理返回到步骤S501。另11一方面，在步骤S512的判定中，在结束动态图像的再现的情况下，控制部101结束图10所 示的处理。如上所述，在第2实施方式中，也能够在不使照相机100自身进行摇摄的情况下， 利用仅使手指等在图像显示部105的显示画面上进行移动这样的简单操作，来生成与摇摄 相同效果的动态图像。并且，由于无需使照相机100自身进行摇摄，因而还能获得流畅的摇 摄效果。而且，根据第2实施方式，从点的指定到进行手指滑动操作的期间内的被摄体的 表情也能作为部分图像而得到。并且，在再现时，对于与第1个点的位置对应的脸部图像和 与第2个点的位置对应的脸部图像，仅显示表情变化量大的脸部图像。因此，能够降低仅显 示相同图像的可能性。在第2实施方式中，一并记录了与第1个点的位置对应的部分图像(脸部图像)、 迁移图像、以及与第2个点的位置对应的部分图像(脸部图像)。因此，在将声音与动态图 像一起记录时，很难将动态图像与声音准确同步地进行记录。因此，在第2实施方式中，可 以不进行声音记录。或者，可以通过在再现时使声音快进等来使动态图像与声音同步。[第3实施方式]接着，说明本发明的第3实施方式。在所述的第1和第2实施方式中，是根据用户 指定的2个点的位置来确定剪裁范围并依次切取部分图像。与此相对，在第3实施方式中， 是根据由用户指定的3个点以上的位置来确定剪裁范围并依次切取部分图像。另外，由于 照相机100的结构与在第1实施方式中所说明的结构相同，因而省略说明。下面，说明作为本发明第3实施方式的动态图像生成装置的一例的照相机100的 动作。当照相机100的动态图像摄影开始时，与第1实施方式一样，进行摄像部102的连 续摄像，通过该连续摄像而获得的动态图像被显示在图像显示部105上并被记录到记录部 108内。这里，在用户的手指301接触到图像显示部105的显示画面上的任意一点的情况 下，脸部检测部103检测该点附近的脸部图像。当进行了脸部检测部103的脸部检测时，脸 部图像的位置被记录到临时记录部2041内。并且，在该期间内仍继续摄像部102的连续摄 像，在随着该连续摄像而显示在图像显示部105上的动态图像上，重叠地显示图12A所示的 将脸部图像包围的框10fe。然后，在用户的手指301接触到图像显示部105的显示画面上的其他点的情况下， 脸部检测部103检测该点附近的脸部图像。当进行了脸部检测部103的脸部检测时，脸部图 像的位置被记录到临时记录部2041内。并且，在该期间内仍继续摄像部102的连续摄像， 在随着该连续摄像而显示在图像显示部105上的动态图像上，重叠地显示图12B所示的将 脸部图像包围的框10恥。然后，在用户的手指301又接触到图像显示部105的显示画面上 的其他点的情况下，脸部检测部103检测该点附近的脸部图像。当进行了脸部检测部103 的脸部检测时，脸部图像的位置被记录到临时记录部2041内。并且，在该期间内仍继续摄 像部102的连续摄像，在随着该连续摄像而显示在图像显示部105上的动态图像上，重叠地 显示图12C所示的将脸部图像包围的框105c。然后，用户如图12D所示那样使手指301在显示画面上朝任意方向C滑动。由此， 进行剪裁摄影，如图13所示，获得迁移图像，该迁移图像包括与框10 的位置对应的部分图像、与框10 的位置对应的部分图像、以及与框105c的位置对应的部分图像。图14是示出本发明第3实施方式的照相机100的动态图像生成方法的流程的流 程图。当动态图像摄影开始时，控制部101使摄像部102的动作开始。然后，控制部101 对由摄像部102取得的摄影图像整体实施图像处理，然后，将通过图像处理而获得的摄影 图像记录到记录部108内(步骤S601)。然后，与开始动态图像摄影相伴，控制部101使时 钟部109开始计时。在记录摄影图像后，控制部101将表示点的指定次数的参数L设定为1(步骤 S602)。然后，控制部101根据区域指定部106的输出，判定用户是否在图像显示部105的 显示画面上进行了位置指定(步骤S603)。在步骤S603的判定中，在进行了位置指定的情 况下，控制部101使L加1(步骤S604)，然后，通过脸部检测部103来检测由用户指定的位 置附近的脸部图像。然后，控制部101判别由脸部检测部103检测出的脸部图像的中心位 置(Xn, Yn)和大小。然后，将中心位置(Xn, Yn)和剪裁范围的大小(例如长边长度Dn)记 录到临时记录部2041内。并且，控制部101将表示剪裁范围的矩形状的框显示于图像显示 部105的显示画面上的位置0(n，Yn)处(步骤S605)。然后，控制部101根据区域指定部106的输出，判定是否开始了用户的手指滑动操 作(步骤S606)。另外，这里的手指滑动操作是否开始的判定是通过判定用户的手指等在图 像显示部105的显示画面上的接触位置是否连续变化来进行的。在步骤S606的判定中，在 手指滑动操作未开始的情况下，控制部101根据时钟部109的计时结果，判定是否经过了预 定时间(3秒左右)(步骤S607)。在步骤S607的判定中，在经过了预定时间的情况下，控制 部101清除临时记录部2041中的记录内容(步骤S608)。然后，处理返回到步骤S601，控 制部101继续整个画面的动态图像摄影。另一方面，在步骤S607的判定中，在尚未经过预 定时间的情况下，跳过步骤S608的处理，处理返回到步骤S601。即，在第3实施方式中，在 经过预定时间之前可指定3个点以上的多个点的位置。另外，在步骤S608的判定中，在手指滑动操作已开始的情况下，控制部101进行用 于判定手指滑动速度V的速度V判定处理(步骤S610)。该速度V判定处理与图5中所说 明的处理相同，因而省略说明。在判定手指滑动速度V(方向和速度)后，控制部101判定 用户的手指滑动操作是否结束(步骤S611)。另外，手指滑动操作是否结束的判定是通过在 手指滑动操作开始后判定用户的手指等对图像显示部105的显示画面的接触是否被解除 来进行的。在步骤S611的判定中，在手指滑动操作未结束的情况下，处理返回到步骤S610， 控制部101再次进行手指滑动速度V的判定。即，在第3实施方式中，在用户的手指滑动操 作解除之前，判定每单位时间At秒内的手指滑动速度V。由此，能够判定直线以外的手指 滑动操作的轨迹(从手指滑动操作的起始点到结束点的位置变化方向和位置变化量)。在步骤S611的判定中，在手指滑动操作已结束的情况下，控制部101进行剪裁范 围确定处理(步骤S6U)。该剪裁范围确定处理的基本处理流程与图6所示的流程相同。但 是，不同之处在于使用于确定切取位置增量的参数ΔΧ、ΔΥ双方进行增减；以及以通过步 骤S605中记录到临时记录部2041内的全部指定点的位置的方式，进行剪裁范围确定处理。 例如，在如图12Α所示指定了框10 105c这3个点的情况下，进行框10 与框10 这 2个点之间的剪裁范围确定处理、以及框10 与框105c这2个点之间的剪裁范围确定处13理。在确定了各部分图像的剪裁范围后，控制部101使剪裁摄影开始(步骤S613)。该 剪裁摄影也与在第1实施方式中说明的剪裁摄影同样地进行。在剪裁摄影开始后，控制部 101判定是否响应于用户的操作而指示了动态图像摄影的结束(步骤S614)。在步骤S614 的判定中，在指示了动态图像摄影结束的情况下，控制部101结束图14的处理。另一方面， 在步骤S614的判定中，在未指示动态图像摄影结束的情况下，控制部101判定用户是否进 行了反向滑动操作(步骤S615)。在步骤S615的判定中，在未进行反向滑动操作的情况下， 处理返回到步骤S614，控制部101再次判定是否进行了动态图像摄影的结束指示。另一方 面，在步骤S615的判定中，在进行了反向滑动操作的情况下，处理返回到步骤S601。由此， 从响应于剪裁摄影而仅记录由摄像部102获得的图像中的一部分的状态恢复到记录由摄 像部102获得的图像整体的状态。如上所述，根据第3实施方式，即使指定点的数量为3个点以上、且手指滑动的轨 迹为直线以外，也能生成与摇摄相同效果的动态图像。并且，无需使照相机100自身进行摇 摄，因而还能获得流畅的摇摄效果。[第4实施方式]接着，说明本发明的第4实施方式。在所述第1 第3实施方式中，是由用户指定 图像显示部105的显示画面上的点，然后，在进行了手指滑动操作的时点进行剪裁摄影。与 此相对，在第4实施方式中，仅通过手指滑动操作即可进行剪裁摄影。另外，照相机100的 结构与在第1实施方式中说明的结构相同，因而省略说明。下面，说明作为本发明第4实施方式的动态图像生成装置的一例的照相机100的动作。当照相机100的动态图像摄影开始时，进行摄像部102的连续摄像，通过该连续 摄像而获得的动态图像被显示在图像显示部105上并被记录到记录部108内。这里，在第 4实施方式中，在开始动态图像摄影的同时进行脸部检测部103的脸部检测，该脸部检测的 结果是，如图15A所示，以与显示在图像显示部105的显示画面上的各脸部图像分别对应的 方式，进行框10 105d的显示。用户例如如图15B的A方向所示那样，以将框10 105d的多个点连接的方式使手指301滑动。由此，进行剪裁摄影，生成具有用户期望的摇摄 效果的动态图像。图16是示出本发明第4实施方式的照相机100的动态图像生成方法的流程的流 程图。这里是假设通过手指滑动将2个框连接的情况。当动态图像摄影开始时，控制部101使摄像部102的动作开始。然后，控制部101 对由摄像部102取得的摄影图像整体实施图像处理，然后，将通过图像处理而获得的图像 记录到记录部108内。并且，控制部101使脸部检测部103检测由摄像部102取得的摄影 图像中的脸部图像。然后，控制部101将框显示在由脸部检测部103检测出的各脸部图像 上(步骤S701)。并且，与开始动态图像摄影相伴，控制部101使时钟部109开始计时。在进行了摄影图像记录以及框的显示后，控制部101根据区域指定部106的输出， 判定用户的手指等是否接触到图像显示部105的显示画面(步骤S702)。在步骤S702的判 定中，在用户的手指等接触到图像显示部105的显示画面的情况下，控制部101判别用户手 指等的接触位置附近的脸部图像的中心位置(X1，Y1)和大小Dl并记录到临时记录部2041内，并且，对与该脸部图像对应的框进行强调显示(步骤S703)。然后，控制部101根据区域指定部106的输出，判定用户的手指滑动操作是否结束 (步骤S704)。在步骤S704的判定中，在手指滑动操作未结束的情况下，控制部101根据时 钟部109的计时结果，判定是否经过了预定时间(3秒左右)(步骤S7(^)。在步骤S705的 判定中，在经过了预定时间的情况下，控制部101清除临时记录部2041中的记录内容(步 骤S706)。然后，处理返回到步骤S701。另一方面，在步骤S705的判定中，在尚未经过预定 时间的情况下，跳过步骤S706的处理，处理返回到步骤S701。另外，在步骤S704的判定中，在手指滑动操作已结束的情况下，控制部101判别手 指滑动操作的结束位置附近的脸部图像的中心位置(X2，Y2)和大小D2并记录到临时记录 部2041内(步骤S707)。然后，控制部101进行用于判定手指滑动速度V的速度V判定处 理(步骤S708)。在该速度V判定处理中，将位置Pl设定为在步骤S703的判定中检测出的 接触位置，将位置P2设定为手指滑动操作的结束位置。并且，将At设定为从在步骤S702 中判定出用户的手指等接触图像显示部105的显示画面到在步骤S704中判定出手指滑动 操作结束为止的时间。在手指滑动速度V的判定后，控制部101进行剪裁范围确定处理(步骤S709)。该 剪裁范围确定处理与图6所示的剪裁范围确定处理相同。在确定了各部分图像的剪裁范围 之后，控制部101使剪裁摄影开始(步骤S710)。该剪裁摄影也与在第1实施方式中说明的 剪裁摄影同样地进行。在剪裁摄影开始后，控制部101判定是否响应于用户的操作而指示 了动态图像摄影结束(步骤S711)。在步骤S711的判定中，在指示了动态图像摄影结束的 情况下，控制部101结束图16的处理。另一方面，在步骤S711的判定中，在未指示动态图 像摄影结束的情况下，控制部101判定用户是否进行了反向滑动操作(步骤S712)。在步骤 S712的判定中，在未进行反向滑动操作的情况下，处理返回到步骤S711，控制部101再次判 定是否进行了动态图像摄影的结束指示。另一方面，在步骤S712的判定中，在进行了反向 滑动操作的情况下，处理返回到步骤S701。由此，从响应于剪裁摄影而仅记录由摄像部102 获得的图像中的一部分的状态恢复到记录由摄像部102获得的图像整体的状态。如上所述，根据第4实施方式，不是采用在点的指定后进行手指滑动操作这2个工 序，而是仅利用手指滑动这1个工序，即可获得与所述第1 第3实施方式相同的效果。这里，在所述各实施方式中说明了将动态图像生成装置应用于数字照相机的例 子，但所述各实施方式的动态图像生成装置可应用于能够进行动态图像摄影的各种设备。另外，本领域技术人员能够容易地想到其他优点和变更。因此，本发明在其更广的 意义上不限定于这里所示和所述的具体细节和代表性的实施方式。因此，可以在不脱离由 所附权利要求及其等同物所定义的一般发明概念的精神或范围的情况下进行各种变更。
权利要求
1.一种动态图像生成装置，其特征在于，该动态图像生成装置具有显示图像的图像显示部；部分图像确定部，其确定与显示在所述图像显示部上的所述图像中的多个点分别对应 的预定范围的部分图像；部分图像切取部，其从由所述部分图像确定部确定的多个部分图像中的任意2个部分 图像之间切取多个部分图像；以及动态图像生成部，其根据由所述部分图像确定部确定的多个部分图像、和由所述部分 图像切取部切取出的多个部分图像，生成动态图像。
2.根据权利要求1所述的动态图像生成装置，其特征在于，该动态图像生成装置还具有区域指定部，该区域指定部分别指定显示在所述图像显示 部上的所述图像中的多个点。
3.根据权利要求2所述的动态图像生成装置，其特征在于，所述区域指定部还指定将显示在所述图像显示部上的所述图像中的任意多个点连接 的轨迹，所述部分图像切取部依次计算从所述轨迹的起始点到结束点的每单位时间内的位置 变化方向和位置变化量，根据该计算出的位置变化方向和位置变化量，从所述任意2个部 分图像之间切取多个部分图像。
4.根据权利要求1所述的动态图像生成装置，其特征在于，所述部分图像确定部检测所述多个点处的脸部图像，确定包含该检测出的脸部图像的 预定范围的部分图像。
5.根据权利要求4所述的动态图像生成装置，其特征在于，所述部分图像切取部从所述任意2个部分图像之间，切取由所述部分图像确定部检测 出的脸部图像中的、表情变化大的多个部分图像。
6.根据权利要求1所述的动态图像生成装置，其特征在于，由所述部分图像切取部切取出的各部分图像的位置和大小是通过对所述任意2个部 分图像的位置和大小进行线性插值来获得的。
7.一种动态图像生成方法，其特征在于，该动态图像生成方法包括以下步骤由部分图像确定部确定与显示在图像显示部上的图像中的多个点分别对应的预定范围的部分图像；由部分图像切取部从由所述部分图像确定部确定的多个部分图像中的任意2个部分 图像之间切取多个部分图像；以及由动态图像生成部根据由所述部分图像确定部确定的多个部分图像以及由所述部分 图像切取部切取出的多个部分图像，生成动态图像。
全文摘要
本发明提供动态图像生成装置和动态图像生成方法。动态图像生成装置(100)包括图像显示部(105)、部分图像确定部(202，203)、部分图像切取部(202，203)、以及动态图像生成部(101)。图像显示部(105)进行图像的显示。部分图像确定部(202，203)确定与显示在上述图像显示部(105)上的上述图像中的多个点分别对应的预定范围的部分图像。部分图像切取部(202，203)从由上述部分图像确定部(202，203)确定的多个部分图像中的任意2个部分图像之间切取多个部分图像。动态图像生成部(101)根据由上述部分图像确定部(202，203)确定的多个部分图像以及由上述部分图像切取部(202，203)切取出的多个部分图像，生成动态图像。
文档编号G06F3/048GK102045508SQ20101051852
公开日2011年5月4日 申请日期2010年10月20日 优先权日2009年10月21日
发明者松永拓也 申请人:奥林巴斯映像株式会社