图像处理装置、图像处理方法和程序的制作方法

图像处理装置、图像处理方法和程序的制作方法
【专利摘要】图像选择单元(31)针对每个输入帧根据关于拍摄被摄体的信息确定将要被合成为合成图像的图像的宽度。图像合成单元(32)通过合成待合成的图像来产生显示拍摄被摄体的过渡运动的运动过渡图像，从而在输入帧之中，其宽度被确定的待合成的图像相对于合成图像沿预定方向对齐。可根据拍摄被摄体的状态自动地提取或缝合图像，而无需用户针对每个图像帧设置包含拍摄被摄体的区域或设置将要缝合图像的位置。因此，可容易地产生期望的运动过渡图像。
【专利说明】图像处理装置、图像处理方法和程序

【技术领域】
[0001] 本技术涉及一种图像处理装置、图像处理方法和程序。具体地讲，本技术涉及容易 地产生运动过渡图像。

【背景技术】
[0002] 在相关技术中，为了在体育运动等中检查队形的目的而自动产生运动过渡图像， 如例如专利文献1中所公开。为了产生运动过渡图像，自动产生连续的照片，并且使用产生 的照片执行图像接合（缝合）。另外，通过检测移动被摄体部分并且执行移动被摄体部分的 合成作为前侧，在不降低可见性的情况下产生运动过渡图像。
[0003] 引用列表
[0004] 专利文献
[0005] 专利文献 1 :JP 2011-030244A(美国专利申请公开 No. 2010/0039447)


【发明内容】

[0006] 技术问题
[0007] 然而，在相关技术中的运动过渡图像的产生中，将要合成的帧的数量是预先设置 的帧的数量或由用户设置的帧的数量，并且仅根据将要合成的帧的数量统一地决定合成宽 度。由于这个原因，当将要产生运动过渡图像时，不容易产生预期的运动过渡图像，因为应 该通过预先预测被摄体的运动来设置将要合成的帧的最佳的数量并且拍摄距离或变焦放 大率应该被调整以使得被摄体被包括在合成宽度中。
[0008] 因此，本技术旨在提供一种能够容易地产生运动过渡图像的图像处理装置、图像 处理方法和程序。
[0009] 问题的解决方案
[0010] 根据本发明的第一方面，为了实现上述目的，提供一种图像处理装置设备，所述图 像处理装置设备包括：图像选择单元，被构造为根据被摄体识别结果，针对每个输入帧决定 将要与合成完成图像合成的合成目标图像的宽度；和图像合成单元，被构造为把输入帧中 的具有决定的宽度的合成目标图像沿预定方向平行于合成完成图像地与合成目标图像合 成。
[0011] 在本技术中，根据被摄体识别结果决定将要与合成完成图像合成的合成目标图像 的宽度，例如输入帧的移动被摄体层和背景层中的至少一个的宽度。关于移动被摄体层，基 于移动被摄体的宽度决定用于合成输入帧的移动被摄体层与合成完成图像的宽度。另外， 移动被摄体层中的被摄体信息代表特定状态的区域被提取作为关注区域，并且关注区域被 决定为用于合成输入帧的背景层与合成完成图像的宽度。当移动被摄体是人体时，决定关 注区域的区域宽度，以使得使用人体检测掩模检测人体的预期部分并且该预期部分被包括 在关注区域中。另外，关于关注区域的区域宽度，使用累积面积掩模基于被摄体信息决定该 宽度，以使得移动被摄体部分的累积面积具有预定比率。
[0012] 另外，根据图像帧尺寸和已经进行合成的图像的图像尺寸，决定将要合成的图像 的帧的数量。当从输入帧中决定关键帧并且根据图像帧尺寸和通过关键帧的合成目标图像 的合成而产生的图像的图像尺寸改变将要合成的图像的帧的数量时，根据改变的帧的数量 再次决定关键帧。另外，通过设置包括合成目标图像的移动被摄体层中的预期移动被摄体 的关注区域的关注区域，调整关注区域的区域宽度，以使得通过经由接合合成目标图像的 关注区域与在合成完成图像中最后合成的图像的关注区域来执行合成而产生的图像的尺 寸基本上与图像帧尺寸一致。在区域宽度的调整中，例如，执行关注区域的宽度的调整以获 得相等地调整的宽度或根据关注区域的区域宽度的调整的宽度。另外，当关注区域的区域 宽度将要被减小时，执行宽度调整以使得预期移动被摄体的更多的关注区域被留下，并且 当关注区域的区域宽度将要被扩大时，执行宽度调整以使得预期移动被摄体的更多的关注 区域被包括在关注区域中。替代地，当关注区域的区域宽度将要被减小时，在相对于关注关 键帧的帧间隔变长时，帧图像的调整宽度增加，并且当关注区域的区域宽度将要被扩大时， 执行宽度调整以使得在关注关键帧或相对于关注关键帧的帧间隔缩短时，帧图像的调整宽 度增加。
[0013] 根据本发明的第二方面，为了实现上述目的，提供一种图像处理方法，所述图像处 理方法包括：根据被摄体识别结果针对每个输入帧决定将要与合成完成图像合成的合成目 标图像的宽度的步骤；和把输入帧中的具有决定的宽度的合成目标图像沿预定方向平行于 合成完成图像地与合成目标图像合成的步骤。
[0014] 根据本发明的第三方面，为了实现上述目的，提供一种用于使计算机使用输入帧 产生指示被摄体的运动过渡的图像的程序，所述程序使计算机执行：根据被摄体识别结果 针对每个输入帧决定将要与合成完成图像合成的合成目标图像的宽度的处理；和把输入帧 中的具有决定的宽度的合成目标图像沿预定方向平行于合成完成图像地与合成目标图像 合成的处理。
[0015] 需要注意的是，本技术的程序是能够使用以计算机可读形式提供的存储介质、通 信介质（例如，存储介质（诸如，光盘、磁盘或半导体存储器）或通信介质（诸如，网络）） 在例如能够执行各种程序代码的通用计算机中提供的程序。通过以计算机可读形式提供这 种程序，在计算机上实现根据该程序的处理。
[0016] 发明的有益效果
[0017] 根据本技术，根据被摄体信息针对每个输入帧决定将要与合成完成图像合成的合 成目标图像的宽度。另外，输入帧的具有决定的宽度的合成目标图像沿预定方向与合成完 成图像平行地与合成完成图像合成，并且由此产生显示被摄体的运动过渡的运动过渡图 像。由于这个原因，在不执行用于针对每个帧图像指示包括被摄体的区域的用户的操纵和 由用户为了指示用于图像接合的位置而执行的处理的情况下，能够根据被摄体的状态自动 地执行图像的提取和接合，并且由此能够容易地产生期望的运动过渡图像。

【专利附图】

【附图说明】
[0018] 图1是表示使用图像处理装置的系统的结构的示图。
[0019] 图2是表示由图像处理装置产生的运动过渡静止图像的示图。
[0020] 图3是显示第一产生操作的流程图。
[0021] 图4是表示层分离信息的示图。
[0022] 图5是用于描述运动过渡有效区域和残存背景区域的设置的示图（当使用人体检 测掩模时）。
[0023] 图6是用于描述运动过渡有效区域和残存背景区域的设置的示图（当使用被摄体 累积面积掩模时）。
[0024] 图7是用于描述使用阈值Th设置运动过渡有效区域的情况的示图。
[0025] 图8是显示运动过渡有效区域的示图。
[0026] 图9是用于描述合成帧的数量的计算的示图。
[0027] 图10是用于描述宽度调整部分的操作的示图。
[0028] 图11是显示第二产生操作的流程图。
[0029] 图12是表示在第二产生操作中产生的图像的示图。
[0030] 图13是用于描述合成区域的另一设置方法的示图。
[0031] 图14是用于描述另一宽度调整方法的示图。
[0032] 图15是用于描述又一宽度调整方法的不图。
[0033] 图16是表示根据移动被摄体的状态调整合成位置和合成方向的情况的示图。

【具体实施方式】
[0034] 以下，将参照附图详细描述本发明的优选实施例。需要注意的是，在本说明书和附 图中，具有基本上相同的功能和结构的元素由相同的标号表示，并且省略重复的解释。
[0035] 以下，将描述用于实现本技术的实施例。需要注意的是，将按照下面的次序提供描 述。
[0036] 1.图像处理装置的结构
[0037] 2.运动过渡图像的第一产生操作
[0038] 3.运动过渡图像的第二产生操作
[0039] 4.图像处理装置的其它操作
[0040] 〈1.图像处理装置的结构〉
[0041] 图1表示使用本技术的图像处理装置的系统的结构。系统10具有图像输入单元 21、被摄体信息产生单元22、被摄体信息输入单元23、图像处理装置30和输出装置41。另 夕卜，图像处理装置30具有图像选择单元31、图像合成单元32、图像输出单元33和合成图像 更新保存单元34。
[0042] 图像输入单元21、被摄体信息产生单元22、被摄体信息输入单元23、图像处理装 置30和输出装置41不必局限于布置在同一壳体中。例如，图像输入单元21、被摄体信息产 生单元22、被摄体信息输入单元23和输出装置41可布置在不同壳体中。另外，可仅提供被 摄体信息产生单元22和被摄体信息输入单元23之一。
[0043] 图像处理装置30布置在设备（例如，摄像机或数字静止照相机、具有成像功能的 移动设备（诸如，移动电话或平板计算机终端）、记录捕捉图像的图像信号的服务器或处理 图像信号的编辑装置、视频再现装置等）里面。另外，该图像处理装置可被构造为专用于图 像处理的一个设备。另外，图像处理装置可被构造为个人计算机等中的执行与软件和硬件 关联或由软件和硬件中的任何一个实现的图像处理功能的装置。
[0044] 图像输入单元21输入帧图像组，该帧图像组用作将要产生的运动过渡图像的源。 需要注意的是，每个帧图像可以是构成运动图像的一个帧或从例如连续捕捉获得的一个静 止图像。
[0045] 当图像处理装置30被安装在成像装置中时，图像输入单元21由成像光学系统、图 像传感器、照相机信号处理单元等构成，由此产生捕捉图像的图像信号。另外，当接受由外 部图像装置获得的捕捉图像时，图像输入单元21用作从外部装置提供的图像信号的接收 处理系统。例如，采用用于广播波的调谐器单元、接口单元（诸如，USB(通用串行总线）接 口）和另外的有线或无线网络通信单元等。另外，当图像信号被记录在存储卡（固态存储 器）或记录介质（诸如，光盘）中时，图像输入单元21用作这种记录介质的再现系统。
[0046] 图像输入单元21执行作为运动图像的每个帧的图像信号和通过静止图像连续捕 捉等获得的多个帧的图像信号的产生、接收或读取，并且将这些信号提供给图像处理装置 30和被摄体信息产生单元22。
[0047] 需要注意的是，如果必要，则图像输入单元21可执行预处理。图像输入单元执行 图像至处理所需的形式的合适的转换，以使得当接收到运动图像文件时，图像输入单元以 每个帧的形式形成运动图像，并且当接收到隔行图像时，图像输入单元将图像转换成逐行 形式。另外，存在这样的情况：图像输入单元执行图像的放大和缩小。
[0048] 被摄体信息产生单元22使用从图像输入单元21提供的图像信号或外部信息（诸 如，深度信息）识别被摄体，然后产生被摄体的状态（例如，每个帧的运动状态）的识别结 果作为被摄体信息，然后将该结果输出到图像处理装置30。被摄体信息产生单元22具有例 如物体检测部分221和移动被摄体检测部分222。
[0049] 物体检测部分221通过模板匹配、学习等检测应该观测到其运动过渡的被摄体 (例如，人体或人体的一部分），然后产生指示帧图像的作为预定物体的图像区域的部分的 被摄体信息。在人体的探测中，例如，检测脸，并且使用该检测的结果检测人体。另外，在人 体的一部分的检测中，例如，能够基于具有与躯干、手、脚等对应的形状的图像是否被包括 在参照检测到的脸设置的区域中检测人体的一部分。
[0050] 移动被摄体检测部分222检测移动被摄体，然后产生指示帧图像的哪个部分是移 动被摄体区域以及哪个部分是背景区域的被摄体信息。当例如成像方向和视角固定时，移 动被摄体检测部分222计算两个帧的图像信号之差，然后确定该差值小于阈值的区域作为 背景区域并且确定该差值等于或大于阈值的区域作为移动被摄体区域。需要注意的是，当 存在多个被摄体时，除了移动被摄体和背景的分离之外，移动被摄体检测部分222还分离 各个被摄体。在这种情况下，可根据深度执行分离。当根据深度分离了多个被摄体时，被摄 体信息是代表每个像素的深度的多值信息，而非代表每个像素是移动被摄体还是背景的二 值信息。
[0051] 被摄体信息输入单元23获取从外部装置等提供的被摄体信息，然后将该信息输 出到图像处理装置30。
[0052] 需要注意的是，可提供被摄体信息产生单元22和被摄体信息输入单元23中的至 少一个。另外，当提供被摄体信息产生单元22和被摄体信息输入单元23时，由被摄体信息 产生单元22产生的被摄体信息和由被摄体信息输入单元23获取的被摄体信息可被输出到 图像处理装置30。在这种情况下，图像处理装置30使用至少一条被摄体信息执行处理或使 用两条被摄体信息执行处理。
[0053] 图像处理装置30的图像选择单元31根据被摄体信息针对从图像输入单元21顺 序地提供的每个输入帧决定将要与合成完成图像合成的合成目标图像的宽度。需要注意的 是，当通过沿水平方向布置合成目标图像来把合成目标图像与合成完成图像合成（这对应 于连接方向是水平方向的情况）时，合成目标图像沿水平方向的尺寸被设置为合成目标图 像的宽度。另外，当通过沿垂直方向布置合成目标图像来把合成目标图像与合成完成图像 合成（这对应于连接方向是垂直方向的情况）时，合成目标图像沿垂直方向的尺寸被设置 为合成目标图像的宽度。另外，这同样适用于其它图像的宽度以及将在稍后描述的关注区 域、运动过渡有效区域、残存背景区域等的区域宽度。
[0054] 图像选择单元31根据被摄体信息决定输入帧中的移动被摄体层和背景层中的至 少一个。在决定合成目标图像的宽度时，图像选择单元31在例如输入帧的移动被摄体层中 提取被摄体信息代表特定状态的区域作为关注区域。图像选择单元31决定关注区域的区 域宽度作为用于合成输入帧的背景层与合成完成图像的宽度。另外，图像选择单元31基于 例如输入帧的移动被摄体层中的移动被摄体的宽度决定用于合成输入帧的移动被摄体层 与合成完成图像的宽度。
[0055] 图像选择单元31执行合成目标图像的图像提取，然后将提取的图像输出到图像 合成单元32。另外，图像选择单元31产生代表关注区域的合成处理信息，然后将该信息输 出到图像合成单元32。另外，图像选择单元31将从被摄体信息产生单元22和被摄体信息 输入单元23提供的被摄体信息输出到图像合成单元32。需要注意的是，图像提取可由图像 合成单元32执行。在这种情况下，图像选择单元31使代表合成目标图像的区域的信息被 包括在合成处理信息中，然后将该信息输出到图像合成单元32。
[0056] 图像选择单元31包括关键帧确定部分311、合成区域设置部分312、合成帧数计算 部分313、宽度调整部分314和提取处理部分315。
[0057] 关键帧确定部分311执行从顺序地提供的帧图像中识别将会用作关键帧的帧的 处理。关键帧图像表示在作为最后获得的合成完成图像的运动过渡图像（静止图像）中被 留下作为运动过渡的踪迹的、具有不同时间轴的多个图像。例如，在根据时间的一组连续帧 图像中，根据合适单位时间以相等间隔捕捉的帧图像通常被认为是关键帧图像。另外，关键 帧确定部分311可使用所有的顺序地提供的帧图像作为关键帧图像来产生运动过渡图像。
[0058] 另外，关键帧的间隔不必被设置为相等时间间隔，并且可以是适合以视觉方式检 查成像目标的运动过渡的间隔。例如，通过检测关注关键帧，可参照关注关键帧调整关键帧 的间隔。关注关键帧可由用户指定，或基于图像识别的结果自动地决定。在图像识别中，检 测物体的形状的变化、人体的姿势的变化、物体的移动速度、物体的加速度、物体的移动方 向的变化等，并且发生期望的形状变化或姿势变化的关键帧被设置为关注关键帧。关键帧 确定部分311确定例如移动被摄体的运动最快的时间点作为关注关键巾贞，从而随着移动被 摄体的运动变得更慢时，关键帧的时间间隔（帧间隔）变得更长。另外，当关键帧确定部 分311尝试通过设置移动被摄体的加速度显著改变的时间点作为关注关键帧来确定关键 帧时，在足球比赛的情况下，例如，当球被设置为移动被摄体时，执行射门的时刻能够被设 置为关注帧。另外，关键帧确定部分311可使用例如当通过高尔夫球杆、球棒、球拍等击球 时产生的声音设置关注关键帧。在这种情况下，通过在例如击球的时间附近缩短时间间隔 (帧间隔）来设置关键帧。
[0059] 当产生静止图像作为运动过渡图像时，并且当合成帧的数量由将在稍后描述的合 成帧数计算部分313改变时，关键帧确定部分311根据改变的合成帧的数量再次执行关键 帧的确定。关键帧确定部分311将当确认合成帧的数量时确定的关键帧的图像信号输出到 提取处理部分315。另外，当产生运动图像作为运动过渡图像时，所有的输入帧图像的图像 信号被输出到提取处理部分315。
[0060] 合成区域设置部分312基于从被摄体信息产生单元22和被摄体信息输入单元23 提供的被摄体信息，根据被摄体的状态设置每个关键帧或每个帧的合成目标图像的区域。 例如，合成区域设置部分312基于输入帧的移动被摄体层中的移动被摄体的宽度决定用于 合成输入帧的移动被摄体层与合成完成图像的宽度。另外，合成区域设置部分312在输入 帧的移动被摄体层中提取指示作为被摄体识别的结果的特定状态的区域作为关注区域，然 后决定关注区域的区域宽度作为用于合成输入帧的背景层与合成完成图像的宽度。这个关 注区域是当合成目标图像与合成完成图像合成时执行图像接合（缝合）的区域。需要注意 的是，在以下的描述中，具有用于合成移动被摄体层的宽度的区域被称为运动过渡有效区 域。另外，关注区域也被称为残存背景区域，因为它是合成输入帧的背景层的区域。另外， 沿图像连接方向的宽度是运动过渡有效区域的区域宽度和关注区域（残存背景区域）的区 域宽度。
[0061] 残存背景区域（关注区域）被认为是移动被摄体层中的指示例如移动被摄体的特 定状态的区域。如果如上所述设置残存背景区域，则残存背景区域布置在运动过渡有效区 域内，因此，残存背景区域的区域宽度等于或小于运动过渡有效区域的区域宽度。
[0062] 合成区域设置部分312在产生静止图像作为运动过渡图像时针对关键帧设置运 动过渡有效区域和残存背景区域，并且在产生运动图像作为运动过渡图像时针对每个帧图 像设置这些区域。另外，当产生静止图像作为运动过渡图像时并且当关键帧确定部分311 由于由合成帧数计算部分313引起的合成帧的数量的变化而再次执行确定时，合成区域设 置部分312针对新关键帧再次设置区域。需要注意的是，将在稍后描述用于设置区域的方 法。
[0063] 当产生静止图像作为运动过渡图像时，合成帧数计算部分313基于关键帧的运动 过渡有效区域的区域宽度和残存背景区域的区域宽度计算合成帧的数量，以使得运动过渡 图像的尺寸变得接近于沿连接方向显示运动过渡图像的显示区域的尺寸（以下被称为"图 像帧尺寸"）。在例如运动过渡图像被产生为具有预设数量的帧的情况下，当图像的宽度相 对于图像帧尺寸的过大或过小的程度超过一个帧时，或者当图像的宽度相对于图像帧尺寸 的过大或过小的程度小于一个帧并且超过预定比率时，改变合成帧的数量。当合成帧的数 量改变时，合成帧数计算部分313将改变的合成帧的数量输出到关键帧确定部分311和合 成区域设置部分312,并且由此根据改变的合成帧的数量执行关键帧的确定和区域的重新 设置。
[0064] 在关键帧确定部分311、合成区域设置部分312和合成帧数计算部分313中重复该 处理。因此，可针对期望图像帧尺寸将合成帧的数量设置为最佳值。另外，可在最佳数量的 合成帧中设置关键帧，并且针对关键帧设置运动过渡有效区域和残存背景区域。
[0065] 宽度调整部分314调整由合成区域设置部分312沿连接方向设置的残存背景区域 的区域宽度。当通过接合由合成区域设置部分312沿连接方向设置的残存背景区域来执行 图像合成时，宽度调整部分314调整残存背景区域的宽度，以使得作为合成图像的运动过 渡图像具有期望的图像帧尺寸。在宽度调整中，可使用用于通过例如均匀地将图像宽度的 过大或过小的程度分配给每个帧来执行宽度调整的均匀改变方法，或者可使用用于与每个 帧的残存背景区域的区域宽度成比例地划分图像宽度的过大或过小的程度的宽度比例改 变方法。另外，宽度调整部分314可基于相对于关注关键帧的时间距离（帧间隔）或被摄 体信息设置调整量。
[0066] 提取处理部分315从由关键帧确定部分311提供的帧图像的图像信号中提取由合 成区域设置部分312设置的运动过渡有效区域的图像信号，然后将该信号输出到图像合成 单元32。另外，提取处理部分315将代表在运动过渡有效区域内设置的残存背景区域的信 息输出到图像合成单元32作为合成处理信息。
[0067] 图像合成单元32通过基于由图像选择单元31提取的图像信号、合成处理信息和 被摄体信息根据被摄体的状态沿连接方向接合来合成每个帧的运动过渡有效区域的图像 与合成完成图像的残存背景区域。图像合成单元32执行这种图像合成以产生指示运动过 渡的输出图像。
[0068] 图像合成单元32具有层分离部分321、层处理部分322和层合成部分323。
[0069] 层分离部分321基于被摄体信息执行来自图像选择单元31的输入图像（提取的 图像）的层分离。层分离部分321基于被摄体信息将输入图像和前一关键帧图像分离为例 如背景和移动被摄体的层以产生各层的图像。通过以这种方式执行层分离，将在稍后描述 的层合成部分323能够按照由图像选择单元31决定的移动被摄体层和背景层的的宽度合 成每个层的图像。需要注意的是，当存在多个移动被摄体并且其深度已知时，图像可根据移 动被摄体的数量+背景的数量被分离为多个层并且每个层的宽度可由图像选择单元31决 定。
[0070] 层处理部分322执行每个分离的层的图像的处理，诸如扩大、缩小和坐标移动。换 句话说，层处理部分322对已经进行了层分离的每个层执行这样的各种处理以便以可合成 形式处理。由层处理部分322执行的处理多数涉及几何操作，诸如"放大和缩小"、"旋转"、 和"平行移动"，但存在执行诸如突出显示运动的图像处理的情况。基于关键帧的数量、输出 图像的尺寸决定放大和缩小。
[0071] 层合成部分323使用处理过的层和先前的合成完成图像执行合成处理。换句话 说，通过基于由层处理部分322处理过的图像、合成完成图像、被摄体信息、合成处理信息 等执行合成，产生运动过渡图像。层合成部分323基于被摄体信息和合成处理信息确定哪 个层具有应该反映在输出图像中的像素，然后基于确定的结果产生输出图像。需要注意的 是，在合成期间，可从单个层选择像素，并且可混合并且输出多个层的像素。
[0072] 另外，当执行图像合成时，层合成部分323基于合成处理信息沿连接方向接合残 存背景区域。另外，层合成部分323可不仅根据预先决定的方向还根据将要合成的图像中 的被摄体的布置在将要合成的图像中的状态决定布置位置。例如，当将要针对作为移动被 摄体的投手产生运动过渡图像时，由于主要沿水平方向执行投手的所有运动，所以通过沿 水平方向合成图像来产生运动过渡图像。另外，当将要针对作为移动被摄体的网球拍产生 运动过渡图像时，当球拍围绕握着球拍的人的肩膀以弧形回转时，以弧形合成图像。另外， 颜色等的变化也可被用作状态的变化。
[0073] 图像输出单元33将由图像合成单元32合成的运动过渡图像输出到输出装置41。 输出装置41代表能够是运动过渡图像的输出目的地的各种装备，诸如监视器装置和存储 装置。来自图像输出单元33的运动过渡图像的输出的具体目的地根据系统而不同，包括显 示输出、形成在存储器中以及写在外部存储介质（诸如，硬盘、闪存）上或联网目的地。
[0074] 当产生静止图像作为运动过渡图像时，图像输出单元33将在与合成帧的数量一 样多的关键帧图像的合成处理结束时完成的合成完成图像输出到输出装置41作为运动过 渡静止图像。
[0075] 另外，当产生运动图像作为运动过渡图像时，图像输出单元33将在每次图像信号 被从图像选择单元31输入到图像合成单元32时顺序地执行的合成处理中获得的合成完成 图像输出到输出装置41。换句话说，在顺序地执行的合成处理中获得的合成完成图像被输 出到输出装置41作为显示运动过渡的运动图像的一帧图像。
[0076] 另外，在将要合成处理的所有帧图像是关键帧图像的静止图像产生时，图像输出 单元33将在此时的合成中产生的图像的图像信号输出到合成图像更新保存单元34以存储 在合成图像更新保存单元34中。通过使在此时的合成中产生的图像的图像信号被存储在 合成图像更新保存单元34中，图像输出单元33能够使该图像信号在下一次处理中被用作 已有合成完成图像的图像信号。
[0077] 仅当在产生运动图像时使用关键帧图像执行合成处理时，图像输出单元33将已 经进行了合成处理的图像信号输出到合成图像更新保存单元34以存储在合成图像更新保 存单元34中，以便能够使该图像信号在下一次处理中被用作已有合成完成图像的图像信 号。
[0078] 合成图像更新保存单元34保存在产生运动过渡图像期间的每个时间点的合成完 成图像的图像信号。例如，在产生静止图像时，从图像输出单元33输出的每个时间点的合 成完成图像被逐渐保存为新的合成完成图像。例如，保存在前一轮、前两轮等的合成处理期 间需要的以前的合成完成图像的图像信号，同时更新这些图像信号。另外，可存储每次合成 时的关键帧的信息、关键帧的被摄体信息、合成处理信息等。
[0079] 合成图像更新保存单元34逐渐地保存在关键帧图像的合成处理中产生的合成完 成图像的图像信号，同时在产生运动图像时更新图像信号。在这种情况下，可存储每次合成 时的关键帧的信息、关键帧的被摄体信息、合成处理信息等。
[0080] 〈2.运动过渡图像的第一产生操作〉
[0081] 接下来，将描述运动过渡图像的第一产生操作。图2表示由图像处理装置产生的 运动过渡静止图像。图像处理装置30使用通过针对作为被摄体的例如在棒球比赛中执行 投球的人执行运动图像捕捉或连续静止图像捕捉获得的多个帧的图像信号产生图2中示 出的运动过渡静止图像。以期望的图像帧尺寸利用执行连续投球运动的时间段中的许多时 间点的图像表示图2的运动过渡静止图像。另外，根据移动被摄体（执行投球的人）的状 态调整运动过渡有效区域和残存背景区域的区域宽度，并且相应地，在运动过渡静止图像 中表示移动被摄体的所有的帧。
[0082] 图3是显示产生静止图像作为运动过渡图像的第一产生操作的流程图。
[0083] 在步骤ST1中，图像处理装置30接受帧图像和被摄体信息。在图像处理装置30 使用图像选择单元31接受从图像输入单元21提供的帧图像、由被摄体信息产生单元22产 生的被摄体信息和由被摄体信息输入单元23获取的被摄体信息之后，图像处理装置前进 至步骤ST2。
[0084] 在步骤ST2中，图像处理装置30确定接受是否结束。当图像处理装置30结束将 要用于运动过渡静止图像的产生的帧图像和被摄体信息的接受时，图像处理装置前进至步 骤ST3,并且当图像处理装置未结束接受时，图像处理装置返回到步骤ST1以继续帧图像和 被摄体信息的接受。以这种方式，当处理在接受结束之后前进至步骤ST3时，调整如稍后所 述的合成目标图像的宽度和将要合成的图像的帧，由此使运动过渡静止图像的宽度具有期 望的尺寸。需要注意的是，每次执行帧图像和被摄体信息的接受时，如果执行决定将要与合 成完成图像合成的合成目标图像的宽度的处理以及沿预定方向彼此平行地合成具有决定 的宽度的合成目标图像和合成完成图像的处理，则能够输出每次输入帧图像时更新的运动 过渡图像。
[0085] 在步骤ST3中，图像处理装置30执行关键帧确定。图像处理装置30在将在稍后 描述的合成帧的数量被设置为预设值时使用关键帧确定部分311从接受的帧图像确定将 要用于合成的关键帧的帧图像，并且随后前进至步骤ST4。
[0086] 在步骤ST4中，图像处理装置30设置合成区域。图像处理装置30使用合成区域设 置部分312针对关键帧设置运动过渡有效区域和残存背景区域，并且随后前进至步骤ST5。 [0087] 在步骤ST5中，图像处理装置30计算合成帧的数量。当通过使用合成帧数计算部 分313链接例如关键帧的残存背景区域来产生运动过渡静止图像时，图像处理装置30计算 能够使运动过渡静止图像最接近期望的图像帧尺寸的合成帧的数量，并且随后前进至步骤 ST6。
[0088] 在步骤ST6中，图像处理装置30确定是否存在合成帧的数量的改变。图像处理装 置30确定在步骤ST5中计算的合成帧的数量是否已相对于合成帧的预设数量改变，或者在 步骤ST5中计算的合成帧的数量是否已由于合成帧的数量的重复计算而相对于在前一轮 中计算的合成帧的数量改变。当合成帧的数量未改变时，图像处理装置30前进至步骤ST7。 另外，当合成帧的数量已改变时，图像处理装置30返回到步骤ST3以根据计算的合成帧的 数量执行关键帧的确定，由此重复步骤ST4和ST5的处理。需要注意的是，当在步骤ST6中 合成帧的数量的改变重复预定次数时，图像处理装置30前进至步骤ST7,由此防止由于合 成帧的数量的反复改变而跳过步骤ST7的处理。
[0089] 在步骤ST7中，图像处理装置30执行宽度调整。图像处理装置30使用宽度调整 部分314调整关键帧的残存背景区域的区域宽度，以使得运动过渡静止图像具有期望的图 像帧尺寸。另外，宽度调整部分314产生代表调整的残存背景区域的合成处理信息，并且随 后前进至步骤ST8。
[0090] 在步骤ST8中，图像处理装置30执行图像提取。图像处理装置30从关键帧提取 运动过渡有效区域的图像，并且随后前进至步骤ST9。
[0091] 在步骤ST9中，图像处理装置30执行层分离处理。图像处理装置30使用层分离 部分321基于被摄体信息执行层分离处理以将关键帧的运动过渡有效区域分离为例如移 动被摄体层和背景层，并且随后前进至步骤ST10。
[0092] 通过创建每个层的图像，层分离可被存储在存储区域中。通过创建层分离信息，可 执行层分离。层分离信息是使用前一次的关键帧和这一次的关键帧的运动过渡有效区域的 交叠部分的像素值（即，合成目标区域中的每个像素）表示最终有效层的信息。
[0093] 图4表示层分离信息。例如这一次的关键帧KFn中的运动过渡有效区域Wa的移 动被摄体区域m中的像素的层分离信息被设置为具有确定值"1"。另外，关键帧KFn的残 存背景区域Wb中的背景区域（不包括移动被摄体区域m的区域（由虚线的阴影表示的区 域））的像素的层分离信息被设置为具有确定值"3"。另外，通过从关键帧KFn的运动过渡 有效区域Wa排除残存背景区域Wb而获得的区域的背景区域（不包括移动被摄体区域m的 区域（由交叉阴影表示的区域））的像素的层分离信息被设置为具有确定值"5"。另外，对 于在最后的合成中使用的合成完成图像的关键帧KFn-Ι，设置通过将" 1"与关键帧KFn-Ι的 确定值相加获得的值。换句话说，前一关键帧KFn-Ι中的运动过渡有效区域Wa的移动被摄 体区域m的像素的层分离信息被设置为具有确定值"2"。另外，关键帧KFn-Ι的残存背景 区域Wb中的背景区域（由虚线的阴影表示的区域）的像素的层分离信息被设置为具有确 定值"4"。另外，通过从关键帧KFn-Ι的运动过渡有效区域Wa排除残存背景区域Wb而获 得的区域的背景区域（由交叉阴影表示的区域）的像素的层分离信息被设置为具有确定值 "6"。需要注意的是，具有层分离信息的小像素值的像素被设置为具有高优先级，并且具有 大像素值的像素被设置为具有低优先级。
[0094] 在步骤ST10中，图像处理装置30执行层处理。图像处理装置30使用层处理部分 322执行层合成所需的处理，并且随后前进至步骤ST11。作为这种处理，例如，根据输入图 像的尺寸和在合成结果图像上反映输入图像的输入图像的尺寸执行图像的放大、缩小或旋 转等。特别地，存在这样的情况：当没有改变地在合成结果中反映输入图像的每个像素等 时，不需要放大、缩小或旋转的处理。
[0095] 在步骤ST11中，图像处理装置30执行层合成处理。图像处理装置30使用层合成 部分323执行层合成处理以从这一次的关键帧的合成目标图像和合成完成图像产生新合 成完成图像，并且随后前进至步骤ST12。层合成部分323沿预定方向彼此平行地合成这一 次的关键帧的图像合成目标图像与合成完成图像。层合成部分323通过沿所述预定方向将 合成目标图像的残存背景区域链接到合成完成图像的残存背景区域来执行合成完成图像 和合成目标图像的层合成处理。
[0096] 在合成完成图像和合成目标图像的层合成处理中，层合成部分323被设置为将具 有高优先级的像素用于这一次的关键帧的合成目标图像与合成完成图像交叠的部分。在图 4中，例如，这一次的关键帧KFn的移动被摄体区域m的像素具有确定值" 1"，并且前一关键 帧KFn-Ι的移动被摄体区域m的像素具有确定值"2"。因此，对于这一次的关键帧KFn的 移动被摄体区域m与前一关键帧KFn-Ι的移动被摄体区域m交叠的部分，具有高优先级的 这一次的关键帧KFn的移动被摄体区域m的像素的像素值被设置为新合成完成图像的像素 值。另外，前一关键帧KFn-Ι的移动被摄体区域m的像素具有确定值"2"，并且这一次的关 键帧KFn的残存背景区域Wb中的背景区域的像素具有确定值"3"。因此，对于这一次的关 键帧KFn的残存背景区域Wb中的背景区域与前一关键帧KFn-Ι的移动被摄体区域m交叠 的部分，具有高优先级的前一关键帧KFn-Ι的移动被摄体区域m的像素的像素值被设置为 新合成完成图像的像素值。另外，对这一次的关键帧KFn的背景区域与前一关键帧KFn-1 的背景区域交叠的部分执行相同处理。层合成部分323使用这一次的关键帧KFn中的残存 背景区域Wb的像素的像素值和前一关键帧KFn-1中的残存背景区域Wb的像素的像素值作 为新合成完成图像的像素值执行处理。换句话说，新合成完成图像是留下关键帧中的残存 背景区域的背景的图像。需要注意的是，新合成完成图像是当合成下一个关键帧图像时的 合成完成图像。
[0097] 如上所述，通过根据层分离信息的确定值选择并且使用这一次的关键帧图像或合 成完成图像的像素值，能够产生已按照优先级次序针执行合成的新合成完成图像。
[0098] 在步骤ST12中，图像处理装置30确定是否已针对所有帧完成合成。图像处理装 置30确定是否已针对所有关键帧完成合成。图像处理装置30在仍然存在未经受合成的关 键帧时前进至步骤ST13,并且在已针对所有关键帧完成合成时前进至步骤ST14。
[0099] 在步骤ST13中，图像处理装置30执行前一合成完成图像的更新。图像处理装置 30利用在步骤ST11中新产生的合成完成图像更新存储在合成图像更新保存单元34中的合 成完成图像，然后返回到步骤ST9。
[0100] 在步骤ST14中，图像处理装置30执行合成完成图像的输出。图像处理装置30将 在图像合成单元32中最后获得的合成完成图像的图像信号作为输出图像的图像信号从图 像输出单元33输出到输出装置41等。
[0101] 如上所述，本例子的图像处理装置1产生并且输出一个运动过渡静止图像的图像 数据。
[0102] 需要注意的是，层分离信息的产生不限于图4中示出的优先级。当通过例如改变 关键帧的背景区域的优先级来升高例如这一次的关键帧中的运动过渡有效区域Wa的背景 区域的优先级时，这一次的关键帧中的运动过渡有效区域的背景区域能够被显示在合成完 成图像中。
[0103] 接下来，将描述由图像选择单元31、图像合成单元32、图像输出单元33和合成图 像更新保存单元34执行的产生运动过渡图像的处理的具体例子。
[0104] 关键帧确定部分311确定与预设值的数量对应的许多关键帧图像，关键帧图像是 具有不同时间轴的保留在同一静止图像中作为运动过渡的轨迹的多个图像。另外，当将在 稍后描述的合成帧数计算部分313调整合成帧的数量（S卩，将要用于合成的关键帧的数量） 时，关键帧确定部分311根据调整后的合成帧的数量再次确定关键帧。
[0105] 合成区域设置部分312基于被摄体信息针对每个输入帧设置运动过渡有效区域 和残存背景区域。例如，合成区域设置部分312设置包括执行将要观测的运动的整个移动 被摄体的最小矩形区域作为运动过渡有效区域。另外，作为指示特定状态的区域，例如，指 示上述整个移动被摄体的期望的状态部分或运动部分的矩形区域被设置为残存背景区域。 在这种情况下，残存背景区域位于运动过渡有效区域内。当将要产生静止图像时，仅针对关 键帧执行运动过渡有效区域和残存背景区域的设置。图5和6是用于描述运动过渡有效区 域和残存背景区域的示图。例如，图5和6的（A)举例说明一些关键帧。另外，图5和6的 (B)举例说明应该在关键帧中观测到其运动过渡的移动被摄体的图像。
[0106] 当在被摄体信息的产生中执行移动被摄体检测和人体检测或人体部分检测时，合 成区域设置部分312如例如图5的（C)中所示对移动被摄体执行人体检测掩蔽以如斜线所 示检测例如头和身体部分的位置。接下来，合成区域设置部分312如图5的（D)中所示设置 包括整个身体（整个移动被摄体）的最小宽度矩形区域作为运动过渡有效区域Wa，并且设 置包括通过人体检测掩模检测到的头和身体部分的位置的矩形区域作为残存背景区域Wb。
[0107] 当在被摄体信息的产生中执行移动被摄体检测和人体检测或人体部分检测时，合 成区域设置部分312如例如图5的（C)中所示对移动被摄体执行人体检测掩蔽以如斜线所 示检测例如头和身体部分的位置。接下来，合成区域设置部分312如图5的（D)中所示设置 包括整个身体（整个移动被摄体）的最小宽度矩形区域作为运动过渡有效区域Wa，并且设 置包括通过人体检测掩模检测到的头和身体部分的位置的矩形区域作为残存背景区域Wb。
[0108] 另外，当设置残存背景区域时，合成区域设置部分312可使用被摄体累积面积掩 模。在被摄体累积面积掩模中，被摄体部分的面积相对于左侧和右侧（上侧和下侧）区域 具有预定比率的位置被设置为掩模的边界。
[0109] 图6是用于描述被摄体累积面积掩模的示图。当如图6的（C)中所示掩模的边界 在被摄体累积面积掩模中被设置为Na%时，左侧和右侧区域中的每一个占移动被摄体的整 个面积的（Na/2)%，并且中心部分占移动被摄体的面积的（100-Na)%。这里，残存背景区 域Wb被设置在Na%的位置，并且运动过渡有效区域Wa被设置在0%的位置，如图6的（D) 中所示。
[0110] 另外，合成区域设置部分312可设置残存背景区域，以使得期望的运动部分被包 括在残存背景区域中。例如，在投球运动中，合成区域设置部分312可设置残存背景区域， 以使得具有挥动运动的部分（诸如，手或臂）基于执行运动的人体部分或被摄体的检测结 果被包括在残存背景区域中。
[0111] 另外，如果使用阈值Th设置运动过渡有效区域，则能够去除噪声。例如，当如图7 的（A)中所示在背景的部分MP中执行移动时，设置运动过渡有效区域Wa，以使得如图7的 (B)中所示部分MP被包括在运动过渡有效区域Wa中。然而，如果阈值Th被设置为大于部 分MP的面积，则能够设置运动过渡有效区域Wa，以使得如图7的（C)中所示部分MP不被包 括在运动过渡有效区域Wa中。
[0112] 另外，运动过渡有效区域不限于如图8的（A)中所示被设置为包括整个移动被摄 体的最小宽度矩形区域，并且可以是如图8的（B)中所示具有比最小宽度矩形区域宽的用 于移动被摄体的空间的区域。另外，可根据被摄体的状态设置残存背景区域。以这种方式， 合成区域设置部分312决定运动过渡有效区域和残存背景区域。
[0113] 关于合成帧数计算部分313,考虑用于合成帧的数量的自动计算的各种技术，但在 这里，将描述使用重复处理的技术。
[0114] 在使用重复处理的技术中，首先通过使用合成帧的数量的初始值布置关键帧的残 存背景区域以沿连接方向彼此接合来计算合成完成图像沿连接方向的宽度。合成完成图像 的宽度在这种情况下极少具有图像帧尺寸，并且需要帧的数量的增加或减小。因此，合成 帧数计算部分313以十进制单位计算帧的数量的过大或过小的程度，然后例如对计算结果 进行舍入，由此获得需要的帧的增加或减小量。另外，当合成完成图像被显示在多个层（例 如，两个层）中时，合成帧数计算部分313计算上层和下层中的每个层的过大或过小的程 度，然后从计算结果计算需要的帧的增加或减小量。需要注意的是，对于合成帧的数量的初 始值，可使用预设固定值，或者可使用由用户指定的值等。例如，假设显示运动过渡图像的 显示区域沿连接方向的尺寸是1920像素，关键帧的数量是21帧，运动过渡有效区域Wa是 480像素，残存背景区域Wb是160像素，并且假设残存背景区域Wb位于运动过渡有效区域 Wa的中心。在这种情况下，如果合成帧的数量是10巾贞，则合成完成图像的宽度是1920像 素。因此，合成帧的数量的初始值是10帧。
[0115] 图9是用于描述合成帧的数量的计算的示图，显示关键帧的残存背景区域通过沿 水平方向依次布置而被合成的情况。当在合成帧的数量的计算中运动过渡静止图像的尺寸 未能达到期望的图像帧尺寸WG时，增加或减小合成帧的数量以使得过大或过小的程度最 小化。例如，对于帧的过大或过小的程度，通过对小数点后面的数字进行舍入来决定获得的 将要切除的帧的数量。如图9的（A)中所示，当上层超过1.3帧并且下层超过0.6帧时，例 如，从上层和下层中的每个层切除一个帧。另外，当存在过小的情况时，如果位于左侧的帧 的最接近图像帧尺寸WG的边界的残存背景区域被设置为一帧尺寸时，计算与过小的程度 对应的帧的数量，并且通过对小数点后面的数字进行舍入来决定将要增加的帧的数量。当 例如如图9的（B)中所示上层缺少1. 1帧并且下层缺少0. 3帧时，上层增加一个帧，并且下 层保持目前的帧的数量。以这种方式，计算合成帧的数量。
[0116] 当合成帧数计算部分313改变合成帧的数量时，关键帧确定部分311根据合成帧 的数量的改变再次确定关键帧。由于这个原因，合成帧数计算部分313将改变的合成帧的 数量输出到关键帧确定部分311，然后新的关键帧被确定。
[0117] 当关键帧的数量如上所述改变时，用作关键帧的帧改变。这是因为，基于在静止图 像的产生中使用的合成帧的数量决定关键帧自身，并且合成帧的数量的改变意味着关键帧 的修改。存在这样的情况：以这种方式再次选择的关键帧具有不同于在合成帧的数量的改 变之前使用的关键帧的残存背景区域。因此，合成区域设置部分312针对新的关键帧执行 运动过渡有效区域和残存背景区域的计算，并且基于计算结果，合成帧数计算部分313再 次计算合成帧的数量。
[0118] 其后执行相同的处理，并且当不存在合成帧的数量的改变时的帧的数量被设置为 在图像合成时的合成帧的数量。需要注意的是，当合成帧的数量的改变不消失时，当该处理 重复预定次数时的帧的数量被设置为合成帧的数量。
[0119] 宽度调整部分314调整图像宽度，以使得在合成之后的图像尺寸是期望的图像帧 尺寸WG。存在这样的情况：即使当如上所述计算合成帧的数量时，运动过渡静止图像的尺 寸也未变为等于期望的图像帧尺寸WG。因此，宽度调整部分314通过调整残存背景区域的 区域宽度来使运动过渡静止图像的图像尺寸等于期望的图像帧尺寸WG。
[0120] 图10是用于描述宽度调整部分的操作的示图。当通过计算最佳的合成帧的数量 来执行图像合成时，存在这样的情况：该数量未变为等于期望的图像帧尺寸WG。图10的 (A)表示这样的情况：作为输出图像的运动过渡静止图像的图像尺寸超过期望的图像帧尺 寸WG。在这种情况下，宽度调整部分314调整残存背景区域的区域宽度以缩窄残存背景区 域的区域宽度，如图10的（B)中所示，因此，运动过渡静止图像的图像尺寸变为基本上等于 期望的图像帧尺寸WG。
[0121] 考虑用于调整残存背景区域的宽度的各种技术，但在这里将描述两种简单的技 术。在均匀改变方法中，均匀地调整帧的图像宽度的过大或过小的程度，由此使在合成之后 的图像尺寸基本上等于期望的图像帧尺寸WG。换句话说，宽度调整部分314执行公式（1)的 算术运算以计算帧的共享改变帧宽度dWi，由此执行宽度调整。需要注意的是，在公式（1) 中，Wsub代表宽度的过大或过小的程度，并且nwk代表帧的数量。如果使用均匀改变方法， 则针对每个帧均匀地执行调整，因此自然可实现精细调整。
[0122] [数学表达式1]
[0123]

【权利要求】
1. 一种图像处理装置，包括： 图像选择单元，被构造为根据被摄体信息，针对每个输入帧决定将要与合成完成图像 合成的合成目标图像的宽度；和 图像合成单元，被构造为把输入帧中的具有决定的宽度的合成目标图像沿预定方向平 行于合成完成图像地与合成目标图像合成。
2. 如权利要求1所述的图像处理装置，其中所述图像选择单元根据被摄体信息决定输 入帧中的移动被摄体层和背景层中的至少一个的宽度。
3. 如权利要求2所述的图像处理装置，其中所述图像选择单元提取输入帧的移动被摄 体层中被摄体信息指示特定状态的区域作为关注区域，并且决定关注区域的区域宽度作为 用于把输入帧的背景层与合成完成图像进行合成的宽度。
4. 如权利要求2所述的图像处理装置，其中所述图像选择单元基于输入帧的移动被摄 体层中的移动被摄体的宽度决定用于把输入帧的移动被摄体层与合成完成图像进行合成 的宽度。
5. 如权利要求3所述的图像处理装置，其中所述移动被摄体是人体，以及 其中图像选择单元使用人体检测掩模检测人体的预期部分，由此决定关注区域的区域 宽度以使得该预期部分被包括在关注区域中。
6. 如权利要求3所述的图像处理装置，其中所述图像选择单元使用累积面积掩模决定 关注区域的区域宽度以使得移动被摄体的一部分的累积面积具有预定比率。
7. 如权利要求2所述的图像处理装置，其中所述图像选择单元根据图像帧尺寸和已经 进行合成的图像的图像尺寸决定将要合成的图像的帧的数量。
8. 如权利要求7所述的图像处理装置，其中，当图像选择单元根据输入帧决定关键帧 并且根据图像帧尺寸和通过合成关键帧的合成目标图像而产生的图像的图像尺寸来改变 将要合成的图像的帧的数量时，图像选择单元根据改变后的帧的数量再次决定关键帧。
9. 如权利要求7所述的图像处理装置，其中，作为包括合成目标图像的移动被摄体层 中的预期移动被摄体的关注区域的关注区域，图像选择单元调整关注区域的区域宽度，以 使得通过经由接合合成目标图像的关注区域与在合成完成图像中最终合成的图像的关注 区域来执行合成而产生的图像的尺寸基本上与图像帧尺寸一致。
10. 如权利要求9所述的图像处理装置，其中所述图像选择单元以相等的调整宽度执 行关注区域的每一个的宽度的调整，以使得通过执行合成而产生的图像的尺寸基本上与图 像帧尺寸一致。
11. 如权利要求9所述的图像处理装置，其中所述图像选择单元以根据关注区域的区 域宽度的调整宽度执行关注区域的每一个的宽度的调整，使得通过执行合成而产生的图像 的尺寸基本上与图像帧尺寸一致。
12. 如权利要求9所述的图像处理装置，其中，当关注区域的区域宽度将要被减小时， 图像选择单元基于被摄体信息执行宽度调整以使得预期移动被摄体的更多的关注区域被 留下，并且当关注区域的区域宽度将要被扩大时，图像选择单元执行宽度调整以使得预期 移动被摄体的更多的关注区域被包括在关注区域中。
13. 如权利要求9所述的图像处理装置，其中，当关注区域的区域宽度将要被减小时， 图像选择单元随着相对于每个帧图像的关注关键帧的帧间隔的变长而增加帧图像的调整 宽度，并且当关注区域的区域宽度将要被扩大时，图像选择单元增加关注关键帧的帧图像 的调整宽度或随着相对于每个帧图像的关注关键帧的帧间隔的缩短而增加帧图像的调整 览度。
14. 如权利要求13所述的图像处理装置，其中所述关注关键帧是由用户指示的关键帧 或基于被摄体信息决定的关键帧。
15. -种图像处理方法，包括： 根据被摄体信息针对每个输入帧决定将要与合成完成图像合成的合成目标图像的宽 度的步骤；和 把决定的输入帧中的合成目标图像沿预定方向平行于合成完成图像地与合成目标图 像进行合成的步骤。
16. -种用于使计算机使用输入帧产生指示被摄体的运动过渡的图像的程序，所述程 序使计算机执行： 根据被摄体信息针对每个输入帧决定将要与合成完成图像合成的合成目标图像的宽 度的处理；和 把决定的输入帧中的合成目标图像沿预定方向平行于合成完成图像地与合成目标图 像进行合成的处理。
【文档编号】H04N5/232GK104115487SQ201380009133
【公开日】2014年10月22日 申请日期:2013年1月22日 优先权日:2012年2月20日
【发明者】中尾大辅 申请人:索尼公司