图像处理设备、成像设备、图像处理方法和程序的制作方法

专利名称：图像处理设备、成像设备、图像处理方法和程序的制作方法
技术领域：
本发明涉及一种图像处理设备，并且更具体地，涉及一种用于处理在时间序列中 连续的多个图像的图像处理设备、成像设备和图像处理方法，以及一种用于允许计算机执 行所述方法的程序。
背景技术：
近来，已经广泛使用诸如数字照相机和数字摄像机(例如，集成了相机的记录器) 之类的成像设备，所述成像设备通过对诸如人之类的主体进行成像来生成捕获的图像(图 像数据)，并将已经生成的捕获图像记录为图像内容。此外，广泛地执行通过使用这样的成 像设备而将诸如高尔夫球和棒球之类的运动景象(appearance)记录为内容。可以将如上 记录的内容(例如，移动图像内容)例如用于检查运动的形式(例如，高尔夫球挥杆或击球 (棒球比赛))。例如，在检查运动的形式(例如，高尔夫球挥杆或击球(棒球比赛))的情况下，提 出了一种合成图像生成方法，其中生成表示操作中的转变(transition)的图像以作为用 于容易地理解操作中的转变的合成图像。例如，提出了一种成像设备，该成像设备以预定的 间隔从连续拍照的图像中选择多个图像并通过使用已经选择的该多个图像来生成合成图 像(例如，参见日本未审查专利申请公布第2009-44573号(图9))。

发明内容
根据现有技术中的上述技术，例如可生成表示进行高尔夫球挥杆的人的操作中的 转变的合成图像。这里，将假设拍照用于生成合成图像的图像的情况。例如，根据用户对构图的喜 好，可以考虑执行拍照使得成像范围在垂直方向长的情况、或执行拍照使得成像范围在水 平方向长的情况。然而，根据现有技术中的上述技术，在对用于生成合成图像的多个图像进 行拍照的情况下，需要在成像范围在水平方向长的状态中执行拍照。相应地，例如，在其中 对作为主体的站立的人拍照使得成像范围在垂直方向长的情况下，根据现有技术中的上述 技术，难以适当地生成合成图像。相应地，例如，在生成表示高尔夫球挥杆或击球(棒球比赛)的操作中的转换的图 像(例如，合成图像)的情况下，重要的是通过使用根据用户对构图的喜好而生成的图像来 适当地生成合成图像。期望通过使用根据用户对构图的喜好而生成的图像来适当地生成合成图像。根据本发明的实施例，提供了一种图像处理设备、图像处理方法和允许计算机执 行该方法的程序，该图像处理设备包括成像操作状态获取单元，用于获取表示在用于在时 间序列中连续生成的多个图像的成像操作时的成像操作状态的成像操作状态信息；图像处 理单元，用于基于所获取的成像状态信息来对所述多个图像执行图像处理，该图像处理用 于生成表示在所述多个图像中包括的被观察主体的特定操作中的转变的合成图像；以及图像合成单元，用于通过对已经对其执行该图像处理的多个图像进行合成来生成合成图像。 相应地，实现如下功能，即获取成像操作状态信息、基于所获取的成像状态信息来对所述多 个图像执行用于生成合成图像的图像处理、和通过对已经对其执行该图像处理的多个图像 进行合成来生成合成图像。在上述实施例中，所述成像操作状态获取单元可获取在将所述成像操作时的成像 方向用作轴的情况下的旋转角度，作为所述成像操作状态信息。在这样的情况下，实现获取 在将所述成像操作时的成像方向用作轴的情况下的旋转角度作为所述成像操作状态信息 的功能。在上述实施例中，所述图像处理单元可根据所述成像状态信息所指定的旋转角度 来对所述多个图像的每个执行旋转处理。在这样的情况下，实现根据所述成像状态信息所 指定的旋转角度来对所述多个图像的每个执行旋转处理的功能。在上述实施例中，可以构成在所述成像状态信息所指定的旋转角度是预定角度 的情况下，所述图像处理单元对所述多个图像的每个执行旋转处理，以及在所述成像状态 信息所指定的旋转角度不是预定角度的情况下，所述图像处理单元不对所述多个图像执行 旋转处理。在这样的情况下，实现如下的功能，即在所述成像状态信息所指定的旋转角度是 预定角度的情况下对所述多个图像的每个执行旋转处理、以及在所述成像状态信息所指定 的旋转角度不是预定角度的情况下不对所述多个图像执行旋转处理。在上述的实施例中，所述图像处理单元可以执行该图像处理，以便允许在所述成 像状态信息所指定的旋转角度是预定角度的情况下对其执行旋转处理的所述多个图像、和 在所述成像状态信息所指定的旋转角度不是预定角度的情况下不对其执行旋转处理的所 述多个图像具有与所述合成图像的尺寸对应的预定尺寸。在这样的情况下，实现如下的功 能，即执行该图像处理，以便允许在所述成像状态信息所指定的旋转角度是预定角度的情 况下对其执行旋转处理的所述多个图像、和在所述成像状态信息所指定的旋转角度不是预 定角度的情况下不对其执行旋转处理的所述多个图像具有与所述合成图像的尺寸对应的 预定尺寸。在上述实施例中，所述图像处理单元可执行该图像处理，以便允许所述多个图像 的每个具有与所述合成图像的尺寸对应的预定尺寸。在这样的情况下，实现执行该图像处 理以便允许所述多个图像的每个具有与所述合成图像的尺寸对应的预定尺寸的功能。上述实施例还可包括存储单元，用于存储与多类预定操作有关的处理信息；以 及操作接收单元，用于接收用于从存储所述处理信息的多类预定操作之中指明期望的预定 操作的指明操作。在这样的情况下，所述图像处理单元基于所获取的成像状态信息、通过使 用与所指明的预定操作有关的处理信息来对所述多个图像执行该图像处理。在这样的情况 下，实现如下的功能，即在接收到用于从多类预定操作之中指明期望的预定操作的指明操 作的情况下、基于所获取的成像状态信息、通过使用与所指明的预定操作有关的处理信息 来对所述多个图像执行图像处理。根据本发明的另一实施例，提供了一种成像设备、图像处理方法和允许计算机执 行所述方法的程序，该成像设备包括成像单元，用于通过对主体进行成像来生成在时间序 列中连续的多个图像；成像操作状态获取单元，用于获取表示在用于所生成的多个图像的 成像操作时的成像操作状态的成像操作状态信息；图像处理单元，用于基于所获取的成像
5状态信息来对所述多个图像执行图像处理，该图像处理用于生成表示在所述多个图像中包 括的被观察主体的特定操作中的转变的合成图像；以及图像合成单元，用于通过对已经对 其执行该图像处理的多个图像进行合成来生成合成图像。相应地，实现如下功能，即获取成 像操作状态信息、基于所获取的成像状态信息来对所述多个图像执行用于生成合成图像的 图像处理、和通过对已经对其执行该图像处理的多个图像进行合成来生成合成图像。根据本发明的实施例，可以获取通过使用根据用户对构图的喜好而生成的图像来 适当地生成合成图像的有利优点。


图1是表示根据本发明第一实施例的成像设备的功能构成示例的框图。图2A和图2B是表示根据本发明第一实施例的成像设备的外观的构成示例的图。图3A和图:3B示意性表示根据本发明第一实施例的通过使用成像设备执行的拍照 的景象和在要被拍照的人的操作中的转变。图4A和图4B是示意性表示根据本发明第一实施例的由成像单元在时间序列中生 成的捕获图像的图。图5A到图5C是示出根据本发明第一实施例的由图像合成单元执行的合成图像生 成处理的流程示例的示意图。图6A和图6B是示出根据本发明第一实施例的显示单元的显示示例和处理信息存 储单元的存储内容的示例的图。图7A到图7C是示出根据本发明第一实施例的由图像处理单元执行的捕获图像加 工处理和由图像合成单元执行的合成图像生成处理的流程示例的示意图。图8A到图8C是示出根据本发明第一实施例的由图像处理单元执行的捕获图像加 工处理和由图像合成单元执行的合成图像生成处理的流程示例的示意图。图9是示出根据本发明第一实施例的由成像设备执行的合成图像生成处理的处 理过程的示例的流程图。图IOA和图IOB是根据本发明第一实施例的显示单元中的显示的示例和处理信息 存储单元的存储内容的示例。图IlA到图IlC是示意性示出根据本发明第一实施例的由图像处理单元执行的捕 获图像加工处理和由图像合成单元执行的合成图像生成处理的流程示例的图。图12是表示根据本发明第一实施例的成像设备的外观的构成示例的图。图13A和图1 是示出根据本发明第一实施例的显示单元的显示示例和处理信息 存储单元的存储内容的示例的图。图14A到图14C是示意性示出根据本发明第一实施例的由图像处理单元执行的捕 获图像加工处理和由图像合成单元执行的合成图像生成处理的流程示例的图。图15是表示根据本发明第一实施例的成像设备的功能构成示例的框图。图16A和图16B是示意性表示根据本发明第一实施例的通过使用层分离部件来分 离合成目标图像的方法的图。图17A和图17B是以简化方式示出根据本发明第一实施例的由层处理部件对其执 行旋转处理的图像和由层处理部件对其执行剪切处理的图像的图。
图18A和图18B是示意性表示根据本发明第一实施例的使用层合成部件的合成方 法的图。图19A和图19B是示意性示出根据本发明第一实施例的通过使用层合成部件对合 成目标图像进行合成的方法的图。图20是表示根据本发明第二实施例的成像设备的功能构成示例的框图。图21是表示根据本发明第二实施例的成像设备的功能构成示例的框图。图22A到图22H是示出根据本发明第三实施例的、变成用于通过使用成像设备来 生成合成图像的目标的被观察主体和预定操作的示例的图。图23是表示根据本发明第三实施例的、变成成像设备的用于生成合成图像的目 标的被观察主体和预定操作特征的示例的图。图M是表示根据本发明第三实施例的成像设备的功能构成示例的框图。图25是表示根据本发明第三实施例的显示单元的显示示例的图。图沈是表示根据本发明第三实施例的处理信息存储单元的存储内容的示例的 图。图27A到图27C是示意性示出根据本发明第三实施例的由图像处理单元执行的捕 获图像加工处理和由图像合成单元执行的合成图像生成处理的流程示例的图。图28A和图28B是示意性表示根据本发明第三实施例的通过使用成像设备生成合 成图像的流程的图。图29A和图29B是表示根据本发明第四实施例的蜂窝电话装置的外部构成的示例 的图。
具体实施例方式下文中，将描述本发明的实施例(下文中，称作实施例)。将按照如下的顺序来呈 现所述描述。1.第一实施例(合成图像生成控制其中基于由用户操作指明的成像操作状态来 执行图像加工处理的示例)2.第二实施例(合成图像生成控制其中基于由成像设备获取的成像操作状态来 执行图像加工处理的示例)3.第三实施例(合成图像生成控制其中基于由用户操作指明的成像操作状态和 被观察主体的预定操作来执行图像加工处理的示例)4.第四实施例(合成图像生成控制应用到蜂窝电话装置的示例)1.第一示例成像设备的构成示例图1是表示根据本发明第一实施例的成像设备100的功能构成示例的框图。成像 设备100包括操作接收单元110、成像操作状态获取单元120、成像单元130、处理信息存储 单元140、图像处理单元150、图像合成单元160、合成图像保持单元170、合成图像存储单元 180、显示控制单元190、和显示单元191。成像设备100例如可以由数字摄像机来实现，该 数字摄像机可执行其中连续地生成多个图像的数据的连续成像操作(连续拍摄操作)。成 像设备100是根据本发明实施例的图像处理设备的示例。
操作接收单元110是接收由用户操作的操作的内容并将与所接收的操作的内容 对应的操作信号输出到成像操作状态获取单元120、成像单元130或显示控制单元190的 操作接收单元。例如，当接收到设置用于生成合成图像的合成图像记录模式的操作时，操作 接收单元110向成像单元130输出用于指引合成图像记录模式的设置的控制信号。然后， 操作接收单元110向显示控制单元190输出用于指引捕获图像的显示开始的控制信号。例 如，通过按下用于设置合成图像记录模式的按钮来执行设置合成图像记录模式的操作。例 如，在设置合成图像记录模式的情况下，当接收到指引成像操作的开始的开始指引操作时， 操作接收单元110向成像单元130输出用于指引连续成像操作的开始的控制信号。另一方 面，例如，当接收到用于指明成像操作状态的指明操作时，操作接收单元110向成像操作状 态获取单元120输出表示所指明的成像操作状态的类型的控制信号。此外，当接收到用于 显示合成图像的指引操作时，操作接收单元110向显示控制单元190输出用于指引合成图 像的显示的控制信号。这样的操作输入例如可通过使用诸如布置在成像设备100上的按钮 之类的操作组件来执行，或者可通过远程控制(遥控器)的操作等经由无线通信来执行。成像操作状态获取单元120获取在成像操作时成像设备100的状态(成像操作状 态)，并且保持表示所获取的成像操作状态的信息(成像操作状态信息)。如图2A和图2B 所示，这个成像操作状态信息是表示在将成像设备100的光轴设置为旋转的中心的情况下 成像设备100的旋转角度的信息。例如，保持0度(水平拍摄)的信息或90度(垂直拍 摄)的信息。换言之，成像操作状态信息是表示在将成像操作时的其成像方向设置为轴的 情况下成像设备100的旋转角度的信息。然后，成像操作状态获取单元120将所保持的成 像操作状态信息供应到图像处理单元150。成像单元130包括成像装置(未示出)，其将通过镜头(例如，图2所示的镜头 131)入射的主体的光转换为电信号；和信号处理部件(未示出)，其处理成像装置的输出信 号并生成捕获图像(图像数据)。换言之，在成像单元130中，在成像装置的成像表面上对 通过镜头入射的主体的光学图像成像，并且在这个状态中，成像装置执行成像操作。然后， 信号处理部件对成像信号执行信号处理，从而生成捕获图像。基于从操作接收单元110输 出的成像操作的开始指引信息来执行捕获图像的生成。然后，将所生成的捕获图像供应到 图像处理单元150，并且对捕获图像执行预定的图像处理。此外，将所生成的捕获图像供应 到显示控制单元190，并在显示单元191中显示。在设置合成目标图像记录模式的情况下，成像单元130执行连续的成像操作。连 续成像操作是用于通过以事先设置的成像间隔或由用户设置的成像间隔连续执行捕获图 像生成处理来生成预定数目的捕获图像的成像操作。处理信息存储单元140在其中存储用于图像处理单元150对合成目标图像的加工 处理的信息(处理信息)，并且将所存储的处理信息供应到图像处理单元150。将参考图6B 来详细描述处理信息存储单元140的存储内容。图像处理单元150基于在成像操作状态获取单元120中保持的成像操作状态信息 来对从成像单元130供应的捕获图像执行各种加工处理，以便被用作合成图像。具体地，图 像处理单元150基于在处理信息存储单元140中存储的处理信息之中的、与保持在成像操 作状态获取单元120中的成像操作状态信息相关联的处理信息，来对从成像单元130供应 的捕获图像执行加工处理。作为这个加工处理，执行几何计算处理，诸如剪切处理、放大/收缩处理、旋转处理、或坐标移动处理。然后，图像处理单元150向图像合成单元160输出 已经对其执行所述加工处理的图像(合成目标图像)。将参考图7A到图7C和图8A到图 8C来详细描述由图像处理单元150执行的加工处理。图像合成单元160通过对从图像处理单元150输出的合成目标图像执行图像合成 处理来生成合成图像，并将所生成的合成图像存储在合成图像存储单元180中。具体地，图 像合成单元160合成所述合成目标图像，使得从图像处理单元150输出的合成目标图像被 布置到要施加的像素范围中。此外，在对紧接在合成处理之前变成合成目标的合成目标图 像执行所述合成处理之后，图像合成单元160在合成图像保持单元170中依次保持所合成 的图像(历史图像)。然后，为了对变成接下来的合成目标的合成目标图像执行合成处理， 图像合成单元160从合成图像保持单元170中获取在该合成图像保持单元170中保持的合 成图像(历史图像)，并且将该合成图像用于合成处理。此外，在设置处于生成处理的中间 的合成图像的显示的情况下，在对合成目标图像执行合成处理之后，图像合成单元160依 次将所述合成图像(历史图像)供应到显示控制单元190。相应地，在显示单元191中依次 显示所述图像(历史图像)。将参考图5A到图5C、图7A到图7C、和图8A到图8C来详细描 述由图像合成单元160执行的图像合成处理。合成图像保持单元170依次保持由图像合成单元160在图像合成处理中生成的合 成图像(历史图像)，并且将所保持的合成图像供应到图像合成单元160。换言之，当由图 像合成单元160执行图像合成处理时，依次更新处于生成处理中间的合成图像，并将其保 持在合成图像保持单元170中。合成图像存储单元180存储由图像合成单元160生成的合成图像，并将所存储的 合成图像供应到显示控制单元190。换言之，当完成由图像合成单元160执行的图像合成处 理时，所生成的合成图像被存储在合成图像存储单元180中。显示控制单元190根据由操作接收单元110接收的操作输入来在显示单元191中 显示在合成图像存储单元180中存储的合成图像或者从成像单元130输出的捕获图像。此 外，显示控制单元190根据由操作接收单元110接收的操作输入来在显示单元191中显示 用于执行每个操作的显示屏幕(例如，图6A所示的指明成像操作状态的屏幕200)。显示单元191基于显示控制单元190的控制来显示每个图像。作为显示单元191， 例如可使用LCD(液晶显示器)、有机EL(电致发光)面板等。成像设备的外观的构成示例和成像操作状态的示例图2A和图2B是表示根据本发明第一实施例的成像设备100的外观的构成示例的 图。图2A和图2B表示成像设备100的正面(即，面向主体的镜头表面)侧的外观的简化 构成示例。图2A表示在通过使用成像设备100来执行拍照的情况下成像操作状态的示例 (所谓的水平拍摄)。图2B表示在通过使用成像设备100来执行拍照的情况下成像操作状 态的另一示例(所谓的垂直拍摄)。这里，为了便于描述，以简化的方式示出本发明的第一 实施例所表示的成像设备的外观。例如，在成像设备100的外侧面上，包括诸如电源开关的 操作组件，但是该操作组件在该图中并未示出，并将省略其描述。成像设备100包括快门按钮(释放按钮)111和镜头131。快门按钮111对应于图 1所示的操作接收单元110，并且镜头131对应于图1所示的成像单元130。快门按钮111是当由成像单元130生成的图像数据被作为静止图像文件而记录在记录介质(未示出)上时按下的按钮。在设置合成图像记录模式的情况下，当按下快门按 钮111时，指引生成用于生成合成图像的捕获图像(在时间序列中连续的多个图像)的控 制信号被供应到成像单元130。当供应这个控制信号时，成像单元130开始连续的成像操 作。然后，通过成像单元130的连续成像操作而生成的多个图像被依次供应到图像处理单 元 150。镜头131是收集外部光的镜头，并且通过变焦镜头和聚焦镜头来将入射光供应到 成像单元130的成像装置。这里，将描述通过使用成像设备100来执行拍照的情况。例如，在通过使用成像设 备100来执行拍照的情况下，频繁地执行如图2A所示的对其而言成像范围在横向上长的 拍照(所谓的水平拍摄)或者如图2B所示的对其而言成像范围在纵向上长的拍照(所谓 的垂直拍摄)。换言之，如图2A所示，在执行对其而言成像范围在横向上长的拍照的情况 下，成像设备100的垂直方向和摄影师的垂直方向变得相同。相反，如图2B所示，在执行对 其而言成像范围在纵向上长的拍照的情况下，例如在其中在光轴132被用作旋转轴的情况 下、将图2A所示的成像设备100在箭头133的方向旋转α度(例如，90度)的状态中，执 行所述拍照。在图4Α和图4Β中示出了在多个成像操作状态中生成的捕获图像的示例。合成图像的生成的示例接下来，将以简化的方式来表示对于生成合成图像的情况的生成处理的转变的示 例。图3Α和图;3Β示意性表示根据本发明第一实施例的通过使用成像设备100执行的 拍照的景象和在要被拍照的人的操作中的转变。图3Α示意性表示在成像设备100和要由成像设备100拍照的人300之间的位置 关系。人300是例如在高尔夫球练习场中练习挥动高尔夫球杆301的人。人300通过从图 3Α所示的姿势挥动高尔夫球杆301、来利用高尔夫球杆301打击高尔夫球302，以便在期望 的方向将高尔夫球302打得很远。图;3Β示意性表示在人300的操作中的转变。图像311到318是表示由在图3Α所 示的状态中的人300在时间序列中进行的高尔夫球挥杆练习的景象的图像组。图;3Β表示 沿时间轴排列的图像311到318。例如，假设图像311是在由人300进行的高尔夫球挥杆的 开始时的图像，以及图像318是在由人300进行的高尔夫球挥杆的完成时的图像。此外，图 像312到317是在图像311和图像318之间的、表示进行高尔夫球挥杆的人300的操作中 的转变的图像。捕获图像的生成的示例图4Α和图4Β是示意性表示根据本发明第一实施例的由成像单元310在时间序列 中生成的捕获图像的图。图4Α示意性表示矩形的捕获图像331到334(图像组330)，其由 成像单元130在图2A所示的成像设备100的成像操作状态(所谓的“水平拍摄”)中生成。 图4B示意性表示矩形的捕获图像341到344 (图像组340)，其由成像单元130在图2B所示 的成像设备100的成像操作状态(所谓的“垂直拍摄”)中生成。此外，捕获图像331和341对应于图所示的图像311，并且捕获图像332和342 对应于图3B所示的图像312。此外，捕获图像333和343对应于图所示的图像313，并 且捕获图像334和344对应于图:3B所示的图像314。
10
这里，假设由成像单元130生成的捕获图像在水平方向(左/右方向)的长度(水 平宽度)是W1，并且所述捕获图像在垂直方向(上/下方向)的长度(垂直宽度)是HI。 例如，由成像单元130生成的捕获图像的图像尺寸可设置为VGA尺寸(640像素X480像 素)。换言之，可将长度设置为使得Wl = 640和Hl = 480。接下来，将描述通过使用经由成像单元130的连续成像操作而生成的多个图像来 生成合成图像的示例。在这个示例中，将作为示例而描述其中通过使用经由连续成像操作 而生成的八个图像来生成静止图像的合成图像的情况。在本发明的第一实施例中，表示了 如下的示例，其中生成与进行高尔夫球挥杆的人的操作中的转变有关的合成图像作为合成 图像。合成图像的生成的示例图5A到图5C是示出根据本发明第一实施例的由图像合成单元160执行的合成图 像生成处理的流程示例的示意图。图5A示意性示出由成像单元130生成的捕获图像(帧)Fl到F8。图5A和图5B 表示矩形的由成像单元130生成的捕获图像Fl到F8，并且在所述矩形中添加表示捕获图像 的附图标记(Fl到F8)。图5B示意性示出基于合成目标图像(捕获图像Fl到F8)生成的合成图像320。 在图5B中，与图5A类似的，以矩形表示合成目标图像，并且在所述矩形中添加表示合成目 标图像的附图标记(Fl到F8)。图像处理单元150对由成像单元130生成的捕获图像Fl到F8执行加工处理(例 如，对两端部分的剪切处理)，该加工处理被执行以用于合成。然后，图像合成单元160通过 合成已经由图像处理单元150对其执行加工处理的合成目标图像Fl到F8来生成合成图像 320。例如，图像合成单元160合成已经由图像处理单元150对其执行加工处理的合成目标 图像Fl到F8，以便在时间序列中排列。例如，四个合成目标图像Fl到F4被合成以便从上 部的左端部分开始在时间序列中排列，并且四个合成目标图像F5到F8被合成以便从下部 的左端部分开始在时间序列中排列。此外，基于在成像单元130的连续成像操作中的生成 顺序来例如确定合成目标图像的合成位置。相应地，例如，如图5C所示，生成表示练习高尔夫球挥杆的人的操作中的转变的 合成图像321。图5C以简化的方式示出由图像合成单元160生成的合成图像321。合成图像321 是通过使用与图4B所示的图像311到318对应的捕获图像而生成的合成图像。这里，假设 构成合成图像321的每个合成目标图像在水平方向(左/右方向)的长度(水平宽度)是 W2，并且每个合成目标图像在垂直方向(上/下方向)的长度(垂直宽度)是H2。此外，假 设合成图像321在水平方向(左/右方向)的宽度(水平宽度)是W10，并且合成图像321 在垂直方向(上/下方向)的长度(垂直宽度)是H10。换言之，WlO= W2X4，并且HlO = H2X2。这里，如上所述，作为通过使用成像设备100形成的成像操作状态，假设多个成像 操作状态(例如，图2所示的“水平拍摄”和“垂直拍摄”)。如图4A和图4B所示，即使在 对相同主体成像的情况下，当成像操作状态不同时，在捕获图像中包括的主体的位置变得 不同。例如，将考虑如下的情况，在该情况下，其中通过使用图4A所示的图像组330而生成合成图像的生成处理、和其中通过使用图4B所示的图像组340而生成合成图像的生成处理 是相同的生成处理。在这样的情况下，在任何一个合成图像中包括的人的方向是水平方向， 并且存在难以精确地获取操作中的转变的问题。相应地，例如，在通过使用所生成的捕获图 像而生成合成图像的情况下，需要根据成像操作状态来考虑主体的方向。这样，在本发明的 第一实施例中，示出了如下的示例，其中获取在捕获图像的生成时的成像操作状态、并且通 过基于所获取的成像操作状态对捕获图像执行加工处理来生成适当的合成图像。成像操作状态指明屏幕的显示的示例和处理信息存储单元的存储的示例图6A和图6B是示出根据本发明第一实施例的显示单元191的显示示例(成像操 作状态指明屏幕200)和处理信息存储单元140的存储内容的示例的图。图6A示出用于指明成像操作状态的成像操作状态指明屏幕200。在成像操作状态 指明屏幕200上，布置了“水平拍摄”按钮201、“垂直拍摄”按钮202、返回按钮203、和确定 按钮204。“水平拍摄”按钮201或“垂直拍摄”按钮202是用于指明当构成与操作中的转变 有关的合成图像的图像被成像时的成像操作状态的按钮。例如，在其中通过触摸面板而构 成显示单元191的情况下，可通过按下期望的按钮来指明成像操作状态。例如，当在图2A 所示的成像设备100状态(所谓的“水平拍摄”)中执行拍照时，按下“水平拍摄”按钮201。 另一方面，当在图2B所示的成像设备100状态(所谓的“垂直拍摄”)中执行拍照时，按下 “垂直拍摄”按钮202。确定按钮204是在执行指明成像操作状态的按下操作之后当要确定指明时按下 的按钮。返回按钮203例如是被按下以便返回到紧接在当前显示屏幕之前显示的显示屏幕 的按钮。图6B示意性示出处理信息存储单元140的存储内容的示例。在处理信息存储单 元140中，将旋转角度143、合成目标图像的纵横比144、和合成目标图像的尺寸145存储为 与水平拍摄141或垂直拍摄142相关联。这里，水平拍摄141对应于图2A所示的成像操作 状态，并且垂直拍摄142对应于图2B所示的成像操作状态。在旋转角度143中，存储作为基准的关于图2A所示的成像操作状态的旋转角度。 例如，将“0度”存储为与水平拍摄141相关联，并且将“90度”存储为与垂直拍摄142相关联。在合成目标图像的纵横比144中，存储合成目标图像的纵横比。这里，纵横比是表 示图像的垂直长度(像素数)与水平长度(像素数)的比率的值。例如，当人进行高尔夫 球挥杆时，以站立状态进行所述挥杆，并且在水平方向几乎没有移动量。相应地，例如，作为 合成目标图像的纵横比，存储变得在纵向上相对长的值(例如，“3 4”的纵横比)。在合成目标图像的尺寸145中，存储合成目标图像的尺寸。这个尺寸是基于合成 图像的尺寸、构成合成图像的合成目标图像的数目、和合成目标图像的纵横比等来确定的。这里，例如，将考虑如下的情况，其中在图6A所示的成像操作状态指明屏幕200上 按下期望的按钮(例如，“水平拍摄”按钮201)、并且按下确定按钮204。在这样的情况下， 从操作接收单元110向成像操作状态获取单元120输出指示这样的操作的操作信号，并且 成像操作状态获取单元120保持表示所指明的成像操作状态的成像操作状态信息(水平拍 摄)。然后，图像处理单元150基于在处理信息存储单元140中存储的、与保持在成像操作状态获取单元120中的成像操作状态信息(水平拍摄141)相关联的处理信息(水平拍摄 141)，来对从成像单元130供应的图像执行每个加工处理。将参考图7A到图7C和图8A到 图8C来详细描述该加工处理。基于成像操作状态进行的合成图像的生成示例图7A到图7C和图8A到图8C是示出根据本发明第一实施例的由图像处理单元 150执行的捕获图像加工处理和由图像合成单元160执行的合成图像生成处理的流程示例 的示意图。在图7A到图7C所示的示例中，示出在图6A所示的成像操作状态指明屏幕200 上按下“水平拍摄”按钮201并按下确定按钮204的情况下的、捕获图像加工处理和合成图 像生成处理的示例。图7A示意性示出矩形的由成像单元130生成的捕获图像333。假设该捕获图像 333与图4A所示的捕获图像333相同。此外，在该图中未示出在图4A所示的图像组330中 包括的其它捕获图像(捕获图像331、332和334到336等)，并省略其描述。图7B示意性示出由图像处理单元150执行的加工处理的流程。如上所述，变成加 工处理的目标的捕获图像333具有水平宽度Wl和垂直宽度Hl的图像尺寸。由于在捕获图 像333中包括在垂直方向站立的人，所以不执行旋转处理。在使用在捕获图像333中包括 的人作为基准的情况下，尽管捕获图像333在横向上长，但是构成合成图像的每个合成目 标图像的尺寸在纵向上长。相应地，对于捕获图像333，需要执行剪切处理和放大/收缩处 理(或仅剪切处理)。换言之，图像处理单元150基于在处理信息存储单元140 (图6B所示)中存储的、 与“水平拍摄” 141相关联的处理信息，来对捕获图像333执行剪切处理和放大/收缩处理 (或仅剪切处理)。例如，图像处理单元150对捕获图像333执行剪切处理，从而在捕获图 像333的两端部分的区域的剪切之后的图像的纵横比变成与合成目标图像纵横比144(图 6B所示)相同。此外，图像处理单元150对捕获图像333执行放大/收缩处理，从而两端 部分的区域的剪切之后的图像的尺寸变成合成目标图像的尺寸145(图6B所示)。由于在 处理信息存储单元140中存储的与“水平拍摄” 141相关联的旋转角度143 (图6B所示)是 “0”度，不执行旋转处理。具体地，图像处理单元150执行其中剪切捕获图像333的两端部分的水平宽度W3 的区域(剪切区域352和353)的剪切处理，以便允许捕获图像具有水平宽度W4和垂直宽 度Hl的图像尺寸。在这个剪切处理中，调整在剪切处理之前和之后的图像(捕获图像和在 剪切处理之后的图像)的中心位置，以便彼此一致。随后，图像处理单元150执行放大/收 缩处理，从而将具有水平宽度W4和垂直宽度Hl的图像改变为具有水平宽度W2和垂直宽度 H2的图像尺寸。例如，将考虑其中由成像单元130生成的捕获图像333的图像尺寸是VGA尺寸 (即，Wl = 640，和Hl = 480)的情况。此外，假设合成图像的尺寸具有1440像素X960像 素(S卩，WlO = 1440，和Hl = 960)，并且假设合成图像的一个帧的尺寸(合成目标图像的 尺寸)为360像素X480像素(S卩，W2 = 360，和H2 = 480)。在这样的情况下，捕获图像 的图像尺寸的垂直宽度Hl与合成目标图像的尺寸的垂直宽度H2相同。相应地，图像处理 单元150仅执行其中剪切捕获图像333的两端部分的水平宽度W3 (140像素)的区域(剪 切区域352和353)的剪切处理。换言之，由于在剪切处理之后的图像尺寸W4XH1 (360像
13素X480像素)和合成目标图像的一个帧的尺寸W2XH2(360像素X480像素)相同，所以 不执行放大/收缩处理。随后，图像合成单元160对已经由图像处理单元150对其执行加工处理的合成目 标图像351执行合成处理。图7C以简化方式示出已经由图像合成单元160对其执行合成处理的图像(合成 图像354)。在这个示例中，示出了直到生成图5C所示的合成图像321为止的特定时间点 上的合成状态。例如，假设图7C所示的状态处于当对合成目标图像351(三个合成目标图 像355、356和351)执行合成处理时的时间点上。合成目标图像355和356是通过使用图 像处理单元150对图4A所示的捕获图像331和332执行加工处理所获取的图像。如图7B所示，通过图像处理单元150对捕获图像333执行加工处理，从而生成合 成目标图像351。随后，图像合成单元160将合成目标图像351合成到已经事先生成的合成 图像(合成目标图像355和356)，从而生成合成图像354。这里，在通过依次合成三个或更多合成目标图像来生成合成图像的情况下，如图 7C所示，图像合成单元160通过沿时间序列依次合成所述合成目标图像来生成合成图像。 此外，在时间序列中连续的两个合成目标图像之中，在时间轴上在前面的合成目标图像被 保持在合成图像保持单元170中，直到执行在后面的合成目标图像的合成处理为止。如上所述，由图像合成单元160生成的合成图像被存储在合成图像存储单元180 中。然后，例如，根据用户的操作来在显示单元191中显示该合成图像。替换地，例如，可以 将合成图像构成为每当由图像合成单元160生成合成图像时自动地在显示单元191中显示。在图8A到图8C所示的示例中，示出了当在图6A所示的成像操作状态指明屏幕 200上按下“垂直拍摄”按钮202并按下确定按钮204的情况下的捕获图像加工处理和合成 图像生成处理的示例。图8A示意性示出矩形的由成像单元130生成的捕获图像343。假设这个捕获图 像343与图4B所示的捕获图像343相同。此外，在图4B所示的图像组340中包括的其它 捕获图像(捕获图像341、342、和344到346等)没有示出在该图中，并且省略其描述。图8B示意性示出由图像处理单元150执行的加工处理的流程。如上所述，变成加 工处理的目标的捕获图像343具有水平宽度Wl和垂直宽度Hl的图像尺寸。由于在捕获图 像343中包括在水平方向站立的人，所以需要执行旋转处理。在使用在捕获图像343中包 括的人作为基准的情况下，尽管捕获图像343在纵向上长，但是构成合成图像的每个合成 目标图像的尺寸也在纵向上长。相应地，通过剪切处理剪切的捕获图像343的区域可小于 图7A所示的捕获图像333的所述区域。换言之，图像处理单元150基于在处理信息存储单元140(图6B所示)中存储的、 与“垂直拍摄” 142相关联的旋转角度143(90度)，来对捕获图像343执行旋转处理。此外， 图像处理单元150基于在处理信息存储单元140中存储的、与“垂直拍摄” 142相关联的另 一处理信息，来对捕获图像343执行剪切处理和放大/收缩处理。例如，图像处理单元150 对捕获图像343执行剪切处理，从而在预定区域的剪切之后的图像的纵横比变成与合成目 标图像的纵横比144(图6B所示)相同。此外，图像处理单元150对捕获图像343执行放 大/收缩处理，从而预定区域的剪切之后的图像的尺寸变成合成目标图像的尺寸145 (图6B所示)。然而，当在旋转处理之后的捕获图像343的尺寸与合成目标图像的尺寸相同的情况 下，不执行剪切处理和放大/收缩处理。具体地，图像处理单元150执行旋转处理，以便将捕获图像343在箭头360所示的 方向旋转90度。此外，图像处理单元150对捕获图像343执行剪切处理和放大/收缩处理， 以便允许在旋转处理之后的捕获图像343具有合成目标图像的尺寸145 (图6B所示)。例如，将考虑如下的情况，其中由成像单元130生成的捕获图像343的图像尺寸、 合成图像的尺寸、和合成图像的一个帧的尺寸(合成目标图像的尺寸)与图7A到图7C所 示的示例的那些尺寸相同。换言之，将考虑其中Wl = 640,Hl = 480、W2 = 360、H2 = 480、 WlO = 1440 和 HlO = 960 的情况。在这样的情况下，在旋转处理之后的捕获图像343的纵横比(Hl Wl = 3 4) 与合成目标图像的纵横比144(3 4)相同。相应地，图像处理单元150对捕获图像343仅 仅执行放大/收缩处理，而不执行剪切处理。换言之，图像处理单元150执行收缩处理，从 而允许在旋转处理之后的图像尺寸H1XWK480像素X640像素)成为合成图像的一个帧 的尺寸W2XH2(360像素X 480像素)，从而生成合成目标图像361。随后，图像合成单元160对已经由图像处理单元150对其执行加工处理的合成目 标图像361执行合成处理。图8C以简化方式示出已经由图像合成单元160对其执行合成处理的图像(合成 图像36 。在这个示例中，示出了直到生成图5C所示的合成图像321为止的特定时间点 上的合成状态。例如，假设图8C所示的状态处于当对合成目标图像361(三个合成目标图 像363、364和361)执行合成处理时的时间点上。合成目标图像363和364是通过使用图 像处理单元150对图4B所示的捕获图像341和342执行加工处理所获取的图像。如图8B所示，由图像处理单元150对捕获图像343执行加工处理，从而生成合成 目标图像361。随后，图像合成单元160将合成目标图像361合成到已经事先生成的合成图 像(合成目标图像363和364)，从而生成合成图像362。如上所述，由图像合成单元160生成的合成图像被存储在合成图像存储单元180 中。然后，例如，根据用户的操作来在显示单元191中显示该合成图像。替换地，例如，可以 将合成图像构成为每当由图像合成单元160生成合成图像时自动地在显示单元191中显
7J\ ο这里，将描述在通过水平拍摄而执行拍照的情况下生成的合成图像、和在通过垂 直拍摄而执行拍照的情况下生成的合成图像。例如，在通过水平拍摄而执行拍照的情况下， 如图7B所示，捕获图像333的两端部分的剪切区域352和353(140像素X480像素X2) 通过加工处理被作为不需要区域而浪费。相应地，在通过经由水平拍摄而执行拍照来生成 合成图像的情况下，存在难以有效地使用由成像单元130生成的捕获图像的一部分分辨率 的可能性。例如，在图7B所示的示例中，在由成像单元130生成的捕获图像333的分辨率 (640像素X 480像素)之中，仅可使用360像素X 480像素。另一方面，在通过垂直拍摄而执行拍照的情况下，如图8B所示，几乎没有在加工 处理中被作为不需要区域而浪费的捕获图像；343的区域。相应地，在通过经由垂直拍摄而 执行拍照来生成合成图像的情况下，可以有效地使用由成像单元130生成的捕获图像的分 辨率。换言之，可以充分地使用捕获图像或成像装置的高分辨率。此外，在通过调整具有相对低分辨率的图像和具有相对高分辨率的图像的大小来生成具有相同尺寸的图像的情况 下，具有相对高分辨率的图像可降低噪声。此外，在图8B所示的示例中，可通过充分地利用由成像单元130生成的捕获图像 343的分辨率(640像素X480像素)来生成合成图像。相应地，可通过充分地利用变成成 像单元130的成像目标的成像范围来执行拍照。例如，在执行成像以用于生成合成图像的 情况下，摄影师可执行垂直拍摄以便充分地包括成像范围中的被观察主体(例如，高尔夫 球选手)。相应地，可能在相对短的距离对在纵向上长的主体拍照(或执行变焦拍照)。此 外，例如，当在高尔夫球练习区中执行拍照时，在相对窄的场所频繁地执行拍照。如上所述， 由于即使在相对窄的场所(窄拍照空间)执行拍照的情况下也可以执行垂直拍摄，所以可 以通过使用根据用户对构图的喜好而拍照的图像、以容易的方式来生成合成图像。此外，当 在这样的窄拍照空间中执行拍照的情况下，可以例如通过与广转换镜头组合而执行拍照等 来改善效果。此外，由于可以降低用于合成图像的捕获图像的不需要区域，所以可以抑制诸如 保持捕获图像的存储器或功耗之类的浪费。成像设备的操作的示例图9是示出根据本发明第一实施例的由成像设备100执行的合成图像生成处理的 处理过程的示例的流程图。在这个示例中，将作为示例而描述其中由用户指明成像操作状 态、并且在成像操作状态获取单元120中保持所指明的成像操作状态信息的情况。首先，确定是否设置合成图像记录模式(步骤S900)。当没有设置合成图像记录模 式时(步骤S900)，完成合成图像生成处理的操作。另一方面，当设置了合成图像记录模式 时(步骤S900)，确定是否执行用于指引成像操作的操作(步骤S901)。当还没有执行用于 指引成像操作的操作时(步骤S901)，监视操作继续，直到执行了用于成像操作的指引的操 作为止。此外，当执行了用于成像操作的指引的操作时(步骤S901)，成像单元130执行捕 获图像生成处理(步骤S902)。然后，将所生成的捕获图像设置为处理目标图像。随后，图像处理单元150获取在成像操作状态获取单元120中保持的成像操作状 态信息，并且获取在处理信息存储单元140中存储的与成像操作状态信息相关联的处理信 息(与所指明的成像操作状态对应的处理信息)(步骤S903)。在这个示例中，表示了其中 每当生成捕获图像时获取成像操作状态信息和处理信息的示例。然而，可以构成在指引成 像操作的开始之后(步骤S901)获取成像操作状态信息和处理信息，并且所获取的处理信 息由图像处理单元150来保持并用于加工处理。步骤S903是根据本发明实施例的成像操 作状态获取处理的示例。随后，图像处理单元150基于所获取的处理信息(与所指明的成像操作状态对应 的处理信息)来执行加工处理(步骤S904到S909)。具体地，图像处理单元150确定所获 取的处理信息的旋转角度(图6B所示的旋转角度143)是否为“0度”(步骤S904)。然后， 在旋转角度不是“0度”的情况下(步骤S904)，图像处理单元150基于所获取的处理信息的 旋转角度来对处理目标图像执行旋转处理(步骤S905)，并且该处理前进到步骤S906。另 一方面，在旋转角度是“0度”的情况下(步骤S904)，该处理前进到步骤S906。随后，图像处理单元150确定所获取的处理信息的纵横比(图6B所示的合成目标
16图像的纵横比144)是否与处理目标图像的纵横比相同(步骤S906)。在所述纵横比不同 的情况下(步骤S906)，图像处理单元150对处理目标图像执行剪切处理，以便允许处理信 息的纵横比与捕获图像的纵横比相同(步骤S907)，并且该处理前进到步骤S908。另一方 面，在处理信息的纵横比与捕获图像的纵横比相同的情况下(步骤S906)，该处理前进到步 骤 S908。随后，图像处理单元150确定在与所指明的成像操作状态对应的处理信息中包括 的尺寸(图6B所示的合成目标图像的尺寸144)是否与处理目标图像的尺寸相同(步骤 S908)。在所述尺寸不同的情况下(步骤S908)，图像处理单元150对处理目标图像执行放大 /收缩处理，以便允许在处理信息中包括的尺寸与处理目标图像的尺寸相同(步骤S909)， 并且该处理前进到步骤S910。另一方面，当在处理信息中包括的尺寸与处理目标图像的尺 寸相同的情况下(步骤S908)，该处理前进到步骤S910。在这个示例中，表示了其中按照旋 转处理、剪切处理、和放大/收缩处理的顺序来执行加工处理的示例。然而，可以在改变这 种顺序的情况下执行加工处理。例如，可按照放大/收缩处理、剪切处理和旋转处理的顺序 来执行加工处理。这里，步骤S904到S909是根据本发明实施例的图像加工处理的示例。随后，图像合成单元160对已经对其执行加工处理的处理目标图像执行图像合成 处理(步骤S910)。这里，步骤S910是根据本发明实施例的图像合成过程的示例。随后，确 定是否将处于生成处理中间的合成图像设置为被显示(步骤S911)。在将处于生成处理中 间的合成图像设置为被显示的情况下(步骤S911)，显示控制单元190在显示单元191中 显示在处理目标图像的合成处理之后的合成图像(处于生成处理中间的合成图像)(步骤 S912)。另一方面，在没有将处于生成处理中间的合成图像设置为被显示的情况下(步骤 S911)，该处理前进到步骤S913。随后，确定是否已经完成预定数目处理目标图像的合成处理(步骤S913)。在已经 完成预定数目处理目标图像的合成处理的情况下，完成合成图像生成处理的操作。如上所 述生成的合成图像被存储在合成图像存储单元180中。此外，在完成合成图像生成处理的 操作之后，可以将所生成的合成图像构成为自动地在显示单元191中显示。另一方面，在还 没有完成预定数目处理目标图像的合成处理的情况下(步骤S913)，处理返回到步骤S902。在改变合成目标图像的数目的情况下的生成合成图像的示例在上面的描述中，表示了在构成合成图像的合成目标图像的数目相同的情况下的 生成合成图像的示例。这里，例如，当期望更精细地观看在高尔夫球挥杆的操作中的转变 时，可考虑其中合成目标图像的数目被增加地生成合成图像的情况。这样，下面示出其中在 通过用户的操作来指明成像操作状态和合成目标图像的数目的情况下生成合成图像的示 例。在这个示例中，表示其中指明“8”或“10”作为合成目标图像的数目的示例。在所指明的屏幕中的成像操作状态和合成目标图像数目的显示的示例、和处理信 息存储单元的存储的示例图IOA和图IOB是根据本发明第一实施例的显示单元191中的显示的示例(所指 明的屏幕400)和处理信息存储单元410的存储内容的示例。图IOA示出用于指明成像操作状态和合成目标图像数目的指明屏幕400。所述指 明屏幕400通过改变图6A所示的成像操作状态指明屏幕200的一部分来获取。这样，对于 与成像操作状态指明屏幕200共同的每个部分，分配相同的附图标记，并且省略其描述。
在指明屏幕400上，布置了 “水平拍摄、8个图像”按钮401、“垂直拍摄、8个图像” 按钮402、“水平拍摄、10个图像”按钮403、和“垂直拍摄、10个图像”按钮404、返回按钮 203、和确定按钮204。“水平拍摄、8个图像”按钮401和“垂直拍摄、8个图像”按钮402是与图6A所示 的“水平拍摄”按钮201、“垂直拍摄”按钮202对应的按钮，并且是在指明“8”作为合成目 标图像的数目的情况下按下的按钮。“水平拍摄、10个图像”按钮403和“垂直拍摄、10个图像”按钮404是在指明“10” 作为合成目标图像的数目的情况下按下的按钮。此外，当在构成与操作中的转变有关的合 成图像的图像被成像的情况下、指明成像操作状态时，与图6A所示的示例类似地，按下“水 平拍摄、10个图像”按钮403和“垂直拍摄、10个图像”按钮404。例如，在图2A所示的成 像设备100状态(所谓的水平拍摄)中执行拍照的情况下，按下“水平拍摄、10个图像”按 钮403。另一方面，在图2B所示的成像设备100状态(所谓的垂直拍摄)中执行拍照的情 况下，按下“垂直拍摄、10个图像”按钮404。图IOB示意性示出处理信息存储单元410的存储内容的示例。通过改变图6B所 示的处理信息存储单元140的一部分来获取该处理信息存储单元410。因此，下文中，描述 将集中在与处理信息存储单元140的那些部分不同的部分上，并且在描述中省略共同部分 的部分。在处理信息存储单元410中，旋转角度415、合成目标图像的纵横比416、和合成目 标图像的尺寸417被存储为与水平拍摄(8个图像)411、垂直拍摄(8个图像)412、水平拍 摄(10个图像)413和垂直拍摄(10个图像)414相关联。这里，水平拍摄(8个图像)411 和水平拍摄(10个图像)413对应于图2A所示的成像操作状态。另一方面，垂直拍摄(8个 图像)412和垂直拍摄(10个图像)414对应于图2B所示的成像操作状态。旋转角度415、合成目标图像的纵横比416、和合成目标图像的尺寸417对应于图 6B所示的旋转角度143、合成目标图像的纵横比144、和合成目标图像的尺寸145。换言之， 在与水平拍摄(8个图像)411和垂直拍摄(8个图像)412对应的旋转角度415、合成目标图 像的纵横比416、和合成目标图像的尺寸417中，存储与图6B所示的处理信息相同的信息。 此外，在与水平拍摄(10个图像)413和垂直拍摄(10个图像)414对应的旋转角度415、合 成目标图像的纵横比416、和合成目标图像的尺寸417中，存储与合成图像的尺寸和合成目 标图像的数目对应的相应值。基于成像操作状态的合成图像的生成的示例图IlA到图IlC是示意性示出根据本发明第一实施例的由图像处理单元150执行 的捕获图像加工处理和由图像合成单元160执行的合成图像生成处理的流程示例的图。这 个示例表示当在图IOA所示的指明屏幕400上按下“垂直拍摄、10个图像”按钮404并按下 确定按钮204的情况下、捕获图像加工处理和合成图像生成处理的示例。这个示例是图8A 到图8C所表示的示例的修改示例，并且一部分加工处理不同于图8A到图8C所表示的示例 的加工处理。因此，下文中，描述将集中在与图8A到图8C所表示的示例的那些部分不同的 部分上，并且在描述中省略共同部分的部分。此外，除了剪切区域的范围之外，在按下“垂直 拍摄、10个图像”按钮404并按下确定按钮204的情况下执行的捕获图像加工处理和合成 图像生成处理与图7A到图7C所表示的那些处理相同。
图IlA示意性示出矩形的由成像单元130生成的捕获图像343。与图8A类似，假 设这个捕获图像343与图4B所示的捕获图像343相同。图IlB示意性示出由图像处理单元150执行的加工处理的流程。旋转处理与图8B 所表示的示例的旋转处理相同。此外，图像处理单元150基于在处理信息存储单元410中 存储的与“垂直拍摄(10个图像)” 414相关联的另一处理信息，来对捕获图像343执行剪 切处理和放大/收缩处理。例如，将考虑其中由成像单元130生成的捕获图像333的图像尺寸是VGA尺寸 (BP, Wl = 640和Hl = 480)的情况。此外，假设合成图像的尺寸具有1440像素X960像 素(S卩，WlO = 1440和HlO = 960)，并且假设合成图像的一个帧的尺寸(合成目标图像的 尺寸)为2沏像素X4S0像素(即，W5 = 288和H2 = 480)。在这样的情况下，在旋转处理之后的捕获图像343的纵横比(Hl Wl = 3 4) 与合成目标图像的纵横比416(3 幻彼此不同。相应地，对于捕获图像343，图像处理单 元150执行剪切处理，并且还执行放大/收缩处理。换言之，图像处理单元150执行其中 捕获图像343的两端部分的水平宽度H3(48像素)的区域(剪切区域421和42 被剪切 的剪切处理。随后，图像处理单元150执行收缩处理，以便允许旋转处理之后的图像尺寸 H4XW1(384像素X640像素)为合成图像的一个帧的尺寸W5XH2 Q88像素X480像素)， 从而生成合成目标图像423。随后，图像合成单元160对已经由图像处理单元150对其执行加工处理的合成目 标图像361执行合成处理。图IlC以简化方式示出已经由图像合成单元160对其执行合成处理的图像(合成 图像424)。这里，合成目标图像425和似6是通过使用图像处理单元150对图4B所示的捕 获图像341和342执行加工处理而获取的图像。如图IlB所示的，合成目标图像423是通过使用图像处理单元150对捕获图像343 执行加工处理而生成的。随后，图像合成单元160将合成目标图像423合成到事先生成的 合成图像(合成目标图像425和426)，从而生成合成图像424。如上，在合成图像的尺寸相同、并且合成目标图像的数目被改变的情况下，可以以 容易的方式、通过用户的指明操作来生成合成图像。这里，在合成目标图像的数目被增加的情况下，对水平拍摄和垂直拍摄的任何情 况生成剪切区域。例如，对于水平拍摄的情况，为了允许合成目标图像的尺寸为288像 素X480像素，需要剪切两端部分的剪切区域(176像素X 2)。换言之，尽管垂直拍摄的情 况中剪切区域的面积(一个图像的面积)变成61440 = (48像素X640像素X》，但是水 平拍摄的情况中剪切区域的面积(一个图像的面积)变成168960 = (176像素X480像 素Χ》。相应地，在通过垂直拍摄来生成合成图像的情况下，可以降低通过水平拍摄来生成 合成图像的情况中剪切区域的接近三倍的剪切区域。在指明不同成像操作状态的情况下的合成图像的生成示例在上面呈现的描述中，表示了其中在指明包括水平拍摄和垂直拍摄的两类成像操 作状态的情况下生成合成图像的示例。这里，例如，可考虑在成像设备100被倾斜(所谓的 倾斜拍摄)的状态中执行成像操作的情况。因此，下文中，将表示其中在通过用户的操作来 指明倾斜拍摄的情况下生成合成图像的示例。
19
成像操作状态的示例图12是表示根据本发明第一实施例的成像设备100的外观的构成示例的图。图 12所表示的示例是表示在通过使用成像设备100来执行拍照的情况下的成像操作状态的 示例(所谓的倾斜拍摄)的示例。这里，在通过使用成像设备100来执行倾斜拍摄的情况下，例如，如图12所示，执 行拍照，使得拍照范围在倾斜的方向在纵向上长。具体地，例如，在其中在光轴132被用作 其旋转轴的情况下、将图12所示的成像设备100在箭头430的方向旋转β度(例如，40度 到60度)的状态中执行拍照。成像操作状态指明屏幕的显示示例和处理信息存储单元的存储示例图13Α和图1 是示出根据本发明第一实施例的显示单元191的显示示例(成像 操作状态指明屏幕440)和处理信息存储单元450的存储内容的示例的图。图13A示出用于指明成像操作状态的成像操作状态指明屏幕440。通过修改图6A 所示的成像操作状态指明屏幕200的一部分来获取成像操作状态指明屏幕440。这样，对于 与成像操作状态指明屏幕200共同的每个部分，分配相同的附图标记，并且省略其描述。在成像操作状态指明屏幕440上，布置了 “水平拍摄”按钮201、“垂直拍摄”按钮 202、“倾斜拍摄”按钮441、返回按钮203和确定按钮204。“倾斜拍摄”按钮441是在构成与操作中的转变有关的合成图像的图像被成像的情 况下当指明成像操作状态时按下的按钮。例如，在图12所示的成像设备100状态(所谓的 倾斜拍摄)中执行拍照的情况下，按下“倾斜拍摄”按钮441。图1 示意性示出处理信息存储单元450的存储内容的示例。该处理信息存储单 元450是通过改变图6B所示的处理信息存储单元140的一部分而获取的。因此，下文中， 描述将集中在与处理信息存储单元140的那些部分不同的部分上，并且在描述中省略共同 部分的部分。在处理信息存储单元450中，旋转角度454、合成目标图像的纵横比455、和合成目 标图像的尺寸456被存储为与水平拍摄451、垂直拍摄452和倾斜拍摄453相关联。这里， 水平拍摄451和垂直拍摄452对应于图6B所示的水平拍摄141和垂直拍摄142。旋转角度454、合成目标图像的纵横比455、和合成目标图像的尺寸456对应于图 6B所示的旋转角度143、合成目标图像的纵横比144、和合成目标图像的尺寸145。具体地， 在与倾斜拍摄453相关联的旋转角度妨4中，存储在成像操作时的角度(β)。此外，在与倾 斜拍摄453对应的合成目标图像的纵横比455、和合成目标图像的尺寸456中，存储与合成 图像的尺寸和合成目标图像的数目对应的相应值。基于成像操作状态的合成图像的生成的示例图14Α到图14C是示意性示出根据本发明第一实施例的由图像处理单元150执行 的捕获图像加工处理和由图像合成单元160执行的合成图像生成处理的流程示例的图。这 个示例表示当其中在图13Α所示的成像操作状态指明屏幕440上按下“倾斜拍摄1 钮401 并按下确定按钮204的情况下、捕获图像加工处理和合成图像生成处理的示例。这个示例 是图IlA到图IlC所表示的示例的修改示例，并且加工处理的一部分不同于图IlA到图IlC 所表示的示例的加工处理。因此，下文中，描述将集中在与图IlA到图IlC所表示的示例的 那些部分不同的部分上，并且在描述中省略共同部分的部分。
图14A示意性示出矩形的由成像单元130生成的捕获图像461。在该图中没有示 出在图像组460中包括的其它捕获图像(在捕获图像461之前和之后的捕获图像)，并且省 略其描述。图14B示意性示出由图像处理单元150执行的加工处理的流程。图像处理单元 150基于在处理信息存储单元450(图1 所示)中存储的与“倾斜拍摄” 441相关联的旋 转角度454(β度)来对捕获图像461执行旋转处理。此外，图像处理单元150基于在处理 信息存储单元450中存储的与“倾斜拍摄141相关联的另一处理信息来对捕获图像461执 行剪切处理和放大/收缩处理。具体地，图像处理单元150执行旋转处理，以便在箭头470的方向将捕获图像461 旋转β度。此外，图像处理单元150在旋转处理之后对捕获图像461执行剪切处理和放 大/收缩处理，以便允许在旋转处理之后的捕获图像461具有合成目标图像的尺寸456 (图 13Β所示)。例如，图像处理单元150执行其中在旋转处理之后的捕获图像461的两端部分 的水平宽度Η5的区域(剪切区域462和463)被剪切的剪切处理。随后，图像处理单元150 执行收缩处理，以便允许在剪切处理之后的图像尺寸(图像464的尺寸(W6XH6))成为合 成图像的一个帧的尺寸W20XH20，从而生成合成目标图像465。随后，图像合成单元160对已经由图像处理单元150对其执行加工处理的合成目 标图像465执行合成处理。图14C以简化方式示出已经由图像合成单元160对其执行合成处理的图像(合成 图像466)。这里，合成图像466是通过将已经由图像处理单元150对其执行加工处理的图 像合成到在图像组460中包括的其它捕获图像(在捕获图像461之前和之后的捕获图像) 而获取的图像。如图14Β所示，通过使用图像处理单元150对捕获图像461执行加工处理来生成 合成目标图像465。随后，图像合成单元160将合成目标图像465合成到事先生成的合成图 像，从而生成合成图像。然后，通过甚至对捕获图像461之后的捕获图像也类似地执行加工 处理和合成处理，来生成合成图像466。如上，通过指明除了水平拍摄和垂直拍摄之外的成像操作状态(倾斜拍摄)，可以 以容易的方式来生成根据用户的喜好的合成图像。这里，在指明倾斜拍摄而生成合成图像 的情况下，尽管用作合成目标图像的一部分图像变成剪切处理，但是与水平拍摄或垂直拍 摄的情况相比，可以有效地使用在纵向上长的分辨率。图像合成的修改示例如上，已经表示了如下的示例，其中通过对捕获图像执行加工处理以便成为合成 目标图像的尺寸、并且对已经对其执行加工处理的合成目标图像进行合成以便排列，来生 成合成图像。下文中，将表示如下的示例，其中生成合成图像，使得部分相邻的合成目标图 像彼此重叠。换言之，将表示其中通过将合成目标图像分类为被观察主体层和背景层来生 成合成图像的示例。成像设备的构成示例图15是表示根据本发明第一实施例的成像设备500的功能构成示例的框图。成 像设备500是通过布置成像单元510、主体信息生成单元520、选择单元530、和层处理单元 540而替代图1所示的成像设备100中的成像单元130、图像处理单元150和图像合成单元160来获取的。其它部分实际上与成像设备100的那些部分相同。因此，对于每个共同部分 分配相同的附图标记，并且省略其部分的描述。成像设备500例如可通过数字摄像机来实 现，其可通过对主体成像来生成捕获图像(图像数据)，通过对该图像数据执行图像分析来 提取特征量，并通过使用所提取的特征量来执行各种图像处理。成像单元510与图1所示的成像单元130类似地生成捕获图像(图像数据)。在 设置合成目标图像记录模式的情况下，成像单元510以预定的帧率生成捕获图像(帧)，并 随后将所生成的捕获图像供应到图像选择部件531。此外，所生成的捕获图像以及在生成捕 获图像时每个镜头(聚焦镜头和变焦镜头)的位置和焦点对准位置被供应到主体信息生成 单元520。主体信息生成单元520基于由成像单元510生成的捕获图像和在生成捕获图像时 的信息(例如，镜头的位置和焦距对准位置)来生成与捕获图像有关的主体信息。然后，主 体信息生成单元520依次将所生成的主体信息供应到图像选择部件531。这个主体信息例 如是用于在由成像单元510生成的捕获图像中包括的主体之中确定被观察主体的区域和 其背景区域的信息。作为这个主体信息，例如生成景深图(depth map)。这里，景深图是表 示从成像位置(例如，成像设备500的位置)一直到包括在捕获图像中的主体的距离(主 体距离)的数据。作为生成景深图的方法，例如可使用TOF(飞行时间Time of flight)方 法、或散焦测深(D印th from Defocus)等。例如，TOF方法是如下的方法，其中从光源发射 的光被目标对象反射，并基于直到光到达传感器为止的光的延迟时间和光的速度来计算一 直到主体的距离。选择单元530包括图像选择部件531和坐标计算部件532。图像选择部件531从由成像单元510生成的捕获图像之中选择用于由层处理单元 540执行的合成图像生成处理的图像(目标图像)。例如，图像选择部件531从由成像单元 510以每个预定间隔生成的捕获图像之中选择图像作为目标图像。替换地，例如，可选择目 标图像，以便获取适合于可视地识别被观察主体的操作中的转变的间隔。然后，图像选择部 件531输出关于所选择的目标图像的信息(例如，目标图像和关于目标图像的主体信息) 到坐标计算部件532和层分离部件Ml。坐标计算部件532对从图像选择部件531输出的每个目标图像计算用于由层处理 单元540执行的合成图像生成处理的坐标。然后，坐标计算部件532将所计算的坐标输出 到层处理部件M2。在这个坐标计算处理中，计算其中要合成作为计算目标的目标图像的合 成图像的像素位置。换言之，在这个坐标计算处理中，计算在最终生成的合成图像之中被施 加了作为计算目标的合成目标图像的像素范围。层处理单元540包括层分离部件Ml、层处理部件542和层合成部件M3。层分离部件541通过使用对应的主体信息而对由图像选择部件531选择的目标图 像执行层分离。这里，假设层表示通过从一个图像(帧)中分离被观察主体部分和背景部 分而获取的每个图像。然后，层分离部件541输出每个分离的层图像到层处理部件M2。层处理部件542通过对从层分离部件541输出的每个层图像使用由坐标计算部件 532计算的坐标来执行用于生成合成图像的各种加工处理。这些加工处理与上述加工处理 相同。然后，层处理部件M2向层合成部件543输出已经对其执行加工处理的层图像。这 里，层处理部件542是根据本发明实施例的图像处理单元的示例。
22
层合成部件543对从层处理部件542输出的层图像执行图像合成处理，并将所生 成的合成图像存储在合成图像存储单元180中。具体地，层合成部件543合成层图像，使得 从层处理部件542输出的层图像被布置在向其施加了层图像的像素范围中。此外，在用于 紧接在当前合成处理之前变成合成目标的层图像的合成处理之后，层合成部件543依次在 合成图像保持单元170中保持合成图像(历史图像)。然后，当执行用于变成接下来的合成 目标的层图像的合成处理时，层合成部件543从合成图像保持单元170中获取在合成图像 保持单元170中保持的合成图像(历史图像)，并将所述合成图像用于合成处理。这里，层 合成部件543是根据本发明实施例的图像合成单元的示例。合成目标图像的层分离的示例图16A和图16B是示意性表示根据本发明第一实施例的通过使用层分离部件541 来分离合成目标图像的方法的图。这个示例表示其中基于由主体信息生成单元520生成的 主体信息来将由图像选择部件531选择的目标图像分离为两层的示例。图16A到图19B所 表示的示例表示了在执行垂直拍摄的情况下的图像合成的示例。图16A表示目标图像550和对目标图像550生成的主体信息552。这里，目标图 像550是包括人551的图像。作为由主体信息生成单元520生成的主体信息，例如生成如 下的信息，其中将“ 1”分配到与被观察主体区域对应的像素，并且将“0”分配到与除了被观 察主体区域之外的诸如背景区域之类的区域对应的像素。在图16A中，示意性地表示其中 与人551对应的区域(被观察主体区域)是白色区域553、而除了人551之外的区域(背景 区域)是黑色区域的主体信息阳2。如上所述，由成像单元510生成的捕获图像和由主体信息生成单元520与捕获图 像相关联地生成的主体信息被依次供应到图像选择部件531。图像选择部件531从供应自 成像单元510的捕获图像之中选择用于由层处理单元540执行的合成图像生成处理的图 像。然后，图像选择部件531输出所选择的目标图像和对目标图像生成的主体信息到层分 离部件Ml。然后，层分离部件541通过使用对应的主体信息来将从图像选择部件531输出 的目标图像分离为两层。图16B表示由层分离部件541分离的被观察主体层560和背景层562。被观察主 体层560是通过提取图16A所示的目标图像550的被观察主体区域(即，向其分配了作为 主体信息阳2的“1”的像素区域)而形成的图像。换言之，提取与包括在目标图像550中 的人551对应的区域561。此外，背景层562是通过提取图16A所示的目标图像550的背 景部分(即，向其分配了作为主体信息阳2的“0”的像素区域)而形成的图像。换言之，提 取与包括在目标图像阳0中的除了人551之外的区域(背景区域)对应的区域(除了区域 563之外的区域)。层处理部件542对如上所述彼此分离的层图像执行各种加工处理。将参考图17A 和图17B来详细描述这个处理示例。处理合成目标图像的示例图17A和图17B是以简化方式示出根据本发明第一实施例的由层处理部件542对 其执行旋转处理的图像和由层处理部件542对其执行剪切处理的图像的图。为了便于描 述，图17A和图17B表示其中通过使用处于层分离之前的状态中的目标图像来执行加工处 理的示例。
图17A示出由层处理部件在由箭头572所表明的方向)对其执行旋转处理 的目标图像570。此外，图17B示意性表示由层处理部件542执行的剪切处理。在目标图像 570中，假设包括进行高尔夫球挥杆的人571。例如，假设图17A所示的目标图像570具有垂直宽度Wl和水平宽度Hl的图像尺 寸。例如，目标图像570的图像尺寸可被设置为VGA尺寸(640像素X480像素)。换言之， 它可被设置为使得Wl = 640和Hl = 480。图17B所示的水平宽度H51是剪切区域573和574的宽度。除了剪切区域573和 574之外的图像是与图17A所示的目标图像570的转变操作有效区域对应的图像。这个转 变操作有效区域是用于剪切在加工处理之前的目标图像中包括的主体之中的被观察主体 的区域。例如，可以将与转变操作有效区域对应的图像的图像尺寸设置为320像素X640像素。图17B所示的水平宽度H52是剪切区域575和576的宽度。除了剪切区域573到 576之外的图像(水平宽度H53的图像)是与图17A所示的目标图像570的剩余背景区域 对应的图像。这个剩余背景区域是在合成处理中用作背景图像的区域。例如，与剩余背景 区域对应的图像的图像尺寸可被设置为160像素X640像素。这里，假设转变操作有效区域和剩余背景区域的中心位置与目标图像的中心位置一致。此外，图17A和图17B所表示的示例仅仅是示例。因此，优选地，根据主体的尺寸 和移动，适当地设置转变操作有效区域和剩余背景区域的宽度和高度，从而被剪切为用于 合成处理的图像。图像合成的示例图18A和图18B是示意性表示根据本发明第一实施例的使用层合成部件543的合 成方法的图。这个示例表示其中对在时间序列中连续的两个合成目标图像执行合成处理的 示例。图18A以简化的方式示出由层分离部件541分离并且由层处理部件542处理的合 成目标图像(在时间序列中连续的两个合成目标图像)。如上所述，合成目标图像被层分离 部件541分离为被观察主体层和背景层。此外，层处理部件542对由层分离部件541分离 的被观察主体层和背景层执行加工处理。如上，由于在时间序列中连续的两个合成目标图 像被分离并处理，所以生成四个层(第一优先级图像581到第四优先级图像584)，如图18A 所示。首先，假设第一优先级图像581是在时间轴上被布置在后面的合成目标图像的被 观察主体层，并且第三优先级图像583是合成目标图像的背景层。此外，假设第二优先级图 像582是在时间轴上被布置在前面的合成目标图像的被观察主体层，并且第四优先级图像 584是合成目标图像的背景层。在合成这样的图像的情况下，图像被合成，使得以覆写的方 式来写入具有更高优先级的图像。图18B示出基于层图像的优先级等级而生成的合成图像589。换言之，层合成部件 543通过基于优先级等级来合成四个层(第一优先级图像581到第四优先级图像584)而 生成合成图像589。合成图像589是如下的图像，其被合成，使得在第一优先级图像581中 包括的人图像585和在第二优先级图像582中包括的人图像586重叠在由第三优先级图像583和第四优先级图像584合成的背景区域中的上侧。在这样的情况下，第三优先级图像 583被合成以便重叠于在第四优先级图像584的上方的上侧。此外，执行图像合成，使得在 第一优先级图像中包括的人图像585重叠于在包括于第二优先级图像582中的人图像586 的上方的上侧。此外，如图19A和图19B所示，在通过依次合成三个或更多合成目标图像来生成合 成图像的情况下，通过沿时间序列依次对合成目标图像进行合成来生成合成图像。此外，在 时间序列中连续的两个合成目标图像之中，在时间轴上被布置在前面的合成目标图像被保 持在合成图像保持单元170中，直到执行用于在后面的合成目标图像的合成处理为止。图19A和图19B是示意性示出根据本发明第一实施例的通过使用层合成部件543 对合成目标图像进行合成的方法的图。这个示例表示对合成目标图像进行合成、直到生成 图19B所示的合成图像595为止的示例。图19A表示直到生成图19B所示的合成图像595为止的特定时间点上的合成状 态。例如，图19A所示的状态被假设处于当对合成目标图像592(两层图像)执行合成处理 时的时间点。换言之，图19A表示与通过对紧接在前的合成目标图像593执行合成处理所 获取的合成目标图像592和合成图像591对应的转变操作有效区域E10。在这个示例中，假 设紧接之前变成合成目标的层图像被保持在合成图像保持单元170中。这里，在合成目标图像592的区域Ell中，在紧接在前的合成目标图像593和合成 目标图像592之间没有重叠区域。相应地，在合成目标图像592被合成到合成图像591的 情况下，在合成目标图像592的区域Ell中，以覆写的方式直接将合成目标图像592的转变 操作有效区域的像素合成到合成图像591，作为新的合成图像。然而，在合成目标图像592的区域E12中，合成目标图像592与紧接在前的合成目 标图像593的一部分重叠。这样，在合成目标图像592的区域E12中，如图18A和图18B所 示的，按照优先级等级来合成层图像。换言之，层合成部件543在区域E12中基于优先级等级、通过使用变成这次的合成 目标的合成目标图像592的层图像和在合成图像保持单元170中保持的紧接前次的合成 目标图像593来合成层图像。通过执行这样的合成，从合成目标图像592和593生成区域 “E11+E12”的合成图像。然后，层合成部件543将如上所述生成的区域“E11+E12”的合成图 像以覆写方式而合成到在合成图像保持单元170中保持的合成图像(已经向其合成了紧接 在前的合成目标图像593的合成图像)。换言之，层合成部件543执行如下的处理，其中将 如上所述通过合成而生成的区域“E11+E12”的合成图像与对应于在合成图像保持单元170 中保持的合成图像的El附接在一起。此外，当前作为合成目标的合成目标图像592 (两层图像)和通过这次的合成处理 而生成的合成图像被保持在合成图像保持单元170中，并用于下次的合成处理。在图19B 中示出如上所述生成的合成图像的示例。如上所述，对于在合成处理时在连续图像之间重叠的区域(例如，区域E12)，首 先，通过基于优先级等级来合成层图像，可以生成合成图像，而没有招致被观察主体的一部 分的损失。相应地，即使在通过使用多个合成目标图像来生成合成图像的情况下，也可生成 能够适当地表示被观察主体的操作的操作转变图像。如上，由层合成部件543生成的合成图像595被存储在合成图像存储单元180中。然后，例如根据用户的操作来在显示单元191中显示合成图像595。此外，例如，可以每当层 合成部件543生成合成图像时在显示单元191中自动地显示合成图像。2.第二实施例在本发明的第一实施例中，已经表示了通过用户的操作来指明用于合成目标图像 加工处理的成像操作状态的示例。在本发明的第二实施例中，将表示通过使用除了用户的 操作之外的方法来获取成像操作状态的示例。成像设备的构成示例图20是表示根据本发明第二实施例的成像设备600的功能构成示例的框图。通过 布置成像操作状态获取单元610而替代在图1所示的成像设备100中的成像操作状态获取 单元120，来获取成像设备600。其它部分实际上与成像设备100的那些部分相同。这样， 将相同的附图标记分配到每个共同的部分，并且省略其部分的描述。成像操作状态获取单元610通过检测成像设备600的加速度、移动、和倾斜等来检 测成像设备600的姿势，从而获取成像操作状态。此外，成像操作状态获取单元610将表示 所获取的成像操作状态的信息(成像操作状态信息)供应到图像处理单元150。作为这样 的成像操作状态信息，如图2所表示的，获取在将成像设备600的光轴用作中心的情况下、 关于成像设备600旋转角度(0度(水平拍摄)或90度(垂直拍摄))的信息。例如，可通 过陀螺仪传感器或加速度传感器来实现成像操作状态获取单元610。成像设备的另一构成示例图21是表示根据本发明第二实施例的成像设备620的功能构成示例的框图。通 过布置主体信息检测单元630而替代在图1所示的成像设备100中的成像操作状态获取单 元120，来获取成像设备620。其它部分实际上与成像设备100的那些部分相同。因此，将 相同的附图标记分配到每个共同的部分，并且省略其部分的描述。主体信息检测单元630检测关于在成像单元130所生成的捕获图像中包括的主体 的信息，从而获取成像操作状态。此外，主体信息检测单元630将表示所获取的成像操作状 态的信息(成像操作状态信息)供应到图像处理单元150。作为这样的成像操作状态信息， 如图2所表示的，获取在将成像设备620的光轴用作中心的情况下、关于成像设备620的旋 转角度(0度(水平拍摄)或90度(垂直拍摄))的信息。例如，主体信息检测单元630检测在由成像单元130所生成的捕获图像中包括的 人的脸，并且指定所检测的脸的垂直方向，从而获取成像操作状态。此外，例如，主体信息检 测单元630检测在由成像单元130生成的捕获图像中包括的人体，并指定所检测的人体的 垂直方向，从而获取成像操作状态。作为检测在捕获图像中包括的脸的方法，例如，可使用 通过在记录脸的亮度分布信息的模板与捕获图像之间的匹配进行的面部检测方法(例如， 参见日本未审查专利申请公布第2004-133637号)。此外，可使用基于在捕获图像中包括的 人脸的皮肤颜色(skin-colored)部分或特征量的面部检测方法。此外，基于所检测的脸的 特性信息，可检测在成像设备中的所检测的脸的垂直方向。作为这个特性检测方法，例如可 使用其中由简化的确定装置使用脸图像中的两个点之间的亮度的差值来检测每个特性的 检测方法(例如，参见日本未审查专利申请公布第2009-118009号)。通过使用这样的检测 方法，可以获取在人脸的捕获图像中的垂直方向。主体信息检测单元630是根据本发明实 施例的成像操作状态获取单元的示例。
26
3.第三实施例在本发明的第一和第二实施例中，已经表示了其中生成主要进行高尔夫球挥杆的 人的操作中的转变作为合成图像的示例。这里，本发明的第一和第二实施例也可应用到其 中生成例如除了高尔夫球之外的运动中的操作中的转变作为合成图像的情况。此外，本发 明的第一和第二实施例也可应用到其中生成在预定规则下的被观察主体的预定移动操作 中的转变作为合成图像的情况。这样，在本发明的第三实施例中，将表示其中根据用户的喜 好而生成合成图像的示例。被观察主体的示例图22A到图22H是示出根据本发明第三实施例的、变成用于通过使用成像设备来 生成合成图像的目标的被观察主体和预定操作的示例的图。图23是表示根据本发明第三 实施例的、变成成像设备的用于生成合成图像的目标的被观察主体和预定操作特征的示例 的图。图22k到图22H以图形方式表示被观察主体和预定操作的示例。例如，人651是 在棒球比赛中进行击球的人，人652是在棒球比赛中投球的人，以及人653是在足球比赛中 进行射门的人。此外，人肪4是在网球中进行发球的人，人655是在篮球比赛中进行投篮的 人，以及人656是在游泳中进行自由泳的人。此外，人657是进行日本剑术的人，以及人658 是跑短跑的人。此外，以虚线的矩形示意性表示根据图22A到图22H所示的人651到658的预定 操作而考虑的移动范围661到668。图23以表格的形式表示图22A到图22H所示的被观察主体和预定操作特征的示 例。在图23所示的表格中，作为图22A到图22H所示的被观察主体和预定操作特征，示出 了被观察主体状态672、操作范围673、成像操作方法674和合成目标图像的纵横比675。此 外，在对应画面671中表示了与图22A到图22H对应的画面。被观察主体状态672是被观察主体(人651到658)的状态。例如，在人的状态处 于水平方向的状态中进行如图22F所示的游泳。相应地，在被观察主体状态672中表示“在 横向上长”。另一方面，除了游泳之外的运动主要以站立状态来进行。相应地，在被观察主 体状态672中表示“在纵向上长”。操作范围673是被观察主体的假设的操作范围(预定操作的操作范围)。在操作 范围673中，例如，在被观察主体的操作范围相对大的情况下，表示“大”，并且在被观察主 体的操作范围小的情况下，表示“小”。另一方面，在被观察主体的操作范围处于其中间的情 况下，在其中表示“中”。此外，在括号中表示主要移动方向。进一步地，在游泳和田径(短 跑)中，被观察主体始终在移动，并因此表示其指示。成像操作方法674是在对被观察主体拍照的情况下成像设备的状态。例如，在游 泳和田径(短跑)中，如上所述，被观察主体始终在移动。相应地，成像设备需要根据所述 移动来移动。另一方面，在被观察主体在预定范围内移动的许多其它运动中，并相应地，成 像设备可在被固定的同时执行拍照。合成目标图像的纵横比675是与构成合成图像的合成目标图像的尺寸对应的值。 合成目标图像的纵横比675对应于被观察主体的移动范围，并例如对应于图22A到图22H 所示的运动范围661到668(虚线的矩形)中的每个的纵横比。
成像设备的构成示例图M是表示根据本发明第三实施例的成像设备700的功能构成示例的框图。通 过布置处理信息存储单元720而替代处理信息存储单元140并且在图1所示的成像设备 100中添加预定操作信息获取单元710来获取成像设备700。其它部分实际上与成像设备 100的那些部分相同。这样，将相同的附图标记分配到每个共同的部分，并且省略其部分的 描述。预定操作信息获取单元710获取由被观察主体执行的预定操作(例如，运动等)， 并保持表示所获取的预定操作的信息(预定操作信息)。在这个预定操作信息中，例如如图 22A到图22H和图23所示，保持表示每个运动的信息。然后，预定操作信息获取单元710将 所保持的预定操作信息供应到图像处理单元150。处理信息存储单元720存储用于由图像处理单元150执行的合成目标图像的加工 处理的信息(处理信息)，并且将所存储的处理信息供应到图像处理单元150。将参考图沈 来详细描述处理信息存储单元720的存储内容。这里，处理信息存储单元720是根据本发 明实施例的存储单元的示例。预定操作指明屏幕的显示示例图25是表示根据本发明第三实施例的显示单元191的显示示例(预定操作指明 屏幕730)的图。该预定操作指明屏幕730是用于指明预定操作的指明屏幕。在预定操作 指明屏幕730上，布置了预定操作按钮731到740、返回按钮741、和确定按钮742。预定操作按钮731到740是当指明预定操作时按下的按钮。例如，预定操作按钮 731到740是与图22A到图22H和图23所示的运动对应的按钮。确定按钮742是当在执行指明了预定操作的按下操作之后要确定指明时按下的 按钮。返回按钮741例如是被按下以便返回到紧接在当前显示屏幕之前显示的显示屏幕的 按钮。处理信息存储单元的存储示例图沈是表示根据本发明第三实施例的处理信息存储单元720的存储内容的示例 的图。在处理信息存储单元720中，与预定操作751到760相关联地存储旋转角度721、合 成目标图像的纵横比722和合成目标图像的尺寸723。此外，高尔夫球(挥杆)751对应于 图6B所示的水平拍摄141和垂直拍摄142。在旋转角度721中，存储与图2A所示的成像操作状态相关的旋转角度。例如，将 “0度”存储为与预定操作751到760的水平拍摄相关联，并且将“90度”存储为与预定操作 751到760的垂直拍摄142相关联。在合成目标图像的纵横比722中，存储合成目标图像的纵横比。在图沈所示的示 例中，表示其中使用与图23所示的合成目标图像的纵横比675的值相同的值的示例。在合成目标图像的尺寸723中，存储合成目标图像的尺寸。该尺寸基于合成图像 的尺寸、构成合成图像的合成目标图像的数目、和合成目标图像的纵横比等来确定。在图26 所示的示例中，仅写入与高尔夫球(挥杆)751对应的值，并且如下地写入其它值的特征。例如，棒球(击球)752的纵横比优选地被设置为在横向上长。然而，由于在垂直 方向几乎没有操作范围，所以可以不将纵横比设置为在横向上长到高尔夫球(挥杆)751的 情况的程度。此外，对于棒球(投球)753，由于被观察主体在水平方向移动很多，所以棒球(投球)753的纵横比优选地被设置为在横向上长。此外，例如，对于足球(射门)7 的情 况，由于被观察主体在水平方向移动很多，所以足球(射门)7 的纵横比优选地被设置为 在横向上长，并且优选地被设置为在横向上长到比棒球(投球)753中更高的程度。此外，例 如，网球(发球)755的纵横比可被设置为与高尔夫球(挥杆)751的纵横比相同。此外，对 于篮球(投篮)756的情况，尽管考虑到跳投，但是在水平方向也几乎没有移动。相应地，篮 球(投篮)756的纵横比优选地被设置为在纵向上长。此外，例如，对于游泳757的情况，由 于成像设备700被移动以便跟随被观察主体，所以存在考虑到被观察主体的移动的影响而 不能设置游泳757的纵横比的许多情况。然而，对于游泳的情况，由于在垂直方向几乎没有 移动，所以游泳的纵横比优选地被设置为在横向上长。此外，对于田径(短跑)758的情况， 由于成像设备700被移动以便跟随被观察主体，所以存在可能不考虑被观察主体的移动的 影响的许多情况。此外，对于田径(短跑)的情况，假设水平方向的移动不是太多，优选地 将田径(短跑)的纵横比设置为在纵向上长。此外，例如，日本剑术759的纵横比可被设置 为与足球(射门)7 的纵横比相同。此外，对于击瓦(tilebreaking)760，由于在水平方向 几乎没有移动，所以优选地将击瓦760的纵横比设置为在纵向上长。这里，将描述由成像设备700执行的加工处理。例如，将考虑以水平拍摄来拍照棒 球投球场景。在这样的情况下，例如，在图6A所示的成像操作状态指明屏幕200中，用户按 下“水平拍摄”按钮201并然后按下确定按钮204。在这个情况下，从操作接收单元110向 成像操作状态获取单元120输出指示这样的用户操作的操作信号，并且成像操作状态获取 单元120保持表示所指明的成像操作状态的成像操作状态信息(水平拍摄)。此外，在图25所示的预定操作指明屏幕730上，用户按下“棒球(投球)，，按钮 733，并然后按下确定按钮742。在这个情况下，从操作接收单元110向预定操作信息获取单 元710输出指示这样的用户操作的操作信号，并且预定操作信息获取单元710保持表示所 指明的预定操作的预定操作信息(棒球(投球))。然后，图像处理单元150获取与在成像 操作状态获取单元120中保持的成像操作状态信息(水平拍摄)、和在预定操作信息获取 单元710中保持的预定操作信息(棒球(投球))相关联的处理信息。换言之，图像处理单 元150获取在处理信息存储单元140中存储的处理信息(棒球(投球)753的水平拍摄)， 并基于该处理信息来对从成像单元130供应的捕获图像执行每个加工处理。在图27A到图 27C中示出了如上所述执行的加工处理的示例。基于成像操作状态的图像合成的生成示例图27A到图27C是示意性示出根据本发明第三实施例的由图像处理单元150执行 的捕获图像加工处理和由图像合成单元160执行的合成图像生成处理的流程示例的图。这 个示例表示在指明水平拍摄和棒球(投球)的情况下的捕获图像加工处理和合成图像生成 处理的示例。这个示例是图IlA到图IlC所表示的示例的修改示例，并且在这个修改示例 和图IlA到图IlC所示的示例之间的差异在于没有执行旋转处理，并且合成图像的尺寸、和 合成目标图像的数目等与图IlA到图IlC所示的示例中不同。然而，其它部分与图IlA到 图IlC所示的示例相同。因此，下面省略其详细描述。如上所述，即使在对多类被观察主体的预定操作生成合成图像的情况下，通过用 户指明在多类被观察主体的预定操作之中的期望预定操作，也可以以容易的方式生成合成 图像。相应地，可以以容易的方式生成根据用户的喜好的图像。
如上，已经表示了其中通过使用由成像单元连续生成的捕获图像来生成合成图像 的示例。这里，例如，本发明的实施例可应用到其中通过从捕获图像中仅提取被观察主体并 且以重叠方式将所提取的被观察主体合成到不同的背景图像来生成合成图像的情况。这 样，下文中，将描述其中通过以重叠方式将从捕获图像中提取的被观察主体合成到不同的 背景图像来生成合成图像的示例。通过覆写被观察主体与背景图像而进行的合成图像的生成示例图28A和图28B是示意性表示根据本发明第三实施例的通过使用成像设备700生 成合成图像的流程的图。图28A表示作为合成目标的图像组800和背景图像805。图像组 800是由通过垂直拍摄而拍照的捕获图像801到804来构成的图像组。在捕获图像801到 804中，包括执行预定操作(例如，在垂直方向跳跃的操作)的人806。背景图像805是通 过水平拍摄而成像的捕获图像，并且在背景图像805中包括树和太阳。图28B表示通过合成在捕获图像801到804中包括的被观察主体的图像和背景图 像805而获取的合成图像811到814。例如，获取与在图6A所示的成像操作状态指明屏幕200上指明的成像操作状态和 通过图25所示的预定操作指明屏幕730指明的被观察主体的预定操作相关联的处理信息。 然后，基于所获取的处理信息，对捕获图像801到804执行每个加工处理。随后，提取在已 经对其执行加工处理的捕获图像801到804中包括的被观察主体(人806)。然后，通过在 水平方向将所提取的被观察主体的图像合成到背景图像805的中心位置附近，生成图^B 所示的合成图像811到814。这些合成图像811到814可被布置以便如图5A到图5C所示 地进行排列等。4.第四实施例在本发明的第一到第三实施例中，已经作为示例而描述了如下的成像设备，对该 成像设备而言，在用户的垂直方向和成像设备的垂直方向相同的情况下、成像范围在横向 上长。这里，作为成像设备的另一示例，将考虑包括成像单元的蜂窝电话装置(所谓的装备 有相机的蜂窝电话装置)。例如，为了使用呼叫功能或邮件发送功能，这个蜂窝电话装置频 繁地使用在其中其纵向方向变成垂直方向的状态中。相应地，在蜂窝电话装置的普通使用 状态中，存在成像范围在纵向上长的许多情况。这样，在本发明的第四实施例中，将描述对 其而言在普通使用状态中成像范围在纵向上长的蜂窝电话装置蜂窝电话装置的外部构成的示例图29A和图29B是表示根据本发明第四实施例的蜂窝电话装置850的外部构成的 示例的图。蜂窝电话装置850是包括成像单元的蜂窝电话装置，并且还包括操作单元851 和显示单元852。图29A示出当使用蜂窝电话装置850时的一种形式的正面侧，以及图29B 示出当使用蜂窝电话装置850时另一种形式的正面侧。如上所述，在普通使用时在如图29A所示的状态中频繁地使用蜂窝电话装置850。 这样，将此状态中的成像范围设置为基准。因此，通过在根据本发明第一到第三实施例的处 理信息存储单元的旋转角度(例如，图26所示的旋转角度721)的水平拍摄和垂直拍摄的 值之间进行切换，可以将本发明第一到第三实施例应用到蜂窝电话装置850。例如，当在图 29B所示的成像操作状态中对棒球(投球)拍照的情况下，通过在执行旋转处理之后执行图 27B所示的加工处理，可以生成图27C所示的合成图像785。
此外，在本发明的实施例中，已经作为示例而描述了包括成像单元作为图像输入 单元的示例的成像设备。然而，本发明的实施例可应用到如下的图像处理设备，该图像处理 设备包括向其输入了外部生成的连续成像的静止图像组或运动图像的帧图像组的输入单 元。此外，在本发明的实施例中，已经作为示例而描述了包括显示单元作为输出单元的示例 的成像设备。然而，所生成的合成图像可输出到另一输出单元。例如，可包括如下的输出单 元，其将所生成的合成图像扩展到存储器中或者将合成图像写入到诸如硬盘、闪存或网络 目的地之类的外部存储介质中。在本发明的实施例中，已经表示了其中生成静止图像的合成图像的示例。然而，本 发明的实施例可应用到其中作为移动图像来显示合成图像的生成过程的合成图像生成处 理。此外，对已经对其执行加工处理的合成目标图像，例如，除了被用作合成目标之外，还可 被用作表示移动操作中的转变的多个图像(例如，用于放映幻灯片的图像)。此外，本发明的实施例可应用到诸如个人计算机、视频系统或编辑装置之类的图 像处理设备。此外，根据本发明实施例的处理过程可嵌入在处理程序中。此外，本发明的实施例表示用以实现本发明的示例。这样，如在本发明的实施例中 描述的，本发明的实施例的每个项目与每个发明指定项目具有对应关系。类似地，每个发明 指定项目和本发明的实施例的具有相同名称的项目具有对应关系。然而，本发明不限于所 述实施例。因此，可通过在不脱离本发明构思的范围内在上述实施例中做出各种改变来实 现本发明的实施例。此外，在本发明的实施例中描述的处理过程可被理解为具有一系列这样的处理过 程的方法，并且可被理解为用于允许计算机执行所述系列过程的程序或在其中存储该程序 的记录介质。作为记录介质，例如，可使用CD (致密盘)、MD (迷你盘)、DVD (数字通用盘)、 存储卡、或蓝光盘(注册商标)等。本申请包含与在2009年12月28日向日本专利局提交的日本优先专利申请JP 2009-297766中公开的主题有关的主题，其全部内容通过参考而合并于此。本领于的技术人员应该理解，只要各种修改、组合、子组合和替换处于所附权利要 求或其等效物的范围内，它们就可取决于设计需要和其它因素而出现。
权利要求
1.一种图像处理设备，包括成像操作状态获取单元，用于获取表示在用于在时间序列中连续生成的多个图像的成 像操作时的成像操作状态的成像操作状态信息；图像处理单元，用于基于所获取的成像状态信息来对所述多个图像执行图像处理，该 图像处理用于生成表示在所述多个图像中包括的被观察主体的特定操作中的转变的合成 图像；以及图像合成单元，用于通过对已经对其执行该图像处理的多个图像进行合成来生成合成 图像。
2.根据权利要求1的图像处理设备，其中所述成像操作状态获取单元获取在将所述成 像操作时的成像方向用作轴的情况下的旋转角度，作为所述成像操作状态信息。
3.根据权利要求2的图像处理设备，其中，所述图像处理单元根据所述成像状态信息 所指定的旋转角度来对所述多个图像的每个执行旋转处理。
4.根据权利要求3的图像处理设备，其中，在所述成像状态信息所指定的旋转角度是预定角度的情况下，所述图像处理单 元对所述多个图像的每个执行旋转处理，以及其中，在所述成像状态信息所指定的旋转角度不是预定角度的情况下，所述图像处理 单元不对所述多个图像执行旋转处理。
5.根据权利要求4的图像处理设备，其中，所述图像处理单元执行该图像处理，以便允 许在所述成像状态信息所指定的旋转角度是预定角度的情况下对其执行旋转处理的所述 多个图像、和在所述成像状态信息所指定的旋转角度不是预定角度的情况下不对其执行旋 转处理的所述多个图像具有与所述合成图像的尺寸对应的预定尺寸。
6.根据权利要求1的图像处理设备，其中，所述图像处理单元执行该图像处理，以便允 许所述多个图像的每个具有与所述合成图像的尺寸对应的预定尺寸。
7.根据权利要求1的图像处理设备，还包括存储单元，用于存储与多类预定操作有关的处理信息；以及操作接收单元，用于接收用于从存储所述处理信息的多类预定操作之中指明期望的预 定操作的指明操作，其中，所述图像处理单元基于所获取的成像状态信息、通过使用与所指明的预定操作 有关的处理信息来对所述多个图像执行该图像处理。
8.一种成像设备，包括成像单元，用于通过对主体进行成像来生成在时间序列中连续的多个图像；成像操作状态获取单元，用于获取表示在用于所生成的多个图像的成像操作时的成像 操作状态的成像操作状态信息；图像处理单元，用于基于所获取的成像状态信息来对所述多个图像执行图像处理，该 图像处理用于生成表示在所述多个图像中包括的被观察主体的特定操作中的转变的合成 图像；以及图像合成单元，用于通过对已经对其执行该图像处理的多个图像进行合成来生成合成 图像。
9.一种图像处理方法，包括如下步骤获取表示在用于在时间序列中连续生成的多个图像的成像操作时的成像操作状态的 成像操作状态信息；基于所获取的成像状态信息来对所述多个图像执行图像处理，该图像处理用于生成表 示在所述多个图像中包括的被观察主体的特定操作中的转变的合成图像；以及 通过对已经对其执行该图像处理的多个图像进行合成来生成合成图像。
10. 一种允许计算机执行如下步骤的程序获取表示在用于在时间序列中连续生成的多个图像的成像操作时的成像操作状态的 成像操作状态信息；基于所获取的成像状态信息来对所述多个图像执行图像处理，该图像处理用于生成表 示在所述多个图像中包括的被观察主体的特定操作中的转变的合成图像；以及 通过对已经对其执行该图像处理的多个图像进行合成来生成合成图像。
全文摘要
一种图像处理设备，包括成像操作状态获取单元，用于获取表示在用于在时间序列中连续生成的多个图像的成像操作时的成像操作状态的成像操作状态信息；图像处理单元，用于基于所获取的成像状态信息来对所述多个图像执行图像处理，该图像处理用于生成表示在所述多个图像中包括的被观察主体的特定操作中的转变的合成图像；以及图像合成单元，用于通过对已经对其执行该图像处理的多个图像进行合成来生成合成图像。
文档编号H04N5/232GK102111542SQ20101059920
公开日2011年6月29日 申请日期2010年12月21日 优先权日2009年12月28日
发明者中尾大辅, 安藤诚士郎 申请人:索尼公司