构图确定设备、构图确定方法和程序的制作方法

专利名称：构图确定设备、构图确定方法和程序的制作方法
技术领域：
本发明涉及构图确定设备、方法以及所述设备执行的程序，该设备是配 置为关于图像数据的图像内容具有的构图进行确定的设备。
背景技术：
关于用于拍摄观看者具有好的印象的照片的技术的元素的一个示例是构
图设置。在此使用的术语"构图(composition)"也称为"取景(framing)", 并且指例如将被摄体或各被摄体放置在构图照片的图像框内的状态。
尽管存在通常可用于好的构图的若干基本技术，但是对于一般的相机用 户来说拍摄具有好的构图的照片不容易，除非该用户具有足够的关于摄影的 知识和技巧。因此，存在对将允许用户以容易和筒单的方式拍摄具有好的构 图的照片的技术的需要。
例如，日本未审专利申请公开No. 59-208983公开了 一种关于自动跟踪设 备的技术，其中确定分开预定时间间隔的图像之间的差异，计算图像之间的 差异的重心，该重心的运动的量和方向被用于检测被摄体图像关于成像屏幕 的运动的量和方向，并且控制成像装置，从而在成像屏幕的参照区域内设置 被摄体图像。
此外，日本未审专利申请^Hf No. 2001-268425 7>开了 一种关于自动跟踪 设备的技术，其中在自动跟踪人时，执行跟踪使得人的面部在图像的中心， 并且面部的区域在屏幕上的被摄体图像的整个区域的上面20%，从而在跟踪 的同时以确保的方式拍摄人的面部。
从判断构图的观点来看，这些技术配置允许被摄体(人)被自动搜索， 并且以一定的设置构图位于成像屏幕中。
此外，日本未审专利申请公开No. 2007-156693公开了 一种关于使用由监 视相机拍摄的图像照片执行的面部识别的配置。该配置包括用于有效地屏蔽 海报、布告板等中包括的(即，打印的)面部图像的技术。其一种应用将是 例如在一天中没有顾客或工作人员存在的时间(即，下班时间)时，在娱乐场所中操作该配置。生成屏蔽图案以屏蔽通过成像获得的图像的一部分，该 屏蔽图案通过面部提取单元重复地改变，直到不是到达的人的面部图像变得 不可从图像中获得，存储直到不是到达的人的面部图像由于图像被屏蔽从而 变得不可获得为止的屏蔽图案，利用该存储的屏蔽图案屏蔽图像，并且执行 面部图像检测。

发明内容
已经发现存在对构图确定的进一步和更广的应用的需要，例如，提供一 种构图确定设备等，其执行构图确定，其中从对人类被摄体执行的构图确定 的对象中消除不是实际的人而是打印在海报或艺术品上的面部的被摄体，或 相反，从而可以以更精确的方式获得期望的构图确定结果。
根据本发明的实施例， 一种构图确定设备，包括被摄体检测单元，配 置为检测基于获取的图像数据的图像中的被摄体；静止检测单元，配置为将 基于所述图像数据的图像或由所述被摄体检测单元检测的被摄体作为其对 象，检测静止状态；构图确定单元，配置为基于所述静止检测单元的4企测结 果，只将由所述被摄体检测单元检测的被摄体的真实被摄体或不真实被摄体 作为其对象确定构图。
利用上述配置，将基于图像数据的图像或由被摄体检测单元检测的被摄 体作为其对象执行静止检测，从而识别通过被摄体检测检测的静止被摄体或 图像中的静止区域。使用这种静止检测的结果，允许仅将由被摄体检测单元 检测的被摄体当中的真实被摄体或不真实被摄体之一被设置为构图确定的对 象。
利用根据本发明实施例的构图确定处理，关于图像或被摄体的静止检测 用于获取真实被摄体或不真实被摄体之一作为构图确定的对象。以此方式使 用静止检测允许在存在实际存在的被摄体和只有图像等而不实际存在的被摄 体一起作为图像中的被摄体的情况下，以准确的方式例如只将实际存在的被 摄体或不实际存在的被摄体之一 当作构图确定的对象。
因此，根据本发明的实施例，可以提供一种安排，其中在实际存在的被 摄体和只有图像等而不实际存在的被摄体一起作为被摄体的情况下，以准确 的方式只将实际存在的被摄体或不实际存在的被摄体之一当作构图确定的对 象。与将实际存在的被摄体和只有图像等而不实际存在的被摄体都检测为被摄体、并且基于此执行构图确定的现有技术相比，应用的范围明显更广，并 且可以给用户提供易于使用的安排。


图1A和1B是图示在已经简单使用面部检测技术等检测一个被摄体的情
况下的配置确定的示例的图2A和2B是图示在已经简单使用面部检测技术等检测两个被摄体的情
况下的配置确定的示例的图3是图示在简单使用面部检测技术时、还检测打印在海报等上的面部
而不是只有实际的人的面部的图4是图示根据实施例的配置确定块的配置示例(第一示例)的图； 图5是图示根据实施例的配置确定块的配置示例(第二示例)的图； 图6是图示根据实施例的配置确定块的配置示例(第三示例)的图； 图7是图示根据实施例的配置确定块的配置示例(第四示例)的图； 图8是图示根据实施例的配置确定块的配置示例(第五示例)的图； 图9是图示根据实施例的配置确定块的配置示例(第六示例)的图； 图10是图示利用根据第一实施例的配置确定块的处理过程的示例的流
程图11是图示利用根据第二实施例的配置确定块的处理过程的示例的流 程图12是图示利用根据第三实施例的配置确定块的处理过程的示例的流 程图13是图示利用根据第四实施例的配置确定块的处理过程的示例的流 程图14是图示利用根据第五实施例的配置确定块的处理过程的示例的流 程图15是图示利用^f艮据第六实施例的配置确定块的处理过程的示例的流 程图16是图示已经应用了根据实施例的配置确定块的、构成根据实施例的 成像系统的数字照相机和平台的图17A和17B是示意性图示作为根据实施例的成像系统的操作的，安装到平台的数字照相机在摇摄方向和倾斜方向上的运动的示例的图。
图18是图示关于根据实施例的成像系统的内部系统配置示例的方块图； 图19是图示关于根据实施例的成像系统的另一内部系统配置示例的方 块图20是图示关于根据实施例的成像系统的另一内部系统配置示例的方 块图21是图示除了成像系统外、用于根据实施例的构图确定块的应用示例 的方块图22是图示除了成像系统外、用于根据实施例的构图确定块的应用示例 的方块图23是图示除了成像系统外、用于根据实施例的构图确定块的应用示例 的方块图24是图示除了成像系统外、用于根据实施例的构图确定块的应用示例 的方块图25是图示除了成像系统外、用于根据实施例的构图确定块的应用示例 的方块图26是图示除了成像系统外、用于根据实施例的构图确定块的应用示例 的方块图27是图示构成根据实施例的成像系统的数字照相机的内部配置示例 的方块图28是图示构成根据实施例的成像系统的平台的内部配置示例的方块
图29A和29B是图示具有重复^r测避免功能的构图确定块的配置示例的 方块图，该构图确定块可以应用到根据实施例的成像系统(数字照相机)；
图30是图示用于利用图29所示的构图确定块进行静止检测的处理过程 的示例的流程图31是图示用于利用图29所示的构图确定块进行被摄体区分和构图确 定的处理过^i的示例的流程图32是图示具有重复检测避免功能和静止被摄体信息清除功能的构图 确定块的配置示例的方块图，该构图确定块可以应用到根据实施例的成像系 统(数字照相机)；图33是图示执行对应于图32所示的静止被摄体信息清除功能的部分时 执行的处理过程的示例的流程图34是图示具有重复检测避免功能的构图确定块的另一配置示例的方 块图，该构图确定块可以应用到根据实施例的成像系统(数字照相机)；
图35是图示图34中所示的构图确定块执行的处理过程的示例的流程图36A到36C是描述用于获得被摄体的绝对位置信息的技术的示例的
图37A和37B是描述用于获得被摄体的绝对位置信息的技术的另 一示例 的图38是图示用于使用绝对位置信息的被摄体区分处理的配置示例的方 块图39是图示用于被摄体区分处理的配置示例的方块图，对应于执行能够 单独识別的被摄体检测处理的情况；
图40A和40B是描述如何获得检测的单独被摄体的重心和多个单独被摄 体的总的被摄体重心的示例以及如何检测单独的被摄体的特定方法的图41是用于描述在成像的图像数据的图像框内设置的原点坐标的图42是示意性图示在^r测的单独^皮才聂体的数目为一的情况下、利用构图 控制的第 一 示例的构图控制的示例的图43A和43B是示意性图示在检测的单独被摄体的数目为二的情况下、 利用构图控制的第 一示例的构图控制的示例的图44是示意性图示在检测的单独被摄体的数目为三的情况下、利用构图 控制的第 一示例的构图控制的示例的图45A和45B是图示用于构图控制的第一示例的处理过程的示例的流程
图46是示意性图示在检测的单独被摄体的数目为三的情况下、利用构图 控制的第二示例的构图控制的示例的图；以及
图47A和47B是图示用于构图控制的第二示例的处理过程的示例的流程图。
具体实施例方式
现在将描述执行本发明的各实施例。首先，将定义在此使用的术语。"构"场角"也称为变焦角度，并且指以角度的 形式表达的放入图像框的范围，该图像框由成像装置的光学系统中的变焦镜 头的位置确定。通常，这由成像光学系统的焦距和成像面(成像传感器或膜) 的大小确定，但是这里，能够对应于焦距改变的元件被称为"场的角度"或 "场角"，它们可互换地使用。"成像视角"定义通过利用设置在预定位置的 成像装置成像获得的图像的范围，并且除了上面的"场的角度"外，还由摇 摄(水平)方向上的摇摄角度和倾斜(垂直)方向上的角度(仰角和俯角) 确定。例如，图像的构图指将被摄体或各被摄体放置在由图像视角确定的图 像框内的状态。
首先，根据用于执行本发明的优选实施例，配置一种装置或系统以便执 行构图确定。在描述实施例的配置前，让我们考虑对例如通过成像获得的被 摄体执行自动构图调整。注意，被摄体是人。
图1A图示其中单个被摄体301存在于图像框内的状态，作为例如通过 成像获得的图像内容的示例。可以配置用于构图确定处理的算法以便首先检 测例如一个被摄体301存在于图1A所示的图像中，并且基于检测结果，确 定对被摄体301在其中的图像理想的构图(理想构图)是如图1B所示的。例 如，在该情况下，该状态(构图)使得图像框300内的被摄体301已经放大 到一定大小，并且位于靠近中间。
此外，图2A和2B图示在输入例如图2A所示的图像时，从该图像中检 测存在两个被摄体301A和301B的事实，并且基于检测结果，确定被摄体 301A和301B在其中的图像的理想构图是如图2B所示的。在图2B中，该构 图使得图像框300内的被摄体301A和301B已经放大到一定大小，并且位于 均匀地靠近左边和右边。
例如面部检测技术可以应用于上述构图确定中的被摄体检测，但是面部 检测技术的简单应用可能导致以下问题。参照图3，我们可以看到图像框300 中，存在为真实的人的被摄体301和具有打印、印刷等的人的面部的海报(面 部图像海报)302。用于被摄体检测的面部检测技术的简单应用将导致不仅被 摄体301、而且面部图像海报301中的面部被检测为被摄体。
在该情况下，只存在一个为真实的人的被摄体，因此构图确定结果应当具有如图IB所示的情况的只有被摄体301的特写(close-up )。然而，在该情 况下，面部检测已经检测了两个被摄体，因此构图确定的结果将更像图2B所 示的那样，使得被摄体301的面部和面部图像海报302上的面部都被特写， 作为最优构图。
因此，本实施例提供一种用于构图确定的技术配置，将人或人类作为主 观被摄体(以下简称为"被摄体")，从而消除了不是真实的人的被摄体(不 真实被摄体)(如在海报或公告栏上打印或印刷等的面部或人、三维雕刻或成 形的面部等)，并且获得精确的构图确定结果，其中只有实际存在的人(真实 被摄体)被当作被摄体。
图4是示意性图示关于根据本实施例的构图确定的第一示例的配置的 图。该示构图确定块200作为用于执行构图确定的部分。构图确定块200 获取图像数据并执行构图确定，并且包括被摄体检测处理单元201、静止检 测处理单元202以及构图确定处理单元203。
被摄体检测处理单元201是使用获取的图像数据并执行被摄体检测处理 的部件。在此使用的被摄体检测处理是第一次区分人类被摄体与图像数据的 图像内容的处理，这里作为检测结果获得的信息(单独被摄体检测信息)是 人类被摄体的数目、图像框内关于每个被摄体(单独被摄体)的位置信息、 每个单独祐j菱体的图像框中的大小(占用的空间)等，该位置信息可以例如 用用于图像框内的位置的像素矩阵中的x坐标和y坐标表示。
面部检测技术可以用作用于被摄体检测处理的特定技术，尽管根据现有 技术存在若干面部检测方法和技术，但是本实施例不具体限制于任何方法或 技术，并且可以考虑到检测精确度、设计难度、与用于稍后描述的静止检测 的技术的兼容性等选择适当的方法。在该阶段，用于被摄体检测处理的技术 和算法可以检测在图像中获取的真实的人的真实被摄体和不真实被摄体，而 不用在这两者之间区分。被摄体检测处理单元201输出由单独被摄体检测信 息的集合构图的信息作为检测的被摄体信息。
此外，被摄体检测处理单元201执行的被摄体检测处理可以通过图像信 号处理来实现。在其中例如由DSP (数字信号处理器)执行图像信号处理的 配置的时候，被摄体检测处理可以通过给DSP提供的程序和指令来实现。注 意，这对下面的静止检测处理单元202和稍后描述的能够通过图像信号处理 实现其功能的所有其它部分也适用。此外，在被摄体检测处理单元201的上游，获取的图像数据被划分并且 也输入到静止检测处理单元202。静止检测处理单元202例如通过图像信号 处理执行处理，以便检测获取的图像数据的图像(图像框)内没有运动并且 是静止的区域(静止区域)。该检测处理产生了图像数据的图像中的静止区域 的位置和指示其分布的信息(检测的静止区域信息)。例如，该检测的静止区 域信息可以认为指示被检测为静止区域的像素的分布。
在此情况下，构图确定处理单元203获取并输入从被摄体检测处理单元 201输出的检测的被摄体信息以及从静止检测处理单元202输出的检测的静 止区域信息，并且最后执行构图确定处理，从而在只有真实被摄体作为对象 的情况下确定最优构图。注意，由构图确定处理单元203执行的构图确定处 理可以通过例如执行程序的CPU (中央处理单元)(即，通过软件)实现。在 此可以采用的配置的另 一示例是根据需要由软件和/或硬件实现的图像信号 处理的一前一后的使用。
图10所示的流程示了由构图确定块200的被:慑体^r测处理单元201、 静止检测处理单元202和构图确定处理单元203执行的处理过程的示例。要 理解的是，图IO所示的处理过程的示例只是一个示例，并且由图4所示的构 图确定块200执行的处理过程决不限于此。只要构图确定处理单元203基于 来自被摄体检测处理单元201的检测的被摄体信息和来自静止检测处理单元 202的检测的静止区域信息，在只有真实被摄体作为对象的情况下最终确走 最优构图，图4所示的配置就已经实现了其想要的功能。这对于稍后描述的 第二到第六示例也适用。
此外，图4所示的块配置和图10的流程图中的各步骤之间的相关只是一 个直接构思的示例，并且也可以构思和采用其它相关。这点对于稍后描述的 对应的方块图和流程图之间的相关也适用。
首先，在步骤S101中，被摄体检测处理单元201和静止检测处理单元 202获取(输入)图像数据。
步骤S102和S103是由被摄体检测处理单元201执行的过程。被摄体检 测处理单元201在步骤S102中执行上述被摄体^r测处理，并且在步骤S103 中输出作为其检测结果的检测的被摄体信息。
与步骤S102和S103并行的是，静止检测处理单元202执行步骤S104 和S105中的过程。在步骤S104中，在输入图像数据的图像框内的图像中检
14测静止区域。在该第一示例的情况下，例如可以将运动检测技术应用于静止 区域的检测。也就是说，其中时间上相关的图像(等效于各帧(或各场))之
间的变化在预定量内的区域可以被^r测为静止区域，并且在步骤S105中，输 出作为检测结果的检测的静止区域信息。
步骤S106由构图确定处理单元203执行。在步骤S106中，构图确定处 理单元203输入在步骤S103从被摄体检测处理单元201输出的检测的被摄体 信息以及在步骤S105从静止检测处理单元202输出的检测的静止区域信息。 于是，构图确定处理单元203首先从由检测的被摄体信息指示的各个被摄体 中消除不真实被摄体，以便仅区分出真实被摄体，即，执行区分处理。
在真实世界中，真实的人连续展现变化，如面部自身的移动，或者即使 面部不运动，也将存在眨眼、面部表情变化等，这可以当作关于面部部分的 运动。利用对应于步骤S104的由静止检测处理单元202执行的静止检测处理， 包括真实的人在图像中的位置的区域(即，包括已经检测了真实被摄体的位 置的区域)被检测为具有运动的区域，并且静止区域是没有检测到运动的区 域。与真实被摄体相反，作为不真实被摄体的海报和公告栏等中的面部不展 现真实的人的上述运动，因此上面的静止检测处理将包括已经检测了不真实 被摄体的位置的区域检测为静止区域。
因此，构图确定处理单元203被配置为对于上述区分处理比较由检测的 被摄体信息指示的每个检测的单独被摄体的位置信息和由检测的静止区域信 息指示的静止区域的分布。也就是说，其位置信息包括在静止区域中的检测 的单独被摄体是没有运动的静止被摄体，即，不真实被摄体。另一方面，其 位置信息不包括在静止区域中的检测的单独被摄体是具有运动的被摄体，即， 真实被摄体。因此，利用本实施例，可以只区分真实被摄体。此外，这种处 理可以概念上理解为确定检测的单独被摄体是真实被摄体还是不真实被摄 体。构图确定处理单元203然后只设置如上所述区分的真实被摄体作为要用 于构图确定的单独被摄体(对象单独被摄体)。
接着，构图确定处理单元203执行步骤S107的处理。在步骤S107中， 利用预定的算法，使用如上所述在步骤S106中设置的对象单独被摄体的检测 的被摄体信息，执行用于构图确定的处理。将稍后描述构图确定算法的示例、 构图确定结果的使用示例等。
图5图示作为本实施例中的第二示例的构图确定块200的配置。该图中的构图确定块200以与图4所示的第一示例相同的方式，也包括被摄体检测 处理单元201、静止检测处理单元202以及构图确定处理单元203。在该情况 下，被摄体检测处理单元201首先获取图像数据并执行单独被摄体(包括真 实被摄体和不真实被摄体)的检测，并且将作为其检测结果的检测的被摄体 信息输出到构图确定处理单元203以及静止检测处理单元202。
在该情况下，静止检测处理单元202基于输入的检测的被摄体信息执行 静止检测处理，从检测的单独被摄体中检测出静止被摄体。注意，在此检测 的静止被摄体等效于不真实被摄体。
也可以在该第二示例中使用的静止被摄体^r测的一个示例是运动^r测。 也就是说，检测由在检测的单独被摄体之前和/或之后的采样时刻获得的检测 的被摄体信息指示的检测的单独被摄体的位置信息的变化，并且其中变化量 为 一 定水平或更低的被摄体可以被检测为静止被摄体。
此外，利用如该第二示例的配置，其中要在被摄体检测后的阶段检测静 止被摄体，也可以构思如接下来要描述的静止检测技术。
一种是应用表情检测技术，因为理所当然地对于真实被摄体的面部表情 是可变化的，但是对于不真实被摄体不可以改变。例如，被摄体检测处理单 元201首先利用通过预定方法的面部检测执行单独被摄体检测，然后静止检 测处理单元202接收图像的信息，其中已经提取了通过面部检测处理检测的 单独被摄体的面部图像部分(面部图像)。静止检测处理单元202获得表情的 变化量，并且将与其中该变化量为 一定水平或更低的面部图像对应的检测的 单独被摄体检测为静止被摄体。
其一个示例是应用在由本受让人提交的日本未审专利申请公开No. 2008-42319中描述的表情评估技术。该表情评估技术包括基于归一化面部图 像和差分轴信息执行计算以评估面部图像中面部的表情度，以便获得表情评 估值。该技术的应用示例可以是获得经过单位时间的表情评估值的变化量， 并且将与其中该变化量为 一定水平或更低的面部图像对应的检测的单独被摄
体4全测为静止被摄体。
另一个可构思的示例是应用用于检测眼睑的运动(即，眨眼)的技术。 理所当然地真实被摄体会眨眼，而不真实被摄体被认为不能眨眼。也在该情 况下，被摄体检测处理单元201首先利用通过预定方法的面部检测执行单独 被摄体检测，然后静止检测处理单元202接收图像的信息，其中已经提取了通过面部检测处理检测的单独被摄体的面部图像部分(面部图像)。静止检测
处理单元202还提取已经接收的面部图像的眼部。静止检测处理单元202然 后将与已经被确定为不眨眼的提取的眼图像对应的检测的单独被摄体检测为 静止被摄体。
这种眨眼检测技术的一个示例是应用在由本受让人提交的日本未审专利 申请公开No. 2004-343315中描述的表情评估技术。利用该技术，首先，由包 括肤色检测的面部检测处理执行面部检测，检测所检测的肤色区域中的白色 区域(即，检测眼部)，并且捕获包括眼部的区域(眼区域)。然后计算眼区 域中的白色信息的百分比，其随着时间改变，因为白色信息的百分比在眼睛 张开时大而在眼睑由于眨眼而闭上时小。可以将与随着时间计算的白色信息 的百分比是恒定的眼区域对应的单独被摄体检测为静止被摄体。
因此，可以实现包括上述示例的若干检测技术和算法。利用本实施例， 可以应用任何一种技术或算法，或者可以以组合的方式应用两种或更多。在 任何情况下，静止检测处理单元202输出具有上述的每个检测的静止被摄体 的检测的单独被摄体信息的信息作为检测的静止被摄体信息。
构图确定处理单元203使用从被摄体检测处理单元201输出的4企测的单 独被摄体信息和从静止检测处理单元202输出的检测的静止被摄体信息，并 且最后将真实被摄体作为对象，执行构图确定。
在由构图确定处理单元203执行的处理的示例的情况下，首先，执行处 理以区分真实被摄体。该处理包括比较由获得的检测的被摄体信息指示的检 测的单独被摄体的位置信息与检测的静止被摄体信息指示的静止被摄体的位 置信息。在该比较中，由其位置信息与检测的静止被摄体信息指示的静止被 摄体的位置信息匹配的检测的被摄体信息指示的检测的单独被摄体是不真实 被摄体，而不匹配的那些是真实被摄体。然后，将识别为真实被摄体的检测 的被摄体设置为对象单独被摄体。
于是，构图确定处理单元203从输入的检测的被摄体信息中提取关于设 置为对象单独被摄体的单独被摄体的单独被摄体检测信息，并且使用该单独 被摄体检测信息执行构图确定处理。
注意，对其应用上述表情检测或眨眼检测的静止检测还可以应用到图4 中之前示出的第一示例的示例。例如，静止检测处理单元202首先执行关于 获取的图像数据的面部检测，并且使用由此获得的面部图像执行上述表情检
17测或眨眼检测，从而执行静止检测。构图确定处理单元203然后可以比较由 来自被摄体检测处理单元201的检测的被摄体信息指示的检测的单独被摄体 的位置与由静止检测处理单元202确定为处于静止状态的面部图像的位置， 以区分真实被摄体。
图11示出的流程示了由根据已经参照图5描述的第二示例的构图确 定块200执行的处理的过程的示例。只要构图确定处理单元203基于来自被 摄体检测处理单元201的检测的被摄体信息和来自静止检测处理单元202的 检测的静止区域信息，在真实被摄体作为对象的情况下确定最优构图，图5 所示的配置就已经实现了它想要的功能，并且要注意的是，图ll所示的处理 过程的示例只是一个示例。
被摄体检测处理单元201首先执行步骤S201到步骤S203的处理。在步 骤S201,被摄体检测处理单元201获取(输入)图像数据。
在步骤S202,基于输入的图像数据执行被摄体检测处理，并且在步骤 S203中，输出作为其检测结果的检测的被摄体信息。
步骤S204和S205是由静止检测处理单元202执行的处理。在步骤S204 中，输入在步骤S203中从被摄体检测处理单元201输出的检测的被摄体信息， 从由上述检测的被摄体信息指示的检测的单独被摄体中检测静止被摄体，并 且在步骤S205中，输出指示检测结果的检测的静止被摄体信息。
步骤S206和S207是由构图确定处理单元203执行的处理。在步骤S206 中，输入在步骤S203中从被摄体检测处理单元201输出的检测的被摄体信息 和在步骤S205中从静止检测处理单元202输出的检测的静止被摄体信息，基 于参照图5描述的检测的被摄体信息和检测的静止被摄体信息，从由如图5 所述的检测的被摄体信息指示的检测的单独被摄体中区分真实被:慑体，并且 将区分的真实图像设置为对象单独被摄体。
在步骤S207中，基于对象被摄体的检测的单独被摄体信息执行构图确定 处理。
图6图示作为本实施例中的第三示例的构图确定块200的配置。该图所 示的配置可以看作基于图4所示的第一示例的配置，其中已经由构图确定处 理单元203执行的区分真实被摄体的处理被提取为被摄体区分处理单元204。 也就是说，在该情况下，如图4所示的情况，首先，被摄体检测处理单元201 基于已经输入的图像数据执行被摄体^r测处理，并且输出检测的被摄体信息，
18并且静止检测处理单元202也基于输入的图像数据执行图像框内的静止区域 的检测，并且输出检测的静止区域信息。
在该情况下，将检测的被摄体信息和检测的静止区域信息输入到被摄体 区分处理单元204。被摄体区分处理单元204使用冲企测的被摄体信息和检测 的静止区域信息，以与图4中的构图确定处理单元203相同的方式执行用于 区分真实被摄体的处理(区分处理)。被摄体区分处理单元204然后输出检测 的单独被摄体信息到构图确定处理单元203，该检测的单独被摄体信息关于 已经通过被摄体区分处理区分为真实被摄体的单独被摄体。
构图确定处理单元203将从被摄体区分处理单元204输出的、关于已经 被区分为真实被摄体的每个单独被摄体的检测的单独被摄体信息，处理为对 象单独被摄体的单独被摄体信息，并且执行构图确定处理。
图12所示的流程示根据由已经参照图6描述的第三示例的构图确定 块200执行的处理的过程的示例。步骤S301到S305的过程与图10中的步骤 S101到S105相同，其中输入图像数据，被摄体检测处理单元201基于输入 数据执行被摄体检测处理，并且输出检测的被摄体信息，并且静止检测处理 单元202执行静止区域检测并输出检测的静止区域信息。
在该情况下，由被摄体区分处理单元204执行步骤S306。在步骤S306 中，根据与图10中的步骤S106描述的处理相同的处理执行区分处理，并且 从检测的单独被摄体中区分真实被摄体。此后，在步骤S306中，通过上述区 分处理，从构成检测的被摄体信息的检测的单独被摄体信息中区分的、作为 真实被摄体的检测的单独被摄体的检测的单独被摄体信息，输出到被摄体区 分处理单元204。
在步骤S307中，构图确定处理单元203输入在步骤S306中输出的检测 的单独被摄体信息作为关于对象单独被摄体的信息，并且基于该检测的单独 被摄体信息执行构图确定处理。
图7图示作为本实施例中的第四示例的构图确定块200的配置。该图所 示的配置可以看作基于图5所示的第二示例的配置，其中已经由构图确定处 理单元203执行的区分真实被摄体的处理被提取为被摄体区分处理单元204。
在该情况下，首先，被摄体检测处理单元201输入图像数据，执行与图 5所示的情况相同的处理，然后输出作为被摄体检测处理结果的检测的被摄 体信息，这次输出到静止检测处理单元202和被摄体区分处理单元204。静止检测处理单元202以与图5相同的方式执行静止区域;险测处理，并且输出 作为其检测结果的检测的静止区域信息到被摄体区分处理单元204。
被摄体区分处理单元204输入上述输出的检测的被摄体信息和检测的静 止区域信息，以便以与上面参照图5所述的构图确定处理单元203相同的方 式执行用于区分真实被摄体的处理。被摄体区分处理单元204然后收集关于 已经通过被摄体区分处理区分为真实被摄体的单独被摄体的检测的单独被摄 体信息，并且将其输出到构图确定处理单元203。
构图确定处理单元203输入从被摄体区分处理单元204输出的检测的单 独被摄体信息，作为对象单独被摄体的单独被摄体信息，并且基于检测的单 独被摄体信息执行构图确定处理。
图13所示的流程示由根据已经参照图7描述的第四示例的构图确定 块200执行的处理的过程的示例。步骤S401到S405的过程与图11中的步骤 S201到S205相同，其中输入图像数据，被摄体检测处理单元201基于输入 数据执行被摄体检测处理，并且输出检测的被摄体信息，并且静止检测处理 单元202执行静止区域检测并输出检测的静止区域信息。
在该情况下，由祐L摄体区分处理单元204执行步骤S406。在步骤S406 中，根据与图11中的步骤S206描述的处理相同的处理4丸行区分处理，并且 从检测的单独被摄体中区分真实被摄体。此后，在步骤S406中，通过上述区 分处理，从构成检测的被摄体信息的检测的单独被摄体信息中区分的、作为 真实被摄体的检测的单独被摄体的检测的单独被摄体信息，输出到被摄体区 分处理单元204。
在步骤S407中，构图确定处理单元203输入在步骤S406中输出的检测 的单独被摄体信息作为关于对象单独被摄体的信息，并且基于该检测的单独 被摄体信息执行构图确定处理。
图8图示作为本实施例中的第五示例的构图确定块200的配置。该图中 的构图确定块200除了被摄体检测处理单元201、静止检测处理单元202以 及构图确定处理单元203之外，还包括屏蔽处理单元205。
在该情况下，外部输入到构图确定块200的图像数据首先输入到屏蔽处 理单元205和静止4佥测处理单元202。静止4企测处理单元202检测输入数据 的图像(图像框)中的静止区域，并且将作为其检测结果的检测的静止区域 信息输出到屏蔽处理单元205。基于来自静止检测处理单元202的检测的静止区域信息，屏蔽处理单元 205设置要从被摄体检测处理单元201的被摄体检测处理的对象中排除的输 入图像数据的图像(图像框)中的无效区域(即，检测的对象无效区域)。为 此，在对应于输入图像数据的整个图像区域中，屏蔽处理单元205将匹配检 测的静止区域信息指示的静止区域的区域设置为检测的对象无效区域。可以 说，在图像数据的整个图像区域中，除了检测的对象无效区域之外的区域是 检测的对象有效区域。
接着，屏蔽处理单元205执行屏蔽处理，其中如上所述设置的检测的对 象无效区域反映在输入图像数据中。也就是说，在该情况下，配置被摄体检 测处理单元201以便在执行被摄体检测处理时，不执行关于检测的被摄体无 效区域的被摄体检测处理，并且该屏蔽处理将允许被摄体检测处理单元201 识别图像数据中的检测的对象无效区域。
可构思的这种处理的一个特定示例是增加指示代表^r测的对象无效区域 的像素范围的数据(或相反，指示代表检测的对象有效区域的像素范围的数 据)作为图像数据的元数据。另一可构思的示例是通过例如以预定的固定颜 色重写检测的对象无效区域，执行关于图像数据的图像处理，使得被摄体看 不见。
屏蔽处理单元205然后将经历上述屏蔽处理的图像数据(即，屏蔽的图 像数据)输出到被摄体检测处理单元201,其中输入的屏蔽的图像数据被用 来执行被摄体检测处理。
被摄体检测处理单元201使用输入的屏蔽的图像数据执行被摄体检测处 理。由于上述屏蔽处理，屏蔽的图像数据已经被处理，使得处于静止状态的
图像区域不被当作被摄体检测处理的对象。因此，被摄体检测处理单元201 只对具有运动的图像区域执行被摄体检测处理。因此，利用该情况下的被摄
体检测处理，检测的单独被摄体只有真实被摄体。也就是说，利用该图所示 的配置，基于静止检测结果执行屏蔽处理的屏蔽处理单元205可以看作执行 用于消除不真实对象并且从检测的单独被摄体中只区分真实对象的处理(即， 关于检测的单独被摄体是真实被摄体还是不真实被摄体的确定处理)。
该情况下的被摄体检测处理单元201然后输出检测的被摄体信息到构图 确定处理单元203,该检测的4皮摄体信息由如上所述检测的每个单独被摄体 的单独被摄体信息构成。
21构图确定处理单元203输入上述从被摄体检测处理单元201的检测的被 摄体信息，并且执行构图确定处理。由此获得的构图确定结果是适当的结果， 其中不真实被摄体已经从图像数据的图像中存在的被摄体中消除，并且只有 作为真实被摄体的单独^皮it体用于构图确定。
图14所示的流程示根据由已经参照图8描述的第五示例的构图确定 块200执行的处理的过程的示例。在步骤S501中，静止4企测处理单元202和 屏蔽处理单元205输入图像数据。
步骤S502到S504由屏蔽处理单元205执行。在步骤S502中，基于当前 从静止检测处理单元202输入的检测的静止区域信息检测所检测的对象无效 区域，如上面参照图8所述，并且在步骤S504中，也参照图8执行屏蔽处理。 在步骤S504中，输出屏蔽的图像数据，它是已经经历屏蔽处理的图像数据。
此外，与步骤S502到S504并行执行的步骤S505和S506由静止检测处 理单元202执行。在步骤S505中，在步骤S501中输入的图像数据中检测静 止区域，并且在步骤S506中，作为检测结果的检测的静止区域信息输出到屏 蔽处理单元205。重复地，在步骤S502中使用以此方式输出的检测的静止区 域信息。
步骤S507和S508由被摄体检测处理单元201执行。在步骤S507中，对 于在步骤S504中输出的屏蔽的图像数据执行之前参照图8所述的被摄体^r测 处理，并且在步骤S508中，作为其检测结果的检测的被摄体信息在步骤S508 中输出到构图确定处理单元203 。
在步骤S509,构图确定处理单元203使用检测的被摄体信息执行构图确定。
图9图示作为本实施例中的第六示例的构图确定块200的配置。该图中 的构图确定块200也包括被摄体检测处理单元201 、静止检测处理单元202、 构图确定处理单元203和屏蔽处理单元205，这与图8所示的第五示例相同， 但是第六示例中的配置如下。
在该情况下，构图确定块200已经输入的图像数据输入到屏蔽处理单元
体信息，以便以与图8所示的情况相同的处理使输入的图像数据经历屏蔽处 理，并且输出屏蔽的图像数据到被摄体检测处理单元201。
被摄体检测处理单元201使用输出的屏蔽数据执行被摄体检测处理，并且输出检测的被摄体信息到构图确定处理单元203,该检测的被摄体信息由 关于检测的单独被摄体的检测的单独被摄体信息构成。构图确定处理单元203 然后基于输入的检测的被摄体信息执行构图确定处理。
在该情况下，静止检测处理单元202输入从被摄体检测处理单元201输 出的检测的被摄体信息，并且例如利用与由图5和7中的静止检测处理单元 202执行的处理相同的处理，从检测的被摄体信息指示的检测的单独被摄体 中检测处于静止状态的静止被摄体。在该情况下，将每个检测的静止被摄体 的位置信息(即，可以指示每个静止被摄体处于图像数据的图像中的哪里的 信息)输出作为检测的静止被摄体信息。
屏蔽处理单元205通过设置与由输入的检测的静止被摄体信息指示的每 个静止被摄体的位置信息对应的图像区域内的区域，使输入的图像数据经历 屏蔽处理，以便生成和输出屏蔽的图像数据。
将以此方式生成的屏蔽的图像数据设置为检测的对象无效区域，该检测 的对象无效区域关于已经被检测为静止被摄体的检测的单独被摄体位于其中 的区域，如上所述，这意味着相反地，作为真实被摄体的检测的单独被摄体 存在其中的区域被当作检测的对象有效区域。因此，输入屏蔽的图像数据的 被摄体检测处理单元201可以从图像中存在的被摄体中只检测真实被摄体作 为单独被摄体，而消除了不真实被摄体(静止被摄体)。
构图确定处理单元203然后基于以此方式检测的单独被摄体的检测的单 独被摄体执行构图确定。也就是说，以适当方式只对真实被摄体执行构图确 定。注意，利用这种配置，在屏蔽处理单元205处，检测的对象无效区域根 据需要以预定的触发或时序被清除。
图15所示的流程示由才艮据已经参照图9描述的第六示例的构图确定 块200执行的处理的过程的示例。在该情况下，在步骤S601中，屏蔽处理单 元205输入图像数据。
接着，屏蔽处理单元205还执行步骤S602到S604的过程。在步骤S602 中，输入当前从静止检测处理单元202输出的检测的静止被摄体信息，在输 入的图像数据的图像中设置屏蔽区域(检测的对象无效区域)，并且在步骤 S603中，通过使图像数据经历用于反映设置的屏蔽区域的屏蔽处理，获得了 屏蔽的图像数据，并且在步骤S604中输出屏蔽的图像数据。
步骤S605和S606的处理由被摄体4企测处理单元201执行。在步骤S605中，输入在步骤S604中输出的屏蔽的图像数据，并且执行被摄体检测处理， 并且在步骤S606中，输出由每个检测的单独被摄体的检测的单独被摄体信息 构成的检测的被摄体信息。以此方式输出的检测的单独被摄体信息在由构图 确定处理单元203执行的步骤S609、以及由静止4企测处理单元202执行的步 骤S607中使用。
首先，在步骤S607中，静止检测处理单元202基于输入的检测的单独被 摄体信息检测静止被摄体信息，并且作为其检测结果，在步骤S608中输出检 测的静止被摄体信息到屏蔽处理单元205,如上所述，该检测的静止被摄体 信息由每个检测的静止图像的位置信息"全测的单独被摄体信息)构成。
此外，在步骤S609中，构图确定处理单元203基于输入的检测的被摄体 信息执行构图确定处理。
根据上述第一到第六示例的构图确定块200的配置(即，根据本实施例 的基本构图确定配置)允许即使在真实被摄体和不真实被摄体共存为图像数 据的图像中的被摄体时，也可以精确地将应当从构图确定的对象中消除的不 真实被摄体从对象中消除，以便只对作为对象的真实被摄体执行适当的构图 确定。
现在，在真实被摄体和不真实被摄体之间区分时，使用关于图像数据的 图像的静止检测的结果或检测的被摄体，即，关于图像运动的检测。因此， 即使在图像数据的图像内容随着时间改变时，也可以根据此时的图像内容动 态地识别静止区域或净皮il体，使得可以以精确方式恒定地区分真实被摄体和 不真实被摄体。
例如，日本未审专利申请公开No. 2007-156693公开了一种配置，其中在 面部图像检测时生成屏蔽图案，使得不检测如海报中的面部的面部图像(等 效于本实施例中的不真实被摄体)。然而，利用该配置，要在图像中不存在如
顾客或员工的实际的人的面部(等效于本实施例中的真实被摄体)的情况下 执行生成适当的屏蔽图案作为校准(初始设置)，如在日本未审专利申请公开 No. 2007-156693的0060段中描述的。换句话说，利用该相关技术，在其中 不真实被摄体和真实被摄体共存的图像内容的情况下，难以生成适当的屏蔽图案。
作为比较，利用本实施例，即使在真实被摄体和不真实被摄体共存在图 像(图像框)中以及图像内容随着时间改变的情况下，也可以执行适当的屏蔽处理，如上所述，因此，可以只将真实被^^聂体作为对象执行构图确定。因
此，利用本实施例，在应用到如日本未审专利申请公开No. 59-208983中描述 的固定点监视系统的情况下，不必执行如上述校准的预备操作，并且即使在 由于某些原因在工作时间期间张贴新的海报的情况下，也可以消除海报上的 面部等。因此，根据本实施例的配置允许提供更易于使用并且比现有技术执
行更好的安排。
此外，采用根据本实施例的配置实现了在广泛使用中的应用的灵活性， 而不用限制在如例如日本未审专利申请公开No. 59-208983中的固定点监视 系统的用途。
因此，接着将描述根据本实施例的构图确定配置的应用的若干设备示例 和系统配置示例。
首先，将进行关于根据本发明的构图确定应用于由数字照相机以及安装 数字照相机的平台构成的成像系统的描述。对应于本实施例的成像系统允许 根据由构图确定所确定的构图执行静止图像成像和记录。
图16图示从前面来看的根据本实施例的成像系统的外部配置的示例。如 该图所示，根据本实施例的成像系统由数字照相机1和平台IO配置。
数字照相机1基于通过用在主单元前侧面板提供的镜头单元3执行成像 获得的成像光生成静止图像数据，并且可以将其存储在内部安装的存储介质 中。也就是说，数字照相机1具有拍摄为照片的图像作为静止图像数据存储 和保存在存储介质中的功能。在手动执行这种拍照成像时，用户按下在主单 元的上面提供的快门(释放)按钮。
平台IO可以安装数字照相机1，使得数字照相机l固定到平台10。也就 是说，数字照相机l和平台IO都具有用于允许互相附接的机制部分。
平台10具有摇摄/倾斜机制，用于在摇摄方向(水平方向)和倾斜方向 上移动所安装的数字照相机1。例如，在图17A和17B中示出了通过平台10 的摇摄/倾斜机制允许的数字照相机1的摇摄方向和倾斜方向。图17A和18B 是从平面和侧面方向的安装到平台10的数字照相机1的视图。
首先，关于摇摄方向，将其中数字照相机1的侧面方向和图17A中的线 X是相同方向的位置状态作为参照，以旋转轴Ct 1作为旋转中心沿着旋转方 向转动+a提供右边方向上的摇摄运动。此外，沿着旋转方向转动-a提供左边 方向上的摇摄运动。接着，关于倾斜方向，将其中数字照相机1的垂直方向和图17B中的线 Y是相同方向的位置状态作为参照，以旋转轴Ct 2作为旋转中心沿着旋转方 向转动+(3提供向下方向上的摇摄运动。此外，沿着旋转方向转动-P提供向上 方向上的摇摄运动。
尽管图17A和17B中没有具体提到士a和士l3的最大转动角度，但是可以 说如果考虑到增加捕获被摄体的机会，则期望最大转动角度越大越好。
图18内部图示了作为对应于每个功能操作的块配置的、根据本实施例的 成像系统。在图18中，数字照相机包括成像块61、构图确定块62、摇摄/倾 斜/变焦控制块63、以及通信控制处理块64。
成像块61是用于输出通过成像获得的图像作为图像信号数据(成像的图 像数据)的部分，并且包括用于成像的光学系统以及成像设备(图像传感器)、 用于从由成像设备输出的信号中生成成像的图像数据的信号处理电路等。
构图确定块62输入从成像块61输出的成像的图像数据，并且基于成傳_ 的图像数据执行用于构图确定的处理。之前图4到9中所示的构图确定块200 的任何可用于该构图确定块62。也就是说，构图确定块62可以通过消除成 像的图像数据的图像中共存的不真实被摄体，只将真实被摄体作为对象来执 行构图确定。
摇摄/倾斜/变焦控制块63执行用于获得成像^L角的摇摄/倾斜/变焦控制 (构图控制)，以获得由从构图确定块62输入的构图确定结果的信息指示的 成像的图像构图。也就是说，获得平台10的摇摄/倾斜机制的运动量，数字 照相机1在该平台10上必须移动使得成像方向与由确定结果指示的构图一 致，并且根据获得的运动量生成摇摄/倾斜/变焦控制信号，用于指令该运动。 此外，获得变焦位置用于获得场角，以便获得由确定结果指示的成像的图像 构图，并且控制成像块61的变焦机制以便实现该变焦位置。
通信控制处理块64是用于执行与在平台10侧提供的通信控制块71的通 信的部分。由摇摄/倾斜/变焦控制块63生成的摇摄/倾斜/变焦控制信号被通过 由通信控制处理块64执行的通信，发送到平台10的通信控制块71。
例如如图8所示，平台10具有该通信控制块71和摇才聂/倾斜控制处理块 72。通信控制块71是用于与在数字照相机1侧的通信控制处理块64通信的 部分，并且在接收上面的摇摄/倾斜/变焦控制信号时，将该摇摄/倾斜/变焦控 制信号输出到摇摄/倾斜控制处理块72。摇摄/倾斜控制处理块72对应于用于执行涉及由在平台10侧的微计算机等(未示出)执行的控制处理中的摇摄/倾斜控制的处理的机制。摇摄/倾斜控制处理块72根据输入的摇摄/倾斜控制信号，控制未示出的摇摄驱动机制单元和倾斜驱动机制单元，它们在这里未示出。因此，执行用于根据确定的构图获得水平^L角和垂直^L角的摇摄和倾斜。
此外，在构图确定块62没有检测到被摄体时，摇摄/倾斜/变焦控制块63可以例如根据命令，执行用于搜索被摄体的摇摄/倾斜/变焦。
利用由图18所示的配置的数字照相机1和平台IO构成的成像系统，可以进行安排，其中将人当作主观被摄体(以下筒称为"被摄体")，搜索被摄体，并且在检测到被摄体的存在时，激活平台10的摇摄/倾斜机制以便获得(取景)对被摄体包括在其中的图像最优的构图(最优构图)。在获得最优构图时，在此时的成像的图像数据可以记录(成像记录)在存储介质中。注意，例如利用图18所示的配置，在完成了用于构图的摇摄/倾斜/变焦控制的时刻，可以从摇摄/倾斜/变焦控制块63关于适当的部分(如例如成像块61 )执行成像记录的指令(释放操作的指令)。或者，在确定成像的图像数据的图像中获得的真实构图和确定的最优构图之间的相似度为 一定水平或更高的时刻，可以利用构图确定块62做出释放指令。
这样，利用图18的成像系统，在利用数字照相机执行拍照时，首先，判断(确定)关于搜索的被摄体的最优构图，并且自动执行拍照和记录。因此，即使用户没有确定构图并拍照，也可以获得相当高质量的图像。此外，利用这种系统，不需要人支撑相机并拍照，因此在场的所有人都可以是被摄体。此外，即使不是所有被摄体都努力进入相机的视角范围，也可以获得所有被摄体都在画面中的照片。也就是说，将有更大的机会拍摄在场的人，其中以更自然的状态执行拍摄，因此，可以获得此前并不容易获得的许多自然的照片。
此外，最优构图依赖于被摄体面对的方向而不同，并且在存在多个被摄体的情况下，可以根据各被摄体的方向之间的关系确定不同的最优构图，因此，具有根据本实施例的配置的设备的用户可以获得最优配置而没有麻烦的过程。
此外，上述成像系统执行如上所述的构图确定，因此可以执行具有适当构图的图像的成像记录，其中只有真实的人(真实被摄体)被当作对象，而不会错误地对例如海报等中的人(不真实被摄体)有反应。
图19图示了根据图18所示的实施例的成像系统的修改。在图19中，在数字照相机1，由成像块61获得的成像的图像数据从通信控制处理块64发送到平台10的通信控制块71。在此示出包括通信控制块71、摇摄/倾斜控制处理块72以及构图确定块73的平台10。
由通信控制块71接收的成像的图像数据输出到构图确定块73。之前在图4到图9中所示的构图确定块200的任何可以应用于该构图确定块73,以便能够基于输入的成像的图像数据执行只有真实^皮摄体的构图确定。
在该情况下，对于摇摄机制单元和倾斜机制单元获得移动量，使得拍摄方向匹配确定的构图，例如，如在图18中的摇摄/倾斜/变焦控制块63的情况，并且生成用于根据获得的运动量指令运动的摇摄/倾斜/变焦控制信号，并将其输出到摇摄/倾斜控制处理块72。因此，执行摇^L和倾斜使得可以获得在构图确定块73确定的构图。
因此，配置图19所示的成像系统，使得成像的图像数据从数字照相机1发送到平台10，其中获取的成像的图像数据用于执行构图确定，并且还执行对应的摇摄/倾斜控制(构图控制)。此外，利用图19所示的配置，在控制成像视角(构图控制)时，没有执行变焦(场角)控制，这指示利用本实施例，摇摄/倾斜/变焦的每个的控制对于构图控制不是不可缺少的。例如，依赖于条件或情形，根据确定的构图的构图控制可以通过单独的摇摄控制、单独的倾斜控制或单独的变焦控制来实现。
图20图示根据本实施例的成像系统的另一修改。注意，图20中的一些组件利用与图19相同的参照标号标记，并且省略其描述。
该系统在平台10侧具有成像块75。例如，以与图18和19中所示的成像块相同的方式，成像块75配置有光学系统和用于成像的成像设备(图像传感器)、以及用于从成像的信号生成成像的图像数据的信号处理单元。由成像块75生成的成像的图像数据输出到构图确定块73。注意，优选的安排是使成像块75输入成像光的方向(成像方向)尽可能地匹配安装在平台10上的数字照相机1的成像方向。构图确定块73和摇摄/倾斜控制处理块72在该情况下以与图19相同的方式执行构图确定，并且根据构图确定结果驱动摇4i/倾斜机制的控制。
要注意的是，在该情况下构图确定块73根据释放动作要执行的时刻(关于来自成像块75的成像的图像数据的图像，已经获得确定的构图的时刻)，经由通信控制块71发送释放指令信号到数字照相机1。数字照相机1响应于释放指令信号的接收执行释放操作，并且基于由成像块6在此时获得的成像的图像数据，执行图像数据的成像记录。利用该另一实施例，除了涉及释放操作自身的控制和处理之外，涉及构图确定和构图控制的所有控制和处理可以在平台IO侧完成。
注意，利用上面的描述，通过控制平台10的摇摄/倾斜机制的运动执行摇摄控制和倾斜控制，但是可以构思另一配置，其中替代平台10,例如反射镜的反射的成像光输入到数字照相机1的光学系统21,并且移动反射镜使得关于基于成像光获取的图像获取摇摄/倾斜结果。
此外，通过在水平方向和垂直方向上偏移用于从数字照相机1的成像设备(图像传感器22)获取有效成像信号作为图像的像素区域，可以获得等效于执行摇摄/倾斜的结果。在该情况下，除了数字照相机l以外，不需要准备用于摇摄/倾斜的设备(如平台IO或等效设备)，并且根据本实施例的构图控制可以单独在数字照相机l内完成。
此外，关于场角控制(变焦控制)，可以进行这样的安排，其中代替驱动变焦镜头，可以通过裁剪出(crop out)成像的图像数据的部分图像区域实现变焦控制。此外，数字照相机1可以提供有能够在水平方向和垂直方向上改变光学系统的光轴的机制，使得可以通过控制该机制的运动来执行摇摄和倾斜。
接着，将描述将根据本实施例的构图确定的配置应用到不同于上述成像系统的示例。首先，图21图示将根据本实施例的构图确定应用于单机的成像装置(如数字照相机)等，其中例如在根据检测结果获得适当构图的拍摄模式中、通过该成像装置成像图像的时间点，通知用户。
在此所示的是该图像装置为此应当具有的配置，包括构图确定块81、通知控制处理块82以及显示单元83。之前在图4到9中所示的构图确定块200的任何可以应用于该构图确定块81 。
例如，，i设用户已经将成像装置设置为拍摄模式，已经将成像装置保持在手中，并且处于可以在任何时间执行释放操作(快门按钮操作)以记录成像的图像的状态。在该状态下，构图确定块81首先获取在此时通过成像获得的成像的图像数据，执行之前所述的一系列构图确定处理，并且确定最优构
29图。
此外，此时构图确定块81获得此时实际获得的成像的图像数据的图像内容的构图和确定的最优构图之间的匹配度和/或相似度。例如，如果相似度达
到一定水平或更高，则进行确定此时实际获得的成像的图像数据的图像内容的构图已经达到最优构图。在实际实践中，可以构思这样的安排，其中准备算法以便确定在达到一定水平或更高的相似度的点已经达到最优构图，使得成像的图像数据的图像内容的构图和最优构图可以被看作已经匹配。可以构思广泛的算法用于确定匹配度或相似度，因此这里将不具体讨论其特定示例。
确定信息导致这样的效果，即已经达到最优构图的成像的图像数据的图像内容被输出到通知控制处理块82。通知控制处理块82根据信息的输入执行显示控制，以便通过执行显示单元83上的预定形式的显示控制，通知用户当前成像的图像为最优配置。
注意，通知控制处理块82通过成像装置的微计算机(CPU)等的显示控制功能以及用于实现关于显示单元83等的图像显示的显示图像处理功能来实现。通知用户已经实现最优构图的效果还可以用声音执行，如电子声音、合成语音或任何其它种类的声音。
此外，例如，显示单元83对应于根据本实施例的数字照相机1的显示单元33，通常提供显示单元83使得显示面板显示在成像装置的预定位置上，并且图像在显示在该显示单元上时被成像。这种处于拍摄模式中的图像也成为"直通图像(through image)"。因此，在实际实践中，利用该成像装置，将使得构图为最优的图像显示叠加在显示单元83上的直通图像上。当该显示通知达到最优构图时，用户执行释放操作。因此，即使是没有很多关于拍摄的知识或高超技术的用户也可以容易地拍摄具有好的构图的照片。
此外，图22示出了应用于如数字照相机1的单机成像装置(如图21所述的情况)、根据本实施例的构图确定的配置。首先，利用图22所示的配置，由构图确定块81执行处理以用于基于输入的成像的图像数据确定最优构图，并且进行关于在稍后时刻获得的成像的图像数据的图像内容是否是最优构图的确定。在确定构图是最优构图时，为此将通知发送给释放控制处理块84。
释放控制处理块84是执行用于记录成像的图像数据的控制的部分，并且通过由例如成像装置的微计算机执行的控制实现。已经接收了上述通知的释放控制处理块84执行图像信号处理和记录控制处理，使得成像的图像数据被记录在例如记录介质中。利用这种配置，可以提供一种成像装置，其中例如当成像了根据最优构图的图像时，自动执行其记录。
图21和22所示的配置不仅可应用于例如如图1所示配置的数字照相机，而且可应用于所有落入例如静止相机的范围内的相机，包括所谓的银盐相机，其将成像的图像记录在银盐膜等上，但是例如提供用于分离由光学系统获得的成像光的图像传感器、用于输入和处理来自图像传感器的信号的数字图像信号处理单元。
图23是这样的配置的示例，其中根据本实施例的构图确定的配置已经应用于如数字照相机的成像装置。图23所示的成像装置100具有构图确定块101、元数据创建处理块102、'以及文件创建处理块103。我们将假设构图确定块101具有图4到9的任一中所示的配置。
通过利用未示出的成像块成像获得的成像的图像数据输入到成像装置100的构图确定块101和文件创建处理块103。注意，输入成像装置100的成像的图像数据是由于释放操作等而被记录在记录介质中的成像的图像数据，并且基于通过利用未示出的成像块成像获得的成像信号而生成。
首先，在将真实被摄体作为对象并且不真实被摄体(静止被摄体)已经被消除的情况下，构图确定块101执行构图确定。此外，该情况下的构图确定处理包括执行用于基于构图确定结果，根据预定的垂直-水平比(最优构图的图像部分)，确定输入的成像的图像数据的整个图像区域的哪个部分是获得了确定的最优构图的图像部分的对其执行的处理。指示识别的最优构图的图像部分的信息然后输出到元数据创建处理块102 。
在元数据创建处理块102,基于输入的信息创建由用于从对应的成像的图像数据获得最优构图的信息构成的元数据(构图编辑元数据)，并且该元数据输出到文件创建处理块103。构图编辑元数据的内容是例如位置信息，其可以指示要微调对应的成像的图像数据的哪个图像区域部分等。
利用图23所示的成像装置100,成像的图像数据记录在记录介质中以便管理为根据预定格式的静止图像文件。因此，文件创建处理块103将成像的图像数据转换为静止图像格式(即，创建根据该格式的静止图像文件)。
文件创建处理块103首先执行与关于输入的成像的图像数据的图像文件格式相对应的图像压缩编码，并且创建由成像的图像数据构成的文件主要部分。此外，从元数据创建处理块102输入的构图编辑元数据存^"在预定的存储位置中，以便创建由报头、添加的信息块等构成的数据部分。文件主要部分、报头、添加的信息块等用于创建静止图像文件，然后输出该静止图像文
件。如图23所示，要记录在记录介质中的静止图像文件具有包括成像的图像数据和元数据(构图编辑元数据)的结构。
图24图示用于关于由图23所示的设备创建的静止图像文件执行编辑的编辑设备的配置示例。图24所示的编辑设备110获取静止图像文件的数据，并且首先将该数据输入到元数据分离处理块111。元数据分离处理块111从静止图像文件中分离作为文件主要部分的成像的图像数据和元数据。元数据分离处理块111然后将通过分离获得的元数据输出到元数据分析处理块112,并且将成像的图像数据输出到微调处理块113。
元数据分析处理块112是执行用于分析输入元数据的处理的部分。这里执行的关于构图编辑元数据的分析处理至少包括从作为构图编辑元数据的内容的、用于荻得最优构图的信息中，识別要对相应的成像的图像数据执行微调的图像区域。用于指令微调识别的图像区域的微调指令信息然后输出到微调处理块113。
微调处理块113执行从由元数据分离处理块111侧输入的成像的图像数据中，裁剪出由从元数据分析处理块112输入的微调指令信息指示的图像区域的处理，并且输出裁剪的图像部分作为编辑的成像的图像数据，其是独立的图像数据。
利用图23和24所示的成像装置和编辑设备配置的系统，例如通过拍摄获得的原始静止图像数据(成像的图像数据)可以保存而不用图像处理，并且可以使用来自该原始静止图像数据的元数据执行编辑以裁剪出最优构图的图像。此外，自动执行对应于这种最优构图判断要裁剪哪个图像部分，使得编辑对于用户非常容易。
注意，可以构思这样的安排，其中图24所示的编辑设备的功能由例如安装在个人计算机中用于编辑图像数据的应用、用于管理图像数据的应用中的图像编辑功能等实现。
图25图示将根据本实施例的构图确定的配置应用到能够拍摄和记录运动图像的成像装置(例如摄像机)的示例。运动图像数据输入到图25所示的成像装置120中。基于通过成像装置120具有的成像单元执行成像获得的成像信号生成运动图像数据。运动图像数据输入到成像装置120包括的构图确定块122和运动图像记录处理块124。
在该情况下，构图确定块122基于图4到9的任一所示的配置，通过只关于输入其中的运动图像数据的图像中的真实被摄体执行构图确定，获得最优构图。此后，构图确定块122通过比较检测运动图像数据的图像的实际构图和确定的最优构图之间的差异。在例如稍后描述的构图确定的特定示例中执行的处理中，通过构图确定获得对应于最优构图的参数，如对象单独被摄体在图像内占据的百分比(大小)、各被摄体之间的距离等。因此，在实际比较中要做的就是将对应于最优构图的这些参数与目前在运动图像数据的图像中出现的参数比较。作为比较的结果，在确定各参数具有一定水平或更高的相似度时，确定构图是好的，并且在相似度低于一定水平时，确定构图不好。
在构图确定块122已经如上所述确定关于运动图像凝:据已经获得好的构图时，构图确定块122输出信息到元数据创建处理块123,该信息关于上面已经确定已经获得好的构图的图像部分(好的构像部分)在哪里(好的构像部分指令信息)。该"好的构像部分"是例如指示如运动图像数据中的好的构像部分的开始位置和结束位置等的信息。
该情况下，元数据创建处理单元123生成要由稍后描述的运动图像记录处理块124使用的元数据，以将运动图像数据作为文件记录在记录介质中。在^M勾图确定块122输入好的构像部分指令信息时，元数据创建处理单元123生成元数据，指示由输入的好的构像部分指令信息指示的图像部分为好的构图，并且将其输出到运动图像记录处理块124。
运动图像记录处理块124执行用于将输入的运动图像数据记录在记录介质中以便被管理为根据预定格式的运动图像文件的控制。在元数据从元数据创建处理块123输出时，运动图像记录处理块124执行控制，使得该元数据包括在附接到运动图像文件的元数据中。因此，在记录介质中记录的运动图像文件具有这样的内容，其中指示已经获得了好的构图的图像内容的元数据附接到通过成像获得的运动图像数据。
注意，如上所述由元数据指示的已经获得了好的构图的成像部分，可以是具有 一 定程度的时间间隔的运动图像中的图像部分，或者可以在从运动图像数据提取的静止图像中。可以构思的另 一安排是生成已经获得好的构图的图像部分的运动图像数据或静止图像数据，而不是上面的元数据，并且作为
33要附接到运动图像文件的第二图像数据(或作为与运动图像文件独立的文件) 记录。
此外，利用其中成像装置120具有图25所示的构图确定块122的配置， 可以构思这样的配置，其中只有被构图确定块122确定为好的构像部分 的运动图像的部分被记录作为运动图像文件。此外，可以构思这样的安排， 其中对应于被构图确定块122确定为好的构图的图像部分的图像数据通过数 据接口等外部输出到外部设备。
除了图24所示的编辑i殳备外，图26所示的打印设备130可以被构思为 对应于图23所示的成像装置100的设备的示例。在该情况下，打印设备130 安排为获取静止图像文件作为要打印的图像。该静止图像文件包括由例如成 像装置100生成的静止图像文件，并且具有包括作为静止图像的实际图像数 据和元数据的结构。因此，该元数据包括与图23和24所示的静止图像文件 等效的内容的构图编辑元数据。
这样输入获取的文件被输入到元数据分离处理块131。元数据分离处理 块111以与元数据分离处理块131相同的方式，在静止图像文件数据当中， 将等效于文件主要部分的图像数据与附接到其的元数据分离。分离并获得的 元数据输出到元数据分析处理块132,而图像数据输出到微调处理块133。
元数据分析处理块132以与图24中的元翁:据分离处理块111相同的方式 对输入的元数据执行分析处理，并且输出微调指令信息到^f效调处理块133。
微调处理块133执行用于从由元数据分离处理块131输入的图像数据中 裁剪出图像部分的图像处理，其由从元数据分析处理块132输入的微调指令 信息指示，并且将从该裁剪的图像部分生成的打印格式的图像数据输出到打 印控制处理块134作为打印图像数据。
打印控制处理块134使用输入的打印图像数据执行控制，用于使得未示 出的打印设备搡作。由于该操作，利用打印设备130，在输入图像数据的图 像内容当中，自动裁剪出获得了最优构图的图像部分，并将其打印为单个图 像。
接着，将描述已经应用了根据本实施例的构图确定的设备和系统的更具 体的配置示例。这里将给出关于具有之前通过图16到18图示和描述的系统 配置的、由数字照相^L1和平台10构图的成i"象系统的示例。
首先，在图27中示出了关于数字照相机1的实际内部配置示例的方块图。在图27中，光学系统21包括例如包括多个成像镜头(如聚焦镜头等)的成 像镜头组和光圈等，并且作为成像光的入射光成像在图像传感器22的感光面 上。光学系统21还包括用于驱动变焦镜头、聚焦镜头、光圏等的驱动机制。 驱动机制的操作受由例如控制单元27执行的所谓相机控制(如变焦(场角) 控制、自动聚焦调整控制、自动曝光控制等)的控制。
成像传感器22执行所谓的光电转换，其中在光学系统21获得的成像光 被转换为电信号。因此，配置图像传感器22以便在光电转换设备的感光面接 收来自光学系统21的成像光，并且以预定时序依次输出根据接收的光的强度 累积的信号电荷。这输出对应于成像的光的电信号(成^象信号)。注意，用作 图像传感器22的光电转换设^(成像设备)的示例在目前状态可以包括CMOS 传感器或CCD(电荷耦合设备)等，尽管没有具体限制。此外，在使用CMOS 传感器的情况下，等效于稍后所述的A/D转换器23的A/D转换器可以包括 在如等效于图像传感器22的设备(部分)的结构中。
从图像传感器22输出的图像信号输入到A/D转换器23,并且因此被转
换为数字信号并输入信号处理单元24。信号处理单元24输入从A/D转换器
23输出的、例如等效于单个静止图像(帧图像)递增的数字图像信号，并且
使输入的按照静止图像递增的图像信号经历预定的信号处理，从而生成等效 于单个静止图像的图像信号数据的成像的图像数据(成像的静止图像数据)。
在将在信号处理单元24生成的成像的图像数据作为图像信息记录在作 为记录介质(记录介质设备)的存储卡40中时，例如对应于单个静止图像的 成像的图像数据从信号处理单元24输出到编码/解码单元25。编码/解码单元 25使从信号处理单元24输出的、按照静止图像递增的成像的图像数据经历 根据预定静止图像压缩编码方法的压缩编码，根据例如控制单元27的控制增 加报头，并且转换为根据预定格式压缩的成像的图像数据格式。以此方式生 成的成像的图像数据被传送给介质控制器26。介质控制器26跟随控制单元 27的控制，将传送给它的成像的图像数据写入和记录在存储卡40中。在该 情况下，存储卡40是例如根据预定的标准具有卡的外形、并且在其中具有非 易失性半导体存储设备(如闪存)的存储介质。注意，用于存储图像数据的 存储介质不限于上述存储卡，并且可以是任何其它类型、格式等。
此外，根据本实施例的信号处理单元24可以使用如上所述获取的成像的 图像数据执行被摄体检测的图像处理。稍后将描述才艮据本实施例的被摄体检测处理。
此外，数字照相机1可以使用通过信号处理单元24获得的成像的图像数 据，并且在显示单元33上显示图像，以便显示所谓的"直通图像，，，其是当 前被成像的图像。例如，如之前所述，信号处理单元24获取从A/D转换器 23输出的成像信号，并且生成一个静止图像的成像的图像数据，连续执行处 理，从而顺序生成等效于运动图像的帧图像的成像的图像数据。这样顺序生 成的成像的图像数据在控制单元27的控制下，被发送到显示驱动器32。因 此，显示直通图像。
在显示驱动器32，基于如上所述从信号处理单元24输入的成像的图像 数据，生成用于驱动显示单元33的驱动信号，并且输出给显示单元33。因 此，基于按照静止图像递增的成像的图像数据的图像顺序显示在显示单元33 上。因此，用户可以动态查看此时正在显示单元33上成像的图像，即，显示 监视器图像。
此外，数字照相机1可以播放在存储卡40中记录的成像的图像数据，并 且将图像显示在显示单元33上。对此，控制单元27指定成像的图像数据， 并且命令介质控制器26从存储卡40中读出数据。响应于该命令，介质控制 器26访问其中记录了指定的成像的图像数据的存储卡40的地址并读出数据， 并且将已经读出的数据传送给编码/解码单元25 。
编码/解码单元25例如在控制单元27的控制下，从由介质控制器26传 送的成像的图像数据中提取作为压缩的静止图像数据的实际数据，对关于压 缩的静止图像数据的压缩的编码数据执行解码处理，并且获得对应于单个静 止图像的成像的图像数据。该成像的图像数据然后被发送给显示驱动器32。 因此，存储卡40中记录的成像的图像数据的图像通过被显示在显示单元33 上而播放。
此外，用户界面图像可以与上述监视器图像或播放的成像的图像数据的 图像一起显示在显示单元33上。在该情况下，例如根据此时的操作状态，通 过控制单元27生成用作界面图像的显示图像数据，并且输出到显示驱动器 32。因此，用户界面图像显示在显示单元33上。注意，用户界面图像可以与 监视器图像或播放的成像的图像数据的图像分开地显示在显示单元33的显 示屏上，如在特定菜单屏幕的情况下，或者可以被显示以便部分地与监视器 图像或播放的成像的图像数据的图像的一部分叠加或合成。在实际实践中，控制单元27例如包括CPU(中央处理单元)、以及ROM 28、 RAM29等，构成微计算机。ROM 28例如存储用作控制单元27的CPU 要执行的程序、以及涉及数字照相机1的操作的各种类型的设置信息等。RAM 29是CPU的主要存储设备。
此外，在该情况下提供闪存作为非易失性存储区域，用于存储例如要根 据用户的操作、操作历史等更新(重写)的各种类型的设置信息等。注意， 在采用非易失性存储器(如闪存等)用于ROM28的情况下，可以使用ROM 28的部分存储区域替代闪存30。
操作单元31包括提供给数字照相机l的各种类型的^t喿作元件以及操作信 息信号输出部分，该操作信息信号输出部分用于根据在操作元件执行的操作 生成操作信息信号并输出给CPU。控制单元27根据从操作单元31输入的操 作信息信号执行预定的处理。因此，数字照相机l根据用户操作执行操作。
平台兼容通信单元34是用于在平台10侧和数字照相机1侧之间、按照 预定通信格式执行通信的部分，并且包括物理层配置，在数字照相机1安 装到平台IO的状态下，允许在数字照相机l和平台IO之间交换电缆或无线 通信信号；以及上层配置，用于实现对应其的通信处理。
图28是图示平台IO的配置的方块图。如前所述，平台10具有摇摄/倾 斜机制，摇摄机制单元53、摇摄马达54、倾斜机制单元56和倾斜马达57对 应该摇4聂/倾斜机制。
摇摄机制单元53是具有用于给安装到平台10的数字照相机1提供图17A 所示的摇摄(水平)方向上的运动的机制的配置，并且通过在向前或相反方 向上旋转摇摄马达54获得该运动。相同地，倾斜机制单元56是具有用于给 安装到平台10的数字照相机1提供图17B所示的倾斜(垂直)方向上的运动 的机制的配置，并且通过在向前或相反方向上旋转倾斜马达57获得该运动。
控制单元51配置为具有由例如CPU、 ROM、 RAM等的组合形成的微计 算机，并且控制摇摄机制单元53和倾斜机制单元56的运动。在控制单元51 控制摇摄机制单元53的运动时，对应于摇摄机制单元53的运动量和运动方 向的控制信号输出到摇摄驱动单元55。摇摄驱动单元55生成对应于输入的 控制信号的马达驱动信号，并且输出生成的马达驱动信号到摇摄马达54。马 达驱动信号使得摇摄马达54以预定的旋转方向按照预定的旋转角度旋转，因 此，还驱动摇摄机制单元53以便在对应的运动方向上移动相应的运动量。
37相同地，在控制单元51控制倾斜机制单元56的运动时，对应于倾斜机 制单元56的运动量和运动方向的控制信号输出到倾斜驱动单元58。倾斜驱 动单元58生成对应于输入的控制信号的马达驱动信号，并且输出生成的马达 驱动信号到倾斜马达57。马达驱动信号使得倾斜马达57以预定的旋转方向 按照预定的旋转角度旋转，因此，还驱动倾斜机制单元56以便在对应的运动 方向上移动相应的运动量。
提供通信单元52以执行与安装到平台10的数字照相机1内提供的平台 兼容通信单元34的通信，并且以与平台兼容通信单元34相同的方式，包括 物理层配置，允许与平台兼容通信单元34交换电缆或无线通信信号；以及上 层配置，用于实现对应其的通信处理。
现在，图18所示的成像系统的配置和图27和28所示的数字照相机1和 平台10的配置之间的相关例如如下。注意，以下描述的相关应当^皮理解为只 是一个直接构思的示例，并且可以构思和采用其它相关。
图18中的数字照相机1的成像块61对应于图27中的光学系统21、图 像传感器22、 A/D转换器23以及信号处理单元24的部分，例如，直到获得 成像的图像数据级。
图18中的数字照相机1的构图确定块62对应于与预定的处理(如被摄 体检测、静止检测被摄体区分、屏蔽等)对应的图像信号处理功能，以及例 如图27中的信号处理单元24,以及其控制单元(CPU) 27执行的涉及构图 确定的相关处理功能。
图18中的数字照相机1的摇摄/倾斜/变焦控制块63对应于例如图27中 的控制单元27执行的用于摇摄/倾斜/变焦控制的处理功能。
图18中的数字照相机1的通信控制处理块64对应于例如图27中的平台 兼容通信单元34,并且对应于例如图27中的控制单元27执行的用于使用平 台兼容通信单元34通信的处理功能。
图18中的平台10的通信控制块71对应于例如图.28中的通信单元52， 并且对应于控制单元51执行的用于使用通信单元52通信的处理。
图18中的平台10的摇摄/倾斜控制处理块72对应于用于涉及摇摄/倾斜 控制的处理的执行功能，例如图28中的控制单元51执4亍该摇摄/倾斜控制， 并且所述摇摄/倾斜控制处理块72输出信号到摇摄驱动单元55和倾斜驱动单 元58，用于根据输入的控制信号控制摇摄机制单元53和倾斜机制单元56的运动o
现在，利用参照图14和15描述的、根据本实施例的基本构图确定配置
(构图确定块200)， 一直运行静止检测处理。依赖于如何应用根据本实施例
的构图确定，可能存在这样的情况，其中一直运行静止检测处理没有问题， 或者在一些应用中甚至是不可缺少的。
然而，利用这里示例的成像系统，在移动平台10的摇摄/倾斜机制时搜 索被摄体，并且如果检测到被摄体，则执行根据本实施例的构图确定，根据 确定结果通过摇摄/倾斜/变焦控制执行构图匹配，并执行图像记录。
然而，在该成像系统的情况下，数字照相机l在固定的平台IO上执行摇 摄、倾斜和进一步的变焦，其中成像方向和成像视角改变。因此，依赖于此 时成像系统的放置判断可以搜索被摄体的范围。在可以搜索被摄体的范围内 存在不真实被摄体(如海报等上的面部)时，每次该不真实被摄体被检测为 单独被摄体，就不得不经历由于静止检测处理作为静止对象导致的消除处理。
在该情况下，不真实被摄体存在于成像系统周围的固定位置处，在这点 上，其位置不是不确定的。下述安排不是有效的，其中在每次将不真实被摄 体检测为检测的单独被摄体时，即使其位置是固定位置，也不得不执行静止 检测处理以作为不真实被摄体消除它。因此，利用本实施例，除了上述构图 确定外，进行了具有这样的功能的配置，该功能使得曾经被确定为不真实被 摄体的被摄体可以从对象单独被摄体中消除，而不用必须再次执行等效于使 用静止检测处理确定该被摄体是否是不真实被摄体的处理(冗余检测避免功 能)。现在将描述这点。
图29A和29B图示已经提供了前述冗余检测避免功能的构图确定块62 的配置示例。注意，图29A和29B中的构图确定块62基于图7所示的第四 示例，给其提供了冗余^r测避免功能，如从以下描述中将变得清楚的。
图29A图示对应于提取的形式的静止冲企测处理的配置，如构图确定块62。 在静止检测处理时，首先，被摄体检测处理单元201输入成像的图像数据， 并且以与图7的情况相同的方式执行被摄体检测处理，由每个检测的单独被 摄体的检测的单独被摄体信息构成的检测的被摄体信息输出给静止检测处理 单元202。
静止检测处理单元202基于该检测的被摄体信息执行每个检测的单独被 摄体的静止检测，并且获得作为其检测结果的静止被摄体信息。在该情况下，以此方式获得的静止被摄体信息保存在静止被摄体信息保持单元210中。注 意，静止被摄体信息保持单元210是例如在连接到控制单元27的RAM 29中 设置的用于保持静止被摄体信息的区域。因此，关于静止被摄体(即，不真 实被摄体)的检测的单独被摄体信息保持在静止被摄体信息保持单元210中。
于是，当执行静止被摄体检测时，图29A中所示的静止检测处理单元202 比较此时在静止被摄体信息保持单元210中保持的静止被摄体的检测的单独 被摄体信息、与从被摄体检测处理单元201输入的构成^r测的被摄体信息的 冲全测的单独被摄体信息，并且将已经保持在静止被摄体信息保持单元210中 的、由被摄体检测处理单元201检测的单独被摄体(检测的单独被摄体信息) 从静止检测的对象中消除，并且只对没有保持在静止被摄体信息保持单元210 中的被摄体执行静止检测。因此，在静止检测处理中，由于静止冲企测处理单 元202首先使用静止被摄体信息保持单元210中保持的检测的单独被摄体信 息执行静止检测，所以不必对已经在一个点被检测为静止被摄体的检测的单 独被摄体再次执行静止检测，实现了重复检测避免功能。
为了通过作为被摄体检测处理单元201的检测结果的检测的单独被摄体 信息以及在静止被摄体信息保持单元210中保持的检测的单独被摄体信息， 正确执行被摄体区分处理，关于每次检测相同的静止被摄体时获得的检测的 单独被摄体信息，被摄体检测处理单元201生成的检测的单独被摄体信息中 包括的信息必须包括对于至少该静止被摄体唯一和不变的信息。原因是确 定被摄体是否匹配这种作为比较对象的对于静止被摄体不变的信息，允许被 摄体区分。
这种比较对象的一个示例是静止被摄体的位置信息。然而，因为利用根 据本实施例的成像系统，进入图像框中的成像视角根据执行的摇摄/倾斜/变焦 改变，所以由于摇摄/倾斜/变焦，简单地用位置信息指示成像的图像中的静止 被摄体的位置将导致位置状态的改变。因此，可以指示设置了成像系统的状 态中的静止被摄体的绝对位置的信息(绝对位置信息)被用作用于比较的对 象的位置信息。稍后将描述用于获得绝对位置信息的技术示例。
图29B图示作为相同的构图确定块62的、对应于包括以提取的形式区分 的被摄体的构图确定处理的配置。该配置包括被摄体检测处理单元201、构 图确定处理单元203、静止被摄体信息保持单元210和4皮摄体区分处理单元 211。此外，利用该图，为了描述的目的与构图确定块62—起示出了摇摄/倾
40斜/变焦控制块63。
这里的被摄体检测处理单元201与图29A相同，并且执行被:摄体检测处 理并输出检测的被摄体信息。
检测的被摄体信息输入到被摄体区分处理单元211。被摄体区分处理单 元211基本上使用类似于图7情况中的检测算法执行用于被摄体区分的处理， 但是在本情况下，在区分处理时，被摄体区分处理单元211不直接使用来自 静止检测处理单元202的检测结果(静止被摄体的检测的单独被摄体信息)， 而是使用静止被摄体信息保持单元210中保持的静止被摄体的检测的单独被 摄体信息，如下所述。
图29B中的静止被摄体信息保持单元210与图29A相同。因此，静止被 摄体信息保持单元210保持由静止检测处理单元202到目前执行的静止检测 处理纟企测的静止被摄体的^r测的单独被摄体信息。因此，在利用如图7情况 中的检测算法执行被摄体区分处理时，被摄体区分处理单元211输入并使用 静止被摄体信息保持单元210中保持的静止被摄体的检测的单独被摄体信 息。
例如，来自静止检测处理单元202的静止被摄体的检测的单独被摄体信 息是关于此时在成像的图像数据中实时获得的静止对象的信息。因此，在直 接使用来自静止检测处理单元202的静止被摄体的检测的单独被摄体信息执 行被摄体区分处理的情况下，当再次检测被摄体时，即使曾经已经被区分为 不真实被摄体的被摄体随后通过静止检测处理也被^r测为静止被摄体(不真 实被摄体)，如前所述。
相反，静止被摄体信息保持单元210中保持的静止被摄体的检测的单独 被摄体信息是关于目前已经被检测为静止被摄体的被摄体的信息。由于图 29B中的被摄体区分处理单元211利用该静止被摄体的检测的单独被摄体信 息执行被摄体区分处理，所以将直到当前时刻已经被检测为静止被摄体的所 有被摄体作为不真实被摄体而消除，并且只有剩余的被摄体被区分为真实被 摄体。也就是说，在过去检测为静止被摄体的那些被区分为消除，导致只有 当前检测的被摄体的真实被摄体被区分。
图29B中的构图确定处理单元203以与图7的情况相同的方式，基于从 被摄体区分处理单元211输出的、每个区分的单独被摄体的检测的单独被摄 体信息，执行构图确定处理，并且输出其确定结果的信息。摇摄/倾斜/变焦控制块63然后以与图18相同的方式执行摇摄/倾斜/变焦控制(构图控制)，用 于获得产生由从构图确定块62 (构图确定处理单元203 )得到的构图确定指 示的成像的图像的构图的成像视角。
之前提到图29A和29B中的配置基于图7所示的第四示例。如果我们将 图29A和29B中的静止检测处理单元202和静止被摄体信息保持单元210看 作是图7中的静止4全测处理单元202,则图29A和29B中的配置对应于图7 所示的第四示例。
此外，尽管静止检测处理和被摄体区分/构图确定处理在图29A和29B之 间分别显示为构图确定块62，但是这示出静止检测处理和被摄体区分/构图确 定处理可以在构图确定块62独立执行。因此，图29A和29B中的配置可以 显示为一个。在该情况下，29B中的配置提供有静止检测处理单元202,以便 将来自被摄体检测处理单元201的输入划分为被摄体区分处理单元211和静 止检测处理单元202。此外，连接静止^r测处理单元202以便能够访问静止 被摄体信息保持单元210和读/写静止被摄体信息(静止被摄体的单独被摄体 信息)。
图30所示的流程示由图29A所示的配置^l行的静止^r测处理的过 程的示例。
首先，在步骤S701,被摄体检测处理单元201输入成像的图像数据，并 且在步骤S702中执行被摄体检测处理。
安排被摄体检测处理单元201在步骤S703中进行关于作为在步骤S702 中的检测处理的结果是否已经检测了至少 一个单独图像的确定，并且在获得 表示甚至一个单独被摄体都没有获得的否定确定结果时，流程返回到步骤 S701 ，从而重复成像的图像数据获取和被摄体检测处理。
在步骤S703获得表示已经获得单独被摄体的肯定确定结果时，流程进行 到步骤S704。从步骤S704开始的过程由静止检测处環单元202执行。在步 骤S704，执行初始化，用于将"1"代入变量n中，变量n指示重复最后一 次循环时要分配给在步骤S702中检测的单独被摄体的数目。注意，变量n的 最大值是最后一次重复循环时在步骤S702中检测的单独被摄体的数目(检测 的单独被摄体的信息的数目)。
在步骤S705中，执行设置处理，用于将第n个单独被摄体(检测的单独 被摄体)设置为^r测处理的对象。在步骤S706，读入静止被摄体信息保持单元210中保持的静止被摄体的检测的单独被摄体信息。在步骤S707,进行关 于检测的单独被摄体信息是否存在于步骤S706中读入的静止被摄体的检测 的单独被摄体中的确定，该检测的单独被摄体信息指示匹配第n个单独被摄 体的检测的单独被摄体信息的被摄体。
在步骤S707中获得否定结果时，这意味着该第n个单独被摄体至少直到 现在还没有被检测为静止被摄体。在该状态，不进行关于第n个单独被摄体 是静止被摄体(不真实被摄体)还是真实被摄体的确定。在步骤S708,静止 检测处理单元202基于从被摄体检测单元201输出的、对应于第n个单独被 摄体的检测的单独被摄体信息，将第n个单独被摄体作为对象执行静止检测 处理。
在步骤S709，进行关于作为步骤S708中的检测结果是否已经获得静止 状态的检测结果的确定。在这里获得否定结果时，这意味着第n个单独被摄 体不是静止对象，而是真实被摄体，并且处理跳过步骤S710并进行到步骤 S711。
另一方面，在步骤S709中获得肯定确定结果时，这意味着第n个单独被 摄体是第一次检测的静止被摄体。在该情况下，流程进行到步骤S710,并且 该第n个单独被摄体的检测的单独被摄体信息被写入和保持在静止被摄体信 息保持单元210中。因此， 一个静止图像已经被新登记在静止被摄体信息保 持单元210中。
在步骤S707中获得肯定确定结果时,这意味着该第n个单独被摄体是已 经登记在静止被摄体信息保持单元210中的静止图像。在该情况下，跳过步 骤S708到S710的过程，并且流程进行到步骤S711。
在步骤S711，进行关于当前变量n是否处于或在最大值之上的确定，并 且在这里获得否定结果时，在步骤S712中递增变量，此后流程返回到步骤 S705,从而将下一单独被摄体(检测的单独被摄体)作为静止检测的对象重 复处理。
在步骤S711获得已经对所有^r测的单独被摄体执行了静止^r测处理的 肯定检测结果时，流程返回到步骤S701。
图31的流程示了由图29B所示的配置执行的静止检测处理的过程的 示例。在图29B中，首先，在步骤S801到S803中，以与图30中的步-骤S701 到S703相同的方式，被摄体检测处理单元201输入成像的图像数据，执行被摄体检测处理，并且确定是否检测了单独被摄体。
在步骤S803获得否定结果时，流程返回到步骤S801,但在该情况下， 被才聂体检测处理单元201在步骤S811中已经指令了摇摄/倾斜/变焦控制后返 回到步骤S801。也就是说，在该情况下，步骤S801到S803中的过程执行被 摄体检测作为被摄体搜索。在步骤S803获得已经检测了至少一个单独被摄体 的肯定检测结果时，流程进行到步骤S804开始的过程。
步骤S804和S805是由例如被摄体区分处理单元211执行的处理。在步 骤S804，从静止被摄体信息保持单元210读入静止被:慑体信息。在步骤S805, 使用构成静止被摄体信息的每个静止图像的检测的单独被摄体信息、和来自 被摄体检测处理单元201的构成检测的被摄体信息的4企测的单独被摄体信 息，执行被摄体区分处理。如之前参照图29B所述，在这里执行的被摄体区 分处理中，消除了已经被检测为静止被摄体的、由被摄体检测处理单元201 检测的所有单独被摄体。
步骤S806例如由构图确定处理单元203执行。在步骤S806中，进行关 于此时在由被摄体检测处理单元201检测的单独被摄体中是否存在剩余的任 何对象单独被摄体(即，真实被摄体)的确定。构图确定处理单元203读入 通过在步骤S805中的区分处理区分的检测的单独被摄体的检测的单独被摄 体信息，并且如果其结果是不存在有效的检测的单独被摄体信息，则这意味 着没有对象单独被摄体(真实被摄体)剩余。另一方面，如果存在有效的检 测的单独被摄体信息，则这意味着有对象单独被摄体剩余。现在，在获得没 有对象单独^U聂体剩余的否定结果时，流程在步骤S811中已经指令了摇摄/ 倾斜/变焦控制后返回到步骤S801。另一方面，在步骤S806中获得肯定确定 结果时，流程进行到步骤S807。
在步骤S807,基于构图确定处理单元203已经从祐:摄体区分处理单元211 输入的对象单独被摄体的检测的单独被摄体信息，执行构图确定处理，其确 定结果发送给摇摄/倾斜/变焦控制块63。
步骤S808是由摇摄/倾斜/变焦控制块63执行的处理。也就是说，摇摄/ 倾斜/变焦控制块63执行摇摄/倾斜/变焦控制，用于根据要获得的构图确定结 果允许成像视场，即，用于构图匹配。
在步骤S808中开始了构图匹配处理后，在步骤S809中进行关于作为此 时的成像图像数据的图像实际获得的构图是否可以被认为是处于与步骤S 807
44中确定的构图相同的状态(例如，是否在一定相似度水平或更高，即，构图 是否OK)的确定。注意，该确定可以例如通过检测所获得的对象单独被摄体 的检测的单独被摄体信息的位置信息中的改变来实现，然后在构图确定处理
单元203处输出该构图确定结果。
现在，在由于某种原因、不管已经执行了足够的摇^/倾斜/变焦移动和确 定，构图仍不OK时，在步骤S809中输出否定确定结果。在该情况下，流程 经由步骤S811返回到步骤S801，从而继续被摄体搜索。
相反，在步骤S809中获得构图OK的确定结果时，在步骤S810中指令 释放操作，即，执行用于记录此时获得的成像的图像数据作为静止图像的操 作。该释放操作还可以理解为由例如这里的构图确定处理单元203执行。
现在，利用根据本实施例的成像系统，存在在用户到不同的位置期间、 用户可能一起移动平台10和数字照相机1的可能性。此外，上面已经进行了 描述，在其中如上所述使用静止被摄体信息保持单元210中保持的静止被摄 体信息(静止被摄体的检测的单独被摄体信息)进行静止检测处理和被摄体 区分处理的配置中，单独被摄体信息的位置信息是基于此时数字照相机1的 放置位置的绝对位置信息。
综上所述，在数字照相机1的位置与平台IO—起移动的点，静止被摄体 信息保持单元210中保持的静止被摄体信息(静止被摄体的检测的单独被摄 体信息)的绝对位置信息是^"误的，因此必须要避免使用该绝对位置信息。 处理该问题的可构思的安排是例如用户在移动和重新定位数字照相机1和平 台IO以后，在数字照相机l或平台IO处执行一定的操作，从而清除静止被 摄体信息保持单元210目前为止已经保持的静止被摄体信息，并且开始将静 止被摄体登记到静止被摄体信息保持单元210的登记处理，这是将包括静止 ;检测的处理。
该构思的进一步发展将是根据已经移动的数字照相机l和平台10，自动 清除静止被摄体信息保持单元210中的静止被摄体信息，因为免除用户不得 不执行该操作，这将增加用户的易操纵性。
图32图示用于自动清除静止被摄体信息保持单元210中的静止被摄体信 息的配置。在图32中，示出了一种配置，其中考虑目前为止的描述的流程， 用于自动清除静止被摄体信息的配置已经增加到基于图29A和29B的配置的 构图确定块62。与图29B中的组件相同的组件以相同的参照标号表示，并且将省略其描述。该情况下用于静止检测的配置可以与图29A所示的配置相同。 在图32中，图29A和29B中的配置还提供有清除控制单元212和加速 度传感器213。在实际实践中加速度传感器213固定地附接到数字照相机1 上的预定位置，并且检测施加给它自身的加速度，即，由于施加给数字照相 机l自身导致的运动。清除控制单元212基于从摇摄/倾斜/变焦控制块63输 出的摇摄/倾斜控制信号和从加速度传感器213检测的加速度值，执行用于清 除静止被摄体信息保持单元210中保持的静止被摄体信息的处理。
图33中的流程示了图32所示的清除控制单元212执行的处理过程 的示例。首先，在步骤S901,清除控制单元212输入从加速度传感器213输 出的检测信号，并且在步骤S卯2，确定由输入的检测信号指示的加速度值是 否处于或在预定阈值上。为该步骤S902设置的阈值基于例如当人移动数字照 相机1时，由加速度传感器213检测的一般和平均加速度值而设置。也就是 说，步骤S901用于确定此时数字照相机1的状态是否是人保持和移动它的水 平的运动。
在步骤S902中获得否定结果时，这可以看作是数字照相机1处于静止状 态，也包括摇摄/倾斜方向的运动。在该情况下，流程返回到步骤S901。
另一方面，在步骤S卯2中获得肯定结果时，流程进行到步骤S卯3和随 后的步骤。
在步骤S903，执行处理以输入来自摇摄/倾斜/变焦控制块63的摇摄/倾斜 控制信号，并且在步骤S904,进行关于是否当前正执行摇摄/倾斜驱动(即， 是否平台10正在摇摄方向和/或倾斜方向上驱动)的确定。例如，在步骤S903 中没有输入有效的摇摄/倾斜控制信号时，这意味着摇摄/倾斜/变焦控制块63 没有执行摇摄/倾斜控制，因此，数字照相机1没有由于平台10而被移动， 因此步骤S904中的确定结果将是否定的。另一方面，'在步骤S903中输入有 效的摇摄/倾斜控制信号时，这意味着摇摄/倾斜/变焦控制块63正在执行摇摄 /倾斜控制，因此，数字照相机l正由于平台IO而移动，因此步骤S904中的 确定结果将是肯定的。
在步骤S卯4中获得否定确定结果时，流程跳过步骤S卯5和S卯6，并且 进行到步骤S907,但在步骤S904中获得肯定确定结果时，执行步骤S905和 S906的流程。
在步骤S905的阶段，我们知道数字照相机1正通过平台10被摇摄和/或倾斜，但是我们不知道在摇摄/倾斜时，数字照相机l和平台IO是否正被人
移动。步骤S905和S906用于该确定。
为此，在步骤S905,计算预期的加速度值。该预期的加速度值是当数字 照相机1安装在其上的平台IO没有被人移动而是在其位置上处于静止，并且 在该状态下经历摇摄/倾斜时，估计和期望获得的加速度值。该预期的加速度 值可以通过使用在步骤S卯3中获得的摇摄/倾斜控制信号指示的运动量和将
摇摄/倾斜的运动速度作为参数的预定函数执行计算来获得。通过摇摄/倾斜控 制信号指示的运动量获得的加速度值和对应于摇摄/倾斜的运动速度由加速
度传感器123检测的加速度值可以看作是近似精确。注意，可以基于平台10 中使用的摇摄机制单元和倾斜机制单元的结构、用于驱动各机制的马达的电 压和电流等，单独地获得摇摄/倾斜的运动速度。
在步骤S906，比较在步骤S905中计算的预期加速度值和在之前的步骤 S901中输入的检测信号的实际加速度值，并且进行关于这两个之间的差是否 处于或在一定水平之上的确定。注意，可以进行这样的安排，其中获得的不 是预期加速度值和实际加速度值之间的差，而是预期加速度值与实际加速度 值的比率，并进行关于该比率是否处于或在一定水平之上的确定。
在步骤S906中获得否定确定结果时，这意味着平台IO没有被人移动而 是处于静止，并且在该状态下，正经历摇摄/倾斜。在该情况下，流程直接返 回到步骤S901。另一方面，在步骤S906中获得肯定确定结果时，这意味着 平台10正经历摇摄/倾斜，并且还被人移动。在该情况下，流程进行到步骤 S卯7。因此，利用本实施例，即使正在执行摇摄/倾斜操作，也可以精确地确 定平台10和固定到其的数字照相机1是否正被除了平台10的摇摄/倾斜机制 (可移动机制单元)外的力移动。
如可以从目前为止的描述理解的，步骤S907到达的情况是平台10和固 定到其的数字照相机1正被人移动的状态，而不管平台10是否正经历摇摄/ 倾斜。在步骤S907，执行用于清除静止被摄体信息保持单元210中保持的静 止被摄体信息的处理。
注意，上面已经进行关于适用于根据本实施例的成像系统的安排的描述， 该成像系统由数字照相机1和平台IO构成，但是用于自动清除静止被摄体信 息保持单元210中保持的静止被摄体信息的配置不限于上面的特定安排，并 且可根据需要，应用于不同于根据本实施例的成像系统的设备和系统。此外，在其中被摄体区分单元211基于静止被摄体信息保持单元210中 保持的静止被摄体信息执行被摄体区分的配置的情况下，除了图29(和图32) 所示的那些，构图确定块62可以采取图34所示的配置。注意，在图34中， 与图29中的组件相同的组件用相同的参照标号表示，并且将省略其描述。此 外，作为可以应用参照图32和33描述的配置，这里省略了用于自动清除静 止被摄体信息保持单元210中保持的静止被摄体信息的配置。
图34中所示的配置使得静止检测处理单元202插入在被摄体区分单元 211和构图确定处理块203之间。此外，静止检测处理单元202可以访问静 止净皮摄体信息保持单元210。这里，静止检测处理单元202可以执行静止才全 测处理，其可以被看作是被摄体区分处理，如将从以下描述理解的。
图35中所示的流程示了由图34中所示的配置的构图确定块62 (和 摇摄/倾斜/变焦控制块63 )执行的处理过程的示例。
首先，在步骤S1001和S1002中，被摄体检测处理单元201以与图31 中的步骤S801和S802相同的方式，输入成像的图像数据并执行被摄体检测 处理。
接下来的步骤S1003到S1005由被摄体区分单元211执行。在步骤S1003 中，被摄体区分单元211读入静止被摄体信息保持单元210中当前保持的静 止被摄体信息。接着，在步骤S1004中，使用从被摄体检测处理单元201输 入的、构成检测的被摄体信息的检测的单独被摄体信息以及已经读入的构成 静止被摄体信息的单独被摄体信息，执行与图31中的步骤S805相同的被摄 体区分处理。
此外，在步骤S1005,构图确定处理块203执行关于作为其自己的被摄 体区分处理结果、是否存在剩余的区分的单独被摄体的确定。在这里获得否 定确定结果时，在步骤S1018中，指令摇摄/倾斜/变焦控制用于被摄体搜索， 并且流程返回到步骤S1001。步骤S1018中的祐J摄体搜索指令还可以配置为 也由被摄体区分单元211执行。
另一方面，在步骤S1005获得肯定结果时，流程进行到步骤S1006和随 后的步骤。
注意在该情况下，被摄体区分单元211从被摄体检测处理单元201输入 的、用于步骤S1004中的被摄体区分处理的检测的被摄体信息，是例如被摄 体;f全测处理单元201已经执行的最后的被:慑体区分处理。另一方面，通过在
48上述最后的被摄体区分处理之前的时刻执行的最后的静止检测处理以及之前
执行的静止检测处理，已经获得了静止被摄体信息保持单元210中保持的静
止被摄体信息。这种该被摄体区分处理和静止检测处理之间的处理时刻上的
偏移，由于静止检测处理单元202在该情况下对作为被摄体区分单元211的 被摄体区分处理结果获得的区分的检测的单独被摄体信息执行静止被摄体检 测而出现，如从上面的描述中可以理解的。
因此，对于在该情况下被摄体区分单元211已经区分的、通过被摄体区 分处理区分的单独被摄体，在早于被摄体检测处理的时刻执行的静止检测处 理中检测的静止被摄体(即，静止被摄体信息保持单元210中登记的静止被 摄体)已经被消除，该被摄体检测处理用于获得此时为被摄体区分处理输入 的检测的单独被摄体信息，但是第一次出现在成像的图像数据中不真实被摄 体可能保留被区分而没有被消除，该不真实被摄体最后经历被摄体检测处理 并且已经登记在静止被摄体信息保持单元210中。
因此，如下所述，静止被摄体信息保持单元210执行静止被摄体的才全测 和相应的对静止被摄体信息保持单元210的登记处理，并且还使用静止被摄 体^r测结果，再次消除在通过^皮摄体区分单元211的阶段保留没有消除的不 真实被摄体。
静止;^测处理单元202执行的处理是步骤S1006到S1012。
首先，在步骤S1006,执行初始化，用于将"1"代入变量n中，变量n
是分配给在被摄体区分单元211区分的单独被摄体(真实被摄体候选)的数目。
接着，在步骤S1007，关于第n个单独被摄体执行静止检测处理。此时， 执行静止检测处理，使得在例如预定检测时段内，在关于从被摄体区分单元 211输入的第n个单独被摄体的检测的单独被摄体信息中检测改变(例如， 绝对位置信息的改变)，并且基于改变量，进行关于第n个单独被摄体是否为 静止被摄体的检测。
在步骤S1008,确定作为步骤S1007中的静止检测处理的结果、第n个 单独被摄体是否已经被检测为静止被摄体。在步骤S1008获得肯定确定结果 时，流程进行到步骤S1009,将对应于第n个单独被摄体的检测的单独被摄 体信息登记在静止被摄体信息保持单元210中，并且流程进行到步骤SlOll。
另一方面，在步骤S1008获得否定确定结果时，流程进行到步骤S1010，将第n个单独被摄体设置为对象单独净皮摄体，以用于稍后的构图确定处理， 并且流程进行到步骤SlOll。
在步骤S1011,进行关于是否当前变量n处于或在最大值之上的确定， 并且只要获得否定确定结果，就在步骤S1012中递增变量n,因为仍然有剩 余的单独被摄体要被当作静止检测处理的对象，并且流程返回到步骤S1007。
相反，在步骤S1011中获得肯定确定结果时，这意味着关于要作为静止 检测处理的对象的所有单独被摄体已经完成静止检测处理，因此流程进行到 接下来的步骤S1013等。
步骤S1013可以被看作例如由构图确定处理单元203执行。
在步骤S1011中已经获得肯定确定结果的状态下，由于直到已经执行的 步骤S1010的过程，设置为对象单独被摄体的单独被摄体的检测的单独被摄 体信息处于已经输入构图确定处理单元203的状态。因此，在步骤S1013, 构图确定处理单元203从检测的单独被摄体信息的输入的状态，确定是否存 在对象单独被摄体。如果构图确定处理单元203此时还没有输入单个有效检 测的单独被摄体信息作为对象单独被摄体，则在步骤S1013获得否定确定结 果，而如果构图确定处理单元203此时已经输入哪怕一个，也获得肯定确定 结果。
在步骤S1013获得否定确定结果时，不执行构图确定处理。因此，在该 情况下，在步骤S1018中指令被摄体搜索，此后流程返回到步骤S1001。该 步骤S1018可以被看作由例如构图确定处理单元203执行。
另一方面，在步骤S1013获得肯定确定结果时，执行步骤S1014开始的 过程。步骤S1014到S1017与图31中的步骤S807到S810相同。也就是说， 构图确定处理单元203基于对象单独被摄体的检测的单独被摄体信息，执行 构图确定处理，并且利用摇摄/倾斜/变焦控制块63执行摇^i/倾斜/变焦控制以 用于构图匹配。在作为已经通过该摇摄/倾斜/变焦控制改变成像视角的结果、 已经确定了构图OK时，指令释放操作，并且从此时成像的图像数据中提取 静止图像数据并记录。
现在，如前所述，利用本实施例，为了允许使用静止被摄体信息保持单 元210中保持的静止被摄体信息精确执行被摄体区分处理，利用本实施例， 指示检测的单独被摄体信息中的单独被摄体的位置的位置信息是绝对位置信 息。接下来将讨论用于获得这种绝对位置信息的技术的若干示例。图36A是平台10和附接到其的数字照相机1的平面图。此外，在该图 中，数字照相机1位于设置为通过平台10的摇摄机制单元53、在摇摄方向 (水平方向)上的可移动范围内的参照位置处。该参照位置是例如可移动范 围内的中间位置。参照线L是这样的线，当数字照相机l位于该摇摄方向上 的参照位置处时，它匹配并平行于数字照相机1的镜头单元3 (光学系统21) 的光学轴(成像光轴)。
此外，这里设置的场角(变焦角)由场角中心angC、场角左边angL和 场角右边angR表示。注意，场角中心angC与数字照相机l的成像光轴一致， 并且从场角中心angC到场角左边angL的角度与从场角中心angC到场角右 边angR的角度是相同的角度。
注意，这里设置的场角是在执行被摄体搜索揭:作时设置的场角。在被摄 体搜索时，设置有些宽的一定的场角，使得尽可能有效地搜索(检测)被摄 体。
此外，假设单个被摄体SBJs存在于数字照相机1和平台IO所在的周围， 以便在图中从数字照相机1朝右。
假设数字照相机l以图中的顺时针方向从图36A的状态摇摄以搜索被摄 体。结果，实现这样的状态，其中^皮摄体SBJs到达在对应于场角右边angR 的场角内的极限位置，如图36B所示。此时，摇摄角(即，参照线L到成像 光轴(场角中心angC)之间的角度)表示为odeft。。在此时实际获得的成像 的图像中，被摄体SBJs在图像框的最右边。
此外，如果假设数字照相机1以图中的顺时针方向从图36B的状态进一 步向右摇摄，则实现这样的状态，其中被摄体SBJs到达在对应于场角左边 angL的场角内的极限位置，如图36C所示。此时的摇摄角表示为aright。。在 此时实际获得的成像的图像中，被摄体SBJs在图像框的最左边。
当搜索被摄体时，这种情形肯定自然发生，基于此，可以构思以下作为 用于获得绝对位置信息的技术。
例如，在第一次被摄体SBJs首先出现在成像的图像的图像框的时刻，执 行静止检测，并且这被检测为被摄体，如从图36A到图36B的转换所示，并 且基于静止检测的结果进行关于被摄体SBJs是否为静止被摄体的确定。这 里，假设被摄体SBJs是不真实被摄体，因此将被确定为静止被摄体。在这样 确定为静止被摄体后，将被摄体SBJs首先出现在图像框中的aleft。包括在关于被摄体SBJs的检测的单独被摄体信息中。该检测的单独被摄体登记在静止 被摄体信息保持单元210中。此后，在被摄体区分处理中，获得了在获得静 止被摄体信息中指示的摇摄角度时、首先进入图像框的单独被摄体，将其从 区分对象中消除。利用只在被摄体搜索时执行该被摄体区分处理的安排，将 适当地执行被摄体选择，因为已经在搜索被摄体时的场角下获得了摇摄角度。
因此，利用上述处理，其中检测为静止被摄体的单独被摄体首先包括在 成像的图像的图像框中的摇摄角度(摇摄位置)被当作绝对位置信息。
注意，利用上面的被摄体区分处理，此时的摇摄角度必须要配置，这可 以通过接收例如等效于来自平台10的摇摄位置的信息来进行。例如如果摇摄 马达57是步进马达，则摇摄位置的信息(摇摄旋转角度)可以基于输入驱动 脉冲信号的数目而获得。此外，即使摇摄马达57不是步进马达，也可以使用 已经施加驱动信号的时间量、来自附接到马达的传感器的信息、通过马达的 反馈控制获得的信息等来获得摇摄位置的信息。
此外，在关于作为绝对位置信息获得的摇摄角度设置不同的场角的状态 下，该绝对位置信息关于在被摄体区分处理时的被摄体SBJs,可以基于此时 设置的场角和已经获得绝对位置信息的摇摄角度时的场角之间的比率，获得 被摄体SBJs将首先出现在场角中的摇摄角度。在例如只在被摄体搜索时执行 用于获得绝对位置信息的摇摄角度的处理的情况下，在被摄体搜索时设置的 预定角度可以用于在已经获得绝对位置信息的摇摄角度时的场角。此外，如 果存在用于获得被摄体搜索之外的绝对位置信息的摇摄角度的处理、或场角 可以在被摄体搜索期间改变的可能性，则此时的场角信息可以与用作绝对位 置信息的摇摄角度一起被包括。
此外，如果数字照相机1处于超过摇摄角度aright。的摇摄角度并且以图 中的逆时针方向旋转，则实现图36C中所示的状态，其中被摄体SBJs在成像 的图像的图像框的最左边。静止被摄体SBJs的绝对位置信息因此是摇摄角度 ocright。。
此外，以下可以构思为绝对位置信息。在图36A到36C中，在摇摄角度 aleft。到aright。的摇摄位置范围内成像被摄体SBJs，而在成像的图像的图像框 内不损失视线。因此，可以进行这样的安排，其中被摄体SBJs的绝对位置信 息不被当作如上所述的点信息，例如摇摄角度aleft。或aright。，而是作为指示 摇摄角度aleft。到aright。的角度范围的信息。参照图36A到36C描述的绝对位置信息关于倾斜方向也成立。也就是说， 以与图36A到36C相同的方式获得倾斜角度(倾斜位置)。因此，在实际实 践中，获得摇摄角度的信息和倾斜角度的信息(摇摄/倾斜位置信息)作为绝 对位置信息。
然而，可能存在这样的情况，其中平台IO是只能在摇摄方向和倾斜方向 之一中改变的配置。在该情况下，作为可改变方向的摇:摄方向和倾斜方向之 一可以被设置为绝对位置信息。这对下面的关于绝对位置信息的描述也成立。
此外，还可以如下获得绝对位置信息。图37A图示了这样的状态，其中 数字照相机1在关于参照线L、以顺时针方向旋转摇摄角度ax。的位置处，其 中在水平场角内成像被摄体SBJs。在该情况下，水平角度由ex。表示，并且被 摄体SBJs位于对应于从中心场角angC开始以逆时针方向旋转角度卩x。的角度 的线上，水平方向上的中心位置(重心)对应该线。
此外，将参照线L作为图37A的参照，可以说水平方向上的被摄体SBJs 位于对应于从该参照开始旋转角度yx。的位置的线上，水平方向上的中心位置 (重心)对应该线。
现在，参照线L是根据此时平台10的放置状态确定的绝对项。因此，由 角度yx。指示的被摄体SBJs的位置是基于参照线L的绝对的，即，可以被当 作绝对位置信息。此后，如该角度yx。的可以指示被4l体的绝对位置的角度将 被称为"绝对位置相关角度"。此外，角度卩x。指示此时在摇摄角度ax。下、基 于重心场角angC确定的被摄体SBJs的位置，因此，将称为"相对位置相关 角度"。
可以如下获得绝对位置相关角度。图37B图示了通过利用图37A所示的 放置状态下的数字照相机l成像获得的成像的图像。这里，Cx表示成像的图 像的图像框300中的水平图像框大小(可以以像素数目的方式表示)，并且M 表示通过该水平图像框大小中的中点的垂直线，其中垂直线M用作成像的图 像的图像框中水平方向的参照(X轴坐标的参照，X-O)。利用水平方向上的 X轴坐标，垂直线M右边的区域为正，而左边区域为负。水平方向上成像的 图像的图像框300内存在的被摄体SBJs的坐标值表示为X-a。注意，图37B 中的X坐标值a为负值。
现在，图37B中直到被摄体SBJs的重心的X坐标的坐标值和水平图像 框大小Cx之间的关系(比率)，等效于图37A中的相对位置对应角度(3x。与
53水平场角ex。之间的关系(比率)。
因此，相对位置对应角度px。由以下表达式表示。
f3x。 = (a/Cx) x ex (表达式1)
此外，利用图37B，摇摄角度ax。、相对位置对应角度px。和绝对位置对 应角度yx。之间的关系由以下表达式表示。
ax。 = yx。-卩x。 (表达式2)
因此，可以通过以下表达式获得绝对位置对应角度yx。。
yx。 = (a/Cx) x 0x。 + otx。 (表达式3)
也就是说，通过成像的图像的图像框中的被摄体SBJs的X坐标值a、水 平角度0x。和摇摄角度ax。的参数获得绝对位置对应角度yx。。
现在，在上面各参数中，水平图像框大小Cx是已知的值，并且成像的图 像的图像框中的被摄体SBJs的X坐标值a与成像的图像中检测的被摄体的水 平方向上的图像位置相同，因此可以通过根据本实施例的^皮摄体检测处理获 得。此外，可以基于场角(变焦)控制信息获得水平角度0x。的信息。更具体 地，利用在光学系统21的变焦镜头的变焦放大倍率(zoom power)设置为 lx并保持的情况下的标准场角的信息，使用根据变焦控制和上面的标准场角 获得的变焦位置，可以获得水平角度ex。的信息。此外，可以获得摇摄角度ocx。 作为控制的信息。因此，可以容易地获得绝对位置对应角度yx。而没有特别的 问题。
此外，获得这样的绝对位置对应角度不限于在对应于图像框300的边缘 的极限位置周围，并且即使在图像框300的很里面的区域检测被摄体的情况 下，只要可以获得上面的参数，也可以精确获得这样的绝对位置对应角度。 因此，可以顺序跟踪运动的真实被摄体，并且获得其绝对位置对应角度。
在例如实际被摄体搜索时，在从检测的单独被摄体中检测了静止被摄体 时，检测的静止被摄体可以当作图37中的被摄体SBJs，以便基于水平图像 框大小Cx、成像的图像的图像框中的被摄体SBJs的X坐标值a、水平角度 6x。和摇摄角度ax。获得绝对位置对应角度yx。。
此外，在实际实践中，也以相同方式获得垂直方向上的绝对位置对应角 度yy。。也就是说，通过以下表达式，基于垂直图像框大小Cy、成像的图像 的图像框中的被摄体SBJs的Y坐标值b、垂直角度ey。和倾斜角度ay。的参数 获得垂直方向上的绝对位置对应角度yy。yy° = (b/Cy) x ey° + ay。 (表达式4)
接着，将参照图38描述用于使用如上所述获得的绝对位置信息进行被摄 体区分处理的配置示例。要注意的是，该处理可以应用到之前参照图29、 32 和34描述的任何构图确定块62。此外，参照图38描述的用作绝对位置对应 角度的绝对位置信息将用于这里的描述。
图38所示的被摄体区分单元211配置有被摄体位置计算单元221和区分 处理单元222。注意，与图29、 32和34相对应，被:摄体位置计算单元221 例如可以看作包括在被摄体检测处理单元201中，并且区分处理单元222包 括在被摄体区分单元211中。
在被摄体位置计算单元221,通过对成像的图像数据执行的被摄体检测 处理，首先获得成像的图像内的位置信息(成像图像内位置信息)作为每个 检测的单独被摄体的检测的单独被摄体信息中的位置信息(检测的单独被摄 体位置信息)。该成像图像内位置信息由成像的图像的图像框内的X坐标值 和Y坐标值表示。因此，根据检测的单独被摄体1到n,成像图像内位置信 息表示为例如(X1,Y1), (X2，Y2)等直到(Xn,Yn)。
被摄体位置计算单元221输入作为每个检测的单独被摄体的位置信息的 成像图像内位置信息。此外，被摄体位置计算单元221输入此时的摇摄角度 ax。和倾斜角度ay。、以及水平角度9x。和垂直角度ey。作为场角信息。该信息 可以如参照图38所述获得。
被摄体位置计算单元221使用这些信息(参数)，以执行用于计算水平(摇 摄)方向上的绝对位置对应角度(水平绝对位置对应角度yx。)以及垂直(倾 斜)方向上的绝对位置对应角度(垂直绝对位置对应角度yy。)，作为每个检 测的单独被摄体的绝对位置信息的处理，如参照图38所述。以此方式获得的 每个检测的单独被摄体的绝对位置信息(水平/垂直绝对位置对应角度)传递 到被摄体区分单元2U中的区分处理单元222。
区分处理单元222输入来自构图静止被才聂体信息的每个静止^皮摄体的单 独被摄体信息的位置信息(静止被摄体位置信息)，该静止被摄体位置信息保 持在静止被摄体信息保持单元210中。
接着，每个静止^皮摄体位置信息不以场角中的X-Y坐标的形式表达，而 是以绝对位置信息(水平/垂直绝对位置对应角度)表达。例如，该工作如下。 例如看图29A中的配置，在被摄体检测处理单元201,在被摄体位置计算单元221计算的绝对位置信息(水平/垂直绝对位置对应角度)包括在要传递到 静止检测处理单元202的检测的单独被摄体信息位置信息中。在使得每个4全 测的静止被摄体的单独被摄体信息保持在静止被摄体信息保持单元210中 时，静止检测处理单元202包括单独被摄体信息中的绝对位置信息。因此， 图38中的区分处理单元222可以输入来自静止被摄体信息保持单元210的绝 对位置信息，作为登记为静止被摄体的每个被:摄体的位置信息。
区分处理单元222比较水平/垂直绝对位置对应角度(yx。l，yy。1 )、 (yx。2， yy。2)等直到(yx。m， yy。m)，这是静止被摄体信息保持单元210中保持的m 个静止被摄体的M组静止被摄体位置信息，水平/垂直绝对位置对应角度是从 成像的图像数据中检测的每个检测的单独被摄体的绝对位置信息。作为比较 的结果，具有可以看作与静止被摄体相同的绝对位置信息的检测的单独被摄 体从对象中消除，并且具有可以看作不同于静止被摄体的绝对位置信息的检 测的单独被摄体被区分为对象单独被摄体。以此方式区分的对象单独被摄体 位置信息传递到构图确定处理单元203。此时要传递到构图确定处理单元203 的位置信息可以是绝对位置信息，但是因为将用于图像框内的构图确定，由 于成像图像中位置信息易于在构图确定处理中处理，所以该成像图像中位置 信息是优选的。与图29A中所示的配置相关，如果区分处理单元222从例如 被摄体位置计算单元221接收成像图像中位置信息，则该成像图像中位置信 息可以传递到构图确定处理单元203。
此外，作为该被摄体区分处理的修改，图39示出了这样的情况中的配置 示例，其中可以通过在被摄体检测处理中检测面部特征，执行每个被摄体(人 识别、单独识别)的单独识别。注意，图39所示的配置可以看作包括在例如 被摄体区分单元211中。
在该情况下，安排被摄体检测处理单元201以通过检测每个检测的单独 被摄体的图像特征来执行单独识别，作为如上所述的被摄体检测处理。用于 单独识别的技术不具体限定，并且可以应用根据相关技术的任何技术。
除了如上所述的位置信息的信息之外，通过这种被摄体检测处理获得的 检测的单独纟皮摄体信息包括允许单独识别的属性信息(例如，表示单独被摄 体的图像特征的信息)。
因此，图39所示的区分处理单元223从被摄体区分单元211中输入上述 的每个检测的单独被:摄体的属性信息(检测的单独被摄体属性信息)，作为每个检测的单独被摄体的检测的单独被摄体信息。
此外，在该情况下，进行这样的安排，其中上述属性信息还包括在静止
被摄体信息保持单元210保持的每个静止被摄体的单独被摄体信息中。该安 排可以根据这样的配置进行，其中参照图38描述的每个静止被摄体的检测的 单独被摄体信息包括绝对位置信息。
与^r测的单独被摄体属性信息一起，区分处理单元223输入来自静止被 摄体信息保持单元210的每个静止被摄体的单独被摄体信息中包括的属性信 息(静止被摄体属性信息)。
区分处理单元223比较检测的单独被摄体具有的属性信息与静止被摄体 属性信息，可以看作与静止被摄体属性信息相同的检测的单独被摄体被消除， 而可以看作与静止被摄体属性信息不同的检测的单独被摄体被区分。对应于 选择的检测的单独被摄体的检测的单独被摄体属性信息输出到位置信息转换 单元224。
现在，假设检测的单独被摄体属性信息包括用作标签或ID的信息，该标 签或ID可以与包括在相同的检测的单独被摄体信息中的信息相关(相关数 据)。位置信息转换单元224输入从区分处理单元223输出的检测的单独被摄 体属性信息、以及所有检测的单独被摄体的检测的单独被摄体位置信息，然 后从输入的检测的单独被摄体位置信息中，选择与从区分处理单元223输入 的检测的单独被摄体属性信息相关的检测的单独被摄体位置信息。选择的检 测的单独被摄体位置信息输出到构图确定处理单元203作为对象单独被摄体 位置信息。
接着，将描述通过根据目前为止的实施例的成像系统(数字照相机1和 平台10)的构图确定处理和构图匹配(构图控制)的更具体的示例。要注意 的是，这里给出的示例只是示例，并且可以构思更广泛的构图控制的具体示 例，只要例如只有真实被摄体作为对象，而静止被摄体(不真实被摄体)被 消除。
首先，将参照图40A和40B描述被摄体检测处理单元201执行的被摄体 检测处理的具体示例。注意，这里，将基于面部检测执行被摄体检测。
现在，假设被摄体检测处理单元201已经输入图40A所示的图像内容的 成像的图像数据。这里的成像的图像数据的图像内容是已经成像的图像中存 在的单个人类被摄体。注意，图40A和40B显示为已经分割为矩阵形式的图像，其示意性图示用作成像的图像数据的图像由预定数目的水平和垂直像素 构成。
通过使图40A所示的成像的图像数据的图像内容经历被摄体检测(面部 检测)，检测了图40A中所示的一个单独被摄体SBJ的面部。也就是说，通 过面部检测处理检测一张面部意味着已经检测了一个单独被摄体。此外，作
为已经检测单独被摄体的结果，获得了单独被摄体的数量、方向和大小的信 自、
可以根据例如通过面部检测检测的面部的数量荻得单独被摄体的数量。
在图40A的情况下，检测的面部的数量为1，从而产生单独被摄体的数量也 是l的结果。
每个单独被摄体的位置信息是如上所述的成像图像中位置信息或绝对位 置信息，其中位置信息具体指示单独被摄体SBJ的重心。
例如，成像的图像的图像框中的单独被摄体SBJ的重心G由(X，Y)表 示，如前所述。在该情况下用作重心G(X，Y)的参照的、成像的图像数据的 屏幕的X，Y坐标系统上的原点P (0,0),例如是对应于图像大小的、X轴方 向(水平方向)上的宽度(水平图像大小)Cx的中点与对应于图像大小的、 Y轴方向(垂直方向)上的高度(垂直图像大小)Cy的交点。
此外，根据相关技术的被摄体重心检测方法可以应用到关于重心G的、 单独被摄体的图像内的位置的定义。
此外，例如通过面部检测处理，可以获得每个单独被摄体的大小作为识 别和检测为面部部分的区域中的像素数量。
此外，如前所述，基于面部检测信息，检测每个单独被摄体的面部方向 为例如面乂于左或右之一。
此外，在图40B所示的成像的图像数据被输入并且被摄体检测处理单元 201已经执行被摄体检测处理时，首先，面部检测处理识别存在两张面部， 产生存在两个单独被摄体的结果。这里，在该两个单独被摄体中，朝左边的 一个将被标识为单独被摄体SBJO，而朝右的一个标识为单独被摄体SBJ1, 以便可以标识。此外，对单独被摄体SBJO和SBJ1确定的重心的坐标为GO (X0，Y0)和G1 (X1，Y1)。此外，在以此方式^f全测多个单独被才聂体时，获得 总的被摄体重心Gt ( Xg，Yg),这是多个单独被摄体组(总的被摄体)的重心。
尽管可以构思关于如何设置总的被摄体重心Gt的各种安排，但是这里图
58示了其最简单的示例，其中在最左边被摄体的重心和最右边被摄体的重心之 间画一条线，并且该线的中点被当作总的^皮:慑体重心Gt。该总的净皮:摄体重心 Gt是可以用于例如稍后描述的构图控制的信息，并且是只要获得每个单独被 摄体的重心就可以通过计算获得的信息。因此，尽管总的被摄体重心Gt可以 通过被摄体检测处理单元201获得，并且输出作为检测的信息，但是可以进
行这样的安排，其中构图确定块62使用作为检测信息获得的、涉及最左边和 最右边被摄体的重心的信息荻得总的被摄体重心Gt,该信息具有指示单独被
摄体的重心的位置的信息。
例如，可以构思的设置方法的另一示例是根据其大小给多个单独被4聂体
的每个提供加权系数，并且使用该加权系数获得总的被摄体重心Gt,使得总 的被摄体重心Gt更接近例如尺寸大的单独被摄体。此外，可以根据每张面部 占据的面积，获得单独被摄体的大小作为单独被摄体SBJO和SBJ1的每个的 像素数量。
这可以根据上述技术，通过关于如上所述检测的单独被摄体在真实被摄 体和不真实被摄体(静止被摄体)之间执行的区分来执行，其中那些区分为 真实被摄体的被摄体被设置为对象单独被摄体，以用作构图确定的对象。
接着，将参照图42到44,描述通过根据本实施例的第一示例的构图获 得的构图。要注意的是，"构图控制"是指其中执行构图确定处理、以及用于 实现由构图确定处理确定的最优构图的构图处理的控制处理的术语。
图42图示这样的情况，其中作为被摄体检测处理和^皮摄体区分处理的结 果，在成像的图像数据的图像框内已经检测了单个对象单独被摄体SBJsO。 注意，检测为不真实被摄体的其它单独被摄体可能实际上存在于图42所示的 图像框内，但是从图中已经省略了不真实被摄体以便利该图的理解。
此外，利用本实施例，在数字照相机l以正常状态安装到平台IO的安排 中，设置数字照相机l的方向，使得成像风景屏幕而不是人像屏幕。因此， 利用构图控制的该第一示例和稍后描述的第二示例，假设通过成像获得风景 屏幕。
在如42所示已经检测了单个对象单独被摄体时，首先，改变对象单独被 摄体的大小，使得对象单独被摄体SBJsO在成像的图像数据的屏幕中占据的 百分比是被看作是最优的预定值。例如，在已经检测了对象单独被摄体的点， 如果对象单独被摄体在屏幕中占据的百分比小于上述预定值，则通过执行变焦控制缩窄场角，使得对象单独被摄体的百分比为该预定值，并且如果对象 单独^皮4聂体在屏幕中占据的百分比大于上述预定值，则通过执行变焦控制变 宽场角，使得对象单独被摄体的百分比为该预定值。这里在存在一个对象单 独被摄体时，这种变焦操作关于构图优化了被摄体大小。也就是说，对被摄 体确定最优大小，并且执行构图匹配使得被摄体为该最优大小。
接着，在存在一个对象单独被摄体时，屏幕上的被摄体的位置(被摄体 位置)的调整执行如下。对于构图确定中的被摄体位置的确定，使用检测的
面部方向信息。在图42的情况下，对象单独祐L摄体SBJsO的面部的方向已经 检测为向左。要注意的是，这里使用的方向"左"是从面对对象单独被摄体 SBJsO的拍摄者来看，因此在成像装置在前面拍照的情况下，对象单独被摄 体SBJsO他自己/她自己实际上将面向右。
此外，设置了要用作被摄体位置调整的参照的假想图像区域分割线Ld。 图像区域分割线Ld是匹配通过图像中的原点坐标P (0,0)的垂直线(即，匹 配Y轴线)的直线。
在该情况下， 一旦已经检测面部的方向朝左，则以对象单独被摄体SBJs 的重心G已经从对应于图像区域分割线Ld的位置(X=0)向右移动以水平偏 移量Ax表示的移动的形式，确定最优构图。执行构图匹配，使得重心G位于 该位置。因此，执行控制以驱动平台IO的摇摄机制，使得重心G位于水平 位移位置。
通常，被摄体位于中心的构图被认为是典型的差的构图，而其中被摄体 的位置根据一定的规则从中心位移的构图被认为是好的构图，这些规则中尤 其通常使用三分法(ruleofthirds)和黄金分割法。利用本实施例，屏幕的水 平方向上的单独被摄体SBJ的位置(重心G)首先关于屏幕的中心移动一定 量(水平偏移量Ax)。
于是，利用本实施例，如果对象单独被摄体的面部正朝向的方向是如图 42所示的左边，则水平方向上重心G的位置位于通过由图像区域分割线Ld 沿着Y轴线将屏幕分割为两个区域获得的两个图像区域(分割区域)的右边 图像区域中，使得面部位于与面部正朝向的"左边"方向相对的"右边"区 域中，从而在单独被摄体SBJ的面部正朝向的左侧获得空间。与其面部正朝 向左边的单独被摄体SBJs的重心G例如在被摄体位置、或在图像区域分割 线Ld的左边的图像区域中的构图相比，这种构图允许获得更好的构图，该被摄体位置对应于(匹配)水平方向上屏幕的中心。
可以构思各种算法用于确定本实施例的水平偏移量Ax的实际值。这里，
将使用所谓的"三分法"作为基础。三分法是最基本的构图设置技术之一， 并且目的在于通过两条垂直的假想线将屏幕均匀划分为水平上的三个区域， 以及通过两条水平的假想线将屏幕均勾划分为垂直上的三个区域，以便利用
四条假想线获得九个相等区域，并且将被摄体放置在这四条线之一上，获得 将屏幕垂直划分为三个的好的构图。
例如，在图42中，在均匀将水平图像框大小Cx划分为三的两条垂直假 想线中，已经设置水平偏移量Ax使得重心G位于右边的^f艮想线上。因此，可 以获得一个构图，其根据单独被摄体的面部方向对位于水平方向上的被摄体最优。
此外，尽管图中未示出，在一个对象单独祐::摄体SBJs的面部方向被^r测 为在右边方向时，放置水平方向上对象单独被:慑体SBJs的重心G的位置， 以便关于图42所示的位置跨越图像区域分割线Ld线性对称。也就是说，在 该情况下，将水平偏移量Ax设置对图42所示的实际值具有负号，并且基于 该水平偏移量Ax执行摇摄控制。
此外，在如图43A检测了两个对象单独被摄体SBJsO和SBJsl时，构图 控制中执行的第一件事是执行关于总的被摄体图像部分的大小的调整(变焦 控制)，该总的被摄体图像部分由对象单独被摄体SBJO和SBJ1的图像部分 组构成(例如，这可以理解为被摄体图像部分在整个图像中占据的百分比)， 以便被设置(确定)为按照对象单独被摄体的数目为二的最优的大小。
尽管可以构思若干方式定义总的被摄体图像部分并获得其大小，但是一 种方式是例如将多个检测的对象单独被摄体的每个的图像部分的大小相加。 另 一种将是获得假想线内的图像部分的大小，绘制该假想线以便包括所有的 多个检测的对象单独被摄体。
关于两个对象单独被摄体SBJsO和SBJsl的面部方向的信息用于确定水 平方向上两个对象单独被摄体SBJO和SBJ1的被摄体位置。
图43A示出了已经检测两个对象单独被摄体SBJsO和SBJsl的面部方向 都朝左的情况。也就是说，两个对象单独祐::慑体的面部方向相同，为左。在 该情况下，将由对象单独被摄体SBJO和SBJ1构成的总的被摄体图像部分定 位在图像区域分割线Ld的右边，这与面部正朝向的左边相反，使得以与图42所示的单个对象单独祐:摄体SBJs的情况相同的方式在屏幕的左侧形成空 间，因为在该情况下，该被摄体放置被确定为是最优构图。
为此，设置水平偏移量Ax用于偏移到右侧，如图43A所示。于是，执行 摇摄控制使得总的被摄体重心Gt (即，由两个对象单独被摄体SBJO和SBJ1 构成的总的被摄体图像部分的重心)位于从经过原点坐标P (0,0)的垂直线 (Y轴线)偏移水平偏移量Ax的位置，该垂直线是图像区域分割线Ld。此外， 尽管图中未示出，但是在两个对象单独被摄体SBJsO和SBJsl的面部方向都 朝右时，放置两个对象单独被摄体SBJsO和SBJsl的总的被摄体重心Gt,以 便关于图43A所示的位置跨越图像区域分割线Ld线性对称。也就是说，总 的被摄体重心Gt位于向用作参照的Y轴线的左边僞移对应于水平偏移量Ax 的绝对值的量的位置，在该情况下，这被确定为最优构图，并且执行摇摄控 制以便实现该状态。
要注意的是，在该情况下，如果应用到如存在多个对象单独被摄体的情 况，则在对象单独被摄体是一个的情况下获得的水平偏移量Ax意图导致被摄 体过于朝右(或左)。因此，在如图43A所示存在两个对象单独被摄体的情 况下，根据预定规则，设置(确定)水平偏移量Ax为比图42中的情况下小 的值(绝对值)，在图42中对象单独被摄体的数目为一。
此外，图43B示出了两个对象单独被摄体SBJsO和SBJsl的面部方向不 同的情况，即， 一个朝右，而一个朝左。这是对象单独被摄体的数目为二而 面部方向不同的情况的示例。在该情况下，确定最优A图是这样的状态，其 中两个对象单独被摄体SBJsO和SBJsl的总的重心Gt位于图像区域分割线 Ld上，如图43B所示，并且执行调整(摇摄控制)以实现该状态。
利用可以由此获得的配置，由两个对象单独被摄体SBJsO和SBJsl构成 的总的被摄体图像部分位于水平方向上大概在屏幕中间处。然而，在存在多 个被摄体并且这些被摄体不是朝向相同方向时，即使总的被摄体图像部分处 于中间，其构图也是适合的。
此外，图44示出了已经检测三个对象单独被摄体SBJsO、 SBJsl和SBJs2 的情况。也利用该情况下的构图控制，构图控制中执行的第一件事是执行关 于总的被摄体图像部分的大小的调整(变焦控制)，该总的被摄体图像部分由 对象单独被摄体SBJsO、 SBJsl和SBJs2的图像部分组构成，以便被设置为按 照对象单独被摄体的数目为三的最优的大小。也在该情况下，关于对象单独祐j聂体SBJsO、 SBJsl和SBJs2的面部方向 的信息用于确定水平方向上总的被摄体图像部分的被摄体位置。图44示出了 已经检测三个对象单独被摄体SBJsO、 SBJsl和SBJs2的面部方向都朝左的情 况。在该情况下，如图43A的情况，将由对象单独祐」摄体SBJsO、 SBJsl和 SBJs2构成的总的被摄体图像部分定位在图像区域分割线Ld的右边，对该端 设置水平偏移量Ax以用于偏移到右侧，并且执行摇摄控制使得总的被摄体重 心Gt位于由此确定的一定位置。此外，在三个对象单独被摄体SBJsO、 SBJsl 和SBJs2的面部方向都朝右时，放置总的被摄体重心Gt以便关于图44所示 的位置跨越图像区域分割线Ld线性对称。
在该情况下还要注意的是，将水平偏移量Ax设置为小于图43A的情况下 的绝对值，在图43A的情况下对象单独被摄体的数目为二。因此，水平方向 上的被摄体位置按照对象单独被摄体的数目例如为三的情况为最优，并且可 以获得好的构图。
此外，在根据该第一示例的构图控制中，在三个对象单独被摄体SBJsO、 SBJsl和SBJs2的面部方向不同时，获得这样的构图，其中总的被摄体重心 Gt位于图像区域分割线Ld (Y轴线)上的位置。
利用目前为止的描述，可以理解的是，根据第一示例的构图控制中的水 平方向上的位置调整首先与为每个对象单独被摄体检测的面部方向有关。也 就是说，作为最基本的控制，在对象单独被摄体的数目为一时，放置重心G 以便根据为该对象单独被摄体检测的面部方向朝右还是朝左，向图像分割线 Ld (Y轴线)的右侧区域或左侧区域偏移预定量，即，，关于重心G执行水平 偏移，以便在屏幕中被摄体面对的方向上形成空间。
在利用构图控制的对象单独被摄体的数目为二或更多、并且所有对象单 独浮皮摄体的面部方向相同时，以与上述位置调整相同的方式执行总的被摄体 重心Gt的水平偏移，但是如果不是全部相同，则不执行水平偏移，而是给总 的被摄体重心Gt提供对应于图像区域分割线Ld的X坐标，使得总的被摄体 图像区域在屏幕的中间周围。
于是，在执行总的被:慑体重心Gt (或在单独被:摄体的数目为一的情况下 的重心G)的水平偏移时，根据对象单独被摄体的数目改变水平偏移量Ax， 如参照图42到44所述。因此，考虑关于图像中总的被摄体图像部分的水平 位置，使得可以根据对象单独被摄体的数目获得最优位置。图45图示了根据上面参照图42到44描述的第一示例的配置控制、由构 图确定块62和摇摄/倾斜/变焦控制块63执行的过程的示例。要注意的是，图 45所示的过程可以应用到图29、 32和34所示的任何配置。
图45所示的处理可以看作由用作控制单元27中的DSP和CPU的信号 处理单元24执行的程序实现。
此外，在以下流程图中，术语"总的被摄体重心(Gt)"和"总的被摄体 图像部分"将不再只应用于^r测的单独被摄体的数目为二或更多的情况，而 是也应用到检测的单独被摄体的数目为一的情况。也就是说，例如，图42所 示的重心G也可以称为"检测的单独被摄体的数目为一的情况下的单独被摄 体重心Gt，，，并且只由图42所示的单独被摄体SBJ构成的图像部分也可以称 为"检测的单独被摄体的数目为一的情况下的总的被摄体图像部分"。
首先，步骤S1101到S1106是主要由被摄体4企测处理单元201执行的、 用于搜索和检测被摄体并且执行被摄体区分的过程。
在步骤S1101中，输入并获取基于来自图像传感器22的成像信号的成像 的图像数据。
在步骤S1102中，使用步骤S1101中获取的成像的图像数据执行被摄体 检测处理和被摄体区分处理。这里，被摄体检测处理由如前所述的被摄体检 测处理单元201执行。此外，被摄体检测处理还包括检测每个检测的单独被 摄体的面部方向，以及获得其信息，如前所述。此外，被摄体检测处理单元 201根据前面所述执行被摄体区分处理。
在步骤S1103中，作为步骤S1102中的被摄体检测处理和被摄体区分处 理的结果，确定是否存在要当作构图确定的对象的真实被摄体，即，是否存 在(已经区分的)对象单独被摄体。在这里获得否定确定结果、从而不存在 对象单独被摄体时，即，区分的对象单独被摄体的数目为零，流程进行到步 骤S1104，并且根据被摄体搜索执行变焦镜头移动控制(缩小控制)，用于将 场角变宽到预定场角(水平/垂直角度)。这样变宽场角允许成像更宽的范围， 意味着更容易捕获被摄体。此外，在步骤S1105中，执行摇摄/倾斜控制以用 于移动平台10的摇摄/倾斜机制进行被摄体搜索。该控制由被摄体检测处理 单元201执行，将用于摇摄/倾斜控制的控制信号传递到通信控制处理块64， 该控制信号发送给平台10的通信单元52。平台10的摇才t/倾斜机制应当在例 如允许有效执行搜索的模式下移动，作为用于被摄体搜索的摇摄/倾斜控制。
64此外，在步骤S1106中，将模式标志设置为0 (f=0),并且流程返回到 步骤SllOl。
因此，重复步骤S1101到S1106的过程，直到在成像的图像数据的图像 内容中检测了至少一个单独被摄体。此时，由检测的单独被摄体和平台IO构 图的系统处于这样的状态，其中检测的单独被摄体在摇摄方向和倾斜方向上 移动以用于被摄体搜索。
在步骤S1103给出肯定确定结杲、从而存在对象单独被摄体时，流程进 行到步骤S1107开始的过程。
在步骤S1107，进行关于当前对模式标志f设置的值的确定。
在确定保持f = 0时，这指示应当执行初始的大致被摄体捕获模式作为构 图控制，并且执行从步骤S1108开始的过程，如图45所示。
在步骤S1108,确定总的被摄体重心Gt是否位于成像的图像数据的屏幕 (显示成像的图像数据的屏幕内容时获得的屏幕)中的原点坐标P(O，O)(见 图41)。现在，在获得否定确定结果、从而总的被摄体重心Gt不位于原点坐 标时，在步骤S1109中执行控制以移动平台10的摇摄/倾斜机制，使得总的 被摄体重心Gt位于原点坐标，并且流程返回到步骤SllOl。因此，在作为初 始构图控制过程的捕获模式处于已经检测到单独被摄体的存在的状态中，控 制平台10的摇摄/倾斜机制，使得总的被摄体重心Gt位于作为初始参照位置 的原点坐标，以便显示检测的对象单独被摄体显示在屏幕中间的图像区域。
现在将示出用于执行步骤S1109中的摇摄/倾斜控制的算法的示例。在已 经检测单独被摄体处于模式标志f = 0的状态下，被:慑体检测处理单元201执 行下面的表达式5所示的计算，以便获得摇摄方向移动量S拜和倾斜方向移 动量S仙，这是已经进行的移动的移动量。
/i一l
这里，n表示区分的对象单独被摄体的数目，而p(Xi，Yi)表示第O个到 第n - 1个对象单独被摄体(或者更具体地，已经分配了 0到n- 1的编号的 对象单独被摄体)中的第i个对象单独被摄体的到重心的X-Y坐标。如图41 所示，在该情况下，原点坐标(0,0)是屏幕的水平方向上的中点和其垂直方 向上的中点之间的交点。例如，在步骤S1108中，确定移动量S，,&,的绝对值是否在预定值(更 精确地为0，但是可以是大于O的值)内，由此可以确定总的祐j聂体重心Gt 是否等效于在原点坐标P。
在步骤S1109,执行摇摄/倾斜控制，使得移动量S，&,的绝对值在预定 值内。摇摄/倾斜控制时摇摄机制单元53和倾斜机制单元56的速度可以是恒 定速度，或者例如如果移动量S"&较大，则可以安排为移动更快。该安排 将允许即使摇摄或倾斜运动量大、也使得总的被摄体重心Gt以相对短的时间 靠近原点。
在步骤S1108中做出总的被摄体重心Gt位于原点坐标的肯定确定结果 时，在步骤SlllO中将模式标志设置为l(f- 1 ),并且流程返回到步骤S1101。 步骤S1110中已经将模式标志f设置为1的状态指示作为比较控制中的初始 过程的捕获模式已经结束，并且应当执行接下来的第一调整控制(构图调整 模式)。
在模式标志为f=l并且应当执行第一构图调整模式时，流程从步骤 S1107进行到步骤S1111。第一构图调整模式用于执行变焦(场角)调整和摇 摄，以用于根据检测的单独被摄体的数目和单独被摄体的面部方向的组合获 得最优构图。注意，场角调整和摇摄控制导致屏幕中单独被摄体的大小和单 独被摄体的位置的改变。
在步骤Sllll，进行关于当前设置了多少对象单独被摄体的确定，并且在 为一时，执行从步骤S1112开始的过程。
在步骤S1112中，根据检测的对象单独被摄体的数目为一，设置目标被 摄体大小。这里，目标被摄体大小是这样的大小，其中屏幕中总的被:摄体图 像部分大小被看作是在构图上最优，并且例如与图42对应，等效于"被当成 是最优的、成像的图像数据中该( 一个)对象单独被摄体SBJs的占有百分比 值的预定范围"。
在步骤S1113,进行关于对象单独被摄体的大小是否OK的确定。对象单 独被摄体的大小OK的状态是其中对象单独被摄体的大小是在步骤S1112中 设置的目标被摄体大小的状态。在步骤S1113中获得否定确定结果时，流程 进行到步骤S1114，执行变焦镜头驱动控制(变焦控制)，使得对象单独被摄 体的大小是目标被:摄体大小，并且流程返回到步骤S1101 。
注意，此时执行变焦控制，使得关于水平方向(左右方向)上总的被摄体重心Gt的位置，维持对应于在步骤S1109中设置的X坐标(X-O)的位 置。因此，可以维持对象单独被摄体定位在水平方向上的中间周围的状态。 此外，在执行被摄体搜索操作时，在步骤S1104中执行缩小控制，因此对步 骤S1114中的缩放控制可能执行放大控制。然而，在由于某些原因此时检测 的单独被摄体的大小大于目标被摄体大小、因此在步骤S1113中获得否定确 定结果时，在步骤S1114中执行缩小操作以执行控制,使得实际对象单独被 摄体大小变为目标被摄体大小。
在步骤S1113中获得肯定确定结果时，流程进行到步骤S1115开始的过程。
在步骤S1115中，设置水平偏移量Ax。这里，在根据本实施例第一示例 的构图控制中，通过下面的表达式6获得水平偏移量Ax。 Ax = D x (Cx/6) / n (表达式6)
在该表达式6中，D表示已经基于面部方向或多个面部方向的组合(关 系)为其设置+1、 -l或O之一的系数。Cx表示水平图像大小。项Cx/6对应 通过三分法获得的垂直方向上假想线的X坐标，而n指示已经区分(设置)
的对象单独被摄体的数目。
在流程到达步骤S1115时，这里，n=l，因为检测的对象单独被摄体为 一。此外，面部方向为左或右。如果面部方向朝左，则系ftD为+l，而如果 朝右则为-1。
因此，在已经区分的 一个对象单独被摄体的面部方向孰左时， Ax = -Cx/6
成立，指示从作为图像区域分割线Ld (Y轴线)的、经过原点坐标P(O,O) 的垂直线向左移动量Cx/6的垂直线的位置。该垂直线的位置与三分法中的两 条假想线的右边假想线的位置相同。
另一方面，在已经区分的一个对象单独被摄体的面部方向朝右时，水平 偏移量Ax-Cx/6
成立，指示从作为图像区域分割线Ld (Y轴线)的、经过原点坐标P(O,O) 的垂直线向右移动量Cx/6的垂直线的位置。该垂直线的位置与三分法中的两 条假想线的左边假想线的位置相同。
在步骤S1116,确定总的被摄体重心Gt(在该情况下，图42中的重心G 与总的被摄体重心Gt相同，因为只有一个对象单独被摄体)是否位于对应于在上面的步骤S1115中设置的水平偏移量Ax的X坐标上。在这里获得否定确 定结果时，流程进行到步骤S1117。
在步骤S1117,执行摇摄控制，使得总的被摄体重心Gt位于对应于水平 偏移量Ax的X坐标上，并且流程返回到步骤SllOl。
在总的祐」摄体重心Gt位于对应于水平偏移量Ax的X坐标上时，由于步 骤S1117中的控制，在步骤S1116中获得肯定确定结果。在步骤S1116中获 得肯定确定结果时，根据其面部方向，对象单独被摄体(SBJ)的重心位于从 图像区域分割线Ld向左或向右移动水平偏移量Ax的位置上，如图42所示。
在步骤S1116中获得肯定确定结果时，流程进行到步骤S1118,将模式 标志设置为2，并且流程返回到步骤SllOl。才莫式标志为f=2的状态是第一 构图调整已经结束的状态，因此应当执行接下来的第二构图调整^f莫式，然后 应当执行释放操作，如从稍后的描述中显而易见的。
此外，在步骤Sllll中确定对象单独被摄体的数目是二或更多时，执行 从步骤S1119开始的过程。在步骤S1119中，执行用于设置目标被摄体大小 的处理。在对象单独^皮摄体的数目是二或更多时，例如，获得最优构图的目 标被摄体大小根据对象单独被摄体的数目而不同。因此，在步骤S1119中， 根据在步骤S1102中检测的对象单独被摄体的数目设置预定的目标被摄体大 小。此外，要注意的是，在对象单独被摄体的数目为二或更多时的目标被摄 体大小处理由所有检测的单独被摄体构成的总的被摄体图像部分。
在步骤S1120,确定对象单独被摄体的大小是否OK。也就是说，这里确 定从关于对象单独被摄体的检测的信息中获得的总的被摄体图像部分的大小 是否与在上面的步骤S1120中设置的目标被摄体大小相同。
在步骤S1120中获得否定确定结果时，流程进行到步骤S1121。在步骤 S1121中，以与步骤S1114相同的方式，执行变焦镜头驱动控制(变焦控制)， 使得此时检测的对象单独被摄体的总的被摄体图像部分的大小为在步骤 S1119中设置的目标被摄体大小，并且流程返回到步骤S1101。
另一方面，在步骤S1120中获得肯定确定结果时，流程进行到步骤S1122。
在步骤S1122，执行关于对多个对象单独被摄体的每个检测的面部方向 是否都相同的确定处理。在步骤S1122中获得肯定确定结果时，执行步骤 S1123开始的过程。在步骤S1123,利用上述表达式6执^f于水平偏移量Ax。
在该情况下，根据已经检测的相同的面部方向是左还是右，将+l或-l代
68入表达式6中的系数D中。此外，根据检测的对象单独被才聂体的数目，将数 字2或更大代入n中。
如从这里可以理解的，利用表达式6,对象单独被摄体的数目越大，水 平偏移量Ax的绝对值越小。也就是说，如参照图42、 43A和44所述，随着 对象单独被摄体的数目增加，总的被摄体图像部分从图像区域分割线Ld向左 或向右的偏移量越小。
另一方面，在步骤S1122中获得否定确定结果时，在步骤S1124中设置 水平偏移量Ax。要注意的是，这里还可以通过执行表达式6的计算，在步骤 S1124中设置Ax-O。也就是说，在步骤S1122中获得否定确定结果时，即， 在多个面部方向不相同时，配置算法使得在执行表达式6的计算时，将0代 入系凄tD中。
在执行步骤S1123或步骤S1124的过程后，流程进行到步骤S1125开始 的过程。
在步骤S1125到S1127，以与步骤S1116到S1118的处理相同的方式， 执行摇摄控制直到总的被摄体重心Gt位于对应于在步骤S1123或S1124中设 置的水平偏移量Ax的X坐标。作为该控制的结果，在多个对象单独被摄体的 面部方向都相同时，这意味着已经实现了这样的状态，其中总的净皮摄体图像 部分(总的被^L体重心Gt)已经向左或右方向移动对应于对象单独被4聂体的 数目的水平偏移量Ax。在实现该状态时，在步骤S1125中获得肯定确定结果， 在步骤S1127中将模式标志f设置为2,并且流程返回到步骤SllOl。
在模式标志f已经设置为2的状态下，参照图42到44描述的，作为构 图控制，已经完成根据对象单独被摄体的数目的大小调整和根据对每个对象 单独被摄体及其组合的面部方向在水平方向上的位置调整的过程。因此，在 步骤S1107中确定模式标志f为2时，在步骤S1128开始的过程中执行第二 构图调整模式。
例如，尽管在上面参照图42到44的构图控制的描述中没有进行关于如 何在屏幕的垂直方向上设置对象单独被摄体的重心的位置的描述，但是在实 际实践中，可能存在这样的情况，其中通过从屏幕的中心垂直移动(偏移) 一定量，可以获得更好的构图。因此，利用根据本实施例的构图控制的实际 应用，对总的被摄体重心Gt还设置垂直方向偏移量，使得可以获得更好的最 优构图。用于此的过程为第二构图调整模式，如将在下面描述的步骤S1128和步骤S1129执行的。
在步骤S1128中，确定总的被摄体重心Gt (在对象单独被摄体的数目为 1的情况下，该对象单独被摄体的重心G)的位置是否从经过屏幕中的原点 坐标P的水平线(X轴)偏移垂直偏移量Ay (即，重心偏移是否OK)。
在步骤S1128中获得否定确定结果时，在步骤S1129,执行倾斜控制， 使得平台IO的倾斜机制移动，以便将重心偏移所设置的垂直偏移量Ay,并且 流程返回到步骤SllOl。在步骤S1128获得肯定确定结果时，这意^^木着总的 被摄体图像部分的位置在水平方向和垂直方向上都是根据最优构图的，此外， 总的被摄体图像部分的大小也是根据最优构图的。也就是说，已经实现了最 优构图。
关于如何设置关于步骤S1128和S1129的垂直偏移量Ay的实际值可以构 思若干技术，因此，本实施例不具体限定。最简单的设置方式之一是例如基 于三分法，从垂直方向的中心位置给出等效于垂直图像大小Cy的1/6的长度 值。当然，可以构思这样的配置，其中例如基于对象单独被摄体的数目、面 部的方向及其组合设置不同的值。
在步骤S1128中获得肯定确定结果时，执行对应于从步骤S1130开始的 释放动作的处理过程。这里描述的释放动作是用于将此时获得的成像的图像 数据作为静止图像数据存储在存储介质(存储卡40)中的动作，如前所述。 也就是说，这对应于这样的情况，其中用户正执行手动快门搡作，并且响应 于快门操作，将此时获得的成像的图像数据作为静止图像数据存储在记录介 质中。
在步骤S1130中，确定目前是否满足用于执行释放动作的条件。条件可 以包括例如是否处于聚焦状态(在将自动聚焦控制设置为开时)，是否平台 10的摇摄/倾斜机制处于静止状态等。
在步骤S1130中获得否定确定结果时，流程返回到步骤S1101,并且等 待用于执行释放动作的状态条件。另一方面，在步骤S1130中获得肯定确定 结果时，在步骤S1131中执行释放动作。因此，利用本实施例可以将最优构 图的成像的图像数据记录为静止图像数据。
在释放动作结束时，在步骤S1132中执行关于某些参数的初始化设置。 在该处理中，将模式标志f的初始值设置为0,并且变焦镜头位置也返回到之 前设置的初始位置。在执行步骤S1132后，处理返回到步骤SI 101。将处理从步骤SI 132返 回到步骤SllOl意味着搜索被摄体、根据通过该搜索检测的对象单独被摄体 正面对的方向以及对象单独被摄体的数目获得最优构图、以及执行成像记录 (释放动作)的动作被自动重复执行。
上面参照图45的情况描述的释放动作是用于从成像的图像将静止图像 记录到记录介质的操作，但是广义来说，根据本实施例的释放动作包括例如 根据需要从成像的图像中获取静止图像数据，包括记录静止图像数据到记录 介质中。因此，在释放动作中也包括这样的动作，其中通过根据本实施例的 数字照相机1从成像的图像中获取静止图像数据，以用于例如经由数据接口 等传送到另一记录介质等。
利用目前为止描述的图45中的过程，首先，在步骤S1108和S1109中， 执行用于捕获的摇摄/倾斜控制，其中基于在步骤S1108和S1109中利用上面 表达式5获得的运动量S，&,将一个或多个对象单独被摄体的总被摄体重 心Gt定位在屏幕的原点坐标P。在下一阶段，基于对象单独被摄体的数目、 以及对每个对象单独被摄体检测的面部方向的关系，获得水平偏移量Ax,并 且执行摇摄控制，其中以作为图像区域分割线Ld (Y轴线)的、通过原点坐 标P的垂直线作为参照，将总的^皮^:体重心Gt在左或右方向上移动对应于水 平偏移量Ax的量。此外，执行倾斜控制，其中以通过原点坐标P的水平线作 为参照，将总的被纟聂体重心Gt向上或向下移动对应于垂直偏移量Ay的量。
综上所述，可以说图45中的过程的摇摄/倾斜控制包括首先通过以下表 达式7获得运动量S戸,&,"
<formula>formula see original document page 71</formula>---
然后执行用于获得屏幕内对应于该运动量5^的运动量的摇摄机制的控 制、以及用于获得屏幕内对应于该运动量&,的运动量的倾斜机制的控制。
接着，将描述根据本实施例的第二示例的构图控制。图46中示出了对应 于第二示例的构图控制的情形，图示了其中已经区分了三个对象单独被摄体 SBJsO、 SBJsl和SBJs2的状态。在这些对象单独被摄体中，对对象单独被摄 体SBJsO和SBJs2检测的面部方向为左，而对对象单独被摄体SBJs 1检测的 面部方向为右。在该情况下，不是所有的对象单独被摄体的面部方向都相同， 因此利用第一构图控制示例，将设置构图，使得总的被摄体重心Gt被设置在作为图像区域分割线Ld的、通过原点坐标P的垂直线(Y轴线)上，如参照 图43B和其它附图所述。
然而，作为三个对象单独被摄体的大多数的两个对象单独被摄体SBJsO 和SBJs2面对相同方向(面部方向相同)的事实，可能引导我们思考如果对 象单独被摄体正在看重要事情，这将在两个对象单独被摄体SBJsO和SBJs2 正面对的方向上的概率大于这将在一个对象单独纟皮摄体SBJsl正面对的方向 上的概率。基于该构思，我们可以说在两个对象单独被摄体SBJsO和SBJs2 正面对的区域中留出空间将导致获得好的构图的更大的概率。在该情况下， 检测到两个对象单独被摄体SBJsO和SBJs2正朝左，因此将由三个对象单独 被摄体SBJsO、 SBJsl和SBJs2构成的总的被摄体图像部分的总的被摄体重心 Gt移到在屏幕上的图像区域分割线Ld的右边的图像区域，以便获得好的构 图。
因此，利用根据该第二示例的构图控制，关于对多个单独被摄体的每个 ;险测的面部方向的区域，在相同面部方向的数目以预定百分比成为对象单独 被摄体的整个数目的大多数时，将该相同面部方向当作参照面部方向。还可 以认为该参照面部方向指示屏幕上多个对象单独被摄体组的全部整体地面对 的方向。基于该参照面部方向获得并设置水平偏移量Ax。在图46所示的情况 下，由于这种构图控制，实现总的^皮:慑体重心Gt祐 没置到通过原点P的垂直 线的右边的构图。
此外，尽管这里未示出，但是在没有获得足够的相同面部方向按预定百 分比成为大多数时，即，在上面的参照面部方向是不确定的时，利用本实施 例的构思是优选设置构图，将总的被摄体图像部分放置在水平方向上的中间 周围。因此，在该情况下，将水平偏移量Ax设置为0。
图47图示了根据上述第二示例、要由图5所示的被摄体检测处理单元 201、构图确定块62和通信控制处理块64执行的过程示例。
在图47所示的过程中，从步骤S1201到S1232的过程每个与从步骤S1101 到S1132的过程相同，除了步骤S1222-l和S1222-2。插入步骤S1222-l和随 后的步骤S1222-2作为在步骤S1222已经获得否定确定结果时执行的过程。 也就是说，在对象单独被摄体的数目为多个时执行步骤S1222-1和S1222-2， 并且在总的被摄体图像部分的大小调整已经完成的阶段，对每个对象单独被 4聂体检测的面部方向的关系不是全部相同的面部方向。
72在步骤S1222-1，执行用于确定参照面部方向的处理。为此，例如如上所 述，关于多个对象单独被摄体和面部方向上的关系，确定具有相同面部方向 的一组对象单独被摄体是否由下述数目的对象单独被摄体组成，所述对象单 独被摄体的数目足够多到按已经检测的对象单独被摄体的总数的某个百分比 或更高成为大多数。在存在这样一组对象单独被摄体时，确定该组对象单独 -陂摄体的面部方向为有效参照面部方向。另一方面，在不存在这样一组对象 单独被摄体时，确定不存在参照面部方向。
关于上述预定百分比，考虑关于实际实践中对象单独被摄体的数目和对 象单独被摄体的面部方向的关系的适当构图，应当根据需要确定实际要设置 什么样的值。尽管可以基本设置一个固定值，但是可以进行这样的安排，其 中根据例如确定的对象单独被摄体的数目设置不同的预定值。
此外，除了上面的以外，可以构思用于参照面部方向片全测处理的其它算 法。例如，可以进行这样的安排，其中将具有相同面部方向最多的一组对象 单独被摄体的面部方向简单当作有效参照面部方向，而不考虑其关于例如对 象单独被摄体的总数的百分比。在该情况下，如果在具有不同面部方向的每 组中的对象单独被摄体的数目相同，则确定不存在参照方向。
在步骤S1222-2，确定作为步骤S1222-1中的面部方向确定处理的结果， 是否已经确定了有效的参照面部方向。
现在，在已经获得肯定确定结果时，过程进行到步骤S1223。在此情况 下在步骤S1223,基于在步骤S1222-1中确定的参照面部方向确定系数D,并 且确定并设置水平偏移量Ax。
另一方面，在步骤S1222-2中获得否定确定结果时，这意味着在步骤 S1222-l中没有确定有效参照面部方向，既不是左也不是右。在该情况下，流 程进行到步骤S1224,从而将水平偏移量Ax设置为0。因此，插入步骤S1222-1 和S1222-2实现了根据参照图46所述的第二示例的构图控制。
注意，尽管一些步骤同时执行构图确定和构图匹配，但是图45和47所 示的过程以混合的方式包括可看作是构图确定处理的过程、以及用于根据确 定结果控制构图匹配(构图控制)的过程。这是由于图45和47所示的过程 根据实际实践具体图示。本实施例的基本构思应当看作是目前为止描述的、 图示为构图确定块200、构图确定块62等的用于构图确定的配置的应用。也 就是说，根据本实施例的成像系统可以看作是确定和判断根据对象单独被摄体的数目认为是最优的构图，并且适当地执行变焦控制和摇摄/倾斜控制，使 得实际获得(反映)确定的构图的成像的图像数据。
此外，利用图40A和40B的图中描述的构图确定和构图控制的具体示例， 已经进行了面部方向检测为左或右两个阶段的描述，但是实际上，除了左和 右，可能存在对包括面向正前的面部方向检测处理进行的配置。还在该情况 下，可以有效地应用基于本发明的实施例的构图控制。
例如，在图42的情况下检测了单个对象单独被摄体、并且检测面部面向 正前时， 一个可构思的安排将是将该被摄体位置放置在水平方向上的屏幕中 间周围，使得重心G或多或少在图像区域分割线Ld (Y轴)上。然而，该构 图通常被归类为差的构图示例。因此，可以构思这样的安排，其中在检测的 单独被摄体的数目为一、并且面部方向为正前时，如利用图42的构图或关于 图42的构图跨越图像区域分割线Ld线性对称的构图，设置水平偏移量Ax。
此外，在检测到两个或更多对象单独被摄体、并且所有的对象单独被摄 体的面部方向为正前或参照面部方向为正前时，可以构思这样的安排，其中 在已经将表达式1中的系数D设置为0时设置水平偏移量Ax,以便获得构图。
此外，在可以;险测垂直面部方向时，可以才艮据垂直方向上的面部方向检 测结果执行基于本发明实施例的构图控制。在该情况下，将图像区域分割线 Ld (例如，经过原点坐标的水平线(X轴)将满足)作为参照，垂直移动总 的被摄体重心Gt。
此外，在可以;险测对角线面部方向时，可以#>据对角线方向上的面部方 向检测结果执行基于本发明实施例的构图控制，这是水平方向和垂直方向的 综合。在该情况下，将跨越屏幕正交于检测的对角线面部方向的线(例如， 穿过原点坐标的水平线)设置为图像区域分割线Ld,并且将总的祐j聂体重心 Gt移动到通过该图像区域分割线Ld分割的图像区域之一 。
此外，例如在水平方向或垂直方向的两个阶段或三个或更多状态中允许 面部方向检测时，可以构思这样的安排，其中采用这样的算法，其中水平偏 移量Ax (或垂直偏移量Ay)是根据这样检测的方向的阶l史程度的变量。
此外，如图41所示，在该情况下，参照线经过其的参照点已经描述为屏 幕的原点，但是为了获得更好的构图，例如参照点的位置可以设置为不同于 原点坐标的位置。
此外，要理解的是参照图14到23描述的示例是部分示例，并且可以构思可以应用根据本发明的构图确定的其它设备、系统、应用软件等。
此外，利用目前为止的实施例的描述，祐::慑体(对象单独净皮摄体)已经 描述为人，但是本发明还可以应用于不同于人的被摄体(例如如动物)的情 况。
此外，利用本发明的实施例确定的构图(最优构图)不是必须限定于通 过应用构图设置技术(如三分法)到多个对象单独被摄体的元素确定的构图。 依赖于如何设置构图，即使通常被认为是差的构图可能被用户觉得是有趣的 或甚至更好的。因此，利用本发明的实施例确定的构图(最优构图)在实际 使用中不具体限制，并且可以考虑实用性、娱乐元素等可选地设置。
此外，利用上述实施例，从检测的单独被摄体中区分了真实被摄体和不 真实被摄体(静止被摄体)，并且将真实被摄体作为构图确定的对象。这是假 设要求海报等中的面部要被消除并且只将真实的人作为被摄体获得最优构图 的使用。然而，很明显可以存在基于本发明的实施例的配置，其中将不真实 的被摄体(静止被摄体)作为构图确定的对象。这种配置也可应用为基于本 发明的实施例的构图确定的配置，并且依赖于其应用是有用的。
此外，与此相关，可以配置基于本发明实施例的构图确定，使得例如根 据用户操作或基于预定设备操作条件等做出的确定，要被当作构图确定的对 象的被摄体可以在真实被摄体和不真实被摄体之间切换。
此外，利用上述实施例，已经进行关于这样的配置的描述，其中通过使 用运动检测将处于静止状态的检测的单独被摄体检测为静止被摄体，但是也 可以构思不同于运动;f全测的技术。
例如，可以构思基于温度的区別。也就是说，作为真实的人的真实被摄 体将具有大约为体温的温度，这将通常与环境温度不同。另一方面，如海报 等上的人的不真实被摄体将具有与环境温度相同的温度，因为它是东西。这 样可以区别真实被摄体和不真实被摄体。
通过采用所谓的热成像技术，用于此的一种可构思配置将用于4全测成4象 的图像的图像框内的温度分布。在图像框中的检测的单独被摄体中，那些与 环境温度具有相同温度的被摄体被区分为不真实被摄体(静止被摄体)，而不 同的那些作为真实被摄体。
此外，如上所述，至少本发明的实施例的配置的一部分可以通过CPU或
DSP执行程序实现。这种程序可以在生产时写入或存储在例如ROM中，或力i、屑t开且从孖慽化赝女笨t a措更新入以便存储
在对应于DSP或闪存30等的非易失性存储区域中。此外，可以构思这样的 安排，其中可以通过控制，经由数据接口 (如USB或正EE 1394等)从另一 主机设备安装程序。此外，可以构思这样的配置，其中程序存储在网络上的 存储设备(如服务器)上，并且已经提供联网功能的数字照相机1可以通过 从服务器下载获得程序。
本发明包含涉及于2008年3月19日向日本专利局提交的日本优先权专 利申请JP2008-071721中公开的主题，在此通过引用并入其全部内容。
本领域技术人员要理解的是，依赖于设计要求和其它因素，可以出现各 种修改、组合、子组合和替代，只要它们在权利要求或其等效的范围内。
权利要求
1.一种构图确定设备，包括被摄体检测装置，配置为检测基于获取的图像数据的图像中的被摄体；静止检测装置，配置为将基于所述图像数据的图像或由所述被摄体检测装置检测的被摄体作为其对象，检测静止状态；构图确定装置，配置为基于所述静止检测装置的检测结果，只将由所述被摄体检测装置检测的被摄体中的真实被摄体或不真实被摄体作为其对象，确定构图。
2. 如权利要求1所述的构图确定设备，还包括区分装置，配置为基于所述静止检测装置的静止区域的检测结果，关于 由所述被摄体检测装置检测的被摄体区分真实被摄体和不真实被摄体，所述 检测结果由检测在图像内静止的静止区域的所述静止检测装置获得，作为以 基于图像数据的图像作为所述静止检测装置的对象的检测结果；其中所述构图确定装置将由所述区分装置区分的真实^皮摄体或不真实被 摄体作为其对象，确定构图。
3. 如权利要求1所述的构图确定设备，还包括区分装置，配置为从所述被摄体检测装置检测的被摄体中，通过区分被 摄体而区分真实被摄体和不真实被摄体，使得作为所述静止检测装置的检测 结果、已经被检测为静止被摄体的被摄体被区分为不真实被摄体，而没有被 检测为所述静止被摄体的区分被摄体被区分为真实被摄体；其中所述构图确定装置将由所述区分装置区分的真实^皮:慑体或不真实被 摄体作为其对象，确定构图。
4. 如权利要求1所述的构图确定设备，还包括屏蔽装置，配置为执行屏蔽处理，其中从所述图像数据的屏幕中，排除 下述区域作为所述被摄体确定的对象通过检测在图像内静止的静止区域的 所述静止检测装置获得的、作为将基于图像数据的图像作为其对象的检测结 果的所述静止区域，或除了所述静止区域外的区域；其中所述被摄体^r测装置通过输入已经由所述屏蔽装置经历屏蔽处理的 图像数据并且执行被摄体检测，检测真实被摄体和不真实被摄体之一或另一并且其中所述构图确定装置将由所述被摄体检测装置检测的被摄体作为 其对象，确定构图。
5. 如权利要求1所述的构图确定设备，还包括屏蔽装置，配置为执行屏蔽处理，其中从所述图像数据的屏幕中，排除 下述区域作为所述被摄体确定的对象通过检测在图像内静止的静止区域的 所述静止检测装置检测的、作为将基于图像数据的图像作为其对象的检测结 果获得的所述静止区域，或除了所述静止区域外的区域；其中所述被摄体^r测装置通过输入已经由所述屏蔽装置经历屏蔽处理的 图像数据并且执行被摄体检测，检测真实被摄体和不真实被摄体之一或另一个；并且其中所述构图确定装置将由所述被摄体检测装置检测的被摄体作为 其对象，确定构图。
6. 如权利要求1所述的构图确定设备，还包括信息保持装置，配置为保持由预定信息组成的静止被摄体有关信息，所 述预定信息涉及作为将所述被摄体检测装置检测的被摄体作为其对象、由所 述静止检测装置执行的检测处理的结果，被检测为静止的每个静止被摄体； 以及区分装置，配置为从所述被摄体检测装置检测的被摄体中，基于所述静 止被摄体有关信息，区分与所述静止被摄体匹配的被摄体为不真实被摄体， 并且与所述静止被摄体不匹配的被摄体为真实被摄体；其中所述构图确定装置将由所述区分装置区分的真实被摄体或不真实被 摄体作为其对象，确定构图。
7. 如权利要求6所述的构图确定设备；其中所述静止检测装置从真实被摄体的候选者中检测静止图像，所述真 实被摄体已经被所述被摄体检测装置检测，并且进一步被确定为匹配由所述 区分装置区分的所述静止被:慑体；并且其中所述构图确定装置将由所述静止检测装置检测为真实被摄体的 静止i皮摄体作为其对象，确定构图。
8. 如权利要求6所述的构图确定设备，还包括 运动状态检测装置，配置为检测所述构图确定设备自身的运动；以及 删除装置，配置为根据已经由所述运动状态检测装置检测的所述构图确定设备自身的运动，删除在所述信息保持装置中保持的静止被摄体有关信息，
9. 如权利要求8所述的构图确定设备；其中所迷运动状态检测装置安排为不将由于可移动机制单元的动作导致 的所述构图确定设备自身的任何运动检测为运动，所述可移动机制单元能够 根据预定形式移动所述构图确定设备；并且其中所述运动状态检测装置安排为将由于除了在所述可移动机制单 元正在操作时的所述可移动机制单元的力之外的力导致的所述构图确定设备 自身的任何运动检测为运动。
10. 如权利要求1所述的构图确定设备，还包括位置信息设置装置，配置为在基于由成像装置获取成像的所述图像数据 而获得的图像数据、所述静止检测装置检测的所述静止被摄体的位置信息指 示所述静止被摄体位于图像的图像框内的水平和/或垂直方向上的极限位置 时，设置指示成像装置的摇摄位置和/或倾斜位置的摇摄/倾斜位置信息，所述 成像装置的成像视角在摇摄方向上和/或倾斜方向上改变。
11. 如权利要求IO所述的构图确定设备；其中所述信息保持装置包括所述静止被摄体有关信息中的所述摇摄/倾 斜位置信息；并且其中所述区分装置 比较所述静止被摄体有关信息中包括的每个被摄体的所述摇摄/倾 斜位置信息，和由所述被摄体检测装置在所述极限位置检测的关于被摄体的所 述摇摄/倾斜位置信息，以及 执行区分，其中匹配所述静止被摄体有关信息中包括的所述摇摄/倾斜位置信 息的被摄体被当作不真实被摄体，以及不匹配所述静止被摄体有关信息中包括的所述摇摄/倾斜位置 信息的被摄体被当作真实被摄体。
12. 如权利要求1所述的构图确定设备，还包括 位置信息设置装置，配置为基于图像内的水平和/或垂直方向上的图像框大小，所述图像框大小 基于由成像装置获取成像的图像数据而获得的图像数据，所述成像装置的成 像视角在摇摄方向上和/或倾斜方向上改变，和在基于所述成像的图像数据的图像内检测的被摄体的位置， 获取指示摇摄方向和/或倾斜方向的绝对角度的绝对位置对应角度 信息，以及将该绝对位置对应角度信息当作关于由所述被摄体检测装置检测的 被摄体的位置信息。
13. 如权利要求12所述的构图确定设备；其中所述信息保持装置包括所述静止被摄体有关信息中的所述绝对位置 对应角度信息的位置信息； 并且其中所述区分装置 比较所述静止被摄体有关信息中包括的、每个被4聂体的所述绝对位置对应角度信息的位置信息，和由所述被摄体检测装置在所述极限位置检测的、关于被摄体的 所述绝对位置对应角度信息的位置信息，以及 执行区分，其中匹配所述静止被摄体有关信息中包括的所述绝对位置对应角度 信息的位置信息的被摄体被当作不真实被摄体，以及不匹配所述静止被摄体有关信息中包括的所述绝对位置对应角 度信息的位置信息的被摄体被当作真实被摄体。
14. 如权利要求1所述的构图确定设备；其中所述被摄体检测装置配置为通过单独识别每个被摄体的特征来执行 被摄体检测，并且在检测信息中包括能够单独识别被摄体的单独识别信息；并且其中所述信息保持装置在所述静止被摄体有关信息中包括每个静止 被摄体的所述单独识别信息；并且其中所述区分装置 比较所述静止被摄体有关信息中包括的每个被摄体的所述单独识别信息；和来自所述被摄体检测装置的检测信息中包括的、关于每个被摄 体的所述单独识别信息，以及 执行区分，其中匹配所述静止被摄体有关信息中包括的所述单独识别信息的被 摄体被当作不真实被摄体，以及不匹配所述静止被摄体有关信息中包括的所述单独识別信息的 被摄体被当作真实被摄体。
15. —种构图确定方法，包括以下步骤 对基于获取的图像数据的图像中的被摄体的第一检测； 将基于所述图像数据的图像或在所述第 一检测中检测的被摄体作为其对象，对静止状态的第二检测；以及基于所述第二检测的检测结果，只将所述第 一检测中检测的被摄体中的 真实^皮摄体或不真实被摄体作为其对象，确定构图。
16. —种程序，使得构图确定设备执行包括以下步骤 对基于获取的图像数据的图像中的被摄体的第一检测；将基于所述图像数据的图像或在所述第 一检测中检测的被摄体作为其对 象，对静止状态的第二检测；以及基于所述第二检测的检测结果，只将所述第一检测中检测的被摄体中的 真实被摄体或不真实被摄体作为其对象，确定构图。
17. —种构图确定设备，包括被摄体检测单元，配置为检测基于获取的图像数据的图像中的被摄体； 静止检测单元，配置为将基于所述图像数据的图像或由所述被摄体检测单元检测的被摄体作为其对象，检测静止状态；构图确定单元，配置为基于所述静止检测单元的检测结果，只将由所述被摄体检测单元检测的被摄体的真实被摄体或不真实被摄体作为其对象，确定构图。
全文摘要
一种构图确定设备，包括被摄体检测单元，配置为检测基于获取的图像数据的图像中的被摄体；静止检测单元，配置为将基于所述图像数据的图像或由所述被摄体检测单元检测的被摄体作为其对象，检测静止状态；以及构图确定单元，配置为基于所述静止检测单元的检测结果，只将由所述被摄体检测单元检测的被摄体的真实被摄体或不真实被摄体作为其对象，确定构图。
文档编号H04N5/232GK101540844SQ200910128868
公开日2009年9月23日 申请日期2009年3月19日 优先权日2008年3月19日
发明者善积真吾 申请人:索尼株式会社