构图控制设备、成像系统、构图控制方法和程序的制作方法

专利名称：构图控制设备、成像系统、构图控制方法和程序的制作方法
技术领域：
本发明涉及构图(composition)控制设备和构图控制方法，其被配置为执行例如 利用图像数据作为目标来获得图像内容中的期望构图的控制。另外，本发明涉及用于构图 控制设备所需的执行序列的程序。
背景技术：
本申请人已提出了一种在日本未实审专利申请公布No. 2009-100300中公开的构 图控制的结构。这里，检测出存在于由成像设备摄取的图像数据的图像中的对象(被摄 物)，然后，根据检测出的对象的数目、对所有检测出的对象测得的面部方向之间的关系等 等来确定最优构图。然后，通过安装有成像设备的相机平台的摇动-倾动控制(云台控制)、 成像设备的光学系统的变焦控制等等来执行构图取景，使得摄取图像数据的图像内容对应 于所确定的最优构图。

发明内容
如上所述，利用摇动方向或倾动方向上对相机平台的驱动控制以及变焦控制的构 图，执行了以上日本未实审专利申请公布No. 2009-100300中所确定的用于获得构图的构 图取景控制。因此，希望提供一种技术，其中上述构图取景控制的序列被进一步改善以更高效 地执行构图取景控制。根据本发明的一个实施例，提供了一种构图控制设备，包括构图确定装置、初步位 置获得装置、可移动机构部控制装置和变焦控制装置，构图确定装置被配置为根据从由成 像部摄取并获得的图像检测出的对象的信息来确定目标构图，构图确定装置确定用于获得 目标构图的变焦放大率和用于获得目标构图的图像区中对象的目标位置；初步位置获得装 置被配置为在获得了由构图确定装置确定的目标构图的情况下、获得在根据变焦放大率改 变场角之前在图像中获得的对象的位置作为初步位置；可移动机构部控制装置被配置为对 可移动机构部执行控制，以使图像区中的对象的位置对应于所获得的初步位置，可移动机 构部被配置为改变成像部的成像视野范围；变焦控制装置被配置为对成像部的变焦镜头执 行驱动控制，使得在利用可移动机构部控制装置将对象的图像区置于初步位置之后，根据 由构图确定装置确定的变焦放大率来改变场角。根据本发明的另一个实施例，提供了一种成像系统，包括成像设备；可移动机构 设备，其包括能够移动来改变成像设备的成像视野范围的机构，该成像系统包括构图确定 装置、初步位置获得装置、可移动机构部控制装置和变焦控制装置，构图确定装置被配置为 根据从由成像设备摄取并获得的图像检测出的对象的信息来确定目标构图，构图确定装置 确定用于获得目标构图的变焦放大率和用于获得目标构图的图像区中的对象的目标位置； 初步位置获得装置被配置为在获得了由构图确定装置确定的目标构图的情况下，获得在根 据变焦放大率改变场角之前在图像中获得的对象的位置作为初步位置；可移动机构部控制装置被配置为对可移动机构部执行控制，使得图像区中的对象的位置对应于所获得的初步 位置，变焦控制装置被配置为对成像设备的变焦镜头执行驱动控制，使得在利用可移动机 构设备控制装置将对象的图像区置于初步位置之后，根据由构图确定装置确定的变焦放大 率来改变场角。在上述配置中，当根据所确定的变焦放大率发生改变的场角返回到改变前的场角 时，从获得所确定的构图的图像内容中获得在图像中获得的对象的位置作为初步位置。然 后，可移动机构部被控制以使得图像中的对象被置于初步位置中。之后，根据所确定的变焦 放大率执行变焦控制。因而，根据本发明的这些实施例，在变焦控制完成的阶段中获得了所 确定的构图。因此，例如，在作为构图控制的可移动机构部控制和变焦控制中防止了不必要的 物理运动，并且可以缩短直至获得所确定的构图前的时间，从而实现了高效的构图控制。


图IA和IB是示意性地图示作为形成根据本发明一个实施例的成像系统的成像设 备的数字静态相机的外观的前视图和后视图；图2是图示形成根据本发明一个实施例的成像系统的相机平台的外观的例子的 透视图；图3是图示作为根据本发明一个实施例的成像系统，数字静态相机被安装到相机 平台的状态的例子的前视图；图4是图示作为根据本发明一个实施例的成像系统，数字静态相机被安装到相机 平台的状态的例子以及摇动方向上的运动例子的俯视图；图5A和5B是图示作为根据本发明一个实施例的成像系统，数字静态相机被安装 到相机平台的状态的例子的侧视图；图6是图示数字静态相机的配置例子的框图；图7是图示相机平台的配置例子的框图；图8是图示与根据本发明一个实施例的数字静态相机的构图控制相对应的功能 块的示意图；图9是图示当在图像数据的图像框中检测出对象时的图像内容的例子的示意图；图10是图示根据一种构图的图像框中的图像内容的例子的示意图，该构图被确 定为与图9中检测出的对象相对应地获得；图11是图示在根据第一例子的构图控制中，在摇动-倾动(pan-tilt)控制的阶 段中获得的图像框中的对象的位置的示意图；图12是图示从图11中的状态在执行变焦控制的阶段中获得的图像框中的图像内 容的例子的示意图；图13是图示在根据第二例子的构图控制中、在摇动-倾动控制的阶段中获得的图 像框中对象的位置(在水平偏移量不为0的情况下)的示意图；图14是图示从图13中的状态在执行变焦控制的阶段中获得的图像框中的图像内 容的例子的示意图；图15是图示在根据第三例子的构图控制中，在摇动-倾动控制的阶段中获得的图像框中对象的位置例子的示意图；图16是图示用于根据第一例子的构图控制的处理过程的例子的流程图；图17是图示用于根据第二例子的构图控制的处理过程的例子的流程图；图18是图示用于根据第三例子的构图控制的处理过程的例子的流程图；图19是图示在对象的数目是多个的情况下确定变焦放大率Z的技术的例子的示 意图；图20是图示在对象的数目是多个的情况下确定变焦放大率Z的技术的例子的示 意图；图21是图示根据本发明一个实施例的成像系统的修改例的配置例子的示意图； 以及图22是图示根据本发明一个实施例的成像系统的另一修改例的配置例子的示意 图。
具体实施例方式
下文中，将按照以下顺序描述用于实现本发明的实施例。1.成像系统的配置1-1.整体配置1-2.数字静态相机1-3.相机平台2.与根据一个实施例的构图控制相对应的功能配置的例子3.构图控制(第一例子)4.构图控制(第二例子)5.构图控制(第三例子一个实施例)5-1.算法的例子5-2.对象的数目是多个的情况6.根据一个实施例的成像系统的修改例下文中，将使用术语“图像框”、“场角”、“成像视野范围”和“构图”。“图像框”指例如对应于图像所出现的画面的区域范围，并且一般具有在纵向或横 向上长的矩形外框形状。“场角”也称为变焦角，指由成像设备的光学系统中的变焦镜头的位置所确定的、 在图像框中收集的对象的范围，它是以角度表示的。一般而言，“场角”是由成像光学系统的 焦距和像面(成像传感器或胶片)的大小决定的，但是这里指能够根据焦距改变的因素。“成像视野范围”由摇动(水平)方向上的摆动角和倾动(垂直)方向上的角度 (仰角或俯角)以及“场角”来决定，其是关于由置于预定位置的成像设备的成像处理所获 得的图像的图像框中所收集的对象的范围。“构图”也称为“取景(framing)”，例如指包括由成像视野范围决定的图像框内的 对象的大小设置的布局。下文中，将描述实施例的例子，其中根据该实施例的配置被应用于成像系统，该成 像系统包括数字静态相机和安装有数字静态相机的相机平台。
1.成像系统的配置1-1.整体配置根据本实施例的成像系统包括数字静态相机1和安装有数字静态相机1的相机平 台10。首先，图IA-B是图示数字静态相机1的外观的示意图，其中图IA和IB分别图示 了数字静态相机1的前视图和后视图。如图IA所示，数字静态相机1包括在主体2的前表面侧的镜头部21a。镜头部21a 是设在主体2上并向外伸出的部件，用作成像光学系统。另外，快门按钮31a被安装在主体2的上表面部分上。在成像模式中，由镜头部件 21a摄取的图像(摄取图像)被生成为图像信号。另外，如果在成像模式中执行对快门按钮 31a的操作，则在操作时获得的摄取图像被记录在存储介质中作为静止图像数据。即，执行 了拍照。如图IB所示，数字静态相机1包括在其后表面侧的显示屏幕部33a。在成像模式中，此时由镜头部21a摄取的被称为运动图像的图像被显示在显示屏 幕部33a中。另外，在再现模式中，记录在存储介质中的图像数据被再现并显示。而且，根 据用户执行的对数字静态相机1的操作，操作图像被显示为GUI (图形用户界面)。另外，根据本实施例的数字静态相机1被配置为使得显示屏幕部33a结合有触摸 面板。因而，用户可以利用他/她的手指来接触显示屏幕部33a从而执行操作。另外，根据本实施例的成像系统(成像设备)包括作为数字静态相机1的成像设 备部和作为后面将描述的相机平台10的可移动机构部(可移动设备部)，但是用户可以与 正常数字静态相机类似的方式仅利用一个数字静态相机来执行拍照。图2是图示相机平台10的外观的透视图。另外，图3至5B图示了数字静态相机 1相对于相机平台10被适当装配的状态，作为根据本实施例的成像系统的外观。这里，图 3是其前视图，图4是平面图，图5A是侧视图。图5B是图示倾动机构的可移动范围的侧视 图。如图2、3、4和5A所示，相机平台10被配置为使得主体11被组合在基座13上并 且相机装配部12被安装到主体11。当数字静态相机1要被装配在相机平台10上时，数字静态相机1的底表面侧被装 配到相机装配部12的上表面侧。就此而言，如图2所示，突出部13和连接器14被安装在相机装配部12的上表面 侧上。尽管未示出，但是在数字静态相机1的主体2的下表面部分上形成有与突出部13 啮合的孔部。在数字静态相机1被适当装配到相机装配部12的状态中，孔部与突出部13 相啮合。在该状态中，在相机平台10的正常摇动和倾动操作中，数字静态相机1不会偏离 相机平台10或者脱离相机平台10。另外，在数字静态相机1中，连接器被安装在其下表面部分的预定位置处。这样， 在数字静态相机1被适当装配在相机装配部12上的状态中，数字静态相机1的连接器连接 到相机平台10的连接器14，从而能够相互之间进行通信。例如，在本实施例中，连接器14和突出部13被配置为在相机装配部12中实际是可移动的。另外，例如，还可以使用适合于数字静态相机1的底表面部分的形状的适配器， 因而，不同类型的数字静态相机可以在能够与相机平台10通信的状态中被装配在相机装 配部12上。另外，数字静态相机1和相机装配部12之间的通信可以无线方式执行。另外，在数字静态相机1被装配到相机平台10的状态中，可以执行从相机平台10 对数字静态相机1的充电。另外，在数字静态相机1中再现的图像的图像信号等可以被发 送到相机平台10，并且所发送的信号可以通过线缆或无线通信等从相机平台10输出到外 部监视器设备。即，相机平台10可用于改变数字静态相机1的成像视野范围，另外还可具 有所谓的托架功能。接下来，将描述由于相机平台10而引起的数字静态相机1在摇动和倾动方向上的 基本移动。首先，如下执行摇动方向的基本移动。在相机平台10被置于地板表面等上的状态中，基座15的底面与地板表面等相接 触。在这种状态中，如图4所示，主体11被配置为能够以旋转轴Ila为中心在顺时针方向 和逆时针方向上旋转。因而，装配在相机平台10上的数字静态相机1的成像视野范围沿着 左右方向(水平方向)改变。即，执行了摇动。另外，在这种情况下，相机平台10的摇动机构包括一种结构，该结构提供了相对 于顺时针方向和逆时针方向中的任何方向的、无限制的360°或更大角度的自由旋转。另外，在相机平台的摇动机构中，在摇动方向上设置基准位置。就此而言，如图4所示，摇动基准位置被设置为0° (360° )，并且在0°至360° 的范围内表示主体11沿摇动方向的旋转位置(即，摇动位置)。另外，如下执行相机平台10在倾动方向上的基本移动。如图5A和5B所示，当相机装配部12在以旋转轴12a为中心的仰角和俯角的相对 方向上移动时，执行倾动方向上的移动。就此而言，图5A图示了相机装配部12被置于倾动基准位置YO (0° )的状态。在 该状态中，与镜头部21a (光学系统)的成像光轴重合的成像方向Fl与基座15所接触的地 表面部件GR平行。此外，如图5B所示，首先，在仰角方向上，相机装配部12能够以旋转轴12a为中心 在距倾动基准位置Y0(0° )的预定最大旋转角+f°的范围内运动。另外，在俯角方向上，相 机装配部12能够以旋转轴12a为中心在距倾动基准位置YO (0° )的预定最大旋转角_g° 的范围内运动。这样，当相机装配部12相对于倾动基准位置Y0(0° )在最大旋转角+f° 和最大旋转角_g°之间的范围内运动时，装配在相机平台10(相机装配部12)上的数字静 态相机1的成像视野范围在上下方向(垂直方向)上改变。即，获得了倾动移动。如图2至5所示的相机平台10的外观配置仅仅是一个例子，因而，只要所装配的 数字静态相机1可以在摇动方向和倾动方向上运动，就可以使用不同的物理配置或结构。1-2.数字静态相机首先，图6是图示数字静态相机1的实际内部配置的例子的框图。在图6中，光学系统21包括成像镜头组(该成像镜头组具有多个成像镜头，例如 变焦镜头和聚焦镜头)和光圈等，并且能够利用入射光作为成像光在图像传感器22的光感测表面上形成图像光学系统21还包括用于驱动变焦镜头、聚焦镜头、光圈等的驱动机构。驱动机构 的操作由控制器27执行的所谓的相机控制来控制，例如变焦(场角)控制、自动聚焦调节 控制和自动曝光控制。图像传感器22执行所谓的光电转换，在光电转换中在光学系统21中获得的成像 光被转换为电信号。因此，图像传感器22在光电转换元件的光感测表面处接收来自光学系 统21的成像光，并按预定时序依次输出根据所接收的光强累积的信号电荷。因而，输出了 与成像光相对应的电信号(成像信号)。用作图像传感器22的光电转换元件(成像设备) 并没有特别的限制，但是可举例为CMOS传感器或CCD(电荷耦合器件)等。另外，在使用 CMOS传感器的情况下，可包括与后面将描述的A/D转换器相对应的A/D转换器23，作为与 图像传感器22相对应的器件(组件)。从图像传感器22输出的成像信号被输入到A/D转换器23，被转换为数字信号，然 后被输入到信号处理部24。在信号处理部24中，从A/D转换器23输出的数字成像信号以与单个静止图像 (帧图像)相对应的单位被导入，并且对所导入的静止图像单位的成像信号执行预定信号 处理，从而生成摄取图像数据(摄取静止图像数据)，它是与单个静止图像相对应的图像信 号数据。这样，在由信号处理部24生成的摄取图像数据被记录在例如作为存储介质(存储 介质设备)的存储卡40中作为图像信息的情况下，与单个静止图像相对应的摄取图像数据 被从信号处理部24输出到编码器/解码器25。编码器/解码器25在控制器27的控制下通过预定的静止图像压缩编码方法执行 压缩编码，例如头部添加等，然后将从信号处理部24输出的静止图像单位的摄取图像数据 转换为以预定格式压缩的图像数据格式。另外，所生成的图像数据被发送到介质控制器26。 介质控制器26在控制器27的控制下执行控制以使所发送的图像数据被写入并记录在存储 卡40中。在这种情况下，存储卡40是采用如下配置的存储介质，该配置包括根据预定标准 的卡样式的外形和诸如闪存之类的内部非易失性半导体存储元件。另外，用于存储图像数 据的存储介质可以具有与上述存储卡不同的类型、样式等等。另外，根据本实施例的信号处理部24执行图像处理，该处理是利用如上所述获得 的摄取图像数据的对象检测，这将在后面描述。另外，数字静态相机1利用由信号处理部24获得的摄取图像数据通过显示部33 执行图像显示，从而显示所谓的运动图像，它是当前正在摄取期间的图像。例如，在信号处 理部24中，如上所述，从A/D转换器23输出的成像信号被导入以生成与单个静止图像相对 应的摄取图像数据，但是可以连续执行该操作以依次生成与运动图像中的帧图像相对应的 摄取图像数据。另外，依次生成的摄取图像数据在控制器27的控制下被发送到显示驱动器 32。这样实现了运动图像显示。在显示驱动器32中，基于如上所述从信号处理部24输入的摄取图像数据生成用 于驱动显示部33的驱动信号，并将驱动信号输出到显示部33。因而，在显示部33中，依次 显示基于静止图像单位的摄取图像数据的图像。如果用户观看该状态，则此时已摄取的图 像被显示在显示部33中作为运动图像。即，显示了运动图像。
另外，数字静态相机1再现记录在存储卡40中的图像数据并使该图像能够被显示 在显示部33上。为此，控制器27对于介质控制器26指定图像数据并命令从存储卡40读取数据。 响应于该命令，介质控制器26访问存储卡40上记录有所指定的图像数据的地址以执行数 据读取，并将读取的数据发送到编码器/解码器25。
编码器/解码器25例如在控制器27的控制下从自介质控制器26发送来的摄取 图像数据中提取实际数据作为压缩静止图像数据，并对压缩静止图像数据执行相对于压缩 编码的解码处理，从而获得与单个静止图像相对应的摄取图像数据。然后，摄取图像数据被 发送到显示驱动器32。这样，在显示部33中再现并显示了记录在存储卡40中的摄取图像 数据的图像。至于显示部33，除了运动图像、图像数据的再现图像等等，还可以显示用户界面图 像(操作图像)。在这种情况下，例如，控制器27生成显示图像数据(该数据是根据操作状 态的预定用户界面图像)，并将所生成的显示图像数据输出到显示驱动器32。因此，通过显 示部33可以显示用户界面图像。另外，用户界面图像可以与诸如特定菜单画面之类的监视 图像或者摄取图像数据的再现图像相互独立地被显示在显示部33的显示屏上，并且可以 显示为与监视图像或者摄取图像数据的再现图像的一部分相重叠或组合。例如，控制器27实际设有CPU(中央处理单元)，并与ROM 28,RAM 29等一同构成 微计算机。例如，要由作为控制器27的CPU执行的程序以及与数字静态相机1的操作有关 的各种设置信息等被存储在ROM 28中。RAM 29用作CPU的主存储器件。另外，在这种情况下，闪存30被安装作为非易失性存储空间，其用于记录各种设 置信息等，这些设置信息用于根据用户操作、操作历史等进行改变(重写)。另外，关于ROM 28，例如，在采用包括闪存的非易失性存储器的情况下，可以使用除了闪存30以外的R0M28 中的存储空间的一部分。操作部31总地表示设在数字静态相机1中的多个操作部件以及操作信息信号输 出部分，该操作信息信号输出部分根据对操作部件执行的操作生成操作信息信号，并将所 生成的操作信息信号输出到CPU。控制器27根据从操作部31输入的操作信息信号执行预 定的处理。这样，执行了根据用户操作的数字静态相机1的操作。声音输出部35是在控制器27的控制下以预定音调和发音模式输出电声音以通知 例如预定内容的部件。LED部36设有被外部安装在数字静态相机1的机壳的前表面部分中的LED (发光 二极管)和用于驱动LED发光的电路等，并且在控制器27的控制下接通和关断LED。根据 接通和关断LED的模式来执行预定的内容通知。相机平台对应通信部34根据预定通信方法执行相机平台10和数字静态相机1 之间的通信。相机平台对应通信部34包括用于例如在数字静态相机1被装配到相机平台 10的状态中能够以有线或无线方式与相机平台10的通信部执行通信信号收发的物理层配 置，以及用于实现与高于物理层的预定层相对应的通信处理的配置。作为上述物理层配置， 设有与图2所示的连接器14相连的连接器的一部分。1-3.相机平台图7是图示相机平台10的内部配置例子的框图。
如上所述，相机平台10包括摇动-倾动机构，并且包括摇动机构部53、摇动电机 54、倾动机构部56和倾动电机57。摇动机构部53包括用于为装配在相机平台10上的数字静态相机1提供图4所示 的摇动(水平、左右)方向上的运动的机构，并且在摇动电机54在正或反方向上旋转时获 得了该机构的运动。类似地，倾动机构部56包括用于为装配在相机平台10上的数字静态 相机1提供图5B所示的倾动(垂直、上下)方向上的运动的机构，并且在倾动电机57在正 或反方向上旋转时获得了该机构的运动。控制器51设有由CPU、ROM、RAM等的组合形成的微计算机，并且控制摇动机构部 53和倾动机构部56的运动。例如，当控制摇动机构部53的运动时，控制器51向摇动驱动 部55输出指示运动目标方向和速度的信号。摇动驱动部55生成与输入信号相对应的电机 驱动信号并将所生成的信号输出到摇动电机54。例如，如果电机是步进式电机，则电机驱动 信号变成与PWM控制相对应的脉冲信号。摇动电机54例如响应于电机驱动信号以预定旋转方向和速度旋转，结果，摇动机 构部53被驱动为以相应的运动方向和速度运动。类似地，当控制倾动机构部56的运动时，控制器51向倾动驱动部58输出指示倾 动机构部56所需的运动目标方向和速度的信号。倾动驱动部58生成与输入信号相对应的 电机驱动信号并将所生成的信号输出到倾动电机57。倾动电机57响应于电机驱动信号以 预定旋转方向和速度旋转，结果，倾动机构部56被驱动为以相应的运动方向和速度运动。另外，摇动机构部53包括旋转编码器(旋转检测器)53a。旋转编码器53a根据 摇动机构部53的旋转运动向控制器51输出指示旋转角的量的检测信号。类似地，倾动机 构部56包括旋转编码器56a。旋转编码器56a根据倾动机构部56的旋转运动向控制器51 输出指示旋转角的量的信号。通信部52是根据预定通信方法与装配在相机平台10上的数字静态相机1中的相 机平台对应通信部34执行通信的部件，并且以与相机平台对应通信部34类似的方式，具有 能够以有线或无线方式与另一方的通信部件执行通信信号收发的物理层配置、以及用于实 现与物理层以上的预定层相对应的通信处理的配置。作为上述物理层配置，设有图2所示 的相机装配部12的连接器14。2.与根据一个实施例的构图控制相对应的功能配置的例子图8是图示对于形成与本实施例相对应的成像系统的数字静态相机1和相机平台 10、由硬件和软件(程序)实现的功能配置的例子的框图。在图8中，数字静态相机1包括成像记录块61、构图确定块62、摇动-倾动-变焦 控制块63和通信控制处理块64。成像记录块61是执行以下控制处理的部件，该控制处理用于获得通过成像为图 像信号数据(摄取图像数据)而获得的图像，并将摄取图像数据存储在存储介质中。例如， 该部件设有以下部件，包括用于成像的光学系统、成像元件(图像传感器)、被配置为根据 从成像元件输出的信号生成摄取图像数据的信号处理电路、用于将摄取图像数据写入存储 介质中以进行记录(存储)的记录控制和处理系统，等等。在这种情况下，成像记录块61中对摄取图像数据的记录(成像记录)是在构图确 定块的指示和控制下进行的。
构图确定块62导入并接收从成像记录块61输出的摄取图像数据，首先基于摄取 图像数据执行对象检测，然后执行构图确定处理。在该实施例中，在构图确定中，对于利用对象检测检测出的每一对象执行后面将 描述的属性检测。另外，在构图确定处理中，利用检测出的属性来确定最优构图。另外，还 执行用于根据所确定的构图获得图像内容的摄取图像数据的构图取景控制。就此而言，由构图确定块62执行的对象检测处理(包括初始面部框的设置)可以 由如图6所示的信号处理部24执行。另外，信号处理部24中的对象检测处理可以实现为 DSP (数字信号处理器)的图像信号处理。即，对象检测处理可以由提供给DSP的程序或指 令实现。另外，由构图确定块62执行的面部框的修改、构图确定和构图取景控制可以实现 为由作为控制器27的CPU根据程序执行的处理。摇动-倾动-变焦控制块63在构图确定块62的指示下执行摇动_倾动_变焦控 制，以便根据所确定的最优构图获得成像视野范围。即，构图确定块62指示摇动-倾动-变 焦控制块63获得构图和根据所确定的最优构图的成像视野范围，作为构图取景控制。摇 动_倾动_变焦控制块63为相机平台10的摇动-倾动机构计算运动量，以使数字静态相 机1能够面对获得所指示的构图和成像视野范围的成像方向，并且根据计算出的运动量生 成用于指示运动的摇动_倾动控制信号。另外，例如，摇动-倾动-变焦控制块63控制设在成像记录块61中的变焦机构， 以便计算用于获得所确定的适当场角(变焦放大率)的变焦镜头的位置以获得变焦位置。通信控制处理块64是用于根据预定通信协议与设在相机平台10中的通信控制处 理块71执行通信的部件。由摇动_倾动_变焦控制块63生成的摇动-倾动控制信号通过 通信控制处理块64的通信被发送到相机平台10的通信控制处理块71。例如，如图所示，相机平台10包括通信控制处理块71和摇动-倾动控制处理块 72。通信控制处理块71是用于与数字静态相机1的通信控制处理块64执行通信的 部件，并且在接收到摇动_倾动控制信号时向摇动_倾动控制处理块72输出所接收的摇 动-倾动控制信号。摇动-倾动控制处理块72对应于例如由图7所示的相机平台10的控制器51 (微 计算机)执行的控制处理中的执行摇动_倾动控制处理的功能。摇动-倾动控制处理块72根据输入的摇动_倾动控制信号来控制摇动驱动机构 部和倾动驱动机构部(这里未示出)。因而，执行了摇动和倾动操作以根据最优构图获得水 平视角和垂直视角。另外，例如，摇动-倾动-变焦控制块63可以在构图确定块62的指示下执行用于 搜索对象的摇动_倾动_变焦控制。3.构图控制(第一例子)下面将描述能够利用数字静态相机1和相机平台10的上述配置实现的构图控制
的第一例子。就此而言，构图确定块62被配置为导入如图9所示的图像框300中的图像内容的 摄取图像数据，以进行对象检测处理。摄取图像数据的图像内容是通过摄取存在单个对象
13(该对象是一个人)的图像而获得的。在这种情况下，图像框300对应于摄取图像数据的一帧的图像区。就此而言，当水 平像素的数目(水平图像大小)表示为Cx并且垂直像素的数目(垂直图像大小)表示为 Cy时，通过设置Cx = 320和Cy = 240来形成作为图像框300的帧图像。在这种情况下，图像框300中的位置由坐标(X，Y)表示，这里，图像框300的左上 边沿被定义为坐标(0，0)。另外，对于图像框300，虚拟地设置了垂直基准线Ldl和水平基准线Ld2。垂直基 准线Ldl是穿过图像框300的水平方向中点的直线，并且水平基准线Ld2是穿过图像框300 的垂直方向中点的直线。在构图控制中，垂直基准线Ldl和水平基准线Ld2各自变成用于 在水平和垂直方向上在图像框300中移动对象的位置的基准线。另外，垂直基准线Ldl和 水平基准线Ld2的交点的坐标(160，-120)被识别为构图控制中的基准点P。对象检测(面部检测)是利用图9所示的图像内容的摄取图像数据作为目标来执 行的，因而，检测出如图所示的单个对象SBJ的面部(它是对象)。即，在通过面部检测处理 检测出一个面部时，检测出一个对象。另外，如上所述，作为这种对象检测的结果，获得了关 于对象的数目、方向、位置和大小的信息。另外，例如，对象的数目可以利用由面部检测检测出的面部的数目来计算。在图9 的情况下，由于检测出一个面部，因此对象的数目变成1。另外，在构图确定块62利用面部检测技术执行对象检测的情况下，构图确定块62 针对作为检测结果的检测出的对象的面部部分设置一个框。就此而言，该框被称为面部框。 在图9中，面部框FR被布置为对应于对象SBJ的图像的面部部分。在这种情况下，面部框 FR被布置在与检测出的对象中面部的图像区相对应的矩形中。面部框FR是方形。另外，面 部框FR是针对图像框300中作为面部的图像区而设置的。因此，根据此时由面部检测处理 检测出的图像框300中对象面部的位置、大小等，图像框300中面部框FR的位置和大小也 发生改变并被设置。另外，关于每一对象的位置信息，至少计算对象重心G(X，Y)，它是作为摄取图像数 据的图像中的对象SBJ的中心。另外，对象重心G的设置方法可以采用迄今已知的任何对象重心检测方法。例如， 作为与对象SBJ相对应地检测出的面部框FR的四边形中对角线的交点可以被设置为对象重心。另外，对象的大小由垂直或水平方向上面部框FR的一边的大小(像素数目)表 示。例如，图9图示了面部框FR的垂直大小被检测为sizey = 32的状态。另外，每一对象的面部方向被检测为例如左侧、正面和右侧这三级中的任何一个。 对于图9中的对象SBJ，面部方向被检测为正面。基于与图9所示检测出的对象SBJ有关的对象检测信息，根据构图确定处理，构图 确定块62获得图10所示的构图确定结果。S卩，首先，该构图具有被设置为sizey = 64的对象大小和定位在G(160，_120+Ay) 的对象重心。例如，对象大小根据检测出的数目而不同，但是图像框300中对象的大小被适当 地设置，不太小也不太大，从而获得良好的构图。如图10所示的对象大小sizey = 64被确定为图像框300中对象SBJ的最优大小的值。另外，对象重心G例如是基于以下步骤计算的。在对象SBJ是一个的情况下，对象SBJ最简单、最基本的位置位于图像框300的中 心。即，对象重心G位于基准点P上。然而，对象位于画面中心的构图是不想要的构图的一个典型例子。因而，对象的位 置可以根据特定规则(例如三部分分割或黄金法则分割)偏离画面的中心，从而获得期望 的构图。在这种情况下，例如，图像框300中对象SBJ在垂直方向上的位置(对象重心G) 相对于水平基准线Ld2移动预定量。对象重心G在垂直方向上相对于水平基准线Ld2 (它 是以这种方式相对于对象重心G设置的)的移动量被定义为垂直偏移量Ay。垂直偏移量 Δ y和水平偏移量Δ χ (将在后面描述)可以由例如像素数目表示。因而，图10中对象重心 G的Y坐标被表示为(_120+Ay)。这里，正值被给定作为垂直偏移量Ay，因而，如图所示， 对象重心G位于图像框300中水平基准线Ld2上部的区域中。另外，在本实施例中，对象在水平方向上的位置是基于针对对象检测出的面部方 向的。如参考图9所描述的，在这种情况下，对象SBJ的面部方向被检测为右侧、正面和 左侧的三级中的正面。这里，在检测出一个对象SBJ的面部方向是正面的情况下，对象SBJ的位置位于水 平方向上的中心。即，对象重心G的X坐标是X坐标(160)，它与水平方向上的中点、即垂直 基准线Ldl(基准点P)相同。在这种情况下，被定义为对象重心G在水平方向上相对于垂 直基准线Ldl的移动量的水平偏移量Δ χ被设置为0。在图10的情况下，对象重心G(160，_120+Ay)是根据上述构图确定规则和算法设置的。另外，尽管未示出，但是假定检测出的个体对象的面部方向是左侧。这里，当用户 实际观看图像框300的图像内容时，左侧的面部方向表示以下状态图像框300中个体对象 SBJ的面部看起来相对于用户朝向左侧。即，在与执行成像的成像设备相反的方向是正面的 情况下，作为个体对象SBJ的实际人在现实中朝向右侧。在这种情况下，水平方向上对象重心G的位置位于被垂直基准线Ldl分割成两部 分的左侧和右侧的图像区(分割区)中的、与由面部方向指示的左侧相对的右侧的图像区 中。因此，在图像框300中，在左侧获得了一空间，左侧是个体对象SBJ的面部在图像框300 中所朝向的方向。例如相比于面部方向是左侧的个体对象SBJ的重心G位于与左右方向上 画面的中心相对应(与其一致)的对象位置的情况，或者相比于重心G位于相对于垂直基 准线Ldl的左侧的图像区中的情况，在这样的构图下可以获得更优选的构图。另外，在检测出的个体对象的面部方向是右侧的情况下，以与检测出的个体对象 的面部方向是左侧的情况相反的方式，对象重心G位于被垂直基准线Ldl分割成两部分的 左侧和右侧的图像区(分割区)中的、左侧的图像区中。从以上描述可以理解，在本实施例中确定的构图是根据对象的大小和对象重心G 的位置来确定的。另外，在构图取景中，执行控制以实际获得所确定的对象大小和对象重心 G的位置。
如后面将描述的，可以通过用于移动数字静态相机1的光学系统21中的变焦镜头 的控制(变焦控制)和对摄取图像数据的图像信号处理(例如图像裁剪)中的任何一种来 实现对象大小的改变，但是在这种情况下假定是通过变焦控制实现的。另外，不论对象重心G的位置如何改变，该改变都通过水平方向上对相机平台10 的摇动机构的摇动控制来实现，还通过垂直方向上对相机平台10的倾动机构的倾动控制 来实现。S卩，在本实施例中，用于获得确定构图的构图取景控制是通过以下方式执行的组 合利用变焦控制实现的图像的放大和缩小与利用摇动-倾动控制实现的水平和垂直方向 上的图像移动。图16是图示在构图控制中执行变焦控制和摇动/倾动控制的过程的第一合适例 子的流程图。如图16所示的处理是根据图9所示的图像框300中的对象检测来执行的。 另外，图中的处理可以适当地由设在数字静态相机1中的图8所示的构图确定块62和摇 动_倾动_变焦控制块63执行。关于图16中的处理，首先，构图确定块62在步骤SlOl中根据预定规则来确定最 优构图(目标构图)的水平偏移量Δχ。然后，在步骤S102中，摇动-倾动-变焦控制块 63执行摇动控制，使得对象重心G位于根据在步骤SlOl中确定的水平偏移量ΔΧ的X坐标 上。对于在图9和10中例示的构图控制，水平偏移量Δ χ被确定为0，因此，对象重心 G在水平方向上移动以位于X坐标(=160)中。随后，构图确定块62在步骤S103中确定垂直偏移量Ay。摇动-倾动-变焦控 制块63执行倾动控制，使得对象重心G位于根据在步骤S103中确定的垂直偏移量Δ y的 Y坐标上。对于在图9和10中例示的构图控制，如图10所示，垂直偏移量Ay被设置为相对 于水平基准线Ld2向上移动预定绝对值，并且对象重心G在垂直方向上移动以位于Y坐标 (=-120+Ay)中。接下来，构图确定块62在步骤S105中确定变焦放大率Z。如上所述，图像框300中对象SBJ的大小改变是通过利用变焦控制改变图像场来 执行的。就此而言，变焦放大率是用于根据在通过对象检测处理检测出对象时的对象大小 获得与最优构图相对应地确定的对象大小的角度的放大率。为此，首先，构图确定块62在检测出的对象的条件下根据预定规则确定用于最优 构图的目标对象大小(变焦控制目标值)。例如，在检测出的对象是一个的情况下，对象大 小可以通过计算例如垂直方向上(或水平方向上)正方形的面部框FR的一边的大小(像 素数目)来获得，如参考图9和10所述的。另外，计算以这种方式计算出的目标对象大小size-trg和在对象检测处理中获 得的对象大小size-0rg(在垂直方向上(或水平方向上)面部框FR的一边的大小(像素 数目))之间的比率，并且该比率被设置为变焦放大率Z。Z = size_trg/size_org (等式 1)SP，变焦放大率Z是根据等式1计算的。对于图9和10，由于目标对象大小是64像素并且在对象检测处理中获得的对象大小是32像素，因此变焦放大率Z变成Z = 64/32 = 2。另外，在步骤S106中，摇动-倾动-变焦控制块63基于在步骤S105中计算出的 变焦放大率Z来执行变焦控制。对于图9和10，由于变焦放大率Z为Z = 2，因此执行用于 驱动变焦镜头的控制以使场角为1/2。在如图16所示的过程中，确定水平偏移量ΔΧ和垂直偏移量Ay，然后基于确定结 果执行摇动-倾动控制。因而，首先，根据所确定的偏移量ΔΧ和Δ y，对象重心G位于图像 框中的目标坐标上。然后，执行变焦控制以获得目标对象大小。这里，在通过图16中的过程实际执行如上所述的用于由图9中的状态获得图10 中的状态的构图控制的情况下，构图控制例如是如下执行的。图11图示了通过由图9中的状态执行步骤SlOl至S105而使得对象重心G位于 目标坐标G (160，-120+Ay)中的状态。在图16的过程中，在如图11所示的状态中，根据变焦放大率Z = 2执行变焦控制， 但是结果在图12中示出。即，在场角改变的情况下，图像框300中的图像相对于基准点P放大或缩小，基准 点P是与镜头光轴相对应的图像框300的中心位置。因而，例如，在这种情况下，如果由如 图11所示的状态根据变焦放大率Z = 2执行场角改变，则如图12所示，对象重心G的坐标 就X坐标而言与垂直基准线Ldl —致并且不移动。然而，场角相对于Y坐标被放大两倍，因 而对象重心G的坐标从Y = -120+Ay移动到Y = -120+2 Ay0 S卩，对象重心G的坐标偏离 目标坐标。结果，如图12所示，对象SBJ处于从图像框300向上突出的状态中。如图13和14所示，这类似地适用于不同于0的绝对值被给定为水平偏移量Δχ 的情况。图13是图示相对于针对对象SBJ检测出的面部方向是左侧的情况、通过图16中 步骤SlOl至S106的处理、当对象重心G先位于目标坐标上时图像框300的图像内容的示意图。如上所述，在面部方向被检测作为左侧的情况下，水平方向上的对象重心G被设 置为位于相对于垂直基准线Ldl右侧的图像区中的预定坐标上。因此，对象重心G的目标 坐标被表示为G (160+Δ χ，-120+Ay)。另外，此时正值被设置为垂直偏移量Ay。在如图16所示的过程中，从图13所示的状态执行变焦控制。图13中的对象大小 (sizey)变成32像素。这里，如果以与图10中情况类似的方式、目标对象大小是64像素， 则变焦放大率变成Z = 2。然后，如果由图13中的状态根据变焦放大率Z = 2执行变焦控制，则如图14所示， 距对象重心G的基准点P的距离在垂直方向上被从Δ y放大到2 Δ y，而在水平方向上被从 Δ χ 放大到 2 Δ χ。即，对象重心 G 从(160+Δ χ,-120+Ay)移动至Ij (160+2 Δ χ,-120+2 Δ y), 因而对象重心G明显地偏移目标坐标，例如，如图14所示，对象SBJ处于从图像框300的右 上侧突出的状态中。S卩，在如图16所示的过程中，在执行变焦控制的阶段中，对象重心G偏移目标坐 标，并且变得不同于所确定的构图。因而，在实际中，在如图16所示的过程之后，需要用于使对象重心G返回到目标坐 标的摇动-倾动控制。然而，例如，在如图14所示执行变焦控制时对象SBJ(面部框FR)从图像框300突出的情况下，可能无法在这一阶段中检测出对象，因而，过程可能返回到对象 搜索的控制。这种构图控制的过程可能被认为是不合理的。另外，根据相机平台10的摇动-倾 动机构的实际运动的数字静态相机1的物理运动并不是以平滑方式执行的，因而，难以给 予用户良好的印象。4.构图控制(第二例子)例如，作为第二例子，可以考虑如图17的流程图所示的构图控制的过程。图中的过程还被配置为通过图像框300中的对象处理检测对象，并且可以适当地 由构图确定块62和摇动-倾动-变焦控制块63执行。首先，构图确定块62在步骤S201中执行摇动-倾动控制，以将检测出的对象SBJ 的对象重心G置于基准点P上。接下来，构图确定块62在步骤S202中确定变焦放大率Z并在步骤S203中根据变 焦放大率Z执行变焦控制。然后，构图确定块62和摇动-倾动-变焦控制块63在步骤S204至S207中以与 图16中的步骤SlOl至S106类似的方式确定水平偏移量Δ χ并基于水平偏移量Δ χ执行 摇动控制；并且确定垂直偏移量θy并基于垂直偏移量θy执行倾动控制。根据这种构图控制的过程，首先，由于对象重心G位于基准点P上然后执行摇 动-倾动控制，因此只要变焦放大率Z适当，对象SBJ的面部框就不会从图像框300突出。 另外，摇动_倾动控制的执行使得对象重心G从这一阶段起位于目标坐标上，从而获得确定 构图。然而，在第二例子的过程中，在变焦控制之后，执行摇动-倾动控制以将对象重心 G置于图像框中的目标坐标上。如参考图9至14所述的，变焦放大率Z可被频繁地设置为大于1的正值，以获得 对象看起来处于拉近状态(close-up state)的构图。另外，如果用于将对象重心G置于目标坐标上的控制例如是摇动控制，则构图确 定块62对于相机平台10给出摇动方向运动指令，以使对象重心G移动到水平方向上靠近 目标X坐标的位置。另外，在所导入的摄取图像数据的图像框中，在确定对象重心G与目标 X坐标一致的时刻，构图确定块62对相机平台10给出停止摇动方向运动的指令。类似地， 在倾动控制的情况下，构图确定块62对相机平台10给出倾动方向运动指令，以使对象重心 G移动到垂直方向上靠近目标Y坐标的位置。另外，在对象重心G与目标Y坐标一致的时 刻，构图确定块62对相机平台10给出停止倾动方向运动的指令。然而，很自然地，如果数字静态相机1在摇动或倾动方向上轻微移动，则由于变焦 放大率变大，因此图像框中摄取图像的移动量变大。这意味着在图像处于大变焦放大状态 中时，难以精确地执行用于使对象重心G与目标坐标一致的摇动-倾动控制。即，在如图 17所示的过程中，由于变焦放大率的原因，可能难以正确地将对象布置在图像框中根据确 定构图的位置上。此时，例如，在对象位于适当位置之前需要花费过长的时间，此时采用摇 动_倾动机构的数字静态相机1的移动很难给予用户良好的印象。5.构图控制(第三例子一个实施例)5-1.算法的例子
18
在本实施例中，下面将描述根据第三例子的构图控制。图18是图示用于根据第三例子的构图控制的算法的例子的流程图。图16和17图 示了在利用对象处理在图像框300中检测出对象之后构图控制的过程的例子。在图18中， 图示了包括对象检测(对象搜索处理)的处理过程的例子。另外，图中所示的处理根据需要可以适当地利用如图8所示的数字静态相机1的 各个功能部件来执行。另外，由各个功能部件执行的过程可以被认为是在图6中的控制器 (CPU) 27和作为DSP的信号处理部24执行程序(指令)时所实现的控制和处理的过程。这样的程序可以在制造时或其它时候被写入和存储在ROM等中，或者可以存储在 可移动存储介质中，然后可以从可移动存储介质安装(包括更新)到与DSP相对应的非易 失性存储区、闪存30等进行存储。或者，可以在其他主机设备的控制下通过数据接口执行 程序安装。或者，程序可被存储在网络上的服务器等的存储设备中，然后可以通过向数字静 态相机1提供网络功能来从服务器下载。在图18中，首先，在步骤S301中，利用构图确定块62(信号处理部24)，开始导入 (输入)此时在成像记录块61中获得的摄取图像数据。在下一步骤S302中，构图确定块62(信号处理部24)利用所导入的摄取图像数据 来执行对象检测处理。例如，如上所述的面部检测技术被用作对象检测处理，结果，如迄今为止所描述 的，相对于每一检测出的对象的面部的图像区设置了面部框FR。例如，根据面部框FR的数 目、大小、位置等，可以获得关于对象的基本信息，例如在对象检测时图像框中对象的数目 或者对象的大小和对象的位置。另外，在面部框FR被设立时，在这一阶段获得了对象的对 象重心G。在步骤S303中，构图确定块62判断利用步骤S302中的对象检测处理是否检测出 对象。在获得了否定判决结果的情况下，过程返回到步骤S302，然后执行用于搜索对象的对 象检测处理。就此而言，对象搜索指以下状态在数字静态相机1中执行对相机平台10在 摇动/倾动方向上的运动的控制并且执行变焦控制以便改变成像视野范围，这样获得了存 在对象的摄取图像数据。在步骤S303中获得了检测出对象的肯定判决结果的情况下，过程进行到步骤 S304。在步骤S304中，构图确定块62对于检测出的对象根据预定的确定算法来确定目 标水平偏移量Δχ。另外，在步骤S305中，对于检测出的对象根据预定的确定算法来确定目 标垂直偏移量Ay。目标水平偏移量Δχ和目标垂直偏移量Ay各自对应于第一和第二例子中在图16 和17的步骤S101、S204、S103和S206中确定的水平偏移量Δ χ和垂直偏移量Ay。g卩，与 确定的构图相对应的对象重心G表示在水平/垂直方向上从基准点P到最终定位的坐标的距离。随后，在步骤S306中，构图确定块62确定变焦控制目标值。例如，对于根据第一 和第二例子的描述，变焦控制目标值变成Size_trg，它是如图10所示获得的构图中作为对 象大小的面部框FR的垂直大小。在下一步骤S307中，构图确定块62利用在步骤S306中确定的变焦控制目标值来确定变焦放大率Z。为了确定变焦放大率Z，对于根据第一和第二例子的描述，通过等式1 利用变焦控制目标sizejrg和在利用对象检测处理的检测时的对象SBJ的面部框FR的垂 直大小siZe_org来计算变焦放大率Z。另外，在这种情况下，构图确定块62分别在步骤S308和S309中计算水平控制偏 移量Axl和垂直控制偏移量Ayl0水平控制偏移量Axl表示相对于垂直基准线Ldl的距离，用于通过在步骤S310 和S311(后面将描述)中的摇动控制实际执行摇动而定位对象重心G。类似地，垂直控制 偏移量Ayl表示相对于水平基准线Ld2的距离，用于通过在步骤S312和S313(后面将描 述)中的倾动控制实际执行倾动而定位对象重心G。首先，水平控制偏移量Δχ 是基于目标水平偏移量Δχ和变焦放大率Z例如按下 式计算的。Δχ = Δ χ/Ζ (等式 2)另外，控制垂直偏移量Ayl是基于目标垂直偏移量Ay和变焦放大率Z例如按下 式计算的。Ayl= Δ y/Z (等式 3)根据等式2和等式3计算出的控制水平偏移量Δχ 和控制垂直偏移量Ayl可以 对应于在获得如图10所示的确定构图的状态返回到根据变焦放大率Z放大之前的状态时 所获得的水平偏移量Δ X和垂直偏移量Ay。换句话说，如果对象重心G预先位于根据控制水平偏移量Δ xl和控制垂直偏移量 Δ yl的坐标位置上，并且执行根据变焦放大率Z的变焦，则结果对象重心G可以位于根据目 标水平偏移量Δ χ和目标垂直偏移量Δ y的坐标上。另外，摇动-倾动-变焦控制块63在下一步骤S310中执行摇动控制以使对象重 心G位于与控制水平偏移量Δ xl相对应的X坐标上。为此，对象搜索处理块61通过通信 控制处理块64对相机平台10的控制器51指示摇动方向并命令摇动机构部53的驱动，从 而使对象重心G移动到靠近与控制水平偏移量Δ xl相对应的X坐标的位置。另外，构图确定块62在执行摇动控制时例如在步骤S311中判断是否获得了对象 重心G位于与控制水平偏移量Δ xl相对应的X坐标上的状态。作为摇动控制的结果，如果 对象重心G位于与控制水平偏移量Δ xl相对应的X坐标上，则过程进行到步骤S312。就此而言，例如，如果对象重心G不位于与控制水平偏移量Δ xl相对应的X坐标 上，则即使经过了预定时间，例如由于作为对象的人在摇动控制期间移动，过程也会返回到 步骤S301中的对象检测处理(对象搜索处理)。在步骤S312中，摇动-倾动-变焦控制块63在执行倾动控制以使对象重心G位 于与控制垂直偏移量Ayl相对应的Y坐标上时，在步骤S313中判断是否获得了对象重心 G位于与控制垂直偏移量Ayl相对应的Y坐标上的状态。作为倾动控制的结果，如果获得 了对象重心G位于与控制垂直偏移量Δ yl相对应的Y坐标上的肯定结果，则过程进行到步 骤S314。如果获得了否定结果，则过程返回到步骤S302。在步骤S314中，在步骤S303中检测出的对象SBJ的对象重心G被置于图像框300 中与控制水平偏移量Δ xl和控制垂直偏移量Δ yl相对应的X和Y坐标上。另外，构图确定块62在下一步骤S314中根据在步骤S307中确定的变焦放大率Z
20来执行变焦控制。根据变焦放大率Z的变焦控制可以通过以下方式执行对光学系统执行 相机控制以使变焦镜头例如根据变焦放大率Z的变化而移动。第三例子是根据迄今为止的控制在图像框300中获得包括对象重心G的坐标和对 象大小的元素的确定构图的状态，后面将对其进行详细描述。另外，在这种情况下，构图确定块62在例如在步骤S315中获得了针对摄取图像数 据的图像内容所确定的构图的状态中等待成像记录的时刻。例如，根据本实施例的数字静态相机1可以至少检测笑脸作为检测出的对象的面 部表情。另外，例如，在确定检测出的对象是笑脸的时刻，根据用户操作等预设要执行成像 记录的模式。例如，在步骤S315中，根据用于这种笑脸的拍照模式，判断这是否为执行拍照 记录的时刻。即，判断在当前获得的摄取图像数据中检测出的对象的表情是否为笑脸。在步骤S316中，构图确定块62判断成像记录时刻是否0K。例如，在步骤S316中执行的记录时刻的判断处理时段中，检测出的对象的表情被 检测为笑脸。然后，在步骤S316中获得肯定判决结果，过程进行到步骤S317。另一方面，如 果检测出的对象的表情未被检测为笑脸(即使记录时刻的判断处理时段已经过去)，则在 步骤S316中获得否定判决结果。在这种情况下，过程返回到步骤S302，然后执行包括对象 搜索的对象检测处理。例如，在步骤S317中，构图确定块62通过成像记录块61执行成像记录。因此，在 成像记录块61中，在此时获得的摄取图像数据被记录在存储卡40上作为静止图像文件。作为与如图18所示的处理相对应的实际例子，假定根据对象检测处理检测出如 图9所示的对象SBJ。另外，在这种情况下，要根据如图9所示的对象SBJ获得的构图对应 于如图10所示的构图。然而，为了简化描述，通过对象检测处理检测出的对象大小(sizey) 被表示为sizey = 40，如图9中的圆括号所指示。在这种情况下，步骤S306中的变焦控制目标值被确定为sizey = 64，如图10所 示。另外，在步骤S307中，例如，变焦放大率根据等式1被计算为Z = size_trg/size_org =1. 6。就此而言，利用等式2和等式3计算控制水平偏移量Axl和控制垂直偏移量 Δγ :Δχ1 = Δχ/1.6且Ayl = Ay/1. 6。为了获得如图10所示的构图，由于目标水平偏 移量ΔΧ = 0，因此根据等式2计算控制水平偏移量Δ xl =0。另外，如果目标垂直偏移量 Ay = 40，则获得控制垂直偏移量Ayl = 40/1.6 = 25。与目标水平偏移量Δ χ = 0相对应的X坐标变成160+0 = 160。另外，与目标垂直 偏移量Ay = 25相对应的Y坐标变成-120+25 = -95。因而，构图确定块62在步骤S310 和S311中移动对象重心G以使对象重心G的X坐标变成160，并且在步骤S312和S313中 移动对象重心G以使对象重心G的Y坐标变成-95。这样，图15中示出了在执行直到步骤S313为止的控制的状态中图像框300的图
像内容。至于在执行图中直到步骤S313为止的控制的状态中的对象SBJ，对象重心G的坐 标被表示为(160+Δ XI，-120+Δ yl)。在这种情况下，由于Axl = 0并且Ayl =-25，因此 获得了对象重心G(160，-95)。另外，在如图15所示的状态中，在步骤S314中执行根据变焦放大率Z = 1. 6的变焦控制。因而，如图10所示，对象大小(sizey)被从sizey = 40放大到大小64。另外，对 于对象重心G，根据图像的放大，其X坐标移动到表示为(160+Δχ1·1.6)的位置，其Y坐标 移动到表示为(_120+Ayl ·1.6)的位置。即，如图10所示，根据目标水平偏移量Δχ和目 标垂直偏移量Δ y，对象重心G的坐标变成(160+Δ X，-120+Ay)。具体而言，由于在该例子 中Δχ = 0并且Ay = 40，因此获得了对象重心G(160，-80)。另外，这意味着在步骤S314 的变焦控制完成的阶段中获得了确定的构图。这样，在根据本实施例的第三例子中，基于作为确定构图元素的变焦放大率Z、目 标水平偏移量Δχ和目标垂直偏移量Δγ，计算控制水平偏移量△ Xl和控制垂直偏移量 Ayl。另外，对于由控制水平偏移量Δχ 和控制垂直偏移量Ayl确定的坐标(初步坐标)， 对象重心G被初步放置。如上所述，控制水平偏移量Δ xl和控制垂直偏移量Δ yl是通过逆运算、利用在根 据变焦放大率Z的变焦控制完成时获得的目标水平偏移量Δχ和目标垂直偏移量Ay而获 得的值。因此，如果在对象重心G位于初步坐标的状态中执行根据变焦放大率Z的变焦控 制，则结果获得了对象重心G位于由目标水平偏移量Δχ和目标垂直偏移量Ay确定的目 标坐标上的状态。在这种第三例子的构图控制中，首先，以与第一例子类似的方式，作为变焦控制的 结果，对象重心G没有明显地偏移目标坐标。另外，在变焦控制的初步阶段中执行用于在图像框中移动对象重心G的摇动_倾 动控制。因此，与第二例子相比，对象重心G正确且容易地置于初步坐标上，并且其精确度 变高。因而，更精确地获得了预期的构图。5-2.对象数目是多个的情况在图9至15的描述中，为了描述的简单和清楚，例示了在图像框300中检测出的 对象是一个的情况。然而，根据本实施例的构图控制也可以应用于检测出的对象的数目是多个的情况。例如，尽管未示出，但是在检测出的对象的数目是多个的情况下，包括多个检测出 的对象的图像区被视为一个总对象，并且以总对象作为目标计算一个对象重心(总对象重 心)Gt。另外，总对象重心Gt被当作在迄今为止的以上描述中的对象中心G，并且例如可以 执行如图18所示的处理。有若干种方法来设置总对象重心Gt，但是作为最简单的例子，连接在各个检测出 的对象之中的位于图像框300的最左侧和最右侧的相对两侧的对象的重心的线段上的中 点可以被设置为总对象重心Gt。另外，当对象的数目是多个时，对于个体对象检测出的面部方向可能是不同的。在 这种情况下，基于针对多个个体对象检测出的面部方向的关系，可以确定一个面部方向作 为总对象。当相同面部方向的数目在个体对象的总数中占据了预定比率或更大时，作为针 对多个个体对象检测出的面部方向之间的关系，相同面部方向被确定为总对象的面部方 向，其被用于构图确定。另外，在对象的数目是多个的情况下，例如可以如下确定变焦放大率Z。图19图示了在图像框300中检测出两个对象SBJO和SBJl的状态。
22
例如，如图19所示，在检测时对象SBJO和SBJl的大小太小而不能满足最优构图。 因而，在这种情况下，根据构图确定处理来设置用于将对象SBJO和SBJl放大到适当大小的 放大比率。放大比率是针对成像获得的图像而设置的，因而对应于根据本实施例的构图控 制中的变焦放大率Z。接下来，图20是图示通过根据放大比率执行作为构图取景控制的变焦控制而获 得的图像内容的示意图，该放大比率是在如图19所示的图像内容下设置的。从对象被布置在横向方向的观点来看，如图20所示的图像内容具有良好的位置 关系。在这种情况下，最左侧的对象的面部框FR和最右侧的对象的面部框FR之间的距离 被获得作为总对象的水平(横向)大小K。在这种情况下，适当的对象大小被定义为在总对象的水平大小K相对于图像框 300中水平像素的数目Cx而言占据了预定比率(占用率)η(0<η< 1)时的大小。S卩，可 以设置放大比率以便获得K = Cx · η的关系。在该例子中，K = Cx · η变成在图18的步骤 S306中确定的变焦目标值。另外，例如，如果在对象检测时总对象的水平大小(它是对应于图19中的情况获 得的)被表示为Κ1，并且在构图控制之后总对象的水平大小(像素数目)(它是对应于图 13中的情况获得的)被表示为Κ2，并且放大率(这里，放大被视为长度)，即变焦放大率被 表示为Ζ，则由于Κ2 = KlXZ,因此可以根据下面的等式4来计算变焦放大率Ζ。Z = Cx · η/Kl(等式 4)图20中示出了通过执行根据变焦放大率Z的变焦控制而获得的结果，变焦放大率 Z是以这种方式在如图19所示的状态中计算出的。6.根据本实施例的成像系统的修改例图21是图示如图7和8所示的根据本发明实施例的成像系统的修改例的配置例 子的示意图。在图中，基于成像在信号处理部24中生成的摄取图像数据从数字静态相机1通过 通信控制处理块63被发送到相机平台10。在图中，图示了这样一种配置，其中在相机平台10中包括通信控制处理块71、摇 动_倾动控制处理块72、对象检测处理块73和构图控制处理块74。通信控制处理块71是与如图7所示的通信部52相对应的功能部件，并且被配置 为基于预定协议执行与数字静态相机1的通信控制处理块63 (相机对应通信部34)的通信处理。被通信控制处理块71接收的摄取图像数据被发送到对象检测处理块73。对象检 测处理块73设有信号处理部件，该信号处理部件能够执行至少与如图8所示的构图确定块 62相同的对象检测处理。对象检测处理块73利用导入的摄取图像数据作为目标来执行对 象检测，并将检测信息输出到构图控制处理块74。构图控制处理块74可以执行与图8中的构图控制处理块62相同的构图控制，并 且当根据构图控制处理的结果执行摇动控制和倾动控制时，控制信号被输出到摇动_倾动 控制处理块72。摇动-倾动控制处理块72例如对应于执行由图7中的控制器51执行的控制处理 中与摇动_倾动控制有关的处理的功能，并且将用于根据输入控制信号控制摇动机构部53和倾动机构部56的运动的信号输出到摇动驱动部55和倾动驱动部件58。这样，获得了由 构图控制处理块62确定的构图，从而执行摇动和倾动。这样，如图21所示的成像系统被配置为使得摄取图像数据被从数字静态相机1发 送到相机平台10，并且随后在相机平台10中基于导入的摄取图像数据执行对象检测处理 和构图控制。例如，在可以执行变焦控制的情况下，构图控制处理块74被配置为通过通信控制 处理块71向数字静态相机1指示变焦控制。图22是图示根据本发明实施例的成像系统的另一修改例的配置例的示意图。在 该图中，与图21相同的元件被赋予相同的标号，因而将省略其描述。在该系统中，在相机平台10中设有成像部75。成像部75包括用于成像的光学系 统和成像元件(成像器)，以及被配置为获得基于成像光的信号(成像信号)并由成像信 号生成摄取图像信号的信号处理部。该配置对应于如图6所示的光学系统21、图像传感器 22、A/D转换器23和信号处理部24中由直到获得摄取图像数据为止的信号处理级形成的 部分。由成像部75生成的摄取图像数据被输出到对象检测处理块73。另外，成像部75导 入成像光的方向(成像方向)被设置(如果可能的话)，以与装配在相机平台10上的数字 静态相机1的光学系统21 (镜头部3)的成像方向一致。在这种情况下，对象检测处理块73和构图控制处理块74以与图21的情况类似的 方式执行对象检测处理和构图控制处理。然而，在这种情况下，构图控制处理块74除了摇 动_倾动控制外，还在执行释放操作的时刻从通信控制处理块71向数字静态相机1发送释 放指令信号。在数字静态相机1中，根据所接收的释放指令信号来执行释放操作。这样，在另一修改例中，关于对象检测处理和构图控制，可以在相机平台10中完 全执行除释放操作自身以外的所有控制和处理。另外，在如上所述根据本实施例的构图控制中执行的摇动控制和倾动控制可以通 过控制相机平台10的摇动-倾动机构(而不是相机平台10)的运动来实现，例如，可以采 用这样一种组成，其中被反射镜反射的成像光入射到数字静态相机1的镜头部3，该反射光 被移动，从而可以获得相对于基于成像光获得的图像的摇动和倾动结果。另外，即使执行控制以使用于导入有效成像信号作为来自数字静态相机1的图像 传感器22的图像的像素区在水平方向和垂直方向上偏移，也可以获得等同于执行摇动和 倾动的情况的结果。在这种情况下，没有必要提供相机平台10或者与相机平台10类似的 除了数字静态相机1以外的摇动-倾动设备，并且根据本实施例的构图控制可以完全由数 字静态相机1的单个设备执行。或者，通过提供能够在水平和垂直方向上改变光学系统21中镜头的光轴的机构 并控制机构的移动，可以执行摇动和倾动。另外，用于确定包括目标水平偏移量ΔΧ、目标垂直偏移量Ay和变焦放大率Z在 内的参数的算法并不限于迄今为止描述的例子。例如，这些参数可以根据检测出的个体对 象的数目而变化。另外，可以检测诸如作为个体对象的人的性别和年龄之类的属性，然后可 以基于检测结果改变这些参数。另外，可以针对每一个体对象识别单个人，然后可以基于识 别出的单个人改变这些参数。此外，在以上描述中，根据本实施例的成像系统包括设为分立实体的数字静态相机1和相机平台10，但是可包括集成地设有成像设备部件和对应于相机平台的可移动机构 部的成像设备。另外，在上述实施例中，假定对象(个体对象)是人，但是本发明可以应用于对象 例如是除了人以外的动物的情况。另外，作为对象检测目标的图像数据并不限于通过成像获得的图像数据(摄取图 像数据)，而是例如具有诸如绘画或设计图之类的具有图像内容的图像数据可以用作对象 目标。此外，根据本发明确定的构图(最优构图)并不一定限于通过针对诸如三分法之 类的构图设置技术、相加检测出的个体对象的数目因子的技术确定的构图。例如，在一般认 为较差的构图的情况下，在构图被设置之后，用户可能对该构图感兴趣或者感觉良好。因 此，根据本发明确定的构图(最优构图)可以优选地在考虑到实用性、娱乐影响等的情况下 以任意方式设置，并且实际上并不限于特定构图。本申请包含与2009年7月27日向日本专利局提交的日本在先专利申请JP 2009-174575中公开的内容有关的主题，上述申请的全部内容通过引用而结合于此。本领域技术人员应当理解，取决于设计需求和其他因素可以发生各种修改、组合、 子组合和变更，只要这些修改、组合、子组合和变更在权利要求或其等同物的范围内。
2权利要求
一种构图控制设备，包括构图确定装置，被配置为根据从由成像部摄取并获得的图像中检测出的对象的信息来确定目标构图，所述构图确定装置确定用于获得所述目标构图的变焦放大率和用于获得所述目标构图的图像区中的对象的目标位置；初步位置获得装置，被配置为在获得了由所述构图确定装置确定的目标构图的情况下，获得在根据所述变焦放大率改变场角之前在图像中获得的对象的位置作为初步位置；以及变焦控制装置，被配置为对所述成像部的变焦镜头执行驱动控制，使得在利用可移动机构部控制装置将所述对象的图像区置于所述初步位置之后，根据由所述构图确定装置确定的变焦放大率来改变场角，所述可移动机构部控制装置被配置为对可移动机构部执行控制，以使图像区中的对象的位置对应于所获得的初步位置，所述可移动机构部被配置为改变所述成像部的成像视野范围。
2.如权利要求1所述的构图控制设备，其中所述构图确定装置获得相对于与所述成像 部的成像光轴相对应的图像中的基准位置的水平方向上的水平移动目标量和相对于该基 准位置的垂直方向上的垂直移动目标量，作为所述对象的目标位置，其中所述初步位置获得装置获得根据所述水平移动目标量和所述变焦放大率计算出 的控制水平移动量以及根据所述垂直移动目标量和所述变焦放大率计算出的控制垂直移 动量，作为所述初步位置，并且其中所述可移动机构部控制装置控制所述可移动机构部，以使在所述对象中设置的重 心位于根据所述控制水平移动量确定的χ坐标和根据所述控制垂直移动量确定的y坐标 上。
3.如权利要求2所述的构图控制设备，其中所述成像部包括所述构图确定装置、所述 初步位置获得装置、所述可移动机构部控制装置和所述变焦控制装置，并且所述可移动机 构部控制装置通过与所述可移动机构部的通信来控制被设为与所述成像部分开的实体的 可移动机构部。
4.如权利要求2所述的构图控制设备，其中包括所述可移动机构部的可移动机构设备 被设为与所述成像部分开的实体，并且该可移动机构设备至少包括用来输入从所述成像部 输出的图像数据的输入装置、所述构图确定装置、所述初步位置获得装置和所述可移动机 构部控制装置。
5.一种成像系统，包括成像设备；可移动机构设备，其包括能够移动来改变所述成像设备的成像视野范围的机构；构图确定装置，被配置为根据从由所述成像设备摄取并获得的图像中检测出的对象的 信息来确定目标构图，该构图确定装置确定用于获得所述目标构图的变焦放大率和用于获 得所述目标构图的图像区中的对象的目标位置；初步位置获得装置，被配置为在获得了由所述构图确定装置确定的目标构图的情况 下，获得在根据所述变焦放大率改变场角之前在图像中获得的对象的位置作为初步位置； 以及变焦控制装置，被配置为对所述成像设备的变焦镜头执行驱动控制，使得在利用可移动机构设备控制装置将所述对象的图像区置于所述初步位置之后，根据由所述构图确定装 置确定的变焦放大率来改变场角，所述可移动机构设备控制装置被配置为对所述可移动机 构设备执行控制，以使图像区中的对象的位置对应于所获得的初步位置。
6.如权利要求5所述的成像系统，其中所述构图确定装置、所述初步位置获得装置、所 述可移动机构设备控制装置和所述变焦控制装置被设在所述成像设备中，并且其中所述可移动机构设备控制装置通过与所述可移动机构设备的通信来控制所述可 移动机构设备。
7.—种构图控制方法，包括以下步骤根据从由成像部摄取并获得的图像中检测出的对象的信息来确定目标构图，该构图确 定步骤确定用于获得所述目标构图的变焦放大率和用于获得所述目标构图的图像区中的 对象的目标位置；在获得了由该构图确定步骤确定的目标构图的情况下，获得在根据所述变焦放大率改 变场角之前在图像中获得的对象的位置作为初步位置；以及对所述成像部的变焦镜头执行驱动控制，以便在通过对可移动机构部执行控制、以使 图像区中的对象的位置对应于所获得的初步位置的步骤将所述对象的图像区置于所述初 步位置之后，根据由所述构图确定步骤确定的变焦放大率来改变场角，所述可移动机构部 被配置为改变所述成像部的成像视野范围。
8.一种用于使构图控制设备执行以下步骤的程序根据从由成像部摄取并获得的图像中检测出的对象的信息来确定目标构图，该构图确 定步骤确定用于获得所述目标构图的变焦放大率和用于获得所述目标构图的图像区中的 对象的目标位置；在获得了由该构图确定步骤确定的目标构图的情况下，获得在根据所述变焦放大率改 变场角之前在图像中获得的对象的位置作为初步位置；以及对所述成像部的变焦镜头执行驱动控制，以便在通过对可移动机构部执行控制、以使 图像区中的对象的位置对应于所获得的初步位置的步骤将所述对象的图像区置于所述初 步位置之后，根据由所述构图确定步骤确定的变焦放大率来改变场角，所述可移动机构部 被配置为改变所述成像部的成像视野范围。
9.一种构图控制设备，包括构图确定单元，被配置为根据从由成像部摄取并获得的图像中检测出的对象的信息来 确定目标构图，所述构图确定单元确定用于获得所述目标构图的变焦放大率和用于获得所 述目标构图的图像区中的对象的目标位置；初步位置获得单元，被配置为在获得了由所述构图确定单元确定的目标构图的情况 下，获得在根据所述变焦放大率改变场角之前在图像中获得的对象的位置作为初步位置； 以及变焦控制单元，被配置为对所述成像部的变焦镜头执行驱动控制，使得在利用可移动 机构部控制单元将所述对象的图像区置于所述初步位置之后，根据由所述构图确定单元确 定的变焦放大率来改变场角，所述可移动机构部控制单元被配置为对可移动机构部执行控 制，以使图像区中的对象的位置对应于所获得的初步位置，所述可移动机构部被配置为改 变所述成像部的成像视野范围。
10. 一种成像系统，包括 成像设备；可移动机构设备，其包括可移动来改变所述成像设备的成像视野范围的机构部； 构图确定单元，被配置为根据从由所述成像设备摄取并获得的图像中检测出的对象的 信息来确定目标构图，该构图确定单元确定用于获得所述目标构图的变焦放大率和用于获 得所述目标构图的图像区中的对象的目标位置；初步位置获得单元，被配置为在获得了由所述构图确定单元确定的目标构图的情况 下，获得在根据所述变焦放大率改变场角之前在图像中获得的对象的位置作为初步位置； 以及变焦控制单元，被配置为对所述成像设备的变焦镜头执行驱动控制，使得在利用可移 动机构设备控制单元将所述对象的图像区置于所述初步位置之后，根据由所述构图确定单 元确定的变焦放大率来改变场角，所述可移动机构设备控制单元被配置为对所述可移动机 构设备执行控制，以使图像区中的对象的位置对应于所获得的初步位置。
全文摘要
本发明公开了构图控制设备、成像系统、构图控制方法和程序。该构图控制设备包括构图确定单元、初步位置获得单元、可移动机构部控制单元和变焦控制单元，构图确定单元确定目标构图，并确定变焦放大率和图像区中对象的目标位置；初步位置获得单元在获得了目标构图的情况下，获得在根据变焦放大率改变场角之前对象的位置作为初步位置；可移动机构部控制单元对可移动机构部执行控制，以使对象的位置对应于所获得的初步位置，可移动机构部改变成像部的成像视野范围；变焦控制单元对成像部的变焦镜头执行驱动控制，以使在对象的图像区被置于初步位置之后，根据变焦放大率来改变场角。
文档编号H04N5/225GK101969531SQ20101023389
公开日2011年2月9日 申请日期2010年7月20日 优先权日2009年7月27日
发明者善积真吾 申请人:索尼公司