合成图像的图像处理装置的制作方法

专利名称：合成图像的图像处理装置的制作方法
技术领域：
本发明涉及具有合成所摄影的图像的功能的图像处理装置、图像处理方法、以及记录其程序的记录介质。
背景技术：
以往，有对利用连续摄像取得的多个图像的部分区域进行叠加从而生成合成图像(例如全景图像等)的技术(例如，JP特开2009-65460号公报)。但是，在从生成后的合成图像中剪切所期望的部分图像区域的情况下，由于在摄像之前难以决定在该合成图像内最终剪切的剪切图像的区域，所以无用地进行剪切图像以外的不必要的图像区域的合成、以及包含该不必要的图像区域的图像的摄像。希望能够更高效地进行合成图像的生成。

发明内容
本发明的一种方式是一种合成图像的图像处理装置，其特征在于包括取得单元，逐次取得由摄像单元连续摄像得到的多个图像；合成单元，对由该取得单元取得的多个图像的部分区域以叠加相加的方式进行合成以逐次生成合成图像；第一判定单元，每当由该合成单元逐次生成所述合成图像时，判定该合成图像内是否包含具有规定特征的特征区域；以及控制单元，在由该第一判定单元判定为包含所述特征区域的情况下，执行使用了在该时刻由所述合成单元生成的所述合成图像的规定处理。另外，本发明的另一种方式是一种由图像处理装置执行的图像处理方法，其特征在于包括逐次取得由摄像单元连续摄像得到的多个图像的步骤；对取得的多个图像的部分区域以叠加相加的方式进行合成以逐次生成合成图像的步骤；每当逐次生成所述合成图像时，判定该合成图像内是否包含具有规定特征的特征区域的步骤；以及在判定为包含所述特征区域的情况下，执行使用了在该时刻由所述合成单元生成的所述合成图像的规定处理的步骤。另外，本发明的另一种方式是一种记录了图像处理装置的控制程序的记录介质，其特征在于该记录介质记录了使图像处理装置的计算机作为如下单元发挥作用的程序逐次取得由摄像单元连续摄像得到的多个图像的单元；对取得的多个图像的部分区域以叠加相加的方式进行合成以逐次生成合成图像的单元；每当逐次生成所述合成图像时，判定该合成图像内是否包含具有规定特征的特征区域的单元；以及在判定为包含所述特征区域的情况下，执行使用了在该时刻由所述合成单元生成的所述合成图像的规定处理的控制单元。


图1是表示适用本发明的实施方式I的摄像装置的概略结构的模块图。图2是表示剪切图像生成处理的流程的一例的流程图。 图3是表示摄像停止条件判定处理的流程的一例的流程图。图4是表示连续摄像中的摄像位置的变更的一例的示意图。图5是表示对多个图像的部分区域以叠加相加的方式合成生成的合成图像的一例的图。图6是表示包含脸部区域的特征区域的检测例的图。图7是表示合成图像内的特征区域的位置与由指定的构图规定的特征区域的位置的对齐的例子的图。图8是表示合成图像内的特征区域的位置与由指定的多个构图分别规定的特征区域的位置的对齐的例子的图。图9是表示合成图像内的一部分图像区域的剪切例的图。图10是表示合成图像内包含特征区域这一情况的通知例的图。图11是表示判定为合成图像内包含图像区域，该图像区域中由指定的构图规定的位置处存在特征区域的情况下的通知例的图。图12是表示判定为合成图像内包含图像区域，该图像区域中由指定的全部多个构图分别规定的位置处存在特征区域的情况下的通知例的图。图13是表示适用本发明的实施方式2的摄像装置的概略结构的模块图。图14是表示由实施方式2的摄像装置执行的剪切图像生成处理的流程的一例的流程图。
具体实施例方式以下使用

本发明的具体方式。不过，发明的范围并不限定于图示例。实施方式I实施方式I的摄像装置100进行如下图像处理，即逐次取得连续摄像的多个图像，对取得的多个图像的部分区域以叠加相加的方式进行合成以逐次生成合成图像，每次逐次生成合成图像时，判定该合成图像内是否包含具有规定特征的特征区域，在判定为包含特征区域的情况下，通知合成图像内包含特征区域这一情况。图1是表示适用本发明的实施方式I的摄像装置100的概略结构的模块图。如图1所示，实施方式I的摄像装置100包括透镜部1、电子摄像部2、摄像控制部3、图像数据生成部4、图像存储器5、图像处理部6、显示控制部7、显示部8、记录介质控制部9、操作输入部10、以及中央控制部11。另外，摄像控制部3、图像处理部6、以及中央控制部11例如设计为定制LSI1A。透镜部I由多个透镜构成，包括变焦透镜(zoom lens)和聚焦透镜(focus lens)坐寸O另外，虽然省略图示，但透镜部I可以包括在被摄体的摄像时，使变焦透镜沿光轴方向移动的变焦驱动部和使聚焦透镜沿光轴方向移动的聚焦驱动部等。电子摄像部2例如由CO)(Charge Coupled Device,电荷I禹合器件)或CMOS (Complementary Metal-oxide Semiconductor,互补金属氧化物半导体)等图像传感器构成，将通过了透镜部I的各种透镜的光学像变换为二维图像信号。虽然省略图示，但摄像控制部3包括定时(timing)发生器、驱动器等。并且，摄像控制部3利用定时发生器、驱动器扫描驱 动电子摄像部2，在每个规定周期中利用电子摄像部2将光学像变换为二维图像信号，从该电子摄像部2的摄像区域中对每个画面读出一个图像帧，并逐次输出到图像数据生成部4。另外，摄像控制部3进行AF(自动聚焦处理)、AE(自动曝光处理)、AWB(自动白平衡)等被摄体的摄像条件的调整控制。图像数据生成部4对于从电子摄像部2传输来的图像帧的模拟值信号，针对RGB的各个颜色成分适当调整增益之后，通过取样保持电路(省略图示)进行取样保持，并通过A/D变换器(省略图示)变换为数字数据，通过彩色处理电路(省略图示)进行包含像素插值处理以及Y修正处理的彩色处理后，作为图像数据生成数字值的亮度信号Y以及色差信号 Cb、Cr (YUV 数据)。从彩色处理电路输出的图像数据经由未图示的DMA控制器，DMA传输至作为缓冲存储器使用的图像存储器5。此外，本实施方式的摄像装置100是能够进行连续摄像的摄像装置，在连续摄像中，例如如图4所示通过由用户改变摄像装置100的图像摄像的方向和摄像位置等，利用连续的摄像取得的多个图像是分别不同的图像。在该连续摄像中，摄像控制部3从电子摄像部2的摄像区域中对每个画面逐次读出一个图像帧，并逐次输出到图像数据生成部4，图像数据生成部4逐次生成图像数据。图像存储器5例如由DRAM等构成，暂时存储从图像数据生成部4传输来的图像数据。另外，图像存储器5暂时存储由图像处理部6或中央控制部11等处理的数据等。图像处理部6包括图像取得部6a、合成部6b、特征区域判定部6c、以及剪切图像生成部6f。图像取得部6a作为逐次取得连续摄像的多个图像的取得单元发挥作用。具体而言，图像取得部6a逐次读出并取得例如通过透镜部1、电子摄像部2、以及摄像控制部3的协作进行摄像、由图像数据生成部4生成并存储到图像存储器5中的图像数据。在本实施方式中，图像取得部6a在每次由图像数据生成部4生成新的图像数据并存储到图像存储器5中时读出并取得该新的图像数据，但这仅为一例，并不限定于此。例如，图像取得部6a还可以在每当经过规定时间时检查图像存储器5中是否存储尚未取得的图像数据，在存在未取得的图像数据的情况下，取得该图像数据。合成部6b作为合成单元发挥作用，该合成单元对由图像取得部6a取得的多个图像(例如图5(a)、(b)所示的图像Pl、Pn、Pn+l)的部分区域以叠加相加的方式进行合成以逐次生成合成图像(例如图5(b)所示的合成图像Dn)。
具体而言，合成部6b例如进行块匹配处理，用于对齐由图像取得部6a取得的多个图像数据的图像区域。在此情况下，合成部6b搜索多个图像数据中的一个图像区域所包含的像素值最佳地匹配其他图像数据的图像区域所包含的像素值的位置(对应区域)。接着，合成部6b对像素值的差别度的评价值(例如平方差之和(SDD)或绝对差之和(SAD)等)最好的对应区域以叠加相加的方式进行合成以生成合成图像数据。另外，合成部6b将生成的合成图像数据输出到图像存储器5。合成图像Dn是在由图像取得部6a取得的多个图像数据的图像区域中，重叠部分被组合为一个图像数据的数据，并且不重叠的部分具有多个图像数据的全部图像区域相加而得到的图像区域的图像。即，合成图像Dn每次与具有与合成图像Dn的图像区域重叠的图像区域和不重叠的图像区域的图像进行合成时，追加该不重叠的图像区域。在本实施方式中，合成部6b在每次由图像取得部6a取得图像数据时逐次生成合 成图像数据，但这仅为一例，并不限定于此。例如，图像取得部6a还可以在每当经过规定时间时检查是否由图像取得部6a取得了新的图像数据，在取得了新的图像数据的情况下，生成使用该图像数据的合成图像数据。另外，合成部6b将逐次生成的合成图像数据逐次输出到图像存储器5。S卩，合成部6b逐次更新图像存储器5中存储的合成图像数据。此外，图5(b)例示通过对图5(a)所示的被摄体连续摄像而取得的三个图像P1、Pn、Pn+l的合成，两个或四个以上的图像的合成也是同样的。另外，在合成图像数据生成后，由图像取得部6a进行了新的图像数据的取得的情况下，合成部6b在已经生成的合成图像数据上合成该新的图像数据，并输出到图像存储器5。另外，合成部6b在新的图像数据的全部图像区域包含在已经生成的合成图像数据的图像区域内的情况下，可以省略该新的图像数据的合成。另外，合成部6b随着合成图像数据的生成，对于生成的合成图像数据的图像区域，在水平以及垂直方向上以规定倍率进行缩小处理，逐次生成显示用的低分辨率的缩小图像数据，并存储到图像存储器5中。此外，合成部6b也可以对合成前的图像或合成图像实施各种图像处理以生成合成图像。例如，在合成前的多个图像中对应区域的变焦倍率不同的情况下，合成部6b可以进行变更多个图像的一部分或者全部的变焦倍率的缩小处理或放大处理等，据此使多个图像的对应区域的大小相同。另外，合成部6b在由于分别取得多个图像时的摄像角度等各种摄像条件的差异，合成图像中产生失真的情况下，可以对合成前的图像或合成图像实施失真修正。特征区域判定部6c包括特征区域检测部6d。特征区域检测部6d预先存储用于识别图像区域所包含的人的脸部的特征点数据，基于该特征点数据进行从合成图像Dn中检测与脸部区域对应的特征点的特征区域检测处理。在此情况下，特征区域判定部6c例如如图6所示，在合成图像Dn内存在与特征点数据的类似度为规定值以上的图像区域的情况下，将该图像区域作为特征区域F检测出来。特征区域判定部6c作为判定单元发挥作用，该判定单元在每次由合成部6b逐次生成合成图像时，判定该合成图像内是否包含具有规定特征的特征区域。
具体而言，特征区域判定部6c例如如图6所示，在由特征区域检测部6d在合成图像Dn内检测出特征区域F的情况下，判定为合成图像内包含特征区域。另一方面，特征区域判定部6c在合成图像内不存在与特征点数据的类似度为规定值以上的图像区域，特征区域检测部6d未检测出特征区域的情况下，判定为合成图像内不包含特征区域。此外，将脸部区域作为特征区域仅为一例，并不限定于此。例如，特征区域还可以是与包含脸部区域的人的上半身区域或人的全身区域等，包含脸部区域以外的部分的人的图像对应的图像区域。另外，特征区域还可以是与塔等建筑物的形状对应的图像区域，或者与规定地形(例如山等)对应的图像区域。另外，特征区域判定部6c可以从合成图像中检测多个特征区域。另外，特征区域可以采用特定的对象(例如特定人的 脸部或体格、特定物品、界标(land mark)等)。在此情况下,特征点数据是能够确定该特定对象的特征点数据。另外，特征区域判定部6c包括对齐部6e。对齐部6e在由特征区域判定部6c判定为合成图像内包含特征区域，并且指定了构图的情况下，进行合成图像内检测出的特征区域的位置与指定的构图中的特征区域的位置的对齐。例如，在经由操作输入部10指定的构图(例如图7(a)所示的构图VI)是规定利用该构图从合成图像(例如图7(b)所示的合成图像Dn)剪切的剪切区域内的特征区域的位置(例如图7(a)所示的位置Ql)的构图的情况下，对齐部6e基于合成图像数据的图像区域内包含的特征区域(例如图7(b)所示的特征区域F)的位置，计算合成图像数据的图像区域内的特征区域中包含的像素的坐标，进行计算出的坐标与表示由该构图规定的剪切的图像区域(剪切区域)内的特征区域的位置Ql的坐标的对齐处理。即，对齐部6e在图7所示的例子的情况下，进行用于基于坐标确定将合成图像Dn内的特征区域F配置在位置Ql处的情况下的剪切区域与合成图像Dn的位置关系的对齐处理。另外，对齐部6e在存在多个指定的构图的情况下，对于多个构图中的每个(例如图7(a)所示的构图Vl以及图8(a)所示的构图V2)，进行对齐处理。例如，图7(a)所示的构图Vl具有在纵向上较长的长方形的剪切区域，是在该剪切区域的左上部分处规定特征区域的位置Ql的构图。另外，图8(a)所示的构图V2为在纵向上较长的长方形，具有比构图Vl大的剪切区域，是在该剪切区域的右部中央处规定特征区域的位置Q2的构图。在指定多个构图V1、V2的情况下，对齐部6e如图8(b)所示的例子那样，进行合成图像Dn内的特征区域F与由构图V1、V2分别规定的特征区域的位置Q1、Q2的对齐处理。在指定了规定利用剪切图像生成部6f从合成图像剪切的剪切区域内的特征区域的位置的构图的情况下，特征区域判定部6c可以在每当利用合成部6b逐次生成合成图像时，判定该合成图像内是否包含在由指定的构图规定的位置处存在特征区域的图像区域。例如，在经由操作输入部10指定了图7(a)所示的构图Vl的情况下，特征区域判定部6c可以在每当利用合成部6b逐次生成合成图像数据时，如图7(b)所示，使对齐部6e确定在将合成图像Dn内的特征区域F配置在位置Ql处的情况下的剪切区域与合成图像Dn的位置关系，根据确定的位置关系，判定是否生成了在由指定的构图Vl规定的位置Ql处包含特征区域F，并且包含与剪切区域内的全部区域对应的图像区域的合成图像。S卩，特征区域判定部6c可以判定是否生成了在图像区域内包含特征区域，并且在将合成图像数据的图像区域内包含的特征区域配置在根据指定的构图在剪切区域内规定的特征区域的位置处的情况下包含与该部分图像区域内的全部区域对应的图像区域的合成图像数据(以下记载为“完整的合成图像数据”)。另外，可以在利用特征区域判定部6c判定为合成图像内包含存在特征区域的构图的图像区域的情况下，停止摄像。具体而言，例如，可以在对于指定的构图，利用特征区域判定部6c判定为由合成部6b生成了完整的合成图像数据的情况下，摄像控制部3停止由电子摄像部2进行的光学像向图像信号的变换，并且停止从电子摄像部2的摄像区域中对每个画面读出一个图像帧并输出到图像数据生成部4的处理。此处，摄像控制部作为停止由摄像单元进行的摄像的停止单元发挥作用。
另外，特征区域判定部6c在指定的构图存在多个的情况下，可以对于多个构图中的每个，判定利用合成部6b逐次生成的合成图像内是否包含在各构图规定的位置处存在特征区域的图像区域。例如，在经由操作输入部10指定了图7(a)所示的构图Vl和图8(a)所示的构图V2的情况下,特征区域判定部6c可以对于指定的构图V1、V2中的每个,判定利用合成部6b逐次生成的合成图像数据(例如图8(b)所示的合成图像Dn)内在构图V1、V2分别规定的特征区域的位置Q1、Q2处是否包含特征区域。即，特征区域判定部6c可以判定是否生成了与指定的全部多个构图对应的完整的合成图像数据。另外，也可以在对于指定的多个构图中的任一构图或者多个构图，判定为合成图像内包含在由构图规定的位置处存在特征区域的图像区域的情况下，停止摄像。此外，使用了图8(b)的上述说明对指定了两个构图V1、V2的情况进行了说明，指定了三个以上构图的情况也是同样的。另外，在指定了多个构图的情况下，由各个构图规定的特征区域可以不同。另外，构图不限于图7、图8所示的例子。作为指定的构图，例如可举出水平线构图、垂直线构图、斜线构图、对角线构图、放射线构图、曲线构图、S形构图、三角形构图、倒三角形构图、对比/对称构图、隧道(tunnel)构图、图案构图等，还包含除此之外的各种构图。水平线构图是在剪切区域内利用沿水平线的被摄体(例如地平线与天空的分界线等)强调或暗示水平线或者沿水平线的线的构图。垂直线构图是在剪切区域内利用沿垂直于水平线的方向的被摄体强调或暗示该方向的线的构图。斜线构图是在剪切区域内利用沿几乎同一角度的倾斜方向的线的被摄体强调或暗示该垂直方向的线的构图。对角线构图是使斜线构图中的倾斜方向的线为剪切区域的对角线的构图。放射线构图是包含从剪切区域内的一点或一部分区域呈放射线状扩展的被摄体的构图。曲线构图是在剪切区域内包含描绘出曲线的被摄体或者以描绘出曲线的方式配置的多个被摄体的构图。S形构图是在剪切区域内包含描绘出S形曲线的被摄体以描绘出S形曲线的方式配置的多个被摄体的构图。三角形构图是剪切区域内的底边(地)侧相对较大、上边(天空)相对较小地被拍摄，据此包含在天空中具有一个顶点的三角形的被摄体的构图。倒三角形构图是剪切区域内的底边(地)侧相对较小、上边(天空)相对较大地被拍摄，据此包含在地上具有一个顶点的倒三角形的被摄体的构图。对比/对称构图是包含以将剪切区域一分为二的规定线为分界线，具有对比或对称的关系或者暗示该对比或对称的关系的两个以上被摄体的构图。隧道构图是包含剪切区域内的一点或一部分区域相对较亮、从该一点或一部分区域出发呈放射线状扩展的区域相对较暗的被摄体的构图。图案构图是剪切区域内存在的多个被摄体的排列形成规定图案的构图。摄像装置100存储与指定的各个构图对应的构图数据。构图数据例如可以存储在摄像装置100中设置的未图示的存储装置(例如闪存存储器等)中，也可以存储在记录介质9a等中。此外，构图数据分别可以包含表示与剪切区域的描绘等有关的各种条件的信息。作为表示各种条件的信息，例如可举出画面构成信息、面积比例信息、空间构成信息、形状/配置信息、左右对称性信息、分形维数信息、色彩分布信息、色彩冗余度信息、色调信息等，还可以包含与剪切区域有关的除此以外的信息。画面构成信息是表示剪切区域内的主要被摄体的配置和以该主要被摄体为基准的画面的分割比例等的信息。面积比例信息是表示主 要被摄体相对于剪切区域所占的图像区域的面积比例等的信息。空间构成信息是表示该主要被摄体以外的区域(余白)所占的图像区域的面积比例等的信息。形状/配置信息是表示剪切区域内的主要被摄体的形状或配置等的信息。左右对称性信息是表示主要被摄体有多个时各个被摄体的面积的对称性等的信息。分形维数信息是包含剪切区域内包含的一维的线(例如被摄体之间或者被摄体与其他空间之间的轮廓线等)的粗细程度和多个线之间位置关系的复杂程度等的一维线的分形维数信息、作为剪切区域整体的光度(亮度)变化和该变化的复杂程度等信息的二维光度变化的分形维数信息等的信息。色彩分布信息是表示剪切区域中的色彩的分布、分布的各色彩的结合程度、分布的复杂程度等的信息，是包含与色彩分布的熵有关信息的信息。色彩冗余度信息是与剪切区域中的色彩的冗余度有关的信息。色调信息是表示剪切区域中包含的色调的数量的信息。特征区域判定部6c可以取得指定构图的构图数据以及该构图数据中包含的各种条件，判定在利用合成部6b逐次生成的合成图像内是否包含在由该构图数据中包含的各种条件规定的特征区域的位置处存在特征区域的图像区域。另外，也可以不指定构图。例如，摄像装置100可以包括规定的构图数据。剪切图像生成部6f作为剪切单元发挥作用，该剪切单元剪切由合成部6b生成的合成图像内的包含特征区域的部分图像区域。具体而言，剪切图像生成部6f例如在利用特征区域判定部6c判定为在合成图像内包含在由指定构图规定的位置处存在特征区域的图像区域的情况下，根据该指定的构图从该完整的合成图像数据中对剪切区域进行剪切。另外，剪切图像生成部6f将与剪切的部分图像区域对应的数据输出到记录介质控制部9，作为剪切图像数据存储到记录介质9a中。在图9(a)所示的例子的情况下，包含特征区域F的合成图像Dm包含规定特征区域的位置Ql的构图Vl的剪切区域的全部区域。在此情况下，特征区域判定部6c判定为在合成图像内包含在由指定构图规定的位置处存在特征区域的图像区域。剪切图像生成部6f根据合成图像Dm生成剪切了构图Vl的剪切区域的剪切图像W1。剪切图像生成部6f在存在多个指定的构图的情况下，对于多个构图中的每个进行剪切处理，生成与各个构图对应的多个剪切图像数据并输出到记录介质控制部9。
另外，在未指定构图的情况下，剪切图像生成部6f可以基于规定条件生成剪切图像数据。例如，可以剪切根据经由操作输入部10等进行的用户的指示输入决定的剪切区域，以生成剪切图像数据，也可以剪切合成图像内包含特征区域的长方形的最大的图像区域，以生成剪切图像数据。剪切图像生成部6f的剪切图像数据的生成定时能够任意设定。例如,剪切图像生成部6f可以在判定为经由操作输入部10进行了用于从合成图像中剪切图像的指示输入的情况下生成剪切图像数据，也可以在利用特征区域判定部6c判定为生成了与指定构图对应的完整的合成图像数据的情况下自动生成剪切图像数据。与剪切图像的生成定时有关的设定的内容例如可以根据经由操作输入部10进行的指示输入来决定。显示控制部7进行读出图像存储器5中存储的缩小图像数据并使显示部8显示缩小图像的控制。 具体而言，显示控制部7包括VRAM、VRAM控制器、数字视频编码器等。并且，数字视频编码器经由VRAM控制器从VRAM中定期地读出在中央控制部11的控制下从图像存储器5中读出并存储到VRAM(省略图示)中的缩小图像数据的亮度信号Y以及色差信号Cb、Cr,以这些数据为基础产生视频信号并输出到显示部8。另外，显示控制部7还具有如下功能，即在摄像模式下，使显示部8的显示画面显示基于利用电子摄像部2以及摄像控制部3的摄像生成的多个图像帧的实时查看(live view)图像、作为本摄像图像摄像的记录查看(REC view)图像、基于合成图像数据的合成图像等。显示部8例如是液晶显示装置，作为基于来自显示控制部7的视频信号，显示与由合成部6b逐次生成的合成图像对应的缩小图像的显示单元发挥作用。另外，显示部8基于来自显示控制部7的视频信号，在显示画面上显示实时查看图像、记录查看图像、合成图像
坐寸o另外，显示控制部7在由特征区域判定部6c判定为包含特征区域的情况下，用能够识别的显示方式显示由显示部8显示的缩小图像中在合成图像内作为特征区域检测出来的图像区域，由此通知合成图像内包含特征区域这一情况。具体而言，显示控制部7例如如图10所示，使显示部8的显示画面显示与合成图像Dn对应的缩小图像Hn,并且使显示部8的显示画面显示指示标志G,该指示标志G包围与合成图像Dn内的特征区域F对应的缩小图像Hn的图像区域的周围。据此，显示部8能够对用户视觉地通知合成图像Dn内包含特征区域、指示标志G的内侧存在的图像区域是特征区域，能够提醒用户合成图像内包含特征区域这一情况。收到了合成图像内包含特征区域这一情况的通知的用户以特征区域为基准进行连续的摄像，由此不会无用地进行与该特征区域无关的范围或者关联性较低的范围的摄像。此处，显示控制部7以及显示部8在由特征区域判定部6c判定为包含特征区域的情况下，通知合成图像内包含特征区域这一情况。另外，显示控制部7可以在由特征区域判定部6c判定为合成图像内包含在由指定构图规定的位置处存在特征区域的图像区域的情况下，通知合成图像内包含特征区域这一情况。具体而言，例如，如图11所示，在通过生成与指定的构图Vl对应的完整的合成图像数据，由特征区域判定部6c判定为合成图像内包含在由指定构图规定的位置处存在特征区域的图像区域的情况下，显示控制部7使显示部8的显示画面显示与该完整的合成图像数据对应的缩小图像Hm以及指示标志G，该指示标志G包围与该完整的合成图像数据的图像区域内作为特征区域检测出的图像区域对应的缩小图像Hm内的图像区域的周围，并且使显示部8的显示画面显示指示标志H,该指示标志H表示完整的合成图像数据的生成已经完成。显示控制部7以及显示部8可以以此方式对用户通知该完整的合成图像数据的图像区域内包含特征区域、指示标志G的内侧存在的图像区域是特征区域、以及与指定构图对应的摄像已经完成。
另外，显示控制部7可以在对于指定的全部多个构图，由特征区域判定部6c判定为合成图像内包含在由各构图规定的位置处存在特征区域的图像区域的情况下，通知所示合成图像内包含所述特征区域这一情况。具体而言，例如，如图12所示，在通过生成与对应于指定的全部构图的多个构图VUV2对应的完整的合成图像数据，由特征区域判定部6c判定为合成图像内包含在由指定构图规定的位置处存在特征区域的图像区域的情况下，显示控制部7使显示部8的显示画面显示与该完整的合成图像数据对应的缩小图像Hq以及指示标志G,该指示标志G包围与该完整的合成图像数据的图像区域内作为特征区域检测出的图像区域对应的缩小图像Hq内的图像区域的周围，并且使显示部8的显示画面显示指示标志H,该指示标志H表示完整的合成图像数据的生成已经完成。显示控制部7以及显示部8可以以此方式对用户通知该完整的合成图像数据的图像区域内包含特征区域、指示标志G的内侧存在的图像区域是特征区域、以及与指定的全部构图对应的摄像已经完成。此外，作为合成图像内存在特征区域这一情况的通知方式，例示了显示部8的显示，但这仅为一例，并不限定于此，能够适当地进行任意变更。例如，作为用于进行通知的显示，可以进行用规定颜色对特征区域进行涂色的显示，也可以以能够识别的方式显示特征区域的轮廓。在显示特征区域的轮廓的情况下，轮廓可以是封闭的，从而覆盖特征区域，也可以是开放的。作为利用开放的轮廓的显示进行通知的情况，例如可举出合成图像内未包含特征区域整体的情况等。另外，关于合成图像内包含特征区域这一情况的通知方式，只要是能够通过人的五种感觉特别是视觉、听觉、触觉等了解、识别特征区域的方法，可以是任何方式，例如，可以利用声音(语音等)或振动来通知存在特征区域这一情况。记录介质控制部9构成为能够自如装卸记录介质9a，控制来自所安装的记录介质9a的数据读出和对记录介质9a的数据写入。即，记录介质控制部9使记录介质9a记录由图像处理部6的JPEG压缩部(省略图示)进行了编码的记录用的图像数据。记录用的图像数据中也包含剪切图像数据。此外，记录介质9a例如由非易失性存储器(闪存存储器)等构成，但这仅为一例，并不限定于此，能够适当地进行任意变更。操作输入部10是用于进行该摄像装置100的规定操作的部件。具体而言，操作输入部10包括与被摄体的摄影指示有关的快门按钮10a、与菜单画面中摄像模式或功能等的选择或者构图指示等有关的指示按钮10b、以及与变焦量的调整指示有关的变焦按钮(省略图示)等，根据这些按钮的操作将规定的操作信号输出到中央控制部11。此处，操作输入部10作为指定单元发挥作用，该指定单元至少指定一个由剪切图像生成部6f规定剪切区域内的特征区域的位置的构图。
另外，操作输入部10作为用于进行与各种设定有关的指示输入的部件发挥作用。作为经由操作输入部10设定的各种设定，例如可举出与剪切图像数据的生成定时有关的设定、与连续的摄像的停止条件(摄像停止条件)有关的设定等。作为摄像停止条件的设定，例如可举出在判定为合成图像内包含在由指定的构图(在多个构图的情况下是各个构图)规定的位置处存在特征区域的图像区域的情况下停止摄像的设定、在存在经由操作输入部10进行的用于摄像停止的用户的指示输入的情况下停止摄像的设定等。此外，在未进行构图指示的情况下，摄像控制部3响应经由操作输入部10进行的用于摄像停止的指示输入，在进行构图指示的情况下也可以响应经由操作输入部10的指示输入而停止摄像。中央控制部11是控制摄像装置100的各部的部件。具体而言，中央控制部11包括CPU、RAM、R0M(均省略图示)，按照摄像装置100用的各种处理程序(省略图示)进行各种控制动作。接着，参照图2、图3的流程图说明摄像装置100执行的剪切图像生成处理。首先，图像取得部6a用初始值I设定用于对取得的图像的数目进行计数的计数器n (步骤SI)。接着，透镜部1、电子摄像部2、以及摄像控制部3等协作对第一张图像进行摄像(步骤S2)。具体而言，电子摄像部2将通过了透镜部I的各种透镜的光学像变换为二维图像信号，摄像控制部3从电子摄像部2的摄像区域中对每个画面读出一个图像帧，输出到图像数据生成部4，图像数据生成部4根据图像帧逐次生成图像数据，并逐次存储到图像存储器5。接着，图像取得部6a读出图像存储器5中存储的图像数据以取得第一张图像(步骤S3)。接着，图像处理部6在计数器n的值上加上I (步骤S4)。随后，与第一张图像的摄像同样，透镜部1、电子摄像部2、以及摄像控制部3等协作对第一张图像进行摄像(步骤S5)。接着，图像处理部6读出图像存储器5中存储的图像数据以取得第n张图像(步骤S6)。接着，合成部6b合成多个图像以生成合成图像数据(步骤S7)。具体而言，合成部6b例如进行用于由图像取得部6a取得的多个图像数据的对齐的块匹配处理，对多个图像(例如图5所示的图像P1、PN、PN+1)的部分区域以叠加相加的方式进行合成以生成合成图像(例如图5所示的合成图像Dn)。另外，合成部6b随着合成图像数据的生成，对于生成的合成图像数据在水平以及垂直方向上以规定倍率进行缩小处理，生成显示用的低分辨率的缩小图像数据(步骤S8)。合成部6b将生成的合成图像数据以及缩小图像数据存储到图像存储器5中。显示控制部7读出图像存储器5中存储的缩小图像数据并使显示部8的显示画面进行显示(步骤S9)。接着，特征区域检测部6d进行特征区域检测处理(步骤S10)，该处理基于预先存储的特征点数据(例如脸部图像的特征点数据等)，从合成图像数据中检测包含与特征点数据对应的特征点的图像区域作为特征区域(例如图6所示的特征区域F等)。接着，特征区域判定部6c判定合成图像内是否包含特征区域(步骤Sll)。具体而言，特征区域判定部6c在由特征区域检测部6d从合成图像内检测出特征区域的情况下，判定为合成图像内包含特征区域。另一方面，特征区域判定部6c在特征区域检测部6d未检测出特征区域的情况下，判定为合成图像内不包含特征区域。中央控制部11在步骤Sll中判定为合成图像内不包含特征区域的情况下(步骤Sll :否)，转至步骤S4的处理。另一方面，中央控制部11在步骤Sll中判定为合成图像内包含特征区域的情况下(步骤Sll :是)，进行合成图像内包含特征区域这一情况的通知(步骤S12)。具体而言，例如，显示控制部7使显示部8的显示画面显示与合成图像Dn对应的缩小图像Hn,并且使显示部8的显示画面显示指示标志G,该指示标志G包围与合成图像Dn内的特征区域F对应的缩小图像Hn的图像区域的周围(参考图10)。接着，特征区域判定部6c进行摄像停止条件判定处理(步骤S13)。此处，参考图3的流程图说明摄像停止条件判定处理。
特征区域判定部6c首先判定是否由用户指定了构图(步骤S21)。此处，在判定为由用户指定了构图的情况下(步骤S21 :是)，特征区域判定部6c判定是否由用户指定了多个构图(步骤S22)。在步骤S22中判定为由用户指定了多个构图的情况下(步骤S22 :是)，对齐部6e例如如图8所示进行指定的多个构图中的每个与合成图像的对齐处理(步骤S23)。此外，特征区域判定部6c对于多个构图中的每个，判定在由合成部6b生成的合成图像内是否包含在由各构图规定的位置处存在特征区域的图像区域(步骤S24)。中央控制部11在步骤S24中判定为在合成图像内包含在由各构图规定的位置处存在特征区域的图像区域的情况下(步骤S24 :是)，对于指定的全部多个构图，进行在合成图像内包含在规定的位置处存在特征区域的图像区域这一情况的通知(步骤S25)。具体而言，例如如图12所示，显示控制部7使显示部8的显示画面显示与该完整的合成图像数据对应的缩小图像Hq以及指示标志G，该指示标志G包围与该完整的合成图像数据的图像区域内作为特征区域检测出的图像区域对应的缩小图像Hq内的图像区域的周围，并且使显示部8的显示画面显示指示标志H,该指示标志H表示完整的合成图像数据的生成已经完成。接着，特征区域判定部6c判定为摄像停止条件成立(步骤S26)，结束摄像停止条件判定处理。另一方面，在判定为在合成图像内不包含在由各构图规定的位置处存在特征区域的图像区域的情况下(步骤S24:否)，特征区域判定部6c判定为摄像停止条件不成立(步骤S27)，结束摄像停止条件判定处理。另外，在步骤S22中，在判定为用户未指定多个构图的情况下(步骤S22 :否)，即在指定的构图为一个的情况下，对齐部6e例如如图7所示进行指定的各个构图与合成图像的对齐处理(步骤S28)。接着,特征区域判定部6c对于指定的构图,判定在由合成部6b生成的合成图像内是否包含在由构图规定的位置处存在特征区域的图像区域(步骤S29)。中央控制部11在步骤S29中判定为在合成图像内包含在由构图规定的位置处存在特征区域的图像区域的情况下(步骤S29 :是)，进行在合成图像内包含在由指定的构图规定的位置处存在特征区域的图像区域这一情况的通知(步骤S30)。具体而言，例如如图11所示，显示控制部7使显示部8的显示画面显示与完整的合成图像数据对应的缩小图像Hm以及指示标志G，该指示标志G包围与该完整的合成图像数据的图像区域内作为特征区域检测出的图像区域对应的缩小图像Hm内的图像区域的周围，并且使显示部8的显示画面显示指示标志H,该指示标志H表示完整的合成图像数据的生成已经完成。接着，特征区域判定部6c判定为摄像停止条件成立(步骤S26)，结束摄像停止条件判定处理。另一方面，在判定为在合成图像内不包含在由各构图规定的位置处存在特征区域的图像区域的情况下(步骤S29 :否)，特征区域判定部6c判定为摄像停止条件不成立(步骤S27)，结束摄像停止条件判定处理。另外，在步骤S21中，在判定为用户未指定构图的情况下(步骤S21 :否)，特征区域判定部6c判定是否经由操作输入部10进行了用于摄像停止的指示输入(步骤S31)。此处，在判定为进行了用于摄像停止的指示输入的情况下(步骤S31 :是)，特征区域判定部
6c判定为摄像停止条件成立(步骤S26)，结束摄像停止条件判定处理。另一方面，在步骤S31中判定为未进行用于摄像停止的指示输入的情况下(步骤S31 :否)，特征区域判定部6c判定为摄像停止条件不成立(步骤S27)，结束摄像停止条件判定处理。在摄像停止条件判定处理之后，摄像控制部3判定摄像停止条件是否成立(步骤S14)。此处，在判定为摄像停止条件不成立的情况下(步骤S14 :否)，中央控制部11转至步骤S4的处理。在此情况下，利用转至步骤S4的处理后的步骤S5、S6的处理摄像并取得新的图像，在步骤S7的处理中进一步将图像合成到原来的合成图像数据中，因而利用转移后的步骤S7的处理生成的合成图像是具有在处理转移前的图像区域上，加上了新摄像并取得的图像的图像区域中与处理转移前的合成图像不重叠的图像区域而得到的图像区域的合成图像。另一方面，在步骤S14中判定为摄像停止条件成立的情况下(步骤S14 :是)，摄像控制部3停止摄像(步骤S15)。具体而言，摄像控制部3停止由电子摄像部2进行的光学像向图像信号的变换，并且停止从电子摄像部2的摄像区域中对每个画面读出一个图像帧并输出到图像数据生成部4的处理。接着，剪切图像生成部6f生成剪切了合成图像内的包含特征区域的部分图像区域的剪切图像数据(步骤S16)，结束剪切图像生成处理。具体而言，剪切图像生成部6f例如如图9(a)、(b)所示，根据指定的构图(在指定多个构图的情况下是各构图)从完整的合成图像Dm中对剪切区域进行剪切，将与剪切的部分图像(剪切图像Wl)对应的数据输出到记录介质控制部9，作为剪切图像数据存储到记录介质9a中。另外，在未指定构图的情况下，剪切图像生成部6f基于根据经由操作输入部10的输入决定的剪切区域等规定条件生成剪切图像数据。如上所述，根据实施方式I的摄像装置100，在由特征区域判定部6c判定为合成图像中包含特征区域的情况下，显示控制部7以及显示部8进行合成图像中包含特征区域这一情况的通知，因而能够使用户了解合成图像内包含特征区域这一情况。据此，提醒用户进行与该特征区域相关的范围的摄像，不会因为用户未注意到合成图像内包含特征区域这一情况而无用地进行与该特征区域无关的范围或者关联性较低的范围的摄像。由此，能够利用对与特征区域相关的范围进行连续摄像得到的多个图像，进行合成图像的生成，能够更高效地进行合成图像的生成。
另外，剪切图像生成部6f剪切由合成部6b生成的合成图像内的包含特征区域的部分图像区域，因而能够取得合成图像内的除去了不必要的图像区域的、包含特征区域的部分图像区域作为剪切图像，能够取得合成图像中与特征区域关联性更高的部分图像区域作为剪切图像。·
另外，特征区域判定部6c在每当逐次生成合成图像时，判定该合成图像内是否包含在由经由操作输入部10指定的构图规定的位置处存在特征区域的图像区域，在判定为包含存在特征区域的图像区域的情况下，显示控制部7以及显示部8通知合成图像内包含特征区域这一情况，因而能够提醒用户与指定的构图对应的摄像已经完成，能够提醒用户无须继续进行摄像以取得与指定的构图对应的图像。据此，能够适当地防止用户进行与构图无关的范围的无用的摄像。由此，能够利用对与特征区域相关的范围进行连续摄像得到的多个图像，进行合成图像的生成，能够更高效地进行合成图像的生成。另外，在由特征区域判定部6c判定为合成图像内包含存在特征区域的构图的图像区域的情况下，摄像控制部3停止摄像，因而在与指定的构图对应的摄像已经完成的情况下能够自动停止摄像，能够适当地防止继续进行与构图无关的范围的无用的摄像。由此，能够利用对与特征区域相关的范围进行连续摄像得到的多个图像，进行合成图像的生成，能够更高效地进行合成图像的生成。另外，特征区域判定部6c对于经由操作输入部10指定的多个构图中的每个，判定在由合成部6b逐次生成的合成图像内是否包含在由各构图规定的位置处存在特征区域的图像区域，在对于指定的全部多个构图判定为合成图像内包含存在特征区域的图像区域的情况下，显示控制部7以及显示部8通知合成图像内包含特征区域这一情况，因而对于指定的全部多个构图，能够提醒用户与各构图对应的摄像已经完成，能够提醒用户无须继续进行摄像以取得与各构图对应的图像。据此，能够适当地防止用户进行与构图无关的范围的无用的摄像。由此，能够利用对与特征区域相关的范围进行连续摄像得到的多个图像，进行合成图像的生成，能够更高效地进行合成图像的生成。另外，利用用于生成一个合成图像的摄像能够一并取得对于全部多个构图而言存在特征区域的图像区域，无须反复进行多个构图共同的范围的摄像，能够更高效地进行用于取得基于多个构图的图像的摄像。另外，摄像装置100还包括显示部8，显示由合成部6b逐次生成的合成图像的缩小图像，由显示部8显示的合成图像的缩小图像中的特征区域用能够识别的方式进行显示，因而能够以在视觉上可识别的方式通知合成图像内包含的特征区域，能够对用户通知合成图像内的特征区域的位置。据此，提醒用户进行与该特征区域有关的范围的摄像，不会因为用户未注意到合成图像内包含特征区域这一情况而无用地进行与该特征区域无关的范围或者关联性较低的范围的摄像。由此，能够利用对与特征区域相关的范围进行连续摄像得到的多个图像，进行合成图像的生成，能够更高效地进行合成图像的生成。另外，特征区域包含脸部区域，因而在合成图像内包含脸部的图像区域的情况下能够进行通知，能够在合成图像的生成中通知脸部已被摄像这一情况。据此，能够提醒用户在合成图像内包含脸部，能够提醒用户进行以脸部为基准的摄像(例如与脸相连的身体等的摄像)，通过提醒进行用于取得与脸部区域关联性较高的图像区域的摄像，能够适当地防止进行与脸部区域无关的范围的无用的摄像。由此，能够利用对与特征区域相关的范围进行连续摄像得到的多个图像，进行合成图像的生成，能够更高效地进行合成图像的生成。另外，由于根据合成图像中包含的主要被摄体的种类、相对于背景区域的相对大小等最佳构图有所不同，所以最终从该合成图像剪切的剪切图像的区域难以事先决定。对此，在合成图像内包含特征区域的情况下，进行包含特征区域这一情况的通知，由此能够提醒用户以该特征区域为基准的构图，因而能够提醒用户决定与以特征区域为基准的构图对应的剪切图像的区域，仅进行与剪切图像的区域对应的范围的摄像。即，能够适当地防止进行不包含在剪切图像区域内的无用的摄像。由此，能够利用对与特征区域相关的范围进行连续摄像得到的多个图像，进行合成图像的生成，能够更高效地进行合成图像的生成。另外，若不必要地继续进行不包含在最终剪切的剪切图像区域中的范围的摄像，则会生成合成了通过不必要的继续摄像取得的图像的大小非常大的合成图像，为了暂时存储该大小非常大的合成图像，需要不必要地搭载存储容量较大的存储器，成为成本上升的原因。如上所述，摄像装置100能够适当地防止进行不包含在剪切图像区域内的无用的摄像，因此能够使合成图像内的不包含在最终剪切的剪切图像区域中的区域达到最小，能够使合成图像数据的数据大小达到必需的最小限度。由此，合成图像的存储所需的存储器的存储容量可以较小，能够削减成本。另外，合成图像数据的数据大小较小，因而能够使逐次进行的合成图像数据的生成处理和用于剪切的处理等各种处理的处理负担变得更小，能够使处理进一步快速化。另外，能够取得包含特征区域的合成图像，因而能够生成对特征区域进行一次摄像得到的图像数据所无法取得的较广的图像区域构成的合成图像。另外，在希望纳入一次摄像区域时变焦倍率产生限制的情况下，通过分多次进行摄像，能够生成包含以更高的变焦倍率进行了摄像的、更高精度的特征区域的合成图像，能够利用更多样的摄像方法进行包含特征区域的图像的摄像。实施方式2接着说明实施方式2的摄像装置200。实施方式2的摄像装置200除了实施方式I的摄像装置100的特征以外，还包括在判定为合成图像内包含特征区域的情况下，以该合成图像中的特征区域的位置为基准改变摄像的范围的特征。图13是表示适用本发明的实施方式2的摄像装置200的概略结构的模块图。对于与实施方式I的摄像装置100相同的结构，标注相同的符号并省略说明。实施方式2的摄像装置200除了实施方式I的摄像装置100的结构以外，还包括驱动部12。驱动部12在摄像控制部3的控制下，改变由摄像装置100摄像的范围。具体而言，驱动部12例如是由与摄像装置200连接的三脚架等支撑部(省略图示)支撑的、用于进行改变摄像装置200的朝向或角度等的动作的致动器。S卩，驱动部12利用动作来改变透镜部I以及电子摄像部2相对于支撑部的方向或角度等，由此改变通过透镜部I的光学像即摄像的范围。利用驱动部12的动作，能够不依赖于由用户进行的摄像装置200的位置移动或角度变更等手动操作，对以特征区域为基准的多个图像数据自动进 行连续摄像。实施方式2的摄像控制部3在由特征区域判定部6c判定为合成图像内包含特征区域的情况下，以该合成图像中的特征区域的位置为基准，改变摄像的范围。
具体而言，摄像控制部3例如以对特征区域进行了摄像时的摄像装置200的透镜部I的方向以及角度为基准，控制驱动部12的动作从而对该特征区域以及包含该特征区域周围的范围依次进行连续摄像，并且从电子摄像部2的摄像区域中对每个画面读出一个图像帧，并逐次输出到图像数据生成部4，由此在改变摄像范围的同时进行连续的摄像。此外，实施方式2的摄像控制部3在有连续摄像开始的指示输入之后，自动地控制透镜部1、电子摄像部2、以及驱动部12等的动作，以自动地继续进行摄像。并且，摄像控制部3在由特征区域判定部6c判定为包含特征区域的情况下，以该合成图像中的特征区域的位置为基准，自动地改变摄像的范围。此处，作为摄像装置200利用驱动部12的动作改变摄像范围的基部的结构，不限于三脚架，能够适当地进行任意设置。例如，摄像装置200能够如监视照相机那样，利用设置于摄像装置上方侧的支撑部件以能够改变摄像范围的方式得到支撑。
·
摄像装置200还可以包括用于确定透镜部I的方向以及角度的确定单元(例如三轴传感器等)，在此情况下，摄像控制部可以利用由确定单元确定的摄像单元(例如透镜部I等)的方向以及角度，确定对特征区域进行了摄像时的摄像装置200的透镜部I的方向以及角度，以确定的角度为基准，控制驱动部12的动作从而对该特征区域以及包含该特征区域周围的范围依次进行连续摄像。另外，在驱动部12的动作控制中也可以利用确定单元确定透镜部I的方向以及角度，用于控制驱动部12的动作从而对该特征区域以及包含该特征区域周围的范围依次进行连续摄像。另外，摄像控制部3可以改变由摄像单元摄像的范围，从而使得在由合成部6b生成的合成图像内包含特征区域存在于规定位置的构图的图像区域。具体而言，例如，在存在由经由操作输入部10的指示输入等指定的构图的情况下，摄像控制部3控制驱动部12的动作，从而使得合成图像内包含特征区域存在于由指定的构图规定的位置的图像区域，并且从电子摄像部2的摄像区域中对每个画面读出一个图像帧，并逐次输出到图像数据生成部4。另外，可以在每当由合成部6b逐次生成合成图像时，判定在该合成图像内是否包含在规定位置处存在特征区域的构图的图像区域的情况下，在判定为合成图像内包含在规定位置处存在特征区域的构图的图像区域的情况下，摄像控制部3停止摄像。具体而言，例如，可以在每当由合成部6b逐次生成合成图像时，由特征区域检测部6d进行特征区域检测处理，根据特征区域检测处理的检测结果，由特征区域判定部6c进行合成图像内是否包含存在特征区域的构图的图像区域的判定，在判定为合成图像内包含存在特征区域的构图的图像区域的情况下，摄像控制部3停止由电子摄像部2进行的光学像向图像信号的变换，并且停止从电子摄像部2的摄像区域中对每个画面读出一个图像帧并输出到图像数据生成部4的处理。此外，摄像控制部3不限于经由操作输入部10指定的构图，可以基于通过任意方法采用的、特征区域存在于规定位置的构图(例如预先设定的构图等)，控制摄像范围的变化和摄像的停止。另外，上述利用驱动部12的摄像范围变化仅为一例，并不限定于此。例如，可以设置改变透镜部I以及电子摄像部2相对于摄像装置200的位置、角度的致动器等，摄像控制部3通过控制该致动器的动作，改变透镜部I以及电子摄像部2相对于摄像装置200的方向、角度等。另外，摄像范围的变化并不限于摄像的方向、角度的变化。例如，摄像控制部3可以改变透镜部I的变焦程度，据此改变摄像的范围。接着，参考图14的流程图说明实施方式2的摄像装置200进行的剪切图像生成处理。对于与实施方式I的摄像装置100相同的处理，标注相同的步骤编号并省略说明。对于步骤SI至步骤S3的处理，实施方式2的摄像装置200以与实施方式I的摄像装置100相同的流程进行处理。实施方式2的摄像装置200在步骤S3的处理之后，即在取得第一张图像之后，摄像控制部3自动改变摄像的范围(步骤S41)。在步骤S41的处理中，摄像控制部3例如根据规定的摄像范围变化模式进行摄像范围的变更。此处，规定的摄像范围变化模式可以预先存储在摄像装置200具有的未图示的存储装置等(例如闪存存储器等)中，也可以在摄 像开始之前由用户经由操作输入部10等进行设定。实施方式2的摄像装置200在步骤S41的处理之后，转至步骤S4的处理，即在计数器n的值上加上I的处理。对于步骤S4至步骤SlO的处理，实施方式2的摄像装置200以与实施方式I的摄像装置100相同的流程进行处理。实施方式2的摄像装置200在步骤SI I的判定，即由特征区域判定部6c进行的合成图像内是否包含特征区域的判定中判定为合成图像内不包含特征区域的情况下(步骤Sll :否)，转至步骤S41的处理。S卩，实施方式2的摄像装置200在判定为合成图像内不包含特征区域的情况下，继续进行由摄像控制部3执行的与规定的摄像范围变化模式相对应的摄像范围变更，同时进行连续的摄像。另一方面，实施方式2的摄像装置200在步骤Sll的判定中判定为合成图像内包含特征区域的情况下(步骤Sll :是)，进行与实施方式I的摄像装置100相同的通知，即进行合成图像内包含特征区域这一情况的通知(步骤S12)。在步骤S12的处理之后，在实施方式2的摄像装置200中，摄像控制部3以特征区域为基准改变摄像的范围(步骤S42)。具体而言，摄像控制部3例如以对特征区域进行了摄像时的摄像装置200的透镜部I的方向以及角度为基准，控制驱动部12的动作从而对该特征区域以及包含该特征区域周围的范围依次进行连续摄像。另外，在指定了构图的情况下，摄像控制部3可以根据基于步骤S23的处理或步骤S28的处理的对齐处理的结果，控制驱动部12的动作，从而使得合成图像内包含在由指定的构图规定的位置处存在特征区域的图像区域。实施方式2的摄像装置200在步骤S42的处理之后，转至步骤S13的处理，即摄像停止条件判定处理。实施方式2的摄像装置200在结束摄像停止条件判定处理后的步骤S14的判定，即由摄像控制部3进行的摄像停止条件是否成立的判定中，判定为摄像停止条件不成立的情况下(步骤S14:否)，转至步骤S4的处理。即，实施方式2的摄像装置200在判定为合成图像内包含特征区域的情况下，结束由摄像控制部3进行的与规定的摄像范围变化模式对应的摄像范围的变更，在以特征区域为基准变更摄像的范围的同时进行连续的摄像。另一方面，在步骤S14中判定为摄像停止条件成立的情况下(步骤S14 :是)，与实施方式I的摄像装置100同样，摄像控制部3停止摄像(步骤S15)，生成剪切图像数据(步骤 S16)。以上，根据实施方式2的摄像装置200，除了实施方式I的摄像装置100的效果以夕卜，在由特征区域判定部6c判定为合成图像内包含特征区域的情况下，摄像控制部3以该合成图像中的特征区域的位置为基准改变由摄像单元摄像的范围，因而能够自动取得以特征区域为基准的多个图像，能够更容易地生成以特征区域为基准的多个图像的合成图像。即，不会无用地进行与特征区域无关的范围或者关联性较低的范围的摄像，能够适当地防止无用的摄像。由此，能够利用对与特征区域相关的范围进行连续摄像得到的多个图像，进行合成图像的生成，能够更高效地进行合成图像的生成。另外，摄像控制部3改变由摄像单元摄像的范围，从而使得包含特征区域存在于规定位置的构图的图像区域，因而能够自动进行用于生成包含该构图的图像区域的合成图像的摄像，并且不会无用地进行不包含在该构图中的范围的摄像，能够适当地防止无用的摄像。由此，能够利用对与特征区域相关的范围进行连续摄像得到的多个图像，进行合成图 像的生成，能够更高效地进行合成图像的生成。另外，由特征区域判定部6c判定合成图像内是否包含特征区域存在于规定位置的构图的图像区域，在由特征区域判定部6c判定为合成图像内包含特征区域存在于规定位置的构图的图像区域的情况下，摄像控制部3停止摄像，因而能够在用于生成包含该构图的图像区域的合成图像的摄像完成的时刻自动停止摄像，不会无用地继续进行不包含在该构图中的范围的摄像，能够适当地防止无用的摄像。由此，能够利用对与特征区域相关的范围进行连续摄像得到的多个图像，进行合成图像的生成，能够更高效地进行合成图像的生成。另外，摄像控制部3控制摄像的方向，因而能够在不改变摄像装置200的位置的情况下以特征区域为基准改变摄像的范围，例如，在用三脚架等支撑摄像装置200等不从规定位置移动摄像装置200的摄像中，也能够改变摄像的范围。此外，本发明不限于上述实施方式，在不脱离本发明主旨的范围内，可以进行各种改良和设计变更。例如，用于合成图像的生成的多个图像可以不是相同的变焦倍率。作为一例，摄像装置100可以仅对于特征区域以及包含特征区域的周围的图像区域，以相对较高的变焦倍率取得高精度的图像，对于合成图像中包含的其他区域，以相对较低的变焦倍率取得。在此情况下，合成部6b最好进行用于统一与要合成的多个图像数据对应的图像区域的大小的图像处理(缩小处理或放大处理等)。另外，用于合成图像生成的多个图像可以包含由两个以上的多个摄像单元分别摄像的多个图像。例如，摄像装置可以包括两个以上的透镜部、电子摄像部等，根据由各个透镜部以及电子摄像部生成的帧图像逐次生成多个图像，据此生成分别连续摄像得到的多个图像。另外，可以将包含与作为特征区域进行检测、判定的特定对象有关的信息的参考数据等数据与特征点数据进行对应。在此情况下，参考数据例如包含表示利用特征点数据进行检测、判定的特征区域是什么图像区域的信息。并且，关于合成图像内包含特征区域这一情况的通知，也进行基于参考数据的通知。例如，在作为特征区域检测出的图像区域是用户的一位家人的脸部区域的情况下，参考数据中包含该家人的数据，关于包含该家人的脸部区域这一情况的通知，通知由于对用户的家人进行了摄像所以包含了特征区域这一情况。另外，在上述实施方式中，采用的结构通过在中央控制部11的CPU的控制下，驱动图像处理部6的图像取得部6a、合成部6b、特征区域判定部6c、显示控制部7、以及显示部8等来实现，但并不限定于此，采用的结构也可以通过由CPU执行规定的程序等来实现。S卩，在存储程序的程序存储器(省略图示)中，存储包含取得例程、生成例程、判定例程、通知例程的程序。并且，CPU可以利用取得例程逐次取得由摄像单元连续摄像的多个图像。另外，CPU可以利用生成例程对取得的多个图像的部分区域以叠加相加的方式进行合成以逐次生成合成图像。另外，CPU可以利用判定例程在每当合成图像逐次生成时，判定该合成图像内是否包含具有规定特征的特征区域。另外，CPU可以利用通知例程在判定为包含特征区域的情况下通知合成图像内包含特征区域这一情况。同样，摄像装置100、200的各部件的其他处理也可以采用通过由CPU执行规定程 序等来实现的结构。此外，作为存储了用于执行上述各处理的程序的计算机可读取的介质，除了 ROM和硬盘等以外，还能够适用闪存存储器等非易失性存储器、CD-ROM等可移动存储介质。
权利要求
1.一种图像处理装置，其特征在于包括取得单元，逐次取得由摄像单元连续摄像得到的多个图像；合成单元，对由该取得单元取得的多个图像的部分区域以叠加相加的方式进行合成以逐次生成合成图像；第一判定单元，每当由该合成单元逐次生成所述合成图像时，判定该合成图像内是否包含具有规定特征的特征区域；以及控制单元，在由该第一判定单元判定为包含所述特征区域的情况下，执行规定的处理。
2.根据权利要求1所述的图像处理装置，其特征在于所述控制单元在由所述第一判定单元判定为包含所述特征区域的情况下，执行使用了在该时刻由所述合成单元生成的所述合成图像的规定处理。
3.根据权利要求2所述的图像处理装置，其特征在于还包括剪切单元，剪切由所述合成单元生成的所述合成图像内的包含所述特征区域的部分图像区域；所述控制单元在由所述第一判定单元判定为包含所述特征区域的情况下，使用在该时刻由所述合成单元生成的所述合成图像，进行由所述剪切单元执行的所述部分图像区域的剪切。
4.根据权利要求3所述的图像处理装置，其特征在于还包括指定单元，指定至少一个构图，该构图规定由所述剪切单元剪切的所述部分图像区域内的所述特征区域的位置；所述剪切单元剪切在由所述指定单元指定的构图所规定的位置处存在所述特征区域的图像区域。
5.根据权利要求4所述的图像处理装置，其特征在于所述第一判定单元判定所述合成图像内是否包含在由所述指定单元指定的构图所规定的位置处存在所述特征区域的图像区域。
6.根据权利要求5所述的图像处理装置，其特征在于所述控制单元在判定为包含由所述构图规定的图像区域的情况下，停止由所述合成单元执行的合成，在判定为不包含由所述构图规定的图像区域的期间内，继续由所述合成单元执行的合成。
7.根据权利要求1所述的图像处理装置，其特征在于所述控制单元在由所述第一判定单元判定为包含所述特征区域的情况下，通知所述合成图像内包含所述特征区域这一情况。
8.根据权利要求7所述的图像处理装置，其特征在于所述第一判定单元还在每当由所述合成单元逐次生成所述合成图像时，判定该合成图像内是否包含在由所述指定单元指定的构图所规定的位置处存在所述特征区域的图像区域，所述控制单元还在由所述第一判定单元判定为所述合成图像内包含存在所述特征区域的图像区域的情况下，通知所述合成图像内包含所述特征区域这一情况。
9.根据权利要求5所述的图像处理装置，其特征在于还包括第一停止控制单元，在由所述第一判定单元判定为包含存在所述特征区域的图像区域的情况下，停止由所述摄像单元执行的摄像。
10.根据权利要求5所述的图像处理装置，其特征在于所述第一判定单元还对于由所述指定单元指定的多个构图中的每个，判定在由所述合成单元逐次生成的所述合成图像内是否包含在由各构图所规定的位置处存在所述特征区域的图像区域，所述控制单元在由所述第一判定单元判定为包含所述特征区域的情况下，执行使用了在该时刻由所述合成单元生成的所述合成图像的规定处理。
11.根据权利要求9所述的图像处理装置，其特征在于所述控制单元还在对于由所述指定单元指定的全部多个构图，由所述第一判定单元判定为包含存在所述特征区域的图像区域的情况下，通知所述合成图像内包含所述特征区域这一,清况。
12.根据权利要求1所述的图像处理装置，其特征在于还包括摄像控制单元，在由所述第一判定单元判定为所述合成图像内包含所述特征区域的情况下，以该合成图像中的所述特征区域的位置为基准来改变由所述摄像单元摄像的范围。
13.根据权利要求12所述的图像处理装置，其特征在于所述摄像控制单元还改变由所述摄像单元摄像的范围，从而使得在由所述合成单元生成的所述合成图像内，包含所述特征区域存在于规定位置的构图的图像区域。
14.根据权利要求13所述的图像处理装置，其特征在于还包括第二判定单元，每当由所述合成单元逐次生成所述合成图像时，判定该合成图像内是否包含所述特征区域存在于规定位置的构图的图像区域；以及第二停止控制单元，在由该第二判定单元判定为所述合成图像内包含所述特征区域存在于规定位置的构图的图像区域的情况下，停止由所述摄像单元执行的摄像。
15.根据权利要求12至14中任一项所述的图像处理装置，其特征在于所述摄像控制单元控制所述摄像单元的摄像方向。
16.根据权利要求1所述的图像处理装置，其特征在于还包括显示单元，显示由所述合成单元逐次生成的所述合成图像，所述控制单元通过使由所述显示单元显示的所述合成图像中的所述特征区域以能够识别的显示形式进行显示，从而通知所述合成图像内包含所述特征区域这一情况。
17.根据权利要求1所述的图像处理装置，其特征在于所述特征区域包含脸部区域。
18.—种由图像处理装置执行的图像处理方法，其特征在于包括逐次取得由摄像单元连续摄像得到的多个图像的步骤；对取得的多个图像的部分区域以叠加相加的方式进行合成以逐次生成合成图像的步骤；每当逐次生成所述合成图像时，判定该合成图像内是否包含具有规定特征的特征区域的步骤；以及在判定为包含所述特征区域的情况下，执行规定的处理的步骤。
全文摘要
本发明涉及合成图像的图像处理装置，图像处理装置的特征在于包括取得单元，逐次取得由摄像单元连续摄像得到的多个图像；合成单元，对由该取得单元取得的多个图像的部分区域以叠加相加的方式进行合成以逐次生成合成图像；第一判定单元，每当由该合成单元逐次生成所述合成图像时，判定该合成图像内是否包含具有规定特征的特征区域；以及控制单元，在由该第一判定单元判定为包含所述特征区域的情况下，执行使用了在该时刻由所述合成单元生成的所述合成图像的规定处理。
文档编号H04N5/232GK103002216SQ20121033300
公开日2013年3月27日 申请日期2012年9月10日 优先权日2011年9月13日
发明者喜多一记 申请人:卡西欧计算机株式会社