专利名称：摄影设备和该摄影设备的摄影方法
技术领域：
本发明涉及摄影设备和该摄影设备的摄影方法，详细而言，该摄影设备具有根据使用固体摄像元件等而取得的图像信号判定被摄体状况、可在适当的摄影时机进行自动摄影的功能。
背景技术：
一直以来，如下数字相机等摄影设备广泛地得到实用化和普及，该数字相机具有实时浏览功能，并且在产生了摄影指示信号时，将该指示信号的产生时刻的图像信号转换为记录用图像数据并记录到记录介质内，另一方面，具有再现功能，其中，所述实时浏览功能是使用固体摄像元件等将由摄影光学系统成像出的光学像依次转换为图像信号，使用显示装置依次连续地显示基于由此获得的图像信号的图像，所述再现功能是在产生了再现指示信号时，将已记录在记录介质内的图像数据转换为图像信号，使用显示装置来再现显示基于该图像信号的图像。近年来，在这种摄影设备中，出现了具有利用各种图像信号处理技术来判定摄影图像中的被摄体的状况等的功能的摄影设备。例如是如下功能从摄影图像中检测人物的脸部，判定检测出的人物的脸部是否是笑脸、或者检测出的人物的脸部是否拍得美观(例如是否没有闭眼、或者脸部是否朝向正面等)等的被摄体状况。因此，在现有的摄影设备中，例如日本特开2008-311817号公报、日本特开 2000-347278号公报等提出了各种摄影设备，这些摄影设备构成为使用基于上述图像信号处理技术的被摄体状况判定功能，当被摄体的状况满足规定条件时，可自动执行摄影动作。上述日本特开2008-311817号公报所公开的技术是检测被摄体的笑脸，决定摄影时机，在该时机自动进行摄影。并且，上述日本特开2000-347278号公报所公开的技术是判定所检测出的被摄体(人物)是否拍得美观，决定摄影时机，在该时机自动进行摄影。然而，上述日本特开2008-311817号公报、上述日本特开2000-347278号公报等所公开的手段均以检测出的被摄体的状况(检测出的笑脸的状态、检测出的脸部朝向正面的状态等)是持续的作为前提。但是，当期望摄影的被摄体例如为婴幼儿等或小动物等宠物等时，往往难以使预定状况持续。因此，在上述现有手段中，存在如下问题根据作为摄影对象的被摄体的不同， 有时不能决定适当的摄影时机，从而不能始终进行最佳的摄影。另外，作为使用摄影设备进行摄影的场面，经常进行以下场面的摄影例如在摄影图像中包含有多个被摄体的情况下，人物抱着另一人物、婴幼儿等或者小动物等宠物等。在这样的场合中，可推测为，作为被摄体的人物与另一人物或婴幼儿等之间的关系性、人物与宠物等之间的关系性是极其亲密的关系性。另一方面，在摄影者自身作为被摄体包含在摄影图像中的情况下，以往一般是利用例如自定时(Self timer)功能或遥控功能。 因此，例如当考虑到摄影者自身抱着另一人物或婴幼儿等或者小动物等宠物等的状况的场合的情况时，如果使用自定时功能来进行拍摄，则存在这样的问题由于是在经过规定时间后进行摄影，因而摄影时机不一定是最佳的。并且，在上述状况中，即使使用遥控功能等来进行拍摄，也需要摄影者自身进行遥控操作，在摄影者自身抱着另一人物或婴幼儿等或者小动物等宠物等的状态下，同时进行摄影设备的操作或遥控操作会成为麻烦的作业。因此，即使是使用遥控功能时的摄影，也很难始终取得最佳的摄影图像即能够表现亲密关系性的图像。并且，只要能判定是亲密的图像的情况，就能拍摄可想象出被摄体的人际关系的容易理解的图像、重要的图像，并对其进行检索等管理。
发明内容
本发明的目的是提供一种摄影设备，该摄影设备能够判定摄影图像中的多个被摄体之间的关系性，自动决定可表现多个被摄体之间的亲密关系性的适当摄影时机且在该摄影时机自动执行摄影动作，始终取得最佳的摄影图像。本发明的一个实施方式的摄影设备的特征在于，其具有摄像部，其取得被摄体像的图像信号；被摄体部位检测部，其检测基于由所述摄像部取得的图像信号的图像内包含的被摄体中的、包括人物在内的多个被摄体的特定部位；被摄体位置检测部，其检测由所述被摄体部位检测部检测出的所述多个被摄体的各特定部位在所述图像内的相对位置关系； 以及被摄体状态判定部，其根据所述被摄体部位检测部和所述被摄体位置检测部的检测结果，判定所述多个被摄体的关系性。并且，本发明的另一方式的摄影设备的摄影方法是如下摄影设备的摄影方法，该摄影设备使用摄像部取得被摄体像的图像信号，基于由此获得的图像信号进行图像处理， 取得期望的图像数据，其特征在于，所述摄影方法包括第1状况判定处理，判定被摄体的第1状况；摄影处理，在追踪被摄体的同时持续保持摄影准备状态，并且在接收到释放信号时执行释放动作；以及第2状况判定处理，判定被摄体的第2状况。根据以下详细说明，可更清楚本发明的目的和优点。根据本发明，可提供一种摄影设备，该摄影设备能够判定摄影图像中的多个被摄体之间的关系性，自动决定可表现多个被摄体之间的亲密关系性的适当摄影时机且在该摄影时机自动执行摄影动作，始终取得最佳的摄影图像。
图1是示出本发明的一个实施方式的摄影设备的主要结构的方框结构图。图2是示出图1的摄影设备的作用的流程图。图3是示出图2的“第1状况判定”处理(相当于图2的步骤S122、S125的各处理)的子程序的流程图。图4是示出图2的“第2状况判定”处理(相当于图2的步骤S127的处理)的子程序的流程图。图5是示出图1的摄影设备动作时的显示部的实时浏览图像的显示例、示出多个人物作为被摄体显示在图像中时的实时浏览图像的例子的图。图6是示出图1的摄影设备动作时的显示部的实时浏览图像的显示例、示出表示从图5的状态起图像中的多个被摄体相互接近的状态的实时浏览图像的例子的图。图 7是示出图1的摄影设备动作时的显示部的实时浏览图像的显示例、示出表示从图6的状态起图像中的多个被摄体相互接触且视线朝向摄影设备侧的状态的实时浏览图像的例子的图。图8是示出图1的摄影设备动作时的显示部的实时浏览图像的显示例、示出表示人物抱着宠物作为图像中的多个被摄体的状态的实时浏览图像的例子的图。图9是图3的流程图中的“脸部的方向检测”处理的说明图。图10是图3的流程图中的“脸部的方向检测”处理的说明图。图11是图4的流程图中的“视线检测”处理的说明图。图12是图3的流程图中的“手的状态检测”处理的说明图。
具体实施例方式本发明的一个实施方式的摄影设备是具有实时浏览功能的摄影设备，该实时浏览功能是使用固体摄像元件等对由摄影光学系统成像出的光学像依次进行光电转换，生成图像信号，并使用显示装置依次连续地显示基于由此获得的图像信号的图像，具体而言，例如以数字相机为例来示出该摄影设备。该摄影设备在产生了摄影指示信号时，将该指示信号的产生时刻的图像信号转换成记录用图像数据，记录到记录介质内。另一方面，具有再现功能，该再现功能是在产生了再现指示信号时，基于已记录在记录介质内的图像数据，转换成图像信号，使用显示装置再现显示基于该图像信号的图像。并且，在本发明的摄影设备中，构成为具有如下动作模式(在本实施方式中称为 “肢体接触模式(skinship mode)”)，即，当在摄影模式下进行动作时，进行根据实时浏览图像的图像信号来判定被摄体状况的预定条件的状况判定处理，当被摄体状况符合预先设定的最佳条件时，自动执行摄影动作。该“肢体接触模式”是假定了例如人物抱着另一人物、婴幼儿等或者小动物等宠物等的场面即显现了多个被摄体之间的亲密关系性的场面的自动摄影模式。在该“肢体接触模式”中，判定摄影图像(实时浏览图像)中包含的多个被摄体之间的关系性，自动决定可表现其亲密关系性的适当摄影时机且在该摄影时机自动执行摄影动作，取得最佳的摄影图像。在该情况下，被摄体之间的关系性是例如通过以下步骤来判定。(1)基于形成摄影图像(实时浏览图像)的图像信号，使用脸部检测处理技术来检测至少1个人物的脸部(第1脸部)、和与该第1脸部不同的另一人物、婴幼儿等或者小动物等宠物等的脸部(第2脸部)；(2)检测摄影图像的区域中的第1脸部与第2脸部之间的相对位置；(3)检测具有第1脸部的人物的手、手臂等与第2脸部之间的相对位置关系。下面，详细叙述本实施方式的摄影设备。图1是示出本发明的一个实施方式的摄影设备的主要结构的方框结构图。图2是示出图1的摄影设备的作用的流程图。图3是示出图2的“第1状况判定”处理(相当于图 2的步骤S122、S125的各处理)的子程序的流程图。图4是示出图2的“第2状况判定” 处理(相当于图2的步骤S127的处理)的子程序的流程图。图5 图8是示出图1的摄影设备动作时的显示部的实时浏览图像的显示例的图。其中，图5示出多个人物作为被摄体显示在图像中时的实时浏览图像的例子(检测开始时刻的显示例)。图6是表示从图5 的状态起图像中的多个被摄体相互接近的状态的实时浏览图像的例子。图7是表示从图 6的状态起图像中的多个被摄体相互接触且视线朝向摄影设备侧的状态的实时浏览图像的例子。图8是表示人物抱着宠物作为图像中的多个被摄体的状态的实时浏览图像的例子。图9、图10是图3的流程图中的“脸部的方向检测”处理的说明图。图11是图4 的流程图中的“视线检测”处理的说明图。图12是图3的流程图中的“手的检测”处理的说明图。另外，在以下用于说明的各附图中，将各结构要素设为可在附图上识别的程度的大小，因此有时针对各结构要素使比例尺不同来示出。因此，在本发明中，这些附图上记载的结构要素的数量、结构要素的形状、结构要素的大小比例以及各结构要素的相对位置关系并不仅限于图示的方式。首先，下面使用图1的方框结构图来说明本发明的一个实施方式的摄影设备1的
主要结构。本实施方式的摄影设备1构成为具有控制部11、摄像部12、脸部检测部12a、脸部倾斜检测部12b、被摄体位置检测部12c、操作部13、记录部14、报警部15、显示部16以及时钟17等。控制部11是对摄影设备1的整体进行总体控制的控制电路，接收从摄影设备1内的各结构模块中输入的各种信号，进行各种控制处理。控制部11在内部具有图像处理部 11a、被摄体状态判定部lib、模式设定部11c、报警控制部Ild等的电路部。其中，图像处理部Ila是接收由摄像部12生成的图像信号进行各种图像信号处理的信号处理部。被摄体状态判定部lib是判定基于经过图像处理部Ila的预定信号处理后的图像信号的图像中包含的被摄体的状态的电路部。模式设定部Ilc是接收通过对操作部13中的设定动作模式的操作部件(未图示) 进行操作而输出的模式设定指示信号来控制该摄影设备1的动作模式设定的电路部。报警控制部Ild是用于控制报警部15或显示部16等、在预定时机进行预定的报警处理的控制电路部。摄像部12由以下部分等构成成像出被摄体光学像的摄影光学系统(未图示)； 将由该摄影光学系统成像出的光学像转换成电信号的光电转换元件等固体摄像元件；以及进行与由该固体摄像元件生成的图像信号相关的信号处理的信号处理电路。由摄像部12 生成的图像信号被输出到控制部11。另外，作为固体摄像元件，可应用CCD(Charge Coupled Device ；电荷耦合器件)、CMOS (Complementary Metal Oxide Semiconductor ；互补型金属氧化膜半导体)等。脸部检测部12a是进行用于实现被摄体部位检测功能的信号处理的被摄体部位检测部，该被摄体部位检测功能是从基于由摄像部12取得的图像信号而显示的图像中检测例如人物、动物等的特定部位(例如脸部、手等)的图像区域。关于实现该被摄体部位检测功能的技术，已在现有的摄影设备中广泛普及。在本实施方式的摄影设备1中，设定为应用与现有技术相同的技术，省略其详细说明，一般地是通过预先记录脸部图像的样本图像、 将其重叠在图像上并判定共同部的图形匹配、颜色信息的利用等来实现。脸部倾斜检测部12b是进行与由脸部检测部1 从图像中检测出的脸部区域的图像信号相关的信号处理、对检测出的图像中的脸部倾斜状况等进行检测的电路部。被摄体位置检测部12c是从基于由摄像部12取得的图像信号的图像中检测被摄体的特定部位例如人物的手等、检测该特定部位在图像中的位置的电路部。在本实施方式的摄影设备1中，例如对检测出的人物的手等相对于由脸部检测部1 检测出的脸部的相对位置等进行检测。操作部13由以下部分等构成设置在摄影设备1的外表面上的多个操作部件(未图示)；多个开关，它们分别与这些多个操作部件联动；以及处理电路，其将响应于用户操作各操作部件而产生的指示信号传递给控制部11。在操作部13中具有例如电源通断操作部件(和电源通断开关)、快门释放操作部件(和快门释放操作开关)、动作模式设定操作部件(和动作模式设定开关)等。记录部14由以下部分等构成记录介质(未图示)，其接收由摄像部12取得且通过在控制部11中被实施各种信号处理而生成的记录用图像数据，进行记录蓄积；以及驱动电路，其进行针对该记录介质的图像数据记录处理和已记录图像数据的读出处理等，驱动记录介质。报警部15包含例如发出报警音等声音的扬声器等声音输出部。显示部16是如下显示装置进行接收作为控制部11的信号处理结果而生成的再现显示用图像信号来显示对应的图像的显示处理，或者根据来自操作部13的指示信号使设定菜单显示、操作用显示等进行显示。作为显示部16，例如可应用液晶显示装置(LCD)或有机EL显示器等。另外，在将摄影设备1设定为摄影模式来使用的情况下，在显示部16上依次连续显示基于由摄像部12依次取得的图像信号的图像。将此时依次显示在显示部16上的图像称为实时浏览图像。使用者在观看显示于显示部16上的实时浏览图像的同时，决定进行构图、快门释放操作的时机。即，显示部16在摄影动作时主要作为取景器发挥功能。并且，能够在显示部16上显示设定菜单的一览。即，当使用者操作了操作部13中的设定菜单操作部件时，在显示部16上进行上述设定菜单一览显示。使用者能够在观看该设定菜单一览显示的同时， 使用上述操作部13的多个操作部件来进行摄影设备1的各种设定操作和选择操作，进行期望的摄影条件等的设定。并且，在将摄影设备1设定为再现模式来使用的情况下，可在显示部16上显示基于已记录在记录介质内的图像数据的图像等。时钟17由计时电路等构成，该计时电路有助于在本摄影设备1中的内部电路的控制等中所需的计时动作等。另外，在本实施方式的说明中，示出将时钟17作为单独的结构模块来应用的例子(参照图1)，但是，也可取而代之，采用构成为将时钟功能包含在控制部 11的内部的方式。
本实施方式的摄影设备1构成为除了上述结构部件以外，还具有各种构结构部件，但是，上述结构部件以外的结构是与本发明没有直接关联的结构。因此，为了避免附图的复杂化，省略了上述结构部件以外的结构的图示，并且假定具有与现有摄影设备相同的结构，省略它们的详细说明。关于使用这样构成的本实施方式的摄影设备1来进行摄影时的作用，下面使用图 2 图4的流程图和图5 图12的说明图等来进行说明。首先，使用者(摄影者)操作摄影设备1的操作部13的电源通断操作部件。由此， 摄影设备1启动，开始图2的控制处理的处理顺序(开始)。在图2的步骤SlOl中，控制部11经由模式设定部Ilc确认摄影设备1的当前设定状态，确认是否设定为可执行摄影动作的摄影模式。这里，在确认到设定为摄影模式的情况下，前进到下一步骤S102的处理。另一方面，在确认到未设定为摄影模式的情况下，则认为设定了其他动作模式，前进到步骤S141的处理。以下是摄影模式时的处理顺序的概要。首先，在步骤S102中，控制部11控制摄像部12、图像处理部11a、显示部16等，执行在显示部16的显示画面上显示实时浏览图像的实时浏览图像显示处理。之后，前进到步骤S103的处理。图5示出在该实时浏览图像显示处理中、显示于显示部16的显示画面16a上的实时浏览图像的一例。在图5中示出在显示画面16a内包含第1被摄体100和第2被摄体 101的状况。在步骤S103中，控制部11监视来自操作部13的指示信号，确认是否进行了用于进行摄影动作的摄影操作。这里，在确认到摄影操作执行的情况下，前进到下一步骤S104 的处理。另外，在未确认到摄影操作执行的情况下，前进到步骤S121的处理。在步骤S104中，控制部11确认在与当前摄影模式相关的详细设定中、是否已设定为动态图像摄影模式。这里，在确认到已设定为动态图像摄影模式的情况下，前进到下一步骤S105的处理。另外，在未设定为动态图像摄影模式的情况下，前进到步骤S107的处理。在步骤S105中，控制部11控制摄像部12、图像处理部11a、显示部16、记录部14 等，执行通常的动态图像摄影处理。之后，前进到步骤S106的处理。在步骤S106中，控制部11监视来自操作部13的指示信号，确认是否进行了用于结束摄影动作的操作。这里，在确认到摄影结束操作的情况下，前进到下一步骤S135的处理。另外，在未确认到摄影结束操作的情况下，返回到上述步骤S104的处理，重复以后的处理。另一方面，在上述步骤S104的处理中确认到未设定为动态图像摄影模式而前进到步骤S107的处理后，在该步骤S107中，控制部11控制摄像部12、图像处理部11a、显示部16、记录部14等，执行通常的静态图像摄影处理。之后，前进到步骤S135的处理。在步骤S135中，控制部11监视来自操作部13的指示信号，确认是否进行了电源断开操作。这里，在确认到电源断开操作的情况下，前进到下一步骤S136的处理。另外，在未确认到电源断开操作的情况下，返回到上述步骤SlOl的处理，重复以后的处理。在步骤S136中，控制部11接收来自操作部13的指示电源断开的信号，执行使该摄影设备1的主电源成为断开状态的电源断开处理。由此，结束该摄影设备1中的控制顺序。
9
另外，关于与上述的实时浏览图像显示处理(步骤S102)、动态图像摄影处理(步骤S105)、静态图像摄影处理(步骤S107)的各处理顺序相关的具体处理内容，与本发明没有直接关联，假定进行与在现有摄影设备中应用的处理相同的通常处理，省略说明。在上述步骤SlOl的处理中确认到未设定为摄影模式时，分支到步骤S141的处理。 该步骤S141以后的处理是再现模式时的处理顺序的概要。S卩，在步骤S141中，控制部11经由模式设定部Ilc再次确认摄影设备1的当前设定状态，确认是否已设定为可执行再现动作的再现模式。这里，在确认到已设定为再现模式的情况下，前进到下一步骤S142的处理。另一方面，在确认到未设定为再现模式的情况下， 前进到上述步骤SlOl的处理，重复以后的处理。另外，在该情况下，作为摄影设备1的动作模式大致划分为“摄影模式”和“再现模式”这两个动作模式进行了说明。作为摄影设备1，当然也可考虑构成为具有这两个动作模式以外的其他动作模式的情况。在该情况下，只要在上述步骤S141的处理分支中以同样的方式进一步设置用于确认其他动作模式的处理顺序即可。在步骤S142中，控制部11控制记录部14、图像处理部11a、显示部16等，执行与已记录在记录介质内的图像数据相关的文件一览显示处理。之后，前进到步骤S143的处理。在步骤S143中，控制部11监视来自操作部13的指示信号，确认是否进行了与应该再现显示的图像相关的数据文件选择操作。这里，在确认到进行了文件选择操作的情况下，前进到下一步骤S144的处理。并且，在确认到在超过预定时间的期间内未进行文件选择操作的情况下，前进到步骤S145的处理。另外，该情况下的预定时间是通过确认时钟17 的输出信号来执行的。之后，前进到步骤S144的处理。在步骤S144中，控制部11控制显示部16等，执行选择文件再现显示处理，该选择文件再现显示处理是进行基于在上述步骤S143的处理中选择的数据文件的图像的再现显示。之后，前进到步骤S145的处理。在步骤S145中，控制部11监视来自操作部13的指示信号，确认是否进行了再现动作结束操作。这里，在确认到再现结束操作的情况下，前进到步骤S135的处理。另外，在未确认到再现结束操作的情况下，前进到上述步骤S142的处理，重复以后的处理。另外，关于与上述的文件一览显示处理(步骤S142)、文件选择操作处理(步骤 S143)、选择文件再现处理(步骤S144)的各处理顺序相关的具体处理内容，与本发明没有直接关联，假定进行与在现有的摄影设备中应用的处理相同的处理，省略说明。另一方面，在上述步骤S103的处理中未确认到摄影操作的执行而分支到步骤 S121的处理后，在该步骤S121中，控制部11经由模式设定部Ilc确认摄影设备1的当前设定状态，确认是否已设定为摄影模式中的肢体接触模式。这里，在确认到已设定为肢体接触模式的情况下，前进到下一步骤S122的处理。另一方面，在确认到未设定为肢体接触模式的情况下，前进到上述步骤SlOl的处理，重复以后的处理。在步骤S122中，控制部11控制脸部检测部12a、脸部倾斜检测部12b、被摄体位置检测部12c、被摄体状态判定部lib等，执行“第1状况判定处理”。该第1状况判定处理的具体内容如图3所示。下面，使用图3详细叙述第1状况判定处理的处理顺序。这里，“第1状况判定处理”是如下处理检测显示中的实时浏览图像中的被摄体的状况，判定该被摄体的状况是否符合在“肢体接触模式”中应该进行自动摄影的预定条件。并且，被摄体的状况中的“第1状况”是指，可估计出实时浏览图像内包含的多个被摄体之间的关系性亲密的状况。具体而言，考虑实时浏览图像例如是图6、图8所示的状况。图6示出在显示画面16a内、第1被摄体100(人物)抱着第2被摄体101 (另一人物或婴幼儿等)的状况。图8示出在显示画面16a内、第1被摄体100(人物)抱着第2被摄体IOlA (宠物等)的状况。这里，关于第1被摄体100与第2被摄体101的关系性，相对于图5所示的状况， 可认为在图6的状况下更具有亲密的关系性。同样，关于第1被摄体100与第2被摄体101的关系性，相对于图5所示的状况， 可认为在图8的状况下更具有亲密的关系性。因此，考察图6、图8所示的状况，则可根据显示画面16a内的图像类推出被摄体的关系性。例如，可发现如下等有特征的情况在显示画面的上部存在超过预定值的大小的脸部(第1脸部)(参照后述的图3 的步骤S201)；在检测出的第1脸部的下侧存在该脸部的人物的双手(参照后述的图3的步骤 S202)；在检测出的第1脸部的下侧存在该脸部的人物的一只手和第2脸部(参照后述的图3的步骤S204)；第1脸部的方向朝着画面的中央侧(参照后述的图3的步骤S205)在第1脸部朝着的方向上存在大致相同大小的第2脸部(参照后述的图3的步骤S206)；第2脸部的方向朝着画面的中央侧(参照后述的图3的步骤S207)第1脸部与第 2脸部之间的距离为预定距离(一个脸部宽度)以下(参照后述的图3的步骤S208)；以及第1被摄体的画面的外侧的肩部上升(参照后述的图3的步骤S209)。因此，在图3的“第1状况判定处理”中，进行与实时浏览图像的图像信号相关的图像信号处理，检测被摄体的状况，判定所检测出的被摄体状况是否符合上述各条件，由此判定实时浏览图像中的多个被摄体之间的关系性。另外，后述的“第2状况判定处理”(图2的步骤S127的处理；参照图4的子程序) 中的“第2状况”是指，在实时浏览图像的被摄体之间处于“第1状况”的状况下且该图像中的多个被摄体朝向正面而成为所谓的“照相机视线”的状况，即处于“第1状况”的具有亲密关系性的多个被摄体同时将视线朝向摄影设备1侧的状况。即，成为“第2状况”的时刻是“肢体接触模式”时的摄影时机。具体而言，例如，假定实时浏览图像成为图7、图8所示状况的情况是在“第2状况判定处理”中符合条件的情况。S卩，图7示出如下状况在显示画面16a内、在第1被摄体100(人物)抱着第2被摄体101 (另一人物或婴幼儿等)的状况下，第1、第2被摄体双方的视线朝向存在摄影设备 1的一侧即正面侧。该状况可以说是能够从图6的状况转变的状况。并且，图8示出如下状况在显示画面16a内、在第1被摄体100(人物)抱着第2 被摄体IOlA(宠物等)的状况下，与图7的状况相同，第1、第2被摄体双方的视线朝向存在摄影设备1的一侧(正面侧)。首先，在图3的步骤S201中，控制部11控制脸部检测部12a、被摄体位置检测部 12c等，进行脸部检测处理等预定图像处理，在基于由摄像部12取得的图像信号的图像中， 确认在画面上部是否检测出超过预定值的大小的脸部。这里，在检测出该脸部的情况下，前进到下一步骤S202的处理。并且，在未检测出该脸部的情况下，前进到步骤S211的处理， 进行表示被摄体不符合状况的意思的“不符合判定”。之后，返回到图2的处理顺序。在步骤S202中，控制部11控制脸部检测部12a、被摄体位置检测部12c等，进行预定的图像处理，在基于由摄像部12取得的图像信号的图像中，确认在通过上述步骤S201的处理检测出的脸部的下侧是否存在该脸部的人物的双手。这里，在确认到存在该双手的情况下，前进到下一步骤S203的处理。并且，在不存在该双手的情况下，前进到步骤S204的处理。这里，以如下方式进行“手的检测”。如图6、图7、图8等所示，在第1被摄体100 抱着第2被摄体101、IOlA的状况下，第1被摄体100的双手的形状例如可表示为图12(a)、 图12(b)所示的形状。另外，在该情况下，图12(a)所示的形状表示手的长度方向相对于画面朝向水平方向的状况。并且，图12(b)所示的形状表示手的长度方向相对于画面朝向垂直方向的状况。图像上的手部分的大小是从被摄体脸部的大小(画面上的长度F)的一半(F/2) 到与被摄体脸部的大小大致相同的大小。并且，关于手部分的颜色信息，可认为与在脸部检测处理中检测出的脸部的颜色信息近似。因此，控制部11控制脸部检测部12a、被摄体位置检测部12c、被摄体状态判定部lib等，从实时浏览图像内检测符合这些条件的部分。在步骤S203中，控制部11控制脸部检测部12a、被摄体位置检测部12c等，进行预定的图像处理，在基于由摄像部12取得的图像信号的图像中，确认在通过上述步骤S202的处理检测出的两手中的、在画面上位于上侧的手的附近是否存在与通过上部步骤S201的处理检测出的脸部(第1脸部)不同的另一脸部(第2脸部)。这里，在确认到在上侧的手附近存在第2脸部的情况下，前进到步骤S210的处理，进行表示被摄体状况符合的意思的 “符合判定”。之后，返回到图2的处理顺序。并且，在上侧的手附近不存在第2脸部的情况下，前进到步骤S211的处理，进行表示被摄体不符合状况的意思的“不符合判定”。之后，返回到图2的处理顺序。另一方面，在上述步骤S202的处理中在脸部的下侧不存在该脸部的人物的两手的情况下，前进到步骤S204的处理，在该步骤S204中，控制部11控制脸部检测部12a、被摄体位置检测部12c等，进行预定的图像处理，在基于由摄像部12取得的图像信号的图像中， 确认在通过上述步骤S201的处理检测出的脸部的画面的下侧是否存在该脸部的人物的一只手和第2脸部。这里，假定将通过上述步骤S201的处理最初检测出的脸部称为第1脸部。 并且，第2脸部的检测条件是，检测与第1脸部大致相同大小的脸部作为第2脸部。在该步骤S204的处理中确认到在第1脸部的下侧存在一只手和第2脸部的情况下，前进到步骤S205的处理。并且，在未确认到在第1脸部的下侧存在一只手和第2脸部的情况下，前进到步骤S211的处理，进行表示被摄体不符合状况的意思的“不符合判定”。 之后，返回到图2的处理顺序。在步骤S205中，控制部11控制脸部检测部12a、脸部倾斜检测部12b、被摄体位置检测部12c等，进行预定的图像处理，在基于由摄像部12取得的图像信号的图像中，确认第 1脸部的方向是否朝着画面的中央侧。这里，在确认到第1脸部的方向朝着画面的中央侧的情况下，前进到下一步骤S206的处理。并且，在第1脸部的方向不朝着画面的中央侧的情况下，前进到步骤S211的处理，进行表示被摄体不符合状况的意思的“不符合判定”。之后，返回到图2的处理顺序。在步骤S206中，控制部11控制脸部检测部12a、脸部倾斜检测部12b、被摄体位置检测部12c等，进行预定的图像处理，在基于由摄像部12取得的图像信号的图像中，确认在第1脸部朝着的方向上是否存在第2脸部。这里，在确认到在第1脸部朝着的方向上存在第2脸部的情况下，前进到下一步骤S207的处理。并且，在第1脸部朝着的方向上不存在第2脸部的情况下，前进到步骤S211的处理，进行表示被摄体不符合状况的意思的“不符合判定”。之后，返回到图2的处理顺序。在步骤S207中，控制部11控制脸部检测部12a、脸部倾斜检测部12b、被摄体位置检测部12c等，进行预定的图像处理，在基于由摄像部12取得的图像信号的图像中，确认第 2脸部的方向是否朝着画面的中央侧(第1脸部所在的方向)。这里，在确认到第2脸部的方向朝着画面的中央侧的情况下，前进到下一步骤S208的处理。另外，在第2脸部的方向不朝着画面的中央侧的情况下，前进到步骤S211的处理，进行表示被摄体不符合状况的意思的“不符合判定”。之后，返回到图2的处理顺序。在步骤S208中，控制部11控制脸部检测部12a、被摄体位置检测部12c等，进行预定的图像处理，在基于由摄像部12取得的图像信号的图像中，确认第1脸部与第2脸部之间的距离是否是一个脸部的宽度尺寸以下的距离。在该步骤S208的处理步骤中，通过检测第1脸部与第2脸部的接近状况，判定两者的关系性。即，在第1脸部与第2脸部之间的距离为一个脸部的宽度尺寸以下的情况下， 判定为两者具有亲密的关系性。S卩，在该步骤S208的处理中确认到第1脸部与第2脸部之间的距离是一个脸部的宽度尺寸以下的距离的情况下，判定为两者具有亲密的关系性，前进到步骤S210的处理， 进行表示被摄体状况符合的意思的“符合判定”。之后，返回到图2的处理顺序。另一方面，在上述步骤S208的处理中确认到第1脸部与第2脸部之间的距离大于一个脸部的宽度尺寸的情况下，判定为两者的关系性不亲密，前进到步骤S209的处理。在步骤S209中，控制部11控制脸部检测部12a、被摄体位置检测部12c等，进行预定的图像处理，在基于由摄像部12取得的图像信号的图像中，确认是否是如下状态以画面的水平方向为基准、第1脸部的人物的肩部中的靠画面外侧的肩部相对于另一个肩部的位置位于上侧。这里，在确认到以画面水平方向为基准、第1脸部的人物的一个肩部(靠画面外侧的肩部)相对于另一个肩部位于上侧的状态的情况下，前进到步骤S210的处理，进行表示被摄体状况符合的意思的“符合判定”。之后，返回到图2的处理顺序。另外，在以画面水平方向为基准、第1脸部的人物的一个肩部(靠画面外侧的肩部)相对于另一个肩部不位于上侧的状态(在下侧或者两肩为大致相同位置)的情况下， 前进到步骤S211的处理，进行表示被摄体状况不符合的意思的“不符合判定”。之后，返回到图2的处理顺序。另外，作为肩部的判定，只要判定出位于脸部检测的结果的下部(照相机判定重力方向、或者通过脸部检测的上下判定来进行)的、与脸部宽度相当且在横方向上连续存在的、对比度变化的部分，就能判定出图像中的哪个部分是肩部。即，关于肩部是上升还是下降的判定，能够根据该连续存在的对比度变化部的端部(远离脸部的部分)位于画面内的哪个位置来判定。并且，根据该横方向上的对比度变化部分的大致直线(轮廓)相对于上述上下关系或者与其垂直的画面左右方向以何种程度倾斜，能够得知肩部的上升情况，从而能够判定为该被摄体朝着肩部下降的方向。当分别得知多个人物朝向的状态后，能进行“相互面对检测”。也可以在此基础上结合黑眼球白眼球的位置关系、手的位置等来进行判定。通过这样的判定，能判定出多个被摄体的姿势。由此，能够判定为处于大致可互相拥抱的位置的二个人物的关系亲密。特别是，在周围什么也没有、却处于这种状态的情况下，可认为这些人的人际关系良好、出于自身的意愿而彼此靠近，因而是根据姿势来类推人际关系的技术。这样，本发明的特征是，通过判定多个人物的相互面对状态、或者通过基于被摄体姿势或视线的多个人物姿势判定，来判定上述多个被摄体的关系性。对于该状况判定，为了进一步提高可靠度，也可以判定在这些人物的左右有没有人。存在这样的情况，即当有很多人时，人与人之间不得已地彼此靠近。还存在这样的情况在比较狭窄的场所，人与人之间不得已地彼此靠近，在这样的情况下，可以检测黑眼球所看的方向，将是否相互凝视等作为辅助信息，可以通过距离分布(利用对焦时的信息来检测)或者对比度变化检测来判定左右什么也没有的状况。另外，在上述步骤S205、S206、S207等的各处理中，作为检测脸部方向的方法，例如使用如下所示的手段。图9示出在该摄影设备1中的显示部16的显示画面16a上显示有预定的实时浏览图像的状况。该图9的显示画面16a示出例如包含有具有第1脸部IOOa的人物即第1 被摄体100、和具有第2脸部IOla的人物即第2被摄体101的实时浏览图像的一例。假定在图9的显示画面16a中，第1被摄体100和第2被摄体101均朝向画面的中央侧。在图9中，用双点划线将中央线表示为虚拟线C，该中央线在显示画面16a的大致中央部分将该画面分为左右两部分。在显示于显示画面16a上的实时浏览图像处于这种状况的情况下，例如检测第2 被摄体101的脸部IOla的方向。这里，在图9中，放大地示出第2被摄体101的第2脸部101a。脸部检测部1 根据第2脸部IOla的阴影信息，检测在上下方向上通过画面上的第2脸部IOla的大致中心 A的线Al (图9中虚线表示的线)；在上下方向上通过根据第2脸部IOla的两眼和鼻子的各位置而估计的脸部本身的中心(从正面观察时的中心)的线B (图9、图10的实线所表示的线；通过鼻梁的线)；以及第2脸部IOla的宽度方向(画面左右方向)的长度F(不是尺寸的绝对值，而是只要知道画面上的相对大小即可)等，并根据这些检测信息，求出线Al与线B之间的的偏移量Δ X (参照图9)。在该情况下，假定从头上侧俯视图9所示状态的第2被摄体101，则如图10所示。 即，图10示出从图9中的箭头D所示的方向观察时的第2被摄体101的状况。换言之，图9 所示的第2被摄体101是从图10中的箭头E所示的方向(正面侧)观察时的状态。在该状态中，第2脸部IOla以正面为基准、以图10所示的标号θ的角度朝向画面中央侧。因此，此时的脸部的角度θ可根据θ = arcsin(2 · Δ χ/F)求出。这些运算例如在被摄体状态判定部lib等中进行。通过这样地求出脸部的角度θ，能够判别检测出的脸部是否朝向画面16a的中央侧。如上所述，在图3的处理顺序中，在步骤S210( “符合判定”)或者步骤S211( “不符合判定”)的各判定处理后，返回到图2的处理顺序，则前进到图2的步骤S123的处理。在图2的步骤S123中，控制部11确认上述图3的“第1状况判定处理”的结果， 即，实时浏览图像中的多个被摄体是否符合“第1状况”。这里，在确认到“符合判定”的情况下，前进到步骤SlM的处理。并且，在是“不符合判定”的情况下，返回到上述步骤SlOl 的处理，重复以后的处理。在步骤SlM中，控制部11经由报警控制部Ild控制报警部15，进行预定的报警动作、例如产生蜂鸣音等的动作。该报警动作是出于以下目的而进行的动作使被摄体的注意朝向摄影设备1侧，使第1脸部IOOa和第2脸部IOla的视线朝向摄影设备1。因此，不限于例如蜂鸣音等，也可以发出预先登记记录在摄影设备1的内部存储器(未图示)内的人物的吆喝声、动物的啼鸣声等。与此同时，控制部11控制摄像部12、图像处理部11a、显示部16等，开始摄影动作。之后，前进到步骤S125的处理。这里进行的摄影动作(摄影处理)是这样的动作处理 在例如追随检测出的脸部的同时，继续进行与该脸部的区域相关的AF动作和AE动作等，始终保持摄影准备状态，当接收到释放信号时，执行释放动作。在步骤S125中，控制部11再次执行“第1状况判定处理”(参照图幻。之后，前进到步骤SU6的处理。在步骤SU6中，控制部11确认“第1状况判定处理”的结果。这里，在确认到“符合判定”的情况下，前进到步骤S127的处理。另外，在是“不符合判定”的情况下，前进到上述步骤S134的处理。在步骤S134中，控制部11进行经由报警控制部Ild的报警部15的控制、以及显示部16的控制，执行预定的报警动作。该报警动作是如下动作处理报告由于被摄体状况不符合预定条件而不能执行“肢体接触模式”的摄影的情况。具体而言，执行如下处理例如产生蜂鸣音等、或者在显示部16上进行该情况的报警显示。在该报警动作后，结束在上述步骤SlM的处理中开始的摄影动作。之后，前进到步骤S135的处理。另一方面，在上述步骤SU6的处理中，在“第1状况判定处理”的结果是“符合判定”的情况下，前进到步骤S127的处理，在该步骤S127中，控制部11控制脸部检测部12a、 脸部倾斜检测部12b、被摄体位置检测部12c、被摄体状态判定部lib等，执行“第2状况判定处理”。该第2状况判定处理的具体内容如图4所示。下面，利用图4详细叙述第2状况判定处理的处理顺序。首先，在图4的步骤S221中，控制部11控制被摄体状态判定部lib等，进行预定的图像处理，确认第1脸部IOOa是否是照相机视线。这里，在确认到第1脸部IOOa是照相机视线的情况下，前进到下一步骤S222的处理。另外，在第1脸部IOOa不是照相机视线的情况下，前进到步骤S2M的处理，进行表示被摄体不符合状况的意思的“不符合判定”。之后，返回到图2的处理顺序。在步骤S222中，控制部11控制被摄体状态判定部lib等，进行预定的图像处理， 确认第2脸部IOla是否是照相机视线。这里，在确认到第2脸部IOla是照相机视线的情况下，前进到下一步骤S223的处理，在该步骤S223中，控制部11进行表示被摄体状况符合的意思的“符合判定”。之后，返回到图2的处理顺序。另外，在第2脸部IOla不是照相机视线的情况下，前进到步骤S2M的处理，进行表示被摄体状况不符合的意思的“不符合判定”。之后，返回到图2的处理顺序。并且，在上述步骤S221、S222等的各处理中，作为检测照相机视线的方法，例如使用以下所示的手段。这里，为了说明第1脸部100a、第2脸部IOla各自是照相机视线的检测处理，以下示出使用图9所示的状况作为显示在显示部16的显示画面16a上的实时浏览图像，进行例如第2被摄体101的视线检测时的例子。图11放大地示出从头上侧俯视图9所示的第 2被摄体101时的状况。在该状况下，被摄体位置检测部12c、被摄体状态判定部lib等根据第2脸部IOla 的阴影信息(由脸部检测部1 取得)检测黑眼球的位置，求出在图11的上下方向上通过检测出的黑眼球位置的线E1、与在图11的上下方向上通过脸部的大致中心A的线A2(参照图U)之间的偏移量δε。在该状态下，第2脸部IOla以正面为基准、以图11所示的符号Φ的角度朝向画面外侧。因此，此时的视线的角度Φ可根据Φ = arcsin(2 ‘ ΔΕ/F)求出。通过这样地求出视线的移动角度Φ，能够判别检测出的脸部的视线是否是照相机视线，即，在显示画面16a中第1脸部100a、第2脸部IOla是否是照相机视线。如上所述，在图4的处理顺序中，在步骤S223( “符合判定”)或者步骤S2M( “不符合判定”)的各判定处理后，返回到图2的处理顺序，前进到图2的步骤S131的处理。在图2的步骤S131中，控制部11确认上述图4的“第2状况判定处理”的结果， 即，实时浏览图像中的多个被摄体是否符合“第2状况”。这里，在确认到“符合判定”的情况下，控制部11判断为摄影时机，在该时机执行快门释放处理。之后，前进到步骤S133的处理。由此，在图7、图8所示的被摄体之间具有亲密关系性的状况下，取得两个被摄体是 “照相机视线”的图像。另一方面，在上述步骤S131的处理中，确认到是“不符合判定”的情况下，前进到步骤S132的处理。在步骤S132中，控制部11根据时钟17的输出确认是否经过了预定时间。这里， 当确认到经过了预定时间时，前进到步骤S133的处理。并且，在未经过预定时间的情况下，返回到上述步骤S125的处理，重复以后的处理。即，在从上述步骤S131的处理分支到该步骤S132的处理的情况下，在经过预定时间之前重复步骤S125 S131的处理。由此，等待实时浏览图像中的被摄体状况符合预定条件。接着，最后，在步骤S133中，控制部11结束与“肢体接触模式”的一系列摄影动作相关的处理。之后，前进到步骤S135的处理。
如上所述，根据上述一个实施方式，作为表示实时浏览图像中的被摄体之间的关系性亲密的场合，假定了第1被摄体100抱着第2被摄体101 (101A)的状况。并且，根据实时浏览图像的图像信号检测被摄体状况，在检测出的被摄体状况符合该假定状况且第1、第2被摄体100、101 (101A)成为“照相机视线”的时机，自动执行快门释放动作。因此，摄影者自身可始终持续操作摄影设备1、不需要复杂的操作，因而摄影者自身也能作为被摄体进入到摄影图像中。在该情况下，摄影者(第1被摄体)只需在摄影设备1的前面表现出与第2被摄体的亲密关系性、同时制造出符合预定状况的状况，则摄影设备1会根据实时浏览图像自动决定适当的摄影时机，并在该时机自动执行摄影动作。因此， 能够容易取得可表现包含摄影者自身在内的多个被摄体之间的亲密关系性的图像。另外，以上是以释放的例子进行了说明，但也能够进行如下应用将表示关系性的信号赋予给图像以使检索更容易、或者将关系性显示在显示部上，以能够提供用于拍摄更亲密的照片的建议。而且，在本实施方式的摄影设备1中，不是在多个被摄体中的某一方处于良好状况(例如笑脸等)的时机进行摄影，而是不会错过作为图像完成度高的瞬间、即在能表现出多个被摄体之间的亲密关系性的状况(第ι被摄体抱着第2被摄体的状况)下且两者成为 “照相机视线”的瞬间，从而能够可靠地进行摄影。在该情况下，作为用于取得“照相机视线”的手段，使用报警部15来进行发声，使被摄体的注意朝向摄影设备1侧，因而在第2被摄体是婴幼儿或宠物等的情况下，更加有效。因此，在与动作剧烈的第2被摄体例如婴幼儿等或宠物等一起进行拍摄的情况下，也不需要象以往那样进行多次重拍，易于可靠地取得期望的图像。另外，在上述一个实施方式中，示出了根据被摄体状态判定部lib的判定结果决定释放时机的例子，但并不限于这样的例子，还可以考虑其他实施方式。例如，针对以上述方式取得的摄影图像数据，如果将被摄体状态判定部lib的判定结果的数据作为元数据(metadata)自动记录，则日后，在使用者从拍摄收集的多个图像数据中进行期望的图像检索时是有用的。并且，还可以考虑在实时浏览图像的显示中在显示部上进行与被摄体状态判定部 lib的判定结果相关的显示的方式。并且，还能实现这样的应用在进行这种显示的同时，一并进行导向(guide)显示，该导向显示用于进行可表现例如被摄体之间的亲密关系性的拍照。并且，这里，说明了设定为“肢体接触模式”的实施例，但可以不是每次进行设定， 而是采用检测脸的大小、位置、数量来自动设定为该模式的方式。本发明并不限定于上述的实施方式，显然可在不脱离本发明主旨的范围内实施各种变形和应用。而且，在上述实施方式中包含有各种阶段的发明，通过所公开的多个结构要素的适当组合，可提取出各种发明。例如，即使从上述一个实施方式所示的全部结构要素中删除若干结构要素，也能解决发明所要解决的课题，在可得到发明效果的情况下，删除了该结构要素后的结构也可提取为发明。本发明除了由所附权利要求限定以外，不受特定实施方式的制约。
本发明不限于数字相机等特别用于摄影功能的电子设备即摄影设备，还可以应用于具有摄影功能的其他形式的电子设备，例如便携电话、录音设备、电子笔记本、个人计算机、游戏设备、电视机、钟表、利用GPS (GlcAal Positioning System，全球定位系统)的导航设备等、各种带有摄影功能的电子设备。
权利要求
1.一种摄影设备，其特征在于， 所述摄影设备具有摄像部，其取得被摄体像的图像信号；被摄体部位检测部，其检测基于由所述摄像部取得的图像信号的图像内包含的被摄体中的、包括人物在内的多个被摄体的特定部位；被摄体位置检测部，其检测由所述被摄体部位检测部检测出的所述多个被摄体的各特定部位在所述图像内的相对位置关系；以及被摄体状态判定部，其根据所述被摄体部位检测部和所述被摄体位置检测部的检测结果，判定所述多个被摄体的关系性。
2.根据权利要求1所述的摄影设备，其特征在于， 所述被摄体位置检测部检测由所述被摄体部位检测部检测出的所述多个被摄体的各特定部位中的多个脸部的位置关系；所述多个脸部中的一个第1脸部与具有所述第1脸部的被摄体的至少一只手之间的位置关系；具有所述第1脸部的被摄体的一只手与所述多个脸部中的另一个第2脸部之间的位置关系；以及所述第1脸部和所述第2脸部各自的眼睛的位置。
3.根据权利要求1所述的摄影设备，其特征在于，所述被摄体位置检测部还检测与所述第1脸部和所述第2脸部各自朝着的方向相关的信息ο
4.根据权利要求1至3中的任一项所述的摄影设备，其特征在于，所述被摄体状态判定部将所述第1脸部和所述第2脸部各自的眼睛均朝向该摄影设备侧的时刻决定为摄影时机。
5.一种摄影设备的摄影方法，该摄影设备使用摄像部取得被摄体像的图像信号，基于由此获得的图像信号进行图像处理，取得期望的图像数据，其特征在于，所述摄影方法包括第1状况判定处理，判定被摄体的第1状况；摄影处理，在追踪被摄体的同时持续保持摄影准备状态，并且在接收到释放信号时执行释放动作；以及第2状况判定处理，判定被摄体的第2状况。
6.根据权利要求5所述的摄影设备的摄影方法，其特征在于，该摄影方法包括如下步骤执行所述第1状况判定处理；在所述第1状况判定处理的结果为被摄体的状况符合所述第1状况时，开始摄影处理；在继续进行所述摄影处理时，再次执行所述第1状况判定处理； 在所述再次执行的第1状况判定处理的结果为被摄体的状况持续保持所述第1状况的情况下，执行所述第2状况判定处理；以及在所述第2状况判定处理的结果为被摄体的状况符合所述第2状况时，将该时刻决定为摄影时机，产生释放信号，然后，结束摄影处理。
7.根据权利要求5或6所述的摄影设备的摄影方法，其特征在于， 所述第1状况判定处理中的所述第1状况是能够表现多个被摄体之间的亲密关系性的状况，所述第2状况判定处理中的所述第2状况是多个被摄体各自的眼睛均朝向该摄影设备侧的状况。
全文摘要
本发明提供摄影设备和该摄影设备的摄影方法，可判定摄影图像中的多个被摄体之间的关系性，自动决定能表现多个被摄体之间的亲密关系性的适当摄影时机且在该摄影时机自动执行摄影动作，始终取得最佳的摄影图像。该摄影设备具有摄像部(12)，其取得被摄体像的图像信号；被摄体部位检测部(12a)，其检测基于由摄像部取得的图像信号的图像内包含的被摄体中的包含人物在内的多个被摄体的特定部位；被摄体位置检测部(12c)，其检测由被摄体部位检测部检测出的多个被摄体的各特定部位在图像内的相对位置关系；被摄体状态判定部(11b)，其根据被摄体部位检测部和被摄体位置检测部的检测结果，判定多个被摄体的关系性。
文档编号H04N5/232GK102158649SQ20111003377
公开日2011年8月17日 申请日期2011年1月31日 优先权日2010年2月1日
发明者原聪司, 植村有为子, 谷宪, 高桥薰示 申请人:奥林巴斯映像株式会社