专利名称：操作输入设备、操作输入方法和程序的制作方法
技术领域：
本发明涉及一种例如响应于操作输入而执行特定处理的操作输入 设备及其方法。此外，本发明涉及一种由该操作输入设备执行的程 序。
背景技术：
日本未审专利申请公报No. 2008-72183公开了 一种被配置为通过 当检测到峥开的两眼之一 闭合并且之后两眼再次峥开的动作时释放快 门来拍摄静止图像的摄影设备。以这种方式，摄影者通过遥控在希望 的定时拍照。
发明内容
例如，希望根据被拍摄人的预定操作的遥控来操作诸如成像设备 的设备。另外，希望提供具有高实用性和高可用性的这种设备。
为了解决以上问题，提供了一种具有下述结构的操作输入设备。 根据本发明的实施例，提供了一种操作输入设备，包括身体部 分检测单元，配置为接收通过图像拍摄获得的图像数据，并在与所述 图像数据对应的图像中检测拍摄对象的特定身体部分；状态确定单 元，配置为当使用身体部分检测单元检测到多个身体部分时，针对每 个身体部分确定与优先级设置条件对应的特定状态；优先级设置单 元，配置为根据由状态确定单元执行的确定的结果，为各身体部分设 置优先级；操作确定单元，配置为按照根据所述优先级设置的、作为
确定对象的身体部分的确定容许度，确定由身体部分检测单元检测到
的身体部分是否执行了与特定操作对应的预定动作；和控制单元，配
置为控制操作输入设备，从而使操作输入设备根据由操作确定单元执行的已执行了与特定操作对应的特定动作的确定，执行预定操作。
利用该结构，确定与通过图像拍摄获得的图像数据中包括的拍摄
对象的特定身体部分的动作对应的操作。根据与该操作对应的动作的
确定，操作输入设备执行预定操作。也就是说，用户能够通过执行身
体部分的动作来遥控该设备。
然后，根据该特定身体部分的预定状态设置优先级，并且当确定
了与该操作对应的动作时，反映根据优先级的容许度。藉此，容易地
确定与拍摄对象的各部分对应的多个身体部分之中所述特定身体部分
的动作，并且难以确定其它身体部分。
利用该结构，获得了能够通过被摄体的动作进行遥控并具有高实
用性和高可用性的成像设备。
图l是示出根据本发明实施例的数字静止照相机的内部结构示例
的框图2是示出与特定操作对应的面部姿态模式的示例的图3是示出与特定操作对应的面部姿态模式的示例的图4是示出与特定操作对应的面部姿态模式的示例的图5是示出面部姿态模式识别处理的示例的图6是示出识别面部姿态模式中的闭眼命令的处理示例的图7是示出识别面部姿态模式中的峥眼命令的处理示例的图8是示出在根据面部大小的对象距离被设置为优先级设置条件
的情况下的优先级设置的示例的图9是示出在图像框的中心和面部图像之间的距离被设置为优先
级设置条件的情况下的优先级设置的另一示例的图10是示出在图像框中的面部图像的运动速度被设置为优先级
设置条件的情况下的优先级设置的另 一示例的图11A和图11B是示出在面部表情命令被设置为优先级设置条
件的情况下的优先级设置的另一示例的图；图12是示出在另一面部表情命令被设置为优先级设置条件的情 况下的优先级设置的另一示例的图13A至图13D是以时间序列示出根据图8至图12的优先级设 置条件的优先级设置的具体示例的图14A至图14C是以时间序列示出根据图8至图12的优先级设 置条件的优先级设置的具体示例的图15是示出对应于根据本实施例的面部姿态遥控功能的数字静 止照相机的系统结构示例的图16是示出由图15中示出的系统执行的面部表情遥控功能的处 理过程示例的流程图17是示出由图15中示出的系统执行的面部表情的通知控制的 处理过程示例的流程图18示出了记录面部姿态信息的示例的表；
图19是示出记录面部姿态信息随着时间而变化的示例的图20是示出优先级设置处理的流程图21是示出在运动速度被设置为优先级设置条件的情况下的优 先级设置处理的流程图22是示出在面部表情命令被设置为优先级设置条件的情况下 的优先级"i殳置处理的流程图23是示出在面部表情模式4皮设置为优先级设置条件的情况下 的优先级设置处理的流程图24是示出对应于本实施例的数字静止照相机的云台的正视
图25是示出对应于本实施例的数字静止照相机的云台的后视
图26是示出对应于合本实施例的数字静止照相机的云台的左视
图27是示出对应于本实施例的数字静止照相机的云台的右视
8图28是示出对应于本实施例的数字静止照相机的云台的俯视 图；以及
图29是示出对应于本实施例的数字静止照相机的云台的仰视图。
具体实施例方式
在下文中将按下面的次序描述执行本发明的最佳模式(以下称为 "实施例")。
1、 数字静止照相机的结构
2、 面部姿态模式的示例
3、 面部姿态识别处理的示例
4、 优先级i殳置
5、 实现的示例
1、数字静止照相机的结构
图1是示出根据本发明实施例的数字静止照相机1的内部结构 的示例的框图。
在图1中，光学系统单元21具有成像透镜组和光圈，成像透镜 组包括预定数量的透镜，诸如变焦透镜和对焦透镜。光学系统单元 21使用用作成像光的入射光在图像传感器22的光接收面上形成图 像。
光学系统单元21例如包括用于驱动变焦透镜、对焦透镜和光圏 的驱动机构单元。驱动机构单元的操作通过所谓的照相机控制(诸如 变焦(场角)控制、自动对焦控制和自动曝光控制)进行控制。
图像传感器22把通过光学系统单元21获得的成像光转换成电 信号，由此执行所谓的光电转换。具体地讲，图像传感器22通过光 电转换元件的光接收面接收从光学系统单元21提供的成^^光，并在 预定定时顺次输出根据接收光的强度而存储的信号电荷。以这种方 式，输出与成像光对应的电信号(成像信号)。要注意，用作图像传感 器22的光电元件(成像元件)不受特别限制。然而，近年来，已使用例如CMOS传感器或CCD(电荷耦合器件)传感器。要注意，在使用 CMOS传感器的情况下，数字静止照相机被构造为使得与图像传感 器22对应的CMOS传感器包括与A/D转换器23(将在后面描述)对
应的模数转换器。
从图像传感器22输出的成像信号被输入到用于把成像信号转换 成数字信号的A/D转换器23，并且继而被提供给信号处理器24。
信号处理器24例如以一个静止图像(帧图像)为单位接收从A/D 转换器23输出的数字成像信号，并以一个静止图像为单位对所提供 的成像信号执行特定信号处理，从而产生拍摄图像数据(拍摄静止图 像数据)，该拍摄图像数据是与 一个静止图像对应的图像信号数据。
当使用信号处理器24产生的拍摄图像数据要作为图像信息被记 录在作为存储介质的存储卡40中时，与一个静止图像对应的拍摄图 像数据被从信号处理器24输出到编码/解码单元25。
编码/解码单元25通过预定静止图像压缩编码方法对从信号处理 器24提供的与一个静止图像对应的拍摄图像数据执行压缩编码并在 控制器27的控制下添加头部(header)，以获得具有预定格式的压 缩拍摄图像数据。将如此产生的拍摄图像数据提供给介质控制器 26。介质控制器26在控制器27的控制下把所提供的拍摄图像数据写 入并存储在存储卡40中。在这种情况下，存储卡40具有例如符合特 定标准的像卡片一样的外观，并用作包括诸如闪存的非易失性半导体 存储元件的存储介质。要注意，在用于存储图像数据的存储介质中， 可以采用除存储卡以外的类型和格式。
本实施例的信号处理器24能够执行用于在与拍摄图像数据对应 的图像中检测作为用作拍摄对象的人的一部分的面部的图像的图像处 理(面部检测处理)。以下，将详细描述本实施例的面部检测处理。
数字静止照相机1通过执行与使用信号处理器24获得的拍摄图 像数据对应的图像的显示，能够在显示单元33中显示所谓的直通图 像，该直通图像是当前正在拍摄的图像。例如，信号处理器24获得 如上所述从A/D转换器23输出的成像信号，并产生与一个静止图像
10对应的拍摄图像数据。通过反复执行该操作，连续产生与运动图像的
帧图像对应的拍摄图像数据。然后，在控制器27的控制下，连续产 生的拍摄图像数据被提供给显示驱动器32。以这种方式，显示了直 通图像。
显示驱动器32根据如上所述从信号处理器24提供的拍摄图像数 据产生用于驱动显示单元33的驱动信号，并把驱动信号提供给显示 单元33。藉此，显示单元33以静止图像为单位基于拍摄图像数据连 续显示图像。从用户的观点看，正在拍摄的图像在显示单元33中被 显示为运动图像。即，显示了直通图像。
另外，数字静止照相机1能够再现记录在存储卡40中的拍摄图 像数据并在显示单元33中显示与拍摄图像数据对应的图像。
为了实现该操作，控制器27指定拍摄图像数据，并指示介质控 制器26从存储卡40读取该数据。响应于该指示，介质控制器26访 问存储卡40中指示记录有指定的拍摄图像数据的部分的地址以读取 该数据，并把读取的数据提供给编码/解码单元25。
编码/解码单元25在控制器27的控制下从由介质控制器26提供 的拍摄图像数据中提取用作压缩静止图像数据的实体数据，并对压缩 编码的静止图像数据执行解码处理以获得与单个静止图像对应的拍摄 图像数据。然后，编码/解码单元25把拍摄图像数据提供给显示驱动 器32。藉此，在显示单元33中再现并显示与记录在存储卡40中的 拍摄图像数据对应的图像。
除了直通图像和与拍摄图像数据对应的再现图像之外，显示单元 33还显示用户界面图像。在这种情况下，控制器27根据例如操作状 态产生与用户界面图像对应的显示图像数据，并把该显示图像数据提 供给显示驱动器32。藉此，显示单元33显示用户界面图像。要注 意，用户界面图像可以与直通图像和与拍摄图像数据对应的再现图像 分别地显示在显示单元33中的显示画面(诸如特定菜单画面)中，并 且可以显示为重叠在直通图像或与拍摄图像数据对应的再现图像的一 部分上从而与直通图像或再现图4象合成。控制器27在实际使用中包括例如CPU(中央处理单元)，并与 ROM 28和RAM 29 —起构成微型计算机。ROM 28存储要由控制器 27的CPU执行的程序和与数字静止照相机1的操作相关的各种设置 信息。RAM29用作CPU的主存储装置。
另外，在数字静止照相机1中包括用作非易失性存储区的闪存 30，用于存储应该根据例如用户操作或操作历史而改变(重写)的各种 设置信息。要注意，当将诸如闪存的非易失性存储器用作ROM 28 时，ROM28的部分存储区可以用作闪存30。
操作单元31总体表示数字静止照相机1中包括的各种操作元件 和操作信息信号输出部分，其中，操作信息信号输出部分根据使用操 作元件之一执行的操作产生操作信息信号并把操作信息信号提供给 CPU。控制器27根据从操作单元31提供的操作信息信号执行预定处 理。藉此，根据用户的操作，执行数字静止照相机l的操作。
本实施例的数字静止照相机1可以安装在对应于数字静止照相机 1的云台10上。云台10能够相对于旋转轴沿平移0黄向或水平)方向 和倾斜(纵向或垂直)方向旋转。根据这种结构，当在数字静止照相机 1安装于云台10上的状态下移动云台10时，数字静止照相机1的视 野在水平和垂直方向上改变。
然后，在数字静止照相机1安装于云台10的状态下，数字静止 照相机1通过有线或无线方式与云台10通信。因此，数字静止照相 机1通过指定平移位置和倾斜位置控制云台10的运动。
数字静止照相机1的云台通信单元34才艮据预定通信方法与云台 IO进行通信。在数字静止照相机1安装于云台10的状态下，例如， 云台通信单元34具有能够实现以有线或无线方式向云台10的通信单 元发送通信信号和从云台10的通信单元接收通信信号的物理层结 构、和用于实现通信处理的比物理层更高的特定层的结构。
音频输出单元35在控制器27的控制下输出预定音调和预定语音 模式的电子声音。
LED单元36包括例如设置于数字静止照相机1的壳体前表面的LED(发光二极管)和在控制器27的控制下驱动LED以打开或关闭 LED的电路单元。
要注意，在图24至图29中示出了本实施例的数字静止照相机l 的云台10的的外观的示例。
图24是云台10的正视图。图25是云台10的后视图。图26是 云台10的左视图。图27是云台10的右视图。图28是云台10的俯 视图。图29是云台10的仰视图。 2、面部姿态模式的示例
本实施例的数字静止照相机1根据在拍摄图像中检测到的面部图 像的变化模式执行预定操作。具体地讲，当用户试图使用数字静止照 相机1拍摄用户的面部时，用户能够通过把面部表情改变为预定模 式，例如通过眨眼或使面部倾斜，来遥控数字静止照相机l的操作。
要注意，以下，用于对数字静止照相机1的操作进行遥控的面部 表情的变化称为"面部姿态"。
为了理解面部姿态，在图2至图4中示出了面部姿态的模式(面 部姿态模式)的示例。
图2至图4是示意性地示出执行遥控操作的用户(操作者)的面部 图像的图。
图2示出这样的面部姿态模式操作者两眼净开的状态变为操作 者一只眼睛(在此情况下为右眼)闭上的状态，随后变为操作者的闭上 的眼睛再次峥开从而两眼都净开的状态。
图3示出这样的面部姿态模式操作者两眼峥开的状态变为两眼 闭上的状态，随后变为两眼都再次峥开的状态。
图4示出这样的面部姿态模式在面部不倾斜(即，面部直立向 上)时两眼峥开的状态变为一只眼(在此情况下的右眼)闭上的状态，随 后变为在该眼闭上的情况下面部向左(向观察者的右侧)倾斜的状态。
例如，如图2至图4所示，考虑了面部姿态包括简单动作(状态) 的元素，诸如两眼峥开的动作、 一只眼闭上的动作、两眼闭上的动作 和面部倾斜的动作。面部姿态模式包括筒单动作元素中的至少一个。在面部姿态模式包括多个简单动作元素的情况下，根据预定规则将简 单动作元素彼此组合。
然后，把要由数字静止照相机1执行的预定操作分配给如此产生 的各个面部姿态模式。也就是说， 一个特定的面部姿态模式对应于代 表要从遥控设备发送的特定命令的一个命令代码。
要注意，由于简单动作用作构成面部姿态模式(即，命令)的最小 单位，所以简单动作称为"单位命令"。
通过使用这种面部姿态的遥控要执行的操作的示例包括将拍摄 的图像记录为静止图像、自拍定时记录、连拍记录、开始和停止将拍 摄的图像记录为运动图像、以及打开或关闭闪光灯。
另外，如以下将要描述的，根据面部姿态，故意把分配给各面部 图像的面部姿态的优先级设置为高。以这种方式，执行不与关于数字 静止照相机1的图像拍摄的动作直接关联的操作。 3、面部姿态识别处理的示例
接下来，将参照图5至图7描述由数字静止照相机1执行的面部 姿态模式识别处理的示例。
要注意，作为示例，将描述图2中示出的面部姿态模式对应于使 用自拍定时器执行图像拍摄的操作命令的情况。
操作者执行设置，以使操作者的面部包括在数字静止照相机1的 图像拍摄视野中并且使面部的方向基本上对应于相对于图像拍摄方向 (光学系统的光轴)的正面。在这种情况下，两眼通常峥开。要注意， 操作者可以在两眼正常峥开的状态下眨眼。在以下将要描述的本实施 例的动作识别处理中，眨眼与作为有意识动作的眼睛的开闭被彼此区 分。
根据操作者的状态，在图5中示出的时间点tl，数字静止照相 机l从拍摄图像数据中正常识别操作者的面部的图像。在识别面部图 像之后，打开LED单元36的LED以向操作者通知面部图像的识 别。藉此，操作者认识到如下事实数字静止照相机1已进入数字静 止照相机1接收操作者的面部姿态作为命令的状态。
14在打开LED的时间点tl之后的时间点t2，为了 4吏用自拍定时器的图像拍摄，操作者闭上操作者的一只眼。当在时间点tl闭上一只眼之后，操作者保持闭上一只眼0.6秒。然后，数字静止照相机1识别出该闭上一只眼的动作是构成用于遥控的面部姿态模式的简单动作(状态)元素，即单位命令(闭眼命令)。然后，在时间点t3，响应于闭眼命令的识别，数字静止照相机1从音频输出单元35输出用于向操作者通知闭眼命令的识别的声音(通知声音)。
要注意，对于本实施例中的闭眼命令的识别，闭上一只眼的状态应该保持0.6秒以上。以这种方式，该状态区别于由于眨眼而导致闭眼的状态，从而防止把眨眼误认为闭眼命令。要注意，已确定0.6秒的时段对于闭眼命令的识别是合适的(闭眼命令识别时段)，因为0.6是本申请的发明人检查了闭眼命令识别时段之后的结果。然而，0.6
秒的时段仅为示例，适合于闭眼命令识别时段的时段不限于此。
当听到如上所述在时间点t3输出的通知声音时，操作者认识到操作者的闭眼动作被作为单位命令接受这一事实。之后，作为构成面部姿态模式的单位命令，操作者峥开已闭上的眼睛。
当眼睛峥开时，数字静止照相机l识别出峥开眼睛的这个动作是构成用于遥控的面部姿态模式的单位命令(瞭眼命令)，如将参照图7所述。响应于此，与在时间点t3的情况一样，数字静止照相机1在时间点t4输出通知声音。在已经执行了面部姿态的这个阶段，数字静止照相机1确定面部姿态模式是由如图2中所示的单位命令的组合构成的，即，由两眼净开的状态代表的单位命令、 一只眼闭上的状态代表的单位命令和两眼峥开的状态代表的单位命令的组合构成。也就是说，根据确定的结果，数字静止照相机1确定在时间点t4已执行了使用自拍定时器的图像拍摄的操作输入。
然后，数字静止照相机1在时间点t4之后待机作为预定自拍定时时段的特定时段(例如，两秒)。在该时段中，操作者可以通过对着数字静止照相机1摆姿势来准备使用自拍定时器的图像拍摄。在自拍定时时段终止的时间点t5，执行将拍摄图像记录为静止图像的操作。
图6是示出为了在闭眼命令识别时段中识别闭眼命令而执行的检测处理的图。
假定操作者在时间点to闭上操作者的一只眼睛。要注意，数字静止照相机1利用0.1秒的检测时间间隔int来检测与面部姿态对应的面部的状态(面部状态)。另外，将以0.1秒为间隔的面部状态的三次连续检测确定为一组检测。也就是说，如图6所示， 一组检测包括第一检测定时Dtl、在第一检测定时Dtl的0.1秒之后执行的第二检测定时Dt2、和在第二检测定时的0.1秒之后执行的第三检测定时Dt3。重复执4亍该纟且检测。
在这种情况下，在时间点t0的0.1秒之后的时间点tl以及随后的时间点t2和t3被确定为第一组检测。对于闭眼命令的确定，首先，当在第一组检测中包括的三个检测定时之中的两个以上处确定面部状态是代表操作者的一只眼睛闭上的"闭眼"时，确定眼睛状态是闭眼状态。具体地讲，在图6的情况下，在时间点t3获得代表闭眼状态的第 一确定结果(第 一 闭眼状态确定)。
在包括时间点tl至t3的笫一组检测之后，在随后的笫二组检测中检测面部状态，第二组检测包括时间点t3的0.1秒之后的时间点t4以及随后的时间点t5和t6。在图6的情况下，在第二组检测中包括的三个检测定时t4至t6中的两个以上处确定面部状态是"闭眼"，从而获得代表闭眼状态的第二确定结果(第二闭眼状态确定)。
识别闭眼命令的条件是获得代表至少连续两组的闭眼状态的确定结果。因此，在图6的情况下，在时间点t6识别了闭眼命令(闭眼命令确定)。
发明人等已认识到，当操作者眨眼时，确定了几乎不能在两个连续的定时检测到闭眼状态。通过执行识别闭眼命令的处理，在本实施例中，能够将故意执行的并对应于闭眼命令的操作者的 一只眼睛的动作和短时间无意执行的并对应于眨眼的操作者眼睛的动作基本上可靠地彼此区分。图7是示出在如图6中所示识别闭眼命令之后识别峥眼命令的处理示例的图。
在图7中，在图6中示出的时间点t6之后经过一定时长来到时间点t7。在时间点t6仍保持的操作者的一只眼睛闭上的状态在时间点t7仍然继续保持。
另外，时间点t7对应于一组检测中的第三检测定时Dt3，因此，确定在时间点t7检测到第(n-l)闭眼状态。这里，识别出在时间点t6首次识别的闭眼命令仍然有效。
另外，由于在包括时间点t7之后的时间点t8至t10的下一组检测中保持了操作者的一只眼睛闭上的状态，所以确定在时间点tl0检测到第n闭眼状态。因此，在时间点t10也识别出在时间点t6首次识别的闭眼命令仍然有效。
在时间点tlO之后的下一组检测(时间点tll至tl3)中，在与时间点tll和t12对应的检测定时Dtl和Dt2识别出一只眼闭上，并识别出在时间点t12之后立即净开了闭上的眼睛，即操作者的两眼峥开。然后，在与时间点t13对应的检测定时Dt3，将两眼峥开确定为面部状态。
对于峥眼命令，如果在包括时间点tll至t13的这组检测中的三个检测定时中的至少 一个检测到两眼峥开的状态，则这组检测被识别为峥眼命令。
如上所述，当检测到在至少连续两个检测定时检测到闭眼状态的连续两組检测时，识别出闭眼命令。
另 一方面，当检测到在至少 一个检测定时检测到峥眼状态的 一组检测时，识别出净眼命令。发明人等已确认，当设置以上条件时，在图7的条件下能够以高精度识别瞭眼命令。因此，由于识别峥眼命令的时长短，所以数字静止照相机l响应于使用面部姿态的命令的响应速度变快。4、优先级设置
在由数字静止照相机1执行的面部姿态识别处理中，如果在拍摄
17图像的图像框中检测到一个面部图像，则仅识别该面部图像，这很简单。
然而，如果拍摄了多个拍摄对象并因此在图像框中检测到多个面部图像，则出现如下问题。
如以上参照图2所述，根据本实施例的构成面部姿态模式的要素(单位命令)包括 一只眼睛闭上的动作、两眼净开的动作和面部倾斜的动作。然而，人们可能无意识地执行这些动作。因此，如果除操作者之外的被拍摄人无意识地执行与对应于特定操作的特定面部姿态对应的动作，则数字静止照相机l会响应于该面部姿态而操作。即，如果拍摄多个人，则除操作者之外的一个人可能通过执行这种动作而无意识地操作数字静止照相机1，数字静止照相机1执行不希望的操作，这是不方便的。因此，在本实施例中，如下解决这个缺点。
即，如果在拍摄图像的图像框中检测到多个面部图像，则本实施例的数字静止照相机1根据下面的条件把优先级(优先次序)分配给这些面部图像。另外，根据设置的优先级，能够改变针对每个面部图像的使用面部姿态的操作的确定或识别的容易程度(确定容许度)。
参照图8到图12,将描述用于评价在图像框中检测出的面部图像的优先级的条件的示例。要注意，在图8到图12中，为了简化描述，将描述在图像框300中检测到两个面部图像的情况作为示例。
在图8示出的图^^框300中，检测到两个面部图〗象A和B。在图像框300中，面部图像A比面部图像B大。例如，为了简化描述，假定与面部图像A和B对应的实际面部具有相同的大小。在这种情况下，在图8中，比面部图像B大的面部图像A具有比面部图像B的对象距离小的对象距离，也就是说，与面部图4象B相比，与面部图像A对应的面部距离数字静止照相机1更近。对象距离指的是数字静止照相机1到拍摄对象之间的距离。在与面部图像对应的多个人(拍摄对象)之中，很可能操作者距离数字静止照相机1更近。因此，在本实施例中，作为优先级设置的第一条件，对象距离越小，即图像框300中的面部图像越大，分配的优先级越高。在图8的情况下，面部图像A具有比面部图像B高的优先级。
然而，在实际使用中，图像框中所包括的对象(面部)可能是成人和儿童或者男人和女人。通常，成人的面部比儿童的面部大，男人的面部比女人的面部大。在組合包括了这样的各种类型的面部的情况下，如果仅根据图像框中包括的面部图像的大小设置优先级而不考虑实际面部尺寸的差异，则可能无法反映正确的对象距离。
因此，当根据面部框中包括的面部图像的大小设置优先级时，如以下所述，根据诸如与检测出的面部图像对应的面部的年龄和性别的特征来修改面部大小并对其进行正规化，并且基于修改的面部图像的大小设置对应于对象距离的优先级。
在图9示出的图像框300中，示出了垂直通过水平宽度的中心的虚拟分割线Ly和垂直通过垂直高度的中心的虚拟分割线Lx。这里，分割线Ly和Lx的交点被确定为图像框300的中心。
在本实施例中，作为更靠近图像框300的中心的面部图像，该面部图像很可能对应于操作者的面部。因此，对于图像框300中包括的面部图像的位置，将更高的优先级分配给更靠近图像框300的中心的面部图^f象。
在图9的情况下，由于面部图像B比面部图像A更靠近图像框300的中心，所以分配给面部图像B的优先级比分配给面部图像A的优先级高。
例如，在针对图像框中检测到的图 <象观察了连续的多个帧周期的情况下，能够检测到图像框中面部图像的位置的变化，即面部的移动。
在图10中，作为这种移动检测的结果，在图像框300中检测到的面部图像A和B之中，面部图像B保持静止而面部图像A已移动。
对于与面部(对象)对应的面部图像的这种移动，与移动较小的面部图像对应的面部;(艮可能对应于操作者的面部。因此，对于面部图像的移动，面部图像的移动越小，优先级越高。在图10的情况下，分配给面部图像B的优先级比分配给面部图像A的优先级高。
图11A示出在特定时间获得的图像框300中包括的图像，图 11B示出在图11A的该特定时间的一定时间后的图像框300中包括 的图像。
在图IIA中，两眼峥开的面部图像A的状态变为一只眼睛(在本 实施例中的右眼)闭上的状态，而两眼净开的面部图像B的状态没有 改变。在图11B中，图11A中示出的一只眼睛闭上的面部图4象B的 状态在获得图IIA的图像之后保持了一定时间。
例如，根据参照图8到图IO描述的条件，为了向操作者的面部 图像分配最高优先级，通常，操作者移动得比其它被拍摄人更靠近数 字静止照相机1,操作者移动以便在比其它被拍摄人更靠近图像框的 中心的位置被拍摄，或者操作者尽可能静止不动。在图11A和图 IIB示出的优先级设置的示例中，要求操作者的积极面部动作。
也就是说，在图IIA和图11B的示例中，首先，与预定面部姿 态对应的操作被确定为优先动作。然后，将高优先级分配给按时间序 列首先执行与优先动作对应的面部姿态的面部图像。
具体地讲，例如，在图11A和图11B中，优先动作对应于一只 眼睛闭上的面部姿态。因此，在图IIA和图11B的情况下，虽然面 部图像A和B都具有一只眼睛闭上的面部姿态，但与面部图像A对 应的面部比与面部图像B对应的面部更早地执行一只眼睛闭上的动 作。因此，将高优先级分配给面部图像A。
在图12中，虽然在图像框300中检测到的面部图像A和B之中 面部图像B的两眼峥开并且没有特别地执行面部姿态，但是面部图 像A的一只眼(在本实施例中的右眼)闭上并且通过使面部向左倾斜来 执行面部姿态。
此外，在图12示出的该示例中，要求操作者的积极面部动作作 为条件。也就是说，在图12示出的示例中，将高优先级分配给首先 执行被确定为优先动作的预定面部姿态模式的面部图像。
在图12的情况下，在一只眼睛闭上的同时面部向左倾斜的面部姿态模式被确定为优先动作。因此，在图12的情况下，将高优先级 分配给面部图像A。
要注意，在要求操作者执行如图12中所示的面部姿态模式的情 况下，当与图11A和图11B的情况相比时，操作者具有更强的作为 操作者的意愿。
因此，在图12的情况下，例如，适于对执行与优先操作对应的 面部姿态模式的面部图像分配比图11的情况更高的优先级。
要注意，对于图8到图12中示出的情况，定义了共同的前提。 即，面部的方向是正面，即从基本上正面面对数字静止照相机1的成 像光学系统的面部被确定为被分配优先级的对象。
难以识别面对除正面以外的方向的面部的面部姿态。因此，面对 除正面以外的方向的(被拍摄人的)面部对应于操作者的可能性很低。 因此，在本实施例中，设置了上述前提。
将参照图13和图14详细描述根据参照图8到图12描述的条件 的优先级设置的示例。
首先，图12的面部图像A的面部姿态模式被确定为优先操作。 另外，如参照图5所述，由一系列面部姿态命令(即，代表净开的一 只眼睛闭上并且两眼再次峥开的命令)构成的面部姿态模式被确定为 对应于指示使用自拍定时器的图像拍摄的操作。接下来，在图像框中 检测到的面部图像A和B之中，面部图像A执行图12中示出的面 部姿态模式以成为姿态识别对象，并且作为姿态识别对象的面部图像 A根据指示使用自拍定时器的图像拍摄的操作，执行面部姿态模式。
图13A到图14C以此次序按时间序列示出在图像框300中检测 到的两个面部图像A和B。要注意，在本实施例中，实际面部的大 小与面部图像A和B的大小相同。
首先，在图13A中，在面部图像A和B中两眼峥开。面部图像 A和B的大小彼此相同，因此，面部图像A和B的对象距离彼此相 同。另外，面部图像A和B的位置没有变化。
在这种情况下，根据面部图像A和B相对于图像框的中心的距离的条件设置优先级。在图13A中，面部图像A比面部图像B更靠 近图像框的中心，因此，分配给面部图像A的优先级比分配给面部 图像B的优先级高。
这里，将优先级20分配给面部图像A,并将优先级0分配给面 部图像B。要注意，优先级的值越大，设置的优先级越高。
假定图13A中示出的状态在一定时间后变为图13B中示出的状 态。在图13B中，面部图像A的操作者的一只眼睛(在本实施例中的 右眼)闭上，这是与优先动作对应的面部姿态。然而，面部图像B的 两眼仍瞭开。面部图^f象B的这个状态与图13A中的状态相同。
在这种情况下，分配给面部图像A的优先级比分配给面部图像 B的优先级高，如参照图11A和图11B所述。在图13B中，通过把 优先级50加到图13A的面部图4象A的优先级20，把优先级70分配 给面部图像A，面部图像B的优先级与图13A中的情况相比不变， 也就是说，面部图像B具有优先级O。
接下来，在图13C中，面部图像B的两眼仍峥开，与图13A中 的情况相比不变。另一方面，在一只眼保持闭上的同时，面部图像A 在图13C中向左倾斜。
面部图像A的这个变化对应于执行如图12中所示的与优先操作 对应的特定面部姿态模式的情况。在这种情况下，把优先级50加到 图13B的面部图像A的优先级，从而把优先级120分配给面部图像 A。面部图像B的优先级仍然是O。
数字静止照相机1根据设置的优先级确定要成为姿态识别对象的 面部图像。要成为姿态识别对象的面部图像是设置为要由数字静止照 相机1识别与特定操作对应的面部姿态模式的对象的面部图像。
如果例如在多个面部图像中不包括具有100以上的优先级的面部 图像，则确定所有这多个面部图像对应于姿态识别对象。
另一方面，如果所述多个面部图像之一具有100以上的优先级， 则仅把具有100以上的优先级的面部图像设置为姿态识别对象，其它 面部图像不是姿态识别对象。也就是说，姿态识别对象仅被固定为具有100以上的优先级的一个面部图像。姿态识别对象被固定，直到其 优先级变为小于100。
要注意，即使在如上所述姿态识别对象被固定的时段(识别对象
固定时段)中，也根据图8至图12中示出的操作对图像框中检测出的 所有面部执行优先级设置。因此，在识别对象固定时段中，除已被确 定为姿态识别对象的面部图像以外的面部图像也可具有100以上的优 先级。然而，在姿态识别对象设置时段中，仅首先设置为姿态识别对 象的面部图像被固定确定为姿态识别对象，其它面部图像不被确定为 姿态识别对象，不管这些面部图像的优先级是否达到100。
这里，将确认在图13A至13C中执行的姿态识别对象的设置。
在图13A中，将优先级20分配给面部图像A，将优先级O分配 给面部图像B，这些优先级小于100。也就是说，不包括具有100以 上的优先级的面部图像。在这种情况下，所有的面部图像被设置为姿 态识别对象。与图13A中的情况一样，在图13B中，所有的面部图 像被设置为姿态识别对象。
在图13C中，面部图像A具有优先级120，而面部图像B具有 优先级O。因此，在这种情况下，仅面部图l象A被设置为姿态识别对 象，而面部图像B不被设置为姿态识别对象。
在图13C的状态的一定时间后获得的图13D中，面部图〗象A的 优先级从120减小到100。这是因为根据面部图像A到图像框的中心 的距离和面部图像B到图像框的中心的距离之间的相对差获得的负 优先级-20被加到面部图像A的优先级。然而，由于面部图像A仍然 具有大于等于100的优先级，所以面部图像A保持作为在图13C的 定时设置的姿态识别对象的设置，也就是说，该设置有效。
另外，在图13D中，由于面部图像B移动靠近图像框300的中 心，所以优先级20被加到面部图像B的优先级0，因此，面部图像 B具有优先级20。然而，由于面部图像A仍然被设置为姿态识别对 象，所以面部图像B保持不被设置为姿态识别对象的状态。
图14A示出在图13D的状态的一定时间后的图像框300的状态。
图14A示出两眼峥开的状态变为一只眼睛闭上的状态的面部图 像A的面部姿态。数字静止照相机1识别该闭上一只眼的操作，即 闭眼命令。因此，由于加上50的优先级，所以面部图像A的优先级 从100增加到150，并且保持作为姿态识别对象的固定设置。在这种 情况下，面部图像B的优先级20不变，并且面部图像B保持不被设 置为姿态识别对象的状态。
在图14A的状态的一定时间后获得的图14B示出的图像框300 示出从面部图像A的一只眼睛闭上的状态变化而来的在执行晬开两 眼的操作之后的状态。藉此，数字静止照相机l将该操作识别为峥眼 命令。
这里，面部图像A和B的优先级不变，即，与图14A中的优先 级相同，并且类似于图14A的情况，面部图像A被设置为姿态识别 对象，而面部图像B不被设置为姿态识别对象。
然后，在图14A和图14B示出的操作流程中，面部图像A的两 眼睁开的状态变为面部图像A的一只眼睛闭上的状态，并变为面部 图像A的两眼再次峥开的状态。这一系列的状态代表与指示使用自 拍定时器的图像拍摄的操作对应的面部姿态模式。当识别出该面部姿 态模式时，数字静止照相机1执行使用自拍定时器的图像拍摄的操 作。
当使用自拍定时器的图像拍摄的操作终止时，获得图14C中示 出的状态。当使用自拍定时器的图像拍摄终止时，首先，面部图像A 的优先级被重新设置为0。也就是说，当响应于与面部姿态模式对应 的操作而执行的操作终止时，经受了与面部姿态模式对应的操作的面 部图像的优先级被重新设置为0。诸如图像框中的面部图像的位置的 各条件与图14B中的相同，因此，把与在图14B中分配的优先级相 同的优先级20分配给面部图4象B。以这种方式，在图14C中，面部 图像A和B都被确定为姿态识别对象。 5、实现的示例接下来，将描述如上所述根据面部姿态实现遥控(面部姿态遥控) 的技术构成示例。
图15是示出符合根据实施例的面部姿态遥控功能的数字静止照 相机1的系统结构示例的图。
图15中示出的系统结构包括信号处理器24，包括面部检测器 61和面部图像产生器62;控制器27,包括面部信息评价单元71、优 先面部评价单元72和遥控操作控制器73;音频输出单元35;和 LED单元36。
图16是示出由图15中示出的系统执行的基本处理过程的流程 图。将参照图16中示出的流程图描述图15中示出的单元的功能。
在图16的步骤S101中，信号处理器24的面部检测器61接收由 图像拍摄部分(包括光学系统单元21和图像传感器22)拍摄并通过 A/D转换器23传送的图像数据，并对该图像数据执行面部图像检测 处理。具体地讲，在与图像数据对应的图像框中检测识别为面部的图 像部分(面部图# 部分)。
作为面部图像检测处理的结果，获得关于图像框中检测到的面部 图像部分的位置(重心)的信息和关于检测到的面部图像部分的大小的 信息。面部检测器61把作为面部检测信息的信息提供给面部图像产 生器62。
要注意，已知可以应用于面部检测器61的多个面部检测系统或 多个面部检测方法。然而，在本实施例中采用的方法不受特别限制， 考虑到检测精度和设计难度，可以采用任何方法。
面部图像产生器62接收图像数据和从面部检测器61提供的面部 检测信息。在步骤S102中，面部图像产生器62使用由面部检测信息 代表的关于面部图像部分的位置的信息和关于面部图像部分的大小的 信息，执行从图像数据的帧图像区域中提取与面部图像部分对应的区 域的处理。要注意，从帧图像区域提取的区域称为"面部图像区"。
面部图像产生器62把图像数据的面部图像区和相应的面部检测 信息提供给控制器27的面部信息评价单元71。由信号处理器24执行的面部检测处理通过使用DSP(数字信号处 理器)的图像信号处理来实现，即通过提供给DSP的程序和指令来实 现。因此，信号处理器24中包括的面部检测器61和面部图像产生器 62也通过DSP来实现。
在步骤S103中，面部信息评价单元71使用接收的面部图像区 的数据，执行评价(估计)面部图像区中包括的面部图像的特征值的处 理。要注意，当检测到多个面部图像时，对所述多个面部图像之一执 行步骤S103中的评价处理。
要评价和估计的面部特征值的示例包括眼睛的开闭状态、嘴的 开闭状态、年龄、性别、面部方向、面部倾斜和对象距离。
对于眼睛的开闭状态的评价，确定眼睛是峥开的还是闭上的。 对于嘴的开闭状态的评价，确定嘴是张开的还是闭上的。 对于年龄，从预定年龄范围估计年龄。在本实施例中，例如，作 为最小要求，使用包括成人范围和儿童范围的两个年龄范围估计年 龄。
对于性别，确定人是男人还是女人。
对于面部方向，在将面对数字静止照相机1的方向确定为正面的 同时确定面部面对的方向。在本实施例中，作为最小要求，确定面部 是否基本上面对正面。
对于面部倾斜，例如，确定参照图4描述的面部倾斜。例如，确 定面部图像是处于不倾斜的直立状态、向左倾斜的状态还是向右倾斜 的状态。
对于作为如图8所示的数字静止照相机1到被摄体之间的距离的 对象距离，在本实施例中，如参照图8所述，可以使用图像框中包括 的面部图像区的大小来估计对象距离。为了获得高精度的对象距离， 根据估计的年龄修改面部图像区的大小并对其进行正规化。之后，使 用该大小获得对象距离。要注意，作为评价处理的结果获得的信息称 为"面部特征值信息"。
要注意，可以使用用于成像设备的对焦控制的距离测量方法和结构来获得对象距离。这种距离测量方法的示例包括采用泛光的三角测
iE巨法的主动方法、以及4皮动方法。
在步骤S103中执行评价一个面部图像的面部特征值的处理之 后，在步骤S104中，面部信息评价单元71确定是否已评价了所有检 测到的面部图像。当在步骤S104中的确定是否定时，处理返回至步 骤S103,并对下一面部图像区执行评价面部特征值的处理。另一方 面，当在步骤S104中的确定是肯定时，由于对所有面部图像区已进 行了评价处理，所以通过评价处理获得的每个面部图像区的面部特征 值信息被提供给优先面部评价单元72。也就是说，处理从步骤S104 前进至步骤S105。
在步骤S105中，优先面部评价单元72根据从面部信息评价单 元71接收的面部特征值信息，确定是否获得了至少一个有效的面部 特征值信息。例如，在实际使用中，即使通过面部检测处理检测到面 部图像，与提取的面部图像区的数据对应的图像也会不清楚，因此， 可能没有获得有效的面部特征值信息。当没有获得有效的面部特征值 信息时，在后面的处理中无法适当地识别面部姿态。
当在步骤S105中的确定为否定时，处理返回至面部检测器61 执行面部检测处理的步骤SlOl。另一方面，当在步骤S105中的确定 为肯定时，处理前进至步骤S106。
在步骤S106中，优先面部评价单元72执行为与有效的面部特 征值信息对应的面部图像设置优先级(优先次序)的处理。
将参照图17至图23描述设置优先级的处理过程的示例。使用参 照图8至图12描述的设置条件中的至少一个设置优先级。
在步骤S107中，遥控操作控制器73根据设置的优先级选择成 为姿态识别对象的面部图像区。然后，对选择为姿态识别对象的面部 图像区执行识别与面部姿态对应的动作的处理。在该识别处理中，执 行使用参照图6和图7描述的方法的闭眼状态确定和峥眼状态确定。
在步骤S108中，遥控操作控制器73确定该面部图像区中的 作(面部姿态)是否满足与特定操作对应的模式条件。也就是说，遥控操作控制器73确定作为步骤S107中的姿态识别处理的结果是否获得 了与特定操作对应的面部姿态模式。
当在步骤S108中的确定为否定时，处理前进至步骤Slll，在步 骤Sill中，执行存储在步骤S103中获得的有效面部特征值信息的 处理。特征值信息可以记录(写)在例如RAM29中。
当根据图10中示出的面部图像的运动速度或图11和图12中示 出的面部姿态条件在步骤S106中设置优先级时，应该检测时间轴上 的面部图像区的变化。对于该检测，不仅^f吏用关于当前检测的面部图 像区的信息，还使用关于在时间上而言先前的面部图像区的信息。执 行步骤Slll的操作从而存储关于在时间上而言先前的面部图像区的 信息。
在步骤Slll的操作之后，优先面部评价单元72在步骤S112中 执行如下处理根据在步骤S106中为各面部图像设置的优先级，改 变与图16中示出的处理相关的预定参数的设置。
以下，将描述在步骤S112中要改变的参数和改变参数的方法。 通过执行步骤S112中的操作，根据当前设置的优先级对图16中示出 的处理进行优化。藉此，例如，获得了操作者的误识别的低可能性， 提高了面部姿态遥控的可靠性。
当在步骤S108中的确定为肯定时，处理前进至步骤S109。
在步骤S109中，遥控操作控制器73控制数字静止照相机1,使 得响应于使用在步骤S108中识别的面部姿态模式的操作而执行适当 的操作。
然后，在响应于该操作而执行的处理结束之后，处理前进至步骤 SllO，在步骤S110中，将用作姿态识别对象的面部图像区中设置的 优先级重新设置为0。
之后，在适当的情况下执行其它例程，并再次执行从步骤S101 开始的处理。
图17是示出与图16的处理并行的由优先面部评价单元72和遥 控操作控制器73重复执行的通过声音或通过打开LED进行通知的处理的流程图。
在步骤S201中，优先面部评价单元72根据在步骤S201中从面 部信息评价单元71提供的面部特征值信息的内容，确定是否已获得 至少一个有效的面部特征值信息。步骤S201中的操作与步骤S105 中的操作相同，因此，步骤S105中的操作的结果能够用于步骤 S201。
当在步骤S201中的确定为否定时，处理前进至步骤S205，在步 骤S205中，控制关闭LED单元36的LED。然后，图17的处理终 止，并且处理在适当的定时返回至步骤S201。
另一方面，当在步骤S201中的确定为肯定时，在步骤S202中 打开LED单元36的LED,然后，处理前进至步骤S203。藉此，实 现与图5的时间点tl的操作对应的打开LED的操作。
在步骤S203中，遥控操作控制器73确定面部图像区的动作(面
部姿态)是否满足与面部姿态对应的命令(例如，图5中的闭眼命令或 净眼命令)的要求。
当在步骤S203中的确定为否定时，图17的处理终止，并且处 理在适当的定时返回至步骤S201。
另一方面，当在步骤S203中的确定为肯定时，处理前进至步骤 S204,在步骤S204中，输出操作接收声音。以这种方式，如图5所 示在时间点t3以及在时间点t4输出通知声音。
接下来，将详细描述在图16的流程图的步骤S106中执行的优 先级设置处理。
在描述之前，在图18中示出在图16的步骤Slll中记录的面部 特征值信息的示例。要注意，在图16的步骤Slll中记录的面部特征 值信息称为"记录面部特征值信息"，以《更与在步骤S103中获得的 当前时间(当前检测定时)的面部特征值信息(当前面部特征值信息)区 别。
图18示出检测定时tl至tn的在步骤Slll中记录的记录面部特 征值信息。这些检测定时之一对应于执行从图16的步骤S101至步骤S112的一个序列的定时，也就是说，对应于在图6和图7中示出的
一个检测定时Dt。
每个检测定时的记录面部特征值信息包括诸如以下的信息项
"面部ID"、"面部位置"、"面部大小"、"眼睛状态"、"嘴
状态"、"年龄，，、"性别"、"面部方向"、"面部倾斜度"和
"对象距离(距离)"。
"面部ID"是被唯一地分配给检测到有效的面部特征值信息的
面部图像区的识别符。这里，将从1开始的编号按照升序分配。要注
意，"面部位置"、"面部大小"、"眼睛状态"、"嘴状态"、
"年龄"、"性别"、"面部方向"、"面部倾斜度，，和"对象距
离"与分配了 "面部ID"的面部图像关联。
"面部位置"代表在图像框中检测到的相应面部图像区的位置。
例如，"面部位置"由针对面部框设置的x和y坐标表示。
"面部大小"代表图像框中的相应面部图像区的大小。
"眼睛状态，，是代表在相应面部图像区中检测到的眼睛的状态是
峥开状态还是闭合状态的信息。要注意，当确定至少一只眼处于闭合
状态时，眼睛状态;故确定为闭合状态。
"嘴状态"是代表在相应面部图像区中检测到的嘴的状态是张开
状态还是闭合状态的信息。
"年龄"代表在相应面部图像区中确定的年龄。这里，"年龄" 由与年龄对应的数值表示。
"性别"代表在相应面部图像区中确定的性别，即男性或女性。
"面部方向"代表在相应面部图像区中检测到的面部方向，在这 里代表面部面正面、右方还是左方。
"面部倾斜度"代表面部的倾斜并由度数来表示。当代表倾斜度 的值是0时，面部面向正面。随着代表倾斜度的负值或正值的绝对值 变大，向左或向右的倾斜的程度变大。
"对象距离，，在本实施例中以cm为单位进行表示。 在步骤Slll中，例如，关于图18中示出的结构的信息被记录为在步骤S103中当前获得的有效面部特征值信息。要注意，作为步 骤Sill中的记录的方法，例如，通过重写当前面部特征值信息而去 除在先前检测定时在步骤Sill中记录的记录面部特征值信息。另选 地，可以存储在当前检测定时之前获得的预定数量的面部特征值信 息，并且可以用当前面部特征值信息替换最旧的面部特征值信息。
以这种方式，通过存储先前的面部特征值信息作为记录面部特征 值信息，能够将在当前检测定时获得的面部特征值信息与先前的面部 特征值信息进行比较。藉此，能够识别面部动作的变化。
例如，图19示出在检测定时tl至t6提取的与"面部ID" 1对 应的面部特征值信息的"眼睛状态"的项目。要注意，检测定时tl 至t6分别对应于检测定时Dtl、 Dt2、 Dt3、 Dtl、 Dt2和Dt3。
通过按时间序列识别"眼睛状态"的检测结果，在这种情况下， 例如，确定在检测定时tl至t3检测到净眼状态。在检测定时t4和 t5检测到闭眼状态，并且在检测定时t6检测到峥眼状态。这里，检 测定时t4至t6对应于检测定时Dtl至Dt3。因此，根据参照图6的 描述，在与检测定时t4至t6对应的时段中检测到闭眼状态。
图20是示出在图16的步骤S106中由优先面部评价单元72执行 的优先级设置处理的流程图。
在步骤S301中，根据在步骤S103中当前获得的有效面部特征 值信息(当前面部特征值信息)，优先面部评价单元72使用该有效面 部特征值信息，根据预定优先级设置条件，针对获得了当前面部特征 值信息的每个面部图像，根据预定规则设置要加到优先级的相加值。 然后，获得的相加值被加到已设置给面部图像的优先级，由此执行优 先级的改变。
在步骤S301中设置相加值时能够使用的优先级设置条件是在图 8至图12中描述的各条件之中的图8中示出的基于面部图像区的大 小的对象距离或图9中示出的面部图像相对于图像框的中心的距离 差。
在步骤S301中，例如，使用对象距离或相对于图像框的中心的距离差能够获得相加值。另选地，可以针对各优先级设置条件获得相 加值，并且获得的相加值可以被加到已设置的优先级。
在步骤S302中，确定当前是否存储了记录面部特征值信息。 当在步骤S302中的确定为否定时，跳过步骤S303至步骤 S305,并且处理前进至步骤S306。另一方面，当在步骤S302中的确 定为肯定时，执行步骤S303至步骤S305的操作，之后，处理前进 至步骤S306。
执行下面描述的步骤S303至步骤S305的操作以根据应该检测 并识别面部图像区的时间序列变化的优先级设置条件(诸如，图10中 示出的与面部的动作的速度相关的条件或图11和图12中示出的与面 部姿态相关的条件)来评价优先级。
另外，下面描述的步骤S303至步骤S305的操作是在图10、图 11和图12中示出的优先级设置条件共有的上位概念。将参照图21 至图23详细描述针对图10、图11和图12中示出的各优先级设置条 件的优先级评价处理。
在步骤S303中，将当前面部特征值信息的预定信息项与记录面 部特征值信息的信息项进行比较，并且存储比较的结果。要注意，根 据用于优先级评价的优先级设置条件，要比较的信息项的类型和数量 是不同的。
在步骤S304中，根据在步骤S303中获得的比较结果，检测与 面部图像区中的面部图像对应的面部的动作。
要注意，根据用于优先级评价的优先级设置条件，在步骤S304 中用于检测变化的动作的类型也是不同的。
在步骤S305中，根据在步骤S304中检测到的动作的结果针对 各面部图像获得相加值，并且将相加值加到已设置的优先级，从而更 新了优先级。
在步骤S306中，确定是否包括具有比图13和图14中描述的阈 值高的优先级的面部图像。当在步骤S306中的确定为肯定时，将具 有比阈值高的优先级的面部图像设置为姿态识别对象，如参照图13和图14所述。
当如上所述设置了姿态识别对象时，仅根据与用作姿态识别对象 的面部图像区对应的面部的动作，执行步骤S108中的确定。
另一方面，当在步骤S306中的确定为否定时，执行步骤S308 中的操作，并且图20中示出的处理终止。
在步骤S308中，如果包括了已设置为姿态识别对象的面部图 像，则取消姿态识别对象的设置。
图21是示出图20中示出的步骤S303至步骤S305的操作，即 基于参照图10描述的运动速度的优先级设置条件根据面部图像区中 的时间序列动作的变化的优先级评价处理的流程图。
在步骤S401中，从根据预定次序选择的记录面部特征值信息中 提取关于面部位置的信息(记录面部位置信息)。也就是说，获得关于 面部图像中的前一面部位置的信息。
在步骤S402中，从在步骤S103中当前获得的有效面部特征值 信息中提取关于面部位置的信息(当前面部位置信息)。也就是说，获 得关于当前面部位置(即，最新的面部位置)的信息。
在步骤S403中，计算由记录面部位置信息代表的位置和由当前 面部位置信息代表的位置之间的位移差，并且在步骤S404中，根据 该位移差获得面部的运动速度。
在步骤S405中，确定是否获得了所有面部的运动速度。当在步 骤S405中的确定为否定时，处理返回至步骤S401以便获得下一个 面部的运动速度。
另一方面，当在步骤S405中的确定为肯定时，处理前进至步骤 S406。
在步骤S406中，将通过前述处理获得的面部的运动速度彼此比 较，以便根据运动速度设置与面部对应的面部图像的次序。然后，在 步骤S407中，根据预定规则，例如，为面部图像设置相加值，从而 使得当运动速度减小时相加值变大，并且将设置的相加值加到优先级 以便更新优先级。
33图22是示出图20中示出的步骤S303至步骤S305的操作，即 参照图11描述的当与可以包括在面部姿态模式中的动作元素之一(例 如，在图6和图7中识别的闭眼命令和净眼命令)对应的面部动作被 设置为优先级设置条件时的优先级评价处理的流程图。
在步骤S501中，根据记录面部特征值信息，在当前检测定时之 前的上一检测定时首先满足优先动作条件的面部图像(与执行确定为 优先动作的动作的面部对应的面部图像)将被检测。对于该检测，例 如，应该存储在该上一检测定时以及该定时之前获得的预定数量的记 录面部特征值信息项，并且如图19所示检查在记录面部特征值信息 中包括的必要信息项的变化。例如，如果采用了图11示出的优先动 作条件，则通过检查在记录面部特征值信息中包括的"眼睛状态"的 时间序列动作来确定是否获得了与按顺序的闭眼命令和睁眼命令对应 的动作。对所有面部图〗象执行这种确定。
在步骤S502中，根据步骤S501中的确定的结果，确定是否包 括完成满足优先动作条件的动作的面部。当在步骤S502中的确定为 肯定时，在前一检测定时已在后述的步骤S505中执行了根据已满足 优先动作条件的事实的优先级的相加。因此，图22的处理终止，并 且处理前进至图20的步骤S306。
另一方面，当在步骤S502中的确定为否定时，处理前进至步骤 S503。
在步骤S503中，根据记录面部特征值信息和当前面部特征值信 息，确定是否包括在此次的检测定时(当前检测定时)动作首先满足优 先动作条件的面部。
当在步骤S504中的确定为否定时，图22的处理终止，并且处 理前进至图20的步骤S306。因此，在当前检测定时不存在优先级被 相加(改变)的面部图像。
另一方面，当在步骤S504中的确定为肯定时，处理前进至步骤 S505。
在步骤S505中，预定相加值被加到与在当前检测定时被确定为首先满足优先动作条件的面部对应的面部图像的优先级，从而把高优 先级分配给该面部图^f象。
图23是示出在与参照图12描述的特定面部姿态模式对应的面部 的动作被确定为优先动作条件的情况下与图20的步骤S303至步骤 S305的操作所对应的优先级评价处理的流程图。
在步骤S601和步骤S602中，根据记录面部特征值信息和当前 面部特征值信息检测所有面部的动作。
之后，在步骤S603中，确定是否包括执行与设置为优先动作条 件的面部姿态模式对应的动作的面部。
当在步骤S603中的确定为否定时，图23的处理终止并且处理 前进至图20的步骤S306。另一方面，当在步骤S603中的确定为肯 定时，处理前进至步骤S604。
在步骤S604中，预定相加值被加到在当前检测定时被确定为满 足该面部姿态模式的优先动作条件的面部的优先级，从而把高优先级 分配给该面部图像。
对于图20的步骤S303至步骤S305的操作，可以采用图21至 图23中示出的任何一种处理操作。另外，可以组合使用图21至图 23中示出的处理操作中的两种或更多种的处理操作以实现步骤S303 至步骤S305的操作。当组合使用多个优先级设置条件时，获得优先 级设置的高可靠性。
接下来，将详细描述在图16的步骤S112中执行的与设置的优 先级对应的参数的设置的第一至第三示例。
在第一示例中，对于具有比预定级别高的优先级的面部图像，减 小与重复执行的一个检测定时对应的、图16的步骤S101至步骤 S112的处理的开始时间之前的间隔(检测时间间隔)。也就是说，在这 种情况下，改变用作参数的检测时间间隔。
当针对具有高优先级的面部图像减小检测时间间隔时，能够减少 用于识别具有高优先级的面部图像的面部姿态的时长。因此，迅速地 获得面部姿态识别的结果。在第二示例中，当要检测与优先动作对应的面部的动作时使用的 阈值被设置为可以根据优先级而改变。
当要检测参照图6和图7描述的每个检测定时的动作(状态)时， 对于要检测的特定动作已设置了用于检测的阈值。例如，对于闭眼状 态的检测，首先，基于数值检测峥眼程度。当代表峥眼程度的数值小 于等于阈值时，输出代表闭眼状态的检测结果。因此，对于闭眼状态 的检测，当优先级变高时，用于确定的阈值变小。
通过执行作为参数的阈值的这种可变设置，容易获得动作的确定 结果。
根据信号处理器24和控制器27的能力，在与图16示出的一个 检测定时对应的处理中，在实际使用中可以限制要进行优先级评价的 面部图像的最大数量。
另外，对于检测到有效面部特征值信息的图像面部中的面部图像 中的至少一个，可以不执行优先级评价。在这种情况下，基本上在不 同的检测定时对不同的面部图像执行优先级评价，并循环执行该操 作。例如，假定允许在一个检测定时最多对三个面部图像执行优先级 评价，并且检测到六个面部图像(具有面部ID 1至6)。在这种情况 下，作为基本的处理，在第一检测定时对具有面部ID 1至3的面部 图像执行优先级评价，然后，在第二检测定时对具有面部ID 4至6 的面部图像执行优先级评价。重复执行这个处理。在这种情况下，单 一面部图像的检测频率(每单位时间的检测次数)是每两个检测定时一 次，即1/2。
在第三示例中，将更高的检测频率作为参数分配给具有大于等于 预定级别的优先级的面部图像。例如，在以上描述的示例中，对于具 有大于等于预定级别的优先级的面部图像，设置比1/2大的检测频率 1,并且在每个检测定时执行优先级评价。
以这种方式，迅速地获得要确定的动作的确定结果。 在图16的步骤S112中，例如，可以选择并采用以上描述的笫 一至第三示例中的一个。另选地，选择第一至第三示例中的至少两
36个，并可以采用组合使用它们的算法。
通过如上所述执行步骤S112的操作，在下一检测定时执行根据 改变的参数的处理操作。
在第一至第三控制示例中的每个中，在检测到多个面部图像的状 态下，根据设置的优先级(优先次序)针对每个面部图像改变识别面部 姿态的程度。也就是说，第一至第三控制示例中的每个示例是用于改 变代表面部姿态的确定的、数字静止照相机1的容许度(确定容许度) 的处理。然后，在步骤S112中，作为这种处理的执行结果，如上所 述，例如，提高了面部姿态识别精度，并提高了响应于与特定操作对 应的面部姿态模式的数字静止照相机1的响应速度。
如上所述，存在通过面部姿态遥控指示的各种可能的操作。
作为除了上述示例以外的示例，将描述当数字静止照相机1安装 在云台上时实现的操作的示例。
如前面参照图l所述，在数字静止照相机l安装在云台上的状态 下，数字静止照相机l和云台彼此通信，从而数字静止照相机l能够 控制云台在平移方向或倾斜方向的运动。利用这种方式，数字静止照 相机1控制云台在平移方向或倾斜方向上移动，以便在操作者被确定 为拍摄对象的同时获得适合于特定构图的图像拍摄的视野。对于这种 结构，不仅执行图像拍摄记录，还能够记录具有出色构图的照片(静 止图像数据)。
另外，如上所述，本实施例的结构的一部分通过使用CPU或 DSP执行程序来实现。
这种程序通过例如在制造时写在ROM中来存储，或者存储在可 移动存储介质中。然后，通过从记录介质安装该程序，从存储介质安 装(更新)该程序以存储在对应于DSP的非易失性存储区域或闪存30 中。另外，可以在用作主机的另一设备的控制下，通过诸如USB和 IEEE1394的数据接口安装该程序。另外，在数字静止照相机1具有 网络功能时，该程序存储在网络上的服务器所包括的存储设备中，并 通过从服务器下载该程序来获得。在前面的描述中，当要识别与特定操作对应的面部姿态模式时， 眼睛的净开或闭合以及面部倾斜的动作(状态)被用作单位命令。然
而，例如，图18中示出的面部特征值信息包括关于嘴的张开或闭合 的状态的信息。因此，嘴的张开或闭合的状态可被用作单位命令。另 外，特征的信息项的组合(诸如，年龄和性别)可以用作特定姿态模 式。藉此，可以采用仅男人或女人能够执行操作的结构或者仅成人或 儿童能够执行操作的结构。
在前面的描述中，虽然仅识别与操作对应的面部的动作，但可以 将除面部以外的身体部分(诸如，手、臂、腿和躯干)的动作识別为对 应于特定操作。
在这种情况下，当通过组合面部的动作和除面部以外的身体部分 的动作获得的姿态模式被确定为对应于特定操作时，能够获得比仅识 别与操作对应的面部的动作的情况下的姿态模式更多的姿态模式。因 此，能够执行更多样的遥控操作。
另外，例如面部姿态被识别并被作为操作接收的操作输出的结构 可应用于除包括数字静止照相机的成像设备以外的设备或系统。此 外，在这种情况下，不必通过实时图像拍摄获得操作者的图像。
本申请包含与2008年9月22日提交给日本专利局的日本在先专 利申请JP 2008-242609中公开的主题相关的主题，通过引用将该专 利申请的全部内容包含于此。
本领域技术人员应该理解，在不脱离权利要求或其等同物的范围 的情况下，可以根据设计的需要和其它因素做出各种变型、组合、子 组合和替换。
权利要求
1.一种操作输入设备，包括身体部分检测装置，用于接收通过图像拍摄获得的图像数据，并在与所述图像数据对应的图像中检测拍摄对象的特定身体部分；状态确定装置，用于当使用身体部分检测装置检测到多个身体部分时，针对每个身体部分确定与优先级设置条件对应的特定状态；优先级设置装置，用于根据由状态确定装置执行的确定的结果，为各身体部分设置优先级；操作确定装置，用于按照根据所述优先级设置的、作为确定对象的身体部分的确定容许度，确定由身体部分检测装置检测到的身体部分是否执行了与特定操作对应的预定动作；和控制装置，用于控制操作输入设备，从而使操作输入设备根据由操作确定装置进行的、已执行了与特定操作对应的特定动作的确定，执行预定操作。
2. 如权利要求1所述的操作输入设备，其中，状态确定装置确定 各身体部分的对象距离，并且优先级设置装置根据所述对象距离为各身体部分设置优先级。
3. 如权利要求2所述的操作输入设备，其中，状态确定装置基于 与所述图像数据对应的图像框中的身体部分的大小，确定对象距离。
4. 如权利要求1所述的操作输入设备，其中，状态确定装置确定 所述身体部分和与所述图像数据对应的图像框的中心之间的距离，并 且优先级设置装置根据该距离为所述身体部分设置优先级。
5. 如权利要求1所述的操作输入设备，其中，状态确定装置确定 与所述图像数据对应的图像框中的所述身体部分的运动速度，并且优 先级设置装置根据该运动速度为所述身体部分设置优先级。
6. 如权利要求1所述的操作输入设备，其中，状态确定装置确定 所述身体部分是否执行了与被定义为优先级设置条件的预定动作对应 的特定简单动作，并且优先级设置装置基于该确定结果设置优先级。
7. 如权利要求1所述的操作输入设备，其中，状态确定装置确定 所述身体部分是否执行了与被定义为优先级设置条件的预定动作对应 的通过组合多个特定简单动作而获得的特定动作模式，并且优先级设 置装置基于该确定结果设置优先级。
8. 如权利要求1所述的操作输入设备，其中，状态确定装置在所 述身体部分之中确定具有比阈值高的优先级的身体部分。
9. 如权利要求1所述的操作输入设备，其中，对于具有大于或等 于预定级别的优先级的身体部分，将使用身体部分检测装置检测身体 部分和使用操作确定装置执行确定的、重复执行的相同操作之间的时 间间隔设置为小于针对具有比所述预定级别小的优先级的身体部分的 时间间隔。
10. 如权利要求1所述的操作输入设备，其中，操作确定装置根
11. 如;又利要求1所述的操作输入设备，-其中，对于具有大于或 等于预定级别的优先级的身体部分，在单位时间中执行使用身体部分 检测装置的身体部分的检测的次数和执行使用操作确定装置的确定的 次数被设置为大于针对具有小于所述预定级别的优先级的身体部分的 次数。
12. 如权利要求1所述的操作输入设备，其中，操作确定装置在 要确定预定简单动作时，确定是否对于具有预定时间间隔的每个检测 定时获得了与所述预定简单动作对应的状态，在a个连续检测定时获得与所述预定简单动作对应的状态1)(3>13)次以上时，获得表示执行了所述预定简单动作的识别结果，并且在连续c(c是大于等于1的自 然数)次以上获得该识别结果时，获得表示执行了所迷预定简单动作 的确定结果。
13. —种操作输入方法，包括下述步骤接收通过图像拍摄获得的图像数据，并在与所述图像数据对应的 图像中检测拍摄对象的特定身体部分；当检测到多个身体部分时，针对每个身体部分确定与优先级设置条件对应的特定状态；根据确定的结果为各身体部分设置优先级；按照根据所述优先级设置的、作为确定对象的身体部分的确定容 许度，确定检测到的身体部分是否执行了与特定操作对应的预定动 作；以及控制操作输入设备，从而使操作输入设备根据已执行了与特定操 作对应的特定动作的确定，执行预定操作。
14. 一种使操作输入设备执行下述步骤的程序 接收通过图像拍摄获得的图像数据，并在与所述图像数据对应的图像中检测拍摄对象的特定身体部分；当检测到多个身体部分时，针对每个身体部分确定与优先级设置 条件对应的特定状态；根据确定的结果为各身体部分设置优先级；按照根据所述优先级设置的、作为确定对象的身体部分的确定容 许度，确定检测到的身体部分是否执行了与特定操作对应的预定动 作；以及控制操作输入设备，从而使操作输入设备根据已执行了与特定操 作对应的特定动作的确定，执行预定操作。
15. —种操作输入设备，包括身体部分检测单元，配置为接收通过图像拍摄获得的图像数据， 并在与所述图像数据对应的图像中检测拍摄对象的特定身体部分；状态确定单元，配置为当使用身体部分检测单元检测到多个身体 部分时，针对每个身体部分确定与优先级设置条件对应的特定状态；优先级设置单元，配置为根据由状态确定单元执行的确定的结 果，为各身体部分设置优先级；操作确定单元，配置为按照根据所迷优先级设置的、作为确定对 象的身体部分的确定容许度，确定由身体部分检测单元检测到的身体 部分是否执行了与特定操作对应的预定动作；和控制单元，配置为控制操作输入设备，从而使操作输入设备根据由操作确定单元执行的已执行了与特定操作对应的特定动作的确定， 执行预定操作。
全文摘要
操作输入设备、操作输入方法和程序。该操作输入设备包括身体部分检测单元，接收图像数据，并在该图像数据的图像中检测被摄体的特定身体部分；状态确定单元，针对每个身体部分确定与优先级设置条件对应的特定状态；优先级设置单元，根据确定的结果，为各身体部分设置优先级；操作确定单元，按照根据所述优先级设置的、作为确定对象的身体部分的确定容许度，确定所述身体部分是否执行了与特定操作对应的预定动作；和控制单元，控制操作输入设备，从而使操作输入设备根据已执行了与特定操作对应的特定动作的确定，执行预定操作。
文档编号H04N5/232GK101686329SQ20091017365
公开日2010年3月31日 申请日期2009年9月10日 优先权日2008年9月22日
发明者善积真吾, 平塚阳介, 胜又俊介 申请人:索尼株式会社