面部表情识别装置及方法和摄像装置的制作方法

专利名称：面部表情识别装置及方法和摄像装置的制作方法
技术领域：
本发明涉及一种基于描绘人物的图像信息来识别面部表情的面部表情识别装置及方法和摄像装置。
背景技术：
存在多种传统技术用来识别面部表情。在日本特许第02840816号公报(在下文中称为"专利文献1")所记载的面部表情识别中，预先设置要在面部表情识别中使用的无表情的参照图像。然后，对输入图像和预先设置的无表情的参照图像进行小波变换以针对各个频带计算频率信号的平均功率。然后通过计算各个平均功率之间的差来确定面部表情。
另外，在日本特开2005-56388号公报(下文中称为专利文献2)记载
的面部表情识别中，在从面部表情识别所使用的无表情的参照图像中预先提取了规定的特征点之后，计算特征点之间的距离等。然后通过类似地计算输入图像中的特征点之间的距离并计算各个距离之间的差值，来确定面部表情。
此外，日本特开2005-266984号公报(下文中称为专利文献3)记载了一种不使用无表情的参照图像的面部表情识别技术。在专利文献3所记载的面部表情识别中，在检测到图像中的嘴角(comer)以及左眼角和右
眼角之后，基于由这四个点生成的矩形中长边与短边的比率确定面部表情。此外，在日本特许第2573126号公报(专利文献4)中，记载了一种
方法，其中，从各特征位置获得眉毛动作和其他面部表情元素及面部表情元素信息，并基于面部表情元素信息计算面部表情元素码，然后在规定的变换公式中使用面部表情元素码来计算情绪值。
然而，由于在上述专利文献1和专利文献2中所记载的面部表情识别捕捉相对于无表情状态的变化，因此，与专利文献3中记载的不使用无表情的参照图像的面部表情识别技术相比，它们具有以下显著优势(1)它 们能够适应诸如眼、嘴等的面部器官的位置的个人差异；(2)它们能够以 相对高的检测精确度捕捉面部表情的细微变化。但是，另一方面，这些处 理具有以下问题(1)为了预先登记无表情的图像，需要时间和人力；(2)
仅能够对所登记的人识别面部表情；(3)由于进行登记的图像的数量等依 赖于进行面部表情识别的人的数量，因此需要较大的存储区；(4)当登记 期间的摄像环境与面部表情识别期间的摄像环境不同时，有时由于摄像环 境之间的差异而不能精确地识别面部表情；(5)在登记无表情的图像的用 户中术语"无表情的图像"的定义的变化很大地影响到面部表情识别的精 确度。上述五个问题由用户预先手动地登记无表情的图像的操作引起。
此外，在专利文献3和4中，不能适应面部的特征点位置等方面的个 人差异，并且由于使用通用标准来确定各个人的面部表情，因此难以提髙 精确度。

发明内容
考虑解决上述问题而做出本发明，本发明提供了一种面部表情识别装 置及方法，其中，在典型实施例中，不需要预先登记特定面部表情的图像， 并且基于各个人的面部特征的使用，能够进行面部表情的确定。
根据本发明的一个方面，提供了一种面部表情识别装置，该面部表情 识别装置包括
图像输入单元，用于顺次输入图像；
面部检测单元，用于检测由所述图像输入单元获得的图像中的面部； 开始确定单元，用于基于由所述面部检测单元检测到的面部图像信息
确定是否开始面部表情确定；
获取单元，用于在所述开始确定单元确定应当开始面部表情确定时，
基于由所述面部检测单元检测到的所述面部图像信息获取参照特征信息；
以及
面部表情确定单元，用于在所述开始确定单元确定开始所述面部表情 确定时从由所述面部检测单元检测到的所述面部图像信息提取特征信息，并基于所提取的特征信息和所述参照特征信息确定所述检测到的面部的面 部表情。
根据本发明的另一方面，提供了一种摄像装置，该摄像装置包括 上述面部表情识别装置；
供应单元，用于使用摄像单元以时间先后顺序获取图像并将所获取的 图像供应给所述图像输入单元；以及
记录单元，用于在所述面部表情确定单元确定面部表情是规定面部表 情时，将所述图像记录为拍摄图像。
根据本发明的一个方面，提供了一种面部表情识别装置，该面部表情 识别装置包括
图像输入单元，用于顺次输入图像；
面部检测单元，用于检测由所述图像输入单元获得的所述图像中的面
部；
特征提取单元，用于从由所述面部检测单元检测到的面部中提取特征；
存储单元，用于在由所述特征提取单元提取的所述特征的可靠性不小
于阈值时，将所述特征存储在存储器中；以及
面部表情确定单元，用于基于由所述存储单元存储在所述存储器中的 所述特征的变化确定所述面部的面部表情。
根据本发明的另一方面，提供了一种面部表情识别装置，该面部表情 识别装置包括
检测单元，用于从顺次输入的图像中检测面部；
状态确定单元，用于确定由所述检测单元检测到的所述面部的特征的 状态；
获取单元，用于在所述状态确定单元确定了所述面部的所述特征处于 预定状态时，基于所述面部的图像信息获取参照特征信息；以及
面部表情确定单元，用于基于由所述检测单元新检测到的面部和所述 参照特征信息确定所述新检测到的面部的面部表情。
根据本发明的另一方面，提供了一种面部表情识别方法，该面部表情 识别方法包括以下步骤图像输入步骤，其涉及顺次输入图像；
面部检测步骤，其涉及检测在所述图像输入步骤中获得的图像中的面
部；
开始确定步骤，其涉及基于在所述面部检测步骤中检测到的面部图像 信息确定是否幵始面部表情确定；
获取步骤，其涉及在所述开始确定步骤确定应当开始面部表情确定时， 基于在所述面部检测步骤中检测到的所述面部图像信息获取参照特征信 息；以及
面部表情确定步骤，其涉及在所述开始确定步骤中确定开始所述面部 表情确定时从在所述面部检测步骤中检测到的所述面部图像信息提取特征 信息，并基于所提取的特征信息和所述参照特征信息确定所检测到的面部 的面部表情。
根据本发明的一个方面，提供了一种基于信息处理器的面部表情识别 方法，该方法包括以下步骤
图像输入，其涉及顺次输入图像；
面部检测，其涉及检测在所述图像输入歩骤中获得的所述图像中的面
部；
特征提取，其涉及从在所述面部检测步骤中检测到的面部中提取特征；
存储，其涉及在所述特征提取步骤中提取的所述特征的可靠性不小于 阈值时，将所述特征存储在存储器中；以及
面部表情确定，其涉及基于在所述存储步骤中存储在所述存储器中的 所述特征的变化确定所述面部的面部表情。
根据本发明的一个方面，提供了一种面部表情识别方法，该面部表情 识别方法包括以下步骤
从顺次输入的图像中检测面部；
确定在所述检测步骤中检测到的所述面部的特征的状态； 在所述状态确定单元确定了所述面部的所述特征处于预定状态时，基 于所述面部的图像信息获取参照特征信息；以及
基于在所述检测步骤中新检测到的面部和所述参照特征信息确定所述新检测到的面部的面部表情。
通过下面参照附图对示例性实施例的描述，本发明的其它特征将变得 清楚。


图1示出了根据本实施例的摄像装置的硬件配置。
图2是例示根据第一实施例的摄像装置的整体操作的流程图。
图3是例示根据第一实施例的参照特征设置处理(步骤S213)的详情 的流程图。
图4是例示示例性的检测到的左眼和右眼的图。
图5是例示示例性的检测到的特征点的图。
图6是例示为检测特征点500和502所设定的示例性区域的图。
图7是例示为检测特征点503所设定的示例性区域的图。
图8是例示为检测特征点506和509所设定的示例性区域的图。
图9是例示为检测特征点507和508所设定的示例性区域的图。
图10是例示为检测特征点514和517所设定的示例性区域的图。
图11是例示为检测特征点515和516所设定的示例性区域的图。
图12是示出特征点514和517的y坐标相对于面部检测位置的变化的图。
图13是例示用于确定作为示例性面部表情的微笑面部表情的示例性 特征的图。
图14是例示用于确定作为示例性面部表情的微笑面部表情的示例性 特征的图。
图15是例示根据第一实施例的面部表情确定处理(步骤S215)的详 情的流程图。
图16是例示根据第二实施例的摄像装置的整体操作的流程图。 图17是例示采用直方图来确定用于无表情状态确定的阈值的示例性 方法的图。
图18是例示采用直方图来确定用于无表情状态确定的阈值的另一示例性方法的图。
图19是例示根据第三实施例的参照特征设置处理的详情的流程图。 图20是例示根据第三实施例的用于滤波的处理区域的图。 图21是例示通过滤波获得的示例性结果的图。
图22A和图22B是例示针对图21中的状态A和状态E的垂直边缘滤
波器输出和直方图的图。
图23是例示根据第三实施例的面部表情确定处理的详情的流程图。
图24是用于说明用来确定面部表情的神经网络的图。
图25是例示根据第四实施例的摄像装置的整体操作的流程图。
图26是用于说明用来更新参照特征的确定处理方法的图。
图27是例示根据第五实施例的摄像装置的整体操作的流程图。
图28是例示根据第五实施例的面部表情确定处理(步骤S1513)的详
情的流程图。
图29是说明特征点可靠性计算的方法的图。
图30A、图30B以及图30C是例示各种特征变化模式的图。
具体实施例方式
现在，将参照附图详细描述本发明的示例性实施例。 (第一实施例)
图1是例示根据本实施例的摄像装置100的配置的框图。在本实施例 中，使用电子静态照相机作为摄像装置100的示例。在下文中，也将摄像 装置100称为"电子照相机"。
在图1中，标记101表示摄像镜头组。标记102表示包括光圈设备和 快门设备的光量调整设备。标记103是将穿过摄像镜头组101并代表被摄 体像的光束(luminous flux)转换为电信号的摄像元件。摄像元件103由 例如CCD或CMOS等构成。标记104是使摄像元件103的模拟信号输出 经历箝位和增益处理的模拟信号处理电路。标记105表示将模拟信号处理 电路104的输出转换为数字信号的模拟-数字(以下记作A/D)转换器。
标记107表示对从A/D转换器105获得的数据或者从存储控制电路106获得的数据执行规定的像素插值处理或颜色变换处理等的数字信号处
理电路。此外，数字信号处理电路107对所拍摄的图像数据执行规定的运算。
标记112是基于数字信号处理电路107执行的运算的结果对曝光控制 电路113和聚焦控制电路114实行控制的系统控制电路。结果，执行TTL (穿过镜头)型AF (自动对焦)处理、AE (自动曝光)处理以及EF (闪 光灯预闪)处理。此外，数字信号处理电路107对所拍摄的图像数据执行 规定的算术运算，并基于获得的算术运算结果执行TTL型AWB (自动白 平衡)处理。此外，其检测所拍摄的图像数据中的特定被摄体，并针对该 特定被摄体执行面部表情识别。
存储控制电路106控制模拟信号处理电路104、 A/D转换器105、数字 信号处理电路107、存储器108以及数字-模拟(以下记作D/A)转换器109。 经由数字信号处理电路107和存储控制电路106将通过A/D转换器105中 的A/D转换获得的数据写入存储器108;或者，直接经由存储控制电路106 将通过A/D转换器105中的A/D转换获得的数据写入存储器108。
存储器108存储在显示设备110上显示的数据。存储器108中记录的 数据经由D/A转换器109被输出并显示到诸如TFT、 LCD等的显示设备 110上。此外，存储所拍摄的静止图像和运动图像的存储器108设置有存 储规定数量的静止图像和规定持续时间的运动图像的充足的存储空间。这 使得即使在以连续的方式拍摄多个静止图像的全景摄像和突发摄像的情况 下，也能够向存储器108高速地写入大量的图像。此外，存储器108还可 以用作系统控制电路112的工作空间。应当指出，可以将装置配置为利用 接口 111将所拍摄的静止图像和运动图像写入CD-ROM、 floppy (软) 盘、硬盘、磁带、磁光盘、非易失性存储卡或者其他存储介质。
所拍摄的图像数据在显示设备110上的连续显示使得可以实现电子取 景器功能。此外，显示设备110可以根据来自系统控制电路112的指令在 任意时间开启和关闭显示，并且在关闭显示时，与开启状态相比，可以显 著降低摄像装置100所消耗的电能。此外，响应于程序的执行，系统控制 电路112使用字符、图像等在显示设备110上显示操作状态、消息等。
12标记111表示将存储卡、硬盘以及其他存储介质连接到摄像装置100 的接口。此外，可以使用接口 111在装置和其他计算机之间传输图像数据 和附属于图像数据的管理信息，也可以在装置和诸如打印机等的外围设备 之间传输图像数据和附属于图像数据的管理信息。将接口 11配置为适合用
于符合诸如PCMCIA卡和CF (compact flash ,压縮闪存)的规格的介质， 使得能够基于连接各种通信卡来进行装置与外部设备之间的信息传输。所 述的各种通信卡包括，例如LAN卡和调制解调器卡、USB卡、正EE1394 卡、P1284卡、SCSI卡、PHS以及其他通信卡。
系统控制电路112控制摄像装置110的整体操作。设置在系统控制电 路112中的存储器(未示出)存储系统控制电路112的操作中使用的程序 或用于识别特定被摄体的面部表情或面部的常量、变量以及程序等。应当 指出，可以使用CD-ROM、软盘、硬盘、磁带、磁光盘、非易失性存储卡 等更改系统控制电路112的存储器中存储的这些常量、变量以及程序等。 此外，替代将它们存储到存储器中，可以从上述存储介质等中读取用于系 统控制电路112的操作、或用于识别特定被摄体的面部表情或面部的数据 和程序，然后执行。但是，本发明不限于上述方法。
曝光控制电路113控制光量调整设备102的光圈设备和快门设备。聚 焦控制电路114控制摄像镜头组101的聚焦和变焦。使用TTL方法控制曝 光控制电路113和聚焦控制电路114。即，系统控制电路112基于数字信 号处理电路107对所拍摄的图像数据执行的运算的结果实行对曝光控制电 路113和聚焦控制电路114的控制。
以下参照图2的流程图来说明根据本实施例的摄像装置100 (电子照 相机)的整体操作。应当指出，用于执行图2所示的处理的程序存储在系 统控制电路112的存储器(未示出)中，并且该处理在系统控制电路112 的控制之下执行。
当在接通电源而开始该处理时，首先，在步骤S200中，系统控制电 路112初始化内部存储器中的各种标志以及控制变量。在步骤S201中， 系统控制电路112检测摄像装置100的模式设置状态，并在设置为自动摄 像模式时使处理进入到步骤S203而在设置为其他模式时使处理进入到步骤S202。应当指出，在自动摄像模式中，在被摄体面部的面部表情与规定
的面部表情(本实施例中为微笑的面部)匹配的瞬间执行摄像(拍摄图像
记录操作)。在步骤S202中，系统控制电路112执行与所选择的模式对应 的处理，然后在处理结束时返回到步骤S201。
另一方面，如果设置为自动摄像模式，则在步骤S203中，系统控制 电路112确定剩余的电源容量或操作情况是否会使摄像装置100的操作产 生问题。如果系统控制电路112确定会产生问题，则在步骤S204中，其 使用显示设备110利用图像和声音发出规定的警告消息，然后使处理返回 到步骤S201。
如果在步骤S203中确定不存在与电源相关的问题，则处理进入步骤 S205。在步骤S205中，系统控制电路112确定存储介质的操作状态是否 会使摄像装置100的操作产生问题，特别是，是否会使到存储介质的图像 数据记录操作以及从存储介质的图像数据再现操作产生问题。如果确定会 产生问题，则处理进入上述步骤S204。在步骤S204中，系统控制电路112 使用显示设备110利用图像和声音发出规定的警告消息，然后使处理返回 到步骤S201。
如果在步骤S205中确定不存在与存储介质相关的问题，则处理进入 步骤S206。在步骤S206中，系统控制电路112使用图像和声音呈现显示 有摄像装置100的各种设置状态的用户界面(下文中称为UI)。应当指出， 如果开启了显示设备110的图像显示，则显示设备110可以使用图像和声 音来显示显示有摄像装置100的各种设置状态的UI。以该方式设置各种用 户定义的设置。
接下来，在步骤S207中，系统控制电路112将显示设备110的图像显 示设置为开启状态。此外，在步骤S208中，系统控制电路112将其设置 为实时查看显示状态以连续显示所拍摄的图像数据。应当指出，在本实施 例中，将摄像元件103获得的图像顺次存储在存储器108中。系统控制电 路112具有以时间先后顺序顺次接受图像的图像输入功能。在该实时查看 显示状态中，显示设备110连续显示连续写入存储器108的图像数据，由 此实现电子取景器功能。在步骤S209中，系统控制电路112确认用户(即摄像者)是否按下 了快门开关(未示出)。如果未按下快门开关，则处理返回到步骤S201。 如果按下了快门开关，则不立即进行摄像，而在步骤S210中由系统控制 电路112执行面部检测处理。接着，在步骤S211中，系统控制电路112 基于步骤S210的面部检测处理的结果实现规定的AE/AF控制。此外，响 应于规定的操作指令在自动摄像模式中以下述步骤S212至S219的顺序执 行摄像处理(自动检测规定的面部表情并执行摄像的处理)。
面部检测处理采用以例如神经网络和支持向量机为代表的基于训练 的方法。此外，它还采用基于模板匹配(template matching)来从图像区域 中提取诸如眼睛、鼻子等具有物理形状的特征的位置的方法。此外，还有 诸如P. Viola and M. Jones等人的Rapid Object Detection Using a Boosted Cascade of Simple Features, in Proc. of CVPR， vol.1, pp.511-518， December, 2001中描述的技术。此外，还有诸如日本特开平10-232934号公报以及特 开2000-48184号公报中记载的技术，在该技术中，使用统计方法检测并分 析皮肤的颜色、眼睛的形状以及其他图像特征。本实施例使用如下方法 通过基于面部图像和非面部图像训练神经网络来构建面部分类器。此外， 应当指出，当使用通过训练神经网络而得到的面部分类器时，使存在面部 的位置邻近的神经元进入"点火(firing)"状态。鉴于此，除了面部检测 位置，可以基于神经元点火的强度和数量来计算面部检测可靠性等。术语 "面部检测可靠性"指的是表示检测到的面部检测位置等可以被信赖的程 度的值。面部检测可靠性的值越高，存在面部的概率越大。例如，存在如 下方法使用具有最大输出值的神经元的位置作为面部检测位置，并且为 了确定面部检测可靠性，通过使用规定的函数将最大输出值正规化为规定 的值(例如0-l)，并将根据最大输出值获得的值(例如0-l)"按原样"用 作面部检测可靠性。应当指出，将面部检测位置以及面部检测位置周围的 区域称为面部区域。
应当指出，就面部检测可靠性来说，存在如下的方法如果等于或超 过固定阈值的神经元的数量不小于规定数量Nl，则将面部检测可靠性设置为"1"。此外，如果其不小于规定数量N2，则将面部检测可靠性设置为
0.6，而在所有其他情况下将面部检测可靠性设置为"0"。此外，可以使用
如下方法通过对等于或超过固定阈值的神经元数量应用规定的函数来计 算面部检测可靠性。另外，可以使用不同的技术来确定面部位置检测位置 以及面部检测可靠性，例如如下方法对最接近最大神经元值的前N3。/。中 的神经元输出值的总和应用规定的函数来计算面部检测可靠性。
返回参照图2，对从摄像元件103按时间顺序输入的图像顺次执行步 骤S212至S213或步骤S214至S219的处理。在步骤S212至S213中，根 据基于面部状态信息的定时自动提取规定特征作为参照特征，在步骤S214 至S219中，使用提取的参照特征执行面部表情确定。换句话说，步骤S213 中的参照特征设置处理用来确定步骤S215中的面部表情确定处理的开始。 首先，在步骤S212中，系统控制电路112使用实时査看显示来显示拍摄 的图像数据。然后，在步骤S213中，执行自动提取并设置面部表情识别 中使用的最佳参照特征的处理，同时确定是否成功地设置了参照特征。下 面说明用于自动提取参照特征的方法。
图3是例示一处理的流程图，在该处理期间，自动提取并设置被认为 是用于面部表情识别的最佳参照的参照特征。应当指出，尽管在以下实施 例中，使用下文中说明的在无表情状态中提取的各特征作为最佳参照特征， 但是还可以使用从除了无表情状态以外的特定面部表情状态下获得的各特 征作为参照特征。
在步骤S300中，使用上述面部检测处理，系统控制电路112再次执 行面部位置检测和如上所述的面部检测可靠性计算。这是由于被摄体面部 的位置可能已经与在AE/AF期间所占的位置不同。此外，在此，使用在检 测到的面部位置周围应用的典型眼模板和嘴模板来检测左眼和右眼的位置 以及嘴的位置。在步骤S301中，系统控制电路112使用面部检测可靠性 来检查是否检测到了面部。如果面部检测可靠性不小于规定值，换句话说， 如果确认检测到了面部，则处理进入步骤S302。如果面部检测可靠性小于 规定值，换句话说，如果确认没有检测到面部，则该处理终止。在步骤S302中，系统控制电路112使用在步骤S300中检测到的左眼和右眼的位置计
算面部的大小。如果所计算的面部的大小在规定大小以内，则处理进入步
骤S303。
例如，系统控制电路112基于图4所示的所检测到的左眼和右眼的位 置400、 401计算两眼间的距离。然后，如果在步骤S302中确定计算出的 大小超出了规定大小，则该处理终止。在步骤S303中，系统控制电路112 使用在步骤S300中检测到的左眼和右眼的位置400、401计算面部的朝向。 在步骤S303中，根据例如图4所示的连接两个眼睛的位置的直线的方向 计算面部的朝向(平面内的旋转量)。如果计算结果显示面部的朝向在规定 方向之内，则处理进入步骤S304。如果在步骤S303中确定面部的朝向在 规定方向的范围之外，则处理终止。在步骤S304中，系统控制电路112 使用图4中所检测到的两个眼睛的位置400、401执行基于仿射变换的正规 化处理，由此将两眼间的距离改变为规定距离，将面部的朝向改变为规定 方向。如上所述，在步骤S301至S303中，基于检测到的面部大小、朝向 和可靠性确定检测到的面部的有效性，如果确定为有效，则执行下面的处 理(无表情状态确定)。
在步骤S305中，系统控制电路112执行图5所示的面部特征点500 至517的提取。尽管存在用于特征点提取的各种技术，但是在本实施例中， 提取的方法在于设定用于提取各特征点的规定范围以及使用用来在所设定 的各范围内检测特征点的神经网络。使用以与面部检测类似的方法针对特 征点图像数据预先训练的神经网络作为上述神经网络。
以下述方式使用两个眼睛的检测位置400与401、面部检测位置402 (鼻子位置)以及嘴检测位置403(参照图6)来设置各特征点的检测范围。 例如，使用图6所示的两眼间距离a和左眼检测位置400来在特征点500、 502的检测范围内设置范围600和601。此外，类似地使用两眼间距离a 和右眼检测位置401来设置特征点503、 505的检测范围。此外，如图7 中作为示例所示，在特征点501的检测范围中设置范围602，还以同样的 方式设置特征点504的检测范围。如图8中作为示例所示，将范围603、 604设置为特征点506、 509的检测范围，还以同样的方式设置特征点510、
17513的检测范围。如图9中作为示例所示，在特征点507、 508的检测范围 中设置范围605、 606，还以同样的方式设置特征点511、 512的检测范围。 如图10中作为示例所示，将范围607、 608设置为特征点514、 517的检测 范围。此外，如图ll作为示例所示，将范围609、 610设置为特征点515, 516的检测范围。
应当指出，在使用神经网络时，在各个特征点的正确位置的邻近，有 多个神经元点火(fire)。因此，本实施例使用如下方法通过计算超过规 定阈值的神经元值的质心来执行嘴的特征点位置的提取。应当指出，位置 计算方法以及设置的范围不限于本实施例。
返回参照图3，在步骤S306中，确认是否检测到了所有的规定特征点。 如果检测到了所有的特征点，换句话说，如果检测到了图5的所有特征点 500-517，则处理进入步骤S307。如果还不能检测到所有特征点，则该处 理终止。在步骤S307中，系统控制电路112基于图5中的特征点500-517 中的嘴特征点514-517中的动态变化量确定面部表情状态是否是无表情。 下面说明无表情状态确定的方法。
图12是例示在无表情状态改变为微笑面部表情的情况下，嘴特征点 514和517的y坐标相对于图6的面部检测位置402的变化的图。应当指 出，在图12中，pl和p2对应于与无表情状态相关的帧，而p2和p3对应 于与微笑面部状态相关的帧。从图12可以看出，在pl与p2之间的无表情 状态中，嘴特征点514和517相对于面部检测位置的y坐标变化限于在规 定振幅范围Ll之内的微小振动。与之相对，在p2与p3之间的微笑面部 表情状态中，由于随着颊肌上提使嘴特征点514和517的y坐标靠近面部 检测位置402，因此以面部检测位置402为基准的y坐标变化改变很大。 尽管图中没有例示，这同样适用于嘴特征点515和516，在无表情状态中， 以面部检测位置402为基准的嘴特征点515和516的y坐标变化限于规定 振幅范围(指定为L2)之内的微小振动。因此，如果以面部检测位置402 为基准的嘴特征点的y坐标的变化(波动量)连续处于规定振幅Ll、 L2 之内达规定帧数(预定数量的连续图像)次，则确定该状态为无表情。通 过分析大量的无表情的表情数据预先获得规定振幅L1、L2。在本实施例中，嘴特征点的y坐标变化构成确定参照特征提取的定时的面部信息。
应当指出，在无表情状态中发生微小振动的原因是由于图像噪声等的 影响而导致的嘴特征点检测位置从原始正确位置的轻微移位。因此，只要 没有由于隐藏嘴区域的物体等的影响而引起的嘴特征点位置的错误检测，
则无表情状态中以面部检测位置402为基准的嘴特征点位置的y坐标变化
实际上包含在相对于原始正确嘴特征点位置的规定离差中。在步骤S307
中，以此种方式基于规定特征点的动态帧间变化量来进行关于该状态是否
是无表情的确定。即，基于以所检测到的面部位置(面部检测位置402)
为基准的、构成面部器官的特征点(在本实施例中为嘴特征点)的坐标值
而进行关于是否开始面部表情确定的确定。很明显，可以使用指定面部位 置与构成面部器官的特征之间的距离作为另一可供选择的对象。
应当指出，替代设置用于以上述方式提取参照特征的各规定振幅，可 以设置不提取参照特征的各规定振幅。换句话说，如上所述，在从无表情 状态提取参照特征的情况下，在变化连续处于规定振幅之内达规定的帧数 次时，提取参照特征。然而，在从其他面部表情状态提取参照特征的情况 下，可以不在变化处于规定振幅之内时而在变化连续保持大于规定振幅达 规定的帧数次时，提取参照特征。此外，无表情状态确定的方法不限于上 述确定条件，也就是说，可以使用x坐标和y坐标两个坐标，也可以使用 除了嘴特征点以外的特征点。另外，还可以使用眼睛的张开/闭合状态作为 面部信息，以使用特征点507 (511)与特征点508 (512)之间的距离和距 离的变化并根据张开眼睛状态的定时提取参照特征。此外，以与特征点提 取相同的方式，可以使用瞳孔图像来训练神经网络，并且可以根据超过固 定阈值的瞳孔神经元的数量确定眼睛的张开/闭合状态。例如，该装置可以 适合于在检测到的瞳孔区域像素的数量不小于规定值时，确定应当执行参 照特征设置(应当开始面部表情确定处理)。此外，可以将条件制定为"连 续达规定时段"来替代"连续达规定的帧数次"。
返回参照图3，如果在步骤S307中，基于规定特征点，确定该状态是 无表情状态，则处理进入步骤S308。如果在步骤S307中，基于规定特征 点，确定该状态不是无表情的，则处理终止。在步骤S308中，系统控制
19电路U2提取并设置用于面部表情确定的参照特征。以这种方式，在本实 施例中，基于检测到的面部图像信息(描绘围绕所检测到的面部位置的区
域的图像)，确定是否开始步骤S214之后的面部表情确定。然后，如果确 定应当开始面部表情确定，则针对该面部表情确定，基于所检测到的面部 图像信息获取用作参照特征信息的参照特征。下面，提供关于作为要确定 的面部表情的示例的微笑面部表情的参照特征的说明。 [参照特征]
Facial Action Coding System (面部动作编码系统)(P. Ekmanand， W. V. Friesen, Facial Action Coding System (FACS) Manual, Palo Alto Consulting Psychologists Press, 1978)提出了下面的微笑面部表情的定义。
颊上提，嘴角回縮。
在本实施例中，如图13所示，使用特征点506与特征点514的y坐标 之间的距离(特征710)、特征点513与特征点517的y坐标之间的距离(特 征711)以及特征点514与特征点517之间x方向上的距离(特征712)中 的各个变化量来确定微笑面部表情。因此，在本实施例中，在确定微笑面 部表情时使用的"参照特征"是从无表情状态中的面部图像获得的上述距 离710、 711和712;在下文中也将它们称为"特征"。在步骤S308中，提 取这些特征作为参照特征。就关注用于确定其他面部表情的特征而言，可 以确定与在上文提到的FACS中的各个面部表情的定义相对应的特征，并 使用所确定的各特征确定面部表情。
应当指出，在计算这些距离时，如图14所示，可以以规定位置(例如 面部检测位置402)为基准计算y方向上的距离713、 714 (下文中还称为 特征713、 714)。此外，使用的特征不限于在本实施例中记载的特征。
如果在步骤S213中确定设置了所有的规定参照特征，则处理进入步 骤S214。另一方面，如果在步骤S213中确定没有设置所有的规定参照特 征，则处理返回到步骤S212，系统控制电路112提供下一帧图像的实时査 看显示。在步骤S214中，系统控制电路112将所设置的参照特征提供给 帧图像的下一帧图像的实时查看显示。在步骤S215中，系统控制电路H2使用代表与在步骤S214中使用实时查看显示所显示的帧图像一样的场景、 但是具有不同的分辨率的图像执行面部表情识别，并进行关于这是否是规
定面部表情的确定。即，在步骤S215中，从所检测到的关于在步骤S213 中确定应当开始面部表情识别之后(设置了参照特征之后)输入的图像的 面部图像信息提取特征信息。然后，基于所提取的特征信息和参照特征信 息确定面部表情。下面说明面部表情确定处理。 [面部表情确定处理]
图15是面部表情确定处理的流程图。步骤S800至S806中执行的处
理与图3中的步骤S300至S306中执行的处理相同。因此，在面部表情确
定处理期间，基于检测到的面部的大小、朝向以及可靠性确定检测到的面
部的有效性(S801至S803)。然后，如果确定为有效，则执行下面的处理
(面部表情确定)。在步骤S807中，系统控制电路112首先从当前的帧图
像中提取特征(与图13中的参照特征710、 711和712相同类型的特征)。
接下来，通过计算从无表情面部图像提取的参照特征与从当前帧的面部图
像提取的特征之间的特征差或比率，来计算各特征的变化特性vl、 v2和
v3。随后，在步骤S808中，系统控制电路112使用下面的等式根据各特
征的权重和变化vl、v2和v3计算微笑面部表情的程度，并且如果SumScore
不小于规定分数则确定表情是微笑面部表情，另一方面，如果其小于规定
分数则确定表情不是微笑面部表情。
&w"=g(W;v, )iV:特征编号W:特征权重
^附&w^-Z&w^,g:力、数i十算函数
在用户通过操作照相机仅仅确定特定场景，即特定面部表情时，上述 基于规定分数的确定是合适的。然而，在一系列面部表情中确定单个规定
面部表情的情况下，存在下述方法针对各个面部表情计算分数，将具有 最高计算分数的面部表情确定为该规定面部表情。此外，存在基于利用针
对各面部表情的最终层的神经网络的方法，或者如日本特许第02962549 号公报所述的使用隐马尔可夫模型(HMM， Hidden Markov Model)确定
面部表情的方法。返回参照图2，如果在步骤S215中确定这是拍摄对象的面部表情(规 定面部表情)，则处理进入步骤S216。另一方面，如果在步骤S215中未确 定这是拍摄对象的面部表情，则处理进入步骤S219。在步骤S216中，系 统控制电路112执行摄像操作，在此期间将所拍摄的图像数据写入存储器 108。当步骤S216的摄像操作结束时，在步骤S217中，系统控制电路112 通过显示在步骤S216中所拍摄的图像执行快速预览显示操作。当在步骤 S218中读出写入到存储器108中的图像数据并执行图像压縮处理之后，系 统控制电路112接着执行记录处理，在该记录处理中，将压縮图像数据写 入存储介质。应当指出，如有必要，可以在记录处理之前执行诸如将高亮 度或低亮度颜色绘制得不太明显的消色处理的图像处理操作。如果在步骤 S219中检测到自动摄像结束，例如，如果存在又一快门开关按下等，则系 统控制电路112使处理返回到步骤S201，并终止该自动摄像。另一方面， 如果没有指示表示自动摄像结束，则处理返回到步骤S214，继续该自动摄 像。
应当指出，关于上述特征点位置、距离特征等，可以使用预定数量的 帧的平均值来替代各个帧的值。
在上述方法中，基于规定特征点的动态变化，在设置了面部表情识别 期间所需的参照特征之后识别面部表情。
应当指出，虽然第一实施例中进行的说明涉及电子静态照相机，但是 理所当然地，本实施例同样适用于视频照相机等。
如上所述，第一实施例能够消除背景技术中的显著影响面部表情识别 的精确度的以下问题(1)为了预先登记无表情图像所需的时间和人力； (2)仅能针对登记的人识别面部表情；(3)由于必须登记的图像的数量依 赖于进行面部表情识别的人的数量而需要较大的存储区；(4)当登记期间 的摄像环境与面部表情识别期间的摄像环境不同时，有时由于摄像环境之 间的差异而不能精确地识别面部表情；(5)术语"无表情的图像"的定义 在登记无表情图像的用户中差别很大。
<第二实施例>
接下来将说明第二实施例。图16是例示第二实施例的整体操作的流程图。参照图16的流程图提供下面的说明。从步骤S900直到步骤S910 执行的处理与第一实施例中的(步骤S200至S210)相同。另外，步骤S915 至S920中执行的处理也与第一实施例中的(步骤S214至S219)相同。
在步骤S911中，系统控制电路112对在步骤S910中检测到的各面部 执行个人标识认证。个人标识认证的技术是基于，例如，日本特开 2000-30065号公报中记载的利用相互子空间技术的方法，或者日本特开 2003-323622号公报中记载的将面部区域划分为多个子区域、然后针对各 个子区域执行比较的方法。在本实施例中，我们采用日本特开2003-323622 号公报中记载的方法，将面部区域划分为多个子区域。应当指出，可以正 好在摄像之前登记用于认证的图像，而不是预先登记。在步骤S912中， 系统控制电路112对在步骤S911中认证的人执行AE/AF。在步骤S913中， 系统控制电路112以与第一实施例中相同的方式提供实时査看显示。在步 骤S914中，系统控制电路112进行关于无表情状态的确定，并执行参照 特征提取。尽管在步骤S914中可以使用与第一实施例中相同的技术来提 取参照特征，但是在第二实施例中，使用与第一实施例不同的技术来提取 参照特征。下面，参照图3的流程图来说明第二实施例的参照特征提取的 方法。
从图3的步骤S300直到步骤S306，该处理与第一实施例相同。在步 骤S307中，如果图14的特征712、 713和714在规定范围之内，则确定 状态为无表情状态。建议使用下面的方法作为用于确定规定范围的方法。 预先准备关于无表情的表情的大量数据，并且为图14的特征712生成诸如 图17中的直方图的直方图1，并以类似的方式为特征713和714生成直方 图2和直方图3 (未示出)。接下来，根据图17的以使得包含全部的特征 712的方式的直方图1来确定阈值a和阈值b。以相似的方式，根据使得包 含全部的特征713的直方图2来确定阈值c和d (未示出)，并根据使得包 含全部的特征714的直方图3来确定阈值e和f (未示出)。如果全部的特 征落在阈值之间，则确定面部表情为无表情。应当指出，对于阈值a和阈 值b，可以使用计算特征的平均p和离散cj、使用与平均p距离预定离散
23n*a (。离散，n:常数)的值作为阈值a'和b'的方法，还可以使用其他 技术确定阈值。此处使用的特征当然不限于第二实施例中使用的特征。 此处执行的从步骤S308开始的处理以及图16的步骤S915至S920中
的/yk理 1=:络——<^琉^11±]的士1=1曰
如上所述，在第二实施例中，通过多个面部图像中的特征的统计处理 来保持标准，并且在从检测到的面部图像信息获得的特征处于根据标准的 预定范围之内时开始面部表情确定。鉴于此，第二实施例使得能够使用从 单个帧图像获得的预定特征来确定无表情状态，而不是如第一实施例中一 样根据几个帧之间的特征点的变化来确定无表情状态。
应当指出，尽管第二实施例中进行的说明涉及电子静态照相机，但是 理所当然地本实施例同样可以应用于视频照相机等。此外，代替摄像装置， 其适合于从包含大量图像的数据库提取特定人的无表情状态图像以及随后 提取特定人的具有规定面部表情的图像。
<第三实施例>
接下来将说明第三实施例。描述本实施例的整体操作的流程图与第二
实施例中使用的流程图(图16) —样。
图19是呈现图16的步骤S914，即第三实施例的参照特征设置处理的 流程图。从图19中的步骤S1000直到步骤S1004，处理与第一实施例和第 二实施例(即步骤S300至S304)相同。
在步骤S1005中，系统控制电路112首先设置用于空间滤波的区域。 例如，空间滤波区域是图20中的区域1100、 1101以及1102。参照眼睛检 测位置400和401、面部检测位置402以及嘴检测位置403确定这些区域。 接下来，为了确定这是否是无表情状态，在图20的区域1102中执行空间 滤波。所使用的空间滤波器可以是，例如用于水平和垂直边缘检测的Sobd (索贝尔)滤波器，但是其不限于Sobel滤波器。
在步骤S1006中，系统控制电路112使用步骤S1005中的空间滤波器 的输出确定这是否是无表情状态。图21例示了通过执行Sobel滤波在图 20的区域1100和区域1102中检测水平和垂直边缘而获得的结果。状态A 至C代表通过区域1102的Sobd滤波获得的结果，而状态D和E代表通过区域1100中的Sobd滤波获得的结果。状态A是嘴闭合的无表情状态，状态B是嘴纵向张开的非无表情状态，而状态C是嘴横向张开的非无表情状态。另外，状态D是眼睛张开的无表情状态，而状态E是眼睛闭合的非
工主A主化-ir
首先，状态A、状态B和状态C之间的比较示出了在状态A的嘴闭合的无表情状态中，水平和垂直边缘滤波器输出值总体上低。与之相对地，在状态B或状态C的嘴张开的非无表情状态中，特别地，水平边缘滤波器的输出值总体上高。此外，以类似的方式比较图21的状态D和状态E，我们可以看到，眼睛张开的无表情状态D具有垂直边缘滤波器的输出值高的部分，而在眼睛闭合的状态E中，垂直边缘滤波器的输出值总体上低。
根据上述结果，可以看到，如果从区域1100获得的垂直边缘滤波器输出值的和不小于规定值且从区域1102获得的水平滤波器输出值不高于规定值，则无表情状态的可能性高。为了实际确定这是否是无表情状态，使用下面的函数计算无表情状态值。
无表情度=Z/;(y /^—
"N"是用于无表情状态确定的特征数量，"filter—output"是空间滤波器输出值的和，"fi"是用于根据第i个特征计算无表情度的函数。在本实施例中，如上面所提到的，N=2。应当指出，对各个函数fi进行加权，使得例如，从区域1102获得的水平滤波器输出值的和在进行无表情状态确定期间具有比从区域1100获得的垂直边缘滤波器输出值的和更大的权重。更具体地说，如果最大无表情值是l，则将根据从区域1100获得的垂直边缘滤波器输出值的和获得的最大无表情值设置为0.4，而将根据从区域1102获得的水平滤波器输出值的和获得的最大无表情值设置为0.6。关于用于计算无表情度的函数，使大量的无表情状态图像经历水平和垂直边缘检测，并且根据关于各个滤波器输出值的和的统计数据来计算该无表情度。例如，尽管如图22A和图22B所示，使用根据无表情状态图像获得的直方图来确定用于计算无表情度的函数，但是不限于此类方法。此外，用于确定这是否是无表情状态的区域不仅仅限于嘴和眼睛区域，还可以使用许多其他区域。
应当指出，作为无表情状态确定的替代方法，除了边缘滤波器输出值， 还可以在图20的区域1102中提取作为牙齿的颜色的白色的区域，并使用 白色区域的面积(像素计数)确定这是否是无表情状态。
返回参照图19，在步骤S1006中，使用上述方法来确定这是否是无表 情状态。然后，如果确定该状态是无表情的，则处理进入步骤S1007。如 果确定其不是无表情的，则处理终止。在步骤S1007中，提取用于面部表 情确定的参照特征。关于在第三实施例中使用的参照特征，由于在图20 的区域1100、 1101和1102中对水平边缘和垂直边缘两者都进行了检测， 因此使用总共六个Sobd滤波器输出值数据项作为用于提取的参照特征。
接下来，提供关于在第三实施例中用来使用上面提到的参照特征在图 16的步骤S916中确定面部表情的处理的说明。图23是例示步骤S916中 第三实施例的面部表情确定处理的流程图。从步骤S1200直到S1204所执 行的处理与第一实施例和第二实施例中(S800至S804)相同。
在步骤S1205中，系统控制电路112执行与图19的步骤S1005中相 同的处理，以获得检测水平和垂直边缘的总共六个Sobel滤波器输出值。 在步骤S1206中，系统控制电路112基于在图19的步骤S1007中提取的 六个Sobel滤波器输出值和在图23的步骤S1205中检测到的六个滤波器输 出值之间的差获得各个滤波器差分输出值。在步骤S1207中，系统控制电 路112使用在步骤S1206中获得的六个空间滤波器差分输出值来确定面部 表情。
在本实施例中，用来确定面部表情的方法在于使用神经网络，在该神 经网络中，如图24所示，在输入层中使用分别与六个空间滤波器差分输出 值相对应的神经元，而在输出层中使用与要确定的各个面部表情相对应的 神经元。用于该神经网络的训练方法在于，例如累积大量的无表情状态图 像数据以及针对要确定的各个面部表情的图像数据，并基于这些图像数据 计算六个滤波器差分输出值。存在一种方法，在该方法中，执行训练使得 在将各个面部表情的这六个滤波器差分输出值输入到输入层时，与输出层 中的面部表情相对应的神经元输出值是1，与其他面部表情相对应的神经元输出值是0。将在步骤S1206中获得的六个滤波器差分输出值输入到这
种神经网络的输入层的结果是，检测面部表情确定层(即输出层)的规定 面部表情种类的神经元点火最强烈。因此，可以通过参照面部表情确定层 的各神经元值来确定面部表情。应当指出，根据要确定的面部表情的数量 为对摄像进行控制的后续阶段确定输出层中的神经元数量。例如，如果对
微笑面部表情执行摄像，则提供分别对应于微笑面部表情和其他面部表情 的两个神经元。在上面的情况中，可以利用基于是否检测到微笑面部表情
而输出l或O的单个神经元。此外，可以利用多个神经元确定微笑面部表
情、闭合眼睛的面部表情、哭的面部表情等，并且在检测到闭合眼睛的面 部表情、哭的面部表情等时禁止摄像，以及在检测到微笑面部表情时执行 摄像。此外，可以使用其他分类器替代神经网络来进行面部表情确定。
上述第三实施例中提供的说明描述了如下方法在基于空间滤波器输 出值提取在面部表情识别期间所需要的参照特征之后识别面部表情。
应当指出，尽管在第三实施例中提供的说明涉及其适用于电子静态照 相机的情况，但是理所应当地，本实施例同样适用于视频照相机等。此外， 替代摄像装置，可以从存储大量图像的数据库中提取特定人的无表情状态 图像，并且之后提取特定人的具有规定面部表情的图像。
<第四实施例>
接下来将说明第四实施例。图25是例示第四实施例的整体操作的流程 图。从步骤S1300直到S1320所执行的处理与第二实施例中(图16的步 骤S900至S920)相同。如果在步骤S1316中确定这不是规定面部表情， 则处理进入步骤S1321。在步骤S1321中，系统控制电路112如在步骤S1314 中一样，除了进行无表情状态确定，还进行关于是否更新参照特征的确定。 换句话说，在第四实施例中， 一直到在步骤S1316中确定表情为规定面部 表情的时刻，如果再次确定状态为无表情状态且要如下面所述来更新参照 特征，则更新参照特征。下面，将详细说明步骤S1321的处理。
在步骤S1321中，如上所述，首先通过在第二实施例中说明的方法进 行关于状态是否是无表情状态的确定。接下来，如图26中所示来呈现从预 先准备的大量无表情图像获得的图13的特征710(或711、 712)的直方图。将在步骤s1314中提取的(即最初提取的)特征710用作特征1400，而将 在步骤s1321中提取的特征710用作特征1401。在第四实施例中，如果用 于无表情状态确定的特征更接近于预先准备的直方图的平均|i，则更新参 照特征。在图26的情况下，在步骤s1321中提取的特征1401位于比最初 提取的特征1400 (步骤s1314中提取的特征)更接近平均m的位置。因此， 在步骤s1321中确定更新参照特征。如果在步骤s1321中确定应当更新参 照特征，则处理进入步骤s1322。在步骤s1322中，系统控制电路112更 新参照特征。另一方面，如果在步骤s1321中确定不应当更新参照特征， 则处理跳过步骤s1322而进入步骤s1320。应当指出，有关更新参照特征 的确定不限于上述方法，并且预先准备的大量的无表情图像可以限于特定 人。
以这种方式，第四实施例使得能够通过在检测到更适合于面部表情识 别的无表情图像时更新参照特征来提高面部表情识别的精确度。 <第五实施例>
接下来将说明第五实施例。图27是例示根据第五实施例的摄像装置 100的整体操作的流程图。从步骤s1500直到s1512所执行的处理与第一 实施例中(步骤s200至s212)相同。在步骤s1513中执行面部表情识别。 下面，将详细说明步骤s1513。图28是详细例示步骤s1513的处理的流程 图。
从步骤s1600直到步骤s1606所执行的处理与第一实施例的面部表情 确定(步骤s800至s806)相同。在步骤s1607中，系统控制电路112确 定是否所有的规定特征点的可靠性都不小于规定阈值。如果所有规定特征 点的可靠性都不小于规定阈值，则处理进入步骤s1608。另一方面，如果 在步骤s1607中确定规定特征点的可靠性不总是等于或大于规定阈值，则 处理终止。
下面，将提供关于特征点的可靠性的说明。特征点的可靠性是表示能 够将所检测到的特征点信任为特征点检测结果的程度。建议使用下面的方 法作为特征点可靠性计算方法。例如，在本实施例中，使用仿射变换对面 部图像进行正规化。因此，例如，存在一种利用眼睛检测位置和特征点位
28置之间的空间位置关系的方法，例如，图5的特征点509位于图7中的左 眼检测位置400的右边。此外，如在第一实施例中所说明的，如果使用神 经网络进行特征点检测，则存在利用神经元输出值的方法。在第五实施例 中，使用上面提到的特征点的空间位置关系。例如，基于从大容量数据库 获得的各种面部表情统计地计算特征点相对于规定位置的相对坐标值或相 对距离。例如，如图29所示计算从图6中的左眼检测位置400到图5中的 特征点509的相对x坐标。然后如图29所示基于计算出的统计值建立可靠 性计算函数h，使用该可靠性计算函数h来计算可靠性。
针对其他特征点以类似的方法建立可靠性计算函数。应当指出，计算 可靠性的方法不限于在本实施例中所记载的方法。
在步骤S1608中，从根据经过检测的面部表情所选择的特征点中提取 必要特征，然后将所述特征存储。例如，当识别微笑面部表情(此处用其 作为面部表情的示例)时，提取图14的特征712、 713和714并将它们存 储在存储器中。作为由于步骤S1517的自动摄像的继续(步骤S1512-S1516 的重复)的结果，存储器包含当前帧，所述当前帧之间插入有利用多个帧 预先拍摄的特征712、 713和714。
在步骤S1609中，系统控制电路112根据特征差计算特征变化。艮口， 计算从帧t'提取的特征712、 713以及714与从存储的帧t的图像获得的特 征712、 713以及714之间的差。应当指出，特征变化可以是多个帧的平均。 作为示例，图30A示出了图14的特征713的变化模式，图30B示出了图 14的特征714的变化模式，而图30C示出了图14的特征712的变化模式。 此外，图30A至图30C的帧tl和t2代表横向张开嘴的动作，而帧t3和t4
表示嘴角上提的微笑的动作。
在步骤S1610中，基于相对于步骤S1609中获得的帧t的特征的帧t' 的特征的变化量，例如基于图30A至图30C的帧t3和t4的特征1、特征2 以及特征3的变化来确定面部表情。例如，使用隐马尔可夫模型基于上述 变化来确定面部表情，例如日本特许第02962549号和日本特许第02840816 号公报的说明书中所记载的。结果，基于特征的变化模式确定面部表情。 应当指出，还可以使用除了隐马尔可夫模型以外的方法。返回参照图27，如果在步骤S1513中识别出规定面部表情，则处理进 入步骤S1514。另一方面，如果没有识别出规定面部表情，则处理从步骤 S1513进入步骤S1517。步骤S1514至S1517中执行的处理与第一实施例 中(步骤S216至S219)相同。
如上所述，提取满足规定条件的特征信息，并且基于特征信息的变化 模式确定面部表情，这使得能够以较高的精确度来执行面部表情识别。
如上所述，在上述实施例中，替代预先提取参照特征，(1)基于面部 表情确定期间的规定信息按照规定定时来自动提取参照特征；(2)基于所 提取的参照特征和各特征的变化模式确定面部表情。
鉴于此，上述实施例使得能够执行消除了下列问题的的面部表情识别 O)必须预先登记无表情图像；(2)仅能针对登记的人识别面部表情；(3) (3)由于必须进行登记的图像的数量等依赖于进行面部表情识别的人的数 量，因此需要较大的存储区；(4)当登记期间的摄像环境与面部表情识别 期间的摄像环境不同时，有时由于摄像环境之间的差异而不能精确地识别 面部表情。
尽管上文详细描述了一些实施例，但是本发明能够考虑诸如系统、设 备、方法、程序或存储介质等的实施例。具体地说，其可以应用于由多个 设备构成的系统，还可以应用于由单个设备构成的装置。换句话说，尽管 上述实施例适合于使用摄像装置实施面部表情确定，但是上述面部表情确 定处理可以由信息处理设备来执行。
因此，本发明包括下面的情况通过直接或远程地将软件程序提供给 系统或装置并且指示系统或装置的计算机读取并执行所提供的程序代码。 在这种情况下，所提供的程序是与在实施例的附图中描绘的流程图相对应 的计算机程序。
因此，为了在计算机上实施本发明的功能性处理而安装在该计算机上 的程序代码本身是本发明的实施。换句话说，本发明包括用于实现本发明 的功能性处理的计算机程序。
在这种情况下，只要拥有必要的程序功能，可以采取各种形式，例如 目标代码、解释器执行的程序、提供给OS的脚本数据等。建议使用下面的介质作为用于提供计算机程序的计算机可读存储介 质。例如，其可以是floppy ( )(软)盘、硬盘、光盘、磁光盘、MO、
CD-ROM、 CD-R、 CD-RW、磁带、非易失性存储卡、ROM或DVD (DVD國ROM， DVD-R)等。
另外，建议使用客户端计算机上的浏览器连接到因特网主页并将本发 明的计算机程序从该主页下载到硬盘或其他存储介质上来作为提供程序的 方法。在该情况下，所下载的程序可能是具备自动压縮功能的压縮文件。 此外，其还可以通过将构成本发明的程序的程序代码分割成多个文件并从 不同的主页下载各个文件来实施。换句话说，允许多个用户将用于实施本
发明的功能性处理的程序文件下载到计算机上的www服务器也包含在
本发明内。
此外，可以采取如下的形式将本发明的程序加密、将其存储在
CD-ROM或其他存储介质中并在用户中传播。在这种情况下，可以允许满 足特定标准的用户通过因特网从主页下载用于对加密进行解密的密钥信 息，并使用该密钥信息执行加密程序并在计算机上安装该程序。
此外，除了基于计算机对读出程序的执行来实现实施例的上述功能， 还可以基于与运行在计算机上的OS等协作的程序的指令来实现实施例的 功能。在这种情况下，OS等执行部分或全部的实际处理，并且基于此类 处理实现实施例的上述功能。
此外，可以通过将从存储介质读取的程序写入连接到计算机的扩展单 元或插入到计算机的扩展板中配备的存储器中来实现实施例的上述功能的 部分或全部。在这种情况下，在将程序写入到扩展板或扩展单元之后，扩 展板或扩展单元中配备的CPU等基于程序的指令执行部分或全部的实际 处理。
本发明使得能够基于个人的面部特征精确地确定面部表情，同时使得 不必预先登记特定面部表情的图像。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明 并不局限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽 的解释，以使其涵盖所有这种变型、等同结构和功能。
本申请要求2007年6月18日提交的日本专利申请第2007-160680号 的优先权，该申请的全部内容通过引用包含于此。
权利要求
1.一种面部表情识别装置，该面部表情识别装置包括图像输入单元，用于顺次输入图像；面部检测单元，用于检测由所述图像输入单元获得的图像中的面部；开始确定单元，用于基于由所述面部检测单元检测到的面部图像信息确定是否开始面部表情确定；获取单元，用于在所述开始确定单元确定应当开始面部表情确定时，基于由所述面部检测单元检测到的所述面部图像信息获取参照特征信息；以及面部表情确定单元，用于在所述开始确定单元确定开始所述面部表情确定时从由所述面部检测单元检测到的所述面部图像信息提取特征信息，并基于所提取的特征信息和所述参照特征信息确定所检测到的面部的面部表情。
2. 根据权利要求1所述的面部表情识别装置，其中，所述面部表情确定单元基于所提取的特征信息与所述参照特征信息之间的差或比率确定面部表情。
3. 根据权利要求1或2所述的面部表情识别装置，该面部表情识别装置还包括有效性确定单元，用于检测由所述面部检测单元检测到的面部的面部大小、面部朝向以及检测可靠性中的至少一个，并基于所述检测结果确定所检测到的面部的有效性，其中，所述开始确定单元和所述面部表情确定单元对关于由所述有效性确定单元确定为有效的面部的图像信息执行确定。
4. 根据权利要求1至3中的任一项所述的面部表情识别装置，其中，所述开始确定单元基于构成面部器官的特征点相对于所述面部上的特定位置的坐标值确定是否开始面部表情确定。
5. 根据权利要求1至3中的任一项所述的面部表情识别装置，其中，所述开始确定单元基于所检测到的面部上的特定位置与构成面部器官的特征点之间的距离确定是否开始面部表情确定。
6. 根据权利要求1至3中的任一项所述的面部表情识别装置，其中，所述开始确定单元基于通过对所检测到的面部执行空间滤波获得的输出值确定是否开始面部表情确定。
7. 根据权利要求1至3中的任一项所述的面部表情识别装置，其中，所述开始确定单元在根据在经过预定的帧数次或预定时间的一系列图像中检测到的面部图像信息获得的特征的变化在规定范围之内时，确定应当开始面部表情确定。
8. 根据权利要求1至3中的任一项所述的面部表情识别装置，其中，所述开始确定单元保持通过对从多个面部图像获得的特征进行统计预处理而设置的标准，并在根据所检测到的面部图像信息获得的特征位于根据所述标准的规定范围之内时确定应当开始面部表情确定。
9. 根据权利要求1至3中的任一项所述的面部表情识别装置，其中，所述开始确定单元在所检测到的面部图像中的特定区域的像素计数满足规定条件时，确定应当开始面部表情确定。
10. 根据权利要求9所述的面部表情识别装置，其中，当瞳孔区域的像素计数不小于规定值时，所述特定区域的像素计数满足所述规定条件。
11. 根据权利要求9所述的面部表情识别装置，其中，当牙齿颜色的区域的像素计数不超过规定值时，所述特定区域的像素计数满足所述规定条件。
12. 根据权利要求1至11中的任一项所述的面部表情识别装置，其中，当所述开始确定单元再次确定应当开始面部表情确定一直到所述面部表情确定单元确定所述面部上的面部表情为止时，在再次进行的开始确定之后，使用由所述获取单元获取的参照特征信息来更新所述参照特征信息。
13. 根据权利要求1至12中的任一项所述的面部表情识别装置，其中，所述面部表情确定单元对所述参照特征信息中包含的特征以及所提取的特征信息中包含的特征的变化进行加权，以便基于所加权的变化来确定所检测到的面部的面部表情。
14. 根据权利要求1至13中的任一项所述的面部表情识别装置，该面部表情识别装置还包括个人标识认证单元，用于基于由所述面部检测单元检测到的面部图像执行个人标识认证。
15. —种摄像装置，该摄像装置包括-根据权利要求1至14中任一项所述的面部表情识别装置；供应单元，用于使用摄像单元以时间先后顺序获取图像并将所获取的图像供应给所述图像输入单元；以及记录单元，用于在所述面部表情确定单元确定面部表情是规定面部表情时，将所述图像记录为拍摄图像。
16. —种面部表情识别装置，该面部表情识别装置包括图像输入单元，用于顺次输入图像；面部检测单元，用于检测由所述图像输入单元获得的所述图像中的面部；特征提取单元，用于从由所述面部检测单元检测到的面部中提取特征；存储单元，用于在由所述特征提取单元提取的所述特征的可靠性不小于阈值时，将所述特征存储在存储器中；以及面部表情确定单元，用于基于由所述存储单元存储在所述存储器中的所述特征的变化确定所述面部的面部表情。
17. —种面部表情识别装置，该面部表情识别装置包括检测单元，用于从顺次输入的图像中检测面部；状态确定单元，用于确定由所述检测单元检测到的所述面部的特征的状态；获取单元，用于在所述状态确定单元确定了所述面部的所述特征处于预定状态时，基于所述面部的图像信息获取参照特征信息；以及面部表情确定单元，用于基于由所述检测单元新检测到的面部和所述参照特征信息确定所述新检测到的面部的面部表情。
18. —种面部表情识别方法，该面部表情识别方法包括以下步骤图像输入步骤，其涉及顺次输入图像；面部检测步骤，其涉及检测在所述图像输入步骤中获得的图像中的面部；开始确定步骤，其涉及基于在所述面部检测步骤中检测到的面部图像信息确定是否开始面部表情确定；获取步骤，其涉及在所述开始确定步骤确定应当开始面部表情确定时，基于在所述面部检测步骤中检测到的所述面部图像信息获取参照特征信息；以及面部表情确定步骤，其涉及在所述开始确定步骤中确定开始所述面部表情确定时从在所述面部检测步骤中检测到的所述面部图像信息提取特征信息，并基于所提取的特征信息和所述参照特征信息确定所检测到的面部的面部表情。
19. 一种基于信息处理器的面部表情识别方法，该方法包括以下步骤图像输入步骤，其涉及顺次输入图像；面部检测步骤，其涉及检测在所述图像输入步骤中获得的所述图像中的面部；特征提取步骤，其涉及从在所述面部检测步骤中检测到的面部中提取特征；存储步骤，其涉及在所述特征提取步骤中提取的所述特征的可靠性不小于阈值时，将所述特征存储在存储器中；以及面部表情确定步骤，其涉及基于在所述存储步骤中存储在所述存储器中的所述特征的变化确定所述面部的面部表情。
20. —种面部表情识别方法，该面部表情识别方法包括以下步骤从顺次输入的图像中检测面部；确定在所述检测步骤中检测到的所述面部的特征的状态；在所述状态确定单元确定了所述面部的所述特征处于预定状态时，基于所述面部的图像信息获取参照特征信息；以及基于在所述检测步骤中新检测到的面部和所述参照特征信息确定所述新检测到的面部的面部表情。
21. —种计算机程序，其用于使计算机执行根据权利要求18至20中的任一项所述的面部表情识别方法。
22. —种计算机可读存储介质，其存储用于使计算机执行根据权利要求18至20中的任一项所述的面部表情识别方法的计算机程序。
全文摘要
本发明涉及一种面部表情识别装置及方法和摄像装置。所述面部表情识别装置顺次接受输入的图像，并基于在所输入的图像中检测到的面部图像信息确定是否开始面部表情确定。当确定应当开始面部表情确定时，所述面部表情识别装置响应于所述确定而基于在所述图像中检测到的所述面部图像信息获取参照特征信息。然后，在关于所述开始面部表情确定的确定之后，所述面部表情识别装置从在所述输入的图像中检测到的所述面部图像信息提取特征信息，并基于所提取的特征信息以及所获取的参照特征信息确定所检测到的面部的面部表情。
文档编号G06T7/20GK101689303SQ200880020349
公开日2010年3月31日 申请日期2008年6月17日 优先权日2007年6月18日
发明者真继优和, 金田雄司 申请人:佳能株式会社