专利名称：用于基于面部动作单元识别个体的情绪的方法和设备的制作方法
技术领域：
本发明总体涉及面部表情识别的领域，更具体的讲，涉及一种用于使用面部动作单元(AU)识别个体的情绪的方法和设备。
背景技术：
在生活中，人们经常通过面部表情来表达情绪。面部表情是人们传达他们的情绪和意图的最有力、自然和直接的方法。面部可表达情绪快于人们用语言表达甚至快于意识至帽!们的情绪。例如，不同的情绪使用不同的面部区域(主要是嘴、眼睛和眉毛)来表达。经常，情绪表情通过一个或几个分离的面部特征的微妙变化来传达，诸如，愤怒时紧闭的嘴唇或悲伤时斜张开的嘴角。很多计算机系统被配置为识别一小部分样本情绪表情，例如，喜悦、惊讶、愤怒、悲伤、恐惧和厌恶。已经发展了面部动作编码系统(FACS)用于通过AU来描述面部表情。在FACS中定义的44个FACS AU中的30个AU在解剖学上涉及特定面部肌肉的收缩，即，12个针对上部面部，18个针对下部面部。AU可单独或以组合的方式发生。当AU按照组合的方式发生时，它们可以是附加的，在其中组合不改变组分AU的外观，或者可以是非附加的，在其中组分的外观改变。在非附加效果的示例中，根据AU4单独发生还是与AUl组合发生(如在AU1+4中)，AU4表现的不同。当AU4单独发生时，眉毛聚集在一起并且压低。在AU1+4中，眉毛聚集在一起但是由于AUl的动作被抬高。AU1+2是非附加组合的另一示例。当AU2单独发生时，不仅抬高外部眉毛，而且还常常拉高内部眉毛，这导致了与AU1+2相似的外观。非附加AU组合的这些效果提高了 AU识别的难度。当前系统一般采用用于使用AU来识别面部表情的单相位方法或双相位方法。双相位方法在分析情绪方面比单相位方法更实用。在双相位方法中，描述图像或视频帧中的个体的面部表情的动作单元集被检测。动作单元集随后被映射到一个或多个目标情绪来识别个体的真实情绪。典型地，双相位方法使用用于将动作单元集映射到目标情绪的制定的映射规则。制定的映射规则是基于情绪面部动作编码系统并对输入中的噪声敏感。然而，双相位方法未能弥补在当前AU检测技术中的缺点。
发明内容
技术问题目前已知的AU检测方法遭受由于在准确地跟踪面部表情和从面部表情中提取特征中的确定性而产生的错误。当提供这样的错误动作单元用于使用双相位方法映射目标情绪时，基于差错动作单元识别的最终情绪的准确性往往会劣化。技术方案
因此，本发明在于解决至少上面描述的上述问题并提供至少下面描述的优点。根据本发明的一方面，提供一种用于基于AU识别个体的情绪的方法。所述方法包括:从AU检测器接收包括一个或多个AU的表示个体的面部表情的输入AU字符串；将输入AU字符串与多个AU字符串中的每一个进行匹配，其中，所述多个AU字符串中的每一个包括高辨别AU集，每个AU字符串表示一种情绪；从多个AU字符串中识别与输入AU字符串最匹配的AU字符串；输出与最匹配AU字符串相应的指示个体的情绪的情绪标签。根据本发明的另一方面，提供一种用于基于AU识别个体的情绪的设备。所述设备包括:处理器；连接到处理器的存储器。所述存储器包括存储在其中的指令，当由处理器执行所述指令时，使得处理器:接收包括一个或多个AU的表示个体的面部表情的输入AU字符串；将输入AU字符串与多个AU字符串中的每一个进行匹配，其中，所述多个AU字符串中的每一个包括高辨别AU集，每个AU字符串表示一种情绪；从多个AU字符串中识别与输入AU字符串最匹配的AU字符串；输出与最匹配AU字符串相应的指示个体的情绪的情绪标签。有益效果本发明在于提供一种用于准确地识别最终情绪的设备和方法。
通过下面结合附图的描述，本发明的特定实施例的上述和其它方面、特征和优点将变得更清楚，其中:图1是示出根据本发明实施例的形成指示AU集与情绪之间的统计关系的关系矩阵的方法的流程图；图2是示出根据本发明实施例的通过将输入AU字符串映射到每个模板AU字符串来识别情绪的方法的流程图；图3是根据本发明实施例的针对六种情绪的动作单元的辨别力的图形表示；图4示出根据本发明实施例的用于使用面部AU来识别个体的情绪的设备。
具体实施例方式现在将参照附图来详细描述本发明的各种实施例。在下面的描述中，仅提供具体细节(诸如详细的配置和部件)以帮助对本发明的这些实施例的全面理解。因此，本领域的技术人员应该清楚，在不脱离本发明的范围和精神的情况下，可以对这里描述的实施例进行各种改变和修改。此外，为了清楚和简明，省略对公知功能和构造的描述。 这里，可互换地使用术语“面部AU”和“AU”。为了将从个体的面部检测的AU映射到目标情绪，基于针对目标情绪中的每一个的AU的辨别力，形成关系矩阵。辨别力是有助于确定每个动作单元和一个或多个情绪之间的统计关系的值。例如，高辨别力比具有低辨别力的动作单元更指示动作单元属于情绪。根据本发明的实施例，关系矩阵被用于将输入AU字符串与从关系矩阵中选择的一些模板AU字符串进行映射来识别个体的情绪。图1是示出根据本发明实施例的形成指示AU集与情绪之间的统计关系的关系矩阵的方法的流程图。参照图1，在步骤102中，针对与面部表情相关的每个AU计算辨别力(H)。辨别力
(H)是一个值，它的大小量化与情绪的面部动作相关的AU的辨别力。因此，辨别力使得使用统计数据针对各种情绪的高辨别面部动作的识别成为可能。统计数据涉及各种情绪和从大的面部表情集中获得的AU之间的相关性的概率/统计。根据本发明的实施例，基于等式
(I)计算针对每个AU的辨别力(H)。
权利要求
1.一种用于基于动作单元(AU)识别个体的情绪的方法，所述方法包括: 从AU检测器接收包括一个或多个AU的表示个体的面部表情的输入AU字符串；将输入AU字符串与多个AU字符串中的每一个进行匹配，其中，所述多个AU字符串中的每一个包括高辨别AU集，每个AU字符串表示一种情绪； 从多个AU字符串中识别与输入AU字符串最匹配的AU字符串； 输出与最匹配AU字符串相应的指示个体的情绪的情绪标签。
2.如权利要求1所述的方法，其中，从多个AU字符串中识别与输入AU字符串最匹配的AU字符串的步骤包括: 确定多个AU字符串中的每一个与输入AU字符串之间的公共子序列； 从确定的公共子序列中识别最长公共子序列， 其中，所述最长公共子序列表示多个AU字符串中的一个与输入AU字符串之间的最大相似度。
3.如权利要求2所述的方法，其中，公共子序列表示多个AU字符串中的每一个与输入AU字符串之间的相似度的距离测量。
4.如权利要求1所述的方法，还包括: 基于统计数据针对多个AU中的每一个确定辨别力； 基于针对多个AU中的每一个的辨别力来选择表示多个情绪标签中的每一个的AU集； 将选择的与多个情绪标签中的每一个相关的AU集存储为AU字符串。
5.如权利要求4所述的方法，其中，选择的与多个情绪标签中的每一个相关的AU集被存储为矩阵中的AU字符串。
6.如权利要求4所述的方法，其中，针对多个AUs中的每一个的辨别力指示每个AU属于多个情绪标签中的一个的概率。
7.一种用于使用动作单元(AU)识别个体的情绪的设备，所述设备包括: 处理器； 连接到处理器的存储器， 其中，所述存储器包括存储在其中的指令，当由处理器执行所述指令时，使得处理器: 接收包括一个或多个AU的表示个体的面部表情的输入AU字符串； 将输入AU字符串与多个AU字符串中的每一个进行匹配，其中，所述多个AU字符串中的每一个包括高辨别AU集，每个AU字符串表示一种情绪； 从多个AU字符串中识别与输入AU字符串最匹配的AU字符串； 输出与最匹配AU字符串相应的指示个体的情绪的情绪标签。
8.如权利要求7所述的设备，其中，在从多个AU字符串中识别与输入AU字符串最匹配的AU字符串的步骤中，处理器: 确定多个AU字符串中的每一个与输入AU字符串之间的公共子序列； 从确定的公共子序列中识别最长公共子序列， 其中，所述最长公共子序列表示多个AU字符串中的一个与输入AU字符串之间的最大相似度。
9.如权利要求8所述的设备，其中，公共子序列表示多个AU字符串中的每一个与输入AU字符串之间的相似度的距离测量。
10.如权利要求7所述的设备，其中，处理器: 基于统计数据针对多个AU中的每一个确定辨别力； 基于针对多个AU中的每一个的辨别力来选择表示多个情绪标签中的每一个的AU集； 将选择的与多个情绪标签中的每一个相关的AU集存储为AU字符串。
11.如权利要求10所述的设备，其中，选择的与多个情绪标签中的每一个相关的AU集被存储为矩阵中的AU字符串。
12.如权利要求10所述的设备，其中，针对多个AU中的每一个的辨别力指示每个AU属于多个情绪标签中的一个的概率。
13.一种具有存储在其中的指令的非瞬时性计算机可读存储介质，当由处理器执行所述指令时，导致执行用于基于动作单元(AU)识别个体的情绪的方法，所述方法包括: 从AU检测器接收包括一个或多个AU的表示个体的面部表情的输入AU字符串；将输入AU字符串与多个AU字符串中的每一个进行匹配，其中，所述多个AU字符串中的每一个包括高辨别AU集，每个AU字符串表示一种情绪； 从多个AU字符串中识别与输入AU字符串最匹配的AU字符串； 输出与最匹配AU字符串相应的指示个体的情绪的情绪标签。
14.如权利要求13所述的存储介质，其中，从多个AU字符串中识别与输入AU字符串最匹配的AU字符串的步骤包括: 确定多个AU字符串中的每一个与输入AU字符串之间的公共子序列； 从确定的公共子序列中识别最长公共子序列， 其中，所述最长公共子序列表示多个AU字符串中的一个与输入AU字符串之间的最大相似度。
15.如权利要求14所述的存储，其中，公共子序列表示多个AU字符串中的每一个与输入AU字符串之间的相似度的距离测量。
16.如权利要求13所述的存储，其中，所述方法还包括: 基于统计数据针对多个AU中的每一个确定辨别力； 基于针对多个AU中的每一个的辨别力来选择表示多个情绪标签中的每一个的AU集； 将选择的与多个情绪标签中的每一个相关的AU集存储为AU字符串。
17.如权利要求16所述的存储介质，其中，针对多个AU中的每一个的辨别力指示每个AU属于多个情绪标签中的一个的概率。
18.如权利要求16所述的存储介质，其中，选择的与多个情绪标签中的每一个相关的AU集被存储为矩阵中的AU字符串。
全文摘要
一种用于基于动作单元识别个体的情绪的设备和方法。所述方法包括从AU检测器接收包括一个或多个AU的表示个体的面部表情的输入AU字符串；将输入AU字符串与多个AU字符串中的每一个进行匹配，其中，所述多个AU字符串中的每一个包括高辨别AU集，每个AU字符串表示一种情绪；从多个AU字符串中识别与输入AU字符串最匹配的AU字符串；输出与最匹配AU字符串相应的指示个体的情绪的情绪标签。
文档编号G06T7/00GK103168314SQ201180050733
公开日2013年6月19日 申请日期2011年10月21日 优先权日2010年10月21日
发明者苏妲·威路塞米, 哈里普拉萨德·卡南, 巴拉苏博曼·阿南德, 安舒尔·沙玛 申请人:三星电子株式会社