微表情识别方法、装置、系统及计算机可读存储介质与流程

本发明涉及面部识别领域，尤其涉及一种微表情识别方法、装置、系统及计算机可读存储介质。

背景技术：

人类情绪以及表情的具体表现与基因有关。具备相同基因特征的人在同样的情绪下可能产生十分相似的表情。以色列研究人员证实，同一家族的人，喜怒哀乐的表情都有相似之处，甚至相当一部分人的表情具有家族特征，例如生气时咬嘴唇，思考时吐舌头等。此外，已经发现某些具体的基因序列对人类情绪表现有较大相关性。例如5-httlpr区域dna序列，它主要可以分为两种：较短的“s”型和较长的“l”型。过去一些研究发现，带有“s”型等位基因的人(也就是基因型为“ss”或“sl”的个体)有更敏感的情绪反应，他们也更易受到环境和个人经历的影响。adra2b基因，部分人群的基因上会出现三个谷氨酸的缺失变异，变异携带者对于负面情绪更加敏感。cmot基因型为“mm”、“vv”、“mv”的人群对于恐惧、焦虑等情绪的感受各有不同。目前关于表情识别的研究多集中于基于标准的数据库研究相应的识别算法，而真实环境采集到的图像或视频不可避免会受环境及受试者个人特质影响，而且情感触发因素微妙多样、形态各异，因此，在识别人脸表情时，还需考虑到对应的基因特征。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现要素：

本发明的主要目的在于提供一种微表情识别方法，旨在解决由于情绪基因造成的表情识别技术问题。

为实现上述目的，本发明提供一种微表情识别方法，包括以下内容：

获取待识别人的情绪基因检测结果，并根据所述检测结果获取对应的情绪基因阈值；

获取所述待识别人的人脸图像的人脸特征值，并计算所述人脸特征值的情绪分值；

根据所述情绪基因阈值以及所述情绪分值的确定用户的情绪。

优选地，所述获取待识别人的情绪基因检测结果的步骤之前，还包括：

获取所述待识别人的人脸图像，并根据所述人脸图像获取对应所述待识别人的情绪基因检测结果。

优选地，所述根据所述人脸图像获取对应所述待识别人的情绪基因检测结果的步骤之前，还包括：

监测所述待识别人的情绪基因情况，并提交所述情绪基因检测结果。

优选地，所述获取所述待识别人的人脸图像的人脸特征值，并计算所述人脸特征值的情绪分值的步骤，还包括：

获取所述待识别人脸图像中各个特征区域的人脸特征值；

获取各所述特征区域的权重参数；

根据所述权重参数以及区域特征值计算所述情绪分值。

优选地，所述获取各所述特征区域的权重参数的步骤之前，还包括：

根据已确认的所述人脸图像的情绪基因，获取所述情绪基因的权重参数调整值；

以所述权重参数调整值调整所述权重参数。

优选地，所述获取所述待识别人脸图像中各个特征区域的人脸特征值的步骤，还包括：

判断所述人脸特征值对应的各特征区域是否具备预设家族特征表情；

在确认所述各特征区域具备所述预设家族特征表情时，获取所述预设家族特征表情的对应情绪分调整数值；

以所述情绪分调整数值调整计算到的所述情绪分值。

优选地，所述获取待识别人的情绪基因检测结果，并根据所述检测结果获取对应的情绪基因阈值的步骤，还包括：

统计所述检测结果中的情绪基因数量及情绪基因类型，并分别获取基于所述情绪基因数量及所述情绪基因类型的各对应情绪基因阈值；

根据获取到的各对应所述情绪基因阈值计算所述情绪基因阈值。

此外，为实现上述目的，本发明还提供一种微表情识别装置，所述微表情识别装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述微表情识别方法的步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有微表情识别程序，所述微表情识别程序被处理器执行时实现如上所述微表情识别方法的步骤。

本发明还提供一种微表情识别系统，所述微表情识别装置包括监控模块、存储模块及数据模块；

所述监控模块用于检测所述待识别人的微表情，并在检测到所述待识别人的微表情特征时，提交微表情提醒信息；其中，所述微表情提醒信息包括所述待识别人的微表情特征；

所述存储模块用于存储所述待识别人的基因特征和微表情特征；

所述数据模块用于根据微表情识别的结果，修正所述待识别人的基因特征检测结果。

本发明实施例提出的一种微表情识别方法，通过获取待识别人的情绪基因检测结果，并根据所述检测结果获取对应的情绪基因阈值；获取所述待识别人的人脸图像的人脸特征值，并计算所述人脸特征值的情绪分值；根据所述情绪基因阈值以及所述情绪分值的确定用户的情绪。以调整后的情绪基因阈值范围确定对应的情绪，实现了提高微表情识别效率有益效果。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的终端\装置结构示意图；

图2为本发明微表情识别方法第一实施例的流程示意图；

图3为图1中步骤s20的细化步骤示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：获取待识别人的情绪基因检测结果，并根据所述检测结果获取对应的情绪基因阈值；获取所述待识别人的人脸图像的人脸特征值，并计算所述人脸特征值的情绪分值；根据所述情绪基因阈值以及所述情绪分值的确定用户的情绪。

由于现有技术中，情绪基因对表情的影响很大，而微表情在识别过程中，并不能通过排除情绪基因的影响而识别微表情。

本发明提供一种解决方案，通过情绪基因获取对应的情绪基因阈值范围确定对应的微表情，实现了提高微表情识别效率的有益效果。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。

本发明实施例终端可以是pc，也可以是智能手机、平板电脑、电子书阅读器，便携计算机等具有显示功能的可移动式终端设备。

如图1所示，该终端可以包括：处理器1001，例如cpu，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及微表情识别程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的微表情识别程序，并执行以下操作：

获取待识别人的情绪基因检测结果，并根据所述检测结果获取对应的情绪基因阈值；

获取所述待识别人的人脸图像的人脸特征值，并计算所述人脸特征值的情绪分值；

根据所述情绪基因阈值以及所述情绪分值的确定用户的情绪。

进一步地，处理器1001可以调用存储器1005中存储的微表情识别程序，还执行以下操作：

获取所述待识别人的人脸图像，并根据所述人脸图像获取对应所述待识别人的情绪基因检测结果。

进一步地，处理器1001可以调用存储器1005中存储的微表情识别程序，还执行以下操作：

监测所述待识别人的情绪基因情况，并提交所述情绪基因检测结果。

进一步地，处理器1001可以调用存储器1005中存储的微表情识别程序，还执行以下操作：

获取所述待识别人脸图像中各个特征区域的人脸特征值；

获取各所述特征区域的权重参数；

根据所述权重参数以及区域特征值计算所述情绪分值。

进一步地，处理器1001可以调用存储器1005中存储的微表情识别程序，还执行以下操作：

根据已确认的所述人脸图像的情绪基因，获取所述情绪基因的权重参数调整值；

以所述权重参数调整值调整所述权重参数。

进一步地，处理器1001可以调用存储器1005中存储的微表情识别程序，还执行以下操作：

判断所述人脸特征值对应的各特征区域是否具备预设家族特征表情；

在确认所述各特征区域具备所述预设家族特征表情时，获取所述预设家族特征表情的对应情绪分调整数值；

以所述情绪分调整数值调整计算到的所述情绪分值。

进一步地，处理器1001可以调用存储器1005中存储的微表情识别程序，还执行以下操作：

统计所述检测结果中的情绪基因数量及情绪基因类型，并分别获取基于所述情绪基因数量及所述情绪基因类型的各对应情绪基因阈值；

根据获取到的各对应所述情绪基因阈值计算所述情绪基因阈值。

参照图2，图2为本发明微表情识别方法第一实施例的流程示意图，所述微表情识别方法包括：

步骤s10，获取待识别人的情绪基因检测结果，并根据所述检测结果获取对应的情绪基因阈值；

在接收到微表情识别请求后，获取对应的待识别人脸图像。所述待识别人脸图像的来源可以是视频、照片等。若所述待识别人脸图像的来源为视频，则在所述视频中选取正脸，以提提高识别的精确度。基于已获取到的所述待识别人脸图像，获取所述待识别人脸图像的情绪基因的检测结果。所述情绪基因检测，为现有技术的情绪基因检测功能，在此不多赘述。待获取到所述检测结果后，根据所述检测结果，获取所述检测结果中情绪基因的对应情绪基因阈值。其中，所述情绪基因，包括现有已发现的某些具体基因序列对人类情绪表现存在较大相关性的基因类型，包括但不限于5-httlpr基因、adra2b基因、cmot基因等，其相关的基因类型，均为现有已发现的情绪基因信息。根据所述基因的内容获取对应的情绪基因阈值。其中，所述获取到的对应的情绪基因阈值，为相关研发人员根据现有已发现的情绪基因类型，分别设定的情绪基因阈值，并将所述已设定的情绪基因阈值存储至相关的存储区域中并以对应的情绪类型为标识，便于根据所述情绪基因类型对所述情绪基因阈值进行获取操作。另，所述情绪基因的产生，为已确认的相关的情绪基因类型对不同情绪的存在一定的影响，因此，所述情绪基因阈值在本发明中为情绪调整阈值。即根据获取到的所述情绪基因阈值对应调整预先设置的预设阈值范围。所述预设阈值范围为根据对应的微表情内容设定的情绪分阈值范围，其不包含有相关的情绪基因的影响，因此，在检测到所述待识别人脸图像后，根据所述待识别人脸图像的情绪基因检测结果，获取对应的情绪基因调整阈值对应调整所述预设阈值范围。例如，检测到的所述情绪基因为adra2b基因，该情绪基因对负面情绪更加敏感，获取到的所述adra2b基因的对应情绪基因调整阈值为将哭泣、恐惧等负面情绪的相关预设阈值范围增加目标数值，即将所述预设阈值范围的相关情绪阈值范围增加目标数据，形成新的情绪基因阈值，以所述情绪基因阈值对所述待识别人脸图像进行微表情识别的操作。

另外，在所述获取人脸图像的情绪基因检测结果的步骤之前，还包括：

获取所述待识别人的人脸图像，并根据所述人脸图像获取对应所述待识别人的情绪基因检测结果。

根据接收到的人脸图像微表情识别需求，获取对应的所述待识别人脸图像，并检测所述待识别人脸图像的情绪基因，并根据所述情绪基因检测操作，得出所述待识别人脸图像的情绪基因检测结果，所述情绪检测结果中包含有相关被检测出来的情绪基因信息。即所述根据所述人脸图像获取对应所述待识别人的情绪基因检测结果的步骤之前，还包括：

监测所述待识别人的情绪基因情况，并提交所述情绪基因检测结果。

进一步的，所述获取待识别人的情绪基因检测结果，并根据所述检测结果获取对应的情绪基因阈值的步骤，还包括：

统计所述检测结果中的情绪基因数量及情绪基因类型，并分别获取基于所述情绪基因数量及所述情绪基因类型的各对应情绪基因阈值；

根据获取到的各对应所述情绪基因阈值计算所述情绪基因阈值。

根据所述情绪基因检测结果，统计所述情绪基因检测结果中的所涉及到的情绪基因数量及其情绪基因类型，在确认所述情绪基因的数量大于预设数量时，获取对应的情绪基因数量调整阈值；并基于所述情绪基因类型，获取各所述情绪基因类型的对应情绪基因类型调整阈值。将各所述情绪基因数量调整阈值及各所述情绪基因类型调整阈值重叠后，重新计算所述情绪基因阈值的数据，并以计算后的所述情绪基因阈值对预设阈值范围进行调整。

另外，在确认所述情绪基因的数量大于预设数量时，获取对应的情绪基因调整阈值，并以各所述情绪基因阈值调整预设阈值范围。在确认各所述情绪基因可能对同一情绪的预设阈值范围进行调整时，设定所述情绪的预设阈值范围的上下限，以保证所述预设阈值范围的范围值，以免造成所述预设阈值范围过大，微表情识别出错的可能。

步骤s20，获取所述待识别人的人脸图像的人脸特征值，并计算所述人脸特征值的情绪分值；

根据获取到的所述待识别人脸图像，提取所述待识别人脸图像的人脸特征值。所述人脸特征值的具体操作为，将所述待识别人脸图像分为若干个区域，其区域包括但不限于额、眉、眼、框下三角区、鼻、鼻唇沟、嘴等。其具体的区分方式，为现有的微表情识别的人脸特征区域划分方式。根据已区分的人脸图像的特征区域，为所述特征区域定于n个特征值。例如额：褶皱(抬头纹)的数目、长度；眉：眉头、眉尾连线上下移动的距离、角度；眉毛外轮廓的拐点数目；眉间皱纹深度；眼：眼睑面积、眼裂面积、瞳孔位置、下眼睑隆起程度；框下三角区：区域面积、轮廓位置；鼻：鼻翼宽度；鼻唇沟(法令纹)：纹路深度、纹路形状；嘴部：左右嘴角位置、人中长度、上下唇线形状、张嘴幅度、伸舌程度、木偶纹深度、形状等。如上所述的各特征区域，关于每种表情，为每个特征区域进行权重赋值，其中，所述权重赋值的参数为预设参数，并为已定义的相关参数内容，例如，“喜悦”情绪的各区域权重如下：眼部40％；框下三角区20％；嘴部变化30％；鼻唇沟变化占10％。当某人出现如下表情变化时：眼睑眼裂面积大幅变小，下眼睑隆起增加；框下三角区上移；鼻唇沟加深，嘴角向外向上移动。根据已定义的各特征区域经验值，眼部计分80，框下三角区计分70，嘴部计分60，鼻唇沟计分60。则此时“喜悦”情绪分值为：80*40％+70*20％+60*30％+60*10％＝70。

步骤s30，根据所述情绪基因阈值以及所述情绪分值的确定用户的情绪。

根据已计算到的所述待识别人脸图像的情绪分值，与已获取到的情绪基因阈值比对，以确认所述待识别人脸图像的对应情绪。其中，所述情绪基因阈值包含有人类全部情绪的分类，且每个情绪有对应的阈值范围。如步骤s20中计算到的人脸图像的情绪分值，若所述情绪分值为70，而在所述情绪基因阈值中“喜悦”的阈值范围为65-80，即根据所述情绪分值，所述待识别人脸图像的情绪为“喜悦”。

在本实施例中，通过检测人脸图像的情绪基因，获取到对应的情绪基因阈值范围，并计算人脸图像的情绪分值，以所述获取到的对应的情绪基因阈值范围确认所述情绪分值的对应情绪，以识别基于情绪基因影响的人类情绪，提高了微表情识别的效率。

进一步的，参照图3，图3为图1中步骤s20的细化步骤示意图，所述计算所述人脸特征值的情绪分值的步骤，还包括：

步骤s21，获取所述待识别人脸图像中各个特征区域的人脸特征值。

步骤s22，获取各所述特征区域的权重参数；

步骤s23，根据所述权重参数以及区域特征值计算所述情绪分值。

根据所述待识别人脸图像，将所述待识别人脸图像分为各特征区域，并为所述各特征区域赋值。根据已区分的所述待识别人脸图像的各特征区域，为所述个特征区域定于n个特征值。例如额：褶皱(抬头纹)的数目、长度；眉：眉头、眉尾连线上下移动的距离、角度；眉毛外轮廓的拐点数目；眉间皱纹深度；眼：眼睑面积、眼裂面积、瞳孔位置、下眼睑隆起程度；框下三角区：区域面积、轮廓位置；鼻：鼻翼宽度；鼻唇沟(法令纹)：纹路深度、纹路形状；嘴部：左右嘴角位置、人中长度、上下唇线形状、张嘴幅度、伸舌程度、木偶纹深度、形状等。如上所述的各特征区域，关于每种表情，为每个特征区域进行权重赋值，其中，所述权重赋值的参数为预设参数，并为已定义的相关参数内容，例如，“喜悦”情绪的各区域权重如下：眼部40％；框下三角区20％；嘴部变化30％；鼻唇沟变化占10％。当某人出现如下表情变化时：眼睑眼裂面积大幅变小，下眼睑隆起增加；框下三角区上移；鼻唇沟加深，嘴角向外向上移动。根据已定义的各特征区域经验值，眼部计分80，框下三角区计分70，嘴部计分60，鼻唇沟计分60。则此时“喜悦”情绪分值为：

80*40％+70*20％+60*30％+60*10％＝70。

另外，所述获取各所述特征区域的权重参数的步骤之前，还包括：

根据已确认的所述人脸图像的情绪基因，获取所述情绪基因的权重参数调整值；

以所述权重参数调整值调整所述权重参数。

以所述权重参数计算情绪分值，在确认所述到对应的权重参数时，根据已确认的所述待识别人的情绪基因，获取对应的情绪基因的权重参数调整值，以所述权重参数调整值调整所述权重参数，并以调整后的权重参数为计算所述待识别人的各特征区域经验值得到所述情绪分值。

其中，在获取到所述人脸特征值之后，所述获取所述待识别人脸图像中各个特征区域的人脸特征值的步骤，还包括：

判断所述人脸特征值对应的各特征区域是否具备预设家族特征表情；

在确认所述各特征区域具备所述预设家族特征表情时，获取所述预设家族特征表情的对应情绪分调整数值；

以所述情绪分调整数值调整计算到的所述情绪分值。

根据已划分人脸特征区域的各特征区域，将所述各特征区域的特征内容与预设家族特征表情对比，确认所述各特征区域中是否具备相关的家族特征表情。其中，所述预设家族特征表情包含已发现的各家族相关特征表情，例如待识别人脸图像的对象属于家族a时，家族a具有“喜悦时右侧嘴角提升比左侧更多”的家族特征表情，则在识别时，判断人脸图像中嘴角左右提升弧度的差异，用以确定所述待识别人脸图像是否出现了家族特征表情。在已确认所述待识别人脸图像的所述各特征区域具备所述预设家族特征表情，根据对应的所述预设家族特征表情，获取对应的情绪分调整数值。例如，在已确认所述待识别人脸图像特征区域的嘴角为已确定的家族特征表情。所述嘴角家族特征表亲的对应情绪分调整数值为20，即在已计算到的情绪分组中加上所述情绪分调整数值20，成为新的情绪分值。以通过所述家族特征表亲的对应情绪分调整数值调整后的所述情绪分值，与对应的预设情绪阈值范围比对，确认所述情绪分值的对应情绪。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有微表情识别程序，所述微表情识别程序被处理器执行时实现如下操作：

获取待识别人的情绪基因检测结果，并根据所述检测结果获取对应的情绪基因阈值；

获取所述待识别人的人脸图像的人脸特征值，并计算所述人脸特征值的情绪分值；

根据所述情绪基因阈值以及所述情绪分值的确定用户的情绪。

进一步地，所述微表情识别程序被处理器执行时还实现如下操作：

获取所述待识别人的人脸图像，并根据所述人脸图像获取对应所述待识别人的情绪基因检测结果。

进一步地，所述微表情识别程序被处理器执行时还实现如下操作：

监测所述待识别人的情绪基因情况，并提交所述情绪基因检测结果。

进一步地，所述微表情识别程序被处理器执行时还实现如下操作：

获取所述待识别人脸图像中各个特征区域的人脸特征值；

获取各所述特征区域的权重参数；

根据所述权重参数以及区域特征值计算所述情绪分值。

进一步地，所述微表情识别程序被处理器执行时还实现如下操作：

根据已确认的所述人脸图像的情绪基因，获取所述情绪基因的权重参数调整值；

以所述权重参数调整值调整所述权重参数。

进一步地，所述微表情识别程序被处理器执行时还实现如下操作：

判断所述人脸特征值对应的各特征区域是否具备预设家族特征表情；

在确认所述各特征区域具备所述预设家族特征表情时，获取所述预设家族特征表情的对应情绪分调整数值；

以所述情绪分调整数值调整计算到的所述情绪分值。

进一步地，所述微表情识别程序被处理器执行时还实现如下操作：

统计所述检测结果中的情绪基因数量及情绪基因类型，并分别获取基于所述情绪基因数量及所述情绪基因类型的各对应情绪基因阈值；

根据获取到的各对应所述情绪基因阈值计算所述情绪基因阈值。

此外，本发明实施例还提出一种微表情识别系统，所述微表情识别装置包括监控模块、存储模块及数据模块；

所述监控模块用于检测所述待识别人的微表情，并在检测到所述待识别人的微表情特征时，提交微表情提醒信息；其中，所述微表情提醒信息包括所述待识别人的微表情特征；

所述存储模块用于存储所述待识别人的基因特征和微表情特征；

所述数据模块用于根据微表情识别的结果，修正所述待识别人的基因特征检测结果。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。