多视角微表情识别方法、装置、存储介质和计算机设备与流程

本发明涉及图像识别技术领域，具体而言，本发明涉及一种多视角微表情识别方法、装置、计算机可读存储介质和计算机设备。

背景技术：

随着计算机技术的快速发展，可应用于人机交互、模式识别、心理研究等领域的人脸表情识别技术也成为了当下重要的科学研究方向之一。其中，大部分研究针对的是愉快、悲伤、惊讶、厌恶、愤怒和恐惧这六种基础表情的表情识别方法。为尽可能地提高表情识别效率并获得更好的表情识别结果，各类改进的表情识别模型层出不穷。

然而，现有的表情识别模型主要基于正面面部表情变化进行识别，对多姿态表情识别较差，而现有多姿态表情识别方案则以特征提取后使用深度卷积网络进行训练为主，且主要对上述六种基础表情进行识别，无法满足多角度的多姿态微表情识别需求，表情识别的准确性低。

技术实现要素：

为至少能解决上述的技术缺陷之一，本发明提供了以下技术方案的多视角微表情识别方法及对应的装置、计算机可读存储介质和计算机设备。

本发明的实施例根据一个方面，提供了一种多视角微表情识别方法，包括：

获取用户的目标表情的表情数据，所述表情数据包括目标表情分别在多个角度下的人物表情图像；

将所述用户的表情数据分别输入预置的多个微表情识别模型，得到各微表情识别模型对应的表情分类概率集合，所述表情分类概率集合包括所述表情数据与不同的表情分类之间的匹配概率；

计算各表情分类概率集合中的相同表情分类的匹配概率的平均值；

根据表情分类的匹配概率的平均值确定所述目标表情对应的表情分类。

优选地，所述微表情识别模型包括：预置的用于提取所述表情数据的表情特征的卷积神经网络cnn和用于根据所述表情特征得到对应的表情分类概率集合的长短期记忆神经网络lstm。

优选地，所述微表情识别模型通过以下步骤训练得到：

获取历史用户的目标表情的表情数据及对应的表情分类，所述表情数据包括目标表情分别在多个角度下的人物表情图像；

将所述历史用户的表情数据输入预置的卷积神经网络cnn，提取所述历史用户的表情数据对应的表情特征；

根据所述表情特征及对应的表情分类，生成训练样本；

根据所述训练样本，训练生成长短期记忆神经网络lstm。

进一步地，所述预置的卷积神经网络cnn通过迁移学习预训练得到。

优选地，所述根据表情分类的匹配概率的平均值确定所述目标表情对应的表情分类之后，还包括：

根据所述表情分类对用户的欺诈风险进行评估，得到用户欺诈风险评估结果。

此外，本发明的实施例根据另一个方面，提供了一种多视角微表情识别装置，包括：

表情数据获取模块，用于获取用户的目标表情的表情数据，所述表情数据包括目标表情分别在多个角度下的人物表情图像；

表情分类概率集合获取模块，用于将所述用户的表情数据分别输入预置的多个微表情识别模型，得到各微表情识别模型对应的表情分类概率集合，所述表情分类概率集合包括所述表情数据与不同的表情分类之间的匹配概率；

平均值计算模块，用于计算各表情分类概率集合中的相同表情分类的匹配概率的平均值；

表情分类确定模块，用于根据表情分类的匹配概率的平均值确定所述目标表情对应的表情分类。

优选地，所述微表情识别模型包括：预置的用于提取所述表情数据的表情特征的卷积神经网络cnn和用于根据所述表情特征得到对应的表情分类概率集合的长短期记忆神经网络lstm。

优选地，所述微表情识别模型通过以下步骤训练得到：

获取历史用户的目标表情的表情数据及对应的表情分类，所述表情数据包括目标表情分别在多个角度下的人物表情图像；

将所述历史用户的表情数据输入预置的卷积神经网络cnn，提取所述历史用户的表情数据对应的表情特征；

根据所述表情特征及对应的表情分类，生成训练样本；

根据所述训练样本，训练生成长短期记忆神经网络lstm。

进一步地，所述预置的卷积神经网络cnn通过迁移学习预训练得到。

优选地，所述多视角微表情识别装置还包括欺诈风险评估模块，所述欺诈风险评估模块用于：

根据所述表情分类对用户的欺诈风险进行评估，得到用户欺诈风险评估结果。

本发明的实施例根据又一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的多视角微表情识别方法。

本发明的实施例根据再一个方面，提供了一种计算机设备，所述计算机包括一个或多个处理器；存储器；一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个计算机程序配置用于：执行上述的多视角微表情识别方法。

本发明与现有技术相比，具有以下有益效果：

本发明提供的多视角微表情识别方案，通过预置的多个微表情识别模型实现多个角度下的人物表情图像识别，且识别出的表情分类不仅局限于六种基础表情分类，该方案能够快速、准确地实现多角度的多姿态微表情识别，满足多角度的多姿态微表情识别需求。

本方案还通过采用卷积神经网络cnn实现多角度表情的表情特征提取，并采用长短期记忆神经网络lstm实现表情特征对应的表情分类概率集合，能够为快速、准确地实现多角度的多姿态微表情识别、满足多角度的多姿态微表情识别需求提供有力支持；且通过迁移学习预训练得到所述预置的卷积神经网络cnn，能够在显著减少用于训练所述卷积神经网络cnn所需的运算量及训练样本数的同时提高所述卷积神经网络cnn的特征提取能力，为提高基于所述卷积神经网络cnn构建的所述微表情识别模型的特征提取能力提供有力支持；通过对多个微表情识别模型对应的表情分类概率集合中相同表情分类的匹配概率求平均值来对模型进行集成，可提高所述微表情识别模型泛化能力，进而提高所述微表情识别模型的表情分类准确性；根据本发明提供的多个微表情识别模型所确定的表情分类评估出用户的欺诈风险，可显著提高评估用户欺诈风险的效率及准确性。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例提供的多视角微表情识别方法的方法流程图；

图2为本发明实施例提供的生成微表情识别模型的方法流程图；

图3为本发明实施例提供的一种多视角微表情识别装置的结构示意图；

图4为本发明实施例提供的另一种多视角微表情识别装置的结构示意图；

图5为本发明实施例提供的计算机设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

实施例一

本发明实施例提供了一种多视角微表情识别方法，如图1所示，该方法包括：

步骤s101：获取用户的目标表情的表情数据，所述表情数据包括目标表情分别在多个角度下的人物表情图像。

对于本实施例，获取的所述表情数据具体为基于多个角度收集用户的目标表情的表情数据，其中，所述多个角度，包括：正视、俯视、左侧视和右侧视四个角度。所述表情数据具体为包括在正视、俯视、左侧视或右侧视四个角度下的人物表情图像，人物表情图像可以是照片、从即时视频或视频文件中提取的视频帧等，本发明实施例对此不做限定。

对于本实施例，所述目标表情包括但不限于：用户对应愉快、乐观、钦佩、感激、爱恋、真诚、活力、信任、安详、和谐、容忍、渴望、自豪、自负、冷静、愤怒、勇敢、虚伪、鄙视、违抗、好胜、仇恨、厌恶、不真诚、烦恼、嫉妒、怀疑、不赞成、悲观、冲突、侮辱、悲伤、忽视、疲劳、沮丧、分神、局促不安、忧虑、屈服、悔恨、羞愧、委屈、无聊、紧张、消极、恐惧、敬畏、困惑、尴尬、怯懦、惊讶、兴趣、期望、面无表情的表情。

步骤s102：将所述用户的表情数据分别输入预置的多个微表情识别模型，得到各微表情识别模型对应的表情分类概率集合，所述表情分类概率集合包括所述表情数据与不同的表情分类之间的匹配概率。

对于本实施例，相应地，所述微表情识别模型可实现表情识别的预置表情分类包括但不限于：愉快、乐观、钦佩、感激、爱恋、真诚、活力、信任、安详、和谐、容忍、渴望、自豪、自负、冷静、愤怒、勇敢、虚伪、鄙视、违抗、好胜、仇恨、厌恶、不真诚、烦恼、嫉妒、怀疑、不赞成、悲观、冲突、侮辱、悲伤、忽视、疲劳、沮丧、分神、局促不安、忧虑、屈服、悔恨、羞愧、委屈、无聊、紧张、消极、恐惧、敬畏、困惑、尴尬、怯懦、惊讶、兴趣、期望、面无表情。

对于本实施例，所述预置的多个微表情识别模型分别根据历史用户的目标表情的表情数据及对应的表情分类预先训练得到的，训练得到的所述多个微表情识别模型的模型权重可能相同，也可能因存在细微差异而不同，故把相同的表情数据分别输入预置的多个微表情识别模型所得到表情分类概率集合及对应的表情分类结果可能存在差异。所述表情分类概率集合包括所述表情数据与不同的表情分类之间的匹配概率，即所输入的表情数据与上述预置的各表情分类匹配的概率的集合。

一般地，在将所述表情数据输入预置的微表情识别模型之前，还包括对所述表情数据进行预处理，所述预处理包括：基于面部特征点定位算法确定所述表情数据对应的图像中的人脸区域，截取图像中的人脸区域图像，并对人脸区域图像进行归一化处理、降噪、补光等操作。

步骤s103：计算各表情分类概率集合中的相同表情分类的匹配概率的平均值。

对于本实施例，将所述用户的目标表情的表情数据输入预先训练得到的一个微表情识别模型，可得到该微表情识别模型对应的表情分类概率集合，故在所述步骤s102中将所述用户的目标表情的表情数据输入预先训练得到的多个微表情识别模型之后，可得到各个微表情识别模型对应的多个表情分类概率集合，继而分别计算多个表情分类概率集合中的相同表情分类的匹配概率的平均值。对各表情分类概率集合中的相同表情分类的匹配概率求平均值的方式可实现对多个微表情识别模型进行集成。

步骤s104：根据表情分类的匹配概率的平均值确定所述目标表情对应的表情分类。

对于本实施例，在所述步骤s103计算得到各表情分类概率集合中的相同表情分类的匹配概率的平均值之后，把各表情分类的匹配概率的平均值中最大值对应的表情分类确定为所述目标表情对应的表情分类。通过对多个微表情识别模型对应的表情分类概率集合中相同表情分类的匹配概率求平均值来对模型进行集成，可提高所述微表情识别模型泛化能力，进而提高多视角微表情分类的准确性。

本发明提供的多视角微表情识别方法，通过预置的多个微表情识别模型实现多个角度下的人物表情图像识别，且识别出的表情分类不仅局限于六种基础表情分类，该方法能够快速、准确地实现多角度的多姿态微表情识别，满足多角度的多姿态微表情识别需求。

实施例二

本发明实施例的另一种可能的实现方式，在实施例一所示的基础上，还包括实施例二所示的步骤，其中，

所述步骤s102中的所述微表情识别模型包括：预置的用于提取所述表情数据的表情特征的卷积神经网络cnn和用于根据所述表情特征得到对应的表情分类概率集合的长短期记忆神经网络lstm。

对于本实施例，所述预置的微表情识别模型为基于卷积神经网络cnn(convolutionalneuralnetwork)与长短期记忆神经网络lstm(longshort-termmemory)训练得到的微表情识别模型，即所述微表情模型集成了卷积神经网络cnn及长短期记忆神经网络lstm来实现表情分类。其中，卷积神经网络cnn在所述微表情识别模型中起表情特征提取作用，用于提取所述表情数据的表情特征，长短期记忆神经网络lstm在所述微表情识别模型中起表情分类作用，用于根据所述表情特征得到对应的表情分类概率集合。

一般地，卷积神经网络cnn至少包括输入层、至少一个隐藏层和输出层，隐藏层一般由卷积层和池化层构成，隐藏层的最后一层用于作为特征提取层。长短期记忆神经网络lstm是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件，能够以非常精确的方式改变记忆，应用专门的学习机制来记住、更新、聚焦于输入特征，表情识别能力强且性能稳定。所述微表情识别模型用于表征所述表情数据与表情分类的关联关系，即把在多个角度下的人物表情图像输入预置的微表情识别模型，能够得到依据所述表情数据计算得到的表情分类概率集合，所述表情分类概率集合包括所述表情数据与不同的表情分类之间的匹配概率。

对于本实施例，所述多角度微表情识别模型先基于卷积神经网络cnn实现表情特征提取，再基于长短期记忆网络lstm实现根据所述表情特征得到对应的表情分类概率集合。具体地，把包括在多个角度下的人物表情图像的表情数据输入预置的卷积神经网络cnn，从所述卷积神经网络cnn的特征提取层提取出所述表情数据对应的表情特征；将所述表情特征输入至预置的长短期记忆网络lstm，得到所述表情特征对应的表情分类概率集合，所述表情分类概率集合包括所述表情数据与不同的表情分类之间的匹配概率，根据所述表情分类概率集合可确定用户的目标表情对应的表情分类。

对于本实施例，卷积神经网络cnn为多层网络结构，除输出层以外的层的输出数据均用于作为其下一层的输入数据。所述从卷积神经网络cnn的特征提取层提取出表情数据对应的表情特征，具体为：获取所述卷积神经网络cnn所述特征提取层的输出数据，把所述输出数据(即经cnn卷积神经网络提取到表情特征)用于作为长短期记忆网络lstm输入层的输入数据。

对于本实施例，得到表情特征对应的表情分类概率集合的实现机制具体为：所述长短期记忆网络lstm包含一个softmax层，所述softmax用于多分类过程，softmax层可基于softmax函数将其上一层的输出数据分别映射到(0，1)区间内(可将0-1范围内的计算结果理解为概率)，得到softmax层的输出数据，即对应不同的表情分类之间的匹配概率，其中各个匹配概率的总和为1。

在本实施例中，通过采用卷积神经网络cnn实现多角度表情的表情特征提取，并采用长短期记忆神经网络lstm实现表情特征对应的表情分类概率集合，能够为快速、准确地实现多角度的多姿态微表情识别、满足多角度的多姿态微表情识别需求提供有力支持。

实施例三

本发明实施例的另一种可能的实现方式，在实施例一所示的基础上，还包括实施例三所示的步骤，其中，

如图2所示，所述步骤s102中的所述微表情识别模型通过以下步骤训练得到：

步骤s201：获取历史用户的目标表情的表情数据及对应的表情分类，所述表情数据包括目标表情分别在多个角度下的人物表情图像。

对于本实施例，把历史用户的目标表情的表情数据与所述表情数据对应的表情分类用于训练所述微表情识别模型，其中，所述表情数据包括历史用户的目标表情分别在多个角度下的人物表情图像。

对于本实施例，所述多个角度，包括：正视、俯视、左侧视和右侧视四个角度。所述人物表情图像可以是照片、从即时视频或视频文件中提取的视频帧等，本发明实施例对此不做限定。

对于本实施例，所述表情分类不仅是愉快、悲伤、惊讶、厌恶、愤怒和恐惧这六种基础的表情分类，作为一个优选实施例，所述表情分类的数量可达到54种，包括以下表情分类：愉快、乐观、钦佩、感激、爱恋、真诚、活力、信任、安详、和谐、容忍、渴望、自豪、自负、冷静、愤怒、勇敢、虚伪、鄙视、违抗、好胜、仇恨、厌恶、不真诚、烦恼、嫉妒、怀疑、不赞成、悲观、冲突、侮辱、悲伤、忽视、疲劳、沮丧、分神、局促不安、忧虑、屈服、悔恨、羞愧、委屈、无聊、紧张、消极、恐惧、敬畏、困惑、尴尬、怯懦、惊讶、兴趣、期望、面无表情。需明确指出的是，所述表情分类的数量及类别并不受本发明实施例的限制，其还可以是其他表现人丰富的表情变化的表情分类。

步骤s202：将所述历史用户的表情数据输入预置的卷积神经网络cnn，提取所述历史用户的表情数据对应的表情特征。

对于本实施例，把所述步骤s201中获取的用于训练的历史用户的目标表情的表情数据输入预训练得到的卷积神经网络cnn，从预训练得到的卷积神经网络cnn的特征提取层提取出用于训练的历史用户的目标表情的表情数据对应的表情特征。其中，卷积神经网络cnn为多层网络结构，除输出层以外的层的输出数据均用于作为其下一层的输入数据。所述从卷积神经网络cnn的特征提取层提取出用于训练的历史用户的目标表情的表情数据对应的表情特征，具体为：获取所述卷积神经网络cnn所述特征提取层的输出数据，把所述输出数据(即经cnn卷积神经网络提取到表情特征)用于作为长短期记忆网络lstm输入层的输入数据。

一般地，在将所述表情数据输入预置的卷积神经网络cnn之前，还包括对所述表情数据进行预处理，所述预处理包括：基于面部特征点定位算法确定所述表情数据对应的图像中的人脸区域，截取图像中的人脸区域图像，并对人脸区域图像进行归一化处理、降噪、补光等操作。

步骤s203：根据所述表情特征及对应的表情分类，生成训练样本。

对于本实施例，根据用于作为长短期记忆网络lstm输入层的输入数据的表情特征，以及所述表情特征对应的表情分类，生成用于训练长短期记忆神经网络lstm的训练样本。

步骤s204：根据所述训练样本，训练生成长短期记忆神经网络lstm。

对于本实施例，根据所述训练样本中的表情特征及表情分类，对标准的长短期记忆神经网络lstm模型进行训练，进而得到适用于本方案多角度微表情识别任务的网络结构和权重，训练得到可实现多角度的多姿态微表情分类的长短期记忆神经网络lstm。

在本实施例中，把预置的卷积神经网络cnn及训练得到长短期记忆神经网络lstm可集成得到可用于快速、准确实现多角度的多姿态微表情识别的微表情识别模型，即通过包含包括历史用户的目标表情分别在多个角度下的人物表情图像的表情数据及已知的与所述表情数据对应的表情分类可训练得到所述微表情识别模型，为满足多角度的多姿态微表情识别需求提供有力支持。

实施例四

本发明实施例的另一种可能的实现方式，在实施例三所示的基础上，还包括实施例四所示的步骤，其中，

所述预置的卷积神经网络cnn通过迁移学习预训练得到。

对于本实施例，通过获取公开的大型数据集，如fer2013中的预训练模型，将该预训练模型的结构和权重应用于本方案的任务中，即把预训练模型的结构和权重迁移到所述步骤s201中获取的用于训练的包含多个角度的表情数据及对应的表情分类，并用所述表情数据及对应的表情分类对模型进行微调，进而实现无需从零开始训练一个神经网络便可得到可用于提取表情数据对应的表情特征的所述预置的卷积神经网络cnn。

在本实施例中，通过迁移学习预训练得到所述预置的卷积神经网络cnn，能够在显著减少用于训练所述卷积神经网络cnn所需的运算量及训练样本数的同时提高所述卷积神经网络cnn的特征提取能力，为提高基于所述卷积神经网络cnn构建的所述微表情识别模型的特征提取能力提供有力支持。

实施例五

本发明实施例的另一种可能的实现方式，在实施例一所示的基础上，还包括实施例五所示的步骤，其中，

所述步骤s105之后，还包括：

根据所述表情分类对用户的欺诈风险进行评估，得到用户欺诈风险评估结果。对于本实施例，在实际应用场景中，微表情识别技术可应用于人机交互、模式识别、心理研究等应用领域。

对于本实施例，所述欺诈风险评估的步骤应用于防欺诈应用领域，优选地，该步骤应用于金融领域的欺诈风险评估应用场景。在金融等领域的欺诈风险评估应用场景中，通常以线下或远程视频面审的形式评估欺诈风险。在该具体应用场景中，作为一个优选实施例，所述步骤s101获取的所述表情数据，具体为：从实时视频中获取包括用户的目标表情在多个角度下的视频帧，其中，所述视频帧以预置周期从预置时长的实时视频中提取；所述步骤s102把所述表情数据输入预置的多个微表情识别模型，具体为：把包括用户的目标表情在多个角度下的视频帧输入预置的微表情识别模型。

一般地，在把所述视频帧输入预置的微表情识别模型之前，还包括对所述视频帧进行预处理，所述预处理包括：基于面部特征点定位算法确定所述视频帧中的人脸区域，截取视频帧中的人脸区域图像，并对人脸区域图像进行归一化处理、降噪、补光等操作。

对于本实施例，所述根据所述表情分类对用户的欺诈风险进行评估，具体为：对得到的预置时间内表情数据对应的表情分类及表情分类出现的次数进行统计，根据所述表情分类及表情分类次数的统计结果，对用户的欺诈风险进行评估。作为一个优选实施例，为进一步提高用户欺诈风险评估的效率，可仅对预置的存在欺诈风险的表情分类的出现次数进行统计，例如，可对局促不安、紧张、尴尬等体现存在欺诈风险的表情分类的出现次数进行统计。

对于本实施例，根据表情分类得到用户欺诈风险评估结果的方式可以有多种，例如：判断步骤s104中确定的表情分类是否包含预置的存在欺诈风险的表情分类，或其包含预置的存在欺诈风险的表情分类的数量是否达到预置阈值或超出预置范围，若是，判定存在欺诈风险；或，判断步骤s104中确定的表情分类中所包含预置的存在欺诈风险的表情分类及对应的出现次数是否达到预置阈值或超出预置范围，若是，判定存在欺诈风险；或，各表情分类预先设有欺诈风险权重，根据步骤s104中确定的表情分类中所包含预置的存在欺诈风险的表情分类及对应的出现次数、欺诈风险权重计算欺诈风险值。此外，评估得到的欺诈风险评估结果可以以多种形式呈现，例如：仅判断是否存在欺诈风险；或评估出欺诈风险等级；或评估出欺诈风险评估值。需明确指出的是，所述用户欺诈风险评估方式及欺诈风险评估结果的形式并不仅不限于上述例子，其还可以是其他有效的欺诈风险评估方式及欺诈风险评估结果形式，本发明实施例对此不做限制。

对于本实施例，在得到用户欺诈风险评估结果之后，还可以向客户端反馈所述欺诈风险评估结果或将把述欺诈风险评估结果录入用户欺诈风险信息库。

在本实施例中，根据本发明提供的多个微表情识别模型确定的表情分类评估出用户的欺诈风险，可显著提高评估用户欺诈风险的效率及准确性。

此外，本发明实施例还提供了一种多视角微表情识别装置，如图3所示，所述装置包括：表情数据获取模块301、表情分类概率集合获取模块302、平均值计算模块303和表情分类确定模块304；其中，

表情数据获取模块301，用于获取用户的目标表情的表情数据，所述表情数据包括目标表情分别在多个角度下的人物表情图像；

表情分类概率集合获取模块302，用于将所述用户的表情数据分别输入预置的多个微表情识别模型，得到各微表情识别模型对应的表情分类概率集合，所述表情分类概率集合包括所述表情数据与不同的表情分类之间的匹配概率；

平均值计算模块303，用于计算各表情分类概率集合中的相同表情分类的匹配概率的平均值；

表情分类确定模块304，用于根据表情分类的匹配概率的平均值确定所述目标表情对应的表情分类。

优选地，所述微表情识别模型包括：预置的用于提取所述表情数据的表情特征的卷积神经网络cnn和用于根据所述表情特征得到对应的表情分类概率集合的长短期记忆神经网络lstm。

优选地，所述微表情识别模型通过以下步骤训练得到：

获取历史用户的目标表情的表情数据及对应的表情分类，所述表情数据包括目标表情分别在多个角度下的人物表情图像；

将所述历史用户的表情数据输入预置的卷积神经网络cnn，提取所述历史用户的表情数据对应的表情特征；

根据所述表情特征及对应的表情分类，生成训练样本；

根据所述训练样本，训练生成长短期记忆神经网络lstm。

进一步地，所述预置的卷积神经网络cnn通过迁移学习预训练得到。

优选地，如图4所示，所述多视角微表情识别装置还包括欺诈风险评估模块401，所述欺诈风险评估模块401用于：

根据所述表情分类对用户的欺诈风险进行评估，得到用户欺诈风险评估结果。

本发明提供的多视角微表情识别装置，可实现：通过预置的多个微表情识别模型实现多个角度下的人物表情图像识别，且识别出的表情分类不仅局限于六种基础表情分类，能够快速、准确地实现多角度的多姿态微表情识别，满足多角度的多姿态微表情识别需求；还可实现：通过采用卷积神经网络cnn实现多角度表情的表情特征提取，并采用长短期记忆神经网络lstm实现表情特征对应的表情分类概率集合，能够为快速、准确地实现多角度的多姿态微表情识别、满足多角度的多姿态微表情识别需求提供有力支持；且通过迁移学习预训练得到所述预置的卷积神经网络cnn，能够在显著减少用于训练所述卷积神经网络cnn所需的运算量及训练样本数的同时提高所述卷积神经网络cnn的特征提取能力，为提高基于所述卷积神经网络cnn构建的所述微表情识别模型的特征提取能力提供有力支持；通过对多个微表情识别模型对应的表情分类概率集合中相同表情分类的匹配概率求平均值来对模型进行集成，可提高所述微表情识别模型泛化能力，进而提高所述微表情识别模型的表情分类准确性；根据本发明提供的多个微表情识别模型所确定的表情分类评估出用户的欺诈风险，可显著提高评估用户欺诈风险的效率及准确性。

本发明实施例提供的多视角微表情识别装置可以实现上述提供的多视角微表情识别方法实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。

此外，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现以上实施例一至五所述的多视角微表情识别方法及上述欺诈风险评估方法。其中，所述计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、cd-rom、和磁光盘)、rom(read-onlymemory，只读存储器)、ram(randomaccessmemory，随即存储器)、eprom(erasableprogrammableread-onlymemory，可擦写可编程只读存储器)、eeprom(electricallyerasableprogrammableread-onlymemory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，存储设备包括由设备(例如，计算机、手机)以能够读的形式存储或传输信息的任何介质，可以是只读存储器，磁盘或光盘等。

本发明提供的计算机可读存储介质，可实现：通过预置的多个微表情识别模型实现多个角度下的人物表情图像识别，且识别出的表情分类不仅局限于六种基础表情分类，能够快速、准确地实现多角度的多姿态微表情识别，满足多角度的多姿态微表情识别需求；还可实现：通过采用卷积神经网络cnn实现多角度表情的表情特征提取，并采用长短期记忆神经网络lstm实现表情特征对应的表情分类概率集合，能够为快速、准确地实现多角度的多姿态微表情识别、满足多角度的多姿态微表情识别需求提供有力支持；且通过迁移学习预训练得到所述预置的卷积神经网络cnn，能够在显著减少用于训练所述卷积神经网络cnn所需的运算量及训练样本数的同时提高所述卷积神经网络cnn的特征提取能力，为提高基于所述卷积神经网络cnn构建的所述微表情识别模型的特征提取能力提供有力支持；通过对多个微表情识别模型对应的表情分类概率集合中相同表情分类的匹配概率求平均值来对模型进行集成，可提高所述微表情识别模型泛化能力，进而提高所述微表情识别模型的表情分类准确性；根据本发明提供的多个微表情识别模型所确定的表情分类评估出用户的欺诈风险，可显著提高评估用户欺诈风险的效率及准确性。

本发明实施例提供的计算机可读存储介质可以实现上述提供的多视角微表情识别方法及欺诈风险评估方法实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。

此外，本发明实施例还提供了一种计算机设备，如图5所示。本实施例所述的计算机设备可以是服务器、个人计算机以及网络设备等设备。所述计算机设备包括处理器502、存储器503、输入单元504以及显示单元505等器件。本领域技术人员可以理解，图5示出的设备结构器件并不构成对所有设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件。存储器503可用于存储计算机程序501以及各功能模块，处理器502运行存储在存储器503的计算机程序501，从而执行设备的各种功能应用以及数据处理。存储器可以是内存储器或外存储器，或者包括内存储器和外存储器两者。内存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦写可编程rom(eeprom)、快闪存储器、或者随机存储器。外存储器可以包括硬盘、软盘、zip盘、u盘、磁带等。本发明所公开的存储器包括但不限于这些类型的存储器。本发明所公开的存储器只作为例子而非作为限定。

输入单元504用于接收信号的输入，以及接收用户输入的关键字。输入单元504可包括触控面板以及其它输入设备。触控面板可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并根据预先设定的程序驱动相应的连接装置；其它输入设备可以包括但不限于物理键盘、功能键(比如播放控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。显示单元505可用于显示用户输入的信息或提供给用户的信息以及计算机设备的各种菜单。显示单元505可采用液晶显示器、有机发光二极管等形式。处理器502是计算机设备的控制中心，利用各种接口和线路连接整个电脑的各个部分，通过运行或执行存储在存储器502内的软件程序和/或模块，以及调用存储在存储器内的数据，执行各种功能和处理数据。

作为一个实施例，所述计算机设备包括：一个或多个处理器502，存储器503，一个或多个计算机程序501，其中所述一个或多个计算机程序501被存储在存储器503中并被配置为由所述一个或多个处理器502执行，所述一个或多个计算机程序501配置用于执行以上实施例一至五所述的多视角微表情识别方法。

本发明提供的计算机设备，可实现：通过预置的多个微表情识别模型实现多个角度下的人物表情图像识别，且识别出的表情分类不仅局限于六种基础表情分类，能够快速、准确地实现多角度的多姿态微表情识别，满足多角度的多姿态微表情识别需求；还可实现：通过采用卷积神经网络cnn实现多角度表情的表情特征提取，并采用长短期记忆神经网络lstm实现表情特征对应的表情分类概率集合，能够为快速、准确地实现多角度的多姿态微表情识别、满足多角度的多姿态微表情识别需求提供有力支持；且通过迁移学习预训练得到所述预置的卷积神经网络cnn，能够在显著减少用于训练所述卷积神经网络cnn所需的运算量及训练样本数的同时提高所述卷积神经网络cnn的特征提取能力，为提高基于所述卷积神经网络cnn构建的所述微表情识别模型的特征提取能力提供有力支持；通过对多个微表情识别模型对应的表情分类概率集合中相同表情分类的匹配概率求平均值来对模型进行集成，可提高所述微表情识别模型泛化能力，进而提高所述微表情识别模型的表情分类准确性；根据本发明提供的多个微表情识别模型所确定的表情分类评估出用户的欺诈风险，可显著提高评估用户欺诈风险的效率及准确性。

本发明实施例提供的计算机设备可以实现上述提供的方法实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。