微表情评分方法、装置、计算机设备及存储介质与流程
本发明涉及微表情识别领域，尤其涉及一种微表情评分方法、装置、计算机设备及存储介质。
背景技术：
随着人工智能技术的不断发展，在很多领域中都会采用微表情识别技术来作为辅助工具或者辅助手段。在很多应用程序或者娱乐工具中都出现了微表情模仿，并对模仿的相似程度进行打分的应用方式。然而，大多现有的微表情模仿仅是停留在对人脸图像的微表情进行模仿，多是简单地对图像进行相似度的比对或者匹配，并根据比对或者匹配的结果进行评分，该评分方式较为简单，评分的准确性也不高。
技术实现要素：
本发明实施例提供一种微表情评分方法、装置、计算机设备及存储介质，以解决微表情评分准确性不高的问题。
一种微表情评分方法，包括：
获取微表情比对请求，所述微表情比对请求包括比对视频标识和待检测视频；
根据所述比对视频标识获取基准比对信息，所述基准比对信息包括时间节点和每一所述时间节点对应的基准微表情；
根据所述时间节点从所述待检测视频中获取待检测信息；
将所述待检测信息输入到微表情识别模型中进行识别，得到每一所述待检测信息的微表情信息；
根据所述时间节点将每一所述待检测信息的所述微表情信息和对应的所述基准微表情进行比对，得到微表情比对分数。
一种微表情评分装置，包括：
微表情比对请求获取模块，用于获取微表情比对请求，所述微表情比对请求包括比对视频标识和待检测视频；
基准比对信息获取模块，用于根据所述比对视频标识获取基准比对信息，所述基准比对信息包括时间节点和每一所述时间节点对应的基准微表情；
待检测信息获取模块，用于根据所述时间节点从所述待检测视频中获取待检测信息；
微表情信息识别模块，用于将所述待检测信息输入到微表情识别模型中进行识别，得到每一所述待检测信息的微表情信息；
微表情比对分数计算模块，用于根据所述时间节点将每一所述待检测信息的所述微表情信息和对应的所述基准微表情进行比对，得到微表情比对分数。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述微表情评分方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述微表情评分方法。
上述微表情评分方法、装置、计算机设备及存储介质中，首先取微表情比对请求，微表情比对请求包括比对视频标识和待检测视频。再根据比对视频标识获取基准比对信息，基准比对信息包括时间节点和每一时间节点对应的基准微表情。然后根据时间节点从待检测视频中获取待检测信息。将待检测信息输入到微表情识别模型中进行识别，得到每一待检测信息的微表情信息。最后根据时间节点将每一待检测信息的微表情信息和对应的基准微表情进行比对，得到微表情比对分数。根据对应的时间节点从待检测视频中获取到待检测信息，并且根据该时间节点进行微表情的一一比对，保证了微表情评分的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中微表情评分方法的一应用环境示意图；
图2是本发明一实施例中微表情评分方法的一示例图；
图3是本发明一实施例中微表情评分方法的另一示例图；
图4是本发明一实施例中微表情评分方法的另一示例图；
图5是本发明一实施例中微表情评分方法的另一示例图；
图6是本发明一实施例中微表情评分方法的另一示例图；
图7是本发明一实施例中微表情评分方法的另一示例图；
图8是本发明一实施例中微表情评分装置的一原理框图；
图9是本发明一实施例中微表情评分装置的另一原理框图；
图10是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的微表情评分方法，可应用在如图1的应用环境中，其中，客户端(计算机设备)通过网络与服务端进行通信。客户端发送微表情比对请求至服务端，服务端根据微表情比对请求包括的比对视频标识获取基准比对信息，基准比对信息包括时间节点和每一时间节点对应的基准微表情；根据时间节点从待检测视频中获取待检测信息；将待检测信息输入到微表情识别模型中进行识别，得到每一待检测信息的微表情信息；根据时间节点将每一待检测信息的微表情信息和对应的基准微表情进行比对，得到微表情比对分数。其中，客户端(计算机设备)可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种微表情评分方法，以该方法应用在图1中的服务端为例进行说明，包括如下步骤：
s10：获取微表情比对请求，微表情比对请求包括比对视频标识和待检测视频。
其中，微表情比对请求为客户端触发的对视频数据中的微表情和基准微表情进行比对的请求。微表情比对请求包括比对视频标识和待检测视频。比对视频标识是用于区分不同比对视频的一个标识，该比对视频标识可以由数字、字母、文字或者符号中的至少一项组成。比对视频是指预先采集并存储的一个基准视频，用于供用户进行微表情的模仿。待检测视频为用户根据比对视频进行微表情模仿的视频数据。可选地，该待检测视频可以通过客户端的视频采集工具进行实时采集，也可以是客户端的视频采集工具进行预先采集并存储的视频，也可以是用户直接上传的一个视频数据。
s20：根据比对视频标识获取基准比对信息，基准比对信息包括时间节点和每一时间节点对应的基准微表情。
其中，基准比对信息为从比对视频中提取出来的作为比对基准的信息。该基准比对信息包括时间节点和每一时间节点对应的基准微表情。时间节点为视频数据中的具体的时间点，可选地，该时间节点为复数个。例如，对于一视频时长为10分钟的比对视频中。时间节点指示的是比对视频中的具体时间点，若时间节点为1分50秒和3分40秒，则代表的是该比对视频中第1分50秒和第3分40秒。基准微表情则是作为比对基准的微表情。而每一时间节点对应的基准微表情可以是基于该时间节点在比对视频中获取对应的人脸图像，再对该人脸图像进行微表情识别，以得到基准微表情。可以理解地，在基准比对信息中，时间节点的数量和基准微表情的数量是相同的。
s30：根据时间节点从待检测视频中获取待检测信息。
待检测信息为从待检测视频中提取的用于进行微表情识别的检测信息，可选地，该待检测信息可以为图像信息，也可以为视频信息。具体地，根据时间节点从待检测视频中对应的时间点处提取待检测信息。
若待检测信息为图像信息，则可以根据每一时间节点在待检测视频中对应的时间点截取人脸图像，将截取的人脸图像作为待检测信息。进一步地，可以从时间节点对应的时间点附近截取多张人脸图像，以更好地进行后续的比对过程，避免误差。具体地，服务端可以通过截屏的方式从待检测视频中提取人脸图像。可以通过opencv来实现获取人脸图像的过程，opencv提供了一个简便易用的框架以提取视频文件中的图像帧。示例性地，采用videocapture类来进行视频读取和写入的操作。首先采用videocapture类中的cap＝cv2.videocapture()函数显示对应的待检测视频，再通过videocapture类中的cap.read()函数按预设的帧率读取待检测视频，cap.read()函数的返回值有两个：ret和frame。其中，ret是布尔值，如果读取帧是正确的则返回true，如果该待检测视频已经读取到结尾，它的返回值就为false，即可以通过cap.read()函数的返回值来判断该待检测视频是否读取完毕。frame就是当前截取的图像，其可以为一个三维矩阵。
若待检测信息为视频信息，则可以根据每一时间节点在待检测视频中对应的时间点附近截取一人脸视频，将截取的人脸视频作为待检测信息。在一个具体实施方式中，可以采用ffmpeg来实现对待检测视频的视频截取。其中，ffmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。
具体地，可以采用如下命令实现对待检测视频的视频截取：
命令：ffmpeg-i<input>-ss0-t10-y<output>；
其中，ss对应的是起始时间，t为持续时间，该命令意思为从0秒开始截取10秒的时间。可以根据时间节点往前取一预设时间得到起始时间ss，再根据时间节点设置一预设时间段，即得到持续时间，再将这两个数值输入到上述命令中，以执行对待检测视频的视频截取。
s40：将待检测信息输入到微表情识别模型中进行识别，得到每一待检测信息的微表情信息。
其中，微表情识别模型是预先训练得到的一个网络模型，用于对待检测信息的人脸微表情进行识别，并输出一个识别结果，即微表情信息。示例性地，微表情信息为开心、悲伤、恐惧、生气、惊讶、厌恶或轻蔑。微表情识别模型可以判断输入的视频数据中人脸对应于预设的多种微表情的概率值，若某种微表情的概率值超过对应的预设阈值，则得到该待检测信息对应的微表情即为微表情信息。例如，在本实施例中，可以将微表情识别模型中的情绪设定为开心、悲伤、恐惧、生气、惊讶、厌恶和轻蔑7种。具体地，可以预先采集分别代表这7种情绪的大量视频数据或图像数据进行标注，形成视频数据集或者图像数据集，然后选择对应的神经网络模型或者分类器进行训练，最终得到微表情识别模型。在得到待检测信息之后，将待检测信息输入到微表情识别模型中进行识别，得到每一待检测信息的微表情信息。
优选地，若待检测信息为视频信息，则预先采集分别代表这7种情绪的大量视频数据形成视频数据集。然后将该视频数据集输入到卷积神经网络-长短时递归神经网络模型中进行训练，获取微表情识别模型。卷积神经网络-长短时递归神经网络模型是由卷积神经网络模型和长短时递归神经网络模型相结合所得到的模型。可以理解地，卷积神经网络-长短时递归神经网络模型相当于卷积神经网络与长短时递归神经网络模型相连接形成的模型。
卷积神经网络(convolutionalneuralnetwork，cnn))是局部连接网络。相对于全连接网络其最大的特点就是局部连接性和权值共享性。对于一副图像中的某个像素p来说，离像素p越近的像素对其影响也就越大(局部连接性)。另外，根据自然图像的统计特性，某个区域的权值也可以用于另一个区域，即权值共享性。权值共享可以理解为卷积核共享，在卷积神经网络(cnn)中，将一个卷积核与给定的图像做卷积运算就可以提取一种图像特征，不同的卷积核可以提取不同的图像特征。由于卷积神经网络的局部连接性，使得模型的复杂度降低，可以提高模型训练的效率；并且，由于卷积神经网络的权值共享性，因此卷积神经网络可以并行学习，进一步提高模型训练效率。
长短时递归神经网络(long-shorttermmemory，以下简称lstm)模型是一种时间递归神经网络模型，适合于处理和预测具有时间序列，且时间序列间隔和延迟相对较长的重要事件。lstm模型具有时间记忆功能，本实施方式中采用长短时递归神经网络模型对提取到的特征进行训练，以体现数据的长期记忆能力，提高模型识别的准确率。
s50：根据时间节点将每一待检测信息的微表情信息和对应的基准微表情进行比对，得到微表情比对分数。
在该步骤中，根据时间节点将每一待检测信息的微表情信息和对应的基准微表情进行比对。具体地，将待检测信息中的微表情信息根据时间节点在基准比对信息中找到对应的基准微表情，再判断微表情信息和该基准微表情是否一致。如此对待检测信息中的微表情信息在基准比对信息中进行一一比对，得到所有的比对结果。再根据这个比对结果，得到微表情比对分数。例如，根据比对结果中微表情一致的比例来作为微表情比对分数，或者将比对结果中微表情不一致的比例来作为微表情比对分数。
在本实施例中，首先取微表情比对请求，微表情比对请求包括比对视频标识和待检测视频。再根据比对视频标识获取基准比对信息，基准比对信息包括时间节点和每一时间节点对应的基准微表情。然后根据时间节点从待检测视频中获取待检测信息。将待检测信息输入到微表情识别模型中进行识别，得到每一待检测信息的微表情信息。最后根据时间节点将每一待检测信息的微表情信息和对应的基准微表情进行比对，得到微表情比对分数。根据对应的时间节点从待检测视频中获取到待检测信息，并且根据该时间节点进行微表情的一一比对，保证了微表情评分的准确性。
在一个实施例中，如图3所示，在根据比对视频标识获取基准比对信息，基准比对信息包括时间节点和每一时间节点对应的基准微表情的步骤之前，该微表情评分方法还包括如下步骤：
s21：获取基准视频，将基准视频进行分帧处理，得到n幅基准检测图像。
其中，基准视频即为比对视频，作为后续微表情比对的一个基准视频数据。在该步骤中，对基准视频进行分帧处理，得到n幅基准检测图像。具体地，预先设定一定的帧率或者帧数之后，按照预设的帧率和帧数对基准视频进行分帧处理，即得到对应的n幅基准检测图像。帧率或者帧数越高，基准检测图像的数量就越多，后续得到的基准比对信息就越精确，相应地，服务端地计算消耗会越高，整体效率会降低。因此，可以根据实际精度和效率需要来设定帧率和帧数。
s22：将n幅基准检测图像输入到微表情识别模型中进行识别，得到每一基准检测图像的微表情单元和微表情单元对应的概率分数。
在得到基准检测图像之后，将每一基准检测图像输入到微表情识别模型中进行识别，即得到每一基准检测图像的微表情单元和微表情单元对应的概率分数。其中，微表情单元为对应基准检测图像属于何种微表情，而概率分数则是该基准检测图像属于该微表情的概率值。
s23：按照基准视频的时序对n幅基准检测图像的微表情单元进行排序，得到微表情单元序列。
根据基准检测图像在基准视频中的时序对n幅基准检测图像的微表情单元进行排序，得到微表情单元序列。即按照基准视频中的时间先后顺序对每一幅基准检测图像对应的微表情单元进行排序，从而得到微表情单元序列。
s24：在微表情单元序列中，将相邻且相同的微表情单元进行合并，得到基准微表情，并获取合并的微表情单元中，对应的概率分数最高的基准检测图像在基准视频中的时间点，作为该基准微表情的时间节点。
在微表情单元序列中，将相邻且相同的微表情单元进行合并，直至相邻的微表情单元都不相同。并且，获取合并的微表情单元中，对应的概率分数最高的基准检测图像在基准视频中的时间点，作为该基准微表情的时间节点。例如，在微表情单元序列中，存在三个相邻的微表情单元a、b和c，对应的微表情都为开心，概率分数分别为85％、80和90％，并且三个微表情单元a、b和c在基准视频中的时间点分别为1分30秒、1分33秒和1分35秒。此时，将这三个相邻且相同的微表情单元进行合并，并且将概率分数最高(90％)的基准检测图像在基准视频中的时间点(1分35秒)，作为该基准微表情的时间节点。
s25：将微表情单元序列中的每一基准微表情和对应的时间节点组成基准比对信息。
在该步骤中，将微表情单元序列中的每一基准微表情和对应的时间节点组成基准比对信息。
在本实施例中，首先获取基准视频，将基准视频进行分帧处理，得到n幅基准检测图像。将n幅基准检测图像输入到微表情识别模型中进行识别，得到每一基准检测图像的微表情单元和微表情单元对应的概率分数。按照基准视频的时序对n幅基准检测图像的微表情单元进行排序，得到微表情单元序列。在微表情单元序列中，将相邻且相同的微表情单元进行合并，得到基准微表情，并获取合并的微表情单元中，对应的概率分数最高的基准检测图像在基准视频中的时间点，作为该基准微表情的时间节点。将微表情单元序列中的每一基准微表情和对应的时间节点组成基准比对信息。通过对基准视频微表情的提取，并且采用微表情单元序列进行基准比对信息的获取，保证了基准比对信息获取的准确性。
在一个实施例中，如图4所示，根据所示时间节点将每一待检测信息的微表情信息和对应的基准微表情进行比对，得到微表情比对分数，具体包括如下步骤：
s51:判断同一时间节点对应的微表情信息和基准微表情是否一致，若一致，则输出该时间节点的微表情比对结果为相同；若不一致，则输出该时间节点的微表情比对结果为不相同。
在该步骤中，根据时间节点来判断对应的微表情信息和基准微表情是否一致，即同一个时间节点中，对应的微表情信息和基准微表情是否相同。如果两者一致，则输出该时间节点的微表情比对结果为相同。如果两者不一致，则输出该时间节点的微表情比对结果为不相同。由此完成对待检测视频的微表情的比对环节。
s52：分别统计微表情比对结果为相同的次数和微表情比对结果为不相同的次数。
在比对完成之后，分别统计微表情比对结果中两种结果(相同和不相同)的次数。
s53：根据微表情结果为相同的次数和微表情结果为不相同的次数得到微表情比对分数。
根据统计微表情比对结果为相同和微表情比对结果为不相同的次数得到微表情比对分数。例如，将微表情比对结果为相同的次数除以微表情比对结果的总次数，即得到微表情比对分数。或者将微表情比对结果为相同的次数除以微表情比对结果的总次数，再将得到的结果进行归一化处理，即得到微表情比对分数。
在这个实施例中，根据时间节点判断对应的微表情信息和基准微表情是否一致，并根据所有的微表情比对结果最终得到微表情比对分数。保证了最终微表情比对分数的准确性。
在一个实施例中，如图5所示，根据时间节点从待检测视频中获取待检测信息，具体包括如下步骤：
s31：根据时间节点和预设时间段信息，获取对应的时间区间。
其中，预设时间段信息为一个预设的时间段，具体可以根据实际需要而设置，例如，该时间段信息可以为3秒、5秒或者8秒等。再得到时间节点和预设时间段信息之后，将时间节点分别往前取该预设时间段信息，再往后取该预设时间段信息，即得到了对应的时间区间。例如，若时间节点为3分20秒，该预设时间段信息为5秒，则对应的时间区间为[3分15秒,3分25秒]。
s32：根据时间区间从待检测视频中进行视频截取，得到待识别视频。
根据得到的时间区间，从待检测视频中对应的时间段进行视频截取，即得到待识别视频。例如，若时间区间为[3分15秒,3分25秒]，则将待检测视频中对应的[3分15秒,3分25秒]之间的视频数据截取下来，得到待识别视频。
s33：将待识别视频确定为待检测信息。
在该步骤中，将截取得到的待识别视频确定为待检测信息。
在本实施例中，通过时间节点和预设时间段信息获取到对应的时间区间，再根据时间区间从所述待检测视频中进行视频截取，得到待识别视频。最终将待识别视频确定为待检测信息。进一步保证了待检测信息获取的完整性，保证后续比对的准确性。
在一个实施例中，如图6所示，在将待检测信息输入到微表情识别模型中进行识别，得到每一待检测信息的微表情信息的步骤之前，该微表情评分方法还包括如下步骤：
s41：获取原始视频样本数据，其中，每一原始视频样本数据均已进行了样本标注。
其中，原始视频样本数据是由互联网或第三方机构/平台所公开的数据集中获取的开源视频数据，其包括各种不同人脸微表情对应地原始视频样本数据，并且每一原始视频样本数据均已进行了样本标注，例如，原始视频样本数据a对应地标注数据为“开心”。
s42：对每一原始视频样本数据进行视频分帧和人脸检测处理，得到训练人脸图片。
其中，训练人脸图片是对原始视频样本数据进行视频分帧和人脸检测所得到的包含人的面部特征的图片。由于本实施例中的微表情识别模型是基于微表情特征进行训练的，因此，需要对原始视频样本数据进行视频分帧和人脸检测处理，获取包含人的面部特征的图片即为训练人脸图片，以便采用训练人脸图片进行模型训练，以使微表情识别模型能够基于训练人脸图片提取微表情特征，并进行深度学习，提高微表情识别模型的识别准确率。
s43：对训练人脸图片按照预设数量进行分组，获取目标训练数据，每一所述目标训练数据包括连续m帧的训练人脸图片。
其中，按照预设数量进行分组，获取至少一组目标训练数据，使每一组目标训练数据中包含连续m帧的训练人脸图片，以便从连续m帧的训练人脸图片中获取人脸的微表情特征变化，以使训练人脸图片具有时序性，从而增加微表情识别模型的准确率。
本实施例中，预设数量的范围可设置为[50,200]，其原因在于，若将小于50帧的训练人脸图片作为训练集中一组训练数据，则会由于训练人脸图片过少，不能表现出一个人撒谎的面部特征的变化过程，导致微表情识别模型的识别准确率不高。若将大于200帧的训练人脸图片作为训练集中的一组训练数据，则会导致模型训练的时间过长，降低模型训练的效率。本实施例中，按照每一百帧训练人脸图片作为一组训练数据进行模型训练，提高模型的训练效率和训练得到的微表情识别模型的识别准确率。
s44：将目标训练数据输入到卷积神经网络-长短时递归神经网络模型中进行训练，获取微表情识别模型。
在得到目标训练数据之后，将目标训练数据输入到卷积神经网络-长短时递归神经网络模型中进行训练，即获取得到微表情识别模型。
本实施例中，由于是对目标训练数据即连续m帧的训练人脸图片进行训练，因此需对训练人脸图片进行特征提取，而卷积神经网络模型是图片特征提取常用的神经网络，由于卷积神经网络的权值共享性和局部连接性，大大增加了模型训练的效率。而本实施例中每一帧训练人脸图片的特征与前后两帧的训练人脸图片特征具有密切联系，因此采用长短时递归神经网络模型对提取到的人脸特征进行训练，以体现数据的长期记忆能力，提高模型的准确率。由于卷积神经网络的权值共享性和局部连接性，以及长短时递归神经网络模型能够体现数据的长期记忆能力的优点，大大增加了由卷积神经网络-长短时递归神经网络模型进行训练得到的微表情识别模型训练的效率以及微表情识别模型的准确率。
在一个实施例中，如图7所示，将目标训练数据输入到卷积神经网络-长短时递归神经网络模型中进行训练，获取微表情识别模型，具体包括如下步骤：
s441：初始化卷积神经网络-长短时递归神经网络模型的模型参数。
其中，初始化卷积神经网络-长短时递归神经网络模型是指预先初始化卷积神经网络模型的模型参数(即卷积核和偏置)以及长短时递归神经网络模型(lstm)中的模型参数(即各层之间的连接权值)。卷积核是指卷积神经网络的权值，当输入训练数据时，会乘上一个权值即卷积核，然后得到神经元的输出，它反映了训练数据的重要程度。偏置是用于更改权重乘输入的范围的线性分量。基于确定的卷积核、偏置以及lstm模型中各层之间的连接权值，即可完成模型训练的过程。
s442：采用卷积神经网络对目标训练数据进行特征提取，获取人脸特征。
其中，人脸特征是采用卷积神经网络对训练集中的的目标训练数据即连续n帧的训练人脸图片进行特征提取所得到的面部特征。具体地，采用卷积神经网络对训练集中的目标训练数据进行特征提取。具体地，卷积运算的计算公式包括
s443：将人脸特征输入到长短时递归神经网络模型中进行训练，获取微表情识别模型。
具体地，lstm模型是具有长时记忆能力的神经网络模型中的一种，具有输入层、隐藏层和输出层这三层网络结构。其中，输入层是lstm模型的第一层，用于接收外界信号，即负责接收携带时序状态的人脸特征。本实施例中，由于训练人脸图片具有时序性，因此，训练人脸图片经步骤s442处理后获取的人脸特征也具有时序性，使其可应用在lstm模型中，使得lstm模型获取携带时序状态的人脸特征。输出层是lstm模型的最后一层，用于输出信号，即负责输出lstm模型的计算结果。隐藏层是lstm模型中除输入层和输出层之外的各层，用于对输入的人脸特征进行处理，获取lstm模型的计算结果。其中，原始风控模型是采用lstm模型对携带时序状态的人脸特征进行多次迭代直至收敛所得到的模型。可以理解地，采用lstm模型对提取的人脸特征进行模型训练增强了获取到的原始风控模型的时序性，从而提高了微表情识别模型的准确率。
本实施例中，lstm模型的输出层采用softmax(回归模型)进行回归处理，用于分类输出权重矩阵。softmax(回归模型)是一种常用于神经网络的分类函数，它将多个神经元的输出，映射到[0,1]区间内，可以理解成概率，计算起来简单方便，从而来进行多分类输出，使其输出结果更准确。
本实施例中，先初始化卷积神经网络-长短时递归神经网络模型，以便基于卷积神经网络模型对训练集中的目标训练数据进行训练，获取人脸特征，然后将获取到的人脸特征输入lstm模型进行训练，该过程无需人为提取特征，只需将训练人脸图片直接输入到卷积神经网络-长短时递归神经网络模型中，即可由模型自行提取特征，提高模型训练效率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种微表情评分装置，该微表情评分装置与上述实施例中微表情评分方法一一对应。如图8所示，该微表情评分装置微表情比对请求获取模块10、基准比对信息获取模块20、待检测信息获取模块30、微表情信息识别模块40和微表情比对分数计算模块50。各功能模块详细说明如下：
微表情比对请求获取模块10，用于获取微表情比对请求，微表情比对请求包括比对视频标识和待检测视频；
基准比对信息获取模块20，用于根据比对视频标识获取基准比对信息，基准比对信息包括时间节点和每一时间节点对应的基准微表情；
待检测信息获取模块30，用于根据时间节点从待检测视频中获取待检测信息；
微表情信息识别模块40，用于将待检测信息输入到微表情识别模型中进行识别，得到每一待检测信息的微表情信息；
微表情比对分数计算模块50，用于根据时间节点将每一待检测信息的微表情信息和对应的基准微表情进行比对，得到微表情比对分数。
优选地，如图9所示，该微表情评分装置还包括基准视频获取模块21、微表情识别模块22、微表情单元序列获取模块23、基准微表情获取模块24和基准比对信息组成模块25。
基准视频获取模块21，用于获取基准视频，将所述基准视频进行分帧处理，得到n幅基准检测图像。
微表情识别模块22，用于将n幅所述基准检测图像输入到微表情识别模型中进行识别，得到每一所述基准检测图像的微表情单元和微表情单元对应的概率分数；
微表情单元序列获取模块23，用于按照基准视频的时序对n幅基准检测图像的微表情单元进行排序，得到微表情单元序列；
基准微表情获取模块24，用于在所述微表情单元序列中，将相邻且相同的微表情单元进行合并，得到基准微表情，并获取合并的微表情单元中，对应的概率分数最高的基准检测图像在基准视频中的时间点，作为该基准微表情的时间节点；
基准比对信息组成模块25，用于将微表情单元序列中的每一基准微表情和对应的时间节点组成基准比对信息。
优选地，微表情比对分数计算模块50用于判断同一时间节点对应的微表情信息和基准微表情是否一致，若一致，则输出该时间节点的微表情比对结果为相同；若不一致，则输出该时间节点的微表情比对结果为不相同；分别统计微表情比对结果为相同的次数和微表情比对结果为不相同的次数；根据统计微表情结果为相同的次数和微表情结果为不相同的次数得到微表情比对分数。
优选地，待检测信息获取模块30用于根据时间节点和预设时间段信息，获取对应的时间区间；根据时间区间从待检测视频中进行视频截取，得到待识别视频；将待识别视频确定为待检测信息。
优选地，该微表情评分装置还包括原始视频样本数据获取模块、训练人脸图片获取模块和目标训练数据模块。
原始视频样本数据获取模块，用于获取原始视频样本数据，其中，每一原始视频样本数据均已进行了样本标注；
训练人脸图片获取模块，用于对每一原始视频样本数据进行视频分帧和人脸检测处理，得到训练人脸图片；
目标训练数据模块，用于对训练人脸图片按照预设数量进行分组，获取目标训练数据，每一所述目标训练数据包括连续m帧的训练人脸图片；
微表情识别模型获取模块，用于将目标训练数据输入到卷积神经网络-长短时递归神经网络模型中进行训练，获取微表情识别模型。
优选地，微表情识别模型获取模块用于初始化卷积神经网络-长短时递归神经网络模型的模型参数；采用卷积神经网络对目标训练数据进行特征提取，获取人脸特征；将人脸特征输入到长短时递归神经网络模型中进行训练，获取微表情识别模型。
关于微表情评分装置的具体限定可以参见上文中对于微表情评分方法的限定，在此不再赘述。上述微表情评分装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于上述微表情评分方法中使用到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种微表情评分方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取微表情比对请求，所述微表情比对请求包括比对视频标识和待检测视频；
根据所述比对视频标识获取基准比对信息，所述基准比对信息包括时间节点和每一时间节点对应的基准微表情；
根据所述时间节点从所述待检测视频中获取待检测信息；
将所述待检测信息输入到微表情识别模型中进行识别，得到每一待检测信息的微表情信息；
根据所述时间节点将每一待检测信息的微表情信息和对应的基准微表情进行比对，得到微表情比对分数。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取微表情比对请求，所述微表情比对请求包括比对视频标识和待检测视频；
根据所述比对视频标识获取基准比对信息，所述基准比对信息包括时间节点和每一时间节点对应的基准微表情；
根据所述时间节点从所述待检测视频中获取待检测信息；
将所述待检测信息输入到微表情识别模型中进行识别，得到每一待检测信息的微表情信息；
根据所述时间节点将每一待检测信息的微表情信息和对应的基准微表情进行比对，得到微表情比对分数。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！