一种基于ACNN和Bi-LSTM的微表情识别方法、系统

一种基于acnn和bi-lstm的微表情识别方法、系统
技术领域
1.本技术涉及人工智能技术领域，特别是涉及一种基于acnn和bi-lstm的微表情识别方法、系统。


背景技术：

2.微表情相对于普通表情是一种持续时间短并且动作幅度小的表情变化。作为一种自发性表情，微表情在试图掩盖内在情绪时产生,是一种既无法伪造也无法抑制的表情。1966年，haggard等发现了一种快速且不易被人眼所察觉的面部表情并第一次提出了微表情的概念。起初这种微小且短暂的面部变化并没有引起其他同行研究人员的注意。直至1969年，ekman在研究抑郁症患者的一段录像时，发现表现处于微笑表情病人会出现短暂的痛苦表情，该患者用微笑等积极性表情来掩饰内心的焦虑。和宏表情不同的是，微表情的持续时间仅为1/25～1/5秒，因此仅凭人眼对微表情进行识别并不满足精确辨别的需要，使用现代人工智能手段识别是非常有必要的。
3.现有通过原始灰度图训练空间注意力模型sain_gray，但并没有考虑图像间的序列相关性，或者有采用atnet方法，利用resnet10从顶点帧中提取出微表情空间信息，利用lstm从相邻帧中提取出微表情时间信息并在特征融合后进行识别。然而，现有的微表情识别方法并没有关注全局又兼顾细节的能力。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够微表情识别准确率的基于acnn和bi-lstm的微表情识别方法、系统。
5.一种基于acnn和bi-lstm的微表情识别方法，所述方法包括：
6.获取待检测人员的连续时间的多帧表情图像；
7.将所述多帧表情图像输入微表情识别模型，得到所述待检测人员的表情所属类别；其中，所述微表情识别模型包括初始特征向量提取网络、与初始特征向量提取网络连接的局部识别块注意力卷积神经网络、与初始特征向量提取网络连接的全局注意力卷积神经网络和与局部识别块注意力卷积神经网络、全局注意力卷积神经网络连接的双向长短期记忆网络。
8.在其中一个实施例中，所述将所述多帧表情图像输入微表情识别模型，得到所述待检测人员的表情所属类别，包括：
9.将所述多帧表情图像输入初始特征向量提取网络经过迁移学习处理后，得到第一预设尺度的初始特征向量；
10.将初始特征向量输入局部识别块注意力卷积神经网络，提取多个识别块，并计算每个识别块的带权特征向量；
11.将初始特征向量输入全局注意力卷积神经网络，得到带权的全局特征向量；
12.将所有识别块的带权特征向量和带权的全局特征向量分别输入双向长短期记忆
网络，并通过三层全连接层处理，得到所述待检测人员的表情所属类别。
13.在其中一个实施例中，所述将所述多帧表情图像输入初始特征向量提取网络经过迁移学习处理后，得到第一预设尺度的初始特征向量，包括：将所述多帧表情图像输入vgg16网络经过迁移学习处理后，得到尺度为512
×
28
×
28的特征向量。
14.在其中一个实施例中，所述将初始特征向量输入局部识别块注意力卷积神经网络，提取多个识别块，并计算每个识别块的带权特征向量，包括：根据初始特征向量提取面部关键点；根据面部关键点提取眉、眼、鼻、口区域的微表情识别点；以微表情识别点为中心，从初始特征向量提取第二预设尺度的识别块；将所述识别块分别经过一个全连接层和一个输出为权重标量的普通注意力网络处理，得到每个识别块的带权特征向量。
15.在其中一个实施例中，所述将初始特征向量输入全局注意力卷积神经网络，得到带权的全局特征向量，包括：将初始特征向量通过vgg16网络的conv4_2层到conv5_2层处理，得到输出尺度为512
×
14
×
14的特征向量；将尺度为512
×
14
×
14的特征向量分别经过一个全连接层和一个输出为权重标量的普通注意力网络处理，得到带权的全局特征向量。
16.在其中一个实施例中，上述基于acnn和bi-lstm的微表情识别方法，还包括：获取多个采集者连续时间的多帧表情图像，并设置每个采集者的微表情标签，构建模型训练数据集；将所述模型训练数据集输入初始微表情识别模型，对初始微表情识别模型进行训练，得到训练后的微表情识别模型；其中，所述训练后的微表情识别模型包括初始特征向量提取网络、与初始特征向量提取网络连接的局部识别块注意力卷积神经网络、与初始特征向量提取网络连接的全局注意力卷积神经网络和与局部识别块注意力卷积神经网络、全局注意力卷积神经网络连接的双向长短期记忆网络。
17.在其中一个实施例中，所述双向长短期记忆网络还包括中隐藏层、全连接层以及隐藏层与全连接层之间的dropout层。
18.一种基于acnn和bi-lstm的微表情识别系统，所述系统包括：
19.待检测图像获取模块，用于获取待检测人员的连续时间的多帧表情图像；
20.表情类别识别模块，用于将所述多帧表情图像输入微表情识别模型，得到所述待检测人员的表情所属类别；其中，所述微表情识别模型包括初始特征向量提取网络、与初始特征向量提取网络连接的局部识别块注意力卷积神经网络、与初始特征向量提取网络连接的全局注意力卷积神经网络和与局部识别块注意力卷积神经网络、全局注意力卷积神经网络连接的双向长短期记忆网络。
21.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
22.获取待检测人员的连续时间的多帧表情图像；
23.将所述多帧表情图像输入微表情识别模型，得到所述待检测人员的表情所属类别；其中，所述微表情识别模型包括初始特征向量提取网络、与初始特征向量提取网络连接的局部识别块注意力卷积神经网络、与初始特征向量提取网络连接的全局注意力卷积神经网络和与局部识别块注意力卷积神经网络、全局注意力卷积神经网络连接的双向长短期记忆网络。
24.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
25.获取待检测人员的连续时间的多帧表情图像；
26.将所述多帧表情图像输入微表情识别模型，得到所述待检测人员的表情所属类别；其中，所述微表情识别模型包括初始特征向量提取网络、与初始特征向量提取网络连接的局部识别块注意力卷积神经网络、与初始特征向量提取网络连接的全局注意力卷积神经网络和与局部识别块注意力卷积神经网络、全局注意力卷积神经网络连接的双向长短期记忆网络。
27.上述基于acnn和bi-lstm的微表情识别方法、系统、计算机设备和存储介质，采用包括局部识别块注意力卷积神经网络、全局注意力卷积神经网络和双向长短期记忆网络的微表情识别模型，能够对待检测人员的连续时间的多帧表情图像，进行局部的表情特征识别、全局的特征特征识别，并且结合连续时间的表情变化，能够准确的识别出待检测人员的表情所属类别。
附图说明
28.图1为一个实施例中基于acnn和bi-lstm的微表情识别方法的流程示意图；
29.图2为一个实施例中微表情识别模型的结构示意图；
30.图3为一个实施例中dlib方法提取出68个面部关键点示意图；
31.图4为一个实施例中双向循环神经网络结构示意图；
32.图5为一个实施例中lstm单元网络结构示意图；
33.图6为一个实施例中基于acnn和bi-lstm的微表情识别系统的结构框图；
34.图7为一个实施例中计算机设备的内部结构图。
具体实施方式
35.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
36.在一个实施例中，如图1所示，提供了一种基于acnn和bi-lstm的微表情识别方法，包括以下步骤：
37.s110，获取待检测人员的连续时间的多帧表情图像。
38.其中，连续时间的多帧表情图像为带有起始帧、顶点帧和结束帧视频序列，其通过工业相机对同一待检测人员进行连续拍摄脸部获得。
39.s120，将所述多帧表情图像输入微表情识别模型，得到所述待检测人员的表情所属类别；其中，所述微表情识别模型包括初始特征向量提取网络、与初始特征向量提取网络连接的局部识别块注意力卷积神经网络、与初始特征向量提取网络连接的全局注意力卷积神经网络和与局部识别块注意力卷积神经网络、全局注意力卷积神经网络连接的双向长短期记忆网络。
40.其中，表情所属类别可为消极、积极、惊讶等类别。初始特征向量提取网络用于提取适用于符合局部识别块注意力卷积神经网络、全局注意力卷积神经网络输入尺度的特征向量，例如，初始特征向量提取网络将输入的多帧表情图像，处理成尺度为512
×
28
×
28的特征向量。局部识别块注意力卷积神经网络(br-acnn)为基于acnn改进的进行微表情细节
识别的网络，由于微表情面部变化幅度较小很难被有效的识别，本技术采用面部关键区域块注意力的识别方法，即在要识别的面部特征中增加微表情关键代表性区域的识别以及采用对应的注意力网络。全局注意力卷积神经网络(gr-acnn)具有学习人脸面部特征细微变化的能力，然而完成微表情动作有时涉及到面部各个部位相互配合，所以不仅需要提取面部区块的特征还需要全局的特征，在特征识别中融合进全局特征有望提高微表情的识别效果。双向长短期记忆网络(bi-lstm)是在单向lstm中增加反向传播层使得lstm模型不仅可以利用历史序列信息还可以利用未来的信息，本技术采用双向长短期记忆网络(bi-lstm)可以更好的提取出微表情中的特征信息与序列信息。
41.上述基于acnn和bi-lstm的微表情识别方法中，采用包括局部识别块注意力卷积神经网络、全局注意力卷积神经网络和双向长短期记忆网络的微表情识别模型，能够对待检测人员的连续时间的多帧表情图像，进行局部的表情特征识别、全局的特征特征识别，并且结合连续时间的表情变化，能够准确的识别出待检测人员的表情所属类别。
42.在其中一个实施例中，所述将所述多帧表情图像输入微表情识别模型，得到所述待检测人员的表情所属类别，包括：将所述多帧表情图像输入初始特征向量提取网络经过迁移学习处理后，得到第一预设尺度的初始特征向量；将初始特征向量输入局部识别块注意力卷积神经网络，提取多个识别块，并计算每个识别块的带权特征向量；将初始特征向量输入全局注意力卷积神经网络，得到带权的全局特征向量；将所有识别块的带权特征向量和带权的全局特征向量分别输入双向长短期记忆网络，并通过三层全连接层处理，得到所述待检测人员的表情所属类别。
43.其中，第一预设尺度可为512
×
28
×
28，512表示特征向量的通道数目，28
×
28为单个通道特征向量的像素尺寸。其中，局部识别块注意力卷积神经网络在输入初始特征向量后，按照面部区域进行微表情识别区域划分，提取多个识别块，对每个识别块通过注意力网络计算带权特征向量。
44.在其中一个实施例中，所述将所述多帧表情图像输入初始特征向量提取网络经过迁移学习处理后，得到第一预设尺度的初始特征向量，包括：将所述多帧表情图像输入vgg16网络经过迁移学习处理后，得到尺度为512
×
28
×
28的特征向量。
45.在其中一个实施例中，所述将初始特征向量输入局部识别块注意力卷积神经网络，提取多个识别块，并计算每个识别块的带权特征向量，包括：根据初始特征向量提取面部关键点；根据面部关键点提取眉、眼、鼻、口区域的微表情识别点；以微表情识别点为中心，从初始特征向量提取第二预设尺度的识别块；将所述识别块分别经过一个全连接层和一个输出为权重标量的普通注意力网络处理，得到每个识别块的带权特征向量。
46.具体的，面部关键点可使用dlib[xia z,hong x,gao x,et al.spatiotemporal recurrent convolutional networks for recognizing spontaneous micro-expressions[j].ieee transactions on multimedia,2019]方法提取出68个面部关键点。微表情识别点是从面部关键点选取，但是微表情的变化通过微表情识别点的特征变化就能感知。具体的，使用dlib方法提取出68个面部关键点(如图3所示)，其次在68个面部关键点的基础上经过转换成为24个微表情识别点，识别点位置覆盖脸颊、嘴巴、鼻子、眼睛、眉毛；其中，转换过程如下，首先从68个面部关键点中选取16个覆盖嘴巴、鼻子、眼睛、眉毛的识别点，68个面部关键点(如图3所示)中的提取序号为：19、22、23、26、39、37、44、46、28、30、49、
51、53、55、59、57，最终生成的微表情识别点序号分别为：1，2，3，4，5，6，7，8，9，10，11，12，13，14，15，16；其次，对于眼睛、眉毛以及脸颊部分由于没有直接的关键点覆盖，本实施例中通过关键点的中点坐标进行生成，例如，左眼、左眉毛与左脸颊部分从68个面部关键点(如图3所示)中选取(20，38)、(41，42)、(18，59)点对的中点坐标作为微表情识别点，微表情识别点序号为：17、19、18；右眼、右眉毛与右脸颊部分从68个面部关键点中选取(25，45)、(47，48)、(27，57)点对的中点坐标作为微表情识别点，微表情识别点序号为：20、21、22；最后，对于左右嘴角部分，本实施例从68个面部关键点中选取关键点49、关键点55，然后分别根据这两个点的坐标选择两个嘴角的相对偏移点最终得到微表情识别点序号为：23、24。
[0047]
微表情识别点序号为：23、24的坐标的计算公式如下：
[0048]
(x
23
,y
23
)＝(x
left-16,y
left-16)
ꢀꢀꢀ
(1)
[0049]
(x
24
,y
24
)＝(x
right
+16,y
right
+16)
ꢀꢀꢀ
(2)
[0050]
其中，x
left
、y
left
为关键点49的坐标，x
right
、y
right
为关键点55的坐标，x
23
、y
23
为微表情识别点序号23的坐标，x
24
、y
24
为微表情识别点序号24的坐标。由此，根据面部关键点最终提取到眉、眼、鼻、口区域的24个微表情识别点，以24个微表情识别点为中心，生成24个尺度为6
×
6的识别区域，其中识别区域的尺度大小可以根据模型的精度设置。其中，为了提高模型的鲁棒性增大识别块的感受野，识别区域将会作用在经过vgg16迁移学习处理后的512
×
28
×
28特征向量上从而得到24个识别块，每个识别块大小为512
×6×
6，即第二预设尺度可为512
×6×
6。
[0051]
带有注意力机制的局部识别块卷积神经网络(br-acnn)如图2虚线框内上半部分所示。在br-acnn中经过裁剪后得到的24个局部的识别块分别经过一个全连接层和一个输出为权重标量的普通注意力网络，最后得到24个带权特征向量。在局部识别块卷积神经网络(br-acnn)中，第i个识别块的注意力权重pi、未加权的特征注意力权重的特征αi的计算公式如下：
[0052][0053][0054][0055]
其中，ci表示第i个识别块的特征向量，是注意力网络中的操作，τ(
·
)表示对输入特征向量的特征学习。通过式(1)、式(2)和式(3)能够计算所有识别块的带权特征向量。
[0056]
在其中一个实施例中，所述将初始特征向量输入全局注意力卷积神经网络，得到带权的全局特征向量，包括：将初始特征向量通过vgg16网络的conv4_2层到conv5_2层处理，得到输出尺度为512
×
14
×
14的特征向量；将尺度为512
×
14
×
14的特征向量分别经过一个全连接层和一个输出为权重标量的普通注意力网络处理，得到带权的全局特征向量。
[0057]
其中，全局注意力卷积神经网络(gr-acnn)的详细结构如图2虚线框内下半部分所示。全局注意力卷积神经网络(gr-acnn)的输入特征向量的尺度大小为512
×
28
×
28，首先本实施例中将输入的全局特征向量通过vgg16网络的conv4_2到conv5_2层，得到输出大小为512
×
14
×
14的特征向量；其次，将大小为512
×
14
×
14的特征向量分别经过一个全连接
层和一个输出为权重标量的普通注意力网络，最后输出带权的全局特征向量。
[0058]
在其中一个实施例中，基于acnn和bi-lstm的微表情识别方法还包括：获取多个采集者连续时间的多帧表情图像，并设置每个采集者的微表情标签，构建模型训练数据集；将所述模型训练数据集输入初始微表情识别模型，对初始微表情识别模型进行训练，得到训练后的微表情识别模型；其中，所述训练后的微表情识别模型包括初始特征向量提取网络、与初始特征向量提取网络连接的局部识别块注意力卷积神经网络、与初始特征向量提取网络连接的全局注意力卷积神经网络和与局部识别块注意力卷积神经网络、全局注意力卷积神经网络连接的双向长短期记忆网络。
[0059]
其中，采集者连续时间的多帧表情图像可以采用中国科学院心理研究所傅小兰团队所建立的csame ii数据集，csame ii数据集采用200帧/秒高速摄像头，每帧大小为280
×
340像素，csame ii数据集有255个样本，数据集中参与者平均年龄22岁，被采集者总数一共24个。该数据集包括被采集者每个样本对应的微表情标签并分别带有起始帧、顶点帧和结束帧视频序列。标签包括压抑、厌恶、高兴、惊讶、害怕、伤心及其他分类(repression,disgust,happiness,surprise,fear,sadness,others)。本实施例中将csame ii数据集划分消极、积极、惊讶3类并设置微表情标签，通过时域插值模型(temporal interpolation model，tim)处理成固定10帧的输入序列并通过双线性插值把视频帧归一化为224
×
224像素，接着使用dlib方法裁剪对齐并提取出68个面部关键点，再对面部关键点进行分析处理后本实施例选取出24个微表情识别点，并由24个微表情识别点生成24个大小为6
×
6的识别块。最后把预处理过的视频帧和每一帧的识别块放入模型训练。
[0060]
在其中一个实施例中，所述双向长短期记忆网络还包括中隐藏层、全连接层以及隐藏层与全连接层之间的dropout层。
[0061]
其中，长短期记忆网络(lstm)是一种为了克服传统循环神经网络(rnn)所一直存在的长期依赖问题而设计出来的新结构。而双向长短期记忆网络(bi-lstm)是在长短期记忆网络(lstm)的基础上增加反向层，使得新的网络结构不仅能够利用已经输入的历史信息还具有捕获未来的可用信息的能力。双向循环神经网络结构如图4所示，双向长短期记忆网络(bi-lstm)结构是把双向循环神经网络每个节点换成lstm单元。定义双向长短期记忆网络(bi-lstm)模型输入特征序列为x＝(x1，...，x
t
)，前项传播中隐藏层变量序列为和反向传播中隐藏层变量序列为定义bi-lstm模型输出序列为y＝(y1，...，y
t
)，得出以下公式：
[0062][0063][0064][0065]
其中，s(x)为激活函数，分别表示特征序列x中元素在计算分别表示特征序列x中元素在计算的权重，表示前项传播中隐藏层变量序列中元素的权重，表示反向传播中隐藏层变量序列中元素的权重，b0分别表示在计算y
t
时偏置项，x
t
为输入特征序列
x中第t个元素，为前项传播中隐藏层变量序列中第t个元素，为反向传播中隐藏层变量序列中第t个元素，为前项传播中隐藏层变量序列中第t-1个元素，为反向传播中隐藏层变量序列中第t-1个元素，y
t
为bi-lstm模型输出序列的第t个元素，为对应的权重，为对应的权重。每个部分使用lstm单元进行计算，lstm单元如图5所示。lstm的输入是经过br-acnn和gr-acnn模型从帧序列中提取并进行拼接操作后的空间特征，本实施例采用单层双向的lstm结构，其中包含一个256个节点的隐藏层，为了增加模型网络节点的鲁棒性，减少神经元之间复杂的共适应关系，本实施例在双向lstm隐藏层和全连接层之间增加了dropout层以一定概率随机屏蔽神经元。
[0066]
在其中一个实施例中，采用了未加权f1值(unweighted f
1-score,uf1)，未加权平均召回率(unweighted average recall,uar)以及准确率(accuracy,acc)的作为微表情识别模型的评价指标。未加权f1值(uf1)的计算如式(9)所示，其中tpi、fpi、fni分别为第i个类别中真正例、假正例、假负例的数量，c为类别数。未加权平均召回率(uar)的计算如式(10)所示，其中tpi为第i个类别中预测正确的数量，ni为第i个样本的数量。准确率(acc)如式(11)所示，其中tp为所有种类中真正例的数量，fp为所有种类中假正例的数量。公式如下：
[0067][0068][0069][0070]
训练使用adam优化器，学习率为0.00016，迭代次数epoch设置为100，训练batch_size设置为16。因为微表情是小数据集容易过拟合，为了提高模型的鲁棒性与泛化能力本实施例对微表情识别模型参数取正则化的l2范数并在损失函数中加上λ倍的l2参数范数，经过多次实验表明，λ设置为0.01时模型效果最好。5折交叉验证实验结果显示，5折交叉验证平均准确率为69％，uf1为0.6382，uar为0.6750。本实施例改进的微表情识别模型相对于以往的识别算法精度有了相对的提高，其中相对offapexnet模型uf1提高了0.0281，uar提高了0.0969；相对atnet模型uf1提高了0.0072，uar提高了0.032。
[0071]
上述基于acnn和bi-lstm的微表情识别方法，考虑到微表情数据集较小容易产生过拟合问题，首先将预处理后的微表情视频帧通过vgg16提取出特征集合；再将提取出的特征集合分别通过局部识别块注意力卷积神经网络(br-acnn)和全局注意力卷积神经网络(gr-acnn)提取出局部与全局特征；接着通过双向长短期记忆网络(bi-lstm)提取出每一帧的序列信息；最后通过三层全连接层进行分类。实验表明基于识别块注意力网络与双向长短期记忆网络的识别方式可以从动作幅度小的视频帧里有效的提取出有用信息，并在实验中表现较高的准确率。
[0072]
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的
执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0073]
在一个实施例中，如图6所示，提供了一种基于acnn和bi-lstm的微表情识别系统，包括：待检测图像获取模块210和表情类别识别模块220，其中：
[0074]
待检测图像获取模块210，用于获取待检测人员的连续时间的多帧表情图像；
[0075]
表情类别识别模块220，用于将所述多帧表情图像输入微表情识别模型，得到所述待检测人员的表情所属类别；其中，所述微表情识别模型包括初始特征向量提取网络、与初始特征向量提取网络连接的局部识别块注意力卷积神经网络、与初始特征向量提取网络连接的全局注意力卷积神经网络和与局部识别块注意力卷积神经网络、全局注意力卷积神经网络连接的双向长短期记忆网络。
[0076]
在其中一个实施例中，所述表情类别识别模块220，包括：
[0077]
迁移学习处理单元，用于将所述多帧表情图像输入初始特征向量提取网络经过迁移学习处理后，得到第一预设尺度的初始特征向量；
[0078]
识别块提取单元，用于将初始特征向量输入局部识别块注意力卷积神经网络，提取多个识别块，并计算每个识别块的带权特征向量；
[0079]
全局特征向量提取单元，用于将初始特征向量输入全局注意力卷积神经网络，得到带权的全局特征向量；
[0080]
表情类别检测单元，用于将所有识别块的带权特征向量和带权的全局特征向量分别输入双向长短期记忆网络，并通过三层全连接层处理，得到所述待检测人员的表情所属类别。
[0081]
在其中一个实施例中，所述迁移学习处理单元，还用于将所述多帧表情图像输入vgg16网络经过迁移学习处理后，得到尺度为512
×
28
×
28的特征向量。
[0082]
在其中一个实施例中，所述识别块提取单元，包括：面部关键点提取子单元，用于根据初始特征向量提取面部关键点；微表情识别点提取子单元，用于根据面部关键点提取眉、眼、鼻、口区域的微表情识别点；识别块提取子单元，用于以微表情识别点为中心，从初始特征向量提取第二预设尺度的识别块；识别块带权特征向量计算子单元，用于将所述识别块分别经过一个全连接层和一个输出为权重标量的普通注意力网络处理，得到每个识别块的带权特征向量。
[0083]
在其中一个实施例中，所述全局特征向量提取单元，包括：卷积处理子单元，用于将初始特征向量通过vgg16网络的conv4_2层到conv5_2层处理，得到输出尺度为512
×
14
×
14的特征向量；带权全局特征向量计算子单元，用于将尺度为512
×
14
×
14的特征向量分别经过一个全连接层和一个输出为权重标量的普通注意力网络处理，得到带权的全局特征向量。
[0084]
在其中一个实施例中，基于acnn和bi-lstm的微表情识别系统，还包括：模型训练数据集构建模块，用于获取多个采集者连续时间的多帧表情图像，并设置每个采集者的微表情标签，构建模型训练数据集；训练模块，用于将所述模型训练数据集输入初始微表情识别模型，对初始微表情识别模型进行训练，得到训练后的微表情识别模型；其中，所述训练
后的微表情识别模型包括初始特征向量提取网络、与初始特征向量提取网络连接的局部识别块注意力卷积神经网络、与初始特征向量提取网络连接的全局注意力卷积神经网络和与局部识别块注意力卷积神经网络、全局注意力卷积神经网络连接的双向长短期记忆网络。
[0085]
在其中一个实施例中，所述双向长短期记忆网络还包括中隐藏层、全连接层以及隐藏层与全连接层之间的dropout层。
[0086]
关于基于acnn和bi-lstm的微表情识别系统的具体限定可以参见上文中对于基于acnn和bi-lstm的微表情识别方法的限定，在此不再赘述。上述基于acnn和bi-lstm的微表情识别系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0087]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储微表情识别模型数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于acnn和bi-lstm的微表情识别方法。
[0088]
本领域技术人员可以理解，图7中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0089]
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0090]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0091]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
[0092]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0093]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来
说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。