基于微表情的用户心理分析方法、装置、设备及存储介质与流程

1.本发明涉及人工智能技术领域，尤其涉及基于微表情的用户心理分析方法、装置、计算机设备及存储介质。


背景技术：

2.微表情识别是人工智能领域的重要领域，微表情对于人类来说这是一种与生俱来的一种神态，是我们无法自控的，对于专业人士来说，微表情就是我们内心的真实写照，真实反应我们自己的内心最真实的想法，对于人工智能来说，微表情识别是人脸识别的一个新的进展，当前各大巨头都在着手研究微表情识别，人生气、高兴、惊讶、说谎都会产生微表情的变化，通过对这些细微表情的变化数据进行提前分析，能快速识别推测出人的内心的真实想法，在公安领域有着很大的应用，能够帮助公安部门更好的进行审讯，检测被监控人的心理活动。
3.目前对于微表情的研究，已经出现了一些微表情的识别模型，但是目前的微表情识别模型是基于无监督学习得到，在学习和识别的过程中出现错误识别时，用户无法得知，只能看到分析的结果，导致微表情识别模型的识别结果不够准确，最终导致对相应用户的心理分析结果也不准确。


技术实现要素：

4.本发明实施例提供一种基于微表情的用户心理分析方法、装置、计算机设备及存储介质，以解决基于微表情对用户的心理进行分析的准确性低的技术问题。
5.一种基于微表情的用户心理分析方法，包括：
6.获取待识别的视频；
7.从待识别的所述视频中抽取包含有人像画面的至少一个帧图像；
8.通过预先训练好的微表情识别模型对所述帧图像进行识别，当所述帧图像中包含微表情时，输出对应帧图像中包含的对应微表情的时序子表情；
9.将所述时序子表情中排在第一位的子表情作为根节点，根据所述根节点匹配对应的决策树，所述决策树的根节点及中间节点表示表情，所述决策树的叶子节点表示心理状态；
10.将所述时序子表情中剩余的子表情按照对应子表情的时序排位在所述决策树中依次进行匹配；
11.当排在最末位的子表情与所述决策树中的叶子节点匹配成功时，将对应叶子节点表示的心理状态确定为所述视频中被检测人员的心理状态。
12.一种基于微表情的用户心理分析装置，包括：
13.视频获取模块，用于获取待识别的视频；
14.图像抽取模块，用于从待识别的所述视频中抽取包含有人像画面的至少一个帧图像；
15.识别模块，用于通过预先训练好的微表情识别模型对所述帧图像进行识别，当所述帧图像中包含微表情时，输出对应帧图像中包含的对应微表情的时序子表情；
16.第一匹配模块，用于将所述时序子表情中排在第一位的子表情作为根节点，根据所述根节点匹配对应的决策树，所述决策树的根节点及中间节点表示表情，所述决策树的叶子节点表示心理状态；
17.第二匹配模块，用于将所述时序子表情中剩余的子表情按照对应子表情的时序排位在所述决策树中依次进行匹配；
18.状态确定模块，用于当排在最末位的子表情与所述决策树中的叶子节点匹配成功时，将对应叶子节点表示的心理状态确定为所述视频中被检测人员的心理状态。
19.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于微表情的用户心理分析方法的步骤。
20.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于微表情的用户心理分析方法的步骤。
21.本技术提出的基于微表情的用户心理分析方法、装置、计算机设备及存储介质，首先从待识别的视频中抽取包含有人像画面的至少一个帧图像，通过预先训练好的微表情识别模型对该帧图像进行识别，当该帧图像中包含微表情时，输出对应帧图像中包含的对应微表情的时序子表情，便于在将智能识别到的微表情进行人工校验时，心理专家能够对被测人员的微表情尽快获取，以使得人工智能和专业表情分析师可以同时对被测人员的微表情及心理进行分析，一方面可以提高对被测人员依据微表情进行分析的准确性，另一方面便于根据同一待识别的视频，利用专业表情分析师对智能识别的微表情进行校验，以确定本技术通过微表情识别模型对该微表情进行识别的准确性。然后将该时序子表情中排在第一位的子表情作为根节点，根据该根节点匹配对应的决策树，再将该时序子表情中剩余的子表情按照对应子表情的时序排位在所述决策树中依次进行匹配，将对应叶子节点表示的心理状态确定为所述视频中被检测人员的心理状态，通过将该微表情识别模型和该决策树进行配合应用，能够实现基于微表情对被测人员的心理状态进行智能分析，同时便于专业表情分析师对微表情识别模型识别出的微表情进行校验，以提高通过微表情对被测人员的心理状态预测的准确性。
附图说明
22.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
23.图1是本发明一实施例中基于微表情的用户心理分析方法的一应用环境示意图；
24.图2是本发明一实施例中基于微表情的用户心理分析方法的一流程图；
25.图3是本发明一实施例中训练微表情识别模型一流程图；
26.图4是本发明一实施例中基于微表情的用户心理分析装置的结构示意图；
27.图5是本发明一实施例中计算机设备的一示意图。
具体实施方式
28.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
29.本技术提供的基于微表情的用户心理分析方法，可应用在如图1的应用环境中，其中，该计算机设备能够通过网络与外部服务器进行通信。其中，该计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
30.可以理解的是，该基于微表情的用户心理分析方法属于人工智能技术领域，通过人工智能并基于微表情对用户心理进行分析，本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
31.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
32.在一实施例中，如图2所示，为了提高基于微表情对用户的心理进行分析的分析结果的准确性，本技术提出了一种基于微表情的用户心理分析方法，以该方法应用在图1中的计算机设备为例进行说明，包括如下步骤s101至s101至s106。
33.s101、获取待识别的视频。
34.所述视频可以是实时拍摄得到，也可以是预先存储在存储器上的视频，还可以是存储在其他设备上发送至本端的视频。
35.在其中一个实施例中，在获取待识别的视频的步骤之后，所述方法还包括：
36.对待识别的所述视频进行预处理。
37.进一步地，对该待识别的视频进行预处理的方式例如：
38.截取待识别的所述视频中不包括人像的第一视频片段并删除。
39.通过对待识别的视频进行预处理，将不包括人像的第一视频片段删除，可以剔除无用的视频片段，减少需要处理的视频数据量，从而缩短微表情的分析时间。
40.s102、从待识别的所述视频中抽取包含有人像画面的至少一个帧图像。
41.作为可选地，所述从待识别的所述视频中抽取包含有人像画面的至少一个帧图像的步骤具体包括：
42.识别所述帧图像中是否包含有人脸区域，若是，则抽取对应的帧图像。
43.在其中一个实施例中，所述从待识别的所述视频中抽取包含有人像画面的至少一个帧图像的步骤具体包括：
44.识别所述视频中是否包含有人体姿态动画，若是，则截取包含有人体姿态动画的第二视频片段；
45.获取所述包含有人体姿态动画的第二视频片段的帧图像。
46.在其中一个实施例中，该人体姿态包括但不限于抖腿、抖手指、耸肩等。
47.s103、通过预先训练好的微表情识别模型对所述帧图像进行识别，当所述帧图像中包含微表情时，输出对应帧图像中包含的对应微表情的时序子表情。
48.在其中一个实施例中，该微表情包括但不限于面部表情和人体姿态，可以理解的是，能够表示微表情的人体姿态为预先设定的特定人体姿态，例如抖腿、抖手指、耸肩等。
49.其中，输出所述时序子表情的方例如通过终端设备的屏幕显示该时序子表情、将该时序子表情发送至其它设备进行显示输出等。
50.可以理解的是，该时序子表情为对应帧图像中人像展示出来的微表情按照发生时刻而产生的子表情序列，例如“笑”的时序子表情按照发生时刻产生的时序子表情可以包括左嘴角上扬、右嘴角上扬、抖手指，在其他实施例中，“笑”的时序子表情按照发生时刻产生的时序子表情还可以包括左右嘴角同时上扬、抖腿等。
51.在其中一个实施例中，在所述输出对应帧图像中包含的对应微表情的时序子表情的步骤之后，所述方法还包括：
52.检测所述微表情是否发生在面部区域；
53.当对应帧图像中包含的所述微表情发生在面部区域时，截取所述面部区域；
54.对截取的所述面部区域进行放大处理；
55.输出包括放大后的所述面部区域的对应帧图像。
56.本实施例通过输出包括放大后的面部区域的对应帧图像，使得后续利用该微表情的帧图像并通过决策树对被检测人员的心理状态进行匹配时，用户可以将决策树的匹配结果与对应面部区域的帧图像所显示的微表情进行校验，对于新人来讲，有利于新人结合决策树的心理状态的匹配结果以及对应的微表情进行学习，学习哪一连续的微表情对应地是人们的哪一种心理状态，对于微表情分析专家而言，有利于结合具体的微表情对决策树匹配出的心理状态进行校对，使得决策树的叶子节点表示的心理状态出错时，可以及时纠正。
57.在其中一个实施例中，在所述对截取的所述面部区域进行放大处理的步骤之后，所述方法还包括：
58.从所述待识别的视频中截取所述面部区域发生微表情的第三视频片段；
59.同时输出放大后的所述面部区域的对应帧图像和所述第三视频片段。
60.其中同时输出发生微表情的面部区域的帧图像及第三视频片段的方式可以是将对应的帧图像和第三视频片段通过网络发送至其它终端设备进行显示输出，也可以通过本端终端设备，例如通过手机屏幕进行输出。
61.由于微表情是人的面部或身体的一个细微变化，该实施例通过对截取的所述面部区域进行放大处理，并同时输出放大后的发生微表情的面部区域的帧图像和所述第三视频片段，便于在将智能识别到的微表情进行人工校验时，心理专家能够对被测人员的微表情尽快获取，以使得人工智能和专业表情分析师可以同时对被测人员的微表情及心理进行分析，一方面可以提高对被测人员依据微表情进行分析的准确性，另一方面便于根据同一待识别的视频，利用专业表情分析师对智能识别的微表情进行校验，以确定本实施例中通过微表情识别模型对该微表情进行识别的准确性，使得可以在该微表情识别模型对该微表情进行识别的准确性过低时，对该微表情识别模型重新进行训练，有利于该微表情识别模型参数的良性调节，最终可以避免将微笑、大笑等常规表情识别为微表情。
62.在其中一个实施例中，该微表情识别模型可以选用vgg-16预训练模型，通过预先训练好的微表情识别模型对所述帧图像进行识别的步骤具体为：
63.1、输入224x224x3的帧图像，经过64个卷积核的两次卷积后，采用第一次pooling池化操作，其中，经过第一次卷积后，有3*3*3个可训练的参数；
64.2、将第一次pooling池化操作后得到的结果经过两次128的卷积核进行卷积，采用第二次pooling池化操作；
65.3、将第二次pooling池化操作后得到的结果再经过三次256的卷积核进行卷积，然后采用第三次pooling池化操作；
66.4、将第三次pooling池化操作后得到的结果重复两次通过三个512的卷积核进行卷积，之后再采用第四次pooling池化操作；
67.5、将第四次pooling池化操作后得到的结果，经过三次fc(fully connected)全连接层，得到对应帧图像是否包括微表情的结果。
68.在其中一个实施例中，如图3所示，训练该微表情识别模型的步骤包括以下步骤s301至s303：
69.s301、抽取携带有样本标签的样本图片，所述样本标签表示所述样本图片中是否包含有微表情的结果；
70.s302、将所述样本图片输入至待训练的微表情识别模型，得到所述样本图片中是否包含有微表情的预测结果；
71.s303、当所述预测结果与所述样本标签中表示的结果不相同时，调节所述微表情识别模型的参数，循环所述抽取携带有样本标签的样本图片至所述调节所述微表情识别模型的参数的步骤，直至所述预测结果与所述样本标签中表示的结果相同时，得到训练好的微表情识别模型。
72.在本实施例提出的训练该微表情识别模型的步骤中，样本图片在待训练的微表情识别模型的处理方式与帧图像在训练好的微表情识别模型中的处理方式相同，本实施例通过对微表情识别模进行训练和应用，通过该微表情识别模型可以从待识别的视频中快速并且智能的定位到被测人员发生微表情的时刻以及具体的微表情，以提高微表情识别效率。
73.s104、将所述时序子表情中排在第一位的子表情作为根节点，根据所述根节点匹配对应的决策树，所述决策树的根节点及中间节点表示表情，所述决策树的叶子节点表示心理状态。
74.可以理解的是，每一个决策树都对应着包括有时序子表情的微表情，同样也对应了相关的心理状态，在其中一个实施例中，该心理状态包括但不限于生气、高兴、撒谎、紧张等等。该决策树的根节点表示微表情包括的至少一个时序子表情中排在第一位的子表情，该根节点可以至左嘴角上扬、右嘴角上扬、瘪嘴等人的面部特征的细微变化。
75.在其中一个实施例中，在所述将所述时序子表情中排在第一位的子表情作为根节点，根据所述根节点匹配对应的决策树的步骤之前，所述方法还包括：
76.接收所述帧图像中包含的对应微表情的时序子表情是否正确的指示；
77.当接收到的指示为是时，将所述时序子表情中排在第一位的子表情作为根节点，根据所述根节点匹配对应的决策树。
78.在其中一个实施例中，该指示可以是专业表情分析师输入得到，在将时序子表情
中排在第一位的子表情作为根节点，根据所述根节点匹配对应的决策树的步骤之前，增加输入时序子表情是否正确的指示，使得当该微表情识别模型识别出错时，可以通过人为的方式及时纠正，以免根据错误的微表情中的时序子表情对被测人员的心理状态预测出错。
79.s105、将所述时序子表情中剩余的子表情按照对应子表情的时序排位在所述决策树中依次进行匹配。
80.根据本实施例的一个匹配场景例如：
81.通过训练好的微表情识别模型对所述帧图像进行识别，得到的一组时序子表情依次为：左嘴角上扬、右嘴角上扬、抖手指；
82.将排在第一位的子表情“左嘴角上扬”作为根节点，匹配到对应的决策树a；
83.将排在第二位的子表情“右嘴角上扬”与该决策树a中的中间节点进行匹配，从该决策树中选中对应的分支；
84.再将排在第三位的子表情“抖手指”与该决策树a中所选分支的下一节点进行匹配，从该决策树中继续选择后续节点；
85.当该决策树a中第三层级的节点为叶子节点时，获取与子表情“抖手指”对应匹配到的叶子节点，将该叶子节点表示的心理状态确定为被检测人员的心理状态。
86.其中各所述决策树的叶子节点所表示的心理状态可以通过预先配置得到，也可以通过样本进行学习得到。
87.s106、当排在最末位的子表情与所述决策树中的叶子节点匹配成功时，将对应叶子节点表示的心理状态确定为所述视频中被检测人员的心理状态。
88.在其中一个实施例中，该决策树的叶子节点所对应的心理状态包括但不限于生气、高兴、不屑、撒谎、紧张等。
89.本实施例提出的基于微表情的用户心理分析方法，首先从待识别的视频中抽取包含有人像画面的至少一个帧图像，通过预先训练好的微表情识别模型对该帧图像进行识别，当该帧图像中包含微表情时，输出对应帧图像中包含的对应微表情的时序子表情，便于在将智能识别到的微表情进行人工校验时，心理专家能够对被测人员的微表情尽快获取，以使得人工智能和专业表情分析师可以同时对被测人员的微表情及心理进行分析，一方面可以提高对被测人员依据微表情进行分析的准确性，另一方面便于根据同一待识别的视频，利用专业表情分析师对智能识别的微表情进行校验，以确定本实施例中通过微表情识别模型对该微表情进行识别的准确性，然后将该时序子表情中排在第一位的子表情作为根节点，根据该根节点匹配对应的决策树，再将该时序子表情中剩余的子表情按照对应子表情的时序排位在所述决策树中依次进行匹配，将对应叶子节点表示的心理状态确定为所述视频中被检测人员的心理状态，通过将该微表情识别模型和该决策树进行配合应用，能够实现基于微表情对被测人员的心理状态进行智能分析，同时便于专业表情分析师对微表情识别模型识别出的微表情进行校验，在识别出错时，便于对出错的微表情及包括的时序子表情进行纠正，以提高通过微表情对被测人员的心理状态预测的准确性。
90.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
91.在一实施例中，提供一种基于微表情的用户心理分析装置，该基于微表情的用户
心理分析装置与上述实施例中基于微表情的用户心理分析方法一一对应。如图4所示，该基于微表情的用户心理分析装置100包括视频获取模块11、图像抽取模块12、识别模块13、第一匹配模块14、第二匹配模块15和状态确定模块16。各功能模块详细说明如下：
92.视频获取模块11，用于获取待识别的视频；
93.图像抽取模块12，用于从待识别的该视频中抽取包含有人像画面的至少一个帧图像；
94.识别模块13，用于通过预先训练好的微表情识别模型对该帧图像进行识别，当该帧图像中包含微表情时，输出对应帧图像中包含的对应微表情的时序子表情；
95.第一匹配模块14，用于将该时序子表情中排在第一位的子表情作为根节点，根据该根节点匹配对应的决策树，该决策树的根节点及中间节点表示表情，该决策树的叶子节点表示心理状态；
96.第二匹配模块15，用于将该时序子表情中剩余的子表情按照对应子表情的时序排位在该决策树中依次进行匹配；
97.状态确定模块16，用于当排在最末位的子表情与该决策树中的叶子节点匹配成功时，将对应叶子节点表示的心理状态确定为该视频中被检测人员的心理状态。
98.可以理解的是，该时序子表情为对应帧图像中人像展示出来的微表情按照发生时刻而产生的子表情序列，例如“笑”的时序子表情按照发生时刻产生的时序子表情可以包括左嘴角上扬、右嘴角上扬、抖手指，在其他实施例中，“笑”的时序子表情按照发生时刻产生的时序子表情还可以包括左右嘴角同时上扬、抖腿等。
99.其中，每一个决策树都对应着包括有时序子表情的微表情，同样也对应了相关的心理状态，在其中一个实施例中，该心理状态包括但不限于生气、高兴、撒谎、紧张等等。该决策树的根节点表示微表情包括的至少一个时序子表情中排在第一位的子表情，该根节点可以至左嘴角上扬、右嘴角上扬、瘪嘴等人的面部特征的细微变化。
100.根据本实施例的一个匹配场景例如：
101.通过训练好的微表情识别模型对所述帧图像进行识别，得到的一组时序子表情依次为：左嘴角上扬、右嘴角上扬、抖手指；
102.将排在第一位的子表情“左嘴角上扬”作为根节点，匹配到对应的决策树a；
103.将排在第二位的子表情“右嘴角上扬”与该决策树a中的中间节点进行匹配，从该决策树中选中对应的分支；
104.再将排在第三位的子表情“抖手指”与该决策树a中所选分支的下一节点进行匹配，从该决策树中继续选择后续节点；
105.当该决策树a中第三层级的节点为叶子节点时，获取与子表情“抖手指”对应匹配到的叶子节点，将该叶子节点表示的心理状态确定为被检测人员的心理状态。
106.在其中一个实施例中，该图像抽取模块12包括：
107.第一识别单元，用于识别该视频中是否包含有人体姿态动画，若是，则截取包含有人体姿态动画的第二视频片段；
108.帧图像获取单元，用于获取该第二视频片段中的至少一个该帧图像。
109.在另一个实施例中，该图像抽取模块12包括：
110.第二识别单元，用于识别该帧图像中是否包含有人脸区域，若是，则抽取对应的帧
图像。
111.在其中一个实施例中，该基于微表情的用户心理分析装置100还包括：
112.检测模块，用于检测该微表情是否发生在面部区域；
113.第一截取模块，用于当对应帧图像中包含的该微表情发生在面部区域时，截取该面部区域；
114.放大模块，用于对截取的该面部区域进行放大处理；
115.输出模块，用于输出包括放大后的该面部区域的对应帧图像。
116.本实施例通过输出包括放大后的面部区域的对应帧图像，使得后续利用该微表情的帧图像并通过决策树对被检测人员的心理状态进行匹配时，用户可以将决策树的匹配结果与对应面部区域的帧图像所显示的微表情进行校验，对于新人来讲，有利于新人结合决策树的心理状态的匹配结果以及对应的微表情进行学习，学习哪一连续的微表情对应地是人们的哪一种心理状态，对于微表情分析专家而言，有利于结合具体的微表情对决策树匹配出的心理状态进行校对，使得决策树的叶子节点表示的心理状态出错时，可以及时纠正。
117.作为可选地，该基于微表情的用户心理分析装置100还包括：
118.第二截取模块，用于从该待识别的视频中截取该面部区域发生微表情的第三视频片段；
119.该输出模块具体用于同时输出放大后的该面部区域的对应帧图像和该第三视频片段。
120.其中该输出模块同时输出发生微表情的面部区域的帧图像及第三视频片段的方式可以是将对应的帧图像和第三视频片段通过网络发送至其它终端设备进行显示输出，也可以通过本端终端设备，例如通过手机屏幕进行输出。
121.本实施例通过对截取的所述面部区域进行放大处理，并同时输出放大后的发生微表情的面部区域的帧图像和所述第三视频片段，便于在将智能识别到的微表情进行人工校验时，心理专家能够对被测人员的微表情尽快获取，以使得人工智能和专业表情分析师可以同时对被测人员的微表情及心理进行分析，一方面可以提高对被测人员依据微表情进行分析的准确性，同时便于根据同一待识别的视频，利用专业表情分析师对智能识别的微表情进行校验，以确定本实施例中通过微表情识别模型对该微表情进行识别的准确性，使得可以在该微表情识别模型对该微表情进行识别的准确性过低时，对该微表情识别模型重新进行训练，有利于该微表情识别模型参数的良性调节。
122.在其中一个实施例中，该基于微表情的用户心理分析装置100还包括：
123.样本抽取模块，用于抽取携带有样本标签的样本图片，该样本标签表示该样本图片中是否包含有微表情的结果；
124.预测模块，用于将该样本图片输入至待训练的微表情识别模型，得到该样本图片中是否包含有微表情的预测结果；
125.循环模块，用于当该预测结果与该样本标签中表示的结果不相同时，调节该微表情识别模型的参数，循环该抽取携带有样本标签的样本图片至该调节该微表情识别模型的参数的步骤，直至该预测结果与该样本标签中表示的结果相同时，得到训练好的微表情识别模型。
126.在本实施例提出的训练该微表情识别模型的步骤中，样本图片在待训练的微表情
识别模型的处理方式与帧图像在训练好的微表情识别模型中的处理方式相同，本实施例通过对微表情识别模进行训练和应用，通过该微表情识别模型可以从待识别的视频中快速并且智能的定位到被测人员发生微表情的时刻以及具体的微表情，以提高微表情识别效率。
127.在其中一个实施例中，该基于微表情的用户心理分析装置100还包括：
128.指示接收模块，用于接收该帧图像中包含的对应微表情的时序子表情是否正确的指示；
129.该第一匹配模块14具体用于当接收到的指示为是时，将该时序子表情中排在第一位的子表情作为根节点，根据该根节点匹配对应的决策树。
130.在其中一个实施例中，该指示可以是专业表情分析师输入得到，在将时序子表情中排在第一位的子表情作为根节点，根据所述根节点匹配对应的决策树的步骤之前，增加输入时序子表情是否正确的指示，使得当该微表情识别模型识别出错时，可以通过人为的方式及时纠正，以免根据错误的微表情中的时序子表情对被测人员的心理状态预测出错。
131.本实施例提出的基于微表情的用户心理分析装置，在将智能识别到的微表情进行人工校验时，便于心理专家能够对被测人员的微表情尽快获取，以使得人工智能和专业表情分析师可以同时对被测人员的微表情及心理进行分析，一方面可以提高对被测人员依据微表情进行分析的准确性，另一方面便于根据同一待识别的视频，利用专业表情分析师对智能识别的微表情进行校验，以确定本实施例中通过微表情识别模型对该微表情进行识别的准确性，然后将该时序子表情中排在第一位的子表情作为根节点，根据该根节点匹配对应的决策树，再将该时序子表情中剩余的子表情按照对应子表情的时序排位在所述决策树中依次进行匹配，将对应叶子节点表示的心理状态确定为所述视频中被检测人员的心理状态，通过将该微表情识别模型和该决策树进行配合应用，能够实现基于微表情对被测人员的心理状态进行智能分析，同时便于专业表情分析师对微表情识别模型识别出的微表情进行校验，在识别出错时，便于对出错的微表情及包括的时序子表情进行纠正，以提高通过微表情对被测人员的心理状态预测的准确性。
132.其中上述模块/单元中的“第一”和“第二”的意义仅在于将不同的模块/单元加以区分，并不用于限定哪个模块/单元的优先级更高或者其它的限定意义。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本技术中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式。
133.关于基于微表情的用户心理分析装置的具体限定可以参见上文中对于基于微表情的用户心理分析方法的限定，在此不再赘述。上述基于微表情的用户心理分析装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
134.在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括存储介质、内存储器。该存储介质包括非易失性存储介质和/或易失性的存储介
质，该存储介质存储有操作系统和计算机程序。该内存储器为存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部服务器通过网络连接通信。该计算机程序被处理器执行时以实现一种基于微表情的用户心理分析方法。
135.在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中基于微表情的用户心理分析方法的步骤，例如图2所示的步骤101至步骤106及该方法的其它扩展和相关步骤的延伸。或者，处理器执行计算机程序时实现上述实施例中基于微表情的用户心理分析装置的各模块/单元的功能，例如图4所示模块11至模块16的功能。为避免重复，这里不再赘述。
136.所述处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
137.所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。
138.所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。
139.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中基于微表情的用户心理分析方法的步骤，例如图2所示的步骤101至步骤106及该方法的其它扩展和相关步骤的延伸。或者，计算机程序被处理器执行时实现上述实施例中基于微表情的用户心理分析装置的各模块/单元的功能，例如图4所示模块11至模块16的功能。为避免重复，这里不再赘述。
140.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性和/或易失性的计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
141.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功
能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
142.以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。