基于人工智能的心理状态分析方法、装置、设备及介质与流程

1.本技术涉及医疗技术领域，尤其涉及一种基于人工智能的心理状态分析方法、装置、设备及介质。


背景技术：

2.随着人工智能(artificial intelligence，ai)的发展，ai技术可以为用户提供越来越多的便捷性。比如在智慧医疗领域，终端设备可以利用ai技术实现越来越多的功能，为用户提供更加便捷的服务。比如，目前业界能够通过智能硬件设备(比如眼镜、手表、手环等)和软件系统相结合的方法来检测用户的心理疾病，比如已提出的智能医疗眼镜的假设。但是现有的方法通常是用眼球和汗液以及红外光谱来检测用户是否存在一些心里疾病，由于这些数据的可靠性较弱，且容易受到环境等其它因素的干扰，因此仅通过眼球动作和汗液的相关数据获得的心理疾病分析结果准确性较差。


技术实现要素：

3.本技术提供了一种基于人工智能的心理状态分析方法、装置、设备及介质，该方法通过在分析用户心理状态的过程中添加面部识别微表情算法和语音识别情绪波动过程，提高心理状态分析的准确性。
4.第一方面，提供了一种基于人工智能的心理状态分析方法，其中，应用于智能终端，所述方法包括：
5.接收医疗检测设备发送的用户的初始面部信息，所述初始面部信息包括所述用户的面部图像和所述用户的面部动作；
6.利用微表情算法，根据所述初始面部信息获取所述用户的微表情；
7.根据所述用户的微表情确定所述用户的心理状态信息；
8.根据预获取的预设时段内的语音信息，确定所述用户在所述预设时段内的情绪变化信息；
9.根据所述心理状态信息和所述情绪变化信息，向用户推荐与所述用户当前的心理状态对应的心理调节方式。
10.结合第一方面，在第一方面的某些实现方式中，所述利用微表情算法，根据所述初始面部信息获取所述用户的微表情，具体包括：
11.通过主观形状模型asm算法从所述初始面部信息中提取所述用户的面部图像，获取第一中间面部信息；
12.对所述第一中间面部信息进行时域图象插值处理，获取第二中间面部信息，所述第二中间面部信息包括预设数量的图像帧；
13.根据欧拉图像放大evm算法，放大所述第二中间面部信息中所述用户的面部动作，获取目标面部信息；
14.根据所述目标面部信息获取所述用户的微表情。
15.结合第一方面，在第一方面的某些实现方式中，所述根据预获取的预设时段内的语音信息，确定所述用户在所述预设时段内的情绪变化信息，具体包括：
16.提取所述预设时段内的语音信息的语音样本熵，所述语音样本熵用于指示语音的稳定状态；
17.将所述语音样本熵输入语音情感识别模型，获取所述用户的所述情绪变化信息，所述语音情感识别模型包括所述语音样本熵与情绪变化的对应关系。
18.结合第一方面，在第一方面的某些实现方式中，所述根据所述心理状态信息和所述情绪变化信息，向用户推荐与所述用户当前的心理状态对应的心理调节方式，具体包括：
19.根据所述心理状态信息和所述情绪变化信息，确定所述用户当前的心理状态；
20.向用户推荐与所述用户当前的心理状态对应的所述心理调节方式。
21.结合第一方面，在第一方面的某些实现方式中，所述向用户推荐与所述用户当前的心理状态对应的心理调节方式，具体包括：
22.通过界面向用户显示可播放的轻音乐、文章或者预设照片；或者，
23.向用户语音播放轻音乐、文章朗读。
24.结合第一方面，在第一方面的某些实现方式中，所述方法还包括：
25.根据所述心理状态信息和所述情绪变化信息，确定所述用户当前的心理状态对应的程度；
26.当所述用户当前的心理状态对应的程度大于预设阈值时，向用户推荐心理医疗机构的信息和/或心理咨询师的信息。
27.结合第一方面，在第一方面的某些实现方式中，所述根据所述心理状态信息和所述情绪变化信息，确定所述用户当前的心理状态对应的程度，具体包括：
28.当所述用户的微表情的动作幅度大于第一阈值，且在所述预设时段内持续处于所述心理状态时，确定所述用户当前的心理状态对应的程度大于所述预设阈值。
29.第二方面，提供了一种终端设备，其中，包括：
30.接收模块，用于接收医疗检测设备发送的用户的面部信息初始面部信息，所述初始面部信息用于指示所述用户的面部图像和所述用户的面部动作；
31.处理模块，用于利用微表情算法，根据所述初始面部信息获取所述用户的微表情；
32.根据所述用户的微表情确定所述用户的心理状态信息；
33.根据预获取的预设时段内的语音信息，确定所述用户在所述预设时段内的情绪变化信息；
34.推荐模块，用于根据所述心理状态信息和所述情绪变化信息，向用户推荐与所述用户当前的心理状态对应的心理调节方式。
35.结合第二方面，在第二方面的某些实现方式中，所述处理模块，还用于通过主观形状模型asm算法从所述初始面部信息中提取所述用户的面部图像，获取第一中间面部信息；
36.对所述第一中间面部信息进行时域图象插值处理，获取第二中间面部信息，所述第二中间面部信息包括预设数量的图像帧；
37.根据欧拉图像放大evm算法，放大所述第二中间面部信息中所述用户的面部动作，获取目标面部信息；
38.根据所述目标面部信息指示的所述微表情。
39.结合第二方面，在第二方面的某些实现方式中，所述处理模块，还用于提取所述预设时段内的语音信息的语音样本熵，所述语音样本熵用于指示语音的稳定状态；
40.将所述语音样本熵输入语音情感识别模型，获取所述用户的所述情绪变化信息，所述语音情感识别模型包括所述语音样本熵与情绪变化的对应关系。
41.结合第二方面，在第二方面的某些实现方式中，所述处理模块，还用于根据所述心理状态信息和所述情绪变化信息，确定所述用户当前的心理状态；
42.向用户推荐与所述用户当前的心理状态对应的所述心理调节方式。
43.结合第二方面，在第二方面的某些实现方式中，所述推荐模块，还用于通过界面向用户显示可播放的轻音乐、文章或者预设照片；或者，
44.向用户语音播放轻音乐、文章朗读。
45.结合第二方面，在第二方面的某些实现方式中，所述处理模块，还用于根据所述心理状态信息和所述情绪变化信息，确定所述用户当前的心理状态对应的程度；
46.所述推荐模块，还用于当所述用户当前的心理状态对应的程度大于预设阈值时，向用户推荐心理医疗机构的信息和/或心理咨询师的信息。
47.结合第二方面，在第二方面的某些实现方式中，所述处理模块，还用于当所述用户的微表情动作幅度大于第一阈值，且在预设时段内持续处于所述心理状态时，确定所述用户当前的心理状态对应的程度大于预设阈值。
48.第三方面，提供了一种终端设备，其中，包括：
49.至少一个通信接口：
50.至少一个处理器；
51.至少一个存储器；
52.接收医疗检测设备发送的用户的初始面部信息，所述初始面部信息包括所述用户的面部图像和所述用户的面部动作；
53.利用微表情算法，根据所述初始面部信息获取所述用户的微表情；
54.根据所述用户的微表情确定所述用户的心理状态信息；
55.根据预获取的预设时段内的语音信息，确定所述用户在所述预设时段内的情绪变化信息；
56.根据所述心理状态信息和所述情绪变化信息，向用户推荐与所述用户当前的心理状态对应的心理调节方式。
57.结合第三方面，在第三方面的某些实现方式中，当所述处理器运行所述计算机可读程序指令时，使得所述电子设备执行如下步骤：
58.通过主观形状模型asm算法从所述初始面部信息中提取所述用户的面部图像，获取第一中间面部信息；
59.对所述第一中间面部信息进行时域图象插值处理，获取第二中间面部信息，所述第二中间面部信息包括预设数量的图像帧；
60.根据欧拉图像放大evm算法，放大所述第二中间面部信息中所述用户的面部动作，获取目标面部信息；
61.根据所述目标面部信息指示的所述微表情。
62.结合第三方面，在第三方面的某些实现方式中，当所述处理器运行所述计算机可
读程序指令时，使得所述电子设备执行如下步骤：
63.提取所述预设时段内的语音信息的语音样本熵，所述语音样本熵用于指示语音的稳定状态；
64.将所述语音样本熵输入语音情感识别模型，获取所述用户的所述情绪变化信息，所述语音情感识别模型包括所述语音样本熵与情绪变化的对应关系。
65.结合第三方面，在第三方面的某些实现方式中，当所述处理器运行所述计算机可读程序指令时，使得所述电子设备执行如下步骤：
66.根据所述心理状态信息和所述情绪变化信息，确定所述用户当前的心理状态；
67.向用户推荐与所述用户当前的心理状态对应的所述心理调节方式。
68.结合第三方面，在第三方面的某些实现方式中，当所述处理器运行所述计算机可读程序指令时，使得所述电子设备执行如下步骤：
69.通过界面向用户显示可播放的轻音乐、文章或者预设照片；或者，
70.向用户语音播放轻音乐、文章朗读。
71.结合第三方面，在第三方面的某些实现方式中，当所述处理器运行所述计算机可读程序指令时，使得所述电子设备执行如下步骤：
72.根据所述心理状态信息和所述情绪变化信息，确定所述用户当前的心理状态对应的程度；
73.当所述用户当前的心理状态对应的程度大于预设阈值时，向用户推荐心理医疗机构的信息和/或心理咨询师的信息。
74.第四方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机可读程序指令，当所述计算机可读程序指令在计算机上运行时，使得所述计算机执行如第一方面任一实现方式中所述的基于人工智能的心理状态分析方法。
75.第五方面，提供了一种计算机程序产品，其中，所述计算机程序产品包括计算机可读程序指令，当所述计算机可读程序指令在计算机上运行时，使得所述计算机执行如第一方面任一实现方式中所述的基于人工智能的心理状态分析方法。
76.第六方面，提供了一种芯片系统，其中，所述芯片系统包括计算机可读程序指令，当所述计算机可读程序指令在计算机上运行时，使得所述计算机执行如第一方面任一实现方式中所述的基于人工智能的心理状态分析方法。
附图说明
77.图1是本技术实施例提供的一种心理状态分析的方法适用的系统架构的示意图。
78.图2是本技术实施例提供的一种基于人工智能的心理状态分析方法的示意性流程图。
79.图3是本技术实施例提供的另一种基于人工智能的心理状态分析方法的示意性流程图。
80.图4是本技术实施例提供的又一种基于人工智能的心理状态分析方法的示意性流程图。
81.图5是本技术实施例提供的又一种基于人工智能的心理状态分析方法的示意性框图。
82.图6是本技术实施例提供的一种终端设备的软件结构示意图。
83.图7是本技术实施例提供的一种终端设备的硬件结构示意图。
84.图8是本技术实施例提供的一种医疗检测设备的硬件结构示意图。
具体实施方式
85.需要说明的是，本技术实施例的实施方式部分使用的术语仅用于对本技术的具体实施例进行解释，而非旨在限定本技术。在本技术实施例的描述中，除非另有说明，“/”表示或的意思，例如，a/b可以表示a或b；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，在本技术实施例的描述中，除非另有说明，“多个”是指两个或多于两个，“至少一个”、“一个或多个”是指一个、两个或两个以上。
86.以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”特征可以明示或者隐含地包括一个或者更多个该特征。
87.在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
88.结合背景技术所介绍，目前针对心理疾病分析，业界主要通过电子设备上的传感器采集用户的眼球动作、汗液或体温等生理体征数据进行心理问题/心理状态分析。然而，由于眼球动作、汗液或者体温容易受到环境等多种因素的影响，因此这些生理体征数据并不能准确地反映用户的真实心理问题。比如，当用户汗液增多时，可能是因为紧张、焦虑等心理活动，也可能是因为运动、天气等因素导致的。因此，依据此类体征测量数据判断用户心理问题，并不可靠。此外，目前一些心理状态分析的装置设计复杂，适用于安置在医院或者心理咨询机构等场所中，需要用户前往特定地点进行检测，或者在特定时间进行检测，无法实时采集用户的体征数据，从而限制心理状态分析结果的连续性和准确性。
89.针对上述问题，本技术实施例提供了一种基于人工智能的心理状态分析方法，主要通过在分析用户心理问题的过程中添加针对用户面部的微表情算法和语音识别情绪波动过程，来更具体详细的检测到用户的心理状态，由于微表情一般是用户心理活动的本能体现，能更加准确地反映用户的心理状态，故基于微表情算法分析结果能够获取更加准确的用户心理问题，克服现有技术中的不足。
90.本技术提供的基于人工智能的心理状态检测方法可以应用于基于人工智能(artificial intelligence，ai)的智慧医疗应用场景中，具体可应用于用户进行心理状态分析或者心理问题调节的应用场景中。
91.示例性的，如图1所示，为本技术实施例提供的一种基于人工智能的心理状态分析方法可能适用的系统架构示意图。
92.其中，该系统架构可以包括智能终端100和医疗检测设备200。
93.在一些实施例中，智能终端100和医疗检测设备200可以建立无线通信，该无线通信的式可以是现有的任意一种可行的无线通信方式，比如蓝牙(bluetooth)无线连接等。本技术实施例对智能终端100和医疗检测设备200进行无线通信的具体方式不作限定。
94.在一些实施例中，智能终端100上可以安装有用于进行用户心理状态分析以及心理问题调节的应用程序(application，app)，医疗检测设备200可以在该应用程序上进行注册，注册成功后，智能终端100就可以接收医疗检测设备200采集到的用于心理状态分析的相关数据(如面部信息、语音信息等)，并基于这些相关数据进行微表情分析或者情绪识别，进而获取用户的心理状态。
95.在一些实施例中，医疗检测设备200可以集成有多种类型的传感器，比如视觉类型传感器和语音采集类型的传感器等等。其中，视觉类型传感器可以包括摄像头等，主要用于采集用户的面部图像和红外图像，例如，摄像头可以用于采集包括用户面部图像和面部红外图像的视频片段。语音采集类型的传感器例如可以包括麦克风等传感器，主要用于采集用户的语音信息。此外，医疗检测设备200还可以包括光线传感器和磁力传感器等，通过光线传感器和磁力传感器，医疗检测设备200可以采集用户面部动作，如眼角的动作、鼻子的动作、嘴角的动作等微表情动作。
96.在一些实施例中，智能终端100可以配置有较强的计算资源，主要用于基于医疗检测设备100采集的面部信息、语音信息等计算分析用户的心理状态。智能终端100可以预先获取微表情数据集(如casme ii)，该微表情数据集可以包括不同的微表情动作对应的心理状态，也可以包括人脸不同部位对应的微表情分析模型，其中，该微表情分析模型可以用于基于用户面部动作分析用户的微表情。可选地，智能终端100可以通过多种方式获取该微表情数据集，比如可以由微表情数据集对应的云服务器获取，或者也可以由该智能终端100对应的云服务器获取。本技术实施例对智能终端100获取微表情数据集的具体方式不作限定。
97.此外，智能终端100还可以具有情绪识别模型等，该情绪识别模型可以用于根据用户的语音信息分析用户的情绪变动。
98.在一些实施例中，智能终端100可以具体实现为智能手机、平板电脑、个人电脑等电子设备；医疗检测设备200可以具体实现为可穿戴设备，比如医疗眼镜、智能手表、智能手环等。本技术实施例对智能终端100和医疗检测设备200的具体类型不作限定。
99.示例性的，如图2所示，为本技术实施例提供的一种基于人工智能的心理状态分析方法的示意性流程图。该过程可以由图1所示的终端设备和医疗检测设备来执行，具体可以包括以下步骤：
100.s201，智能终端接收医疗检测设备发送的初始面部信息，该初始面部信息包括用户的面部图像和用户的面部动作。
101.其中，医疗检测设备可以通过摄像头、红外传感器采集用户的初始面部信息，该初始面部信息可以包括用户的面部图像以及用户的面部动作(如用户面部红外图像)。示例性的，该初始面部信息例如可以是包括用户面部红外图像的视频片段，该视频片段时长例如可以为10s，并且包括200帧用户面部红外图像。
102.在一些实施例中，初始面部信息可以用于指示用户的面部动作，如眼角的动作、嘴角的动作和鼻子的动作等等。这些面部动作可以是医疗检测设备结合多个传感器，如光线传感器、磁力传感器等采集。
103.在一些实施例中，医疗检测设备可以通过其与智能终端之间的无线通信连接，将采集到的面部信息发送至终端设备。
104.可选地，医疗检测设备开始采集用户面部信息的情形可以有多种，比如当医疗检测设备检测到用户输入开启微表情检测功能时，可以开始采集用户的初始面部信息；又比如，当智能终端检测到用户通过应用程序输入微表情检测功能的操作时，可以响应于该操作，向医疗检测设备发送微表情采集请求，响应于该请求，医疗检测设备可以开始采集用户的初始面部信息。换言之，医疗检测设备可以在检测到触发事件后，开始采集用户的初始面部信息，但本技术实施例对该触发事件的具体类型不作限定。
105.在另一些实施例中，医疗检测设备还可以通过语音采集传感器，如麦克风，采集用户的语音信息，并将该语音信息发送至智能终端。
106.可选地，医疗检测设备开始采集用户语音信息的情形也可以有多种。比如，当医疗检测设备被触发开始采集用户的初始面部信息时，可以在开始采集用户的初始面部信息的同时也开始采集用户的语音信息；又比如，医疗检测设备可以默认开启语音采集功能，也即在用户佩戴医疗检测设备的过程中，语音采集传感器可以持续采集用户的语音信息。本技术对医疗检测设备采集用于语音信息的具体方式不做限定。
107.在一些实施例中，医疗检测设备可以将采集到的语音信息与面部信息同时发送给智能终端；或者，医疗检测设备也可以周期性地向智能终端发送采集到的语音信息。智能终端接收到语音信息后，可以将该语音信息存储于本地的存储空间，以便后续进行情绪识别时进行调用。
108.s202，智能终端利用微表情算法，根据初始面部信息获取用户的微表情。
109.具体地，智能终端可以基于微表情数据集对用户的面部动作进行分析，获取该用户的微表情。比如，智能终端可以选取用户面部的某一区域(如眼角、鼻子、嘴巴等)，基于面部信息分析该区域的动作。然后，根据动作在微表情数据集中获取该动作对应的微表情。
110.其中，关于智能终端设备如何利用微表情算法，根据初始面部信息获取用户的微表情的具体过程将在下文进行介绍，此处暂不赘述。
111.s203，智能终端根据用户的微表情确定该用户的心理状态信息。
112.在一些实施例中，智能终端获取用户面部某一部分的微表情后，可以由微表情数据集查询与该微表情对应的心理状态信息。其中，不同类型的微表情可以对应不同的心理状态信息。举例来说，当用户的微表情为嘴角下垂时，对应的心理状态信息例如可以是紧张等。
113.s204，智能终端根据预获取的预设时段内的语音信息，确定用户在该预设时段内的情绪变化信息。
114.在一些实现方式中，医疗检测设备可以通过麦克风等语音检测设备采集用户的语音信息。之后，可以通过医疗检测设备与智能终端的无线连接将语音信息发送给智能终端。
115.在一些实现方式中，医疗检测设备可以运行过程中实时采集用户的语音信息，比如当医疗检测设备开启后，麦克风可默认开启，并实时采集用户的语音信息；或者，医疗检测设备也可以在用户触发下，采集用户的语音信息。
116.在一些实施例中，医疗检测设备向智能终端发送采集的语音信息的方式可以有多种，比如：医疗检测设备可以将采集到的语音信息实时发送给智能终端；再比如，医疗检测
设备可以在预设时段将已采集到的语音信息发送给智能终端；又比如，医疗检测设备可以检测到用户输入的触发操作时，将已采集到的语音信息发送给智能终端。本案对此不作具体限定。
117.在一些实施例中，智能终端接收到医疗检测设备发送的语音信息后，可将该语音信息存储于数据库，以便于后续调取语音信息进行情绪识别。
118.在一些实施例中，当智能终端进行用户心理状态分析时，智能终端可以基于当前时刻，由数据库调取预设时段内用户的语音信息，并基于这些语音信息进行用户情绪识别。其中，该预设时段例如可以是预设历史时段，具体可以指以当前时刻为基准，在当前时刻之前的一定时段。
119.可选地，在另一些实现方式中，预设时段也可以是以当前时刻为基准，在当前时刻之后的一定时段。比如，智能终端也可以接收医疗检测设备采集的当前时刻之后的一定时段内的语音信息，并基于该语音信息进行用户情绪识别。
120.应理解，智能终端通过根据语音信息识别用户情绪的目的在于以用户情绪波动情况辅助分析用户的心理状态，从而使用户心理状态分析结果更加准确。有鉴于此，本技术实施例中用于情绪识别的语音信息满足是当前时刻临近的时段(可包括当前时刻)对应的语音信息即可，具体时段可在当前时刻之前，或者可在当前时刻之后，又或者可包括当前时刻，本案对此不作限定。
121.举例来说，假设用户在9：00通过智能终端进行心理状态分析，则智能终端用于用户情绪识别的语音信息可以是8：55
‑
9：00采集到的；或者也可以是9：00
‑
9：01采集到的；或者，也可以是8：55
‑
9：01采集到的，等等。
122.应理解，语音信息对应的时段的时长可以灵活设置。比如，若以此刻之前时段的语音信息作为分析对象时，时段对应的时长可较长，而若以此刻之后时段的语音信息作为分析对象时，时段对应的时长可较短，以避免心理状态分析过程太慢，使用户等待心理状态分析结果的时间过长，从而影响用户体验。
123.其中，关于智能终端如何利用语音信息分析识别用户情绪的具体过程将在下文进行介绍，此处暂不赘述。
124.s205，智能终端根据心理状态信息和情绪变化信息，向用户推荐与用户当前的心理状态对应的心理调节方式。
125.在一些实施例中，智能终端可以根据由步骤s203获取的心理状态信息和步骤s204获取的情绪变化信息，综合确定用户当前的心理状态，然后向用户推荐与用户当前的心理状态对应的心理调节方式。
126.其中，智能终端根据心理状态信息和情绪变化信息综合确定用户当前的心理状态的过程可以包括：判断心理状态信息与情绪变化信息之间的匹配程度，比如心理状态信息指示当前用户的心理状态为紧张状态，而情绪变化信息指示用户在预设时段内均处于紧张情绪，则可以综合确定用户当前的心理状态为紧张状态；又比如，心理状态信息指示当前用户心理状态为紧张状态，而情绪变化变化信息指示用户在预设时段内情绪由平和状态变为紧张状态，则可以综合确定用户当前的心理状态为紧张状态。
127.需要说明的是，心理状态信息除了包括上述介绍的紧张状态外，例如还可以包括以下任意一种：焦虑、恐惧、抑郁、开心等等。类似地，情绪变化信息例如可以包括多种情绪
之间的转变，例如由平和转变为紧张，由开心转变为焦虑等等。本技术实施例对心理状态和情绪转变的具体类型不作限定。
128.在一些实施例中，智能终端向用户推荐与用户当前心理状态对应的心理调节方式可以包括：智能终端可以根据用户的心理状态，由数据库查询与该心理状态对应的心理调节方式，然后将其推荐给用户。具体地，不同的心理状态可以对应不同的心理调节方式，例如当用户当前心理状态为紧张状态时，智能终端可以向用户推荐轻音乐、让人愉悦的文章、或者用户平时喜欢的事物等。又例如，当用户当前的心理状态为焦虑状态时，智能终端还可以向用户推荐用户周边的心理医疗机构或者心理咨询专家等等。
129.在一些实施例中，智能终端向用户推荐心理调节方式可以有多种，比如，智能终端可以通过界面(如应用程序的界面)向用户显示可播放的轻音乐、可供用户阅读的文章或者显示预设照片，该预设照片可以或由用户通过应用程序预先设置，该预设照片例如可以是用户平时喜欢的事物的照片；又比如，智能终端还可以向用户语音播放轻音乐、文章朗读，例如智能终端可以通过应用程序向用户语音提示有可播放的轻音乐、可供用户收听的文章朗读等等。本技术以上列举的集中心理调节方式仅为示例，并不仅限于此。
130.在另一些实施例中，智能终端可以根据心理状态分析结果确定向用户推荐何种心理调节方式。具体地，智能终端可以根据心理状态信息和情绪变化信息，确定用户当前的心理状态对应的程度；当用户当前的心理状态对应的程度大于预设阈值时，智能终端可以向用户推荐心理医疗机构的信息和/或心理咨询师的信息。其中，用户当前的心理状态对应的程度大于预设阈值的情形列可以包括：当户的微表情的动作幅度大于第一阈值，且在预设时段内持续处于该心理状态时，智能终端可以确定用户当前的心理状态对应的程度大于所述预设阈值。
131.举例来说，在一种可能的实现方式中，当心理状态信息指示用户紧张程度严重(如面部微表情动作较大)，且用户情绪变化信息指示用户在预设时段内一直处于紧张状态(如语音音调指示紧张情绪)，则可以确定该用户当前的心理状态为严重紧张状态，则此时可以向用户推荐周边的心理医疗机构，由专业医师对用户进行心理治疗。在另一种可能的实现方式中，比如当心理状态信息指示用户紧张程度较轻(如面部微表情动作较小，分析结果指示用户轻微紧张)，且用户情绪变化信息指示用户在预设时段内并非一直处于紧张情绪(如部分时间处于平和或开心情绪)，则可以确定该用户当前的心理状态为轻微紧张状态，则此时可以向用户推荐一些音乐、文章、喜欢的事物等，由用户借助这些心理调节方式先自行调节。
132.应理解，上述列举的智能终端向用户推荐的心理调节方式的具体类型以及推荐的情形仅为示例，在实际应用中，心理调节方式的推荐形式还可以包括其它类型，此处不作限定。
133.根据本技术实施例中的方法，通过在分析用户心理问题的过程中添加面部识别微表情算法和语音识别情绪波动过程，来更具体详细的检测用户的心理问题，由于微表情一般是用户心理活动的本能体现，能更加准确地反映用户的心理问题，故能够基于微表情算法分析结果获取更加准确的用户心理问题，进而向用户推荐有针对性的调节方案。
134.以下对智能终端如何利用微表情算法分析用户心理状态的具体过程进行介绍。
135.示例性的，如图3所示，为本技术实施例提供的一种利用微表情算法分析用户心理
状态信息的示意性流程图。该过程可以由智能终端作为主体来执行，具体可以包括以下步骤：
136.s301，智能终端根据主观形状模型asm算法对初始面部信息进行人脸预处理，获取第一中间面部信息。
137.需要说明的是，这里以初始面部信息是包括用户面部图像的视频为例进行说明，以便于更好地理解本技术实施例提供的方法。示例性的，该视频例如可以是一段时长为10s，且包括200帧图像的视频。
138.为便于理解，这里首先对主观形状模型(active shape model,asm)算法进行介绍。示例性的，通过asm算法提取人脸特征的原理如下：asm可以从一系列的形状训练模型(人脸形状训练模型)中学习，得到一系列向量和目标物体的平均形状(如人脸平均形状)；智能终端可以根据人脸asm算法模型，从视频图像提取用户人脸的若干关键特征点(landmarks)，并将这些特征点的坐标依次串联，形成人脸形状，提取人脸图像，获取去除噪点的预处理图像。
139.在一些实现方式中，智能终端可以通过asm算法从初始面部信息中提取用户的面部图像，获取第一中间面部信息。具体地，智能终端通过asm算法对每个帧图像标定预设个数的人脸关键点，每个帧图像所对应的所有人脸关键点作为该帧图像的关键点集。之后根据关键点集提取视频中的人脸特征，去除与微表情分析无关的元素，比如去除环境元素等。之后，就可以获取主要包括用户人脸图像的第一中间面部信息。
140.其中，具体的实现过程可参见现有asm算法实现过程，此处不再赘述。
141.s302，智能终端对第一中间面部信息进行时域图象插值处理，获取第二中间面部信息，该第二中间面部信息包括预设数量的图像帧。
142.应理解，时间图像插值模型(temporal interpolation model，tim)算法可用于对视频包括的200帧图像采样，比如智能终端可以按照预设处理规则从100帧图像中提取出50帧，此时，10s的视频将会被压缩为5s。之后，可以基于压缩后的视频，只对这50帧图像进行微表情分析即可，从而提高了微表情分析效率。
143.具体地，智能终端可以利用时间图像插值处理针对视频进行差值操作，以获取具有预设帧数图像的第二中间面部信息。其中，tim算法是一种混合稳定的排序算法，采用归并排序混合插入排序的设计。针对本技术实施例中的应用场景，该tim算法的具体实现过程可以包括：首先将视频片段视为一个图(graph)，并用图中的节点代表一帧图像，视频中相邻的帧在图中也是相邻的节点，视频中不相邻的帧在图中也不相邻；随后，使用图嵌入(graph embedding)算法将该图嵌入到一个低维的流形中，最后代入图像向量，计算出这条高维的连续曲线。在曲线上重新进行采样，便可以得到插值后的图像序列，也即获取第二中间面部信息。
144.应理解，本案中的预设帧数可以根据需要灵活设置，此处不作限定。
145.s303，智能终端根据欧拉图像放大evm算法，放大第二中间面部信息中用户的面部动作，获取目标面部信息。
146.需要说明的是，欧拉图像放大(eulerian video magnification，evm)算法是一种将视频中微小变化进行放大的算法，该算法可以将视频中的微笑变化转变为肉眼可以观察的变化，还可以视频中提取微表情信息。具体地，该evm算法的核心思想在于使用带通滤波
器对视频进行滤波，获得预期的信号频率(此处主要是微表情的动作频率)，并对该频率的信号进行放大，该方法既可以用于放大视频中的颜色变化，又可以用于放大动作。
147.在一些实现方式中，智能终端可以对通过步骤s302获取的第二中间面部信息进行欧拉图像放大处理，以放大图像上用户面部某一区域(如眼角、嘴角等)的动作情况，以便准确识别用户的微表情。
148.根据本技术实施例提供的方法，通过利用微表情算法模型对用户的面部微表情进行分析，能够更加准确地分析获取用户的心理状态，进而能够使向用户提供更加适用的心理调节方案。
149.以下对智能终端如何利用语音信息分析识别用户情绪的具体过程进行介绍。
150.示例性的，如图4所示，为本技术实施例提供的一种利用语音信息进行用户情绪识别的示意性流程图。该过程可以由智能终端作为主体执行，该过程可以包括以下步骤：
151.s401，智能终端提取预设时段内的语音信息的语音样本熵，该语音样本熵用于指示语音的稳定状态。
152.其中，语音样本熵(或称样本熵)是用于指示情绪稳定性的一个示例性参数。该语音信息的样本熵例如可以反映语音信息中某一个特征参数(如音调、音量等)在预设时段内变化波动情况，由于语音特征参数的变化波动可以反映用户的情绪状态，因而可以利用样本熵指示语音情绪状态。
153.在一些实施例中，智能终端可以通过检测语音信息中的至少一个特征(比如音量、音调等)信号的变化幅度获取语音样本熵。
154.在一些实施例中，不同的语音样本熵可以对应不同类型的语音情绪。
155.在一些实施例中，智能终端还可以将语音样本熵与传统声学参数进行整合，获取更加全面的语音信息。其中，传统声学参数例如可以包括：音调、音量等。举例来说，整合后的语音信息例如可以包括[语音样本熵，音调，音量]。
[0156]
s402，智能终端将语音样本熵输入语音情感识别模型，获取用户的情绪变化信息，该语音情感识别模型包括语音样本熵与情绪变化的对应关系。
[0157]
其中，语音情感识别模型可以是在传统bp(back propagation)神经网络基础上，结合基于贡献分析的主成分分析(principal component analysis,pca)算法，建立的一种基于语音识别情感的神经网络模型。该语音情感识别模型可以基于语音样本熵，或者语音样本熵和传统声学参数的整合信息分析其对应的用户情绪状态。
[0158]
在一些实现方式中，智能终端可以将在步骤s401中获得的语音样本熵，或者语音样本熵与传统声学参数的整合数据输入该语音情感识别模型，并获取该语音情感识别模型输出的用户在该预设时段内的情绪变化。
[0159]
根据本技术实施例提供的方法，通过在分析用户心理问题的过程中添加面部识别微表情算法和语音识别情绪波动过程，来更具体详细的检测用户的心理状态，能够提高心理状态分析的准确性，进而能够向用户推荐更有针对性的心理调节方案。
[0160]
结合上文内容，以下以医疗检测设备是智能眼镜，智能终端是手机为例，对本技术实施例提供的心理状态分析的方法进行介绍。
[0161]
示例性的，如图5所示，为本技术实施例提供的一种心理状态分析的方法的示意性框图。
[0162]
在一些实施例中，智能眼镜可以通过集成的摄像头、麦克风等传感器采集用户的初始面部信息和语音信息，这里的初始面部信息可以具体参见上文步骤s201中的介绍。该初始面部信息可以包括用户面部的红外图像、用户的面部动作等信息。语音信息可以包括用户的声学特征，例如音调、音量等。
[0163]
智能眼镜可以通过应用程序向手机反馈初始面部信息，具体地，智能眼镜可以通过其与手机之间的无线信道将采集到的初始面部信息发送至手机。手机可以根据获取到的初始面部信息，结合微表情算法分析获取用户的微表情，并基于微表情由微表情数据集获取用户当前的心理状态。
[0164]
在一些实施例中，手机还可以基于语音信息进行情绪识别，辅助判断用户的心理状态，使得获取的用户心理状态更加准确。
[0165]
之后，手机可以通过应用程序向用于推荐与用户当前心理状态对应的心理调节的方式，例如向用户进行语音提示存在可供用户收听的音乐或者文章朗读等。
[0166]
根据本技术实施例提供的方法，通过在分析用户心理问题的过程中添加面部识别微表情算法和语音识别情绪波动过程，来更具体详细的检测用户的心理状态，能够提高心理状态分析的准确性，进而能偶向用户推荐更有针对性的心理调节方案。
[0167]
示例性的，如图6所示，为本技术实施例提供的一种终端设备的结构示意图。该终端设备600包括接收模块601，处理模块602和推荐模块603。
[0168]
在一些实施例中，接收模块601，可以用于接收医疗检测设备发送的用户的初始面部信息，所述初始面部信息包括所述用户的面部图像和所述用户的面部动作；
[0169]
处理模块602，可以用于利用微表情算法，根据所述初始面部信息获取所述用户的微表情；
[0170]
根据所述用户的微表情确定所述用户的心理状态信息；
[0171]
根据预获取的预设时段内的语音信息，确定所述用户在所述预设时段内的情绪变化信息；
[0172]
推荐模块603，可以用于根据所述心理状态信息和所述情绪变化信息，向用户推荐与所述用户当前的心理状态对应的心理调节方式。
[0173]
在一些实施例中，所述处理模块602，还可以用于通过主观形状模型asm算法从所述初始面部信息中提取所述用户的面部图像，获取第一中间面部信息；
[0174]
对所述第一中间面部信息进行时域图象插值处理，获取第二中间面部信息，所述第二中间面部信息包括预设数量的图像帧；
[0175]
根据欧拉图像放大evm算法，放大所述第二中间面部信息中所述用户的面部动作，获取目标面部信息；
[0176]
根据所述目标面部信息获取所述用户的微表情。
[0177]
在一些实施例中，所述处理模块602，还可以用于提取所述预设时段内的语音信息的语音样本熵，所述语音样本熵用于指示语音的稳定状态；
[0178]
将所述语音样本熵输入语音情感识别模型，获取所述用户的所述情绪变化信息，所述语音情感识别模型包括所述语音样本熵与情绪变化的对应关系。
[0179]
在一些实施例中，处理模块602，还可以用于根据所述心理状态信息和所述情绪变化信息，确定所述用户当前的心理状态；
[0180]
所述推荐模块603，还可以用于向用户推荐与所述用户当前的心理状态对应的所述心理调节方式。
[0181]
在一些实施例中，推荐模块603，还可以用于通过界面向用户显示可播放的轻音乐、文章或者预设照片；或者，
[0182]
向用户语音播放轻音乐、文章朗读。
[0183]
在一些实施例中，处理模块602，还可以用于根据所述心理状态信息和所述情绪变化信息，确定所述用户当前的心理状态对应的程度；
[0184]
推荐模块603，还可以用于当所述用户当前的心理状态对应的程度大于预设阈值时，向用户推荐心理医疗机构的信息，和/或心理咨询师的信息。
[0185]
在一些实施例中，处理模块602，还可以用于当所述用户的微表情的动作幅度大于第一阈值，且在所述预设时段内持续处于所述心理状态时，确定所述用户当前的心理状态对应的程度大于所述预设阈值。
[0186]
示例性的，如图7所示，为本技术实施例提供的另一种终端设备的硬件结构示意图。该终端设备700可以包括至少一个处理器701和至少一个存储器702，以及至少一个通信接口703，其中，处理器701、存储器702和通信接口703之间可以通过串行总线(universal serial bus，usb)704连接，其中，通信接口703用于所述终端设备700与其它设备进行通信，存储器702存储有计算机可读程序指令，当处理器701运行所述计算机可读程序指令时，使得终端设备700执行如下步骤：
[0187]
接收医疗检测设备发送的用户的初始面部信息，所述初始面部信息包括所述用户的面部图像和所述用户的面部动作；
[0188]
利用微表情算法，根据所述初始面部信息获取所述用户的微表情；
[0189]
根据所述用户的微表情确定所述用户的心理状态信息；
[0190]
根据预获取的预设时段内的语音信息，确定所述用户在所述预设时段内的情绪变化信息；
[0191]
根据所述心理状态信息和所述情绪变化信息，向用户推荐与所述用户当前的心理状态对应的心理调节方式。
[0192]
在一些实施例中，当处理器701运行所述计算机可读程序指令时，使得终端设备700执行如下步骤：
[0193]
通过主观形状模型asm算法从所述初始面部信息中提取所述用户的面部图像，获取第一中间面部信息；
[0194]
对所述第一中间面部信息进行时域图象插值处理，获取第二中间面部信息，所述第二中间面部信息包括预设数量的图像帧；
[0195]
根据欧拉图像放大evm算法，放大所述第二中间面部信息中所述用户的面部动作，获取目标面部信息；
[0196]
根据所述目标面部信息指示的所述微表情。
[0197]
在一些实施例中，当所述处理器运行所述计算机可读程序指令时，使得所述终端设备执行如下步骤：
[0198]
提取所述预设时段内的语音信息的语音样本熵，所述语音样本熵用于指示语音的稳定状态；
[0199]
将所述语音样本熵输入语音情感识别模型，获取所述用户的所述情绪变化信息，所述语音情感识别模型包括所述语音样本熵与情绪变化的对应关系。
[0200]
在一些实施例中，当所述处理器701运行所述计算机可读程序指令时，使得终端设备700执行如下步骤：
[0201]
根据所述心理状态信息和所述情绪变化信息，确定所述用户当前的心理状态；
[0202]
向用户推荐与所述用户当前的心理状态对应的所述心理调节方式。
[0203]
结合第三方面，在第三方面的某些实现方式中，当所述处理器运行所述计算机可读程序指令时，使得所述终端设备执行如下步骤：
[0204]
通过界面向用户显示可播放的轻音乐、文章或者预设照片；或者，
[0205]
向用户语音播放轻音乐、文章朗读。
[0206]
在一些实施例中，当所述处理器701运行所述计算机可读程序指令时，使得终端设备700执行如下步骤：
[0207]
根据所述心理状态信息和所述情绪变化信息，确定所述用户当前的心理状态对应的程度；
[0208]
当所述用户当前的心理状态对应的程度大于预设阈值时，向用户推荐心理医疗机构的信息和/或心理咨询师的信息。
[0209]
在一些实施例中，当所述处理器701运行所述计算机可读程序指令时，使得终端设备700执行如下步骤：
[0210]
当所述用户的微表情的动作幅度大于第一阈值，且在所述预设时段内持续处于所述心理状态时，确定所述用户当前的心理状态对应的程度大于所述预设阈值。
[0211]
示例性的，如图8所示，是本技术实施例提供的一种医疗检测设备的硬件结构示意图。该医疗检测设备800可以包括至少一个图像采集传感器801、至少一个语音采集传感器802、光线传感器803、磁力传感器804以及至少一个通信接口805，各个传感器以及通信接口805可以通过串行总线(universal serial bus，usb)806连接。
[0212]
其中，图像采集传感器801用于采集用户的初始面部信息；语音采集传感器802用于采集用户语音；光线传感器803和磁力传感器804用户采集用户面部动作信息等。至少一个通信接口805用于该医疗检测设备800与其它设备进行通信。
[0213]
本技术实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序在被计算机调用时，使所述计算机实现本技术实施例提供的基于人工智能的心理状态分析方法。
[0214]
本技术实施例还提供了一种芯片系统，该芯片系统包括：通信接口，用于输入和/或输出信息；存储器，用于存储计算机可执行程序；处理器，用于执行所述计算机可执行程序，使得安装有所述芯片系统的设备实现本技术实施例提供的基于人工智能的心理状态分析方法。
[0215]
本技术实施例还提供了一种计算机程序产品，所述计算机程序产品包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机或处理器执行上述任一方法中的一个或多个步骤，使得本技术实施例提供的基于人工智能的心理状态分析方法得以实现。
[0216]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实
现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如，固态硬盘(solid state disk，ssd))等。
[0217]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：rom或随机存储记忆体ram、磁碟或者光盘等各种可存储程序代码的介质。
[0218]
以上所述，仅为本技术实施例的具体实施方式，但本技术实施例的保护范围并不局限于此，任何在本技术实施例揭露的技术范围内的变化或替换，都应涵盖在本技术实施例的保护范围之内。因此，本技术实施例的保护范围应以所述权利要求的保护范围为准。