一种基于多模态生理信号的人员情绪检测方法及系统与流程

1.本发明涉及人工智能领域，具体涉及一种基于多模态生理信号的人员情绪检测方法及系统。


背景技术：

2.对于一些社会中的特殊群体，可通过对其进行有效的情绪检测来感知待检测人员在会见活动期间的情绪状态，例如待检测人员状态分析、心理诊疗等，通过对待检测人员受到负面事件的影响下的心理变化从而引起的生理变化的过程进行生理信号的采集，可有效通过生理信号的变化进行情绪失控的监测。
3.然而，现有技术中存在对待检测人员的生理变化进行采集时，难以对待检测人员通过意志或行为隐藏的生理变化进行动态感知，导致难以对待检测人员隐藏下的微情绪变化进行精准检测的技术问题。


技术实现要素：

4.本技术的目的是提供一种基于多模态生理信号的人员情绪检测方法及系统，解决了对待检测人员的生理变化进行采集时，难以对待检测人员通过意志或行为隐藏的生理变化进行动态感知，导致难以对待检测人员隐藏下的微情绪变化进行精准检测的技术问题。达到了对待检测人员的生理变化进行采集时，通过评估个体情绪突发性变化的sdnn指标和scr指标，以及相应的判断阈值，实现对待检测人员通过意志或行为隐藏的生理变化进行动态感知，进而实现对待检测人员隐藏下的微情绪变化进行精准检测的技术效果。
5.鉴于上述问题，本技术提供了一种基于多模态生理信号的人员情绪检测方法及系统。
6.本技术的第一个方面，提供了一种基于多模态生理信号的人员情绪检测方法，所述方法应用于情绪检测系统，且所述系统与心电传感器、皮肤电阻传感器通信连接，所述方法包括：利用所述心电传感器，对目标用户进行心电信号采集，用以获得动态心电信号数据；利用所述皮肤电阻传感器，对目标用户进行皮肤电阻信号采集，用以获得动态皮肤电阻信号数据；通过对所述动态心电信号数据和所述动态皮肤电阻信号数据，进行预定窗长时段的预处理，用以分别获得sdnn指标、scr融合指标；判断所述sdnn指标是否满足降低态势；若所述sdnn指标满足降低态势，判断所述scr融合指标是否同步满足增高态势；若所述sdnn 指标满足降低态势，所述scr融合指标同步满足增高态势，触发第一报警指令，对所述目标用户的情绪状态进行报警。
7.本技术的第二个方面，提供了一种基于多模态生理信号的人员情绪检测系统，所述系统包括：心电信号采集模块，用于利用心电传感器，对目标用户进行心电信号采集，用以获得动态心电信号数据；皮肤电阻信号采集模块，用于利用皮肤电阻传感器，对目标用户进行皮肤电阻信号采集，用以获得动态皮肤电阻信号数据；数据预处理模块，用于通过对所述动态心电信号数据和所述动态皮肤电阻信号数据，进行预定窗长时段的预处理，用以分
别获得sdnn指标、scr融合指标；sdnn指标判断模块，用于判断所述sdnn指标是否满足降低态势；scr融合指标判断模块，用于若所述sdnn指标满足降低态势，判断所述scr融合指标是否同步满足增高态势；状态报警模块，用于若所述sdnn指标满足降低态势，所述scr融合指标同步满足增高态势，触发第一报警指令，对所述目标用户的情绪状态进行报警。
8.本技术中提供的一个或多个技术方案，至少具有如下技术效果或优点：
9.本技术提供的一种基于多模态生理信号的人员情绪检测方法，通过将心电(ecg)传感器与皮肤电阻(gsr)传感器置于待检测人员皮肤表面，采集人体表皮的心电信号与皮肤电阻信号。以心电信号与皮肤电阻信号为输入，通过实时计算sdnn、scr峰值与scr频次3种生理特征指标。并基于3种指标的动态变化规律，综合分析得到可以评估个体情绪突发性变化的2种指标以及相应的判断阈值，如果实时的情绪表征指标大于其阙值，则认为待检测人员的情绪在短时间内发生剧烈波动，系统对其报警，反之则无报警。达到了对待检测人员的生理变化进行采集时，通过评估个体情绪突发性变化的sdnn指标和scr指标，以及相应的判断阈值，实现对待检测人员通过意志或行为隐藏的生理变化进行动态感知，进而实现对待检测人员隐藏下的微情绪变化进行精准检测的技术效果。
10.上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。
附图说明
11.图1为本技术提供的一种基于多模态生理信号的人员情绪检测方法的流程示意图；
12.图2为本技术提供的一种基于多模态生理信号的人员情绪检测方法中进行预定窗长时段的预处理的流程示意图；
13.图3为本技术提供的一种基于多模态生理信号的人员情绪检测方法中判断所述scr融合指标是否同步满足增高态势的流程示意图；
14.图4为本技术提供的一种基于多模态生理信号的人员情绪检测的系统结构示意图；
具体实施方式
15.由于现有技术中存在对待检测人员的生理变化进行采集时，难以对待检测人员通过意志或行为隐藏的生理变化进行动态感知，导致难以对待检测人员隐藏下的微情绪变化进行精准检测的技术问题。
16.针对上述技术问题，本技术提供的技术方案总体思路如下：
17.本技术提出了一种基于多模态生理信号的人员情绪检测方法。由于待检测人员易受到负面事件的影响，发生情绪失控的亲情会见活动期间，将心电(ecg)传感器与皮肤电阻(gsr)传感器置于待检测人员皮肤表面，采集人体表皮的心电信号与皮肤电阻信号。以心电信号与皮肤电阻信号为输入，通过实时计算sdnn、scr峰值与scr频次3种生理特征指标。并基于3种指标的动态变化规律，综合分析得到可以评估个体情绪突发性变化的2种指标以及相应的判断阈值，如果实时的情绪表征指标大于其阙值，则认为待检测人员的情绪在短时
间内发生剧烈波动，系统对其报警，反之则无报警。
18.在介绍了本技术基本原理后，下面，将参考附图对本技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。基于本技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。另外还需要说明的是，为了便于描述，附图中仅示出了与本技术相关的部分而非全部。
19.实施例一
20.如图1所示，本技术提供了一种基于多模态生理信号的人员情绪检测方法，所述方法应用于情绪检测系统，且所述系统与心电传感器、皮肤电阻传感器通信连接，所述方法包括：
21.步骤s100：利用所述心电传感器，对目标用户进行心电信号采集，用以获得动态心电信号数据；
22.步骤s200：利用所述皮肤电阻传感器，对目标用户进行皮肤电阻信号采集，用以获得动态皮肤电阻信号数据；
23.具体而言，待检测人员作为社会中特殊群体的存在，对其进行有效的情绪检测，可有效感知待检测人员在会见活动期间的情绪状态，通过对待检测人员受到负面事件的影响下的心理变化从而引起的生理变化的过程进行生理信号的采集，可有效通过生理信号的变化进行情绪失控的监测。
24.然而，现有技术中存在对待检测人员的生理变化进行采集时，难以对待检测人员通过意志或行为隐藏的生理变化进行动态感知，导致难以对待检测人员隐藏下的微情绪变化进行精准检测的技术问题。
25.为了解决现有技术中存在的问题，本技术提出了一种基于多模态生理信号的人员情绪检测方法。由于待检测人员易受到负面事件的影响，发生情绪失控的亲情会见活动期间，将心电(ecg)传感器与皮肤电阻(gsr)传感器置于待检测人员皮肤表面，采集人体表皮的心电信号与皮肤电阻信号。以心电信号与皮肤电阻信号为输入，通过实时计算 sdnn、scr峰值与scr频次3种生理特征指标。并基于3种指标的动态变化规律，综合分析得到可以评估个体情绪突发性变化的2种指标以及相应的判断阈值，如果实时的情绪表征指标大于其阙值，则认为待检测人员的情绪在短时间内发生剧烈波动，系统对其报警，反之则无报警。达到了对待检测人员的生理变化进行采集时，通过评估个体情绪突发性变化的sdnn指标和scr指标，以及相应的判断阈值，实现对待检测人员通过意志或行为隐藏的生理变化进行动态感知，进而实现对待检测人员隐藏下的微情绪变化进行精准检测的技术效果。
26.具体的，所述心电传感器可安置于待检测人员的皮肤表面，对其心电信号进行动态感知，使得从体表记录心脏每一心动周期所产生的电活动变化图形，所述动态心电信号数据，即为对待检测人员在会面时的心电信号进行动态不间断采集得到的结果，所述皮肤电阻传感器，gsr 代表皮肤电反应，是一种在皮肤电导测量方法。强烈的情绪会刺激你的交感神经系统，导致汗腺分泌更多的汗液。例如，痛苦的刺激，如针刺，会引起汗腺的交感反应，增加汗液分泌。虽然这种增加通常很小，但汗液中含有水和电解质，从而增加了导电性，从而降低了皮肤的电阻。这些变化反过来影响了gsr。所述动态皮肤电阻信号数据，即反映了对待检测人员在会面时的皮电信号进行动态不间断采集得到的结果。
27.采用的心电传感器，在亲情会见场景下获取能够描绘待检测人员的心搏变化规律，反映其机体自主神经活跃情况，同时最大限度降低肢体运动带来的伪迹影响的稳定的心电信号。采用的皮肤电阻传感器，获取能够有效表征个体在情绪波动影响下的生理心理唤醒状态的皮肤电阻信号。
28.步骤s300：通过对所述动态心电信号数据和所述动态皮肤电阻信号数据，进行预定窗长时段的预处理，用以分别获得sdnn指标、scr融合指标；
29.进一步的，如图2所示，步骤s300包括：
30.步骤s310：基于提峰算法，对所述动态心电信号数据进行相邻波峰采集，用以得到两个相邻r波的波峰间期；
31.步骤s320：基于滑窗计算算法，对所述两个相邻r波的波峰间期进行所述预定窗长时段的动态计算，用以确定所述sdnn指标；
32.步骤s330：基于特征提取算法，对所述动态皮肤电阻信号数据进行 scr成分提取，用以得到scr成分；
33.步骤s340：利用所述滑窗计算算法，对所述scr成分进行所述预定窗长时段的动态计算，用以确定scr峰值特征、scr频次特征；
34.步骤s350：通过对所述scr峰值特征和所述scr频次特征进行特征融合，用以确定所述scr融合指标。
35.具体的，步骤s350包括：
36.步骤s351：对所述scr峰值特征和所述scr频次特征进行指标的加权平均计算，用以获得所述scr融合指标；
37.步骤s352：对所述scr融合指标进行一阶导数计算，用以得到融合指标变化斜率。
38.具体而言，在获得所述动态心电信号数据和所述动态皮肤电阻信号数据之后，可基于此进行信号分析。首先，可对其进行数据预处理，即通过对采集得到的信号进行目标特征提取，使得提取得到分析需要用到的目标信号特征，进而对目标信号特征进行在处理。具体的，基于提峰算法，对所述动态心电信号数据进行相邻波峰采集，用以得到两个相邻r 波的波峰间期，由于采集得到心电信号是一个动态反映待检测人员的心电数据的波动图，因此，可对波动图中的波峰数据进行采集，即采集得到该待检测人员心电数据波动最大的点，通过对相邻波峰进行采集，可获得相邻波峰之间的时间差，即所述两个相邻r波的波峰间期，一般的，当波峰间期越短，说明该待检测人员的情绪起伏较频繁，所述提峰算法，即对波动图中的峰值数据进行提取的算法。
39.进而，可基于滑窗计算算法，对所述两个相邻r波的波峰间期进行所述预定窗长时段的动态计算，用以确定所述sdnn指标。其中，心电信号通过提峰算法得到两个相邻的r波波峰间期，并以滑窗计算的方式，动态计算一定窗长时间内的心搏间期标准差(sdnn)特征。所述预定窗长时段，即为上述预设的一定窗长时间。所谓滑窗算法，与跳窗算法类似，滑窗(moving window)算法也是通过限制各个时间窗口内所能接收的最大信元数对业务量进行控制。区别是，在滑窗算法中，时间窗口不是向前跳，而是每过一个信元时间向前滑动一次，滑动的长度是一个信元的时间。其中，上述的一定窗长时间，则包含了若干个信元时间的集合。 sdnn是指心率变异性的一个指标，指全部窦性心搏rr间期(简称nn 间期)的标准差，单位为微秒。sdnn越大，也就是心率的变异性越大。通常年龄越小，sdnn越大。当sdnn低于正常
值，提示可能存在副交感神经活性减弱，也就是迷走神经张力活性下降的表现。所述sdnn指标，可用来反映该待检测人员的心率变异性。
40.同时，还可基于特征提取算法，对所述动态皮肤电阻信号数据进行 scr成分提取，用以得到scr成分，利用所述滑窗计算算法，对所述scr 成分进行所述预定窗长时段的动态计算，用以确定scr峰值特征、scr 频次特征。即皮肤电阻信号以滑窗计算的方式，通过特征提取算法，得到皮肤电导反应(scr)成分，并动态计算一定窗长时间内scr的峰值，以及scr在窗长时间内出现的频次两种特征。其中，gsr信号主要由缓慢变化的基础活动—皮肤电导水平与快速变化的相位活动——皮肤电导反应组成。皮肤电信号的相位反应在基础水平之上，变化幅度更高、速度更快，以“gsr突发”或“gsr峰值”的形式显示。相位反应是在皮肤电导水平中出现的一个瞬时、较快的波动，是由刺激引起的生理心理激活状态。当给人呈现刺激的时候，电导升高，形成一个波形皮肤电导反应。皮肤电导反应(scr)指的是阶段性交感神经放电，是由刺激而引起的生理和心理激活状态，反映短期大脑过程的指标，可作为由于外部新异性事件刺激产生的情绪觉醒点的定位标记。scr对特定的情绪刺激事件敏感，事件相关皮肤电导反应(er-scrs)会在情绪刺激发生后的1～ 5秒之间突发；非特异性皮肤电导反应(ns-scrs)则在人体内以1～3分钟的速率自发发生，与任何刺激无关。则所述scr成分反映了该待检测人员的在会面时，对敏感事件的生理心理反映能力。所述scr峰值特征反映了该待检测人员对外在敏感事件的心理反应极值点，所述scr频次特征则反映了出现该反应极值点的次数。
41.在确定所述scr峰值特征和所述scr频次特征之后，为了对其进行综合分析，可对所述scr峰值特征和所述scr频次特征进行特征融合。具体的，对所述scr峰值特征和所述scr频次特征进行指标的加权平均计算，用以获得所述scr融合指标。其中，所述scr融合指标，反映了该待检测人员内的心理反应极值点及其出现次数，进而，还可对所述scr 融合指标进行一阶导数计算，用以得到融合指标变化斜率。所谓一阶导数，微积分术语，一阶导数表示的是函数的变化率，最直观的表现就在于函数的单调性定理。所述融合指标变化斜率，即反映了融合后指标的变化斜率，一般的，当斜率越高，说明变化较快。综上所述，可以scr 峰值指标、scr频次两种指标进行加权平均计算，得到scr的融合指标，并通过实时计算该融合指标的一阶倒数，得到该融合指标的变化斜率，作为后续判断情绪瞬时大幅变化的阀值。
42.步骤s400：判断所述sdnn指标是否满足降低态势；
43.步骤s500：若所述sdnn指标满足降低态势，判断所述scr融合指标是否同步满足增高态势；
44.步骤s600：若所述sdnn指标满足降低态势，所述scr融合指标同步满足增高态势，触发第一报警指令，对所述目标用户的情绪状态进行报警。
45.进一步的，如图3所示，步骤s500包括：
46.步骤s510：判断所述sdnn指标是否低于预设指标标准差阈值；
47.步骤s520：若所述sdnn指标低于所述预设指标标准差阈值，判断所述融合指标变化斜率的变化特征；
48.步骤s530：判断所述融合指标变化斜率是否同步的高于预设斜率标准差阈值；
49.步骤s540：若所述融合指标变化斜率同步的高于所述预设斜率标准差阈值，触发所述第一报警指令，对所述目标用户的情绪状态进行报警。
50.具体而言，在获得sdnn指标、scr融合指标之后，需对其进行变化态势的判断。具体的，首先判断所述sdnn指标是否低于预设指标标准差阈值，其中，所述预设指标标准差阈值，可理解为预设的sdnn指标的标准差阈值，当待检测人员的scnn指标降低(以低于一定时间区间内sdnn指标的标准差为阀值)，则说明待检测人员由于紧张、压力、情绪唤醒增高等原因，交感神经活跃度上升，机体处于兴奋状态。同时，还可判断所述融合指标变化斜率是否同步的高于预设斜率标准差阈值，其中，所述预设斜率标准差阈值，可理解为预设的一定时间区间内的斜率标准差阈值，此时，当scr融合指标的变化斜率同步增高(以高于一定时间区间内斜率标准差为阈值)，说明待检测人员的情绪以较高的速度达到一个相对较高的唤醒水平，判断为个体处于情绪剧烈波动状态，可触发所述第一报警指令，对该待检测人员的情绪状态进行报警。
51.综上所述，本技术实施例至少具有如下技术效果：
52.1、由于待检测人员易受到负面事件的影响，发生情绪失控的亲情会见活动期间，将心电(ecg)传感器与皮肤电阻(gsr)传感器置于待检测人员皮肤表面，采集人体表皮的心电信号与皮肤电阻信号。以心电信号与皮肤电阻信号为输入，通过实时计算sdnn、scr峰值与scr频次3种生理特征指标。并基于3种指标的动态变化规律，综合分析得到可以评估个体情绪突发性变化的2种指标以及相应的判断阈值，如果实时的情绪表征指标大于其阙值，则认为待检测人员的情绪在短时间内发生剧烈波动，系统对其报警，反之则无报警。达到了对待检测人员的生理变化进行采集时，通过评估个体情绪突发性变化的sdnn指标和scr 指标，以及相应的判断阈值，实现对待检测人员通过意志或行为隐藏的生理变化进行动态感知，进而实现对待检测人员隐藏下的微情绪变化进行精准检测的技术效果。
53.2、采用的心电传感器，在亲情会见场景下获取能够描绘待检测人员的心搏变化规律，反映其机体自主神经活跃情况，同时最大限度降低肢体运动带来的伪迹影响的稳定的心电信号。采用的皮肤电阻传感器，获取能够有效表征个体在情绪波动影响下的生理心理唤醒状态的皮肤电阻信号。
54.实施例二
55.基于与前述实施例中一种基于多模态生理信号的人员情绪检测方法相同的发明构思，如图4所示，本技术提供了一种基于多模态生理信号的人员情绪检测系统，其中，所述系统包括：
56.心电信号采集模块，用于利用心电传感器，对目标用户进行心电信号采集，用以获得动态心电信号数据；
57.皮肤电阻信号采集模块，用于利用皮肤电阻传感器，对目标用户进行皮肤电阻信号采集，用以获得动态皮肤电阻信号数据；
58.数据预处理模块，用于通过对所述动态心电信号数据和所述动态皮肤电阻信号数据，进行预定窗长时段的预处理，用以分别获得sdnn指标、scr融合指标；
59.sdnn指标判断模块，用于判断所述sdnn指标是否满足降低态势；
60.scr融合指标判断模块，用于若所述sdnn指标满足降低态势，判断所述scr融合指标是否同步满足增高态势；
61.状态报警模块，用于若所述sdnn指标满足降低态势，所述scr融合指标同步满足增高态势，触发第一报警指令，对所述目标用户的情绪状态进行报警。
62.进一步地，所述系统还包括：
63.波峰采集单元，用于基于提峰算法，对所述动态心电信号数据进行相邻波峰采集，用以得到两个相邻r波的波峰间期；
64.波峰间期计算单元，用于基于滑窗计算算法，对所述两个相邻r波的波峰间期进行所述预定窗长时段的动态计算，用以确定所述sdnn指标。
65.进一步地，所述系统还包括：
66.成分提取单元，用于基于特征提取算法，对所述动态皮肤电阻信号数据进行scr成分提取，用以得到scr成分；
67.特征确定单元，用于利用所述滑窗计算算法，对所述scr成分进行所述预定窗长时段的动态计算，用以确定scr峰值特征、scr频次特征；
68.特征融合单元，用于通过对所述scr峰值特征和所述scr频次特征进行特征融合，用以确定所述scr融合指标。
69.进一步地，所述系统还包括：
70.加权计算单元，用于对所述scr峰值特征和所述scr频次特征进行指标的加权平均计算，用以获得所述scr融合指标；
71.倒数计算单元，用于对所述scr融合指标进行一阶导数计算，用以得到融合指标变化斜率。
72.进一步地，所述系统还包括：
73.sdnn指标判断单元，用于判断所述sdnn指标是否低于预设指标标准差阈值；
74.融合指标判断单元，用于若所述sdnn指标低于所述预设指标标准差阈值，判断所述融合指标变化斜率的变化特征。
75.进一步地，所述系统还包括：
76.变化斜率判断单元，用于判断所述融合指标变化斜率是否同步的高于预设斜率标准差阈值；
77.指令触发单元，用于若所述融合指标变化斜率同步的高于所述预设斜率标准差阈值，触发所述第一报警指令，对所述目标用户的情绪状态进行报警。
78.本技术提供了一种基于多模态生理信号的人员情绪检测方法，所述方法包括：将心电(ecg)传感器与皮肤电阻(gsr)传感器置于待检测人员皮肤表面，采集人体表皮的心电信号与皮肤电阻信号。以心电信号与皮肤电阻信号为输入，通过实时计算sdnn、scr峰值与scr频次 3种生理特征指标。并基于3种指标的动态变化规律，综合分析得到可以评估个体情绪突发性变化的2种指标以及相应的判断阈值，如果实时的情绪表征指标大于其阙值，则认为待检测人员的情绪在短时间内发生剧烈波动，系统对其报警，反之则无报警。解决了对待检测人员的生理变化进行采集时，难以对待检测人员通过意志或行为隐藏的生理变化进行动态感知，导致难以对待检测人员隐藏下的微情绪变化进行精准检测的技术问题。达到了对待检测人员的生理变化进行采集时，通过评估个体情绪突发性变化的sdnn指标和scr指标，以及相应的判断阈值，实现对待检测人员通过意志或行为隐藏的生理变化进行动态感知，进而实现对待检测人员隐藏下的微情绪变化进行精准检测的技术效果。
79.本说明书和附图仅仅是本技术的示例性说明，如果本发明的修改和变型属于本发明及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。